CN116932549A - 基于智能模型的平台数据存储方法、系统、介质及设备 - Google Patents
基于智能模型的平台数据存储方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN116932549A CN116932549A CN202310909341.XA CN202310909341A CN116932549A CN 116932549 A CN116932549 A CN 116932549A CN 202310909341 A CN202310909341 A CN 202310909341A CN 116932549 A CN116932549 A CN 116932549A
- Authority
- CN
- China
- Prior art keywords
- data
- queried
- user
- importance level
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013500 data storage Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于智能模型的平台数据存储方法、系统、介质及设备,涉及互联网技术领域,所述方法包括:获取用户的目标历史数据查询记录;将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。实施本申请提供的技术方案,可以根据数据的重要级别选择合适的存储方式,从而提高了数据的读取效率。
Description
技术领域
本申请涉及互联网技术领域,具体涉及一种基于智能模型的平台数据存储方法、系统、介质及设备。
背景技术
随着网络技术的发展,越来越多的服务通过网络来提供,其中,通过网络平台来处理用户的消费、查询或者操作,用户基于网络平台提供的选项进行自助操作,以达到特定目的。
随着数据量的增加,数据平台需要不断扩容存储空间,从而可能导致存储成本的不断增加。针对这一问题,数据平台需要快速地处理和查询大量的数据,因此存储性能是非常关键的问题。当存储性能不足时,可能会导致数据的延迟、丢失或错误,尤其在平台用户激增的时候,平台对存储的数据的调取效率较低。
发明内容
本申请提供了一种基于智能模型的平台数据存储方法、系统、介质及设备,可以根据数据的重要级别选择合适的存储方式,从而提高了数据的读取效率。
第一方面,本申请提供了一种基于智能模型的平台数据存储方法,所述方法包括:
获取用户的目标历史数据查询记录;
将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;
根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;
根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。
通过采用上述技术方案,将用户的目标历史数据查询记录输入至训练完成的智能模型中,可以预测出用户在预设时间段后的待查询资料信息,并可以根据待查询资料信息确定出各待查询数据的重要级别,再基于各待查询数据的重要级别来确定各待查询数据的存储策略,可以根据数据的重要级别选择合适的存储方式,将重要级别高的数据可以选择读取速度快的存储方式,从而在平台用户激增的时候,可以提高数据的读取效率。
可选的,所述获取用户的目标历史数据查询记录之前,还包括:构建初始的智能模型;将样本训练集输入至所述初始的智能模型中进行训练,并通过样本测试集对所述初始的智能模型的预测准确率进行检验,直至所述预测准确率达到预设值则停止训练,得到训练完成的智能模型。
通过采用上述技术方案,通过样本训练集训练初始的智能模型,并通过样本测试集对初始的智能模型进行准确率检验,使得初始的智能模型训练至预测准确性高于预设值时停止训练,从而得到训练完成的智能模型,可以确保智能模型的预测准确性。
可选的,所述获取用户的目标历史数据查询记录,包括:获取所述用户距离当前时间前预设时长所有的历史数据查询记录;将所述历史数据查询记录进行数据清洗,得到目标历史数据查询记录,所述目标历史数据查询记录至少包括各目标数据的查询时间、查询时长、查询关键词、查询数据的格式、查询评价反馈中的一种。
通过采用上述技术方案,将当前时间前预设时长的历史数据筛选出来,可以将最近一段时间的历史数据查询记录筛选出来,以贴合用户的最近查询行为习惯,再经过数据清洗,确保数据的完整性和准确性,进一步提高后续预测待查询资料信息的准确性。
可选的,所述待查询资料信息包括各待查询数据的数据量,所述根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别,包括:根据所述目标历史数据查询记录中的用户查询数据的频率,确定所述用户的等级;根据所述用户的等级以及各所述待查询数据的数据量,确定所述待查询资料信息中各待查询数据的重要级别。
通过采用上述技术方案,根据用户查询数据的频率确定用户等级,使得查询频率越高的用户等级越高,再基于用户的等级和待查询数据的数据量确定各待查询数据的重要级别,可以准确地将每一个待查询数据的重要性进行计算,为后续基于数据的重要级别选择合适的存储格式。
可选的,所述根据所述用户的等级以及各所述待查询数据的数据量,确定所述待查询资料信息中各待查询数据的重要级别,包括:根据所述用户的等级以及预置的等级与等级分值关系,得到所述用户等级对应的等级分值;根据所述待查询数据的数据量以及预置的数据量与数据量分值的转换关系,得到各所述待查询数据的数据量对应的数据量分值;将所述等级分值以及所述数据量分值分别乘以对应的预置权重,得到各待查询数据的重要值;基于所述重要值以及预置的重要值与重要级别关系,确定所述各待查询数据的重要级别。
通过采用上述技术方案,基于用户等级对应的等级分值以及待查询数据的数据量对应的数据量分值,可以计算出各待查询数据的重要性,从而确定出重要级别,可以准确地将每一个待查询数据的重要性进行计算,为后续基于数据的重要级别选择合适的存储格式。
可选的,所述重要级别包括重要,一般重要以及不重要,所述根据所述待查询数据的重要级别确定各所述待查询数据的存储策略,包括:若所述待查询数据的重要级别为重要,则将所述待查询数据以第一存储格式存储至第一存储区域;若所述待查询数据的重要级别为一般重要,则将所述待查询数据以第二存储格式存储至第二存储区域,所述第一存储格式的数据读取速度大于所述第二存储格式,所述第一存储区域的数据读取速度大于所述第二存储区域;若所述待查询数据的重要级别为不重要,则按照预置的常规存储规则进行存储。
通过采用上述技术方案,将重要的待查询数据存储至数据读取速度很快的第一区域,将一般重要的待查询数据存储至数据读取速度较快的第二区域,将不重要的待查询数据按照常规存储规则进行存储,可以根据待查询数据的重要程度选择合适的存储方式,从而提高了数据的读取效率。
可选的,所述根据所述待查询数据的重要级别确定各所述待查询数据的存储策略之后,还包括:定期获取所述用户对各历史查询数据的评价结果;根据所述评价结果调整所述各待查询数据的重要级别,得到调整后的各待查询数据的重要级别;根据所述调整后的各待查询数据的重要级别确定所述待查询数据的存储策略。
通过采用上述技术方案,根据用户在历史查询数据的评价结果来调整各待查询数据的重要级别,再基于调整后的各待查询数据的重要级别确定待查询数据的存储策略,可以更好地满足用户的存储需求。
在本申请的第二方面提供了一种基于智能模型的平台数据存储系统,所述系统包括:
历史数据获取模块,用于获取用户的目标历史数据查询记录;
待查询数据预测模块,用于将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;
重要级别确定模块,用于根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;
存储策略确定模块,用于根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。
在本申请的第三方面提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
在本申请的第四方面提供了一种电子设备,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、本申请可以将用户的目标历史数据查询记录输入至训练完成的智能模型中,可以预测出用户在预设时间段后的待查询资料信息,并可以根据待查询资料信息确定出各待查询数据的重要级别,再基于各待查询数据的重要级别来确定各待查询数据的存储策略,可以根据数据的重要级别选择合适的存储方式,将重要级别高的数据可以选择读取速度快的存储方式,从而在平台用户激增的时候,可以提高数据的读取效率;
2、本申请可以根据用户在历史查询数据的评价结果来调整各待查询数据的重要级别,再基于调整后的各待查询数据的重要级别确定待查询数据的存储策略,可以更好地满足用户的存储需求。
附图说明
图1是本申请实施例提供的一种基于智能模型的平台数据存储方法的流程示意图;
图2是本申请实施例提供的一种基于智能模型的平台数据存储系统的模块示意图;
图3是本申请实施例提供的一种电子设备的结构示意图。
附图标记说明:1、历史数据获取模块; 2、待查询数据预测模块; 3、重要级别确定模块; 4、存储策略确定模块; 300、电子设备;301、处理器;302、通信总线;303、用户接口;304、网络接口;305、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在一个实施例中,请参考图1,特提出了一种基于智能模型的平台数据存储方法的流程示意图,该方法可依赖于计算机程序实现,可依赖于单片机实现,也可运行于基于智能模型的平台数据存储的系统上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行,该方法包括步骤10至步骤40,上述步骤如下:
步骤10:获取用户的目标历史数据查询记录。
目标历史数据查询记录在本申请实施例中指的是用户在近段时间内所有数据的查询记录,查询记录包括但不限于数据的查询时间点、查询时长、查询关键词、查询数据的格式、查询评价反馈等。
具体的,用户在每次查询数据时,系统会对用户的每一次的查询操作行为以及查询内容进行记录并保存在数据库中,可以直接在数据库中获取用户的目标历史数据查询记录,在其他实施例中也可以是通过用户反馈的调查问卷或者从用户日志中分析得出用户的目标历史数据查询记录,在此不做限定。
在上述实施例的基础上,作为一种可选的实施例,获取用户的目标历史数据查询记录这一步骤之前,还需要训练出智能模型,包括以下步骤:
构建初始的智能模型,该初始的智能模型可以为深度学习模型或者神经网络模型。选择具备代表性的样本数据,该样本数据包含用户的历史查询数据的信息,比如查询的时间、查询关键词、用户查询行为等,以及对应一段时间后的待查询数据的信息。将样本数据划分为样本训练集和样本测试集,将样本训练集输入至初始的智能模型中,通过迭代的方式不断调整模型的参数和结构,使得模型不断优化。在训练过程中,将样本测试集输入至初始的智能模型中,通过样本测试集对初始的智能模型的预测准确率进行检验,直至预测准确率达到预设值则停止训练,得到训练完成的智能模型。
在上述实施例的基础上,作为一种可选的实施例,获取用户的目标历史数据查询记录这一步骤,还可以包括以下步骤:
随着时间的推移,用户会积累较多的历史数据查询记录,并且可能每一个时间段的数据查询行为和数据查询内容不相同,所以需要获取用户距离当前时间前预设时长的所有历史数据查询记录,比如可以是当前时间前一个月的历史数据查询记录,可以更为贴近用户近期所查询的数据记录,提高对于输入至模型中数据的时效性,从而提高预测的准确性。
进一步地,将当前时间前预设时长的所有历史数据查询记录进行数据清洗,数据清洗可以包括:去除数据中的噪声、处理缺失值、处理异常值、解决一致性问题以及数据格式转换等,通过数据清洗,可以提高数据的准确性、完整性和一致性,减少误差和偏差,为后续的数据分析、建模和决策提供更可靠的基础。
步骤20:将目标历史数据查询记录输入至训练完成的智能模型中,预测用户在预设时间段后的待查询资料信息。
在本申请实施例中,待查询资料信息指的是用户在预设时间段后可能会查询的资料信息。比如用户在预设时间段后可能会查询视频或者图片或者文章等资料信息。
具体的,将目标历史数据查询记录转换成智能模型需要的统一格式后,输入至训练完成的智能模型中,智能模型根据目标历史数据查询记录预测用户在预设时间段后的待查询资料信息,该预设时间段可以为半个月,也可以根据实际情况进行设置。
需要说明的是,每隔一段时间会对智能模型的预测准确率进行检测,也就是将待查询资料信息与实际用户查询的资料信息进行对比,并计算出智能模型的预测准确率,若该预测准确率低于预设值,则可能是随着时间的推移,智能模型的误差积累导致预测不准确,则获取近段时间内各用户的历史查询数据的信息,以及对应一段时间后的待查询数据的信息作为校验样本集,并将该校验样本集输入至智能模型中进行训练,使得该智能模型得到校正,从而提高智能模型的预测准确率,以确保预测结果的准确好可信度。
步骤30:根据目标历史数据查询记录,确定待查询资料信息中各待查询数据的重要级别。
在本申请实施例中,各待查询数据的重要级别可以根据用户的等级和待查询数据的数据量来确定,待查询数据的重要级别可以分为重要,一般重要以及不重要。
具体的,可以根据目标历史数据查询记录中的用户查询数据的频率,来确定用户的等级,并计算出对应的等级值,再根据待查询数据的数据量计算出各待查询数据的数据量分值,即可通过等级值和数据量分值计算出各待查询数据的重要值,从而确定出待查询资料信息中各待查询数据的重要级别。
在上述实施例的基础上,作为一种可选的实施例,根据目标历史数据查询记录,确定待查询资料信息中各待查询数据的重要级别这一步骤,还可以包括以下步骤:
步骤301:根据目标历史数据查询记录中的用户查询数据的频率,确定用户的等级。
具体的,目标历史数据查询记录中包含有用户查询数据的频率,可以按照天、周、月等时间窗口来计算出对应的用户查询数据的频率,计算方法可以是简单统计用户在特定时间窗口内的查询次数,或者计算每个用户在特定窗口内的平均查询次数。用户等级可以划分为高、中、低三个等级,每一个等级都对应有一个用户查询数据的频率的范围区间,确定各用户查询数据的频率所属范围区间即可确定该用户的等级。在其他实施例中用户的等级也可以为其他更为细化的划分。
示例性地,比如高等级的用户查询数据的频率的范围区间为每周查询总次数大于50次,当用户A的周查询总次数为60时,则确定该用户的等级为高等级。
步骤302:根据用户的等级以及各待查询数据的数据量,确定待查询资料信息中各待查询数据的重要级别。
具体的,每一个用户的等级都对应有等级分值,比如高等级对应的等级分值为100分,中等级对应的等级分值为60分,低等级对应的等级分值为30分,即可确定各用户有对应的等级分值。在其他实施例中,也可以不用设置用户等级,直接通过用户查询数据的频率来确定用户对应的等级分值,可以得到更加准确的用户等级分值。
待查询资料信息包括各待查询数据的数据量,待查询数据的数据量指的是所需查询的数据的大小或数量。它可以表示数据的容量,例如以字节、千字节、兆字节、千兆字节等为单位,也可以表示数据的条目数,例如记录的行数或个数。数据量的大小或数量通常用于衡量数据的规模和复杂性。在不同的应用场景中,待查询数据的数据量可能会有不同的定义和衡量方式。例如,在数据库查询中,数据量通常以记录的行数或表的大小来衡量;在文件系统中,数据量可以表示文件的大小或文件夹中文件的数量。较大的数据量可能需要更多的计算资源和时间来处理和查询,而较小的数据量则可能更容易处理和查询。
进一步地,可以根据待查询数据的数据量以及预置的数据量与数据量分值的转换关系,得到各待查询数据的数据量对应的数据量分值,比如数据量以字节为单位,一个字节为一分,即可根据每个查询记录的字节个数得到对应的数据量分值。将等级分值以及数据量分值分别乘以预置的对应权重,得到各待查询数据的重要值,在本申请实施例中,将等级分值的权重设为0.7,数据量分值的权重设为0.3。再基于重要值以及重要值与重要级别关系,确定各待查询数据的重要级别,其中,待查询数据的重要级别可以分为重要,一般重要以及不重要。
步骤40:根据待查询数据的重要级别确定各待查询数据的存储策略。
不同的数据存储格式对数据的调取速度有较大的区别和影响,下面是几种常见的数据存储格式以及影响:
文本格式:文本格式是最基本的数据存储格式,可读性很好,但是读取速度慢,因为需要逐行读取和解析文本。
CSV格式:CSV格式是一种常见的数据存储格式,适合存储大量结构化数据。它的读取速度比文本格式要快,因为CSV格式使用逗号分隔字段,可以直接通过逗号分隔符进行解析。
JSON格式:JSON格式是一种轻量级的数据交换格式,适合存储复杂的结构化数据。与CSV格式相比,JSON格式的读取速度更慢,因为需要对JSON字符串进行解析。
数据库格式:数据库格式是一种高效的数据存储格式,可以通过索引和查询语句快速地检索和过滤数据。数据库格式的读取速度比文本格式和CSV格式要快得多,但是相比JSON格式来说,读取速度稍慢。
通过上述的介绍,不同的数据存储格式对于数据调去的速度有较大的影响,所以应该根据数据的特点和需求选择合适的存储格式。
不同的数据存储区域对数据的调取速度也有较大的区别和影响,下面是几种常见的数据存储格式以及影响:
寄存器:寄存器是CPU内部的一个小型存储区域,读取速度最快,可以达到纳秒级别。
缓存:缓存是CPU内部的一种高速缓存,其读取速度比内存快很多,通常为几纳秒到十几纳秒。
内存:内存是计算机中存储数据的主要方式,其读取速度比硬盘快很多,通常为数百纳秒到数微秒。
硬盘:硬盘是计算机中的主要存储设备,其读取速度比内存慢很多,通常为数毫秒到数十毫秒。
网络存储:网络存储是指将数据存储在远程服务器上,通过网络传输来读取数据。其读取速度受到网络带宽和延迟的影响,通常比硬盘慢很多。
通过上述的介绍,不同的数据存储区域对于数据调取的速度有较大的影响,所以应该根据数据的特点和需求选择合适的存储区域。
在上述实施例的基础上,作为一种可选的实施例,根据待查询数据的重要级别确定各待查询数据的存储策略这一步骤,还可以包括以下步骤:
步骤401:若待查询数据的重要级别为重要,则将待查询数据以第一存储格式存储至第一存储区域。
步骤402:若待查询数据的重要级别为一般重要,则将待查询数据以第二存储格式存储至第二存储区域。
具体的,待查询资料信息中各待查询数据的重要级别可能不同,若待查询数据的重要级别为重要,则说明该用户在预设时间段后对该数据进行查询的可能性很大,即将重要的待查询数据以第一存储格式存储至第一存储区域,该第一存储格式可以根据数据类型进行选择,即读取速度较快的存储格式,第一存储区域也可以为读取速度较快的存储区域,可以提高用户在查询的响应速度和用户体验。若待查询数据的重要级别为一般重要,则说明该用户在预设时间段后对该数据进行查询的可能性不是很大,则将一般重要的待查询数据以第二存储格式存储至第二存储区域,其中,第一存储格式的数据读取速度大于第二存储格式,第一存储区域的数据读取速度大于第二存储区域。
步骤403:若待查询数据的重要级别为不重要,则按照预置的常规存储规则进行存储。
具体的,若待查询数据的重要级别为不重要,则说明该用户在预设时间段后对该数据进行查询的可能性很小,则将不重要的待查询数据按照预置的常规存储规则进行存储,其中预置的常规存储规则即为一般计算机对不同类型数据的常规存储方法。在另一可行的实施例中,也可以将不重要的待查询数据存储至读取速度较慢的存储区域,避免读取速度较快的存储区域被大量占用。
在上述实施例的基础上,作为一种可选的实施例,根据待查询数据的重要级别确定各待查询数据的存储策略之后,还可以包括以下步骤:
定期获取用户对各历史查询数据的评价结果,即可以在用户进行查询数据之后,对本次的查询结果进行评价打分,也就是调查用户对本次查询的数据调取速度是否满意。可以通过在查询界面上添加评价按钮或反馈表单等方式来收集用户评价数据。确保收集到的数据能够标识用户、对应查询数据,并包含评价结果,对收集到的用户评价数据进行分析。可以统计不同查询数据的评价结果,计算用户评价的平均得分或满意度等指标。根据评价结果,判断查询数据的质量和用户对其的重要程度,根据分析得到的评价结果,对待查询数据的重要级别进行调整。可以根据评价结果的得分或满意度等指标来判断数据的重要级别,并进行相应的调整。例如,得分较低的数据可以被标记为不重要级别,而得分较高的数据可以被标记为重要级别,将调整后的数据重要级别更新到待查询数据中。可以新增一个字段来表示数据的重要级别,或者在原有数据中更新相应的重要级别字段。最后根据调整后的各待查询数据的重要级别确定待查询数据的存储策略。定期更新评价结果并进行数据重要级别的调整,可以保证数据的重要性和查询效果的准确性。
请参见图3,为本申请实施例提供的一种基于智能模型的平台数据存储系统的模块示意图,该基于智能模型的平台数据存储系统可以包括:历史数据获取模块1、待查询数据预测模块2、重要级别确定模块3以及存储策略确定模块4,其中:
历史数据获取模块1,用于获取用户的目标历史数据查询记录;
待查询数据预测模块2,用于将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;
重要级别确定模块3,用于根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;
存储策略确定模块4,用于根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。
需要说明的是:上述实施例提供的系统在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的系统和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请还公开一种电子设备。参照图3,图3是本申请实施例的公开的一种电子设备的结构示意图。该电子设备300可以包括:至少一个处理器301,至少一个网络接口304,用户接口303,存储器305,至少一个通信总线302。
其中,通信总线302用于实现这些组件之间的连接通信。
其中,用户接口303可以包括显示屏(Display)、摄像头(Camera),可选用户接口303还可以包括标准的有线接口、无线接口。
其中,网络接口304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器301可以包括一个或者多个处理核心。处理器301利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器305内的指令、程序、代码集或指令集,以及调用存储在存储器305内的数据,执行服务器的各种功能和处理数据。可选的,处理器301可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器301可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器301中,单独通过一块芯片进行实现。
其中,存储器305可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器405包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器305可选的还可以是至少一个位于远离前述处理器301的存储装置。参照图3,作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及一种基于智能模型的平台数据存储方法的应用程序。
在图3所示的电子设备300中,用户接口303主要用于为用户提供输入的接口,获取用户输入的数据;而处理器301可以用于调用存储器305中存储一种基于智能模型的平台数据存储方法的应用程序,当由一个或多个处理器301执行时,使得电子设备300执行如上述实施例中一个或多个所述的方法。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.基于智能模型的平台数据存储方法,其特征在于,所述方法包括:
获取用户的目标历史数据查询记录;
将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;
根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;
根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。
2.根据权利要求1所述的基于智能模型的平台数据存储方法,其特征在于,所述获取用户的目标历史数据查询记录之前,还包括:
构建初始的智能模型;
将样本训练集输入至所述初始的智能模型中进行训练,并通过样本测试集对所述初始的智能模型的预测准确率进行检验,直至所述预测准确率达到预设值则停止训练,得到训练完成的智能模型。
3.根据权利要求1所述的基于智能模型的平台数据存储方法,其特征在于,所述获取用户的目标历史数据查询记录,包括:
获取所述用户距离当前时间前预设时长所有的历史数据查询记录;
将所述历史数据查询记录进行数据清洗,得到目标历史数据查询记录,所述目标历史数据查询记录至少包括各目标历史数据的查询时间、查询时长、查询关键词、查询数据的格式、查询评价反馈中的一种。
4.根据权利要求1所述的基于智能模型的平台数据存储方法,其特征在于,所述待查询资料信息包括各待查询数据的数据量,所述根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别,包括:
根据所述目标历史数据查询记录中的用户查询数据的频率,确定所述用户的等级;
根据所述用户的等级以及各所述待查询数据的数据量,确定所述待查询资料信息中各待查询数据的重要级别。
5.根据权利要求4所述的基于智能模型的平台数据存储方法,其特征在于,,所述根据所述用户的等级以及各所述待查询数据的数据量,确定所述待查询资料信息中各待查询数据的重要级别,包括:
根据所述用户的等级以及预置的等级与等级分值关系,得到所述用户等级对应的等级分值;
根据所述待查询数据的数据量以及预置的数据量与数据量分值的转换关系,得到各所述待查询数据的数据量对应的数据量分值;
将所述等级分值以及所述数据量分值分别乘以对应的预置权重,得到各待查询数据的重要值;
基于所述重要值以及预置的重要值与重要级别关系,确定所述各待查询数据的重要级别。
6.根据权利要求1所述的基于智能模型的平台数据存储方法,其特征在于,所述重要级别包括重要,一般重要以及不重要,所述根据所述待查询数据的重要级别确定各所述待查询数据的存储策略,包括:
若所述待查询数据的重要级别为重要,则将所述待查询数据以第一存储格式存储至第一存储区域;
若所述待查询数据的重要级别为一般重要,则将所述待查询数据以第二存储格式存储至第二存储区域,所述第一存储格式的数据读取速度大于所述第二存储格式,所述第一存储区域的数据读取速度大于所述第二存储区域;
若所述待查询数据的重要级别为不重要,则按照预置的常规存储规则进行存储。
7.根据权利要求1所述的基于智能模型的平台数据存储方法,其特征在于,所述根据所述待查询数据的重要级别确定各所述待查询数据的存储策略之后,还包括:
定期获取所述用户对各历史查询数据的评价结果;
根据所述评价结果调整所述各待查询数据的重要级别,得到调整后的各待查询数据的重要级别;
根据所述调整后的各待查询数据的重要级别确定所述待查询数据的存储策略。
8.一种基于智能模型的平台数据存储系统,其特征在于,所述系统包括:
历史数据获取模块(1),用于获取用户的目标历史数据查询记录;
待查询数据预测模块(2),用于将所述目标历史数据查询记录输入至训练完成的智能模型中,预测所述用户在预设时间段后的待查询资料信息;
重要级别确定模块(3),用于根据所述目标历史数据查询记录,确定所述待查询资料信息中各待查询数据的重要级别;
存储策略确定模块(4),用于根据所述待查询数据的重要级别确定各所述待查询数据的存储策略。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述的方法。
10.一种电子设备,其特征在于,包括处理器、存储器和收发器,所述存储器用于存储指令,所述收发器用于和其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如权利要求1~7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310909341.XA CN116932549A (zh) | 2023-07-21 | 2023-07-21 | 基于智能模型的平台数据存储方法、系统、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310909341.XA CN116932549A (zh) | 2023-07-21 | 2023-07-21 | 基于智能模型的平台数据存储方法、系统、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116932549A true CN116932549A (zh) | 2023-10-24 |
Family
ID=88389245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310909341.XA Pending CN116932549A (zh) | 2023-07-21 | 2023-07-21 | 基于智能模型的平台数据存储方法、系统、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116932549A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236801A (zh) * | 2023-11-14 | 2023-12-15 | 北京顺世思成科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
-
2023
- 2023-07-21 CN CN202310909341.XA patent/CN116932549A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236801A (zh) * | 2023-11-14 | 2023-12-15 | 北京顺世思成科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
CN117236801B (zh) * | 2023-11-14 | 2024-01-26 | 北京顺世思成科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446210B (zh) | 系统性能的度量方法、存储介质和服务器 | |
US20100153431A1 (en) | Alert triggered statistics collections | |
EP2407897A1 (en) | Device for determining internet activity | |
US8725741B2 (en) | Assessing application performance with an operational index | |
CN108090678B (zh) | 一种数据模型监控方法、系统、设备及计算机存储介质 | |
CN111144941A (zh) | 商户评分的生成方法、装置、设备及可读存储介质 | |
CN116932549A (zh) | 基于智能模型的平台数据存储方法、系统、介质及设备 | |
CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
US11036701B2 (en) | Data sampling in a storage system | |
CN114756764A (zh) | 基于企业的内容信息流推荐方法、装置、电子设备及存储介质 | |
US20140280182A1 (en) | Method and system for calculating and charting website performance | |
CN114692002A (zh) | 预测模型的更新方法、装置、电子设备及存储介质 | |
CN109582751B (zh) | 一种检索效果的度量方法及服务器 | |
CN110717653A (zh) | 风险识别方法及装置和电子设备 | |
JP6617605B6 (ja) | 需要量予測プログラム、需要量予測方法、及び情報処理装置 | |
JP2008305229A (ja) | 需要予測方法および装置 | |
CN114461948A (zh) | Web缓存设置优化方法及电子设备 | |
CN108694212A (zh) | 一种样本对象的处理方法及装置 | |
CN112116433A (zh) | 订单归因方法及装置 | |
RU2637899C2 (ru) | Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска | |
CN110766544A (zh) | 信用风险的检测方法及装置、存储介质、电子装置 | |
CN113905400B (zh) | 网络优化处理方法、装置、电子设备及存储介质 | |
CN116861101B (zh) | 用于社交匹配的数据处理方法和装置 | |
KR20240059999A (ko) | 포털 검색 및 평판 분석을 이용한 마케팅 성과 측정 장치 및 방법 | |
CN115794897A (zh) | 行为数据处理方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |