CN113360094B - 数据预测方法和装置、电子设备及存储介质 - Google Patents
数据预测方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113360094B CN113360094B CN202110624685.7A CN202110624685A CN113360094B CN 113360094 B CN113360094 B CN 113360094B CN 202110624685 A CN202110624685 A CN 202110624685A CN 113360094 B CN113360094 B CN 113360094B
- Authority
- CN
- China
- Prior art keywords
- data
- picture data
- processed
- prediction
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供的数据预测方法和装置、电子设备及存储介质,涉及数据预测技术领域。数据预测方法包括:首先,获取待处理图片数据的历史轨迹数据,其中,历史轨迹数据表征待处理图片数据的访问顺序;其次,根据历史轨迹数据计算得到待处理图片数据的关联值;然后,根据关联值对待处理图片数据的关联图片数据进行预测。通过上述方法,可以实现根据访问顺序中的数据进行数据预测,避免了现有技术中直接缓存时间或空间相近邻的数据进行预测,所导致的数据预测的命中率低的问题。
Description
技术领域
本申请涉及数据预测技术领域,具体而言,涉及一种数据预测方法和装置、电子设备及存储介质。
背景技术
经发明人研究发现,在现有分布式图片存储系统中,数据量大且数据离散,传统数据预测办法直接缓存时间或空间相近邻的数据进行预测,从而存在着数据预测的命中率低的问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据预测方法和装置、电子设备及存储介质,以改善现有技术中存在的问题。
为实现上述目的,本申请实施例采用如下技术方案:
第一方面,本发明提供一种数据预测方法,包括:
获取待处理图片数据的历史轨迹数据,其中,所述历史轨迹数据表征所述待处理图片数据的访问顺序;
根据所述历史轨迹数据计算得到所述待处理图片数据的关联值;
根据所述关联值对所述待处理图片数据的关联图片数据进行预测。
在可选的实施方式中,所述历史轨迹数据包括所述待处理图片数据的标识信息,所述待处理图片数据的关联值包括至少两个所述待处理图片数据所在的存储单元之间的关联值,所述根据所述历史轨迹数据计算得到所述待处理图片数据的关联值的步骤,包括:
根据所述标识信息计算得到各个所述待处理图片数据所在的存储单元;
根据所述历史轨迹数据对至少两个所述存储单元之间的关联值进行更新处理。
在可选的实施方式中,所述根据所述关联值对所述待处理图片数据的关联图片数据进行预测的步骤,包括:
判断所述至少两个所述存储单元之间的关联值是否大于关联值阈值;
若是,则将大于关联值阈值的存储单元作为所述关联图片数据所在的存储单元。
在可选的实施方式中,所述数据预测方法还包括:
判断所述待处理图片数据的预测命中率是否大于命中率阈值;
若否,则对所述关联值阈值进行递增处理。
在可选的实施方式中,所述数据预测方法还包括:
判断所述历史轨迹数据中是否存在未访问的存储单元对;
若是,则对所述未访问的存储单元对的关联值进行递减处理。
在可选的实施方式中,所述数据预测方法还包括:
判断缓存数据是否包括所述待处理图片数据的关联图片数据;
若是,则对所述关联图片数据进行提取处理。
第二方面,本发明提供一种数据预测装置,包括:
数据获取模块,用于获取待处理图片数据的历史轨迹数据,其中,所述历史轨迹数据表征所述待处理图片数据的访问顺序;
关联值计算模块,用于根据所述历史轨迹数据计算得到所述待处理图片数据的关联值;
预测模块,用于根据所述关联值对所述待处理图片数据的关联图片数据进行预测。
在可选的实施方式中,所述历史轨迹数据包括所述待处理图片数据的标识信息,所述待处理图片数据的关联值包括至少两个所述待处理图片数据所在的存储单元之间的关联值,所述关联值计算模块具体用于:
根据所述标识信息计算得到各个所述待处理图片数据所在的存储单元;
根据所述历史轨迹数据对至少两个所述存储单元之间的关联值进行更新处理。
第三方面,本发明提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述实施方式任一项所述的数据预测方法。
第四方面,本发明提供一种存储介质,所述存储介质包括计算机程序,所述计算机程序运行时控制所述存储介质所在电子设备执行前述实施方式任一项所述的数据预测方法。
本申请实施例提供的数据预测方法和装置、电子设备及存储介质,通过表征图片数据访问顺序的历史轨迹数据计算得到图片数据的关联值,根据关联值进行预测,实现了根据访问顺序中的数据进行数据预测,避免了现有技术中直接缓存时间或空间相近邻的数据进行预测,所导致的数据预测的命中率低的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的数据预测系统的结构框图。
图2示出了本申请实施例提供的电子设备的结构框图。
图3为本申请实施例提供的数据预测方法的流程示意图。
图4为本申请实施例提供的关联预测系统架构的结构示意图。
图5为本申请实施例提供的图片数据的结构示意图。
图6为本申请实施例提供的存储单元的结构示意图。
图7为本申请实施例提供的关联预测数据结构的结构示意图。
图8为本申请实施例提供的数据预测装置的结构框图。
图标:10-数据预测系统;100-电子设备;110-第一存储器;120-第一处理器;130-通信模块;200-前端设备;800-数据预测装置;810-数据获取模块;820-关联值计算模块;830-预测模块。
具体实施方式
分布式图片存储系统的两大特点:一是数据量大,集群规模可以扩展到数千个存储节点,能够存储千亿级图片数据;一是数据离散,主要表现为数据源离散、存储空间离散和存储时间离散,来自成千上万的前端摄像机的图片数据,7*24小时源源不断地存入到不同存储节点的不同磁盘上。
当今大数据时代,数据与数据之间,往往都存在着某种“内在”关联性,而且相关联的数据往往都在短时间内相继被访问,比如AI应用场景中人脸识别,以图搜图等,要求在秒级内匹配特征相似的图片数据。在这场景下,由于图片数据分布的完全随机性,传统的时间局部性和空间局部性相关的关联数据预测算法均会失效,导致访问相关联的图片数据出现严重的“长尾效应”,影响系统在对响应时间敏感的场景中的应用。
为了改善本申请所提出的上述至少一种技术问题,本申请实施例提供一种数据预测方法和装置、电子设备及存储介质,下面通过可能的实现方式对本申请的技术方案进行说明。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在发明过程中做出的贡献。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
图1为本申请实施例提供的数据预测系统10的结构框图,其提供了一种数据预测系统10可能的实现方式,参见图1,该数据预测系统10可以包括电子设备100、前端设备200中的一种或多种。
其中,前端设备200将采集的图片数据发送至电子设备100,电子设备100根据待处理图片数据的历史轨迹数据计算得到待处理图片数据的关联值,根据关联值对待处理图片数据的关联图片数据进行预测。
可选地,前端设备200的具体类型不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,前端设备200可以为摄像机。
请参照图2,是本申请实施例提供的一种电子设备100的方框示意图,本实施例中的电子设备100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。电子设备100包括第一存储器110、第一处理器120及通信模块130。第一存储器110、第一处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,第一存储器110用于存储程序或者数据。第一存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
第一处理器120用于读/写第一存储器110中存储的数据或程序,并执行相应地功能。通信模块130用于通过网络建立电子设备100与其它通信终端之间的通信连接,并用于通过网络收发数据。
应当理解的是,图2所示的结构仅为电子设备100的结构示意图,电子设备100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3示出了本申请实施例所提供的数据预测方法的流程图之一,该方法可应用于图2所示的电子设备100,由图2中的电子设备100执行。应当理解,在其他实施例中,本实施例的数据预测方法中的部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。下面对图3所示的数据预测方法的流程进行详细描述。
步骤S310,获取待处理图片数据的历史轨迹数据。
其中,历史轨迹数据表征待处理图片数据的访问顺序。
步骤S320,根据历史轨迹数据计算得到待处理图片数据的关联值。
步骤S330,根据关联值对待处理图片数据的关联图片数据进行预测。
上述方法通过表征图片数据访问顺序的历史轨迹数据计算得到图片数据的关联值,根据关联值进行预测,实现了根据访问顺序中的数据进行数据预测,避免了现有技术中直接缓存时间或空间相近邻的数据进行预测,所导致的数据预测的命中率低的问题。
对于步骤S310,需要说明的是,本申请实施例提供了一种关联预测系统架构,如图4所示,关联预测系统架构可以包括Readfull接口、Readthrough接口、libEVFS接口层、PredictUnit预测层和EVFS私有文件系统层。其中,libEVFS接口层用于给应用程序提供图片数据访问接口,为满足不同应用场景需求,提供两套访问接口:Readfull为单张图片读取接口,只读取感兴趣的目标图片数据,本申请实施例针对此类关联图片访问应用场景进行优化;Readthrough为遍历图片读取接口,适用于批量读取图片数据,不关心图片数据内在关联性的应用场景,比如图片数据跨存储空间迁移备份,该接口不经过PredictUnit层,避免“弄脏”预测数据,引起预测偏差。PredictUnit预测层用于对图片数据进行预测,EVFS私有文件系统层用于对多块物理磁盘进行虚拟化,管理存储单元分配使用。
也就是说,本申请实施例提供的数据预测方法可以通过Readfull接口1)访问待处理图片数据,待处理图片数据携带图片唯一标识,通过PredictUnit预测层获取待处理图片数据的历史轨迹数据。
对于步骤S320,需要说明的是,计算关联值的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,历史轨迹数据包括待处理图片数据的标识信息,待处理图片数据的关联值包括至少两个待处理图片数据所在的存储单元之间的关联值,步骤S320可以包括以下子步骤:
根据标识信息计算得到各个待处理图片数据所在的存储单元;根据历史轨迹数据对至少两个存储单元之间的关联值进行更新处理。
首先,需要说明的是,在分布式图片存储系统中,图片数据的数据大小一般较小,从几十KB到几百KB。为了减少元数据的数量,通常可以采用聚合存储的办法,即将多张图片聚合存储为一个大文件,可以通过大文件名称和偏移方式唯一标识一张图片。图片数据在存储空间中的组织和分布如图5所示,多张图片聚合存储在一个存储单元中,图片A1可以通过0-0-20000(unit id-unit offset-size)进行唯一标识,相关联图片A1~A6、B1~B5随机分散在整个存储空间中。
为了预取缓存相关联的图片数据,本申请实施例提出的数据预测方法可以将整个存储空间平均分成大小为M的存储单元(M的值可配置,比如可以4MB),用于聚合存储图片数据,每个存储单元有唯一的unit id,从0开始计数。存储单元同时作为图片数据关联性的预测单元,若多个存储单元包含有相关联的图片数据,则定义这些存储单元具有相关联性。
进一步地,存储单元关联性预测原理,如图6所示,将所有存储单元看作是N边形的顺序点(此处存储单元采用ABC字符进行表示,方便描述),任意两个点间均可连线,表示存储单元间的关联性,关联值V表示关联性强弱。在单位时间T内(T的值可配置,比如可以为15s),若多个存储单元相继被访问,如存储单元B-H-E(顺序无关)被访问,则其两两存储单元之间连线的关联值均增加1。
在图6中,存储单元A-E的关联值为10,存储单元A-F的关联值为2,存储单元B-E的关联值为10,存储单元D-G的关联值为4,存储单元E-H的关联值为10。
对于N边形,根据排列组合计算,共有C(N,2)=N^2/2–N/2条不同的连线,在随机分布情况下,任一条连线如AB、AF被选中的概率均为P=1/C(N,2),其中AB表示时空相邻的存储单元对,AF表示非时空相邻的存储单元对。
当N=1时,即将整个存储空间看作是一个预测单元,则P=1,预测相关性准确度为100%,但缓存数据有效率接近0;
当N=1024,即将整个存储空间均分成1024个预测单元,则P接近0。若在单位时间T内,观察到低概率事件,比如AF连线出现次数V超过阈值Y,预测这些存储单元相关联的准确度接近100%。
根据以上论述过程可以知道的是,N越大,阈值Y越高,预测关联性越准确,可以达到单张图片级精度。相对应的,在完全随机分布情况下,直接以时间或空间相邻区域数据的预测,准确度趋近0。
在获取待处理图片数据的历史轨迹数据之后,可以根据历史轨迹数据得到待处理图片数据所在的存储单元之间的访问顺序,从而建立存储单元关联预测数据结构。如图7所示,存储单元关联预测数据结构采用key/value方式保存,key为预测单元id,大小4bytes,value为存储单元关联记录序列,以二进制形式保存,每个关联记录大小5bytes。关联记录序列同样采用key/value方式保存,key为预测关联的存储单元id,value为关联值,大小为1byte,关联值范围[1,256](0表示无关联,不记录)。需要说明的是,图7中的“-”和“|”仅为助记符,实际并没有存储在关联记录中。关联预测数据结构存储可以采用哈希表方式实现,或者直接采用KV数据库保存,比如Redis、RocksDB等数据库。
对于步骤S330,需要说明的是,进行预测的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,步骤S330可以包括以下子步骤:
判断至少两个存储单元之间的关联值是否大于关联值阈值;在本申请实施例中,在至少两个存储单元之间的关联值大于关联值阈值,判定存在关联图片数据所在的存储单元,将大于关联值阈值的存储单元作为关联图片数据所在的存储单元;在至少两个存储单元之间的关联值不大于关联值阈值,判定不存在关联图片数据所在的存储单元。
需要说明的是,PredictUnit预测层可以包括关联预测模块,关联预测模块周期性(时间间隔T可配,比如可以为15s)采集应用程序访问图片数据的历史轨迹数据,根据图片唯一标识计算图片数据所在的存储单元,按照图6方式增加存储单元间的关联值,并将存储单元关联预测数据按照图7方式记录保存,若存储单元间关联值超过预测阈值(可配置,比如可以为2),则在图片数据初次被访问时触发预取缓存相关联的存储单元。
可选地,计算所在存储单元的具体方式不受限制,可以根据实际应用需求进行设置。例如,在一种可以替代的示例中,关联预测模块可以根据图片数据的唯一标识(unitid-unit offset-size),计算获取其所在的存储单元id,查询存储单元对应的关联记录,获取关联值超过预测阈值的存储单元id,并提交后台任务预取缓存对应的存储单元数据。同时,关联预测模块还可以从存储空间同步读取目标图片数据并返回给应用程序。关联预测模块还可以周期性采集记录当前预测周期内应用程序访问过的存储单元id,判定其间具备关联性,递增两两存储单元间的关联值。
进一步地,在步骤S330之后,本申请实施例提供的数据预测方法还可以包括对预测命中率进行判断的步骤,因此,数据预测方法还可以包括以下子步骤:
判断待处理图片数据的预测命中率是否大于命中率阈值;在本申请实施例中,在待处理图片数据的预测命中率不大于命中率阈值时,判定关联值阈值设置不合理,对关联值阈值进行递增处理;在待处理图片数据的预测命中率大于命中率阈值时,判定关联值阈值设置合理。
需要说明的是,PredictUnit预测层还可以包括预测反馈模块,预测反馈模块周期性(时间间隔T可配,比如可以为15s)统计存储单元预取缓存命中率,若上个预测周期中预取缓存命中率低于阈值(可配置,比如可以为90%),则递增关联值阈值,并递减上周期中未被命中的存储单元间的关联值,且当关联值降低为0时,从关联记录中删除该存储单元。
进一步地,在步骤S330之后,本申请实施例提供的数据预测方法还可以包括对存储单元的访问记录进行判断的步骤,因此,数据预测方法还可以包括以下子步骤:
判断历史轨迹数据中是否存在未访问的存储单元对;在本申请实施例中,在历史轨迹数据中存在未访问的存储单元对时,对未访问的存储单元对的关联值进行递减处理;在历史轨迹数据中不存在未访问的存储单元对时,判定存储单元之间都具备关联性。
也就是说,预测反馈模块可以周期性监控预取缓存命中情况,对于一个预测周期内未被访问的存储单元对,判定存储单元对之间不具备关联性,递减两两存储单元间的关联值。
进一步地,在步骤S330之后,本申请实施例提供的数据预测方法还可以包括对缓存数据进行查找的步骤,因此,数据预测方法还可以包括以下子步骤:
判断缓存数据是否包括待处理图片数据的关联图片数据;在本申请实施例中,在缓存数据包括待处理图片数据的关联图片数据时,判定关联图片数据已被加载进缓存,对关联图片数据进行提取处理;在缓存数据不包括待处理图片数据的关联图片数据时,判定关联图片数据未被加载进缓存。
需要说明的是,预测反馈模块可以查询预取缓存,若待处理图片数据的关联图片数据存在,则直接进行提取返回给应用程序。
在一种可以替代的示例中,实验预测系统可以配置256TB存储空间,存储单元大小为4MB,则存储单元id为[0,67108863]。配置2TB SSD作为缓存空间(按照SSD/HDD容量比例为1%配置),用于预取缓存存储单元数据。采用KV数据库RocksDB保存存储单元关联预测数据,为了提升关联查询性能,RocksDB数据库文件保存在SSD中。关联值阈值可以设置为2,预取缓存命中率阈值可以设置为90%。PredictUnit中的关联预测和预测反馈模块的周期采样时间间隔可以设置为15s,关联预测模块配置1线程用于周期采样记录应用程序在预测周期内访问过的存储单元id,并建立存储单元间的关联性,配置8线程用于处理预取缓存相关联存储单元的任务,将存储单元数据加载到缓存空间。预测反馈模块配置1线程用于周期统计预取缓存命中率,动态调整存储单元间关联值和关联值阈值,配置1线程用于监控缓存空间利用率,在缓存空间利用率达到85%时执行缓存清理任务,配置4线程用于处理应用程序访问图片任务,负责从预测缓存空间中读取命中的图片数据。
通过上述方法,本申请实施例通过采用稀疏矩阵方式,记录跟踪用户访问图片数据的分布轨迹,预测数据间的关联性,针对性缓存有关联的存储单元数据,相比传统相关预测办法缓存时间或空间相近邻的数据,可以大幅度提高分布式存储场景下的缓存命中率。
结合图8,本申请实施例还提供了一种数据预测装置800,该数据预测装置800实现的功能对应上述方法执行的步骤。该数据预测装置800可以理解为上述电子设备100的处理器,也可以理解为独立于上述电子设备100或处理器之外的在电子设备100控制下实现本申请功能的组件。其中,数据预测装置800可以包括数据获取模块810、关联值计算模块820和预测模块830。
数据获取模块810,用于获取待处理图片数据的历史轨迹数据,其中,历史轨迹数据表征待处理图片数据的访问顺序。在本申请实施例中,数据获取模块810可以用于执行图3所示的步骤S310,关于数据获取模块810的相关内容可以参照前文对步骤S310的描述。
关联值计算模块820,用于根据历史轨迹数据计算得到待处理图片数据的关联值。在本申请实施例中,关联值计算模块820可以用于执行图3所示的步骤S320,关于关联值计算模块820的相关内容可以参照前文对步骤S320的描述。
预测模块830,用于根据关联值对待处理图片数据的关联图片数据进行预测。在本申请实施例中,预测模块830可以用于执行图3所示的步骤S330,关于预测模块830的相关内容可以参照前文对步骤S330的描述。
进一步地,在一种可以替代的示例中,历史轨迹数据可以包括待处理图片数据的标识信息,待处理图片数据的关联值可以包括至少两个待处理图片数据所在的存储单元之间的关联值,关联值计算模块820还可以具体用于:
根据标识信息计算得到各个待处理图片数据所在的存储单元;根据历史轨迹数据对至少两个存储单元之间的关联值进行更新处理。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述数据预测方法的步骤。
本申请实施例所提供的数据预测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述方法实施例中的数据预测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
综上,本申请实施例提供的数据预测方法和装置、电子设备及存储介质,通过表征图片数据访问顺序的历史轨迹数据计算得到图片数据的关联值,根据关联值进行预测,实现了根据访问顺序中的数据进行数据预测,避免了现有技术中直接缓存时间或空间相近邻的数据进行预测,所导致的数据预测的命中率低的问题。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种数据预测方法,其特征在于,包括:
获取待处理图片数据的历史轨迹数据,其中,所述历史轨迹数据表征所述待处理图片数据的访问顺序;
根据所述历史轨迹数据计算得到所述待处理图片数据的关联值;
根据所述关联值对所述待处理图片数据的关联图片数据进行预测;
所述历史轨迹数据包括所述待处理图片数据的标识信息,所述待处理图片数据的关联值包括至少两个所述待处理图片数据所在的存储单元之间的关联值;
所述根据所述历史轨迹数据计算得到所述待处理图片数据的关联值的步骤,包括:
根据所述标识信息计算得到各个所述待处理图片数据所在的存储单元;
根据所述历史轨迹数据对至少两个所述存储单元之间的关联值进行更新处理。
2.如权利要求1所述的数据预测方法,其特征在于,所述根据所述关联值对所述待处理图片数据的关联图片数据进行预测的步骤,包括:
判断所述至少两个所述存储单元之间的关联值是否大于关联值阈值;
若是,则将大于关联值阈值的存储单元作为所述关联图片数据所在的存储单元。
3.如权利要求2所述的数据预测方法,其特征在于,所述数据预测方法还包括:
判断所述待处理图片数据的预测命中率是否大于命中率阈值;
若否,则对所述关联值阈值进行递增处理。
4.如权利要求2所述的数据预测方法,其特征在于,所述数据预测方法还包括:
判断所述历史轨迹数据中是否存在未访问的存储单元对;
若是,则对所述未访问的存储单元对的关联值进行递减处理。
5.如权利要求1所述的数据预测方法,其特征在于,所述数据预测方法还包括:
判断缓存数据是否包括所述待处理图片数据的关联图片数据;
若是,则对所述关联图片数据进行提取处理。
6.一种数据预测装置,其特征在于,包括:
数据获取模块,用于获取待处理图片数据的历史轨迹数据,其中,所述历史轨迹数据表征所述待处理图片数据的访问顺序;
关联值计算模块,用于根据所述历史轨迹数据计算得到所述待处理图片数据的关联值;
预测模块,用于根据所述关联值对所述待处理图片数据的关联图片数据进行预测;
所述历史轨迹数据包括所述待处理图片数据的标识信息,所述待处理图片数据的关联值包括至少两个所述待处理图片数据所在的存储单元之间的关联值;
所述关联值计算模块具体用于:根据所述标识信息计算得到各个所述待处理图片数据所在的存储单元;根据所述历史轨迹数据对至少两个所述存储单元之间的关联值进行更新处理。
7.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至5任一项所述的数据预测方法。
8.一种存储介质,其特征在于,所述存储介质包括计算机程序,所述计算机程序运行时控制所述存储介质所在电子设备执行权利要求1至5任一项所述的数据预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110624685.7A CN113360094B (zh) | 2021-06-04 | 2021-06-04 | 数据预测方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110624685.7A CN113360094B (zh) | 2021-06-04 | 2021-06-04 | 数据预测方法和装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360094A CN113360094A (zh) | 2021-09-07 |
CN113360094B true CN113360094B (zh) | 2022-11-01 |
Family
ID=77532374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110624685.7A Active CN113360094B (zh) | 2021-06-04 | 2021-06-04 | 数据预测方法和装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360094B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114546279B (zh) * | 2022-02-24 | 2023-11-14 | 重庆紫光华山智安科技有限公司 | Io请求预测方法、装置、存储节点及可读存储介质 |
CN115022342B (zh) * | 2022-05-31 | 2023-12-05 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010263374A (ja) * | 2009-05-01 | 2010-11-18 | Canon Inc | 記録再生装置及び記録再生方法 |
CN111190926A (zh) * | 2019-11-25 | 2020-05-22 | 腾讯云计算(北京)有限责任公司 | 资源缓存方法、装置、设备及存储介质 |
CN111966845A (zh) * | 2020-08-31 | 2020-11-20 | 重庆紫光华山智安科技有限公司 | 图片管理方法、装置、存储节点及存储介质 |
JP2021048647A (ja) * | 2020-12-23 | 2021-03-25 | 株式会社Nttドコモ | 動画像予測復号方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2039172A4 (en) * | 2006-07-10 | 2011-04-13 | Symmetricom Inc | IMAGE COMPLEXITY CALCULATION IN PACKET VIDEO DIFFUSION SYSTEMS |
US11317104B2 (en) * | 2019-05-15 | 2022-04-26 | Tencent America LLC | Method and apparatus for video coding |
CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
CN112231243B (zh) * | 2020-10-29 | 2023-04-07 | 海光信息技术股份有限公司 | 一种数据处理方法、处理器及电子设备 |
CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
CN112556702A (zh) * | 2021-02-22 | 2021-03-26 | 智道网联科技(北京)有限公司 | 一种车辆移动轨迹的高度修正方法及相关装置 |
-
2021
- 2021-06-04 CN CN202110624685.7A patent/CN113360094B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010263374A (ja) * | 2009-05-01 | 2010-11-18 | Canon Inc | 記録再生装置及び記録再生方法 |
CN111190926A (zh) * | 2019-11-25 | 2020-05-22 | 腾讯云计算(北京)有限责任公司 | 资源缓存方法、装置、设备及存储介质 |
CN111966845A (zh) * | 2020-08-31 | 2020-11-20 | 重庆紫光华山智安科技有限公司 | 图片管理方法、装置、存储节点及存储介质 |
JP2021048647A (ja) * | 2020-12-23 | 2021-03-25 | 株式会社Nttドコモ | 動画像予測復号方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113360094A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170060769A1 (en) | Systems, devices and methods for generating locality-indicative data representations of data streams, and compressions thereof | |
US11188236B2 (en) | Automatically organizing storage system | |
CN113360094B (zh) | 数据预测方法和装置、电子设备及存储介质 | |
US8112585B2 (en) | Method and apparatus for dynamically switching cache policies | |
CN104731690B (zh) | 适应性度量收集、存储、和警告阈值 | |
US7292961B2 (en) | Capturing session activity as in-memory snapshots using a time-based sampling technique within a database for performance tuning and problem diagnosis | |
US9122717B2 (en) | System and method of detecting cache inconsistencies | |
CN103635887B (zh) | 缓存数据的方法和存储系统 | |
CN105608115A (zh) | 数据获取方法与装置 | |
US10509769B1 (en) | Method to efficiently track I/O access history | |
US10223270B1 (en) | Predicting future access requests by inverting historic access requests in an object storage system | |
US12014045B2 (en) | Creation and use of an efficiency set to estimate an amount of data stored in a data set of a storage system having one or more characteristics | |
US20180219737A1 (en) | Management of cloud-based shared content using predictive cost modeling | |
CN115022342A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN117235088B (zh) | 一种存储系统的缓存更新方法、装置、设备、介质及平台 | |
CN113037872B (zh) | 一种基于物联网多级边缘节点的缓存和预取方法 | |
CN107704507A (zh) | 数据库处理方法和设备 | |
US9851925B2 (en) | Data allocation control apparatus and data allocation control method | |
CN109189696B (zh) | 一种ssd缓存系统及缓存方法 | |
US11308047B2 (en) | Data access and recommendation system | |
CN114785858B (zh) | 应用于互感器在线监测系统的资源主动缓存方法及装置 | |
CN112256649A (zh) | 一种医学文件的存储方法及装置 | |
JP2023531751A (ja) | 車載データ記憶方法およびシステム | |
WO2022152086A1 (zh) | 数据缓存方法、装置、设备及计算机可读存储介质 | |
CN114741630A (zh) | 一种淘汰数据的方法、装置、缓存节点以及缓存系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |