CN109992210B - 数据存储方法、装置及电子设备 - Google Patents

数据存储方法、装置及电子设备 Download PDF

Info

Publication number
CN109992210B
CN109992210B CN201910256422.8A CN201910256422A CN109992210B CN 109992210 B CN109992210 B CN 109992210B CN 201910256422 A CN201910256422 A CN 201910256422A CN 109992210 B CN109992210 B CN 109992210B
Authority
CN
China
Prior art keywords
state
sample data
historical
sub
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910256422.8A
Other languages
English (en)
Other versions
CN109992210A (zh
Inventor
程智睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201910256422.8A priority Critical patent/CN109992210B/zh
Publication of CN109992210A publication Critical patent/CN109992210A/zh
Application granted granted Critical
Publication of CN109992210B publication Critical patent/CN109992210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Abstract

本申请实施例提供了一种数据存储方法、装置及电子设备,所述方法包括:根据样本数据在历史时段的历史热度状态,确定样本数据的预估热度状态;将样本数据存储在预估热度状态对应的存储区块中。预先预测得到样本数据在未来时段的预估热度状态,将样本数据预先存储在预估热度状态对应的存储区块中,对于预估热度状态越大的样本数据,预先存储在读写速度越快的存储区块中,如此可以提高了存储系统对访问样本数据的反馈速度,从而,提高了存储系统的性能,解决了目前基于混合存储的存储策略存在一定的滞后性,导致存储系统的性能差的技术问题,达到了提高存储系统的性能的技术效果。

Description

数据存储方法、装置及电子设备
技术领域
本申请电子信息处理领域,具体而言,涉及一种数据存储方法、装置及电 子设备。
背景技术
随着计算机和大数据技术的不断发展,数以万计的终端以及传感器正持续 不断的产生大量数据,根据国际数据咨询(IDC)公司提供的报告,全球数据量 正已每年50%的增长率飞速发展,预计到2020年,全球将拥有35ZB的数据 量。
爆发式增长的数据量对存储系统提出了越来越高的要求。为了解决存储系 统性能和成本之间的矛盾,使用以内存、固态硬盘、机械硬盘为存储介质的混 合存储被广泛应用。混合存储根据数据热度的变化采用不同的存储策略,将大 部分冷数据存储到磁盘,而少量热数据保留在读写速度相对较快的内存或固态 硬盘中,从而降低存储成本,并提升整体资源使用效率。
虽然混合存储通过对数据进行热度划分并采用不同策略使存储系统高性 能和低成本达到最大化。但是目前基于混合存储的存储策略存在一定的滞后性, 导致存储系统的性能差。
发明内容
本申请的目的在于提供一种数据存储方法、装置及电子设备,其旨在改善 现有技术中存在的上述不足。
第一方面,本申请实施例提供了一种数据存储方法,包括:
根据样本数据在历史时段的历史热度状态,确定所述样本数据的预估热度 状态;所述历史热度状态表征所述样本数据在所述历史时段被访问次数所处的 等级;所述预估热度状态表征所述样本数据在未来时段预估访问次数所处的等 级;
将所述样本数据存储在所述预估热度状态对应的存储区块中。
可选的,所述历史时段包括第一历史子时段和第二历史子时段;所述历史 热度状态包含第一历史热度子状态和第二历史热度子状态;所述第一历史热度 子状态表征所述样本数据在所述第一历史子时段被访问次数所处的等级,所述 第二历史热度子状态表征所述样本数据在所述第二历史子时段被访问次数所 处的等级,
所述根据样本数据在历史时段的历史热度状态,确定所述样本数据的预估 热度状态,包括:
根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估 热度状态。
可选的,所述根据所述第一历史热度子状态和所述第二历史热度子状态, 预测所述预估热度状态,具体通过下述公式实现:
Rnext=(1-ξ)Rnow+ξ(r+γRlast)
其中,Rlast表示所述第一历史热度子状态,Rnow表示所述第二历史热度子状 态,Rnext表示样本数据的预估热度状态,γ表示折扣函数,ξ表示学习效率(反 馈信号),γ和ξ是常量,r表示强化信号,r=Rnow-Rlast
可选的,在所述根据所述第一历史热度子状态和所述第二历史热度子状态, 预测所述预估热度状态之前,所述方法还包括:
获得所述第一历史热度子状态和所述第二历史热度子状态。
可选的,所述获得所述样本数据的所述第一历史热度子状态和所述第二历 史热度子状态,包括:
获得所述样本数据在设定时段的被访问次数;
获得样本集在所述设定时段的平均被访问次数,所述样本集包括多个所述 样本数据;
基于所述被访问次数和所述平均被访问次数,获得所述样本数据的热度状 态;
当所述设定时段是所述第一历史子时段时,获得所述样本数据的所述第一 历史热度子状态;
当所述设定时段是所述第二历史子时段时,获得所述样本数据的所述第二 历史热度子状态。
可选的,所述基于所述被访问次数和所述平均被访问次数,获得所述样本 数据的热度状态,具体通过下述公式实现:
Figure BDA0002011980160000031
其中,R表示热度状态,a表示第一类热度状态,b表示第二类热度状态, c表示第三类热度状态,d表示第四类热度状态,Pi表示所述样本数据在所述 设定时段的所述被访问次数,Pavr表示所述样本集中的所有所述样本数据在所 述设定时段的所述平均被访问次数。
可选的,所述样本数据预先以键值对的形式存储于所述存储区块中;所述 键值对至少包括值,所述值表征所述样本数据的内容信息;
所述存储区块包括第一存储区块和第二存储区块,所述第一存储区块的读 写速度大于所述第二存储区块的读写速度;
所述将所述样本数据存储在所述预估热度状态对应的存储区块中,包括:
当所述预估热度状态对应所述第一存储区块,且所述预估热度状态大于所 述第二历史热度子状态时,扩大所述第一存储区块,将所述样本数据的值存储 在所述第一存储区块;
当所述预估热度状态对应所述第二存储区块,所述预估热度状态小于所述 第二历史热度子状态时,且所述第二历史热度子状态对应所述第一存储区块时, 缩小所述第一存储区块,以释放所述样本数据在所述第一存储区块所占的空间, 并将所述样本数据的值存储在所述预估热度状态对应的所述第二存储区块。
可选的,在所述将所述样本数据存储在所述预估热度状态对应的存储区块 中之前,所述方法还包括:
确定所述预估热度状态与所述存储区块的对应关系。
可选的,所述第一存储区包括内存;所述第二存储区包括固态硬盘和机械 硬盘,所述机械硬盘包括盘符靠前的分区和盘符靠后的分区;
所述确定所述预估热度状态与所述存储区块的对应关系,包括:
若所述预估热度状态等于第一设定值,所述预估热度状态与所述内存对应;
若所述预估热度状态等于第二设定值,所述预估热度状态与所述固态硬盘 对应;
若所述预估热度状态等于第三设定值,所述预估热度状态与所述盘符靠前 的分区对应;
若所述预估热度状态等于第四设定值,所述预估热度状态与所述盘符靠后 的分区对应。
第二方面,本申请实施例提供了一种数据存储装置,包括:
处理模块,用于根据样本数据在历史时段的历史热度状态,确定所述样本 数据的预估热度状态;所述历史热度状态表征所述样本数据在所述历史时段被 访问次数所处的等级;所述预估热度状态表征所述样本数据在未来时段预估访 问次数所处的等级;
存储模块,用于将所述样本数据存储在所述预估热度状态对应的存储区块 中。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计 算机程序,该程序被处理器执行时实现上述任一项所述方法的步骤。
第四方面,本申请实施例提供了一种电子设备,其特征在于,包括处理器 及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程 序时实现上述任一项所述方法的步骤。
相对现有技术,本申请具有以下有益效果:
本申请实施例提供了一种数据存储方法、装置及电子设备,所述方法包括: 根据样本数据在历史时段的历史热度状态,确定样本数据的预估热度状态,历 史热度状态表征样本数据在历史时段被访问次数所处的等级,预估热度状态表 征样本数据在未来时段预估访问次数所处的等级;将样本数据存储在预估热度 状态对应的存储区块中。预先预测得到样本数据在未来时段的预估热度状态, 将样本数据预先存储在预估热度状态对应的存储区块中,对于预估热度状态越 大的样本数据,可以在未来时段之前预先存储在读写速度越快的存储区块中, 如此可以提高了存储系统对访问样本数据的反馈速度,从而,提高了存储系统 的性能,解决了目前基于混合存储的存储策略存在一定的滞后性,导致存储系统的性能差的技术问题,达到了提高存储系统的性能的技术效果。
本申请实施例的其他特征和优点将在随后的说明书阐述,并且,部分地从 说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其 他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来 实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使 用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例, 因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创 造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种数据存储方法的流程图。
图2示出了本申请实施例提供的另一种数据存储方法的流程图。
图3示出了本申请实施例提供的另一种数据存储方法的流程图。
图4示出了本申请实施例提供的又一种数据存储方法的流程图。
图5示出了本申请实施例提供的再一种数据存储方法的流程图。
图6示出了本申请实施例提供的一种数据存储装置200的方框结构示意图。
图7示出了本申请实施例提供的一种电子设备的方框结构示意图。
图8示出了本申请实施例提供的另一种电子设备的方框结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本 公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
虽然混合存储通过对数据进行热度划分并采用不同策略使存储系统高性 能和低成本达到最大化。但是目前基于混合存储的存储策略均是在数据访问频 次发生改变后才识别数据热度并获取到最新的数据热度状态(等级),然后根 据数据热度状态(等级)对数据进行存储到相应的存储区域,具有一定的滞后 性。如果某一热度状态(等级)的数据数量在一段时间内出现大量增长,由于 热度状态(等级)更新具有滞后性,混合存储中读写速度最高的内存存储部分 没有即时扩展,内存存储部分将不能存储增长的数据数量,将严重影响存储系 统的性能。同时,如果某一热度状态(等级)据数量在一段时间内出现大量减 少,该热度状态对应的内存会存在空闲,过大的空闲内存会造成不必要的资源 浪费。
现有的混合存储的存储策略对数据仅区分热数据和冷数据两种类型,数据 热度划分不明确。同时现有的存储策略在数据访问频次发生改变后才识别数据 热度状态,再根据数据热度状态的情况扩展或压缩内存大小,具有一定的滞后 性,换言之这种方式在内存管理方面是一种被动管理,这种存储方式使得系统 性能差。
为了解决对混合存储中数据的热度状态的识别的滞后性,导致内存大小的 变化速度无法适应热度状态的改变速度,内存无法存储相应的数据或者存在大 量的空闲内存,系统性能差的技术问题,本申请实施例提供了一种数据存储方 法、装置及电子设备,通过统计和预测数据的热度状态(等级),解决基于混 合存储的存储策略存在的滞后性问题,使内存被动管理变为主动管理,根据热 度状态更新内存大小,从而优化系统性能,减少资源浪费。
实施例
本申请实施例提供的一种数据存储方法,通过预测数据的热度状态,扩大 或者缩小存储区块,以使存储区块可以存储热度状态对应的数据,进而提高存 储系统的性能。作为一种可选的实施方式,所述方法包括如图1所示的S101 和S102,以下结合图1对S101和S102进行阐述。
S101:根据样本数据在历史时段的历史热度状态,确定样本数据的预估热 度状态。
其中,历史热度状态表征样本数据在历史时段被访问次数所处的等级,预 估热度状态表征样本数据在未来时段预估访问次数所处的等级。
S102:将样本数据存储在预估热度状态对应的存储区块中。
在本申请实施例中,样本数据有多个,多个样本数据预先(在历史时段) 存储在存储系统中的多个存储区块中。每个存储区块的读写速度不同,样本数 据根据历史热度状态的大小存储在历史热度状态对应的存储区块中。例如,某 个样本数据1的历史热度状态为1,取值为1的历史热度状态对应存储系统中 的内存,则在历史时段,样本数据存储于内存中,某个样本数据2的历史热度 状态为2,取值为2的历史热度状态对应存储系统中的固态硬盘,则在历史时 段,样本数据存储于固态硬盘中。
通过采用以上方案,根据样本数据在历史时段的历史热度状态,确定样本 数据的预估热度状态,将样本数据存储在预估热度状态对应的存储区块中。预 先预测得到样本数据在未来时段的预估热度状态,将样本数据预先存储在预估 热度状态对应的存储区块中,对于预估热度状态越大的样本数据,可以在未来 时段之前预先存储在读写速度越快的存储区块中,如此可以提高了存储系统对 访问样本数据的反馈速度,从而,提高了存储系统的性能,解决了目前基于混 合存储的存储策略存在一定的滞后性,导致存储系统的性能差的技术问题,达 到了提高存储系统的性能的技术效果。
为了提高S101获得预估热度状态的准确性,本申请实施例将历史时段划 分成第一历史子时段和第二历史子时段,即历史时段包括第一历史子时段和第 二历史子时段。样本数据在第一历史子时段被访问次数所处的等级用第一历史 热度子状态表示,样本数据在第二历史子时段被访问次数所处的等级用第二历 史热度子状态表示,即历史热度状态包含第一历史热度子状态和第二历史热度 子状态,第一历史热度子状态表征样本数据在第一历史子时段被访问次数所处 的等级,第二历史热度子状态表征样本数据在第二历史子时段被访问次数所处 的等级。其中,第一历史热度子状态和第二历史热度子状态确定样本数据的被 点击次数的趋势。
可选的,第一历史子时段位于第二历史子时段之前,例如,第一历史子时 段是当前时段的前一时段,第二历史子时段是当前时段,未来时段是当前时段 的后一时段。
可选的,在图1的基础上,下面给出一种通过历史热度状态确定样本数据 的预估热度状态可能的实现方式,具体的,参见图2,该S101包括:
S101-1、根据第一历史热度子状态和第二历史热度子状态,预测预估热度 状态。具体的,为了提高预测预估热度状态的准确性,将历史时段划分成第一 历史子时段和第二历史子时段,对应的得到第一历史热度子状态和第二历史热 度子状态,即历史热度状态可以包含第一历史热度子状态和第二历史热度子状 态。根据。第一历史热度子状态和第二历史热度子状态,预测样本数据的预估 热度状态,从而提高预测预估热度状态的准确性。
在本申请实施例中,不限第一历史子时段、第二历史子时段和未来时段的 长度,第一历史子时段、第二历史子时段和未来时段的长度可以相同,也可以 不同,当第一历史子时段、第二历史子时段和未来时段的长度可以根据存储系 统存取数据集包括的样本数据所需的时间来确定。第一历史子时段、第二历史 子时段和未来时段的长度不宜过小,第一历史子时段、第二历史子时段和未来 时段的长度过小会导致,计算量增加,从而增加内存开销。
为了提高预估热度状态的准确性,第一历史热度子状态和第二历史热度子 状态根据其二者分别在第一历史子时段和第二历史子时段中统计样本数据被 真实访问的次数而得到。
可选的,在图1的基础上,参见图3,在根据第一历史热度子状态和第二 历史热度子状态,预测预估热度状态之前,所述方法还包括
S100、获得样本数据的第一历史热度子状态和第二历史热度子状态。
进一步地,在图3的基础上参见图4,给出一种获得第一历史热度子状态 和第二历史热度子状态可能的实现方式,该S100具体包括:
S100-1、获得样本数据在设定时段的被访问次数。
S100-2、获得样本集在设定时段的平均被访问次数,样本集包括多个样本 数据。
S100-3、基于被访问次数和平均被访问次数,获得样本数据的热度状态。
S100-4、当设定时段是第一历史子时段时,获得样本数据的第一历史热度 子状态;当设定时段是第二历史子时段时,获得样本数据的第二历史热度子状 态。
需要说明的是,对于不同的历史子时段,可以分别执行S100-1至S100-3, 例如,对于设定时段为第一历史子时段的情况,通过执行S100-1至S100-3, 最终在步骤100-4获得样本数据的第一历史热度子状态,第二历史热度子状态 获得方式类似。并且,对于不同的历史子时段,上述步骤可以并行执行,也可 以逐一执行,此处不予限定。
可选的,样本集用T表示,T=(T1,T2,T3,…,Ti,…,Tn),Ti表示第i个样本 数据。具体的,针对S100-1和S100-2,获得第i个样本数据Ti在设定时段的 被访问次数为Pi,样本集T中的所有样本数据在设定时段的平均被访问次数 Pavr通过下述公式(1)计算得到:
Figure BDA0002011980160000111
其中,n是样本集中的多个样本数据的数量。
在本申请实施例中,热度状态可以用热度等级来确定。热度等级的数量本 申请不做限定,也可以有多个等级,不同等级对应不同的热度状态,不同的热 度状态表示在设定时段内样本数据被访问的次数和频率不同。例如,有四个等 级,针对S100-3基于被访问次数和平均被访问次数,获得样本数据在该历史 子时段的热度状态,可以通过公式(2)获得。
Figure BDA0002011980160000112
其中,R表示热度状态,a表示第一类热度状态,b表示第二类热度状态, c表示第三类热度状态,d表示第四类热度状态,a、b、c和d的值是预先设 定的。
具体的,每类热度状态对应的等级不同,例如,第一类热度状态、第二类 热度状态、第三类热度状态和第四类热度状态分别对应四个热度级别1级、2 级、3级和4级。每个级别对应的数据可以分别是热数据、亚热数据、温数据 和冷数据四种状态,其中,相对数据集中的所有样本数据而言,热数据表示样 本数据的热度最高,即在设定时段内被访问的次数最多,被访问的频率最高; 亚热数据表示样本数据的热度较高,即在设定时段内被访问的次数较多,被访 问的频率较高;温数据表示样本数据的热度一般,即在设定时段内被访问的次 数一般,被访问的频率一般;冷数据表示样本数据的热度最低,即在设定时段 内被访问的次数最少,被访问的频率最小。
需要说明的是,上述实施例中,针对S100-4当设定时段是第一历史子时 段时,获得样本数据的第一历史热度子状态,当设定时段是第二历史子时段时, 获得样本数据的第二历史热度子状态。可选的,第一历史热度子状态用Rlast表 示,第二历史热度子状态用Rnow表示。
进一步的,在获得第一历史热度子状态和第二历史热度子状态后,根据第 一历史热度子状态和第二历史热度子状态,预测预估热度状态,预测预估热度 状态的具体实施方式具体的可以是:通过智能体(agent)强化学习,基于第一 历史热度子状态和第二历史热度子状态,获得预估热度状态。
具体的,通过智能体(agent)强化学习预估热度状态可以通过下述公式(3) 获得:
Rnext=(1-ξ)Rnow+ξ(r+γRlast) (3)
其中,Rnext表示样本数据的预估热度状态,γ表示折扣函数,ξ表示学习效 率(反馈信号),γ和ξ是常量,r表示强化信号,具体的r=Rnow-Rlast
通过采用上述的agent强化学习预测样本数据的预估热度状态,经过多次 迭代后,公式(3)总会找到一个预估热度状态Rnext作用于环境,使r最小,换 言之当反馈信号作用于agent的Rlast时,Rnow变化越小,说明Rnext越接近真实状 态。提高了获得样本数据的预估热度状态的准确性。在获得预估热度状态后, 执行S102所述内容:将样本数据存储在预估热度状态对应的存储区块中。
为了提高存储系统的性能,预先将样本数据根据热度状态存储于存储区块 中,即样本数据预先以键值对的形式存储于存储区块中,键值对包括键和值, 键表征样本数据的标识信息,值表征样本数据的内容信息。为了提高访问样本 数据的速度,提高存储系统的性能,将键存储在存储区块包括的第一存储区块 中,将值根据样本数据的第二历史热度子状态预先存储在存储区块包括的第一 存储区块或第二存储区块中,第一存储区块的读写速度大于第二存储区块的读 写速度。具体的,当第二历史热度子状态对应第一存储区块时,将值预先存储 在第一存储区块中,当第二历史热度子状态对应第二存储区块时,将值预先存 储在第二存储区块中。可选的,键用key表示,值用value表示。
基于上述的存储状态,在将样本数据存储在预估热度状态对应的存储区块 中时,可能存在两种情况:因为第一存储区块较小不能容纳样本数据的值,使 得将样本数据的值存储在第一存储区块不成功,或将预先存储在第一存储区块 的样本数据的值存储到第二存储区块中,使得第一存储区块的空闲空间变大, 造成资源浪费。为了解决上述问题,在本申请实施例中,在将样本数据存储在 预估热度状态对应的存储区块中时,若将样本数据存储在预估热度状态对应的 存储区块中涉及到第一存储区块,则在未来时段之前,根据样本数据的值的数 据量,扩大或者缩小第一存储区块,然后再将样本数据存储在预估热度状态对 应的存储区块中。具体的,若将样本数据的值从第一存储区块中移到第二存储 区块中进行存储,则在未来时段之前,缩小第一存储区块,缩小的量为样本数 据的值的数据量,若将样本数据的值存储到第一存储区块中,则扩大第一存储 区块,扩大的量为样本数据的值的数据量。具体为:
当预估热度状态对应第一存储区块,且预估热度状态大于第二历史热度子 状态时,扩大第一存储区块,以使第一存储区块可以存储样本数据,然后将样 本数据的值存储在第一存储区块。
当预估热度状态对应第二存储区块,预估热度状态小于第二历史热度子状 态时,且第二历史热度子状态对应第一存储区块时,缩小第一存储区块,以释 放样本数据在第一存储区块所占的空间,并将样本数据的值存储在预估热度状 态对应的第二存储区块。
可选的,第一存储区块包括内存,第一存储区块也可以是内存中用于存储 数据的区块,在此统一称为内存。第二存储区块可以包括固态硬盘和机械硬盘, 机械硬盘包括盘符靠前的分区和盘符靠后的分区。
通过采用以上方案,基于预测的预估热度状态,根据样本数据的值的数据 量扩大或缩小第一存储区块,扩大第一存储区块可以使得第一存储区块存储样 本数据的值,第一存储区块的读写速度较快,则提高存储系统响应用于访问样 本数据的速度,进而提高了存储系统的性能。缩小第一存储区块以释放样本数 据在第一存储区块所占的空间,第一存储区块是内存时,内存除了包括用于存 储样本数据的区块,还包括用于处理其他资源的区块,即将内存分割成多个区 块,当某个区块大时,其他区块就会小,当存储样本数据的值的区块有空闲时, 将空闲的空间缩小,以释放样本数据在所占的空间,将这个空间则给其他区块 分出存储资源,则可以提高了区块的性能,进而提高了存储系统的性能,同时, 减小空闲的空间可以节省系统资源。另一方面,通过预测数据热度状态,解决 了现有存储策略滞后性的问题,使内存被动管理变为主动管理,内存大小及时 响应数据热度状态的改变,减少内存资源浪费,提高存储系统的性能。
需要说明的是,因为样本数据预先存储在存储区块中,所以,样本数据的 值的数据量是已知的,可以直接从存储区块中获取。
为了可以实现将样本数据存储在预估热度状态对应的存储区块中,在将样 本数据存储在预估热度状态对应的存储区块中之前,所述方法还包括:
确定预估热度状态与存储区块的对应关系。
可选的,确定预估热度状态与存储区块的对应关系的步骤可以在S100之 前。
其中,确定预估热度状态与存储区块的对应关系,具体为:不同预估热度 状态对应不同读写速度的存储区块。即预估热度状态的取值不同,对应的存储 区块不同,例如,将预估热度状态按照取值分类成第一类热度状态、第二类热 度状态、第三类热度状态和第四类热度状态,第一类热度状态、第二类热度状 态、第三类热度状态和第四类热度状态分别对应存储系统的内存、固态硬盘、 机械硬盘盘符靠前的分区和机械硬盘盘符靠后的分区。
可选的,确定预估热度状态与存储区块的对应关系具体为:
若预估热度状态等于第一设定值,预估热度状态与内存对应;若预估热度 状态等于第二设定值,预估热度状态与固态硬盘对应;若预估热度状态等于第 三设定值,预估热度状态与盘符靠前的分区对应;若预估热度状态等于第四设 定值,预估热度状态与盘符靠后的分区对应。
进一步的,将所述样本数据存储在所述预估热度状态对应的存储区块中具 体为:根据预测热度状态,更换样本数据的值的存储位置。
具体的,若预估热度状态等于第一设定值,将预估热度状态对应的样本数 据的值存储于内存;若预估热度状态等于第二设定值,将预估热度状态对应的 样本数据的值存储于固态硬盘;若预估热度状态等于第三设定值,将预估热度 状态对应的样本数据的值存储于盘符靠前的分区;若预估热度状态等于第四设 定值,将预估热度状态对应的样本数据的值存储于盘符靠后的分区。
其中,第一设定值、第二设定值、第三设定值和第四设定值可以分别与上 文所述的第一类热度状态、第二类热度状态、第三类热度状态和第四类热度状 态一一对应。
通过采用以上方案,根据预估热度状态,更换样本数据的值的存储位置, 使得热度状态高的样本数据存储在读写速度快的存储区块内,热度状态低的样 本数据存储在读写速度慢的存储区块内,便于存储系统快速读取热度状态高的 样本数据,提高存储系统的性能。
作为一种可选的实施方式,所述存储区块还包括第三存储区,第三存储区 用于存储执行所述数据存储方法过程中产生的中间变量。所述方法还包括,将 中间变量预估热度状态存储于第三存储区中。
基于上述S100~S101以及附图5对,下面给出本申请提供一种计算机程序 在执行上述方法的一种可能的实现方式。具体为:
S001、存储系统初始化配置。
即将样本数据以键值对的形式存储在存储区块中,具体的,将键存储在内 存中,将值存储于第二历史热度子状态对应的存储区块中,该第二历史热度子 状态对应的存储区块可以为内存或者固态硬盘或者机械硬盘。初始化时段长度, 即初始化第一历史子时段、第二历史子时段和未来时段的长度,第一历史子时 段、第二历史子时段和未来时段的大小取值不宜过小,需要根据存储系统本身 性能情况设置,因为第一历史子时段、第二历史子时段和未来时段过小会导致 系统在预测预估热度状态时迭代次数过多,计算量增加,从而增加内存开销。 设置迭代次数times初值为0。
S002、初始化当前时段的内存大小。
即存储系统设置内存大小为当前存储样本数据的key所需内存大小,并预 留10%以上空闲内存作为统计所需的额外开销,例如,预留的10%以上空闲内 存用于存储样本数据的值,可选的,预留的10%以上空闲内存对应上述的第三 分区。
S003、分别获得样本数据分别在当前时段和先前时段的被访问次数。
以获得样本数据在当前时段被访问次数为例,在当前时段(第二历史子时 段)结束时,统计样本数据在当前时段被访问的次数Pi now,i的取值不同,Pi now对 应不同的样本数据。在先前时段(第一历史子时段)结束时,统计样本数据在 当前时段被访问的次数Pi last,i的取值不同,Pi last对应不同的样本数据。可以理 解的,S003对应上述图4中的S100-1。
S004、统计样本集中所有样本数据分别在当前时段内和先前时段内被访问 次数的总和。
具体的在当前时段内的被访问次数总和为
Figure BDA0002011980160000171
在先前时段内的被 访问次数总和为
Figure BDA0002011980160000172
S005、计算得到本集在分别当前时段内和先前时段内的平均被访问次数。 具体的,在当前时段内的平均被访问次数为
Figure BDA0002011980160000173
在先前时段内的平 均被访问次数为
Figure BDA0002011980160000174
可以理解的,S004和S005对应上述图4中的S100-2。
S006、基于先前时段内被访问次数和平均被访问次数,获得样本数据在先 前时段的第一历史热度状态,基于当前时段内被访问次数和平均被访问次数, 获得样本数据在当前时段的第二历史热度状态。
具体的,S006详细的为、根据平均被访问次数,对访问次数进行分类,类 别有热数据、亚热数据、温数据和冷数据四种,每一种类别表示一个级别的热 度状态,访问次数属于哪个类别,表示访问次数对应的热度状态为该类别。将 这四种热度状态映射为四种热度级别:1级、2级、3级和4级,1级为最高级 别,其次到2级,然后到3即,4级为最低级别。具体的通过上述的公式(2) 反应每个访问次数与热度状态的映射关系。
可以理解的,S006对应上述图4中的S100-3。
S007、当迭代次数times不大于0时,说明还没开始执行S002,跳转至 S008。
S008、迭代次数times+1,在迭代次数times+1后,程序跳转到上述步骤的 S002,执行步骤S002;当迭代次数times大于0时,程序跳转到下述的S009。
S009、判断迭代次数times是否小于设定值th。若小于,跳转至S200,否 则结束。
S200、根据第二历史热度状态和第二历史热度状态,预测样本数据在未来 时段的预估热度状态。具体的,执行上述公式(3)以预测样本数据在未来时 段的预估热度状态。
在获得样本数据在未来时段的预估热度状态后,执行下述的S009。
S201、根据样本数据在未来时段的预估热度状态,更新内存在未来时段的 大小。然后跳转到S800更新迭代次数times+1。
然后在未来时段开始时的前一刻或者开始时的那一刻,将样本数据的值存 储于预估热度状态对应的内存中或者别的存储区块中。
重复执行上述步骤S002~S201,每迭代一次,获得一组第二历史热度状态 和第二历史热度状态,进而预测得到样本数据在一个时段的预估热度状态。即 样本数据在一系列时间段中,可基于前两个时段的热度状态预测得到后一个时 段的预估热度状态,根据预估热度状态更新化内存的大小,以使内存可以存储 即将存入内存的样本数据的值或者减小内存的空闲空间,以提高存储系统的性 能,同时节省系统资源。
在本申请实施例中,数据集中的样本数据是预先存储在存储系统中的,当 某个样本数据的热度状态改变,为了提高存储系统的存储性能,需要改变该样 本数据的存储位置,例如,某个样本数据的热度状态变大,将所处等级高的热 度状态对应的样本数据存储在读写速度较快的存储区块中,某个样本数据的热 度状态变小,将所处等级高的热度状态对应的样本数据存储在读写速度较慢的 存储区块中。但是,可能需要存储样本数据的存储区块的大小不足以存储该样 本数据,或者若该样本数据移出该存储区块,将会导致该存储区块的空闲内存 太大,造成资源浪费,因此,在将该样本数据储存到所述存储区块之前,根据 样本数据的值的数据量,对预估热度状态对应的存储区块进行扩大或缩小,进 而提高了存储系统的性能。
综上所述,根据样本数据在历史时段的历史热度状态,确定样本数据的预 估热度状态;历史热度状态表征样本数据在所述历史时段被访问次数所处的等 级;预估热度状态表征样本数据在未来时段预估访问次数所处的等级;将样本 数据存储在预估热度状态对应的存储区块中。预测得到样本数据在未来时段的 预估热度状态,根据样本数据的值的数据量,对预测热度状态对应的存储区块 进行扩大或缩小,以使存储区块可以存储预估热度状态对应的样本数据,能够 提前扩大或缩小存储区块,且扩大后的存储区块能够存储预估热度状态对应的 样本数据,或缩小存储区块能够及时释放存储区块的存储资源,提高了存储系 统性能,解决了目前基于混合存储的存储策略存在一定的滞后性,导致存储系 统的性能差的技术问题,达到了提高存储系统的性能的技术效果。
针对上述实施例提供一种数据存储方法,本申请实施例还对应提供一种用 于执行上述的步骤的执行主体,该执行主体可以为图6中数据存储装置200。 请参考图6,该装置包括:
处理模块210,用于根据样本数据在历史时段的历史热度状态,确定所述 样本数据的预估热度状态;所述历史热度状态表征所述样本数据在所述历史时 段被访问次数所处的等级;所述预估热度状态表征所述样本数据在未来时段预 估访问次数所处的等级;
存储模块220,用于将所述样本数据存储在所述预估热度状态对应的存储 区块中。
可选的,处理模块210,还用于:
根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估 热度状态。
可选的,所述装置还包括:
获得模块,用于获得所述第一历史热度子状态和所述第二历史热度子状态。
可选的,获得模块还用于:
获得所述样本数据在设定时段的被访问次数;
获得样本集在所述设定时段的平均被访问次数,所述样本集包括多个所述 样本数据;
基于所述被访问次数和所述平均被访问次数,获得所述样本数据的热度状 态;
当所述设定时段是所述第一历史子时段时,获得所述样本数据的所述第一 历史热度子状态;
当所述设定时段是所述第二历史子时段时,获得所述样本数据的所述第二 历史热度子状态。
可选的,存储模块220,还用于:
当所述预估热度状态对应所述第一存储区块,且所述预估热度状态大于所 述第二历史热度子状态时,扩大所述第一存储区块,将所述样本数据的值存储 在所述第一存储区块;
当所述预估热度状态对应所述第二存储区块,所述预估热度状态小于所述 第二历史热度子状态时,且所述第二历史热度子状态对应所述第一存储区块时, 缩小所述第一存储区块,以释放所述样本数据在所述第一存储区块所占的空间, 并将所述样本数据的值存储在所述预估热度状态对应的所述第二存储区块。
可选的,所述装置还包括:
确定模块,用于确定所述预估热度状态与所述存储区块的对应关系。
可选的,确定模块,还用于:
若所述预估热度状态等于第一设定值,所述预估热度状态与所述内存对应;
若所述预估热度状态等于第二设定值,所述预估热度状态与所述固态硬盘 对应;
若所述预估热度状态等于第三设定值,所述预估热度状态与所述盘符靠前 的分区对应;
若所述预估热度状态等于第四设定值,所述预估热度状态与所述盘符靠后 的分区对应。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关 该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例还提供了一种电子设备,如图7所示,所述电子设备至少包 括数据接口501和处理器502。处理器502通过数据接口501与存储系统600 进行数据交互,具体的处理器502通过数据接口501与存储系统600中的存储 区块进行数据交互。
为了能够说明处理器502与存储系统600之间的数据交互情况,作为一种 可能的实施方式,处理器502在执行上述的数据存储方法时执行下述步骤:确 定热度状态(历史热度状态和\或预估热度状态)与存储区块的对应关系,从存 储区块中获取样本数据,统计样本数据在设定时段的热度状态,预测样本数据 的预估热度状态,根据预估热度状态将样本数据存储到存储区块中。
可选的,如图8所示,电子设备还包括存储系统600。同样的,处理器502 通过数据接口501与存储系统600中的存储区块进行数据交互。
可选的,电子设备还包括存储器504存储在存储器504上并可在处理器502 上运行的计算机程序,所述处理器502执行所述程序时实现前文所述数据存储 方法的任一方法的步骤。
其中,存储系统600可以是存储器504,也可以与存储器504不同,存储 系统600也可以是存储器504的部分存储分区,还可以是存储器504是存储系 统600中的某个存储区块。
其中,在图7中,总线架构(用总线500来代表),总线500可以包括任 意数量的互联的总线和桥,总线500将包括由处理器502代表的一个或多个处 理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸 如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些 都是本领域所公知的,因此,本文不再对其进进一步描述。处理器502负责管 理总线500和通常的处理,而存储器504可以被用于存储处理器502在执行操 作时所使用的数据。本申请实施例还提供了一种计算机可读存储介质,其上存 储有计算机程序,该程序被处理器执行时实现前文所述数据存储方法的任一方 法的步骤。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有 相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构 造这类系统所要求的结构是显而易见的。此外,本申请也不针对任何特定编程 语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且 上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申 请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细 示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或 多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一 起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法 解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确 记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发 明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式 的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为 本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适 应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实 施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它 们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的 至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要 求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有 过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、 摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征 来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施 例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着 处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中, 所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器 上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解, 可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实 施例的装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为 用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计 算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可 读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网 网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并 且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施 例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的 限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之 前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包 括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干 装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体 体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据存储方法,其特征在于,包括:
根据样本数据在历史时段的历史热度状态,确定所述样本数据的预估热度状态;所述历史热度状态表征所述样本数据在所述历史时段被访问次数所处的等级;所述预估热度状态表征所述样本数据在未来时段预估访问次数所处的等级;
将所述样本数据存储在所述预估热度状态对应的存储区块中;
所述历史时段包括第一历史子时段和第二历史子时段;所述历史热度状态包含第一历史热度子状态和第二历史热度子状态;所述第一历史热度子状态表征所述样本数据在所述第一历史子时段被访问次数所处的等级,所述第二历史热度子状态表征所述样本数据在所述第二历史子时段被访问次数所处的等级;
所述根据样本数据在历史时段的历史热度状态,确定所述样本数据的预估热度状态,包括:
根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估热度状态;
所述样本数据预先以键值对的形式存储于所述存储区块中;所述键值对至少包括值,所述值表征所述样本数据的内容信息;
所述存储区块包括第一存储区块和第二存储区块,所述第一存储区块的读写速度大于所述第二存储区块的读写速度;
所述将所述样本数据存储在所述预估热度状态对应的存储区块中,包括:
当所述预估热度状态对应所述第一存储区块,且所述预估热度状态大于所述第二历史热度子状态时,扩大所述第一存储区块,将所述样本数据的值存储在所述第一存储区块;
当所述预估热度状态对应所述第二存储区块,所述预估热度状态小于所述第二历史热度子状态时,且所述第二历史热度子状态对应所述第一存储区块时,缩小所述第一存储区块,以释放所述样本数据在所述第一存储区块所占的空间,并将所述样本数据的值存储在所述预估热度状态对应的所述第二存储区块。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估热度状态,具体通过下述公式实现:
Rnext=(1-ξ)Rnow+ξ(r+γRlast)
其中,Rlast表示所述第一历史热度子状态,Rnow表示所述第二历史热度子状态,Rnext表示所述预估热度状态,γ表示折扣函数,ξ表示学习效率(反馈信号),γ和ξ是常量,r表示强化信号,r=Rnow-Rlast
3.根据权利要求1所述的方法,其特征在于,在所述根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估热度状态之前,所述方法还包括:
获得所述第一历史热度子状态和所述第二历史热度子状态。
4.根据权利要求3所述的方法,其特征在于,所述获得所述第一历史热度子状态和所述第二历史热度子状态,包括:
获得所述样本数据在设定时段的被访问次数;
获得样本集在所述设定时段的平均被访问次数,所述样本集包括多个所述样本数据;
基于所述被访问次数和所述平均被访问次数,获得所述样本数据的热度状态;
当所述设定时段是所述第一历史子时段时,获得所述样本数据的所述第一历史热度子状态;
当所述设定时段是所述第二历史子时段时,获得所述样本数据的所述第二历史热度子状态。
5.根据权利要求4所述的方法,其特征在于,所述基于所述被访问次数和所述平均被访问次数,获得所述样本数据的热度状态,具体通过下述公式实现:
Figure FDA0002566545600000031
其中,R表示所述热度状态,a表示第一类热度状态,b表示第二类热度状态,c表示第三类热度状态,d表示第四类热度状态,Pi表示所述样本数据在所述设定时段的所述被访问次数,Pavr表示所述样本集中的所有所述样本数据在所述设定时段的所述平均被访问次数。
6.根据权利要求1所述的方法,其特征在于,在所述将所述样本数据存储在所述预估热度状态对应的存储区块中之前,所述方法还包括:
确定所述预估热度状态与所述存储区块的对应关系。
7.根据权利要求6所述的方法,其特征在于,所述第一存储区包括内存;所述第二存储区包括固态硬盘和机械硬盘,所述机械硬盘包括盘符靠前的分区和盘符靠后的分区;
所述确定所述预估热度状态与所述存储区块的对应关系,包括:
若所述预估热度状态等于第一设定值,所述预估热度状态与所述内存对应;
若所述预估热度状态等于第二设定值,所述预估热度状态与所述固态硬盘对应;
若所述预估热度状态等于第三设定值,所述预估热度状态与所述盘符靠前的分区对应;
若所述预估热度状态等于第四设定值,所述预估热度状态与所述盘符靠后的分区对应。
8.一种数据存储装置,其特征在于,包括:
处理模块,用于根据样本数据在历史时段的历史热度状态,确定所述样本数据的预估热度状态;所述历史热度状态表征所述样本数据在所述历史时段被访问次数所处的等级;所述预估热度状态表征所述样本数据在未来时段预估访问次数所处的等级;
存储模块,用于将所述样本数据存储在所述预估热度状态对应的存储区块中;
所述历史时段包括第一历史子时段和第二历史子时段;所述历史热度状态包含第一历史热度子状态和第二历史热度子状态;所述第一历史热度子状态表征所述样本数据在所述第一历史子时段被访问次数所处的等级,所述第二历史热度子状态表征所述样本数据在所述第二历史子时段被访问次数所处的等级;
所述处理模块具体用于根据所述第一历史热度子状态和所述第二历史热度子状态,预测所述预估热度状态;
所述样本数据预先以键值对的形式存储于所述存储区块中;所述键值对至少包括值,所述值表征所述样本数据的内容信息;
所述存储区块包括第一存储区块和第二存储区块,所述第一存储区块的读写速度大于所述第二存储区块的读写速度;
所述存储模块用于当所述预估热度状态对应所述第一存储区块,且所述预估热度状态大于所述第二历史热度子状态时,扩大所述第一存储区块,将所述样本数据的值存储在所述第一存储区块;当所述预估热度状态对应所述第二存储区块,所述预估热度状态小于所述第二历史热度子状态时,且所述第二历史热度子状态对应所述第一存储区块时,缩小所述第一存储区块,以释放所述样本数据在所述第一存储区块所占的空间,并将所述样本数据的值存储在所述预估热度状态对应的所述第二存储区块。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
CN201910256422.8A 2019-03-29 2019-03-29 数据存储方法、装置及电子设备 Active CN109992210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256422.8A CN109992210B (zh) 2019-03-29 2019-03-29 数据存储方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256422.8A CN109992210B (zh) 2019-03-29 2019-03-29 数据存储方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109992210A CN109992210A (zh) 2019-07-09
CN109992210B true CN109992210B (zh) 2020-10-23

Family

ID=67131936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256422.8A Active CN109992210B (zh) 2019-03-29 2019-03-29 数据存储方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109992210B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764714B (zh) * 2019-11-06 2021-07-27 深圳大普微电子科技有限公司 一种数据处理方法、装置、设备及可读存储介质
CN112947844A (zh) * 2019-12-11 2021-06-11 北京金山云网络技术有限公司 一种数据存储方法、装置、电子设备及介质
CN111143364A (zh) * 2019-12-24 2020-05-12 珠海大横琴科技发展有限公司 一种数据块存储方法、装置、电子设备和存储介质
CN112433679B (zh) * 2020-12-01 2023-06-16 广州城市职业学院 一种数据存储方法、装置、电子设备及存储介质
CN112433682B (zh) * 2020-12-15 2023-12-05 合肥大唐存储科技有限公司 固态硬盘中控制参数的获取方法、存储介质和电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN103605615A (zh) * 2013-11-21 2014-02-26 浪潮电子信息产业股份有限公司 一种分级存储中基于块级数据的定向分配方法
CN104298475A (zh) * 2014-10-13 2015-01-21 合一网络技术(北京)有限公司 一种数据存储的优化方法
CN108932114A (zh) * 2018-07-09 2018-12-04 郑州云海信息技术有限公司 一种数据存储的方法及装置
CN109446258A (zh) * 2018-10-22 2019-03-08 郑州云海信息技术有限公司 一种分布式数据存储方法及系统
CN109491616A (zh) * 2018-11-14 2019-03-19 三星(中国)半导体有限公司 数据的存储方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9537586B2 (en) * 2013-03-15 2017-01-03 DGS Global Systems, Inc. Systems, methods, and devices for electronic spectrum management with remote access to data in a virtual computing network
CN109343859A (zh) * 2018-08-17 2019-02-15 咪咕文化科技有限公司 一种信息处理方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN103605615A (zh) * 2013-11-21 2014-02-26 浪潮电子信息产业股份有限公司 一种分级存储中基于块级数据的定向分配方法
CN104298475A (zh) * 2014-10-13 2015-01-21 合一网络技术(北京)有限公司 一种数据存储的优化方法
CN108932114A (zh) * 2018-07-09 2018-12-04 郑州云海信息技术有限公司 一种数据存储的方法及装置
CN109446258A (zh) * 2018-10-22 2019-03-08 郑州云海信息技术有限公司 一种分布式数据存储方法及系统
CN109491616A (zh) * 2018-11-14 2019-03-19 三星(中国)半导体有限公司 数据的存储方法和设备

Also Published As

Publication number Publication date
CN109992210A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109992210B (zh) 数据存储方法、装置及电子设备
JP5298444B2 (ja) プロセッサ設計を特徴付けるための方法、装置、論理プログラム及びシステム
US9031826B2 (en) Method and apparatus for simulating operation in a data processing system
US20210191765A1 (en) Method for static scheduling of artificial neural networks for a processor
US9916265B2 (en) Traffic rate control for inter-class data migration in a multiclass memory system
CN100416529C (zh) 用于确定动态随机存取存储器页面管理实现的方法和装置
WO2019019926A1 (zh) 系统参数的优化方法、装置及设备、可读介质
US11500828B1 (en) Method and device for constructing database model with ID-based data indexing-enabled data accessing
US20090171646A1 (en) Method for estimating power consumption
KR20180096780A (ko) 코어 트레이스로부터 데이터 마이닝을 하기 위한 방법 및 장치
Blaß et al. Write-back caches in WCET analysis
Soudris et al. Data-reuse and parallel embedded architectures for low-power, real-time multimedia applications
US8340952B2 (en) Power estimation method and device therefor
CN111381881A (zh) 一种基于ahb总线接口的低功耗指令缓存方法及装置
US7761280B2 (en) Data processing apparatus simulation by generating anticipated timing information for bus data transfers
CN115269199A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20230229899A1 (en) Neural network processing method and device therefor
CN108846248B (zh) 一种应用建模及性能预测方法
US8438003B2 (en) Methods for improved simulation of integrated circuit designs
US7505886B1 (en) Technique for programmatically obtaining experimental measurements for model construction
Kim et al. System-level communication performance estimation for DMA-controlled accelerators
CN108984117B (zh) 一种数据读写方法、介质及设备
CN112379842A (zh) 一种预测数据冷热属性的方法和装置
Cui et al. Twin-load: Bridging the gap between conventional direct-attached and buffer-on-board memory systems
CN110333870A (zh) Simulink模型变量分配的处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant