CN112286459A - 一种数据处理方法、装置、设备及介质 - Google Patents

一种数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN112286459A
CN112286459A CN202011181171.0A CN202011181171A CN112286459A CN 112286459 A CN112286459 A CN 112286459A CN 202011181171 A CN202011181171 A CN 202011181171A CN 112286459 A CN112286459 A CN 112286459A
Authority
CN
China
Prior art keywords
data
storage layer
data blocks
data block
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011181171.0A
Other languages
English (en)
Inventor
张孙旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011181171.0A priority Critical patent/CN112286459A/zh
Publication of CN112286459A publication Critical patent/CN112286459A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备、介质，该方法包括：将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息；根据所述访问信息中的访问次数、最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值；根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。这样能够提高数据读取时在高存储性能的存储层中的命中率，满足用户操作数据的实时性，提高系统性能。

Description

一种数据处理方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，特别涉及一种数据处理方法、装置、设备、介质。
背景技术
在大数据时代，数据的存储以及传输的速率对于存储服务器能否正常快速的运转起着重要的作用。现有的存储系统一般采用多层存储来降低传输的延迟性，例如，部分新的数据存储在存储系统的高性能存储层，通常是缓存层，而旧数据会存到响应速度较低的存储介质中，比如说硬盘中，硬盘还分为访问速度较快的SSD(Solid State Disk，固态硬盘)和HDD(Hard Disk Drive，机械硬盘)盘中，这样在访问数据的时候，需要先从热度较高的上层存储单元(高速缓存)中寻找相应的数据，再往较低层的存储单元进行寻找。由于较低层的存储介质响应速率较慢，传输效率，命中率也比较低，可能会影响到用户操作数据的实时性。所以如何将热度高的数据分离出来存储到存储性能高的存储层中就成为了本领域技术人员要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种数据处理方法、装置、设备、介质，能够将热数据存储到存储性能高的存储层中，将冷数据存储到存储性能低的存储层中，提高数据读取时在高存储性能的存储层中的命中率，满足用户操作数据的实时性，提高系统性能。其具体方案如下：
第一方面，本申请公开了一种数据处理方法，包括：
将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳；
根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关；
根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；
将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
可选地，所述将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层之后，还包括：
更新所述冷数据块和所述热数据块对应的元数据。
可选地，所述根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，包括：
将当前存储层上的数据块的热参数值按照从大到小顺序进行排序，得到当前存储层的热参数值序列；
将所述热参数值序列中最前面的第一预设数量个值对应的所述数据块确定为热数据块，并将所述热参数值序列中最后面的第一预设数量个值对应的所述数据块确定为冷数据块。
可选地，所述根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，包括：
将当前存储层上大于第一预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选热数据块，并将小于第二预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选冷数据块，其中，所述第一预设阈值大于所述第二预设阈值；
判断所述预选热数据块的第一数据块数量和所述预选冷数据块的第二数据块数量是否均大于第二预设数量；
如果是，则从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，并从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块。
可选地，所述从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，包括：
将所述预选热数据块对应的所述热参数值按照从大到小排序；
将最前面的所述第二预设数量个值对应的所述预选热数据块作为热数据块。
可选地，所述从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块，包括：
将所述预选冷数据块对应的所述热参数值按照从小到大排序；
将最前面的所述第二预设数量个值对应的所述预选冷数据块作为冷数据块。
可选地，根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出任一数据块的热参数值，包括：
利用第一预设调整参数对该数据块的访问次数进行加权，得到加权后访问次数；
确定当前时间戳和该数据块的最近访问时间戳之间的时间差值；
利用第二预设调整参数和第三预设调整参数对所述时间差值的倒数进行加权，得到加权后时间差倒数，其中，所述第三预设调整参数为1与所述第一预设调整参数之间的差值；
将所述加权后访问次数和所述加权后时间差倒数的和作为该数据块的热参数值。
第二方面，本申请公开了一种数据处理装置，包括：
数据块划分模块，用于将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，其中，所述目标设备包括多个存储层；
信息获取模块，用于获取各个所述数据块的访问信息，其中，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳；
参数确定模块，用于根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关；
冷热数据确定模块，用于根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；
数据迁移模块，用于将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
第三方面，本申请公开了一种电子设备，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述公开的数据处理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的数据处理方法。
可见，本申请先将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳，然后根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关，以及根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，便可以将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。这样对设备中的数据块先进行冷热分离，然后将分离出来的热数据块迁移存储到存储性能比当前存储层高一级的存储层中，并将冷数据存储到存储性能比当前存储层低一级的存储层中，这样可以将热数据存储到存储性能高的存储层中，将冷数据存储到存储性能低的存储层中，提高数据读取时在高存储性能的存储层中的命中率，满足用户操作数据的实时性，提高系统性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据处理方法流程图；
图2为本申请公开的一种具体的数据处理方法流程图；
图3为本申请公开的一种具体的数据处理方法流程图；
图4为本申请公开的一种数据处理装置结构示意图；
图5为本申请公开的一种电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1所示，本申请实施例公开了一种数据处理方法，该方法包括：
步骤S11：将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳。
在具体的实施过程中，需要对有多个存储层的目标设备中的已存储的数据进行迁移时，可以先将所述目标设备中各个存储层上的已存储数据划分成大小相同的数据块，以便进行数据存储迁移，其中，每个数据块的大小可以预先设置。
在将各个存储层上的已存储数据划分为不同的数据块之后，还需要获取各个所述数据块的访问信息，其中，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳。所述预设时长可以根据实际情况进行具体设置。
步骤S12：根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关。
在获取到所述访问信息之后，还需要根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关。
也即，根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个数据块的热度。
在具体的实施过程中，所述根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出任一数据块的热参数值，包括：利用第一预设调整参数对该数据块的访问次数进行加权，得到加权后访问次数；确定当前时间戳和该数据块的最近访问时间戳之间的时间差值；利用第二预设调整参数和第三预设调整参数对所述时间差值的倒数进行加权，得到加权后时间差倒数，其中，所述第三预设调整参数为1与所述第一预设调整参数之间的差值；将所述加权后访问次数和所述加权后时间差倒数的和作为该数据块的热参数值。
将上述过程用公式表示为：
Figure BDA0002750216630000061
其中，y表示热参数值，w表示第一预设调整参数，n表示过去预设时长之内的访问次数，μ表示第二预设调整参数，t1表示当前时间戳，t2表示最近访问时间戳。
在确定各个数据块的热参数值的过程中，不仅考虑最近一段时间之内的访问次数，还需要考虑最近访问时间戳距离当前访问时间戳之间的距离，可以更全面的描述数据块的热度，从而可以提高确定出的数据块热度的准确性，从而提高数据读取性能。
步骤S13：根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块。
在得到所述各个数据块的热参数值之后，还需要根据所述热参数值分别确定出各个存储层上的冷数据块以及热数据块。所述热参数值可以反映数据块的热度，所以便可以根据所述热参数值确定出各个存储层上的热数据块以及冷数据块。
步骤S14：将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
在确定出各个存储层的热数据块以及冷数据块之后，便可以将当前存储层上的热数据块迁移存储到存储性能比当前存储层高一级的存储层中，并将当前存储层上的冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
可见，本申请先将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳，然后根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关，以及根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，便可以将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。这样对设备中的数据块先进行冷热分离，然后将分离出来的热数据块迁移存储到存储性能比当前存储层高一级的存储层中，并将冷数据存储到存储性能比当前存储层低一级的存储层中，这样可以将热数据存储到存储性能高的存储层中，将冷数据存储到存储性能低的存储层中，提高数据读取时在高存储性能的存储层中的命中率，满足用户操作数据的实时性，提高系统性能。
参见图2所示，本申请实施例公开了一种具体的数据处理方法，该方法包括：
步骤S21：将所述目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳。
在具体的实施过程中，需要先将所述目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息。在实际应用中，可以在所述目标设备的存储系统不进行新的数据处理时，进行以上操作，以避免对所述目标设备的正常服务造成影响。
步骤S22：根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关。
步骤S22的具体实施过程可以参考前述实施例中公开的内容，在此不再进行赘述。
步骤S23：根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块。
在确定出各个所述数据块的热参数值之后，还需要根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块。
在第一种具体实施方式，可以将当前存储层上的数据块的热参数值按照从大到小顺序进行排序，得到当前存储层的热参数值序列；将所述热参数值序列中最前面的第一预设数量个值对应的所述数据块确定为热数据块，并将所述热参数值序列中最后面的第一预设数量个值对应的所述数据块确定为冷数据块。
也即，直接将当前存储层上的数据块的热参数值按照从大到小顺序进行排序，便可以看到当前存储层上各个数据块的热度排序，前面的热参数值对应的数据块的热度大于后面的。这时便可以直接将最前面的第一预设数量个热参数值对应的所述数据块确定为热数据块，将最后面的第一预设数量个热参数值对应的数据块确定为冷数据块。
在第二种具体的实施方式，可以将当前存储层上大于第一预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选热数据块，并将小于第二预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选冷数据块，其中，所述第一预设阈值大于所述第二预设阈值；判断所述预选热数据块的第一数据块数量和所述预选冷数据块的第二数据块数量是否均大于第二预设数量；如果是，则从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，并从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块。
为了可以保证可以将热度高的数据迁移存储到高存储性能的存储层，可以先判断当前存储层上各个数据块的热参数值是否大于或等于第一预设阈值，并将大于第一预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选热数据块。判断当前存储层上各个数据块的热参数值是否小于第二预设阈值，并将小于第二预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选冷数据块。如果所述预选热数据块以及所述预选冷数据块的数据块数量均大于第二预设数量，这时可以从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块。以便避免移动的数据块过多而影响所述目标设备的正常服务。如果所述预选热数据块的数据块数量小于所述第二预设数量，或/和，所述预选冷数据块的数据块数据小于所述第二预设数量，则可以将所述预选热数据块中的各个数据块均作为热数据块，或/和，将所述预选冷数据块中的各个数据块均作为冷数据块。
上述从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，包括：将所述预选热数据块对应的所述热参数值按照从大到小排序；将最前面的所述第二预设数量个值对应的所述预选热数据块作为热数据块。
上述从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块，包括：将所述预选冷数据块对应的所述热参数值按照从小到大排序；将最前面的所述第二预设数量个值对应的所述预选冷数据块作为冷数据块。
步骤S24：将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
步骤S24的具体实施过程可以参考前述实施例中公开的内容，在此不再进行赘述。
步骤S25：更新所述冷数据块和所述热数据块对应的元数据。
在将所述热数据块以及所述冷数据块迁移存储之后，还需要对所述冷数据块和所述热数据块对应的元数据进行更新，具体的，更新记录所述热数据块和冷数据块位置的元数据信息和记录所述元数据块的当前的物理存储地址。
参见图3所示，为数据处理流程图。在设备的系统空闲时开启数据块迁移，获取该数据块在最近一段时间的访问次数，以及最近被读写的时间戳，加权求和对数据块的优先级(热度)进行降序排序，然后将每个存储层的优先级最低的k个数据块迁移到存储性能低一级的下一个存储层，将每个存储层的优先级最高的k个数据块迁移到存储性能高一级的上一个存储层，完成层之间的数据的置换操作之后，更新记录数据块位置的元数据信息以及记录所述元数据块的当前的物理存储地址。
参见图4所示，本申请实施例公开了一种数据处理装置，包括：
数据块划分模块11，用于将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，其中，所述目标设备包括多个存储层；
信息获取模块12，用于获取各个所述数据块的访问信息，其中，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳；
参数确定模块13，用于根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关；
冷热数据确定模块14，用于根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；
数据迁移模块15，用于将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
可见，本申请先将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳，然后根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关，以及根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，便可以将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。这样对设备中的数据块先进行冷热分离，然后将分离出来的热数据块迁移存储到存储性能比当前存储层高一级的存储层中，并将冷数据存储到存储性能比当前存储层低一级的存储层中，这样可以将热数据存储到存储性能高的存储层中，将冷数据存储到存储性能低的存储层中，提高数据读取时在高存储性能的存储层中的命中率，满足用户操作数据的实时性，提高系统性能。
在一些具体的实施例中，所述数据处理装置，还包括：
元数据更新模块，用于更新所述冷数据块和所述热数据块对应的元数据。
在一些具体的实施例中，所述冷热数据确定模块14，用于：
将当前存储层上的数据块的热参数值按照从大到小顺序进行排序，得到当前存储层的热参数值序列；
将所述热参数值序列中最前面的第一预设数量个值对应的所述数据块确定为热数据块，并将所述热参数值序列中最后面的第一预设数量个值对应的所述数据块确定为冷数据块。
在一些具体的实施例中，所述冷热数据确定模块14，用于：
将当前存储层上大于第一预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选热数据块，并将小于第二预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选冷数据块，其中，所述第一预设阈值大于所述第二预设阈值；
判断所述预选热数据块的第一数据块数量和所述预选冷数据块的第二数据块数量是否均大于第二预设数量；
如果是，则从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，并从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块。
在一些具体的实施例中，所述冷热数据确定模块14，用于：
将所述预选热数据块对应的所述热参数值按照从大到小排序；
将最前面的所述第二预设数量个值对应的所述预选热数据块作为热数据块。
在一些具体的实施例中，所述冷热数据确定模块14，用于：
将所述预选冷数据块对应的所述热参数值按照从小到大排序；
将最前面的所述第二预设数量个值对应的所述预选冷数据块作为冷数据块。
在一些具体的实施例中，所述参数确定模块13，用于：
利用第一预设调整参数对该数据块的访问次数进行加权，得到加权后访问次数；
确定当前时间戳和该数据块的最近访问时间戳之间的时间差值；
利用第二预设调整参数和第三预设调整参数对所述时间差值的倒数进行加权，得到加权后时间差倒数，其中，所述第三预设调整参数为1与所述第一预设调整参数之间的差值；
将所述加权后访问次数和所述加权后时间差倒数的和作为该数据块的热参数值。
参见图5所示，为本申请实施例提供的一种电子设备20的结构示意图，该电子设备20具体可以实现前述实施例中公开的数据处理方法步骤。
通常，本实施例中的电子设备20包括：处理器21和存储器22。
其中，处理器21可以包括一个或多个处理核心，比如四核心处理器、八核心处理器等。处理器21可以采用DSP(digital signal processing,数字信号处理)、FPGA(field-programmable gate array,现场可编程们阵列)、PLA(programmable logic array,可编程逻辑阵列)中的至少一种硬件来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processing unit,中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有GPU(graphics processing unit,图像处理器)，GPU用于负责显示屏所需要显示的图像的渲染和绘制。一些实施例中，处理器21可以包括AI(artificialintelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器22可以包括一个或多个计算机可读存储介质，计算机可读存储介质可以是非暂态的。存储器22还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器22至少用于存储以下计算机程序221，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例中公开的数据处理方法步骤。
在一些实施例中，电子设备20还可包括有显示屏23、输入输出接口24、通信接口25、传感器26、电源27以及通信总线28。
本技术领域人员可以理解，图5中示出的结构并不构成对电子设备20的限定，可以包括比图示更多或更少的组件。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述任一实施例中公开的数据处理方法。
其中，关于上述数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得一系列包含其他要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、装置、设备、介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，并获取各个所述数据块的访问信息，其中，所述目标设备包括多个存储层，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳；
根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关；
根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；
将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
2.根据权利要求1所述的数据处理方法，其特征在于，所述将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层之后，还包括：
更新所述冷数据块和所述热数据块对应的元数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，包括：
将当前存储层上的数据块的热参数值按照从大到小顺序进行排序，得到当前存储层的热参数值序列；
将所述热参数值序列中最前面的第一预设数量个值对应的所述数据块确定为热数据块，并将所述热参数值序列中最后面的第一预设数量个值对应的所述数据块确定为冷数据块。
4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块，包括：
将当前存储层上大于第一预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选热数据块，并将小于第二预设阈值的所述热参数值对应的所述数据块确定为当前存储层上的预选冷数据块，其中，所述第一预设阈值大于所述第二预设阈值；
判断所述预选热数据块的第一数据块数量和所述预选冷数据块的第二数据块数量是否均大于第二预设数量；
如果是，则从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，并从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块。
5.根据权利要求4所述的数据处理方法，其特征在于，所述从所述预选热数据块中确定出数量与所述第二预设数量相等的热数据块，包括：
将所述预选热数据块对应的所述热参数值按照从大到小排序；
将最前面的所述第二预设数量个值对应的所述预选热数据块作为热数据块。
6.根据权利要求4所述的数据处理方法，其特征在于，所述从所述预选冷数据块中确定出数量与所述第二预设数量相等的冷数据块，包括：
将所述预选冷数据块对应的所述热参数值按照从小到大排序；
将最前面的所述第二预设数量个值对应的所述预选冷数据块作为冷数据块。
7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出任一数据块的热参数值，包括：
利用第一预设调整参数对该数据块的访问次数进行加权，得到加权后访问次数；
确定当前时间戳和该数据块的最近访问时间戳之间的时间差值；
利用第二预设调整参数和第三预设调整参数对所述时间差值的倒数进行加权，得到加权后时间差倒数，其中，所述第三预设调整参数为1与所述第一预设调整参数之间的差值；
将所述加权后访问次数和所述加权后时间差倒数的和作为该数据块的热参数值。
8.一种数据处理装置，其特征在于，包括：
数据块划分模块，用于将目标设备中各个存储层上的已存储数据划分成大小相同的数据块，其中，所述目标设备包括多个存储层；
信息获取模块，用于获取各个所述数据块的访问信息，其中，所述访问信息包括过去预设时长之内的访问次数和最近访问时间戳；
参数确定模块，用于根据所述访问次数、所述最近访问时间戳以及预设调整参数确定出各个所述数据块的热参数值，其中，所述热参数值表示所述数据块的热度，所述热参数值大小与数据块的热度呈正相关；
冷热数据确定模块，用于根据所述热参数值分别确定出各个所述存储层上的冷数据块和热数据块；
数据迁移模块，用于将当前存储层上的所述热数据块迁移存储到存储性能比当前存储层高一级的存储层，并将当前存储层上的所述冷数据块迁移存储到存储性能比当前存储层低一级的存储层。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法。
CN202011181171.0A 2020-10-29 2020-10-29 一种数据处理方法、装置、设备及介质 Withdrawn CN112286459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011181171.0A CN112286459A (zh) 2020-10-29 2020-10-29 一种数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011181171.0A CN112286459A (zh) 2020-10-29 2020-10-29 一种数据处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112286459A true CN112286459A (zh) 2021-01-29

Family

ID=74352385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011181171.0A Withdrawn CN112286459A (zh) 2020-10-29 2020-10-29 一种数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112286459A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN113296696A (zh) * 2021-03-02 2021-08-24 阿里巴巴新加坡控股有限公司 一种数据的访问方法、计算设备及存储介质
CN113760854A (zh) * 2021-09-10 2021-12-07 北京金山云网络技术有限公司 Hdfs内存中数据的识别方法及相关设备
CN113886353A (zh) * 2021-09-30 2022-01-04 苏州浪潮智能科技有限公司 分层存储管理软件的数据配置推荐方法、装置及存储介质
CN114328472A (zh) * 2022-03-15 2022-04-12 北京数腾软件科技有限公司 一种基于ai的数据迁移方法及系统
WO2022199258A1 (zh) * 2021-03-26 2022-09-29 华为技术有限公司 一种缓存管理方法及存储设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113296696A (zh) * 2021-03-02 2021-08-24 阿里巴巴新加坡控股有限公司 一种数据的访问方法、计算设备及存储介质
WO2022199258A1 (zh) * 2021-03-26 2022-09-29 华为技术有限公司 一种缓存管理方法及存储设备
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN112948398B (zh) * 2021-04-29 2023-02-24 电子科技大学 一种面向冷热数据的分级存储系统及方法
CN113760854A (zh) * 2021-09-10 2021-12-07 北京金山云网络技术有限公司 Hdfs内存中数据的识别方法及相关设备
CN113886353A (zh) * 2021-09-30 2022-01-04 苏州浪潮智能科技有限公司 分层存储管理软件的数据配置推荐方法、装置及存储介质
CN113886353B (zh) * 2021-09-30 2024-01-23 苏州浪潮智能科技有限公司 分层存储管理软件的数据配置推荐方法、装置及存储介质
CN114328472A (zh) * 2022-03-15 2022-04-12 北京数腾软件科技有限公司 一种基于ai的数据迁移方法及系统
CN114328472B (zh) * 2022-03-15 2022-05-27 北京数腾软件科技有限公司 一种基于ai的数据迁移方法及系统

Similar Documents

Publication Publication Date Title
CN112286459A (zh) 一种数据处理方法、装置、设备及介质
US11281377B2 (en) Method and apparatus for managing storage system
CN105205014B (zh) 一种数据存储方法和装置
EP3229142B1 (en) Read cache management method and device based on solid state drive
WO2016141735A1 (zh) 缓存数据的确定方法及装置
US10853250B2 (en) Storage management method, electronic device and computer program product
CN109086141B (zh) 内存管理方法和装置以及计算机可读存储介质
JP6167646B2 (ja) 情報処理装置、制御回路、制御プログラム、および制御方法
CN111324303A (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN112214420A (zh) 数据缓存方法、存储控制装置、及存储设备
US20150212744A1 (en) Method and system of eviction stage population of a flash memory cache of a multilayer cache system
CN111061429B (zh) 一种数据访问方法、装置、设备、介质
CN110187840A (zh) 一种数据迁移方法、装置、服务器及存储介质
JP2016114967A (ja) キャッシュ装置、キャッシュシステム、キャッシュ方法、及びキャッシュプログラム
JP6112193B2 (ja) アクセス制御プログラム、ディスク装置及びアクセス制御方法
CN110895520B (zh) 一种文件迁移方法、相关装置及设备
CN110825652B (zh) 淘汰磁盘块上的缓存数据的方法、装置及设备
CN111090633A (zh) 一种分布式文件系统的小文件聚合方法、装置及设备
CN117235088B (zh) 一种存储系统的缓存更新方法、装置、设备、介质及平台
CN112925629B (zh) 布隆过滤器动态调整方法、系统、电子设备及存储介质
CN116560585B (zh) 一种数据分级存储方法和系统
US10678699B2 (en) Cascading pre-filter to improve caching efficiency
CN105740167A (zh) 一种文件系统缓存删除的方法及系统
CN116910314A (zh) 基于键值分离的键值存储系统中范围查询优化方法及装置
CN114064570A (zh) 一种元数据负载均衡方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210129

WW01 Invention patent application withdrawn after publication