CN115469813A - 数据处理方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法及装置、存储介质、电子装置，该方法包括：确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，第一热度值用于表示目标数据块在第一时间周期内被访问的频次和被访问的时间；在第一热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备，以在第二存储设备中存储目标数据块，其中，第二存储设备的存储速度小于第一存储设备的存储速度。通过本发明，解决了相关技术中存储设备利用率低的问题。

Description

数据处理方法及装置、存储介质、电子装置

技术领域

本发明实施例涉及计算机领域，具体而言，涉及一种数据处理方法及装置、存储介质、电子装置。

背景技术

目前比较常用的对象存储技术，是将所有文件对象存储在同一种存储介质中，高速闪存和机械硬盘混搭组成存储集群，磁盘成本高，输入/输出(Input/Output，简称为IO)性能发挥弱。并且，存储方案中并未对用户数据按使用频率进行区分，也不对数据冷热查询计算，用户读写数据检索慢，对于用户存储的海量数据来说，非常消耗性能和磁盘空间，用户体验效果较差。

针对相关技术中存在的存储设备利用率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法及装置、存储介质、电子装置，以至少解决相关技术中存储设备利用率低的问题。

根据本发明的一个实施例，提供了一种数据处理方法，包括：确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，上述第一热度值用于表示上述目标数据块在上述第一时间周期内被访问的频次和被访问的时间；在上述第一热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备，以在上述第二存储设备中存储上述目标数据块，其中，上述第二存储设备的存储速度小于上述第一存储设备的存储速度。

根据本发明的另一个实施例，提供了一种视频分类装置，包括：第一确定模块，用于确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，上述第一热度值用于表示上述目标数据块在上述第一时间周期内被访问的频次和被访问的时间；第一迁移模块，用于在上述第一热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备，以在上述第二存储设备中存储上述目标数据块，其中，上述第二存储设备的存储速度小于上述第一存储设备的存储速度。

在一个示例性实施例中，上述装置还包括：第一切分模块，用于确定第一存储设备中的目标数据块在第一时间周期内的第一热度值之前，按照预设存储单位切分获取的待存储数据，得到N个数据块，其中，N个上述数据块中包括上述目标数据块，上述N是大于或等于1的自然数；第一存储模块，用于将N个上述数据块存储至上述第一存储设备。

在一个示例性实施例中，上述第一确定模块，包括：第一获取单元，用于获取上述目标数据块在上述第一时间周期内被访问的时间；第一确定单元，用于利用上述被访问的时间和预设半衰周期确定上述目标数据块的热度基数，其中，上述预设半衰周期用于表示上述目标数据块被访问的热度值降低的时间；第二确定单元，用于基于上述热度基数、上述目标数据块的击中热度确定上述第一热度值，其中，上述击中热度用于表示上述目标数据块被访问的频次。

在一个示例性实施例中，上述第一确定单元，包括：第一确定子单元，用于将上述被访问的时间和预设半衰周期之间的乘积确定为上述目标数据块的热度基数。

在一个示例性实施例中，上述第二确定单元，包括：第一计算子单元，用于计算上述热度基数与上述目标热度值之间的商值；第二确定子单元，用于将上述商值与上述击中热度之间的和值确定为上述第一热度值。

在一个示例性实施例中，上述装置还包括：第二确定模块，用于在上述热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备之后，在第二时间周期内确定上述目标数据块在上述第二存储设备中的第二热度值，其中，上述第二热度值用于表示上述目标数据块在上述第二时间周期内被访问的频次和被访问的时间；第二迁移模块，用于在上述第二热度值大于或等于上述目标热度值的情况下，将上述目标数据块从上述第二存储设备迁移至第一存储设备，以在上述第一存储设备中存储上述目标数据块。

在一个示例性实施例中，上述装置还包括以下至少之一：第一调整模块，用于在上述第一热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备之后，基于检测的上述第一存储设备的第一存储空间和第一负载能力调整上述第一存储设备中存储的数据块；第二调整模块，用于基于检测的上述第二存储设备的第二存储空间和第二负载能力调整上述第二存储设备中存储的数据块。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，第一热度值用于表示目标数据块在第一时间周期内被访问的频次和被访问的时间；在第一热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备，以在第二存储设备中存储目标数据块，其中，第二存储设备的存储速度小于第一存储设备的存储速度。由于上述方法，定期检测存储设备中的数据块的热度值，并基于热度值对数据块的存储进行调整，使得经常使用的数据块可以被存储至高度存储设备中，不经常使用的数据块被迁移至低速的存储设备中。避免了高速存储设备承载过多使用率低的数据块，从而提高了存储设备的使用率。因此，可以解决相关技术中存储设备利用率低的问题。

附图说明

图1是本发明实施例的一种数据处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的数据处理方法的流程图；

图3是根据本发明具体实施例的流程图；

图4是根据本发明实施例的数据处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种数据处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据处理方法，图2是根据本发明实施例的数据处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，第一热度值用于表示目标数据块在第一时间周期内被访问的频次和被访问的时间；

步骤S204，在第一热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备，以在第二存储设备中存储目标数据块，其中，第二存储设备的存储速度小于第一存储设备的存储速度。

其中，上述步骤的执行主体可以为终端、服务器、终端或服务器中设置的具体处理器，或者与终端或者服务器相对独立设置的处理器或者处理设备等，但不限于此。

可选地，本实施例包括但不限于应用于基于操作系统存储器(Operating SystemStorage，简称为OSS)的场景中。OSS对象存储是一个基于对象的海量存储服务，可以为客户提供海量、安全、高可靠、低成本的数据存储能力。包括：创建、修改、删除桶、上传、下载、删除对象等功能。对象存储系统和单个桶都没有总数据容量和对象或文件数量的限制，为用户提供了超大存储容量的能力，适合存放任意类型的文件，适合普通用户、网站、企业和开发者使用。对象存储是一项面向互联网Internet访问的服务，提供了基于超文本传输协议(Hypertext Transfer Protocol，简称为HTTP)或HTTPS协议的网页Web的服务接口，用户可以随时随地连接到Internet的电脑上，通过对象存储管理控制台或客户端访问和管理存储在对象存储中的数据。云服务还可以实现在多区域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定区域使用对象存储，由此获得更快的访问速度和实惠的服务价格。

可选地，第一存储设备和第二存储设备可以为磁盘池，是大规模服务器多硬盘的集群中的设备，第一存储设备和第二存储设备可以是一个，也可以是多个。第二存储设备的存储速度远远小于第一存储设备的存储速度。例如，第一存储设备是固态硬盘(SolidState Disk或Solid State Drive，简称为SSD)，等闪存磁盘组建成的高速数据池。第二存储设备是机械慢速磁盘组建成的信息存取(Information Access，简称为IA)低频存储类的低速数据池。

可选地，第一存储设备中存储的是热数据，第二存储设备中存储的是冷数据。目标热度值可以基于用户需求进行灵活设定，例如，设定目标热度值是10000，10000是经常访问的数据的热度值，访问的频次较高。在第一热度值大于或等于10000，则确定目标数据块是热数据，将目标数据块保留存储在第一存储设备中。在第一热度值小于10000，则确定目标数据会计是冷数据，将目标数据块迁移至第二存储设备中进行存储。在本实施例中，热数据用于表示用户经常使用的数据，用户需要优先级处理的数据，数据的时效性高，需要重点保障服务质量和稳定性。冷数据用于表示不需要即时发给用户，不经常的使用数据。

可选地，第一时间周期可以是基于用户需要进行灵活的设定，例如，设定第一时间周期是一周，在一周内统计第一存储设备中各个数据块的热度值。例如，第一存储设备中存储有软件开发数据，用户在一周内每天都访问软件开发数据进行软件开发，则将软件开发数据确定为热数据。将用户在一周内没有访问过的公司简介信息确定为冷数据，迁移至第二存储设备中进行存储。

可选地，在存储数据之前，可以基于用户存储需求，将集群中大量的数据硬盘按照速度划分高速磁盘池和低速磁盘池。并根据用户需求将数据存储至合适的存储空间中，以减少集群中数据硬盘的性能浪费、空间浪费以及成本浪费。

通过上述步骤，通过确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，第一热度值用于表示目标数据块在第一时间周期内被访问的频次和被访问的时间；在第一热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备，以在第二存储设备中存储目标数据块，其中，第二存储设备的存储速度小于第一存储设备的存储速度。由于上述方法，定期检测存储设备中的数据块的热度值，并基于热度值对数据块的存储进行调整，使得经常使用的数据块可以被存储至高度存储设备中，不经常使用的数据块被迁移至低速的存储设备中。避免了高速存储设备承载过多使用率低的数据块，从而提高了存储设备的使用率。因此，可以解决相关技术中存储设备利用率低的问题。

在一个示例性实施例中，确定第一存储设备中的目标数据块在第一时间周期内的第一热度值之前，方法还包括：

S11，按照预设存储单位切分获取的待存储数据，得到N个数据块，其中，N个数据块中包括目标数据块，N是大于或等于1的自然数；

S12，将N个数据块存储至第一存储设备。

可选地，N的取值是可以基于实际引用场景或者图像要求来灵活设置的。例如，在待存储数据是较大文件的情况下，以4M为单位将待存储数据切分为多个数据块。多个数据块中包括冷数据可热数据。

但需要说明的是，在初始多个数据块时，均将多个数据块存储至第一存储设备中，因为在初始存储时多个数据块均被认定为热数据。在初始存储之后的时间周期内对数据的冷热再次进行划分。

通过对数据的切分，可以提高数据存储的效率，方便用户访问，并可以提高后续对数据块冷热划分的效率。

在一个示例性实施例中，确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，包括：

S21，获取目标数据块在第一时间周期内被访问的时间；

S22，利用被访问的时间和预设半衰周期确定目标数据块的热度基数，其中，预设半衰周期用于表示目标数据块被访问的热度值降低的时间(例如，降低一半的时间)；

S23，基于热度基数、目标数据块的击中热度确定第一热度值，其中，击中热度用于表示目标数据块被访问的频次。

可选地，目标数据块在第一时间周期内被访问的时间，可以是目标数据块最近一次被访问的时间，也可以是其他被访问的时间。预设半衰周期可以是ln(1.005)。

可选地，利用被访问的时间和预设半衰周期确定目标数据块的热度基数，包括：S221，将被访问的时间和预设半衰周期之间的乘积确定为目标数据块的热度基数。例如，将最近一次被访问的时间与ln(1.005)乘积，确定为热度基数。

可选地，基于热度基数、目标数据块的击中热度确定第一热度值，包括：S231，计算热度基数与目标热度值之间的商值；S232，将商值与击中热度之间的和值确定为第一热度值。例如，用户每访问一次目标数据块的时，以0.1为单位统计击中热度Hits，第一热度值＝ln(1.005)*(最近一次被访问的时间)/10000+0.1*Hits。

通过热度基数、目标数据块的击中热度可以准确的确定出第一热度值，以有效的确定出热数据和冷数据。

在一个示例性实施例中，在热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备之后，方法还包括：

S31，在第二时间周期内确定目标数据块在第二存储设备中的第二热度值，其中，第二热度值用于表示目标数据块在第二时间周期内被访问的频次和被访问的时间；

S32，在第二热度值大于或等于目标热度值的情况下，将目标数据块从第二存储设备迁移至第一存储设备，以在第一存储设备中存储目标数据块。

可选地，在目标数据块被迁移至第二存储设备之后，还需要定期检测目标数据块在第二存储设备中的热度。如果目标数据块在一周之内连续被用户访问，则可以将目标数据块确定为热数据。例如，在软件开发数据被迁移至第二存储设备后，用户在开发新的软件时，频繁的调用软件开发数据。则将软件开发数据重新确定为热数据，迁移存储至第一存储设备。从而方便用户对热数据的调用。

在一个示例性实施例中，在第一热度值小于目标热度值的情况下，将目标数据块从第一存储设备迁移至第二存储设备之后，方法还包括以下至少之一：

S41，基于检测的第一存储设备的第一存储空间和第一负载能力调整第一存储设备中存储的数据块；

S42，基于检测的第二存储设备的第二存储空间和第二负载能力调整第二存储设备中存储的数据块。

可选地，本实施例可以对第一存储设备和第二存储设备的存储空间、剩余存储空间、以及附在能力是够饱和等属性进行检测。

可选地，在初始确定第一存储设备和第二存储设备的存储空间后，还可以基于数据的存储情况进行调整。例如，在第一存储设备中存储过多的热数据后，对第一存储设备进行扩容，或者基于用户指示将第一存储设备中的部分数据迁移至第二存储设备。在第二存储设备中存储过多的冷数据的情况下，对第二存储设备进行扩容，或者基于用户指示将第二存储设备中的部分数据删除，例如，将3个月未访问过的数据块删除。

可选地，对于删除的数据，并不是立刻删除，而是对数据块打上删除标识。例如，在将热数据删除后，对热数据块打上删除标识，并迁移分发到IA低速数据池中备用，以防用户恢复，当周期阶段后无需求后自动删除。

通过对存储设备的检测和调整，可以更加高效的适应用户需求。

下面结合具体实施例对本发明进行说明：

本实施例以高速存储池和低速存储池对数据的存储为例进行说明，如图3所示，本实施例包括以下步骤：

S301，安装部署分布式文件系统CEPH存储集群，部署CEPH基础组件服务节点类MON、硬盘服务节点OSD、对象存储Radosgw，检查网络和磁盘运转正常，以保证对象存储OSS可以正常创建桶和上传对象。

S302，按照Placement Rule配置规则,将SSD等闪存磁盘组建成高速数据池，将机械慢速磁盘组建成IA低频存储类低速数据池。

S303，按照对象Size统计，计量各个存储类数据池的用量空间。在上传数据时，不管是分片上传还是整体上传对象，都可以根据用户指定的存储类存放。用户上传数据，删除数据，分片上传，异步删除，都要按照不同使用的类别category进行统计。不经常使用数据存放到IA存储类低速数据池，经常使用存放到STANDARD存储类统计。

S304，较大文件处理，用户上传的较大文件，可能会存在部分内容过热，部分内容过冷。将大文件以4M为单位切分，细化力度统计冷热数据。并根据用户访问的热度进行统计。数据存储分类统计算法，以数据访问冷热度感知、频次使用为基础，对用户数据存储分类统计，具体包括：

S1，获取最近一次访问时间戳now,以ln(1.005)为半衰周期单位，与最近访问时间的乘积，为热度统计基数；

S2，用户每访问一次数据的时候，以0.1为单位统计击中热度Hits；

S3，热度数值统计计算：c；

S4，定期检查周期内无访问的数据统计热度降温；

S5，对于30天内没有访问的用户数据，将热度值HotDelta降低为-ln(1.005)*1000；

S305，判断数据的热度值是否大于1000。根据热度统计数值进行数据迁移。按照热度数值进行数据分发，用户每次访问数据时候，先访问热度值。

S306，如果热度HotDelat值大于10000，将数据分发到STANDARD存储类高速数据池。

S307，如果热度HotDelat值小于10000,将数据分发到IA低频存储类低速数据池中。

此外，将热度值HotDelta结合不同访问类型(Read/Write/Delete)，管理分发数据的迁移。对于用户删除的数据，不是立刻删除，而是打上删除标识后，迁移分发到IA低速数据池中备用，以防用户恢复，当周期阶段后无需求后自动删除。如果是多读少写数据分发到STANDARD存储类高速数据池。少写少读操作的数据将被迁移到IA低速数据池。以上数据迁移都是自动化执行，在集群系统IO轻负载状态下，启动异步迁移线程。

在本实施例中，各组件之间进行心态检查健康状态，并感知对方存储节点的负载。感知存储类数据池的空间是否饱和，以灵活管理冷热数据缩放空间。

综上所述，本实施例经过对用户的使用统计，对象size统计，可以感知用户访问操作习惯，用户对哪些对象数据会经常访问，经常访问的数据可以自动化存放在高速存储类数据池中，不经常访问的数据会被慢慢的从高速数据池迁往低速数据池。对象存储集群的硬盘成本和速度可以均衡使用，可以避免高速闪存硬盘成本高却承载冷数据的性能使用率低下的问题。可以在硬盘IO存储性能和成本之间均衡使用，提高用户存储使用体验的满意度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的数据处理装置的结构框图，如图4所示，该装置包括：

第一确定模块42，用于确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，上述第一热度值用于表示上述目标数据块在上述第一时间周期内被访问的频次和被访问的时间；

第一迁移模块44，用于在上述第一热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备，以在上述第二存储设备中存储上述目标数据块，其中，上述第二存储设备的存储速度小于上述第一存储设备的存储速度。

在一个示例性实施例中，上述装置还包括：

第一切分模块，用于确定第一存储设备中的目标数据块在第一时间周期内的第一热度值之前，按照预设存储单位切分获取的待存储数据，得到N个数据块，其中，N个上述数据块中包括上述目标数据块，上述N是大于或等于1的自然数；

第一存储模块，用于将N个上述数据块存储至上述第一存储设备。

在一个示例性实施例中，上述第一确定模块，包括：

第一获取单元，用于获取上述目标数据块在上述第一时间周期内被访问的时间；

第一确定单元，用于利用上述被访问的时间和预设半衰周期确定上述目标数据块的热度基数，其中，上述预设半衰周期用于表示上述目标数据块被访问的热度值降低的时间；

第二确定单元，用于基于上述热度基数、上述目标数据块的击中热度确定上述第一热度值，其中，上述击中热度用于表示上述目标数据块被访问的频次。

在一个示例性实施例中，上述第一确定单元，包括：

第一确定子单元，用于将上述被访问的时间和预设半衰周期之间的乘积确定为上述目标数据块的热度基数。

在一个示例性实施例中，上述第二确定单元，包括：

第一计算子单元，用于计算上述热度基数与上述目标热度值之间的商值；

第二确定子单元，用于将上述商值与上述击中热度之间的和值确定为上述第一热度值。

在一个示例性实施例中，上述装置还包括：

第二确定模块，用于在上述热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备之后，在第二时间周期内确定上述目标数据块在上述第二存储设备中的第二热度值，其中，上述第二热度值用于表示上述目标数据块在上述第二时间周期内被访问的频次和被访问的时间；

第二迁移模块，用于在上述第二热度值大于或等于上述目标热度值的情况下，将上述目标数据块从上述第二存储设备迁移至第一存储设备，以在上述第一存储设备中存储上述目标数据块。

在一个示例性实施例中，上述装置还包括以下至少之一：

第一调整模块，用于在上述第一热度值小于目标热度值的情况下，将上述目标数据块从上述第一存储设备迁移至第二存储设备之后，基于检测的上述第一存储设备的第一存储空间和第一负载能力调整上述第一存储设备中存储的数据块；

第二调整模块，用于基于检测的上述第二存储设备的第二存储空间和第二负载能力调整上述第二存储设备中存储的数据块。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以上各步骤的计算机程序。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以上各步骤。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，所述第一热度值用于表示所述目标数据块在所述第一时间周期内被访问的频次和被访问的时间；

在所述第一热度值小于目标热度值的情况下，将所述目标数据块从所述第一存储设备迁移至第二存储设备，以在所述第二存储设备中存储所述目标数据块，其中，所述第二存储设备的存储速度小于所述第一存储设备的存储速度。

2.根据权利要求1所述的方法，其特征在于，确定第一存储设备中的目标数据块在第一时间周期内的第一热度值之前，所述方法还包括：

按照预设存储单位切分获取的待存储数据，得到N个数据块，其中，N个所述数据块中包括所述目标数据块，所述N是大于或等于1的自然数；

将N个所述数据块存储至所述第一存储设备。

3.根据权利要求1所述的方法，其特征在于，确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，包括：

获取所述目标数据块在所述第一时间周期内被访问的时间；

利用所述被访问的时间和预设半衰周期确定所述目标数据块的热度基数，其中，所述预设半衰周期用于表示所述目标数据块被访问的热度值降低的时间；

基于所述热度基数、所述目标数据块的击中热度确定所述第一热度值，其中，所述击中热度用于表示所述目标数据块被访问的频次。

4.根据权利要求3所述的方法，其特征在于，利用所述被访问的时间和预设半衰周期确定所述目标数据块的热度基数，包括：

将所述被访问的时间和预设半衰周期之间的乘积确定为所述目标数据块的热度基数。

5.根据权利要求3所述的方法，其特征在于，基于所述热度基数、所述目标数据块的击中热度确定所述第一热度值，包括：

计算所述热度基数与所述目标热度值之间的商值；

将所述商值与所述击中热度之间的和值确定为所述第一热度值。

6.根据权利要求1所述的方法，其特征在于，在所述热度值小于目标热度值的情况下，将所述目标数据块从所述第一存储设备迁移至第二存储设备之后，所述方法还包括：

在第二时间周期内确定所述目标数据块在所述第二存储设备中的第二热度值，其中，所述第二热度值用于表示所述目标数据块在所述第二时间周期内被访问的频次和被访问的时间；

在所述第二热度值大于或等于所述目标热度值的情况下，将所述目标数据块从所述第二存储设备迁移至第一存储设备，以在所述第一存储设备中存储所述目标数据块。

7.根据权利要求1所述的方法，其特征在于，在所述第一热度值小于目标热度值的情况下，将所述目标数据块从所述第一存储设备迁移至第二存储设备之后，所述方法还包括以下至少之一：

基于检测的所述第一存储设备的第一存储空间和第一负载能力调整所述第一存储设备中存储的数据块；

基于检测的所述第二存储设备的第二存储空间和第二负载能力调整所述第二存储设备中存储的数据块。

8.一种数据处理装置，其特征在于，包括：

第一确定模块，用于确定第一存储设备中的目标数据块在第一时间周期内的第一热度值，其中，所述第一热度值用于表示所述目标数据块在所述第一时间周期内被访问的频次和被访问的时间；

第一迁移模块，用于在所述第一热度值小于目标热度值的情况下，将所述目标数据块从所述第一存储设备迁移至第二存储设备，以在所述第二存储设备中存储所述目标数据块，其中，所述第二存储设备的存储速度小于所述第一存储设备的存储速度。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

Images