CN113918098A - 一种数据处理方法、装置、设备及介质 - Google Patents

Abstract

本公开实施例涉及一种数据处理方法、装置、设备及介质，其中该方法包括：获取待存储数据；确定待存储数据的目标优先级；将待存储数据存储至存储系统中与目标优先级对应的第一存储单元，存储系统包括存储成本不同的多个存储单元；当预设时间内待存储数据无读取操作，则将待存储数据从第一存储单元迁移至第二存储单元，第二存储单元的存储成本低于第一存储单元。本公开实施例保证了数据的高可用，并节约了成本，并且当数据在一段时间内无读取操作则可以在将数据迁移至存储成本更低的存储单元，由于数据迁移与数据冷热、存储成本相关，能够根据热度实现数据动态迁移，进一步实现成本的极大节约，提升了数据处理的性能。

Description

一种数据处理方法、装置、设备及介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

随着大数据和人工智能技术的发展，大数据技术得到越来越多人的关注。

大数据集群主要由数据存储和计算两部分组成，使用大数据组件的计算能力来计算集群中存储的数据，数据一般是本地存储或者基于存储和计算分离的本地存储和外部存储结合，但是上述方式在存储成本方面较高，无法满足需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法、装置、设备及介质。

本公开实施例提供了一种数据处理方法，所述方法包括：

获取待存储数据；

确定所述待存储数据的目标优先级；

将所述待存储数据存储至存储系统中与所述目标优先级对应的第一存储单元，所述存储系统包括存储成本不同的多个存储单元；

当预设时间内所述待存储数据无读取操作，则将所述待存储数据从所述第一存储单元迁移至第二存储单元，所述第二存储单元的存储成本低于所述第一存储单元。

本公开实施例还提供了一种数据处理装置，所述装置包括：

数据获取模块，用于获取待存储数据；

优先级模块，用于确定所述待存储数据的目标优先级；

数据存储模块，用于将所述待存储数据存储至存储系统中与所述目标优先级对应的第一存储单元，所述存储系统包括存储成本不同的多个存储单元；

数据迁移模块，用于当预设时间内所述待存储数据无读取操作，则将所述待存储数据从所述第一存储单元迁移至第二存储单元，所述第二存储单元为所述存储系统中存储成本低于所述第一存储单元的一个存储单元。

本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据处理方法。

本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据处理方案，获取待存储数据；确定待存储数据的目标优先级；将待存储数据存储至存储系统中与目标优先级对应的第一存储单元，存储系统包括存储成本不同的多个存储单元；当预设时间内待存储数据无读取操作，则将待存储数据从第一存储单元迁移至第二存储单元，第二存储单元的存储成本低于第一存储单元。采用上述技术方案，可以实现根据数据的业务需求的优先级而放入不同存储成本的存储单元中，保证了数据的高可用，并节约了成本，并且当数据在一段时间内无读取操作则可以在将数据迁移至存储成本更低的存储单元，由于数据迁移与数据冷热、存储成本相关，能够根据热度实现数据动态迁移，进一步实现成本的极大节约，提升了数据处理的性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种数据处理方法的流程示意图；

图2为本公开实施例提供的一种数据处理系统的示意图；

图3为本公开实施例提供的另一种数据处理方法的流程示意图；

图4为本公开实施例提供的一种数据处理的示意图；

图5为本公开实施例提供的一种数据处理装置的结构示意图；

图6为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

随着大数据和人工智能技术的发展，大数据技术得到越来越多人的关注。各个行业越来越深刻地意识到大数据技术对于自身的价值，大数据应用和大数据平台成为各个技术公司以及互联网公司的核心技术，许多公司推出了构建在云服务层之上的大数据平台。

大数据集群主要由数据和计算组成，使用大数据组件的计算能力来计算集群中存储的数据，数据一般是本地存储或者基于存储和计算分离的本地存储和外部存储结合。大数据集群使用本地存储的好处是数据在本地，计算的时候可以将计算实例和存储移动到一个节点去计算，从而减少数据移动带来的网络延时，但是具有扩展性差和高成本的缺点，本地存储在使用过程中一般使用磁盘阵列(Redundant Arrays of Independent Disks，RAID)的方式以保证数据稳定性，一般大数据存储使用3副本，本地存储的成本是实际存储的至少3倍，扩展性差指的是每次存储遇到业务存储瓶颈的时候需要扩容存储，要经过一系列采购、部署、配置生效，并且扩容的时候要重新部署大数据存储组件Hadoop。而基于存储和计算分离的本地存储和外部存储结合的方式，可以实现大数据集群存储的无限扩展，但是在存储成本方面依然较高，无法满足需求。

为了解决上述问题，本公开实施例提供了一种数据处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的一种数据处理方法的流程示意图，该方法可以由数据处理装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法包括：

步骤101、获取待存储数据。

其中，待存储数据可以是基于大数据集群的数据处理系统中需要进行存储的数据，本公开实施例对具体数据的类型和数据量不作限定。

本公开实施例可以在数据处理系统的架构中增加数据管理模块，数据处理装置可以为该数据管理模块，用于执行本公开实施例中的数据处理方法。

示例性的，图2为本公开实施例提供的一种数据处理系统的示意图，如图2所示，数据处理系统可以包括业务层201、大数据集群202、资源层203和存储层204，其中业务层201可以用于使用大数据组件进行业务分析，例如图中的运营分析、个性化推荐、业务预测和运维监控等；大数据集群202可以包括构建在云服务器上的大数据组件，大数据组件可以是大数据系统生产中常用的工具和系统等，例如图中可以包括Presto、Kudu、Impala、HBase、Spark、Flink、Tez、Hive，还可以包括Hadoop、Elasticsearh等(图中未示出)，具体不限；资源层203可以包括在裸金属服务器或者云上的云服务器，可以将大数据集群202部署在裸金属服务器或者云上的云服务器上；存储层204中存储和计算实现了分离，可以采用本地存储Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)作为存储介质，也可以用云存储来作为存储介质。上述在本地存储的基础上增加云存储的方案，可以实现大数据集群存储的无限扩展，同时因为在云上，存储成本有极大降低。

步骤102、确定待存储数据的目标优先级。

其中，优先级可以是用户根据业务需求所确定的数据冷热来确定的级别，不同数据对应的优先级可以不同，本公开实施例中优先级可以包括至少三个，数量不限。

本公开实施例中，在步骤102之前或步骤201之前，数据处理方法还可以包括：获取预先设置的数据、优先级和存储单元之间的存储对应关系。

其中，数据可以是数据处理系统处理的与业务相关的数据。存储单元可以是数据处理系统的存储系统中的存储介质，本公开实施例中，存储系统可以包括存储成本不同的多个存储单元。

存储单元可以包括本地存储单元和云存储单元，本地存储单元的存储成本大于云存储单元。云存储单元可以是基于云服务的存储单元，可以采用对象存储的方式存储数据，利用云服务的弹性能力和云存储的低成本能够极大的利用计算性能并且尽量减少成本开销。对象存储也即基于对象的存储，可以用来描述解决和处理离散单元的方法，这些离散单元被称作为对象。云存储单元可以包括标准存储单元、低频存储单元和归档存储单元，按照存储成本从大到小依次为标准存储单元、低频存储单元和归档存储单元。

具体的，用户对业务相关的数据进行优先级的划分和配置，并且配置不同优先级对应的存储单元，进而可以得到存储对应关系，数据处理装置可以获取上述存储对应关系并存储，以备后用。

在本公开实施例中，确定待存储数据的目标优先级，可以包括：根据待存储数据和存储对应关系，确定待存储数据的目标优先级。具体的，数据处理装置在获取待存储数据之后，可以在存储对应关系中进行匹配和查找，确定其对应的目标优先级和存储单元。

步骤103、将待存储数据存储至存储系统中与目标优先级对应的第一存储单元。

其中，存储系统可以是对大数据集群的数据处理系统的用于存储数据的存储单元的统称。目标优先级对应的第一存储单元可以是根据上述目标优先级和存储对应关系确定的存储单元。

在本公开实施例中，将待存储数据存储至存储系统中目标优先级对应的第一存储单元，可以包括：当目标优先级为最高优先级，则第一存储单元为本地存储单元，将待存储数据存储至本地存储单元；当目标优先级为最低优先级，则第一存储单元为归档存储单元，将待存储数据存储至归档存储单元；当目标优先级为任意一个中间优先级，则第一存储单元为本地存储单元或云存储单元，将待存储数据存储至本地存储单元或云存储单元。

由于优先级可以包括至少三个，也即包括最高优先级、最低优先级和至少一个中间优先级。并且存储成本与数据热度、数据读取速度成正比，存储成本越高，数据热度和数据读取速度越高。

当目标优先级为最高优先级时，说明待存储数据需要保证热度，第一存储单元可以为本地存储单元，可以将待存储数据存储至本地存储单元；当目标优先级为最低优先级时，说明待存储数据不需要访问，热度最低，第一存储单元为归档存储单元，可以将待存储数据存储至归档存储单元；当目标优先级为任意一个中间优先级时，说明待存储数据的热度居中，第一存储单元可以为本地存储单元或云存储单元，可以将待存储数据存储至本地存储单元或云存储单元。

可选的，将待存储数据存储至本地存储单元或云存储单元，可以包括：当本地存储单元中空闲空间的容量大于或等于待存储数据的数据量，则将待存储数据存储至本地存储单元；否则，将待存储数据存储至云存储单元。其中，空闲空间可以为本地存储单元中未被占用空间。

具体的，当目标优先级为任意一个中间优先级时，可以将本地存储单元中空闲空间的容量与待存储数据的数据量进行对比，如果本地存储单元中空闲空间的容量大于或等于待存储数据的数据量，则说明本地存储单元的空闲空间能够存储上述待存储数据，可以将待存储数据存储至本地存储单元；如果本地存储单元中空闲空间的容量小于待存储数据的数据量，则说明本地存储单元中空闲空间不足以存储待存储数据，则可以将待存储数据存储至云存储单元中的标准存储单元或低频存储单元。

上述根据数据的业务需求所确定的数据冷热将数据存储至不同类型的存储单元，可以在节约成本的基础上实现了数据的高可用。

步骤104、当预设时间内待存储数据无读取操作，则将待存储数据从第一存储单元迁移至第二存储单元，第二存储单元的存储成本低于第一存储单元。

其中，预设时间可以为预先设置的根据数据访问热度设置的时间阈值，具体可以根据实际情况设置，例如预设时间可以为1天、3天或1周等。第二存储单元可以为待存储数据迁移到的存储单元，第二存储单元为存储系统中存储成本低于第一存储单元的一个存储单元。

具体的，由于本公开实施例的存储系统的存储单元可以包括本地存储单元、标准存储单元、低频存储单元和归档存储单元，数据处理装置可以按照存储成本将多个存储单元进行降序排序，得到的排序结果依次为本地存储单元、标准存储单元、低频存储单元和归档存储单元；之后，检测上述已经存储的待存储数据，当预设时间内待存储数据无读取操作时，则可以将待存储数据从上述第一存储单元迁移至第二存储单元。

示例性的，当第一存储单元为本地存储单元，第二存储单元可以为标准存储单元、低频存储单元或归档存储单元，当预设时间内待存储数据无读取操作时，可以将待存储数据从本地存储单元迁移第二存储单元；当第二存储单元为标准存储单元，则当预设时间内待存储数据无读取操作，可以迁移待存储数据至低频存储单元或归档存储模。又如，当第一存储单元为低频存储单元，则第二存储单元为归档存储单元，当预设时间内待存储数据无读取操作时，可以将待存储数据从低频存储单元迁移归档存储单元。

本公开实施例中，将待存储数据从第一存储单元迁移至第二存储单元之后，数据处理方法还可以包括：如果在预设时间内待存储数据无读取操作，则继续将待存储数据从第二存储单元迁移至目标存储单元，直到目标存储单元为存储系统中存储成本最低的存储单元时，则停止迁移。

具体的，数据处理模块在将待存储数据从第一存储单元迁移至第二存储单元之后，可以判断第二存储单元是否为存储系统中存储成本最低的存储单元，也即是否为上述归档存储单元，若否，则在预设时间内待存储数据无读取操作时，继续将待存储数据从第二存储单元迁移至目标存储单元，直到目标存储单元为存储系统中存储成本最低的存储单元时，则停止迁移待存储数据。

上述方案中，在数据存储之后，可以根据数据热度进行动态迁移，将本地数据迁移至云存储单元来减少本地存储，之后可以将云存储单元中的数据按照数据热度进行动态迁移，不断迁移到存储成本更低的存储单元中，进一步节约了成本。示例性的，数据可以先写入本地，如果写入后按照时间周期进行读取判断，如果没有读取则迁移到云存储单元，再进行读取判断，如果没有读取则转移到低频存储单元、归档存储单元，即让不被读取的数据往热度冷的存储单元内迁移。

本公开实施例提供的数据处理方案，获取待存储数据；确定待存储数据的目标优先级；将待存储数据存储至存储系统中与目标优先级对应的第一存储单元，存储系统包括存储成本不同的多个存储单元；当预设时间内待存储数据无读取操作，则将待存储数据从第一存储单元迁移至第二存储单元，第二存储单元的存储成本低于第一存储单元。采用上述技术方案，可以实现根据数据的业务需求的优先级而放入不同存储成本的存储单元中，保证了数据的高可用，并节约了成本，并且当数据在一段时间内无读取操作则可以在将数据迁移至存储成本更低的存储单元，由于数据迁移与数据冷热、存储成本相关，能够根据热度实现数据动态迁移，进一步实现成本的极大节约，提升了数据处理的性能。

图3为本公开实施例提供的另一种数据处理方法的流程示意图，在上述实施例的基础上，本公开实施例中的数据处理方法还可以包括如下步骤：

步骤301、接收对目标数据的读取请求。

其中，目标数据可以是存储系统中已经存储的数据，可以为上述待存储数据，也可以为其他的数据。

步骤302、判断目标数据是否存储在第三存储单元，若是，则执行步骤303；否则执行步骤304。

其中，第三存储单元为存储系统中存储成本最低的存储单元。

具体的，数据处理装置在接收到对目标数据的读取请求之后，可以判断目标数据的存储位置是否为存储系统中存储成本最低的存储单元，也即判断目标数据是否存储在第三存储单元，若是，则执行步骤303；否则执行步骤304。

步骤303、将目标存储数据从第三存储单元迁移至第四存储单元之后执行读取操作。

其中，第四存储单元的存储成本高于第三存储单元。

具体的，数据处理装置可以将目标数据从第三存储单元迁移至上述第三存储单元之后对目标数据执行读取操作。例如数据处理装置可以将目标数据从归档存储单元迁移至低频存储单元，之后对目标数据执行读取操作。

步骤304、对目标数据执行读取操作。

具体的，当目标数据没有存储第三存储单元，也即目标数据没有存储在存储系统中存储成本最低的存储单元，则可以直接读取目标数据，并返回目标数据给用户。

上述方案中，当接收到对数据的读取请求之后，可以判断该数据的存储位置，如果该数据不在归档存储单元，则直接读取该数据；否则，可以先将该数据迁移至低频存储单元之后再进行读取，在实现数据读取的同时减少存储成本。

接下来通过一个具体的示例对本公开实施例中的数据处理方法进行进一步说明。示例性的，图4为本公开实施例提供的一种数据处理的示意图，如图4所示，数据处理装置401可以为图2中数据处理系统中新增的用于管理数据的模块，数据处理装置401可以包括元数据管理模块和数据转换模块，数据处理过程可以包括：用户可以进行数据注册，对业务数据进行归类，并配置数据的优先级和对应的存储单元，得到存储对应关系，之后将存储对应关系发送至元数据管理模块；元数据管理模块接收到待存储数据之后，可以根据该存储对应关系确定对应的目标优先级和第一存储单元，将待存储数据基于云存储接口或本地存储接口存储至目标优先级对应的第一存储单元；数据转换模块主要作用是管理各个存储单元，基于预设迁移策略控制数据整理迁移，具体的，针对写入策略，数据转换模块确定待存储数据在预设时间内无读取操作，可以对待存储数据进行动态迁移，将待存储数据按照图中各个存储单元之间的箭头进行迁移，直到迁移至归档存储单元停止迁移；针对读取策略，当数据转换模块接收到对数据的读取请求之后，可以判断该数据的存储位置，如果该数据不在归档存储单元，则直接读取该数据；否则，可以先将该数据迁移至低频存储单元之后再进行读取。

由于云存储单元中基于对象存储实现，对象存储提供了副本功能，相较于相关技术中多副本存储，进一步节省了存储成本。

上述方案中，存储和计算分离，保证了数据的可靠性；采用云存储减少了存储成本，并且通过动态数据迁移可以更好的管理业务时间上，并且可以实现成本的极大节约。

本公开实施例中的数据处理方案，可以实现根据数据的业务需求的优先级而放入不同存储成本的存储单元中，保证了数据的高可用，并节约了成本，并且可以多个存储单元中进行数据迁移，由于数据迁移与数据冷热、存储成本相关，能够根据热度实现数据动态迁移，进一步实现成本的极大节约，提升了数据处理的性能。

图5为本公开实施例提供的一种数据处理装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图5所示，该装置包括：

数据获取模块501，用于获取待存储数据；

优先级模块502，用于确定所述待存储数据的目标优先级；

数据存储模块503，用于将所述待存储数据存储至存储系统中与所述目标优先级对应的第一存储单元，所述存储系统包括存储成本不同的多个存储单元；

数据迁移模块504，用于当预设时间内所述待存储数据无读取操作，则将所述待存储数据从所述第一存储单元迁移至第二存储单元，所述第二存储单元为所述存储系统中存储成本低于所述第一存储单元的一个存储单元。

可选的，所述装置还包括关系模块，用于：在确定所述待存储数据的目标优先级之前，

获取预先设置的数据、优先级和存储单元之间的存储对应关系。

可选的，所述优先级模块502具体用于：

根据所述待存储数据和所述存储对应关系，确定所述待存储数据的目标优先级。

可选的，所述存储单元包括本地存储单元和云存储单元，所述云存储单元包括标准存储单元、低频存储单元和归档存储单元。

可选的，所述数据存储模块503包括：

第一存储单元，用于当所述目标优先级为最高优先级，则所述第一存储单元为所述本地存储单元，将所述待存储数据存储至所述本地存储单元；

第二存储单元，用于当所述目标优先级为最低优先级，则所述第一存储单元为所述归档存储单元，将所述待存储数据存储至所述归档存储单元；

第三存储单元，用于当所述目标优先级为任意一个中间优先级，则所述第一存储单元为所述本地存储单元或所述云存储单元，将所述待存储数据存储至所述本地存储单元或所述云存储单元。

可选的，所述第三存储单元用于：

当所述本地存储单元中空闲空间的容量大于或等于所述待存储数据的数据量，则将所述待存储数据存储至所述本地存储单元；否则，将所述待存储数据存储至所述云存储单元。

可选的，所述装置还包括第二迁移模块，用于：将所述待存储数据从所述第一存储单元迁移至第二存储单元之后，

如果在所述预设时间内所述待存储数据无读取操作，则继续将所述待存储数据从所述第二存储单元迁移至目标存储单元，直到所述目标存储单元为所述存储系统中存储成本最低的存储单元时，则停止迁移。

可选的，所述装置还包括读取迁移模块，用于：

接收对目标数据的读取请求；

当所述目标存储数据存储在第三存储单元时，则将所述目标存储数据从所述第三存储单元迁移至第四存储单元之后执行读取操作，所述第三存储单元为所述存储系统中存储成本最低的存储单元，所述第四存储单元的存储成本高于所述第三存储单元。

本公开实施例所提供的数据处理装置可执行本公开任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示，电子设备600包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本公开的实施例的数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置603还可以包括例如键盘、鼠标等等。

该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据处理方法。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

获取待存储数据；

确定所述待存储数据的目标优先级；

将所述待存储数据存储至存储系统中与所述目标优先级对应的第一存储单元，所述存储系统包括存储成本不同的多个存储单元；

当预设时间内所述待存储数据无读取操作，则将所述待存储数据从所述第一存储单元迁移至第二存储单元，所述第二存储单元的存储成本低于所述第一存储单元。

2.根据权利要求1所述的方法，其特征在于，在确定所述待存储数据的目标优先级之前，所述方法还包括：

获取预先设置的数据、优先级和存储单元之间的存储对应关系。

3.根据权利要求2所述的方法，其特征在于，确定所述待存储数据的目标优先级，包括：

根据所述待存储数据和所述存储对应关系，确定所述待存储数据的目标优先级。

4.根据权利要求1所述的方法，其特征在于，所述存储单元包括本地存储单元和云存储单元，所述云存储单元包括标准存储单元、低频存储单元和归档存储单元。

5.根据权利要求4所述的方法，其特征在于，将所述待存储数据存储至存储系统中所述目标优先级对应的第一存储单元，包括：

当所述目标优先级为最高优先级，则所述第一存储单元为所述本地存储单元，将所述待存储数据存储至所述本地存储单元；

当所述目标优先级为最低优先级，则所述第一存储单元为所述归档存储单元，将所述待存储数据存储至所述归档存储单元；

当所述目标优先级为任意一个中间优先级，则所述第一存储单元为所述本地存储单元或所述云存储单元，将所述待存储数据存储至所述本地存储单元或所述云存储单元。

6.根据权利要求5所述的方法，其特征在于，将所述待存储数据存储至所述本地存储单元或所述云存储单元，包括：

当所述本地存储单元中空闲空间的容量大于或等于所述待存储数据的数据量，则将所述待存储数据存储至所述本地存储单元；否则，将所述待存储数据存储至所述云存储单元。

7.根据权利要求1所述的方法，其特征在于，将所述待存储数据从所述第一存储单元迁移至第二存储单元之后，所述方法还包括：

如果在所述预设时间内所述待存储数据无读取操作，则继续将所述待存储数据从所述第二存储单元迁移至目标存储单元，直到所述目标存储单元为所述存储系统中存储成本最低的存储单元时，则停止迁移。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收对目标数据的读取请求；

当所述目标存储数据存储在第三存储单元时，则将所述目标存储数据从所述第三存储单元迁移至第四存储单元之后执行读取操作，所述第三存储单元为所述存储系统中存储成本最低的存储单元，所述第四存储单元的存储成本高于所述第三存储单元。

9.一种数据处理装置，其特征在于，包括：

数据获取模块，用于获取待存储数据；

优先级模块，用于确定所述待存储数据的目标优先级；

数据存储模块，用于将所述待存储数据存储至存储系统中与所述目标优先级对应的第一存储单元，所述存储系统包括存储成本不同的多个存储单元；

数据迁移模块，用于当预设时间内所述待存储数据无读取操作，则将所述待存储数据从所述第一存储单元迁移至第二存储单元，所述第二存储单元为所述存储系统中存储成本低于所述第一存储单元的一个存储单元。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一所述的数据处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的数据处理方法。

Images