CN109885256A - 一种基于数据分片的数据存储方法、设备及介质 - Google Patents

Abstract

本申请公开了一种基于数据分片的数据存储方法、设备及介质，应用于数据存储技术领域。其中，该方法包括：获取待存储的目标数据的特征信息；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片。采用本申请，有助于减少数据存储和维护的成本。

Description

一种基于数据分片的数据存储方法、设备及介质

技术领域

本申请涉及数据存储技术领域，尤其涉及一种基于数据分片的数据存储方法、设备及介质。

背景技术

随着数字化技术的发展，需要存储的数据量急剧增大。传统存储解决方案为了保证数据安全，一般采取多地灾备，在多地对同一份数据进行完全备份，这就导致数据存储冗余，增加了数据存储和维护的成本。.

发明内容

本申请实施例提供一种基于数据分片的数据存储方法、设备及介质，有助于减少数据存储和维护的成本。

第一方面，本申请实施例提供了一种基于数据分片的数据存储方法，应用于预先部署的分布式存储系统，所述分布式存储系统包括至少两个存储设备，所述方法包括：

获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；

使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；

根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。

可选的，在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：

获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；

根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：

使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，所述目标数据的特征信息包括所述目标数据的重要等级；在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：

根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：

使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：

根据预设的数据特征信息和存储策略的对应关系，确定出与所述目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对所述至少两个数据分片的存储策略；

其中，不同的数据特征信息对应的存储策略指示的各数据分片在所述至少两个存储设备中的存储位置存在不同。

可选的，所述方法还包括：

获取所述至少两个存储设备中每个存储设备的存储信息，所述存储信息包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间、部署位置以及安全等级；

所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：

根据所述目标数据的特征信息和所述至少两个存储设备中每个存储设备的存储信息，确定对所述至少两个数据分片的存储策略。

可选的，在所述按照所述存储策略存储所述至少两个数据分片之后，所述方法还包括：

按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，所述存储状态包括正常状态和非正常状态；

当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据所述至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。

可选的，所述按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，包括：

按照预设的第一周期检测所述至少两个数据分片中各数据分片的存储状态；

当检测到处于非正常状态的数据分片的数目超过预设的第二数目阈值时，按照预设的第二周期检测所述至少两个数据分片中处于正常状态的数据分片的存储状态；

其中，所述第二周期对应的时间间隔小于所述第一周期对应的时间间隔，所述第二数目阈值小于所述第一数目阈值。

第二方面，本申请实施例提供了一种数据处理设备，该数据处理设备包括用于执行上述第一方面的方法的单元。

第三方面，本申请实施例提供了另一种数据处理设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储支持数据处理设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。可选的，该数据处理设备还可包括用户接口和/或通信接口。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本申请实施例能够通过利用纠删码技术对待存储的目标数据进行分片处理，以得到该目标数据对应的至少两个数据分片，并能够通过获取该目标数据的特征信息，根据该目标数据的特征信息确定对得到的该至少两个数据分片的存储策略，以按照该存储策略将该至少两个数据分片存储于分布式存储系统包括的至少两个存储设备中，而无需多地灾备，这就避免了数据存储冗余，有助于减少数据存储和维护的成本，且提升了数据存储的安全性。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于数据分片的数据存储方法的流程示意图；

图2是本申请实施例提供的另一种基于数据分片的数据存储方法的流程示意图；

图3是本申请实施例提供的一种数据处理设备的结构示意图；

图4是本申请实施例提供的另一种数据处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的技术方案可应用于数据处理设备中，该数据处理设备可以是服务器、存储设备、终端或其他处理设备，用于对数据进行处理，包括分片处理、确定对数据如数据分片的存储策略等等。该存储策略可以指示数据如各数据分片在预先部署的分布式存储系统中的存储位置，该分布式存储系统包括至少两个存储设备，该存储策略可具体指示各数据分片在该至少两个存储设备中的存储位置。本申请涉及的存储设备可以是服务器、存储器或其他存储设备(或装置)，终端可以是手机、电脑、平板、个人计算机、智能手表等，本申请不做限定。

可选的，该分布式存储系统可以为任一分布式系统如P2P分布式存储系统，或者还可以为P2P分布式存储系统和中心式存储系统构成的系统，或者还可以为其他存储系统，本申请不做限定。该数据处理设备可以为该分布式存储系统中的设备，比如该中心式存储系统中的存储设备(存储中心)；或者，还可以是P2P分布式存储系统中的存储设备；或者，还可以是独立的设备(区别于系统中的各用于存储数据的存储设备)，等等，此处不一一列举。其中，P2P分布式存储系统为一个开放式网络，可允许不同的用户在此网络上提供存储，从而降低成本。

本申请实施例能够通过利用纠删码技术对数据进行分片处理，以得到该数据对应的多个数据分片(分片数据)，包括原始数据分片和冗余数据分片等等，并能够根据该数据的特征信息确定对该多个数据分片的存储策略，以按照该存储策略将该多个分片数据分别存储于分布式存储系统的存储设备中，而无需多地灾备，即无需在多地对同一份数据进行完全备份，这就有助于减少数据存储和维护的成本，避免数据存储冗余。以下以分布式存储系统为P2P分布式存储系统和中心式存储系统构成的系统为例，分别详细说明。

其中，纠删码(Erasure Coding)技术主要是通过纠删码算法将原始的数据进行编码得到冗余，并将数据和冗余一并存储起来，以达到容错的目的。其基本思想是将n块原始数据元素(即n块原始数据分片)通过一定的计算，得到m块冗余元素(即m块冗余数据分片)。对于这n+m块的数据分片，当其中任意的m块(或小于m块，包括原始数据和/或冗余数据)分片出错或丢失时，均可以通过对应的重构算法恢复出原来的n块原始数据分片，即恢复出原始的数据。其中，该原始数据分片还可叫做数据块或者其余名称，该冗余数据分片还可叫做校验块或者其余名称，本申请不做限定。该得到m块冗余数据分片过程可被称为编码(encoding)，恢复出错或丢失数据块的过程可被称为解码(decoding)。基于数据分片的数据存储方式，使得增强了系统容错性能，降低了系统存储开销。

请参见图1，图1是本申请实施例提供的一种基于数据分片的数据存储方法的流程示意图。具体的，本实施例的方法可应用于上述的数据处理设备中。如图1所示，该基于数据分片的数据存储方法可以包括以下步骤：

101、获取待存储的目标数据的特征信息。

其中，该目标数据即为待存储的数据。可选的，该目标数据可以是携带于来自终端或其他设备发送的数据存储请求或其他请求中的，数据处理设备可通过接收携带该目标数据的该请求，以获取得到该目标数据；或者；该目标数据也可以是在检测到针对某一数据的存储指令确定出的，该存储指令指示的数据即为目标数据；或者，该目标数据还可以是处于特定数据库的数据，比如数据处理设备可以将处于特定数据库或待存储队列中的数据作为该目标数据，等等，此处不一一列举。

进一步的，在确定出该目标数据之后，数据处理设备即可获取该目标数据的特征信息，该特征信息可用于表征该目标数据的特征。可选的，该目标数据的特征信息可包括以下信息中的任一项或多项：该目标数据的数据标签、该目标数据的重要等级(优先级)、该目标数据的存储费用以及该目标数据的大小(数据量)等等。例如，该特征信息可携带与上述的请求中；又如，该特征信息如数据标签、重要等级等可基于目标数据的来源确定出，具体可预先设置数据来源和特征信息的对应关系；又如，该特征信息如目标数据的大小可以是实时检测出的，等等，对于该特征信息的获取方式，本申请不做限定。

102、使用纠删码技术对该目标数据进行分片处理，以得到该目标数据对应的至少两个数据分片。

其中，该至少两个数据分片可包括该目标数据对应的n块原始数据分片和m块冗余数据分片，该n和m均为大于0的整数。该n块原始数据分片即为该目标数据。也就是说，数据处理设备可通过将目标数据分片得到多个数据分片，以基于该多个数据分片对目标数据进行存储。

可选的，该步骤101和步骤102的执行顺序不受限制，比如还可先执行步骤102，再执行步骤101，或者，该步骤101和步骤102可同时执行，本申请不做限定。

103、根据该目标数据的特征信息确定对该至少两个数据分片的存储策略，并按照该存储策略存储该至少两个数据分片。

其中，该存储策略可指示该至少两个数据分片中每个数据分片在该至少两个存储设备中的存储位置，如每一个数据分片存储于该至少两个存储设备中的哪一个存储设备，或者还可用于进一步指示存储于哪一个存储设备中的哪一个存储器(或存储装置，如果存储设备中部署有多个存储器/存储装置)。各数据分片所存储于的存储设备可以相同，也可以不同，本申请不做限定。

可选的，在一些实施例中，可预先设置多个存储策略(规则)，并可将多组数据特征信息和该多个存储策略进行关联存储，以便于根据数据的特征信息确定存储策略来确定对该n块原始数据分片和m块冗余数据分片在各存储设备的存储位置；或者，可将存储设备的存储信息和该多个存储策略进行关联存储，以便于根据存储设备的存储信息确定存储策略来确定各数据分片在各存储设备的存储位置；或者，可将多组数据特征信息、存储设备的存储信息和该多个存储策略进行关联存储，以便于根据数据的特征信息和存储设备的存储信息确定存储策略来确定各数据分片在各存储设备的存储位置，进而在对应的存储位置存储对应的数据分片。其中，该数据特征信息(或存储信息)和该存储策略可以是一对一的对应关系，也可以是一对多的对应关系。例如，存储策略1：将n块原始数据分片存储于中心式存储系统的存储中心，将m块冗余数据分片存储于P2P分布式存储网络；又如，存储策略2：将所有的数据分片都存储于P2P分布式存储网络的存储设备中；又如，存储策略3：按照P2P分布式存储网络各存储设备的负载确定各数据分片在各存储设备的存储位置(如负载小的存储设备上存储的数据分片可多于负载大的存储设备，又如从各存储设备中筛选出负载小于阈值的存储设备来存储该各数据分片等)，等等，此处不一一列举。或者在一些实施例中，数据处理设备可通过确定数据特征信息是否与存储设备的存储设备相匹配，从各存储设备中确定出匹配的存储设备来存储各数据分片，即实时生成存储策略，该存储策略可用于指示各数据分片的存储设备的信息如标识，如根据目标数据的大小确定各存储设备中剩余存储空间大于该目标数据的大小的存储设备，并将各数据分片存储于确定出的存储设备中。

在一种可能的实施方式中，数据处理设备在确定对该至少两个数据分片的存储策略时，可以根据预设的数据特征信息和存储策略的对应关系，确定出与该目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对该至少两个数据分片的存储策略。其中，不同的数据特征信息对应的存储策略指示的各数据分片在该至少两个存储设备中的存储位置存在不同(部分不同或完全不同)。

例如，数据处理设备可根据对数据存储可靠性和/或读取性能的不同要求，来确定数据的存储策略，如具体可获取待存储数据即目标数据的可靠性和/或读取性要求信息，根据该可靠性和/或读取性要求确定目标数据的标签(或重要等级)。如可靠性要求较高(可靠性参数大于预设阈值或可靠性信息要求为高或可靠性信息包括目标关键词)时，确定目标数据的标签为高可靠标签(或重要等级为高)；又如可靠性要求较低(可靠性参数不大于预设阈值或可靠性信息要求为低或可靠性信息不包括目标关键词)时，确定目标数据的标签为低可靠标签(或重要等级为低)。进而可根据预先存储的各数据标签(或重要等级)和存储策略的对应关系，确定出与该目标数据的标签对应的存储策略，以便于按照该确定出的存储策略存储该各数据分片。举例来说，假设对目标数据的可靠性和读取性要求较高，其对应的标签为标签1，该标签1对应的存储策略为上述的策略1，则可将该目标数据的n块原始数据分片存储于存储中心，将m块冗余数据分片存储于P2P分布式存储网络。假设对目标数据的可靠性和读取性要求较低，其对应的标签为标签2，该标签2对应的存储策略为上述的策略2，则可将该目标数据的所有的数据分片都存储于P2P分布式存储网络。从而能够根据对数据存储可靠性和读取性能的不同要求，实现对数据分片的灵活存储。

又如，该可靠性和/或读取性要求可与待存储的数据的存储费用相对应，数据的存储费用越高，则可表明数据的可靠性和/或读取性要求越高，从而可根据目标数据的存储费用所在的费用区间，确定目标数据的标签(或重要等级)，进而根据预先存储的各数据标签(或重要等级)和存储策略的对应关系，确定出该目标数据的标签(或重要等级)对应的存储策略。或者，数据处理设备可通过设置数据的存储费用区间和存储策略的对应关系，直接根据目标数据的存储费用所在的费用区间，根据存储费用区间和存储策略的对应关系确定存储策略。

在一种可能的实施方式中，数据处理设备还可获取该至少两个存储设备中每个存储设备的存储信息。进一步的，数据处理设备在确定对该至少两个数据分片的存储策略时，可以根据该目标数据的特征信息和该至少两个存储设备中每个存储设备的存储信息，确定对该至少两个数据分片的存储策略。比如数据处理设备可根据预先存储的数据特征信息、存储设备的存储信息和存储策略三者之间的对应关系，确定出对该至少两个数据分片的存储策略；又如数据处理设备可根据目标数据的特征信息确定出对该至少两个数据分片的初始存储策略，进而根据存储设备的存储信息确定对该至少两个数据分片的最终存储策略，以基于该最终存储策略对该至少两个数据分片进行存储。确定该初始存储策略的方式和上述类似，此处不赘述。可选的，该存储信息可包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间(负载)、部署位置以及安全等级等等。

例如，数据处理设备根据目标数据的特征信息确定出对该至少两个数据分片的初始存储策略为：将n块原始数据分片存储于中心式存储系统的存储中心，将m块冗余数据分片存储于P2P分布式存储网络。进一步的，数据处理设备还可根据P2P分布式存储网络中的存储设备的存储信息确定该m块冗余数据分片的存储位置，以确定最终存储策略，比如从P2P分布式存储网络中的各存储设备中筛选出剩余存储空间大于预设空间阈值的存储设备来存储该m块冗余数据分片，又如从P2P分布式存储网络中的各存储设备中筛选出已使用存储空间小于阈值的存储设备来存储该m块冗余数据分片，又如从P2P分布式存储网络中的各存储设备中筛选出部署位置与存储中心距离由近到远排序的前L个存储设备来存储该m块冗余数据分片等等。其中，L为大于0的整数。一个存储设备可存储该目标数据对应的一个数据分片，也可以存储该目标数据对应的多个数据分片。

又如，假设存储信息包括安全等级，安全等级包括高、中、低。如果数据处理设备根据对目标数据的存储可靠性要求，确定目标数据的标签为高可靠标签，或者通过其他方式确定目标数据的标签为高可靠标签，则可根据系统中的各存储设备的存储信息如安全等级，从各存储设备中确定出安全等级为高的存储设备，并通过安全等级为高的存储设备存储各数据分片。从而提升数据存储的安全性和可靠性。

在存储该分片处理得到的数据分片之后，数据处理设备还可记录各数据分片的存储位置，比如将每个数据分片的信息与该数据分片所在的存储设备的标识进行绑定(还可和存储器/存储装置的标识绑定)，如生成记录有各数据分片的标识及其存储设备标识的分片存储节点列表，以便于后续数据出错或丢失时能够及时地恢复该出错或丢失的数据。可选的，数据处理设备还可通过对该分片存储节点列表进行加密，以进一步提升数据存储的安全性，避免数据分片的存储位置被非法分子窃取。进一步可选的，数据处理设备还可仅对特定数据如具有高可靠性和/或读取性能要求的数据(如特定标签的数据、重要等级为高的数据、存储费用高于预设费用值的数据等等)进行加密，进而在确定目标数据的标签为特定标签(或者目标数据的重要等级为高，或者目标数据的存储费用高于预设费用值)时，对该目标数据对应的各数据分片进行加密，以降低系统开销。其中，该目标数据对应的各数据分片的加密方式可以相同，以节省用于存储该加密方式的存储开销；或者该数据对应的各数据分片的加密方式可以不同，比如该n块原始数据分片的加密方式和m块冗余数据分片的加密方式不同，以进一步提升存储安全性。

在本实施例中，数据处理设备能够通过利用纠删码技术对待存储的目标数据进行分片处理，以得到该目标数据对应的至少两个数据分片，并能够通过获取该目标数据的特征信息，根据该目标数据的特征信息确定对得到的该至少两个数据分片的存储策略，以按照该存储策略将该至少两个数据分片存储于分布式存储系统包括的至少两个存储设备中，避免了在多地对同一份数据进行完全备份导致的数据存储冗余的问题，使得有助于减少数据存储成本以及减少维护成本。

请参见图2，图2是本申请实施例提供的另一种基于数据分片的数据存储方法的流程示意图。具体的，如图2所示，该基于数据分片的数据存储方法可以包括以下步骤：

201、获取待存储的目标数据的特征信息。

其中，该目标数据的特征信息可包括以下信息中的任一项或多项：目标数据的数据标签、目标数据的重要等级、该目标数据的存储费用以及该目标数据的大小等等，此处不赘述。

202、确定对该目标数据的分片比例。

可选的，在对该目标数据进行分片处理之前，数据处理设备还可确定对该目标数据进行分片处理的分片比例，该分片比例用于指示原始数据分片和冗余数据分片之间的比例(即上述的n和m的比例)。对所有数据进行分片处理的分片比例可以相同，也可以不同。在其他实施例中，该分片比例还可以为冗余数据分片和原始数据分片之间的比例(即上述的m和n的比例)，或者可以为原始数据分片和原始数据对应的总数据分片之间的比例(即上述的n和(n+m)的比例)，或者可以为冗余数据分片和该总数据分片之间的比例(即上述的m和(n+m)的比例)，等等，此处不一一列举。该分片比例可具体指示比例值，或者还可指示数据分片的具体值，比如上述的n和m的值，从而有助于实现快速分片，提升数据分片处理的效率。

进一步可选的，对该目标数据的分片比例可以是根据该分布式存储系统的规模确定出，或者可以是根据该P2P分布式存储系统的规模确定出的，或者可以是根据该目标数据的特征信息确定出的，或者可以是根据该系统规模和该目标数据的特征信息确定出的，等等，本申请不做限定。

例如，在一种可能的实施方式中，可预先设置得到多个分片比例以及多组存储系统规模信息，并可设置得到各存储系统规模信息和分片比例的对应关系。在该使用纠删码技术对目标数据进行分片处理之前，数据处理设备可获取该分布式存储系统的规模信息，进而根据预设的存储系统规模信息和分片比例的对应关系，确定出与该分布式存储系统的规模信息对应的分片比例，并将该分片比例作为对目标数据进行分片处理的分片比例。其中，该规模信息可包括该至少两个存储设备对应的数量和/或该P2P分布式存储网络中的存储设备的数量等等。

又如，在一种可能的实施方式中，可预先设置得到多个分片比例以及多个数据重要等级(或数据标签或数据存储费用或数据大小)，并可设置得到各数据重要等级(或数据标签或数据存储费用或数据大小)和分片比例的对应关系。进一步的，该目标数据的特征信息可包括该目标数据的重要等级(或数据标签或数据存储费用或数据大小)，在该使用纠删码技术对目标数据进行分片处理之前，数据处理设备还可根据预设的数据重要等级(或数据标签或数据存储费用或数据大小)和分片比例的对应关系，确定出与该目标数据的重要等级(或数据标签或数据存储费用或数据大小)对应的分片比例，并将该分片比例作为对目标数据进行分片处理的分片比例。

又如，在一种可能的实施方式中，数据处理设备还可结合存储系统规模信息、数据重要等级、数据标签、数据存储费用、数据大小中的任两项或以上确定对目标数据的分片比例，具体可预先设置得到这些参数和分片比例的对应关系，此处不赘述。从而能够根据上述的对应关系快速确定出与目标数据对应的分片比例，并按照该确定出的分片比例对该目标数据进行分片处理，使得有助于提升数据分片处理的效率。

也就是说，在对该目标数据进行分片处理之前，数据处理设备还可确定对该目标数据进行分片处理的分片比例，以便于按照该分片比例对该目标数据进行分片。因分片的m越大，数据损坏或丢失时的数据恢复的效率越高，同时占用的存储空间越大，因此需要根据实际情况在两者之间进行取舍。举例来说，以分片比例为如上述的n/m(或直接确定n和m的值)为例，该分片比例可以是根据该系统的规模确定出的，系统规模越大，该m可以越大，该分片比例可以越小，比如该系统中的存储设备的数量越多，该m可以越大，该分片比例越小；或者，该分片比例可以是通过确定该目标数据的优先级，并根据该目标数据的优先级确定出的，目标数据的优先级越高，该m可以越大，该分片比例可以越小。从而能够提升数据分片处理的灵活性和可靠性。

203、使用纠删码技术并按照该分片比例对目标数据进行分片处理，以得到该目标数据对应的至少两个数据分片。

数据处理设备在确定对目标数据的分片比例后，即可根据该分配比例对该目标数据进行分片处理，以得到至少两个数据分片，从而提升了数据分片处理的灵活性和可靠性，且有助于提升分片处理的效率。

其中，该至少两个数据分片可包括该目标数据对应的n块原始数据分片和m块冗余数据分片，该n和m均为大于0的整数。

204、根据该目标数据的特征信息确定对该至少两个数据分片的存储策略，并按照该存储策略存储该至少两个数据分片。

其中，该存储策略指示了该至少两个数据分片中每个数据分片在该至少两个存储设备中的存储位置。

可选的，该步骤201、203-204的描述请参照上述图1所示实施例中步骤101-103的相关描述，此处不赘述。

205、按照预设的周期检测该至少两个数据分片中各数据分片的存储状态，该存储状态包括正常状态和非正常状态。

其中，该正常状态可以是指数据分片未出错或未丢失的状态，和/或，数据分片可以被读取的状态；该非正常状态可以是指数据分片出错未或丢失的状态，和/或，数据分片不能被读取的状态。

在一些实施例中，该周期可预先设置得到，所有检测数据分片存储状态的周期可以设置为相同，也可以设置为不同。例如，可以预先设置得到多个周期，并将该多个周期分别与多个存储场景进行关联存储，或者将该多个周期与数据特征信息进行关联存储，或者将该多个周期与存储系统规模信息进行关联存储等等，即预设得到周期与存储场景的对应关系，或者预设得到周期与数据特征信息的对应关系，或者预设得到周期与存储系统规模信息的对应关系等等。从而数据处理设备能够通过确定当前存储场景(比如根据设备当前模式确定该当前存储场景，或者根据接收到的场景确认指令确定当前存储场景等等)，或者确定目标数据的特征信息，或者确定分布式存储系统的规模信息，以根据对应的对应关系确定出检测的周期，并按照确定出的周期去检测各数据分片的存储状态。这就提升了状态检测的可靠性。

可选的，数据存储设备还可以结合预设触发条件在周期内增加对该存储状态的检测，该预设触发条件可预先设置得到。比如该预设触发条件包括检测到读取数据失败和接收到检测指令，则数据处理设备可在检测到对某一存储设备读取数据失败时，接收到用户输入的检测指令时，触发检测该至少两个数据分片中各数据分片的存储状态。从而有助于进一步提升状态检测的及时性和可靠性。

进一步可选的，如果检测各数据分片中某一数据分片处于非正常状态，后续针对该目标数据对应的各数据分片的检测操作中，可不再对该处于非正常状态的数据分片进行检测，以节省检测开销。

206、当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据该至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。

可选的，数据处理设备在按照预设的周期检测各数据分片的存储状态时，可以是按照预设的第一周期检测该至少两个数据分片中各数据分片的存储状态；当检测到处于非正常状态的数据分片的数目超过(达到)预设的第二数目阈值时，按照预设的第二周期检测该至少两个数据分片中处于正常状态的数据分片的存储状态。其中，该第二周期对应的时间间隔小于该第一周期对应的时间间隔，该第二数目阈值小于该第一数目阈值。也就是说，本申请可通过动态调整检测周期，越接近进行数据重构的第一数目阈值时将检测周期调整为越短，来实现进一步提升非正常状态的数据分片检测的及时性，从而有助于提升数据重构效率。

在其他实施例中，数据处理设备还可按照预设的周期检测数据分片的存储状态(存活状态)，当处于正常状态的数据分片的数目低于预设的第三数目阈值时，重构出错的数据分片。其中，上述第一数目阈值和第二数据阈值可设置为小于或等于m，该第三数目阈值可设置为大于或等于n，以提升数据重构的可靠性。

在进行数据重构时，数据处理设备可根据各数据分片的存储位置，比如根据上述的绑定关系或分片存储节点列表确定各存储位置，以从各存储位置获取到正常状态(存活)的数据分片并进行数据重构。只有在知道数据分片的存储位置的情况下，才能从网络上恢复数据，这就提高了数据的保密性，进一步提升了数据存储的安全性。

可选的，在对出错的数据分片进行重构之后，可在相应的位置(与重构前的位置相同)重新存储该重构的数据分片。或者，可选的，数据处理设备还可重新为该重构的数据分片确定存储位置，比如存储到当前负载最小的存储设备，或者存储到剩余存储空间最大的存储设备，或者存储到安全等级最高的存储设备，等等，此处不一一列举。或者，可选的，数据处理设备还可重新确定该目标数据的各数据分片的存储位置，比如确定新的存储策略，并按照重新确定的新的存储策略指示的存储位置存储各数据分片。在重新存储数据分片之后，即可重新记录该新的存储位置，如更新该绑定关系或者更新该分片存储节点列表等，以进一步提升数据存储安全性。

进一步可选的，在一些实施例中，本申请还可以通过与区块链技术相结合，以实现为系统提供便捷，可信的支付。例如，需要存储数据如该目标数据对应的终端可将携带目标数据及其存储费用等信息的交易请求发送到区块链节点，将该交易请求被记录到区块链上，通过该区块链节点将该交易请求发送给数据处理设备或数据处理设备所在的交易系统，以对该交易请求进行处理，以得到交易结果，并将交易结果记录到区块链上，使得降低了交易成本和风险，提升了交易效率和安全性。

本方案在中心存储系统的基础上，引入一个P2P分布式存储系统作为辅助，即通过将P2P分布式存储系统和传统中心式存储系统相结合，并使用纠删码技术对数据进行分片和分布式存储，使得实现了用相对低廉的价格，提供一个安全和可靠的存储方案，且该基于纠删码的数据存储方式相对于多地灾备的数据存储方式，具有冗余度低、磁盘利用率高等优点。

上述方法实施例都是对本申请的基于数据分片的数据存储方法的举例说明，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

请参见图3，图3是本申请实施例提供的一种数据处理设备的结构示意图。本申请实施例的数据处理设备包括用于执行上述基于数据分片的数据存储方法的单元。具体的，本实施例的数据处理设备可设置于预先部署的分布式存储系统，所述分布式存储系统可包括至少两个存储设备，本实施例的数据处理设备300可包括：获取单元301和处理单元302。其中，

获取单元301，用于获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；

处理单元302，用于使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；

处理单元302，还用于根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。

可选的，获取单元301，还用于在所述使用纠删码技术对目标数据进行分片处理之前，获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；

处理单元302，还用于根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

处理单元302，可具体用于使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，所述目标数据的特征信息包括所述目标数据的重要等级；

处理单元302，还用于在所述使用纠删码技术对目标数据进行分片处理之前，根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

处理单元302，可具体用于使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，处理单元302，可具体用于根据预设的数据特征信息和存储策略的对应关系，确定出与所述目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对所述至少两个数据分片的存储策略；

其中，不同的数据特征信息对应的存储策略指示的各数据分片在所述至少两个存储设备中的存储位置存在不同。

可选的，获取单元301，还可用于获取所述至少两个存储设备中每个存储设备的存储信息，所述存储信息包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间、部署位置以及安全等级；

处理单元302，可具体用于根据所述目标数据的特征信息和所述至少两个存储设备中每个存储设备的存储信息，确定对所述至少两个数据分片的存储策略。

可选的，获取单元301，还可用于在所述按照所述存储策略存储所述至少两个数据分片之后，按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，所述存储状态包括正常状态和非正常状态；

处理单元302，还可用于当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据所述至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。

进一步可选的，获取单元301可具体用于按照预设的第一周期检测所述至少两个数据分片中各数据分片的存储状态；当检测到处于非正常状态的数据分片的数目超过预设的第二数目阈值时，按照预设的第二周期检测所述至少两个数据分片中处于正常状态的数据分片的存储状态；

其中，所述第二周期对应的时间间隔小于所述第一周期对应的时间间隔，所述第二数目阈值小于所述第一数目阈值。

具体的，该数据处理设备可通过上述单元实现上述图1至图2所示实施例中的基于数据分片的数据存储方法中的部分或全部步骤。应理解，本申请实施例是对应方法实施例的装置实施例，对方法实施例的描述，也适用于本申请实施例。

请参见图4，图4是本申请实施例提供的另一种数据处理设备的结构示意图。该数据处理设备用于执行上述的方法。如图4所示，本实施例中的数据处理设备400可以包括：一个或多个处理器401和存储器402。可选的，该数据处理设备还可包括一个或多个用户接口403，和/或，一个或多个通信接口404。上述处理器401、用户接口403、通信接口404和存储器402可通过总线405连接，或者可以通过其他方式连接，图4中以总线方式进行示例说明。其中，存储器402用于存储计算机程序，所述计算机程序包括程序指令，处理器401用于执行存储器402存储的程序指令。

其中，处理器401可用于调用所述程序指令执行以下步骤：获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在至少两个存储设备中的存储位置。可选的，所述至少两个存储设备为预先部署的分布式存储系统中的存储设备。

可选的，处理器401在执行所述使用纠删码技术对目标数据进行分片处理之前，还可调用程序指令执行以下步骤：获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

可选的，处理器401在执行所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片时，可具体执行以下步骤：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，所述目标数据的特征信息包括所述目标数据的重要等级；处理器401在执行所述使用纠删码技术对目标数据进行分片处理之前，还可调用程序指令执行以下步骤：根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

处理器401在执行所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片时，可具体执行以下步骤：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

可选的，处理器401在执行所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略时，可具体执行以下步骤：根据预设的数据特征信息和存储策略的对应关系，确定出与所述目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对所述至少两个数据分片的存储策略；

其中，不同的数据特征信息对应的存储策略指示的各数据分片在所述至少两个存储设备中的存储位置存在不同。

可选的，处理器401还可调用程序指令执行以下步骤：获取所述至少两个存储设备中每个存储设备的存储信息，所述存储信息包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间、部署位置以及安全等级；

处理器401在执行所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略时，可具体执行以下步骤：根据所述目标数据的特征信息和所述至少两个存储设备中每个存储设备的存储信息，确定对所述至少两个数据分片的存储策略。

可选的，处理器401在执行所述按照所述存储策略存储所述至少两个数据分片之后，还可调用程序指令执行以下步骤：按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，所述存储状态包括正常状态和非正常状态；当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据所述至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。

可选的，处理器401在执行所述按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态时，可具体执行以下步骤：按照预设的第一周期检测所述至少两个数据分片中各数据分片的存储状态；当检测到处于非正常状态的数据分片的数目超过预设的第二数目阈值时，按照预设的第二周期检测所述至少两个数据分片中处于正常状态的数据分片的存储状态；其中，所述第二周期对应的时间间隔小于所述第一周期对应的时间间隔，所述第二数目阈值小于所述第一数目阈值。

其中，所述处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

用户接口403可包括输入设备和输出设备，输入设备可以包括触控板、麦克风等，输出设备可以包括显示器(LCD等)、扬声器等。

通信接口404可包括接收器和发射器，用于与其他设备进行通信。

存储器402可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储上述的数据特征和策略的对应关系等等。

具体实现中，本申请实施例中所描述的处理器401等可执行上述图1至图2所示的方法实施例中所描述的实现方式，也可执行本申请实施例图3所描述的各单元的实现方式，此处不赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现图1至图2所对应实施例中描述的基于数据分片的数据存储方法中的部分或全部步骤，也可实现本申请图3或图4所示实施例的数据处理设备的功能，此处不赘述。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的部分或全部步骤。

本申请实施例还提供了一种数据存储系统，该数据存储系统可包括上述的数据处理设备和分布式存储系统中的存储设备，该数据处理设备可用于执行上述方法中的部分或全部步骤，此处不赘述。

所述计算机可读存储介质可以是前述任一实施例所述的数据处理设备的内部存储单元，例如数据处理设备的硬盘或内存。所述计算机可读存储介质也可以是所述数据处理设备的外部存储设备，例如所述数据处理设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本申请中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述，仅为本申请的部分实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种基于数据分片的数据存储方法，其特征在于，应用于预先部署的分布式存储系统，所述分布式存储系统包括至少两个存储设备，所述方法包括：

获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；

使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；

根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。

2.根据权利要求1所述的方法，其特征在于，在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：

获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；

根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：

使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

3.根据权利要求1所述的方法，其特征在于，所述目标数据的特征信息包括所述目标数据的重要等级；在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：

根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；

所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：

使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：

根据预设的数据特征信息和存储策略的对应关系，确定出与所述目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对所述至少两个数据分片的存储策略；

其中，不同的数据特征信息对应的存储策略指示的各数据分片在所述至少两个存储设备中的存储位置存在不同。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

获取所述至少两个存储设备中每个存储设备的存储信息，所述存储信息包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间、部署位置以及安全等级；

所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：

根据所述目标数据的特征信息和所述至少两个存储设备中每个存储设备的存储信息，确定对所述至少两个数据分片的存储策略。

6.根据权利要求1所述的方法，其特征在于，在所述按照所述存储策略存储所述至少两个数据分片之后，所述方法还包括：

按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，所述存储状态包括正常状态和非正常状态；

当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据所述至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。

7.根据权利要求6所述的方法，其特征在于，所述按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，包括：

按照预设的第一周期检测所述至少两个数据分片中各数据分片的存储状态；

当检测到处于非正常状态的数据分片的数目超过预设的第二数目阈值时，按照预设的第二周期检测所述至少两个数据分片中处于正常状态的数据分片的存储状态；

其中，所述第二周期对应的时间间隔小于所述第一周期对应的时间间隔，所述第二数目阈值小于所述第一数目阈值。

8.一种数据处理设备，其特征在于，包括用于执行如权利要求1-7任一项权利要求所述的方法的单元。

9.一种数据处理设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。