CN112783445A - 数据存储方法、装置、系统、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种数据存储方法、装置、系统、电子设备及可读存储介质，该方法包括：获取待存储数据；根据待存储数据的类型，在预设的磁盘组中确定待存储数据对应的目标磁盘组；磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；按照与目标磁盘组对应的存储策略将待存储数据存储到目标磁盘组中。这样，通过预先为磁盘组设定不同的存储策略，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据，可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。

Description

数据存储方法、装置、系统、电子设备及可读存储介质

技术领域

本申请涉及存储技术领域，具体而言，涉及一种数据存储方法、装置、系统、电子设备及可读存储介质。

背景技术

目前，在一个分布式存储系统中，通常采用以下存储方式中的一种：

1、使用副本的方式进行存储：通过将原始数据在不同的物理设备上复制备份来达到对数据存储保护的作用。

2、使用实时EC(erasure coding，纠删码)方式进行存储：实时将收到的数据后先在内存里缓存，达到一定数据量后将缓存在内存里的数据分块，根据配置的N+M纠删模型使用纠删算法对N个原始数据块进行纠删编码生成为M个冗余数据块，最后将N个原始数据块和M个冗余数据块存储在不同的物理设备上来达到对数据存储保护的作用。

3、使用RAID(Redundant Arrays of Independent Disks，磁盘阵列)卡对数据进行存储保护。

但是，以上方式各自都有不足。比如：

副本存储的方式的空间利用率是1/N，N为副本数，比如3副本的空间利用率只有33.3％，而图像大数据处理领域中，涉及的图像数据是海量的，因此使用这种方式来存储图像数据，成本耗费非常大。

而实时EC存储方式，由于要先把数据在内存里缓存，这时如果程序崩溃，内存里缓存的数据将全部丢失，而在图像大数据处理领域中，新产生的数据非常重要，丢失新产生的数据是很严重的问题。另外在使用纠删算法对数据编码计算的过程也十分耗资源和时间，因此会降低存储系统的读写性能。

而RAID卡存储方式中，RAID卡只能基于一个设备内磁盘间的数据进行存储保护，无法基于多个设备结点间的数据进行存储保护。RAID卡只在双副本或者N+1的纠删模型的使用方式上支持相对好些，其余情况下使用效果并不理想，且RAID卡在扩展和数据恢复上非常困难耗时。

因此，现有技术中的存储方式对于分布式存储系统的存储资源并不能实现有效的利用。

发明内容

本申请实施例的目的在于提供一种数据存储方法、装置、系统、电子设备及可读存储介质，用以解决现有分布式存储系统的存储资源并不能有效利用的问题。

本申请实施例提供了一种数据存储方法，包括：获取待存储数据；根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。

在上述实现过程中，通过预先为磁盘组设定不同的存储策略(即数据存储方式)，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据。比如，重要性高的参考库数据，即可以使用采用副本方式的磁盘组进行存储，以提高访问效率以及数据的存储可靠性；而对于其余一些重要性不那么高的数据，如摄像机抓拍数据，则可以使用采用纠删码方式的磁盘组进行存储。这样，即可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。

进一步地，所述第一磁盘组的存储策略为仅按照副本方式进行存储；所述第二磁盘组的存储策略为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储。

在上述实现过程中，通过预先设置磁盘组，并为各磁盘组设置相应的存储策略(即数据存储方式)，从而可以将不同重要性的数据按照不同的存储方式(比如纯副本方式，或者先副本方式再纠删码方式)存储到不同的磁盘组中，相比于现有副本存储方式而言，在一定程度提高了空间利用率；而相比于现有实时EC存储方式，在待存储数据为新产生的数据时，新产生的数据都是通过副本存储方式存储的(若存储到第一磁盘组，则新产生的数据是按照副本方式存储；若存储到第二磁盘组，则新产生的数据也是按照副本方式存储的)，不需要先把新产生的数据在内存里缓存，从而降低了重要数据丢失的风险，同时由于不再是实时纠删，因此也在一定程度上提升了存储系统的读写性能；而相比于现有RAID卡存储方式而言，本申请实施例的方案可以实现分布式存储节点间的数据存储保护，对于存储节点的扩展和数据的恢复相对都更为容易。

进一步地，所述第二磁盘组包括对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，且不同第三磁盘组对应不同类型的待存储数据。

在上述实现过程中，通过预先设置对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，即可以将不同类型的待存储数据按照不同的N+M纠删模式(N表征原始数据分片份数，M表征冗余数据分片份数)进行存储，从而在第二磁盘组中，也可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。

进一步地，所述磁盘组中的任意两个磁盘位于不同的存储节点上，且一个磁盘只属于一个磁盘组。

在上述实现过程中，磁盘组中的任意两个磁盘位于不同的存储节点上，可以有效避免在某一存储节点故障时，导致出现整个磁盘组都不可用的情况。而设置一个磁盘只属于一个磁盘组，则可以确保每个磁盘上存储的都是某一类数据，从而便于进行存储管理。

进一步地，所述待存储数据对应的目标磁盘组为第二磁盘组；所述按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中，包括：

将所述待存储数据以副本方式存储到所述目标磁盘组中；

在以副本方式存储的所述待存储数据的最后修改时间，到当前时间点之间的时长，超过了所述待存储数据对应的预设副本存储周期时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储；或，在以副本方式存储的所述待存储数据在最新的预设时长段内的访问频率低于预设频率阈值时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储。

在上述实现过程中，可以通过数据的最后修改时间到当前时间点的时长是否超过了预设副本存储周期，或者数据在最新的预设时长段内的访问频率是否低于预设频率阈值来确定数据的访问热度，从而将访问热度低的数据转换为纠删码方式进行存储，从而可以在满足数据的整体快速访问的同时，提高存储空间的利用率。

进一步地，所述根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组，包括：在所述待存储数据为参考库数据时，确定所述待存储数据对应的目标磁盘组为所述第一磁盘组。

应当理解的是，在数据存储领域，参考库数据重要程度是非常高的，且参考库数据的访问频率也非常高，参考库数据的可读性和完整性直接影响业务运行的效率和业务运行结果可靠性。因此，在上述实现过程中，可以将参考库数据存储在仅采用副本方式进行存储的第一次磁盘组中，从而确保参考库数据具有较高的读取性能和安全保护能力。

进一步地，在将所述待存储数据存储到所述目标磁盘组中后，所述方法还包括：获取所述待存储数据的生存时间值；在达到所述生存时间值时，删除所述待存储数据。

在实际应用过程中，分布式存储系统的存储资源是很宝贵的。而大多数数据在超过一定期限后，几乎就不会再被使用到了。因此为了提高分布式存储系统的存储资源的有效利用率，可以为待存储数据设置相应的生存时间值，并在待存储数据达到生存时间值时将其删除，从而将有限的存储资源腾出供给更为重要的数据或新产生的数据，提高存储资源的有效利用率。

进一步地，所述方法还包括：针对参考库数据不设置生存时间值，或设置所述参考库数据的生存时间值为正无穷。

如前文所述，由于参考库数据的重要程度非常高，因此针对参考库数据可以不设置生存时间值，或者可以将参考库数据的生存时间值设置为正无穷，从而确保参考库数据可以一直存储。

本申请实施例还提供了一种数据存储装置，包括：获取模块、确定模块和存储模块；

所述获取模块，用于获取待存储数据；

所述确定模块，用于根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；所述存储模块，用于按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。

本申请实施例还提供了一种分布式存储系统，包括：通信连接的负载均衡器和存储节点；所述负载均衡器用于获取待存储数据，并根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组，以及所述目标磁盘组对应的各存储节点；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；所述存储节点用于在接收到所述负载均衡器传来的待存储数据以及目标磁盘信息时，按照所述目标磁盘所对应的存储策略对所述待存储数据进行存储。

本申请实施例还提供了一种电子设备，包括：包括处理器、存储器及通信总线；所述通信总线用于实现所述处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现上述任一种的数据存储方法。

本申请实施例中还提供了一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一种的数据存储方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据存储方法的流程示意图；

图2为本申请实施例提供的一种磁盘组结构的示意图；

图3为本申请实施例提供的一种副本方式存储数据的流程示意图；

图4为本申请实施例提供的一种副本方式转换为纠删码方式的流程示意图；

图5为本申请实施例提供的一种数据存储装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图；

图7为本申请实施例提供的一种分布式存储系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一：

本申请实施例提供了一种数据存储方法，可以参见图1所示，本申请实施例中提供的数据存储方法包括：

S101：获取待存储数据。

在本申请实施例中，待存储数据可以是诸如摄像机抓拍数据，其余系统接入的数据，用户端上传的数据等。

在本申请实施例中，会对数据进行类型划分。划分方式可以是根据数据的重要性进行划分。示例性的，可根据数据来源、数据访问频率、数据的保密级别、数据中包含的内容对数据的重要性进行划分。比如，在公共安全领域中，可以将用于比对的参考库数据划分为一类，将针对抓拍数据的提示信息产生前后预设时段内的摄像机抓拍数据划分为一类，将未产生提示信息时的摄像机抓拍数据划分为一类等。

需要理解的是，对于数据的划分可以根据实际需要进行划分，以上仅为本申请实施例的一种划分示例，不代表本申请实施例中仅可按照前述方式划分。此外，本申请实施例所提供的方案可以应用于各种需要进行数据存储领域中，并不仅限定于公共安全领域。

S102：根据该待存储数据的类型，在预设的磁盘组中确定该待存储数据对应的目标磁盘组。

需要理解的是，分布式存储系统是指包含多个存储节点(存储节点通常采用独立的存储设备实现)的系统，文件可以分散存储在多个存储节点上。分布式存储系统一般采用可扩展的系统结构，可以利用多个存储节点分担存储负荷，具有系统可靠性、可用性和存取效率高，且易于扩展等优点。

通常，每一个存储节点上可以设有多个磁盘，每一个磁盘均可独立的进行数据存储。

在本申请实施例中，为了便于进行管理，可以预先将分布式存储系统的所有存储节点内的磁盘作为整体，划分出多个磁盘组，并为每个磁盘组设定相应的存储策略。

由于一个存储节点上往往具有多个磁盘，而一旦存储节点故障，则可能导致存储节点上的所有磁盘均故障。而若是某一磁盘组中的磁盘均是一个存储节点的磁盘，或者某一磁盘组中属于同一存储节点的磁盘数量大于了纠删码存储方式中的冗余数据分片份数，那么一旦该存储节点故障造成存储节点上的所有磁盘均故障，就会导致磁盘组中的数据不能恢复，整个磁盘组实际丧失对于数据的保护能力。为此，在本申请实施例的一种可行实施方式中，参见图2所示，可以设定磁盘组中的任意两个磁盘位于不同的存储节点上，这样磁盘组中的每一个磁盘均属于不同的存储节点，在任一个存储节点故障时，均不会导致整个磁盘组丧失对于数据的保护能力。

此外，在本申请实施例中，由于每一个磁盘组均预先定义好了其所对应存储的数据的类型。那么，为了便于进行数据管理，在本申请实施例中，可以参见图2所示，可以设定一个磁盘只属于一个磁盘组，从而确保同一磁盘仅对应一种存储策略，只对应存储一个类型的数据。

由于每一个磁盘组均预先定义好了其所对应存储的数据的类型，因此在获取到待存储数据后，即可根据待存储数据的类型在预设的对应关系表中，查找出于该类型对应的磁盘组。

需要注意的是，在本申请实施例中，采用对应于同一类型的磁盘组可以有多个。此时，在根据待存储数据的类型确定对应的目标磁盘组时，即可以根据待存储数据的类型在预设的对应关系表中，查找出于该类型对应的所有磁盘组，进而从中选择一个来作为目标磁盘组对待存储数据进行存储。

S103：按照与目标磁盘组对应的存储策略将待存储数据存储到目标磁盘组中。

需要注意的是，在本申请实施例中，划分的磁盘组至少包括两类具有不同存储策略的磁盘组。也即，划分的磁盘组至少包括具有不同存储策略的第一磁盘组和第二磁盘组。

在本申请实施例的一种可行实施方式中，可以设定第一磁盘组为仅按照副本方式进行存储的磁盘组，第二磁盘组为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储的磁盘组。前述仅按照副本方式进行存储即为第一磁盘组的存储策略，先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储即为第二磁盘组的存储策略。

对应的，在本申请实施例中，即可以将数据至少分为两类，以对应相应的磁盘组。在上述可行实施方式中，第一磁盘组即可以用于存储重要性较高的数据，比如参考库数据、事件数据等，而第二磁盘组可以用于存储重要性不那么高的数据，比如摄像机抓拍数据、目标对象数据(如人脸抠图、人体抠图、车辆抠图等)、目标对象全景图数据等。

应理解，在大多数情况下，即使是存储重要性不那么高的数据，其在不同时期数据的重要性也会有所不同。通常，新存储的数据被访问的热度会比存储一段时间的数据的访问热度高。比如，摄像机新拍摄的数据的访问热度会明显高于几周前拍摄的数据。为此，在本申请实施例中，对于第二磁盘组设置了前述存储策略，即先按照副本方式进行存储，然后再在预设转换条件被触发时，将其转换为纠删码方式进行存储。这样，在数据为新产生的数据时，可以利用副本方式所具有的高安全性和高读写性来满足实际需求，而在数据重要性降低后，转换为纠删码方式来提高存储空间的利用率。

应当理解的是，在前述可行实施方式中，存储重要性不那么高的数据在不同领域下，还可以更为细致的划分出不同的重要性。比如目标对象数据的重要性即比目标对象全景图数据要高。那么，为了进一步提高本申请方案的适应性，在前述可行实施方式的一种可行示例中，第二磁盘组可以包括对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，且不同第三磁盘组对应不同类型的待存储数据。

为了便于理解，下面对纠删码存储方式进行简单说明。纠删码存储方式是通过配置的N+M纠删模型，将原始数据分块为N个原始数据块，并使用纠删算法对N份原始数据块进行纠删编码生成为M个冗余数据块，最后将N个原始数据块和M个冗余数据块存储在不同的磁盘中的存储技术。通过纠删码存储方式进行存储后，只要故障的磁盘数不超过冗余数据分片份数M，那么数据就可以被恢复。因此，对于同样适用于第二磁盘组进行存储的数据而言，可以进一步的按照重要性进行分类，并为不同的类别的数据分配不同的第三磁盘组进行存储。

比如，对于目标对象数据而言，可以配置对应于N+4的纠删码存储方式的第三磁盘组进行存储，而对于目标对象全景图数据，则可以配置对应于N+2的纠删码存储方式的第三磁盘组进行存储。

应当理解的是，类似的，各第三磁盘组中的副本存储方式也可以依据所需要进行对应存储的数据的重要性进行区别配置。比如，对于对应存储目标对象数据的第三磁盘组，可以设置副本存储方式为5副本存储方式(即将数据在5个不同的磁盘中存储)；而对于对应存储目标对象全景图数据的第三磁盘组，可以设置副本存储方式为2副本存储方式(即将数据在2个不同的磁盘中存储)。

需要注意的是，在本申请实施例中，在将待存储数据以副本方式存储到第二磁盘组中后，包括但不限于在以下条件满足时，可将以副本方式存储的待存储数据在该第二磁盘组中转换为纠删码方式进行存储，以兼容数据的高可读性和存储空间的高利用率：

1、在以副本方式存储的待存储数据的最后修改时间，到当前时间点之间的时长，超过了待存储数据对应的预设副本存储周期时。

2、在以副本方式存储的待存储数据在最新的预设时长段内的访问频率低于预设频率阈值。

应当理解的是，前述副本存储周期和频率阈值可以根据实际需要进行设定。

需要注意的是，在第二磁盘组中，在将数据转换为纠删码方式进行存储后，将原本以副本存储的数据删除。

类似的，对于对应于第一磁盘组的数据也可以进一步的划分为更细致的类型。同时，对于第一磁盘组而言，其也可以包括对应不同副本存储数的多个第四磁盘组，且不同第四磁盘组对应不同类型的数据。

例如，对于参考库数据，可以配置采用5副本方式进行存储的第四磁盘组进行存储，而对于事件数据，则可配置采用4副本方式进行存储的第四磁盘组进行存储。

在本申请实施例中，对于各磁盘组的具体存储策略以及其对应的数据类型，可以根据实际需要进行设定，在本申请实施例中不做限定。

需要理解的是，在本申请实施例的另一可行实施方式中，第二磁盘组也可以为实时将副本方式存储的数据转换为纠删码方式进行存储的磁盘组；或者，预设的磁盘组中还可以存在除前述可行实施方式中仅按照副本方式进行存储的第一磁盘组和先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储的第二磁盘组外的，实时将副本方式存储的数据转换为纠删码方式进行存储的第五磁盘组。

需要注意的是，在本申请实施例中，对于磁盘组中磁盘的数量应该满足其存储策略所要求的最少磁盘数量。例如，对于仅按照n(n大于等于1)副本方式进行存储的磁盘组而言，其磁盘数量不应低于n个；对于仅按照N+M纠删码方式进行存储的磁盘组而言，其磁盘数量不应低于N+M个；对于既采用n副本方式进行存储，又采用N+M纠删码方式进行存储的磁盘组而言，其磁盘数量不应低于n与(N+M)两者中的最大值。

还需要注意的是，在本申请实施例中，采用相同存储策略的磁盘组可以有多个。这样，在根据待存储数据的类型确定对应的目标磁盘组时，即可以由负载均衡器在待存储数据的类型所对应的多个磁盘组中查找出性能最优的磁盘组来作为目标磁盘组对待存储数据进行存储，从而提高整个分布式存储系统的性能。

此外，在将数据存储到磁盘组内时，也可以通过负载均衡技术选择目标磁盘组中性能最优的m个磁盘来进行数据存储，其中：m的值等于目标磁盘组当前采用的存储方式所需的磁盘数量。比如采用的是5副本存储时，m即等于5。

在实际应用过程中，分布式存储系统的存储资源是很宝贵的。而大多数数据在超过一定期限后，几乎就不会再被使用到了。因此为了提高分布式存储系统的存储资源的有效利用率，在本申请实施例中，可以为各类待存储数据设置相应的TTL(Time To Live，生存时间值)。

在本申请实施例中，可以设定待存储数据的TTL为该待存储数据在分布式存储系统中的总可存储时长，进而，分布式存储系统可以获取待存储数据的TTL，在待存储数据的存储时长达到对应的TTL时，即删除该待存储数据。

此外，在本申请实施例中，也可以设定待存储数据的TTL为该待存储数据以最后一次被访问的时间为起始时间的可存活时长。进而，分布式存储系统可以获取待存储数据距离最新一次被访问的时间间隔，在该时间间隔达到对应的TTL时，即删除该待存储数据。

需要注意的是，在本申请实施例中，对于不同类型的数据，设置的TTL可以不同，甚至可以不设置TTL。例如，对于参考库数据而言，即可以不设置TTL，或设置TTL为正无穷，从而确保参考库数据一直存在。

本申请实施例中提供的数据存储方法，通过预先为磁盘组设定不同的存储策略(即数据存储方式)，使得在实际应用中，可以在不同磁盘组中按照不同类型的数据的重要性，采用不同的磁盘组存储分别针对性的存储不同重要性的数据。比如，重要性的参考库数据，即可以使用采用副本方式的磁盘组进行存储，以提高访问效率以及数据的存储可靠性；而对于其余一些重要性不那么高的数据，如摄像机抓拍数据，则可以使用采用纠删码方式的磁盘组进行存储。这样，即可以实现对于不同数据的按需存储，提高分布式存储系统存储资源的有效利用率。同时由于各磁盘组各自对应存储的是相应类型的数据，因此也便于对分布式存储系统进行存储管理。

此外，在本申请实施例中可以设置第一磁盘组为仅按照副本方式进行存储的磁盘组；第二磁盘组为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储的磁盘组。这样，可以将不同重要性的数据按照不同的存储方式(比如纯副本方式，或者先副本方式再纠删码方式)存储到不同的磁盘组中，相比于现有副本存储方式而言，在一定程度提高了空间利用率；而相比于现有实时EC存储方式，在待存储数据为新产生的数据时，新产生的数据都是通过副本存储方式存储的(若存储到第一磁盘组，则新产生的数据是按照副本方式存储；若存储到第二磁盘组，则新产生的数据也是按照副本方式存储的)，不需要先把新产生的数据在内存里缓存，从而降低了重要数据丢失的风险，同时由于不再是实时纠删，因此也在一定程度上提升了存储系统的读写性能；而相比于现有RAID卡存储方式而言，本申请实施例的方案可以实现分布式存储节点间的数据存储保护，对于存储节点的扩展和数据的恢复相对都更为容易。

实施例二：

本实施例在实施例一的基础上，以一种具体的数据存储过程对本申请的方案进行示例说明。

分布式存储系统的逻辑架构通常包括应用层、设备层、软件层以及业务层。设备层即是提供存储设备的层级，主要由各存储节点构成。各存储节点上运行着存储节点Server服务；业务层实现存储系统资源的统一调度、虚拟化管理、负载均衡以及存储空间动态扩容等功能；软件层实现数据保护、数据恢复及物理设备管理等功能，通过采用副本、N+M纠删码的等数据保护机制，保障数据的完整性、可靠性；应用层可通过存储系统标准SDK或协议与存储系统无缝对接，提供完整的视图存储业务功能。

在存储系统中，将所有存储节点的硬盘整合成一个统一的资源池，对外提供统一命名空间，同时对用户数据提供跨节点、跨机架、跨机房、不同级别的数据冗余保护，从而可以兼顾高空间使用率、高可靠、高可用的需求。

同时，对各节点的各个磁盘进行分组，得到多个磁盘组，且每个磁盘组分别设定相应的存储策略。划分的磁盘组包括仅以副本方式进行存储的第一磁盘组，以及先按照副本方式进行存储，再在以副本方式存储的数据，从最后修改时间到当前时间点之间的时长超过了待存储数据对应的预设副本存储周期时，将副本方式存储的数据转换为纠删码方式进行存储的第二磁盘组。

需要注意的是，磁盘组中的任意两个磁盘位于不同的存储节点上，且一个磁盘只属于一个磁盘组。也即，同一个存储节点上的任一个磁盘仅属于一个磁盘组，且同一个磁盘组中的每一个磁盘都对应于不同的存储节点。

数据的存储过程可参见图3和图4所示。需要说明的是，图3和图4共同描述的是数据在第二磁盘组中的存储过程，对于数据在第一磁盘组中的存储过程，仅参考图3的过程即可。

参见图3所示，应用层(用户终端或摄像机等)会上传待存储数据。业务层的负载均衡器接收该待存储数据，然后根据负载均衡策略，从对应于该待存储数据的各磁盘组中，选择出负载最低的目标磁盘组，并进一步根据目标磁盘组中各磁盘以及各磁盘对应的存储节点的负载情况，确定出主存储节点和从存储节点。负载均衡器将待存储数据发送给主存储节点。主存储节点在软件层上将待存储数据存储到节点内对应的磁盘中，并将待存储数据的副本发送给各从存储节点，各从存储节点将待存储数据的副本存储到节点内对应的磁盘中，并向主存储节点返回存储成功的消息。主存储节点统计数据落盘次数(即接收到的存储成功的消息的次数)，在数据落盘次数满足副本数时，向业务层返回存储成功的消息，业务层即将该消息返回给应用层，以通知用户。

而参见图4所示，存储节点在业务层上，会定时启动以生成查询副本方式存储的数据的指令。在软件层上，存储节点即会根据查询指令查询出各个以副本方式存储的数据给到业务层。业务层即可以判断各以副本方式存储的数据，从最后修改时间到当前时间点之间的时长是否超过了待存储数据对应的预设副本存储周期。若超过了，则发送纠删命令，存储节点在软件层即可根据N+M纠删模型读取该数据的N个原始数据块并调用纠删算法生成M个冗余数据块，将N个原始数据块和M个冗余数据块分别发送到当前磁盘组在设备层中对应的各存储节点进行存储。在存储节点根据其余各存储节点返回的存储成功的消息后，根据返回消息确定所有数据块都被存储后，即可通知磁盘组内的各存储节点将该副本方式保存的数据删除，并向业务层返回消息。

实施例三：

基于同一发明构思，本申请实施例中还提供了一种数据存储装置。请参阅图5所示，图5示出了与实施例一所示的方法对应的数据存储装置100。应理解，数据存储装置100具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。数据存储装置100包括至少一个能以软件或固件的形式存储于存储器中或固化在数据存储装置100的操作系统中的软件功能模块。具体地：

参见图5所示，数据存储装置100包括：获取模块101、确定模块102和存储模块103。其中：

获取模块101，用于获取待存储数据；

确定模块102，用于根据待存储数据的类型，在预设的磁盘组中确定待存储数据对应的目标磁盘组；磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；

存储模块103，用于按照与目标磁盘组对应的存储策略将待存储数据存储到目标磁盘组中。

在本申请实施例的一种可行实施方式中，第一磁盘组为仅按照副本方式进行存储的磁盘组；第二磁盘组为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储的磁盘组。

在上述可行实施方式中，第二磁盘组包括对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，且不同第三磁盘组对应不同类型的待存储数据。

在上述可行实施方式中，待存储数据对应的目标磁盘组为第二磁盘组；存储模块103具体用于：将待存储数据以副本方式存储到目标磁盘组中；在以副本方式存储的待存储数据的最后修改时间，到当前时间点之间的时长，超过了待存储数据对应的预设副本存储周期时，将待存储数据在目标磁盘组中转换为纠删码方式进行存储；或，在以副本方式存储的待存储数据在最新的预设时长段内的访问频率低于预设频率阈值时，将待存储数据在目标磁盘组中转换为纠删码方式进行存储。

在上述可行实施方式中，确定模块102具体用于：在待存储数据为参考库数据时，确定待存储数据对应的目标磁盘组为第一磁盘组。

在本申请实施例中，磁盘组中的任意两个磁盘位于不同的存储节点上，且一个磁盘只属于一个磁盘组。

在本申请实施例的一种可行实施方式中，获取模块101还用于在将待存储数据存储到目标磁盘组中后，获取待存储数据的生存时间值；存储模块103还用于在达到该生存时间值时，删除该待存储数据。

在上述可行实施方式中，参考库数据不设置生存时间值，或参考库数据的生存时间值为正无穷。

需要理解的是，出于描述简洁的考量，部分实施例一中描述过的内容在本实施例中不再赘述。

实施例四：

本实施例提供了一种电子设备，参见图6所示，其包括处理器601、存储器602以及通信总线603。其中：

通信总线603用于实现处理器601和存储器602之间的连接通信。

处理器601用于执行存储器602中存储的一个或多个程序，以实现上述实施例中的数据存储方法。

需要理解的是，在实际应用过程中，分布式存储系统可以采用中心节点管理结构，即在分布式存储系统中会设置一个中心节点来对存储节点进行存储管理。此种情况下，该中心节点即可采用前述电子设备来实现。

可以理解，图6所示的结构仅为示意，电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置，例如还可以具有数据输入/输出组件等部件。

还需要理解的是，在实际应用过程中，分布式存储系统也可以采用去中心化的管理结构。即分布式存储系统中不设中心节点，各存储节点均具有一定的数据处理能力。为此，本申请实施例中还提供了一种分布式存储系统，参见图7所示，其包括负载均衡器和各个存储节点。此时，数据存储方法中目标磁盘组的确定过程即可以由负载均衡器来完成，而对于数据的存储过程，即可以由目标磁盘组所涉及到的各存储节点来完成。

即，负载均衡器可以获取待存储数据，并根据待存储数据的类型，在预设的磁盘组中确定待存储数据对应的目标磁盘组，以及目标磁盘组对应的各存储节点。进而向目标磁盘组对应的各存储节点发送待存储数据以及目标磁盘信息。

存储节点在接收到负载均衡器传来的待存储数据以及目标磁盘信息时，即可按照目标磁盘所对应的存储策略对所述待存储数据进行存储。

需要说明的数，负载均衡器在确定出目标磁盘组对应的各存储节点后，可以在各存储节点中选定出一个主节点，进而由该主节点来主导待存储数据在各储存节点中的存储。具体过程可以参见实施例二的记载。

本实施例还提供了一种可读存储介质，如软盘、光盘、硬盘、闪存、U盘、SD(SecureDigital Memory Card，安全数码卡)卡、MMC(Multimedia Card，多媒体卡)卡等，在该可读存储介质中存储有实现上述各个步骤的一个或者多个程序，这一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例一/二中的数据存储方法。在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

在本文中，多个是指两个或两个以上。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种数据存储方法，其特征在于，包括：

获取待存储数据；

根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；

按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。

2.如权利要求1所述的数据存储方法，其特征在于，

所述第一磁盘组的存储策略为仅按照副本方式进行存储；

所述第二磁盘组的存储策略为先按照副本方式进行存储，再在预设转换条件被触发时，将副本方式存储的数据转换为纠删码方式进行存储。

3.如权利要求2所述的数据存储方法，其特征在于，

所述第二磁盘组包括对应不同原始数据分片份数和/或不同冗余数据分片份数的多个第三磁盘组，且不同第三磁盘组对应不同类型的待存储数据。

4.如权利要求1-3任一项所述的数据存储方法，其特征在于，所述磁盘组中的任意两个磁盘位于不同的存储节点上，且一个磁盘只属于一个磁盘组。

5.如权利要求2所述的数据存储方法，其特征在于，所述待存储数据对应的目标磁盘组为第二磁盘组；

所述按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中，包括：

将所述待存储数据以副本方式存储到所述目标磁盘组中；

在以副本方式存储的所述待存储数据的最后修改时间，到当前时间点之间的时长，超过了所述待存储数据对应的预设副本存储周期时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储；或，在以副本方式存储的所述待存储数据在最新的预设时长段内的访问频率低于预设频率阈值时，将所述待存储数据在所述目标磁盘组中转换为纠删码方式进行存储。

6.如权利要求1-5中任一项所述的数据存储方法，其特征在于，所述根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组，包括：

在所述待存储数据为参考库数据时，确定所述待存储数据对应的目标磁盘组为所述第一磁盘组。

7.如权利要求1-6任一项所述的数据存储方法，其特征在于，在将所述待存储数据存储到所述目标磁盘组中后，所述方法还包括：

获取所述待存储数据的生存时间值；

在达到所述生存时间值时，删除所述待存储数据。

8.如权利要求7所述的数据存储方法，其特征在于，所述方法还包括：

针对参考库数据不设置生存时间值，或设置所述参考库数据的生存时间值为正无穷。

9.一种数据存储装置，其特征在于，包括：获取模块、确定模块和存储模块；

所述获取模块，用于获取待存储数据；

所述确定模块，用于根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；

所述存储模块，用于按照与所述目标磁盘组对应的存储策略将所述待存储数据存储到所述目标磁盘组中。

10.一种分布式存储系统，其特征在于，包括：通信连接的负载均衡器和存储节点；

所述负载均衡器用于获取待存储数据，并根据所述待存储数据的类型，在预设的磁盘组中确定所述待存储数据对应的目标磁盘组，以及所述目标磁盘组对应的各存储节点；所述磁盘组包括具有不同存储策略的第一磁盘组和第二磁盘组；

所述存储节点用于在接收到所述负载均衡器传来的待存储数据以及目标磁盘信息时，按照所述目标磁盘所对应的存储策略对所述待存储数据进行存储。

11.一种电子设备，其特征在于，包括：处理器、存储器及通信总线；

所述通信总线用于实现所述处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至8任一项所述的数据存储方法。

12.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8任一项所述的数据存储方法。

Images