CN112860476A - 一种基于视频分层存储的近似纠删码编码方法及装置 - Google Patents

Abstract

本申请公开了一种基于视频分层存储的近似纠删码编码方法及装置，该方法包括：将视频数据切分为重要数据和次要数据；从预存的数据分布结构中选择目标数据结构；根据所述目标数据结构将所述重要数据和次要数据生成对应的数据块；采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块；将所述数据块和所述校验块写入对应的磁盘节点中。通过实施本申请，能够解决现有技术中存在的存储开销较高，且无法保证数据存储的高可靠性等问题。

Description

一种基于视频分层存储的近似纠删码编码方法及装置

技术领域

本申请涉及云存储技术领域，特别是涉及一种基于视频分层存储的近似纠删码编码方法及装置。

背景技术

云存储系统可以将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储服务。在云存储系统中，通常利用独立磁盘构成的具有冗余能力的阵列(Redundant Arrayof Independent Disks，RAID)技术进行数据存储。

目前，大量视频被存放在云存储系统中。由于不同视频数据具有不同的重要性并要求不同的可靠性配置，现有磁盘阵列中并没有考虑这一点，导致所有视频数据存储于磁盘阵列中会产生较高的存储开销和数据恢复时间，且无法保证数据存储的高可靠性。

发明内容

为克服上述现有技术存在的不足，本申请之目的在于提供一种基于视频分层存储的近似纠删码编码方法及装置，能够解决现有技术中存在的存储开销较高，且无法保证数据存储的高可靠性等问题。

为达上述及其它目的，本申请提出一种基于视频分层存储的近似纠删码编码方法，包括如下步骤：

将视频数据切分为重要数据和次要数据；

从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构；

根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块；

采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块；

将所述数据块和所述校验块写入对应的磁盘节点中。

可选的，若所述目标数据结构为均衡结构，则所述根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块包括：

根据所述均衡结构，采用预设的数据配置比例将所述重要数据和所述次要数据封装到同一数据块中，从而生成至少一个数据块；

其中，生成的每个数据块中均包括所述重要数据和所述次要数据。

可选的，若所述目标数据结构为非均衡结构，则所述根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块包括：

根据所述非均衡结构，将所述重要数据封装为至少一个重要数据块，将所述次要数据对应封装为至少一个次要数据块；

其中，每个所述重要数据块中仅包括所述重要数据，每个所述次要数据块中仅包括所述次要数据。

可选的，所述采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块；

采用近似纠删码对生成的所述数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；

对生成的所述数据块中的次要数据进行编码计算，得到对应的局部校验块。

可选的，所述方法还包括：

接收次要数据恢复请求，所述次要数据恢复请求用于请求从目标节点中读取目标块中的数据，以利用读取的数据恢复出丢失的次要数据，所述目标块包括数据块和/或校验块；

响应所述次要数据恢复请求，若所述丢失的次要数据超过对应局部校验块的容错能力，则将读取的数据块中的重要数据和/或次要数据上传至上层应用；

所述上层应用基于所述重要数据和/或次要数据，使用视频近似恢复技术进行对应数据的模糊化恢复，从而恢复出所述丢失的次要数据。

为达上述及其它目的，本申请还提出一种基于视频分层存储的近似纠删码编码装置，包括：

切分单元，用于将视频数据切分为重要数据和次要数据；

选择单元，用于从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构；

生成单元，用于根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块；

编码单元，用于采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块；

写入单元，用于将所述数据块和所述校验块写入对应的磁盘节点中。

可选的，若所述目标数据结构为均衡结构，则所述生成单元具体用于：

根据所述均衡结构，采用预设的数据配置比例将所述重要数据和所述次要数据封装到同一数据块中，从而生成至少一个数据块；

其中，生成的每个数据块中均包括所述重要数据和所述次要数据。

可选的，若所述目标数据结构为非均衡结构，则所述生成单元具体用于：

根据所述非均衡结构，将所述重要数据封装为至少一个重要数据块，将所述次要数据对应封装为至少一个次要数据块；

其中，每个所述重要数据块中仅包括所述重要数据，每个所述次要数据块中仅包括所述次要数据。

可选的，所述编码单元具体用于：

采用近似纠删码对生成的所述数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；

对生成的所述数据块中的次要数据进行编码计算，得到对应的局部校验块。

可选的，所述装置还包括接收单元和恢复单元，

所述接收单元，用于接收次要数据恢复请求，所述次要数据恢复请求用于请求从目标节点中读取目标块中的数据，以利用读取的数据恢复出丢失的次要数据，所述目标块包括数据块和/或校验块；

所述恢复单元，用于响应所述次要数据恢复请求，若所述丢失的次要数据超过对应局部校验块的容错能力，则将读取的数据块中的重要数据和/或次要数据上传至上层应用，以供所述上层应用基于所述重要数据和/或次要数据，使用视频近似恢复技术进行对应数据的模糊化恢复，从而恢复出所述丢失的次要数据。

由上可见本申请提供了一种基于视频分层存储的近似纠删码编码方法及装置，能达到以下有益效果：在现有纠删码策略上本申请通过降低次要数据的校验位数量，节省了数据的存储开销，加快了数据的编码和解码速度。同时，在丢失的次要数据无法恢复的时候，可以根据保留的视频重要数据进行模糊化恢复，从而降低了数据的存储开销和恢复时间，还提升了数据存储的高可靠性。

附图说明

图1是本申请实施例提供的一种基于视频分层存储的近似纠删码编码方法的流程示意图。

图2是本申请实施例提供的一种基于视频分层存储的近似纠删码编码的整体设计示意图。

图3是本申请实施例提供的一种近似纠删码的编码设计示意图。

图4是本申请实施例提供的一种基于视频分层存储的近似纠删码编码装置的结构示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其它优点与功效。本申请亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本申请的精神下进行各种修饰与变更。

申请人在提出本申请的过程中还发现：视频数据的常见存储格式，例如H.264编码中的.mp4格式，其内部不同数据段的重要性不同。以H.264编码格式为例，每一个画图组(Group of Pictures，GOP)中的P/B帧都需要I帧才能解码，导致I帧数据的重要性较高，P/B帧数据的重要性较低。考虑到不同重要性的视频数据要求不同的可靠性配置，现有技术通常采用近似存储方案来实现，具体地可将次要数据存放于低可靠性的固态盘块(Solid-State Disk，SSD)中，或者将次要数据存放于无纠错能力的磁盘中。然而在实践中发现，这些方案都不适用于需要高可靠的云存储环境中。

为解决上述问题，本申请提出一种基于视频分层存储的近似纠删码编码方法和装置。请参见图1，是本申请提供的一种基于视频分层存储的近似纠删码编码方法的流程示意图。如图1所示的方法包括如下实施步骤：

S101、将视频数据切分为重要数据和次要数据。

本申请涉及的视频数据是由多个GOP组成的视频数据，每个GOP中都包括有重要数据(例如I帧数据)和次要数据(例如P/B帧数据)。本申请可按照数据重要性将视频数据切分为重要数据和次要数据，并将重要数据存放于对应的重要缓存区中，将次要数据存放于对应的次要缓冲区中。其中，重要数据(或次要数据)是指切分的一段原始视频数据以及该段数据的标识位(也可称为数据标识)，用于指示该段数据的段ID(属于哪个GOP或其位置)以及数据段长度等信息。

以图2为例，图2中的视频数据包括3个GOP，每个GOP中均包括重要数据(importantdata，ID)和次要数据(unimportant data，UD)，例如GOP1中包括ID1和UD1，每个UD中包括一个或多个P或B帧数据。本申请将3个GOP中切分出的重要数据(ID1-ID3)和次要数据(UD1-UD3)存储于对应的缓冲区中，同时添加ID和UD对应的控制字段，该控制字段中包括段ID和数据段长度。以ID1为例，其对应的控制字段包括段ID和数据段长度，这里具体可指ID1在视频数据中所处的位置，如在GOP1中等；以及ID1的数据长度等信息。

S102、从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构。

本申请预存的数据分布结构有两种，具体可为均衡结构和非均衡结构。在本阶段可根据实际需求，在两种结构中选择一种作为重要数据和次要数据的分布方式。其中，均衡结构可将重要数据和次要数据均匀地存放于每一个存储节点中；而非均衡结构可将重要数据和次要数据分别存放于不同的存储节点中。前者均衡结构的节点负载更为均衡，而后者非均衡结构的重要数据的可靠性更高。

S103、根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块。

本申请所选择的目标数据结构，从对应缓存区中获取相应数据生成与之对应的数据块。

作为一种可能的实施方式，若所述目标数据结构为均衡结构，则本申请将采用预设的数据配置比例从重要缓冲区和次要缓冲区中获取相应比例的重要数据和次要数据，将其封装到同一数据块中，从而可封装生成一个或多个数据块。此时，每个数据块中都包括有满足预设数据配置比例的重要数据和次要数据。可选地，重要数据可放置于数据块的前部分，次要数据可放置于数据块的后部分。

作为另一种可能的实施方式，若所述目标数据结构为非均衡结构，则本申请可将重要缓冲区中的重要数据封装为对应的重要数据块，将次要缓冲区中的次要数据封装为对应的次要数据块。这种情况下，重要数据块中仅包含重要数据，次要数据块中仅包含次要数据。

本申请涉及的所有数据块的大小都是相同的，其大小可根据实际需求设定，例如4KB、2KB等等。

S104、采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块。

在一具体实施例中，本申请可采用近似纠删码对数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；对数据块中的次要数据进行编码计算，得到对应的局部校验块。这样在保证重要数据多盘容错能力的情况下，降低了次要数据的校验数据量，以降低整体数据的存储开销，并加速后续基于校验块的编码和解码性能。

S105、将所述数据块和所述校验块写入对应的磁盘节点中。

本申请可将生成的数据块和计算的全局校验块和/或局部校验块写入对应的磁盘节点中，实现数据下盘。

需要说明的是，本申请可应用于多盘容错磁盘阵列中，不局限于三盘容错磁盘阵列3DFTs，具有更高的灵活性。

在可选实施例中，当次要数据损失(丢失)时本申请还可对丢失的次要数据进行恢复。具体地，本申请可接收次要数据恢复请求，该次要数据恢复请求用于请求从目标节点中读取相应地目标块(具体可读取目标块中的数据)，进而利用所读取的目标块恢复出丢失的次要数据，该目标块可为数据块，其包括的数据可为重要数据和/或次要数据；也可为校验块，其包括的数据可为全局校验或局部校验。

在接收数据恢复请求后，可响应该请求从目标节点中读取对应的目标块，该目标块可包括数据块和校验块；然后对读取的目标块中的数据(根据实际需求其具体可为重要数据、次要数据、全局校验或局部校验中的至少一项)进行计算，利用纠删码技术恢复出对应的丢失数据。当丢失的次要数据超过其对应局部校验块的容错能力，则本申请可将读取的视频数据(具体可指丢失数据相关的所有视频数据，如重要数据和次要数据等)发给上层应用，以供上层应用基于这些视频数据，使用视频近似恢复技术，例如插帧、超像素和机器学习等技术将丢失/受损的视频数据进行模糊化恢复处理，从而近似恢复出丢失的次要数据。

为更好地理解本申请实施例，请参见图2示出一种基于视频分层存储的近似纠删码编码的整体设计流程示意图。如图2中，本申请可将3个GOP的视频数据切分为重要数据和次要数据，然后选择对应的目标数据结构，基于该目标数据结构将重要数据和次要数据封装为对应的数据块，具体如图所示的逻辑节点N0-N5，图示仅以均衡结构封装为例示出，但并不构成限定。进一步利用近似纠删码方案对封装的数据块进行编码，得出对应的局部校验块P和全局校验块G，图示仅以P₀、P₁、G₀和G₁为例示出，但并不构成限定。最后将生成的数据块和计算的校验块写入到对应的磁盘节点D中，图示仅以磁盘D₀-D₄为例示出但并不构成限定。

请一并参见图3示出本申请从原始的纠删码方案改变为近似纠删码方案的整体示意图。如图3所示，整个方案包括四个阶段：原始纠删码方案的编码输入、编码分割、结构选择以及近似纠删码方案的编码生成，以实现任意原始的纠删码转换为对应的近似纠删码。如图3中，编码输入阶段可输入任意一种原始纠删码，图示以原始纠删码为EC(4，3)为例示出，但并不构成限定。编码分割阶段，本申请按照编码的校验链可将纠删码分割为局部校验(local parity)和全局校验(global parity)，其中局部校验用于校验全部数据，全局校验仅针对重要数据校验。结构选择阶段，可从均衡结构和非均衡结构中选择一种作为重要数据和次要数据的分布方式。在均衡结构中重要数据和次要数据可均匀分布在每个存储节点上，非均衡结构中重要数据或次要数据仅分布在某些存储节点中，本申请可利用重要数据编码生成对应的全局校验块，利用次要数据编码生成对应的局部校验块，具体如图所示。在编码生成阶段中，将数据块、全局校验块和局部校验块重新组织，写入对应的磁盘节点中，以生成输入编码的近似纠删码方案。

本申请实施例是首个将数据重要性纳入纠删码配置的方案，提出了针对重要数据做高开销、高可靠性的纠删码配置，而对次要数据做低开销、低可靠性的纠删码配置。通过实施本申请实施例，整体上加快了编解码速度，降低了数据的存储开销。而且由于视频数据自身具有很强的冗余能力，本申请方案中即使次要数据受到超过容错能力的损失或丢失，也可通过相关数据近似恢复出来，保证了数据存储的高可靠性。

请参见图4，是本申请实施例提供的一种基于视频分层存储的近似纠删码编码装置的结构示意图。如图4所示的装置包括切分单元401、选择单元402、生成单元403、编码单元404以及写入单元405，其中：

所述切分单元401，用于将视频数据切分为重要数据和次要数据；

所述选择单元402，用于从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构；

所述生成单元403，用于根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块；

所述编码单元404，用于采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块；

所述写入单元405，用于将所述数据块和所述校验块写入对应的磁盘节点中。

可选的，若所述目标数据结构为均衡结构，则所述生成单元403具体用于：

根据所述均衡结构，采用预设的数据配置比例将所述重要数据和所述次要数据封装到同一数据块中，从而生成至少一个数据块；

其中，生成的每个数据块中均包括所述重要数据和所述次要数据。

可选的，若所述目标数据结构为非均衡结构，则所述生成单元403具体用于：

根据所述非均衡结构，将所述重要数据封装为至少一个重要数据块，将所述次要数据对应封装为至少一个次要数据块；

其中，每个所述重要数据块中仅包括所述重要数据，每个所述次要数据块中仅包括所述次要数据。

可选的，所述编码单元404具体用于：

采用近似纠删码对生成的所述数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；

对生成的所述数据块中的次要数据进行编码计算，得到对应的局部校验块。

可选的，所述装置还包括接收单元406和恢复单元407，

所述接收单元406，用于接收次要数据恢复请求，所述次要数据恢复请求用于请求从目标节点中读取目标块中的数据，以利用读取的数据恢复出丢失的次要数据，所述目标块包括数据块和/或校验块；

所述恢复单元407，用于响应所述次要数据恢复请求，若所述丢失的次要数据超过对应局部校验块的容错能力，则将读取的数据块中的重要数据和/或次要数据上传至上层应用，以供所述上层应用基于所述重要数据和/或次要数据，使用视频近似恢复技术进行对应数据的模糊化恢复，从而恢复出所述丢失的次要数据。

本申请实施例是首个将数据重要性纳入纠删码配置的方案，提出了针对重要数据做高开销、高可靠性的纠删码配置，而对次要数据做低开销、低可靠性的纠删码配置。通过实施本申请实施例，整体上加快了编解码速度，降低了数据的存储开销。而且由于视频数据自身具有很强的冗余能力，本申请方案中即使次要数据受到超过容错能力的损失或丢失，也可通过相关数据近似恢复出来，保证了数据存储的高可靠性。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何本领域技术人员均可在不违背本申请的精神及范畴下，对上述实施例进行修饰与改变。因此，本申请的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于视频分层存储的近似纠删码编码方法，其特征在于，包括：

将视频数据切分为重要数据和次要数据；

从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构；

根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块；

采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块；

将所述数据块和所述校验块写入对应的磁盘节点中。

2.根据权利要求1所述的基于视频分层存储的近似纠删码编码方法，其特征在于，若所述目标数据结构为均衡结构，则所述根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块包括：

根据所述均衡结构，采用预设的数据配置比例将所述重要数据和所述次要数据封装到同一数据块中，从而生成至少一个数据块；

其中，生成的每个数据块中均包括所述重要数据和所述次要数据。

3.根据权利要求1所述的基于视频分层存储的近似纠删码编码方法，其特征在于，若所述目标数据结构为非均衡结构，则所述根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块包括：

根据所述非均衡结构，将所述重要数据封装为至少一个重要数据块，将所述次要数据对应封装为至少一个次要数据块；

其中，每个所述重要数据块中仅包括所述重要数据，每个所述次要数据块中仅包括所述次要数据。

4.根据权利要求1所述的基于视频分层存储的近似纠删码编码方法，其特征在于，所述采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块；

采用近似纠删码对生成的所述数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；

对生成的所述数据块中的次要数据进行编码计算，得到对应的局部校验块。

5.根据权利要求1-4中任一项所述的基于视频分层存储的近似纠删码编码方法，其特征在于，所述方法还包括：

接收次要数据恢复请求，所述次要数据恢复请求用于请求从目标节点中读取目标块中的数据，以利用读取的数据恢复出丢失的次要数据，所述目标块包括数据块和/或校验块；

响应所述次要数据恢复请求，若所述丢失的次要数据超过对应局部校验块的容错能力，则将读取的数据块中的重要数据和/或次要数据上传至上层应用；

所述上层应用基于所述重要数据和/或次要数据，使用视频近似恢复技术进行对应数据的模糊化恢复，从而恢复出所述丢失的次要数据。

6.一种基于视频分层存储的近似纠删码编码装置，其特征在于，包括：

切分单元，用于将视频数据切分为重要数据和次要数据；

选择单元，用于从预存的数据分布结构中，选择目标数据结构，所述目标数据结构为均衡结构或者非均衡结构；

生成单元，用于根据所述目标数据结构，将所述重要数据和次要数据生成对应的数据块；

编码单元，用于采用近似纠删码对生成的所述数据块进行编码计算，得到对应的校验块，所述校验块包括全局校验块和/或局部校验块；

写入单元，用于将所述数据块和所述校验块写入对应的磁盘节点中。

7.根据权利要求6所述的基于视频分层存储的近似纠删码编码装置，其特征在于，若所述目标数据结构为均衡结构，则所述生成单元具体用于：

根据所述均衡结构，采用预设的数据配置比例将所述重要数据和所述次要数据封装到同一数据块中，从而生成至少一个数据块；

其中，生成的每个数据块中均包括所述重要数据和所述次要数据。

8.根据权利要求6所述的基于视频分层存储的近似纠删码编码装置，其特征在于，若所述目标数据结构为非均衡结构，则所述生成单元具体用于：

根据所述非均衡结构，将所述重要数据封装为至少一个重要数据块，将所述次要数据对应封装为至少一个次要数据块；

其中，每个所述重要数据块中仅包括所述重要数据，每个所述次要数据块中仅包括所述次要数据。

9.根据权利要求6所述的基于视频分层存储的近似纠删码编码装置，其特征在于，所述编码单元具体用于：

采用近似纠删码对生成的所述数据块中的重要数据进行编码计算，得到对应的全局校验块和局部校验块；

对生成的所述数据块中的次要数据进行编码计算，得到对应的局部校验块。

10.根据权利要求6-9中任一项所述的基于视频分层存储的近似纠删码编码装置，其特征在于，所述装置还包括接收单元和恢复单元，

所述接收单元，用于接收次要数据恢复请求，所述次要数据恢复请求用于请求从目标节点中读取目标块中的数据，以利用读取的数据恢复出丢失的次要数据，所述目标块包括数据块和/或校验块；

所述恢复单元，用于响应所述次要数据恢复请求，若所述丢失的次要数据超过对应局部校验块的容错能力，则将读取的数据块中的重要数据和/或次要数据上传至上层应用，以供所述上层应用基于所述重要数据和/或次要数据，使用视频近似恢复技术进行对应数据的模糊化恢复，从而恢复出所述丢失的次要数据。

Images