CN107197324A - 一种分布式文件系统的视频容错方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的视频容错方法及装置，其中该方法包括：接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。由此不仅不会损失整个数据条带的数据，还能够对全部未损坏的数据进行正常播放，大大提高了用户体验。

Description

一种分布式文件系统的视频容错方法及装置

技术领域

本发明涉及分布式文件系统技术领域，更具体地说，涉及一种分布式文件系统的视频容错方法及装置。

背景技术

在分布式文件系统中，纠删码(erasure coding，EC)是一种常用数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在分布式文件系统的不同节点上的不同磁盘中。

在应用纠删码时，会根据系统配置，把一个数据条带的数据切分成N份，并根据保护等级M(用户配置)，计算出M份的校验数据，由N(数据片段)+M(校验片段)共同构成受保护的数据。而在传统分布式文件系统中，如果数据条带中损坏的片段数(数据片段数+校验片段数)大于M，那么就向用户报视频损坏错误，这样不仅会损失整个数据条带的数据，还会导致后续视频不可读，大大降低了用户体验。

综上所述，现有技术中用于提供视频数据的技术方案存在用户体验较差的问题。

发明内容

本发明的目的是提供一种分布式文件系统的视频容错方法及装置，以解决现有技术中用于提供视频数据的技术方案存在的用户体验较差的问题。

为了实现上述目的，本发明提供如下技术方案：

一种分布式文件系统的视频容错方法，包括：

接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；

如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

优选的，还包括：

如果所述视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对所述损坏片段进行恢复，并在恢复完成后将所述视频数据返回给所述用户端进行播放。

优选的，确定出所述视频数据中任一数据条带包含有大于M个损坏片段之后，还包括：

将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

优选的，确定出所述视频数据中任一数据条带包含有损坏片段之后，还包括：

将与包含有所述损坏片段的数据条带对应的损坏信息写入日志记录中。

一种分布式文件系统的视频容错装置，包括：

获取模块，用于：接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；

第一处理模块，用于：如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

优选的，还包括：

第二处理模块，用于：如果所述视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对所述损坏片段进行恢复，并在恢复完成后将所述视频数据返回给所述用户端进行播放。

优选的，还包括：

提醒模块，用于确定出所述视频数据中任一数据条带包含有大于M个损坏片段之后，将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

优选的，还包括：

记录模块，用于：确定出所述视频数据中任一数据条带包含有损坏片段之后，将与包含有所述损坏片段的数据条带对应的损坏信息写入日志记录中。

本发明提供了一种分布式文件系统的视频容错方法及装置，其中该方法包括：接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。本申请公开的技术方案，在确定用户端需要的视频数据中存在某个数据条带损坏的视频数据片段及纠删码校验数据片段的数量大于该数据条带中纠删码校验数据片段的数量时，将用户端需要的视频数据全部返回给用户端进行播放；从而用户端可以对视频数据中未出现损坏的视频数据进行正常播放，而出现损坏的视频数据通常只需极短的时间则能够以黑屏或乱码等形式略过，由此不仅不会损失整个数据条带的数据，还能够对全部未损坏的数据进行正常播放，大大提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种分布式文件系统的视频容错方法的流程图；

图2为本发明实施例提供的一种分布式文件系统的视频容错方法中视频数据的数据条带构成示意图；

图3为本发明实施例提供的一种分布式文件系统的视频容错装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种分布式文件系统的视频容错方法的流程图，可以包括：

S11：接收用户端发送的视频数据请求，并由分布式文件系统中获取与视频数据请求对应的视频数据，视频数据包括至少一个数据条带，每个数据条带包括N个视频数据片段及M个纠删码校验数据片段。

接收到用户端发送的视频数据请求后，可以由该视频数据请求中携带的视频数据标记确定出对应的视频数据。需要说明的是，本申请中视频数据可以包括多个数据条带，每个数据条带包括N个视频数据片段及M个纠删码校验数据片段，其中N和M的具体取值均可以根据实际需要进行设定，具体来说将每个数据条带的视频数据切分成N份视频数据片段后，对着N份视频数据片段的视频数据进行纠删码计算可以得到对应N份纠删码校验数据片段。其中M和N均可以为正整数。

S12：如果视频数据中任一数据条带包含有大于M个损坏片段，则将视频数据返回给用户端进行播放，损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

如果任一数据条带中包含有M个损坏片段，这M个损坏片段可以包含该数据条带中所有损坏的视频数据片段及纠删码校验数据片段，那么就将用户端需要的视频数据，包括损坏片段全部返回给用户端进行播放，由此用户端可以对视频数据中未出现损坏的数据进行正常播放，而出现损坏的数据通常只需极短的时间则能够以黑屏或乱码等形式略过，由此不会损失整个数据条带的数据，还能够对全部未损坏的数据进行正常播放。需要说明的是，该步骤中当确定出视频数据中任一数据条带包含大于M个损坏片段时，将视频数据返回给用户端进行播放为按照正常渠道将视频数据返回给用户端，也即按照视频数据不存在任何损坏片段时的方式将视频数据返回给用户端，以保证用户端对视频数据的正常播放。

本申请公开的技术方案，在确定用户端需要的视频数据中存在某个数据条带损坏的视频数据片段及纠删码校验数据片段的数量大于该数据条带中纠删码校验数据片段的数量时，将用户端需要的视频数据全部返回给用户端进行播放；从而用户端可以对视频数据中未出现损坏的视频数据进行正常播放，而出现损坏的视频数据通常只需极短的时间则能够以黑屏或乱码等形式略过，由此不仅不会损失整个数据条带的数据，还能够对全部未损坏的数据进行正常播放，大大提高了用户体验。

本发明实施例提供的一种分布式文件系统的视频容错方法，还可以包括：

如果视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对损坏片段进行恢复，并在恢复完成后将视频数据返回给用户端进行播放。

如果任一数据条带中包含的损坏片段数量小于或等于M，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段计算得出损坏片段对应的正确的视频数据，进而将其返回给用户端进行播放，从而保证了损坏片段数量在一定范围内时返回给用户端的视频数据的正确性。

本发明实施例提供的一种分布式文件系统的视频容错方法，确定出视频数据中任一数据条带包含有大于M个损坏片段之后，还可以包括：

将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

损坏信息可以包括包含有大于M个损坏片段的数据条带的条带标记及损坏片段的标记，以使得管理人员能够手动对其进行修复等处理，保证了视频数据的正确性。

本发明实施例提供的一种分布式文件系统的视频容错方法，确定出视频数据中任一数据条带包含有损坏片段之后，还可以包括：

将与包含有损坏片段的数据条带对应的损坏信息写入日志记录中。

损坏信息可以包含含有损坏片段的数据条带的标记及损坏片段的标记，从而使得管理人员可以随时通过日志记录进行相应查询。

下面以具体应用场景实例对上述技术方案进行说明：

图2简要描述了在一个分布式文件系统中，用户端所需的视频数据的数据条带构成；其中每行为一个数据条带，每个数据条带中N为4，用户配置的M为2，对应图中0至15表示视频数据片段，P1至P4及Q1至Q4表示纠删码校验数据片段，如第一个数据条带由由0,1,2,3,P1,Q1构成，第二个数据条带由4,5,6,7，P2,Q2构成。如果损坏片段小于或等于2，如第一个数据条带中的1片段损坏，则可以通过0,2,3,P1,Q1计算出1片段，给用户端提供完整的视频数据；如果损坏片段大于2，如第一个数据条带中，丢失0,3这两个视频数据片段和P1纠删码校验片段，则包含该条带的全部视频数据直接返回给用户端。

本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

本发明实施例还提供了一种分布式文件系统的视频容错装置，如图3所示，可以包括：

获取模块11，用于：接收用户端发送的视频数据请求，并由分布式文件系统中获取与视频数据请求对应的视频数据，视频数据包括至少一个数据条带，每个数据条带包括N个视频数据片段及M个纠删码校验数据片段；

第一处理模块12，用于：如果视频数据中任一数据条带包含有大于M个损坏片段，则将视频数据返回给用户端进行播放，损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

本发明实施例提供的一种分布式文件系统的视频容错装置，还可以包括：

第二处理模块，用于：如果视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对损坏片段进行恢复，并在恢复完成后将视频数据返回给用户端进行播放。

本发明实施例提供的一种分布式文件系统的视频容错装置，还可以包括：

提醒模块，用于确定出视频数据中任一数据条带包含有大于M个损坏片段之后，将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

本发明实施例提供的一种分布式文件系统的视频容错装置，还可以包括：

记录模块，用于：确定出视频数据中任一数据条带包含有损坏片段之后，将与包含有损坏片段的数据条带对应的损坏信息写入日志记录中。

本发明实施例提供的一种分布式文件系统的视频容错装置中相关部分的说明请参见本发明实施例提供的一种分布式文件系统的视频容错方法中对应部分的详细说明，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种分布式文件系统的视频容错方法，其特征在于，包括：

接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；

如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

2.根据权利要求1所述的方法，其特征在于，还包括：

如果所述视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对所述损坏片段进行恢复，并在恢复完成后将所述视频数据返回给所述用户端进行播放。

3.根据权利要求2所述的方法，其特征在于，确定出所述视频数据中任一数据条带包含有大于M个损坏片段之后，还包括：

将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

4.根据权利要求3所述的方法，其特征在于，确定出所述视频数据中任一数据条带包含有损坏片段之后，还包括：

将与包含有所述损坏片段的数据条带对应的损坏信息写入日志记录中。

5.一种分布式文件系统的视频容错装置，其特征在于，包括：

获取模块，用于：接收用户端发送的视频数据请求，并由分布式文件系统中获取与所述视频数据请求对应的视频数据，所述视频数据包括至少一个数据条带，每个所述数据条带包括N个视频数据片段及M个纠删码校验数据片段；

第一处理模块，用于：如果所述视频数据中任一数据条带包含有大于M个损坏片段，则将所述视频数据返回给所述用户端进行播放，所述损坏片段包括损坏的视频数据片段及损坏的纠删码校验数据片段。

6.根据权利要求5所述的装置，其特征在于，还包括：

第二处理模块，用于：如果所述视频数据中任一数据条带包含有小于或等于M个损坏片段，则利用该数据条带中未损坏的视频数据片段及纠删码校验数据片段对所述损坏片段进行恢复，并在恢复完成后将所述视频数据返回给所述用户端进行播放。

7.根据权利要求6所述的装置，其特征在于，还包括：

提醒模块，用于确定出所述视频数据中任一数据条带包含有大于M个损坏片段之后，将与包含有大于M个损坏片段的数据条带对应的损坏信息发送至与管理人员对应的指定终端。

8.根据权利要求7所述的装置，其特征在于，还包括：

记录模块，用于：确定出所述视频数据中任一数据条带包含有损坏片段之后，将与包含有所述损坏片段的数据条带对应的损坏信息写入日志记录中。