CN114491145B - 一种基于流存储的元数据设计方法 - Google Patents

Abstract

本发明公开了一种基于流存储的元数据设计方法，将视频流数据与元数据存储在不同的文件中，在视频流数据文件中以固定大小的数据块存储视频流数据，在元数据文件中以固定大小的数据块存储每一分钟的索引数据块。通过视频流数据和元数据的一致性检测确保二者一一对应，如果检测到某一块视频流数据对应的索引数据块丢失，可恢复丢失的索引数据块，后续用户读取某一时刻的视频流数据时，根据元数据文件中存放的数据索引信息找到该时刻的数据信息，完成索引。优点是：提高了多路视频并发读取以及高倍速回放时的数据响应速度、解决了索引数据异常时整个视频流数据文件无法正常读取的问题、解决了因元数据丢失引起的视频流数据读取效率低的问题。

Description

一种基于流存储的元数据设计方法

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于流存储的元数据设计方法。

背景技术

随着智慧城市的高速发展，对视频流数据的存储需求日益增加。现有的存储系统在读取数据时直接在数据文件中按照时间顺序进行查找读取，在多路视频流数据并发读取时，系统的响应速度不高。为了提升视频流数据的索引效率，通常采用记录流数据的属性信息即元数据的方式来进行。尽管元数据提升了索引效率，但是其同时也成为了系统的瓶颈，一方面其丢失之后无法恢复，另一方面流数据和元数据不一致等问题仍然是影响系统性能的重要因素。

因此，针对直接读取视频流数据效率低、通过元数据索引读取时元数据丢失无法恢复等问题，需要提出一种读取效率高、可靠性高的元数据设计方法。

发明内容

本发明的目的在于提供一种基于流存储的元数据设计方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于流存储的元数据设计方法，包括如下步骤，

S1、创建某一小时的视频流数据文件和元数据文件，并分别以该小时起始时刻的时间戳命名；

S2、接收来自摄像机的实时视频流数据，将实时视频流数据分割为定长的视频数据块，并将其写入视频流数据文件；

S3、记录视频数据块在视频流数据文件中存储的起始位置偏移量，并将其保存到元数据文件的索引数据块中；

S4、打开元数据文件时，需要检查元数据文件大小是否为索引数据块的整数倍，若是，则将新产生的索引数据块追加到元数据文件尾部；若否，则说明元数据文件出现异常，删除元数据文件尾部不足索引数据块整数倍的部分，再将新产生的索引数据块追加到元数据文件尾部；

S5、随着摄像机实时视频流数据的不断写入，重复执行步骤S11-S14，最终生成元数据文件。

优选的，元数据文件存储为固定的60个索引数据块，每个块存储1分钟的索引信息。

优选的，所述索引数据块包括

version：当前索引信息的版本号；

flag：预留的标记位；

reserve：预留位；

time_base：时间基准，即该分钟的起始时间，长度为64位，分为高32位和低 32位；

block_size：数据块大小；即4096字节；

CRC：索引数据块的校验位；定长的索引数据块作为一种校验条件，能够识别索引数据块不正确的情况；CRC校验能够识别索引数据块内容的正确与否；在出现错误的情况下，定长的索引数据块将错误限制在其自身范围内，将错误的影响范围限定在1分钟以内；

block_index数组：记录某一时刻视频数据块的索引信息。

优选的，当需要读取指定时间的视频数据时，根据元数据文件中的索引数据块即可快速定位到指定时间关联的视频流数据的位置；具体过程如下，

A1、校验元数据文件，确认其大小为索引数据块的整数倍；

A2、查找元数据文件中指定时间的前一个索引数据块，从而确定指定时间的索引信息存放在元数据文件中的哪一个索引数据块；

A3、计算指定时间与查找到的索引数据块的time_base的差值，若差值为X，则表示指定时刻的视频流数据在视频流数据文件中的偏移量记录在 block_index数组的第X个元素中；

A4、读取block_index数组的第X个元素中的数据，该数据即为t时刻对应的偏移量I，t时刻的流数据即从视频流数据文件的第I个字节开始记录； I＝block_index数组*block_size；

A5、根据该索引数据块中记录的视频流数据位置，读取视频流数据。

优选的，视频流数据与元数据都会存储到相应的文件中，当出现视频流数据与元数据不一致的情况，针对该情况，存储文件时，先将视频流数据存储到视频流数据文件中，再将相应的索引数据保存在元数据文件中；存储或读取元数据文件时，校验元数据文件是否完整，若不完整，则删除无效的索引数据块，保证元数据文件的可用性。

优选的，元数据文件完整性的校验条件为，

(1)元数据文件大小是否为索引数据块大小的整数倍；

(2)计算元数据文件中索引数据块的CRC值，判断其与索引数据块中记录的 CRC值是否一致；

当元数据文件大小为索引数据块大小的整数倍，且元数据文件中索引数据块的CRC值与索引数据块中记录的CRC值一致，则表示元数据文件完整。

优选的，在读取视频流数据文件和元数据文件时对二者进行一致性校验，若检测到元数据文件不完整，则通过该时间段的视频流数据的头部信息恢复相应的索引数据块；具体恢复过程如下，

B1、检测到元数据文件中丢失的索引数据块对应的时刻t；

B2、通过时刻t计算待恢复的索引数据块的time_base；

B3、根据索引数据块的版本号和数据块长度，确定待恢复的索引数据块中 block_size；

B4、读取视频流数据文件中时刻t的数据块数量作为元数据文件中该时刻索引数据块中block_index数组的数据；

B5、通过已恢复的索引数据块中的version、time_base、block_size、 block_index数组的数据计算出该索引数据块的CRC校验值。

本发明的有益效果是：1、将视频流数据与元数据分开存储，以固定大小的数据块存储视频流数据，在元数据文件中以固定大小的数据块存储每一分钟的索引数据块，在读取流数据时通过元数据中存放的索引信息定位某一时刻的视频流数据。2、使用索引数据固定分块的方式将错误影响范围限制在一个比较小的范围，解决了索引数据异常时整个视频流数据文件无法正常读取的问题。3、通过一致性检测与元数据恢复可以确保视频流数据和元数据一一对应，解决了因元数据丢失引起的视频流数据读取效率低的问题。

附图说明

图1是本发明实施例中视频流数据文件和元数据文件生成流程图；

图2是本发明实施例中索引数据块的格式示意图；

图3是本发明实施例中读取指定时间视频流数据的流程图；

图4是本发明实施例中视频流数据块恢复索引数据块的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例中，提供了一种基于流存储的元数据设计方法，本发明方法，将视频流数据与元数据存储在不同的文件中，在视频流数据文件中以固定大小的数据块存储视频流数据，在元数据文件中以固定大小的数据块存储每一分钟的索引数据块，提高了多路视频并发读取以及高倍速回放时的数据相应速度。同时，通过视频流数据和元数据的一致性检验确保二者一一对应，如果检测到某一块视频流数据对应的索引数据块丢失，可恢复丢失的索引数据块，后续用户读取某一时刻的视频流数据时，系统可根据元数据文件中存放的数据索引信息找到该时刻的数据信息，完成索引。

本发明主要包括四部分内容，分别为元数据生成、视频流数据读取、CRC校验以及元数据恢复。下面分别对这四部分内容进行详细阐述。

一、元数据生成

如图1所示，元数据生成具体包括如下步骤

1、创建某一小时的视频流数据文件和元数据文件，并分别以该小时起始时刻的时间戳命名；比如，视频流数据文件和元数据文件可以分别命名为 1639274400.data和1639274400.index；

2、接收来自摄像机的实时视频流数据，将实时视频流数据分割为定长(以4096字节为例)的视频数据块，并将其写入视频流数据文件；

3、记录视频数据块在视频流数据文件中存储的起始位置偏移量，并将其保存到元数据文件的索引数据块中；

4、打开元数据文件时，需要检查元数据文件大小是否为索引数据块的整数倍，若是，则将新产生的索引数据块追加到元数据文件尾部；若否，则说明元数据文件出现异常，删除元数据文件尾部不足索引数据块整数倍的部分，再将新产生的索引数据块追加到元数据文件尾部；

5、随着摄像机实时视频流数据的不断写入，重复执行步骤S11-S14，最终生成元数据文件。

本实施例中，元数据文件存储为固定的60个索引数据块，每个块存储1分钟的索引信息。

如图2所示，本实施例中，所述索引数据块包括块基本信息和block_index数组；其中，块基本信息包括：

version：当前索引信息的版本号；

flag：预留的标记位；

reserve：预留位；

time_base：时间基准，即该分钟的起始时间，长度为64位，分为高32位和低 32位；

block_size：数据块大小；即4096字节；

CRC：索引数据块的校验位；定长的索引数据块作为一种校验条件，能够识别索引数据块不正确的情况；CRC校验能够识别索引数据块内容的正确与否；在出现错误的情况下，定长的索引数据块将错误限制在其自身范围内，将错误的影响范围限定在1分钟以内。

block_index数组是用于记录某一时刻视频数据块的索引信息。

二、视频流数据读取

如图3所示，当需要读取指定时间(请求读取时间记为t)的视频数据时，根据元数据文件中的索引数据块即可快速定位到指定时间关联的视频流数据的位置；具体过程如下，

1、校验元数据文件，确认其大小为索引数据块的整数倍；

2、查找元数据文件中t时刻的前一个索引数据块，从而确定t时刻的索引信息存放在元数据文件中的哪一个索引数据块；

3、计算t时刻与查找到的索引数据块的time_base的差值，若差值为X，则表示t时刻的视频流数据在视频流数据文件中的偏移量记录在block_index数组的第X个元素中；

假设差值X＝10，则t时刻的视频流数据在视频流数据文件中的偏移量记录在block_index数组的第10个元素中；

4、读取block_index数组的第X个元素中的数据，该数据即为t时刻对应的偏移量I，t时刻的流数据即从视频流数据文件的第I个字节开始记录； I＝block_index数组*block_size；

也就是说，block_index数组的第X个元素中的数据就是t时刻对应的偏移量，即偏移量I＝block_index数组*block_size，t时刻的流数据就从视频流数据文件的第I个字节开始记录。

假设block_index数组为10，则t时刻对应的偏移量I＝block_index数组*block_size＝10*4096＝40960，那么t时刻的流数据就从视频流数据文件的第 40960个字节开始记录。

5、根据该索引数据块中记录的视频流数据位置，读取视频流数据。

三、CRC校验

视频流数据与元数据都会存储到相应的文件中，当出现视频流数据与元数据不一致的情况，针对该情况，存储文件时，先将视频流数据存储到视频流数据文件中，再将相应的索引数据保存在元数据文件中；存储或读取元数据文件时，校验元数据文件是否完整，若不完整，则删除无效的索引数据块，保证元数据文件的可用性。元数据文件完整性的校验条件为，

(1)元数据文件大小是否为索引数据块大小的整数倍；

(2)计算元数据文件中索引数据块的CRC值，判断其与索引数据块中记录的 CRC值是否一致；

当元数据文件大小为索引数据块大小的整数倍，且元数据文件中索引数据块的CRC值与索引数据块中记录的CRC值一致，则表示元数据文件完整。

四、元数据恢复

如图4所示，在视频流数据已写入到数据文件，相应的索引数据块还未写入到元数据文件时，可能会由于机房断电等因素造成服务器异常宕机，导致元数据文件不完整。当服务器重启之后，在读取视频流数据文件和元数据文件时，需要对二者进行一致性校验，若检测到元数据文件不完整，则通过该时间段的视频流数据的头部信息恢复相应的索引数据块；具体恢复过程如下，

1、检测到元数据文件中丢失的索引数据块对应的时刻t；

2、通过时刻t计算待恢复的索引数据块的time_base；

3、根据索引数据块的版本号和数据块长度，确定待恢复的索引数据块中 block_size；

版本号version为1，数据块长度默认是4096字节，因此待恢复的索引数据块中的block_size为4096。

4、读取视频流数据文件中时刻t的数据块数量作为元数据文件中该时刻索引数据块中block_index数组的数据；

5、通过已恢复的索引数据块中的version、time_base、block_size、 block_index数组的数据计算出该索引数据块的CRC校验值。

如果元数据中某一小时的索引数据块丢失，可按照上述流程循环恢复每一秒的索引数据块。

之后即可使用恢复的索引数据块成功读取相应时刻的视频流数据。

实施例二

元数据设计方法应用的系统环境为多个嵌入式节点组成分布式存储系统，采用纠删码容错策略，冗余级别为m+n。其中每个嵌入式节点存储1份分片数据，针对这些分片数据，生成并存储了本发明中所述的元数据文件。具体过程如下：

1、分布式存储系统中接入一台摄像机，嵌入式节点A负责存储该摄像机视频数据的一份纠删码，其纠删码编号为1，数据块长度为4096字节，使用序列号标识了同一块原始视频数据的不同分片数据。

2、视频分片数据(视频流数据)、元数据分别存储到相应的视频流数据文件和元数据文件，每个文件存储1小时的数据，如9:00–10:00之间的数据。流数据文件和元数据文件的名称由当前时间戳唯一确定，其中分片数据文件命名为 1597885200.data，元数据文件命名为1597885200.index。

3、每间隔1秒钟，将视频流数据分割成4096字节的数据块写入到视频流数据文件中，将视频流数据对应的索引数据块写入到元数据文件中。随着系统运行，不断产生新的视频流数据文件与相应的元数据文件。

4、存储若干长度的视频流数据之后，读取某一时刻开始的视频数据时，通过元数据文件中的索引数据块成功查询到该时刻视频数据在视频流数据文件中的位置并完成读取；

5、手动删除元数据文件中部分索引数据块，重启服务器之后查看恢复结果，视频流数据成功恢复删除的索引数据块，并通过恢复的索引数据块成功读取到该时刻的视频流数据。

本实施例中，元数据文件中的索引数据块包含了视频流数据时间戳，通过读取元数据文件中存放的索引数据，能够更加快速地定位到数据文件中预期数据的位置，加快了读取视频数据的速度，同时相对于直接读取视频文件中指定时间点的视频，减少了计算资源的消耗。

由于机械硬盘内部磨损、盘片物理损坏等因素不可避免地出现数据错误的情况。本发明使用了CRC校验来识别该情况，保证了索引数据块记录的正确性，从而保证数据读取位置无误。另外，机房断电等因素可造成异常宕机，该情况下可能会产生磁盘数据未及时写入到硬盘，可能会产生视频数据不完整，以及索引数据块存储不完整，当服务器重启之后，读取数据文件和元数据文件时，会对二者进行一致性校验，如果元数据丢失可通过视频数据恢复，确保数据文件和元数据文件的一致性。当元数据文件不满足索引数据块的整数倍要求时，系统可以及时识别这种错误，再通过时间戳重新定位元数据文件中的索引数据块，在数据文件中定位到该索引数据块对应的流数据。本发明为设备接入时的资源分配提供了更多的灵活性，适用于不同的系统，不同的应用场景，以及不同的使用环境和要求，使存储系统具有更好的健壮性和可靠性。

而且本发明中的元数据文件占用空间非常小：

对于单路设备：一小时元数据文件大小为140*60＝8400字节，一天为 8400*24＝201600字节，约为200K。

设备周期假定为30天，元数据文件大小为30*200K＝6000K，约为6M；

存储系统假定接入200路设备，则需要空间为200*6M＝1.2G。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种基于流存储的元数据设计方法，本方法将视频流数据与元数据分开存储，以固定大小的数据块存储视频流数据，在元数据文件中以固定大小的数据块存储每一分钟的索引数据块，在读取流数据时通过元数据中存放的索引信息定位某一时刻的视频流数据。本方法使用索引数据固定分块的方式将错误影响范围限制在一个比较小的范围，解决了索引数据异常时整个视频流数据文件无法正常读取的问题。本方法通过一致性检测与元数据恢复可以确保视频流数据和元数据一一对应，解决了因元数据丢失引起的视频流数据读取效率低的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于流存储的元数据设计方法，其特征在于：包括如下步骤，

S1、创建某一小时的视频流数据文件和元数据文件，并分别以该小时起始时刻的时间戳命名；

S2、接收来自摄像机的实时视频流数据，将实时视频流数据分割为定长的视频数据块，并将其写入视频流数据文件；

S3、记录视频数据块在视频流数据文件中存储的起始位置偏移量，并将其保存到元数据文件的索引数据块中；

S4、打开元数据文件时，需要检查元数据文件大小是否为索引数据块的整数倍，若是，则将新产生的索引数据块追加到元数据文件尾部；若否，则说明元数据文件出现异常，删除元数据文件尾部不足索引数据块整数倍的部分，再将新产生的索引数据块追加到元数据文件尾部；

S5、随着摄像机实时视频流数据的不断写入，重复执行步骤S11-S14，最终生成元数据文件；

所述索引数据块包括

version：当前索引信息的版本号；

flag：预留的标记位；

reserve：预留位；

time_base：时间基准，即该时间所在分钟的起始时间，长度为64位，分为高32位和低32位；

block_size：数据块大小；

CRC：索引数据块的校验位；定长的索引数据块作为一种校验条件，能够识别索引数据块不正确的情况；CRC校验能够识别索引数据块内容的正确与否；在出现错误的情况下，定长的索引数据块将错误限制在其自身范围内，将错误的影响范围限定在1分钟以内；

block_index数组：记录某一时刻视频数据块的索引信息；

当需要读取指定时间的视频数据时，根据元数据文件中的索引数据块即可快速定位到指定时间关联的视频流数据的位置；具体过程如下，

A1、校验元数据文件，确认其大小为索引数据块的整数倍；

A2、查找元数据文件中指定时间的前一个索引数据块，从而确定指定时间的索引信息存放在元数据文件中的哪一个索引数据块；

A3、计算指定时间与查找到的索引数据块的time_base的差值，若差值为X，则表示指定时刻的视频流数据在视频流数据文件中的偏移量记录在block_index数组的第X个元素中；

A4、读取block_index数组的第X个元素中的数据，该数据即为t时刻对应的偏移量I，t时刻的流数据即从视频流数据文件的第I个字节开始记录；I＝block_index数组*block_size；

A5、根据该索引数据块中记录的视频流数据位置，读取视频流数据；

在读取视频流数据文件和元数据文件时对二者进行一致性校验，若检测到元数据文件不完整，则通过该时间段的视频流数据的头部信息恢复相应的索引数据块；具体恢复过程如下，

B1、检测到元数据文件中丢失的索引数据块对应的时刻t；

B2、通过时刻t计算待恢复的索引数据块的time_base；

B3、根据索引数据块的版本号和数据块长度，确定待恢复的索引数据块中block_size；

B4、读取视频流数据文件中时刻t的数据块数量作为元数据文件中该时刻索引数据块中block_index数组的数据；

B5、通过已恢复的索引数据块中的version、time_base、block_size、block_index数组的数据计算出该索引数据块的CRC值。

2.根据权利要求1所述的基于流存储的元数据设计方法，其特征在于：元数据文件存储为固定的60个索引数据块，每个块存储1分钟的索引信息。

3.根据权利要求1所述的基于流存储的元数据设计方法，其特征在于：视频流数据与元数据都会存储到相应的文件中，当出现视频流数据与元数据不一致的情况，针对该情况，存储文件时，先将视频流数据存储到视频流数据文件中，再将相应的索引数据保存在元数据文件中；存储或读取元数据文件时，校验元数据文件是否完整，若不完整，则删除无效的索引数据块，保证元数据文件的可用性。

4.根据权利要求3所述的基于流存储的元数据设计方法，其特征在于：元数据文件完整性的校验条件为，

(1)元数据文件大小是否为索引数据块大小的整数倍；

(2)计算元数据文件中索引数据块的CRC值，判断其与索引数据块中记录的CRC值是否一致；

当元数据文件大小为索引数据块大小的整数倍，且元数据文件中索引数据块的CRC值与索引数据块中记录的CRC值一致，则表示元数据文件完整。

Images