CN108337482A

CN108337482A - 监控视频的存储方法和系统

Info

Publication number: CN108337482A
Application number: CN201810128720.4A
Authority: CN
Inventors: 陈昕; 李卓; 陈莹; 马圣程
Original assignee: Beijing Information Science and Technology University
Current assignee: Beijing Information Science and Technology University
Priority date: 2018-02-08
Filing date: 2018-02-08
Publication date: 2018-07-27

Abstract

本发明提供一种监控视频的存储方法和系统，所述存储方法包括：接收用于存储监控视频的请求信息，所述请求信息中携带监控视频以及该监控视频的多个标识信息；分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的各子数据，保存所述元数据；根据所述元数据中记录的监控视频的存储路径，保存该监控视频；提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径保存关键帧，以使得用户根据元数据查找到监控视频。本发明能够大大减少监控视频的读取量，有效的提升查询效率。

Description

监控视频的存储方法和系统

技术领域

本发明涉及监控技术领域，更具体地，涉及监控视频的存储方法。

背景技术

随着视频类型的增加和数据量的日益庞大，如何有效地组织和管理这些数据，使人们能够方便地从大量视频数据中找到自己感兴趣的相关视频片段已成为一种迫切的需求，而能够满足这一需求的技术便是目前人们普遍关注的基于内容的视频检索技术。基于内容的视频搜索引擎可以大幅提高视频检索的效率和准确性，对于视频的共享和有效利用具有重要的推动作用。不仅具有重要的理论研究意义，而且具有广阔的应用前景，可以带动视频搜索这一新兴的产业的发展。

现有的一种基于关键帧的视频流索引播放方法，包括以下步骤：在视频播放器中加入预览播放窗口；在视频文件中的每个视频流中建立一个索引轨道；视频播放器根据预览播放窗口的内容选择主播放的内容。该方法解决了视频播放预览快进的问题，可以让用户有更好的视频播放体验。但是这种方法不具有根据用户要求定位具体视频某一帧的索引功能，不利于快速定位目标内容在视频中的播放时间位置。

视频监控系统发展到今天，在数字化，网络化的大趋势下，已经从原有的模拟信号传输，经历数字信号传输，发展到现在，已经是网络数字传输，并且以DVR为代表的数字监控系统逐渐被以NVR为代表的网络数字监控系统取代。DVR将视频控制与视频存储结合到了一起，使系统集成度更高，适用范围更广，但其只能将数据存储在本机的磁盘整列上，限制了系统数据的规模，现在已经发展为具有网络转发功能的NVR，NVR不但具有DVR所拥有的接收IPC数据，视频编解码，存储，实时显示等功能，还可以通过网络，将存储在本地的视频数据转发给其它存储系统。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的监控视频的存储方法和系统。

根据本发明的一个方面，提供一种监控视频的存储方法，所述存储方法包括：

S1、接收用于存储监控视频的请求信息，所述请求信息中携带监控视频以及该监控视频的多个标识信息；

S2、分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的各子数据，保存所述元数据；

S3、根据所述元数据中记录的监控视频的存储路径，保存该监控视频；

S4、提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径保存关键帧，以使得用户根据元数据与关键帧的组合或仅根据元数据查找到所述监控视频。

优选地，所述标识信息包括监控视频的唯一标识、名称、机位号、视频开始时间以及结束时间，所述元数据还包括用于表示监控视频是否提取关键帧的提取标识信息，

相应地，所述步骤S4之后还包括：修改元数据中的提取标识信息。

优选地，所述监控视频为固定机位拍摄的监控视频，相应地，所述提取监控视频的关键帧的步骤，具体包括：

将监控视频的每一帧的灰度图像转换为直方图，然后通过直方图的参数：相关度参数、卡方系数、巴氏距离或相交系数中的一种，比较监控视频中相邻两个帧之间的差异；

将所述差异与预设阈值进行比较，若所述差异大于预设阈值，则将相邻两个帧中的后一帧作为关键帧。

优选地，通过所述相交系数函数比较监控视频中相邻两个帧之间的差异。

优选地，所述存储方法还包括：

接收用于查找监控视频的第一读取请求，所述第一读取请求中携带若干项子数据；

检索匹配所述第一读取请求中携带的所有子数据的元数据；

根据该元数据中记录的监控视频的存储路径，获取对应的监控视频。

优选地，步骤S4中保存关键帧的步骤，具体包括：

获取关键帧在监控视频中的帧序号，按各关键帧对应的帧序号的顺序排列关键帧，构成关键帧的序列；

根据元数据中记录的关键帧的存储路径保存该关键帧的序列以及每个关键帧的帧序号。

优选地，所述存储方法还包括：

接收用于定位待查询关键帧在监控视频中的时刻的第二读取请求，所述第二读取请求中携带若干关键帧以及子数据；

检索匹配所述第二读取请求中携带的所有子数据的元数据，作为目标元数据，作为目标元数据；

根据该目标元数据中记录的关键帧的存储路径，获取对应的关键帧；

从所述对应的关键帧中匹配与所述待查询关键帧近似度最高的关键帧，作为目标关键帧；

根据所述目标关键帧以及目标元数据，获取该待查询关键帧所在监控视频中的时刻。

优选地，所述根据所述目标关键帧以及目标元数据，获取该待查询关键帧所在监控视频中的时刻，具体包括：

根据目标元数据中记录的目标关键帧的存储路径，查询目标关键帧的帧序号；

根据目标关键帧的帧序号与监控视频每秒帧数，获得目标关键帧所在监控视频中的时刻。

根据本发明的另一个方面，一种监控视频的存储系统，包括：

请求信息接收模块，接收用于存储监控视频的请求信息，所述请求信息中携带监控视频以及该监控视频的多个标识信息；

元数据模块，用于分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的子数据，保存所述元数据；

监控视频保存模块，用于根据所述元数据中记录的监控视频的存储路径，保存该监控视频；

关键帧提取模块，用于提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径保存关键帧，以使得用户根据元数据与关键帧的组合或仅根据元数据查找到所述监控视频。

优选地，所述监控视频保存模块由多个存储卷组成，每个存储卷包括至少一个存储节点，当存储节点的个数大于1时，其中一个存储节点作为存储监控视频的节点，其他存储节点用于备份监控视频。

本发明提出的监控视频的存储方法和系统，针对视频内容检索响应时间过长问题，设计了基于关键帧索引的存储方法和系统，监控视频的关键帧能够体现出监控视频的重要内容，将关键帧提取出来，并关联元数据建立存储索引，在查询时匹配关键帧，能够大大减少监控视频的读取量，有效的提升查询效率。

附图说明

图1为根据本发明实施例的监控视频的存储方法的流程示意图；

图2为根据本发明实施例的元数据的字段结构示意图；

图3为根据本发明实施例的找出关键帧所在视频中的时刻的流程示意图；

图4为根据本发明实施例的监控视频的存储系统的功能框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了克服现有技术的上述问题，本发明实施例提供一种监控视频的存储方法，该存储方法应用于NVR的后端，如图1所示，该存储方法包括：

101、接收用于存储监控视频的请求信息，请求信息中携带监控视频以及该监控视频的多个标识信息。

具体地，用户或其他设备需要存储监控视频时，向存储系统发送请求信息，请求信息中不仅包含有监控视频，还有监控视频的标识信息，例如监控视频的名称、拍摄机位、唯一标识等等。

102、分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的各子数据，保存元数据。

顾名思义，关键帧是监控视频中含有关键信息的帧图像，例如对仓库进行监控的监控视频中，图像中含有人的帧图像称之为关键帧，在本发明实施例中监控视频和关键帧分别存储在不同的路径下，例如，某个监控视频的存储路径为：year_month/day/position/video_name，而该监控视频的关键帧存储路径为：year_month/day/position/video_name/frames，在frames文件夹中，以frame1、frame2、frame3…frameN命名第1个关键帧、第2个关键帧、第三个关键帧，直至第N个关键帧。

103、根据元数据中记录的监控视频的存储路径，保存该监控视频；

104、提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径，保存该关键帧，以使得用户根据元数据与关键帧的组合或仅根据元数据查找到监控视频。

需要说明的是，本发明实施例在保存监控视频后，会提取监控视频的关键帧，本发明实施例中提取关键帧的技术并不限制具体采用哪种现有技术，只需符合实际要求可以提取出监控视频的关键帧即可，在提取监控视频的关键帧后，将关键帧统统保存至预设的存储路径中。并且，为了提供快速准确的检索功能，减少查询操作时的数据量，我们采用了元数据与视频数据分离存储的设计。使用key-value形式将元数据进行保存。

本发明实施例在存储监控视频时，针对视频内容检索响应时间过长问题，设计了基于关键帧索引的存储方法，监控视频的关键帧能够体现出监控视频的重要内容，将关键帧提取出来，并关联元数据建立存储索引，在查询时匹配关键帧，能够大大减少监控视频的读取量，有效的提升查询效率。

在上述实施例的基础上，标识信息包括监控视频的唯一标识、名称、机位号、视频开始时间以及结束时间，元数据还包括用于表示监控视频是否提取关键帧的提取标识信息，相应地，步骤104之后还包括：修改元数据中的提取标识信息。

图2示出了本发明实施例的元数据的字段结构示意图，如图所述，元数据字段包括：视频ID，视频名称，拍摄机位，开始时间，结束时间，视频持续时长，视频文件大小，视频存储路径，提取标识信息，视频关键帧存储路径。

ID字段是监控视频存储时的唯一标识；Video_name是监控视频的文件名；Position是监控视频拍摄的机位信息，在监控领域，不同监控设备拍摄的监控视频会携带监控设备的信息，即机位信息；Start_time是视频数据的拍摄开始时间；End_time是视频数据的拍摄结束时间；Time_length是视频数据的持续时间等于拍摄结束时间减去拍摄开始时间；Video_file_size是视频数据的文件大小。

Video_file_path字段，保存的是监控视频的存储路径，这个存储路径的第一级目录，如图2中的/Volume_N/，代表该监控视频被存储的哪个存储卷上，后面的路径，如图2中/Volume_N/后的year_month/day/position/video_name，是视频文件在存储卷中的文件目录，由于文件系统在一级目录有存储节点数的限制(一个文件夹下面，可以保存的文件数量)，所以本发明实施例没有采用年月日为目录格式，而是拆分为年月/日的形式，来解决长时间使用所带来的存储节点限制问题。需要说明的是，本发明实施例以存储卷的形式，将监控视频存储于不同的存储节点(也称作服务器节点)，以保证数据的备份，并且实现当出现存储异常时的自动恢复，本发明实施例中用于存储监控视频的数据集群由多个存储卷组成，每个存储卷由多个存储节点组成，以保证当一个存储节点失效后，其他存储节点依然可以保证向上提供服务，并且本发明实施例还支持通过增加存储卷的形式，实现存储空间的线性扩展。

Frame_generate字段，即提取标识信息字段，是用来标识是否已经生成了关键帧序列(按照时序排列的关键帧的序列)，这一字段为异步关键帧提取任务提供判断依据，1代表已生成，不需要再提取，0代表未生成，需要进行关键帧提取操作；Frame_path字段，保存的是该监控视频的关键帧序列存储的路径。这一路径下存放的是关键帧，为视频检索提供内容索引。

在上述实施例的基础上，监控视频为固定机位拍摄的监控视频，因此，拍摄出来的视频背景是不变的，基于这一特征，提取监控视频的关键帧的步骤，具体包括：

将监控视频的每一帧的灰度图像转换为直方图，然后通过直方图的参数：相关度参数、卡方系数、巴氏距离或相交系数中的一种，比较监控视频中相邻两个帧之间的差异；具体地，可参考http://blog.csdn.net/xjh0918/article/details/43735041关于相似度匹配运算的内容计算相邻两个帧之间的差异。

将差异与预设阈值进行比较，若差异大于预设阈值，则将相邻两个帧中的后一帧作为关键帧。

在一个可选实施例中，利用相关度参数获取两个帧之间差异的公式为：

利用卡方系数获取两个帧之间的差异的公式为：

利用巴氏距离获取两个帧之间的差异的公式为：

利用相交系数获得两个帧之间差异的公式为：

其中，H₁和H₂分别表示相邻两个帧图像中的前、后两个帧图像，H_k(i)表示第k个帧图像中第i个栅格的灰度值，H_k(j)表示第k个帧图像中第j个栅格的灰度值，N为帧图像中栅格的总个数，i∈N，j∈N，H’_k(i)表示第k个帧图像中第i个栅格的灰度值与第k个帧图像的灰度值的平均值的差值，d_correl(H₁,H₂)表示两个帧图像的相似度差异，d_chi-square(H₁,H₁)表示两个帧图像的卡方系数差异，d_Bhattacharyy(H₁,H₂)表示两个帧图像的巴氏距离差异，d_intersect(H₁,H₂)表示两个帧图像的相交系数差异。

在上述各实施例的基础上，通过相交系数比较监控视频中相邻两个帧之间的差异。需要说明的是，采用相交系数比较帧图像的差异具有计算量最小、速度最快的优势。

在上述各实施例的基础上，本发明实施例的存储方法，还包括：

接收用于查找监控视频的第一读取请求，第一读取请求中携带若干项子数据；

需要说明的是，本发明实施例并不限制第一读取请求中所携带的子数据的个数和类型，例如开始时间、结束时间、拍摄机位、唯一标识中的一种或多种的组合。如果第一读取请求中的子数据的个数较少，说明检索条件较为宽泛，那么就依据较宽的检索条件进行检索，进而检索到数量更多的监控视频。

检索匹配所述第一读取请求中携带的所有子数据的元数据；

例如，具体的第一读取请求中携带的以下子数据：监控视频开始时间：15:00:00、监控视频持续时间：1小时以及监控视频的存储路径：/Volume_2/2018_1/，也就是说，第一读取请求中待获取的监控视频为保持在存储卷2中的、2018年1月存储的下午3点开始拍摄，持续时间为1小时的监控视频。通过检索预先存储的各元数据，将完全匹配上述信息的元数据进行提取。

由上述实施例可知，在存储每个元数据时，每个元数据中都会记录对应的监控数据的存储地址，因此在检索到元数据后，就会根据元数据中记录的监控视频的存储路径，提取对应的监控视频。

在上述实施例的基础上，步骤104中保存关键帧的步骤，具体包括：

获取关键帧在监控视频中的帧序号，按个关键帧的帧序号的顺序排列关键帧，构成关键帧的序列；

作为本领域技术人员可以理解的是，视频即是有一个个的帧图像构成的，可以通过现有技术获取每一帧在视频中的序号，即帧序号，例如，若某监控视频中获取了3个关键帧：帧序号为273的关键帧1，帧序号为394的关键帧2，帧序号为862的关键帧3，,那么就按照关键帧的帧序号进行排序，获得关键序列：{关键帧1,关键帧2,关键帧3}。

在上述实施例的基础上，本发明实施例的存储方法还可以通过用户输入的关键帧，找出关键帧所在的视频以及所在视频中的时刻。图3示出了本发明实施例的获取关键帧所在视频以及所在视频的时刻的流程示意图，如图3所述，该方法包括：

301、接收用于定位待查询关键帧在监控视频中的时刻的第二读取请求，第二读取请求中携带若干关键帧以及子数据。

需要说明的是，当用户希望获取某些关键帧出自哪部监控视频以及出自监控视频中的什么时间时，就会发送第二读取请求，在第二读取请求中携带了一定数量的关键帧和子数据，与第一读取请求类似，本发明实施例不限制第二读取请求中所携带的子数据的个数和类型，例如开始时间、结束时间、拍摄机位、唯一标识中、元数据存储路径等的一种或多种的组合。如果第二读取请求中的子数据的个数较少，说明检索条件较为宽泛，那么就依据较宽的检索条件进行检索，进而检索到数量更多的监控视频。

302、检索匹配所述第二读取请求中携带的所有子数据的元数据，作为目标元数据。

需要说明的是，在接收到第二读取请求后，本发明实施例首先根据第二读取请求中携带的子数据匹配相应的元数据，该步骤与在处理第一读取请求的过程一致，在此不再赘述。

303、根据该目标元数据中记录的关键帧的存储路径，获取对应的关键帧。

304、从对应的关键帧中匹配与待查询关键帧具有近似度最高的关键帧，作为目标关键帧。

需要说明的是，由于元数据预先记录了监控视频的所有关键帧的存储路径，因此，再获得目标元数据后，就可以进一步获取对应的关键帧。在获得对应的关键帧后，通过现有的图像对比方法，将待查询关键帧与之前获取的关键帧进行一一比对，将近似度最高的关键帧作为目标关键帧。

305、根据目标关键帧以及目标元数据，获取该待查询关键帧所在监控视频中的时刻。

需要说明的是，由于目标关键帧仅有一个，通过对应的目标元数据，就可以确定唯一的一个监控视频，由上述实施例可知，每个关键帧都具有一个帧序号，通过帧序号以及监控视频的帧序号的总数，即可知道该待查询关键帧所在监控视频的时刻。

在上述实施例的基础上，步骤305具体包括：

例如，目标关键帧的帧序号为80，监控视频每秒帧数为25，那么目标关键帧所在监控视频中的时刻为第4秒。具体的计算过程为首先用80和25做求整运算，得到3，然后用3加1，即为4。

通过本发明实施例对2GB的视频文件进行基于视频内容的索引，平均索引时间可以控制在12秒以内，并且随着被检索视频文件的范围增大，检索名字的时间优势更加明显。

根据本发明的另一个方面，还提供一种监控视频的存储系统，参见图4，包括：

请求信息接收模块401，接收用于存储监控视频的请求信息，请求信息中携带监控视频以及该监控视频的多个标识信息；

需要说明的是，用户或其他设备需要存储监控视频时，向存储系统中的请求信息接收模块发送请求信息，请求信息中不仅包含有监控视频，还有监控视频的标识信息，例如监控视频的名称、拍摄机位、唯一标识等等。

元数据模块402，用于分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的各子数据，保存元数据；

监控视频保存模块403，用于根据元数据中记录的监控视频的存储路径，保存该监控视频；

关键帧提取模块404，用于提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径保存关键帧，以使得用户根据元数据与关键帧的组合或仅根据元数据查找到监控视频。

在上述实施例的基础上，本发明实施例的监控视频保存模块由多个存储卷组成，每个存储卷包括至少一个存储节点，当存储节点的个数大于1时，存储节点之间相互连接，其中一个存储节点作为存储监控视频的节点，其他存储节点用于备份监控视频。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种监控视频的存储方法，其特征在于，所述存储方法包括：

S4、提取监控视频的关键帧，根据元数据中记录的关键帧的存储路径保存关键帧，以使得用户根据元数据查找到所述监控视频。

2.如权利要求1所述的存储方法，其特征在于，所述标识信息包括监控视频的唯一标识、名称、机位号、视频开始时间以及结束时间，所述元数据还包括用于表示监控视频是否提取关键帧的提取标识信息，相应地，所述步骤S4之后还包括：修改元数据中的提取标识信息。

3.如权利要求1所述的存储方法，其特征在于，所述监控视频为固定机位拍摄的监控视频，相应地，所述提取监控视频的关键帧的步骤，具体包括：

将监控视频的每一帧的灰度图像转换为直方图，然后通过直方图的参数比较监控视频中相邻两个帧之间的差异，所述直方图的参数包括相关度参数、卡方系数、巴氏距离或相交系数中的任意一种；

4.如权利要求3所述的存储方法，其特征在于，通过所述相交系数函数比较监控视频中相邻两个帧之间的差异。

5.如权利要求1所述的存储方法，其特征在于，还包括：

检索匹配所述第一读取请求中携带的所有子数据的元数据；

6.如权利要求1所述的存储方法，其特征在于，所述步骤S4中保存关键帧的步骤，具体包括：

7.如权利要求6所述的存储方法，其特征在于，还包括：

检索匹配所述第二读取请求中携带的所有子数据的元数据，作为目标元数据；

8.如权利要求7所述的存储方法，其特征在于，所述根据所述目标关键帧以及目标元数据，获取该待查询关键帧所在监控视频中的时刻，具体包括：

9.一种监控视频的存储系统，其特征在于，包括：

元数据模块，用于分别设置该监控视频以及该监控视频中关键帧的存储路径，结合该监控视频的所有标识信息，以作为该监控视频的元数据中的各子数据，保存所述元数据；

10.如权利要求9所述的存储系统，其特征在于，所述监控视频保存模块由多个存储卷组成，每个存储卷包括至少一个存储节点，当存储节点的个数大于1时，其中一个存储节点作为存储监控视频的节点，其他存储节点用于备份监控视频。