CN109274966A - 一种基于运动矢量的监控视频内容去重方法和系统 - Google Patents

Abstract

本发明公开了一种基于运动矢量的监控视频内容去重方法和系统，方法包括：随机选取每个视频切片中的连续的P帧视频帧，提取运动矢量信息，对每帧视频帧的宏块进行分割，得到运动宏块位图和运动宏块来源坐标表；利用运动宏块位图进行帧内滤波；利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波；统计P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，则数据块有运动情况，否则没有；当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区。本发明在保证关键信息不丢失的前提下，能够有效缩减实际数据存储量，去掉冗余的背景信息。

Description

一种基于运动矢量的监控视频内容去重方法和系统

技术领域

本发明属于视频处理技术领域，更具体地，涉及一种基于运动矢量的监控视频内容去重方法和系统。

背景技术

大数据时代，数据量急速膨胀，其中的冷数据增长也十分迅速，冷数据备份问题也成为一个研究热点。高清视频监控产生的大数据有体量巨大(Volume)、类型多样化(Variety)、处理速度快(Velocity)和价值密度低(Value)的特征，大多数监控视频数据一经存储，基本上都不会被访问，因此可以将其归类为冷数据，使用冷数据归档存储设备来存储也是自然而然的选择。而在将视频监控数据导入存储设备时，自然要考虑尽量减少数据存储量的问题。因为即使设备容量再大，也总有用完的一天，考虑到视频监控产生的数据量，减少数据存储量的需求也就应运而生。

现有的方法主要是在存储的过程中处理视频，然后将视频存入。比如在监控摄像机中加入识别模块控制录制开始和结束时间，但当需要将已有的视频数据导入其他存储设备时，就无法满足需求。如果使用图像处理相关的技术，例如计算机视觉技术，就极有可能需要相应的高性能硬件或者复杂度比较高的图像处理算法，这就使得成本变得高昂，并且CPU占用率会提高很多，视频处理时间也会变长。在本系统中，需要利用H.264视频流中的运动矢量来快速判断视频中是否发生了运动，然后将其中静止部分的视频数据剔除，用一张静止的图像来代表这段时间的视频画面，对于运动的画面则存储所有的视频数据。存储时，为了方便检索，还要对视频和图像数据进行一定程度的梳理。H.264视频中每隔一定帧数(FFmpeg中默认是50帧，时间间隔为2秒)就会产生一个关键帧，关键帧是视频数据存储量大的根本原因，而对于大多数视频监控数据，总有一部分时间(比如深夜)基本上不会产生任何运动画面，若能把这部分冗余视频数据丢弃，便可以节省大量的存储空间。

由于传统视频压缩技术在压缩编码时将视频划分为若干个画面组(GroupOfPictures，GOP)，压缩时以GOP为单位，而GOP持续时间却是有限的，所以即便画面一直静止不动也会产生多个GOP，从而产生大量的冗余数据。

然而，现有技术在存储海量高清视频监控数据时，关键信息易丢失、无法有效缩减实际数据存储量、冗余的背景信息较多。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于运动矢量的监控视频内容去重方法和系统，由此解决现有技术在存储海量高清视频监控数据时，存在关键信息易丢失、无法有效缩减实际数据存储量、冗余的背景信息较多的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于运动矢量的监控视频内容去重系统，包括：

宏块预处理模块，用于对视频进行切片处理，得到多个视频切片，随机选取每个视频切片中的连续的P帧视频帧，提取P帧视频帧中的运动矢量信息，对P帧视频帧中的每帧视频帧的宏块进行分割，得到运动宏块位图和运动宏块来源坐标表；

帧内滤波模块，用于利用运动宏块位图进行帧内滤波，过滤掉P帧视频帧中的帧内的随机噪声，得到过滤后的运动宏块位图和运动宏块来源坐标表；

帧间滤波模块，用于利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧；

检测结果生成模块，用于统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，则P帧视频帧中的数据块有运动情况，否则P帧视频帧中的数据块没有运动情况；

视频存储与索引模块，用于当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区。

进一步地，帧内滤波模块还用于在进行宏块运动滤波时，对于小于帧内滤波阈值的宏块，认为宏块未发生改变，过滤掉该宏块。

进一步地，帧间滤波模块的具体执行方式为：

在帧间滤波时，利用过滤后的运动宏块位图和运动宏块来源坐标表分别往前查找宏块运动的来源和往后查找宏块运动的去向，假设往前N_s帧都能查找到当前帧的滤波宏块的来源宏块，往后N_d帧都能查找到当前帧的滤波宏块的去向宏块，认为该宏块从前N_s帧到后N_d帧都存在运动，一共运动了N_s+N_d+1帧，设置帧间滤波阈值为N，如果N_s+N_d+1＜N，则该宏块并不存在运动情况，视为帧间的随机噪声，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧。

进一步地，检测结果生成模块的具体执行方式为：

统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，将该P帧视频帧标记为1，否则标记为0，对所有标记后的P帧视频帧进行滤波，将其中单独的突兀的结果过滤掉，此时标记为1的P帧视频帧中的数据块有运动情况，标记为0的P帧视频帧中的数据块没有运动情况。

进一步地，视频存储与索引模块包括：

视频存储子模块，用于设置缓存区，当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区；

视频检索子模块，用于将视频和图片的文件名和位置信息作为元数据以文本的形式存储，当需要检索时，直接读取元数据，然后进行检索。

按照本发明的另一方面，提供了一种基于运动矢量的监控视频内容去重方法，包括：

(1)对视频进行切片处理，得到多个视频切片，随机选取每个视频切片中的连续的P帧视频帧，提取P帧视频帧中的运动矢量信息，对P帧视频帧中的每帧视频帧的宏块进行分割，得到运动宏块位图和运动宏块来源坐标表；

(2)利用运动宏块位图进行帧内滤波，过滤掉P帧视频帧中的帧内的随机噪声，得到过滤后的运动宏块位图和运动宏块来源坐标表；

(3)利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧；

(4)统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，则P帧视频帧中的数据块有运动情况，否则P帧视频帧中的数据块没有运动情况；

(5)当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区。

进一步地，步骤(2)还包括：

在进行宏块运动滤波时，对于小于帧内滤波阈值的宏块，认为宏块未发生改变，过滤掉该宏块。

进一步地，步骤(3)包括：

在帧间滤波时，利用过滤后的运动宏块位图和运动宏块来源坐标表分别往前查找宏块运动的来源和往后查找宏块运动的去向，假设往前N_s帧都能查找到当前帧的滤波宏块的来源宏块，往后N_d帧都能查找到当前帧的滤波宏块的去向宏块，认为该宏块从前N_s帧到后N_d帧都存在运动，一共运动了N_s+N_d+1帧，设置帧间滤波阈值为N，如果N_s+N_d+1＜N，则该宏块并不存在运动情况，视为帧间的随机噪声，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧。

进一步地，步骤(4)包括：

统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，将该P帧视频帧标记为1，否则标记为0，对所有标记后的P帧视频帧进行滤波，将其中单独的突兀的结果过滤掉，此时标记为1的P帧视频帧中的数据块有运动情况，标记为0的P帧视频帧中的数据块没有运动情况。

进一步地，步骤(5)包括：

设置缓存区，当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区；

将视频和图片的文件名和位置信息作为元数据以文本的形式存储，当需要检索时，直接读取元数据，然后进行检索。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)由于传统视频压缩技术在压缩编码时将视频划分为若干个画面组(GroupOfPictures，GOP)，压缩时以GOP为单位，而GOP持续时间却是有限的，所以即便画面一直静止不动也会产生多个GOP，从而产生大量的冗余数据。本方法从监控视频本身的特点出发，突破GOP的限制，并不需要复杂的算法来实现视频去重，降低了硬软件的使用成本，也不会占用太多的计算机资源，能够满足快速处理和低开销的要求。本发明在存储海量高清视频监控数据时，在保证关键信息不丢失的前提下，能够有效缩减实际数据存储量，去掉冗余的背景信息。

(2)本发明方法的主要特点是在于视频的运动检测，根据视频监控中至少有一段时间画面(一般是夜晚)不会发生变化的特性，将监控视频划分为运动和静止的两部分，利用视频流中的运动矢量(Motion Vector)信息来判断视频中是否发生了运动，然后将其中静止的冗余视频数据剔除。只要检测的结果足够准确，并且符合人眼对视频画面动静判断的标准，就可以将对人来说是冗余的视频数据分离出来。

附图说明

图1是本发明实施例提供的一种基于运动矢量的监控视频内容去重系统的结构图；

图2是本发明实施例提供的整体流程图；

图3是本发明实施例提供的宏块分割示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

基于运动矢量的监控视频内容去重系统是基于运动矢量信息来进行检测的，整个系统主要处理的信息也是运动矢量信息，所以模块的划分也主要体现在对运动矢量的处理上。如图1所示，本发明系统主要分为宏块预处理模块、帧内滤波模块、帧间滤波模块、检测结果生成模块、视频存储与索引模块等五个模块。各个模块协调工作，完成基于运动矢量的监控视频内容去重系统的总体功能，能有效地减少视频监控数据的存储量。

上述模块之间的关系可由如图2所示的流程图来表示。模块之间，先从宏块预处理模块开始，到帧内滤波模块、帧间滤波模块，再到检测结果生成模块，最后进入视频存储与索引模块。

系统开始运行时，先要对视频进行切片处理，每个切片包含一定的时间，如30分钟，以后的处理均以视频切片为基本单位。接下来对每个视频切片来进行处理，首先是对视频帧中宏块的预处理，选中其中连续的P帧，将其中的运动矢量信息提取出来，对宏块进行统一的分割，并生成运动宏块位图以及运动宏块来源坐标表。然后进入帧内滤波模块，利用运动宏块位图进行帧内滤波，过滤掉帧内的大部分随机噪声。接着进入帧间滤波模块，利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波，过滤掉帧间的大部分随机噪声。再进入检测结果生成模块，根据筛选条件生成检测结果，并对结果进行滤波等一系列再处理，以数据块为单位生成最终的检测结果。接着，根据该数据块的最终检测结果来判断将该数据块存入视频。最后，进入视频存储与索引模块，为视频部分和图像部分建立索引，并最终存储视频和图像。接下来简单介绍每个模块的情况。

宏块预处理模块主要是将宏块运动矢量信息从视频流中提取出来，并且做相应的预处理。H.264标准将视频中的帧划分为若干个16×16像素的宏块，而在树状结构运动补偿中又将宏块进行了分割，这种分割包含4种方式：一个16×16，两个16×8，两个8×16，四个8×8。而一个8×8像素的子宏块又可以分割为4种：一个8×8，两个8×4，两个4×8，四个4×4。如图3所示，其中每一个分割出来的块都会包含有运动矢量信息。这样的宏块分割不便于对运动矢量的批量处理，所以需要做一定的转换操作。

帧内滤波模块主要是对一帧图像中的运动矢量信息进行去噪处理。由于外界环境(比如室内的日光灯，室外的风、雨、光线等)和视频编码本身的原因，会造成运动矢量的预测误差，比如一帧画面中会存在以肉眼观察并没有发生移动的宏块的运动矢量，大部分这样的运动矢量都会离散地分布在画面中，所以并不能直接使用运动矢量来判断视频画面的运动状况，还需要加上滤波操作，将无效的运动矢量过滤掉，以提高检测的准确性。H.264标准中，一帧画面中的一个宏块只占有16×16个像素，对于高清监控视频来说是很小的一块，一般来说视频中的物体绝大多数情况下由不止一个宏块组成，可以认为，在空间上，运动的宏块总是聚集的。

帧间滤波模块主要是多帧图像之间的去噪处理。由于现实物体的运动在短时间内存在连续性，而视频在一秒之内存在多帧图像，所以可以认为，在时间上，宏块的运动总是连续的。在一秒多帧的视频中，如果画面中有宏块发生运动，那么描述该宏块的运动矢量不可能只在一帧画面中出现，所以对运动矢量的滤波操作不仅要在帧内进行，还要在帧间进行。由于首先要初步确定运动的宏块，然后将由于运动矢量误差产生的运动宏块过滤掉，所以应该先进行帧内滤波，然后进行帧间滤波。

检测结果生成模块主要是对滤波过后的运动矢量进行处理和条件判断，满足条件的图像被初步认定为运动的图像，然后对该结果进行多次再处理，生成最终的检测结果。在存储的过程中，要保证不破坏视频数据原有的结构，使得视频在存储后还能正常播放。比如，不能只将视频中的某一个I帧数据删除掉，因为后面可能存在的P帧和B帧都是以这个I帧为基准的，这样会破坏掉视频数据的结构，使得视频无法播放。考虑到这一特点，检测结果以GOP来划分，一个GOP包含一个I帧和多个P帧及B帧，GOP中若缺失了某一帧，就可能造成视频播放卡顿甚是部分视频无法播放的问题。以GOP为单位存放检测结果，在最后根据结果存储视频时，若需要丢弃部分数据，就不会因为单单丢弃某一帧而造成上述不良后果。为了进一步平滑运动矢量的不确定性造成的检测结果，还要对检测结果进行进一步的处理时。同时，因为检测结果可能有“动”-“静”-“动”-“静”交替出现的情况，这种情况还要根据交替的时间间隔来判断，所以需要将运动检测的时间区间进一步扩大，通过上下文来推测当前检测的部分是否的确发生了运动或静止。

视频存储与索引模块主要包括存储视频部分和索引建立部分，视频存储部分主要先将视频内容放在一个缓冲区，等到标志位设置为可写时，便将缓冲区的数据写入存储设备。而之所以建立索引是为了让未来在检索特定时间段的视频时不会变得困难。这里的索引分为两部分，一是针对视频部分，这一部分可以采用按时间段分片存储的方法，将视频按时间区间划分开来存储，检索时很容易就能通过时间来查找到；另一部分则是针对静态的图像部分，对于一张静止的图像，需要标记其录像的时间段，以及参考的视频流信息等，然后对这些信息建立索引。通过建立以上两部分的索引，监控视频的检索就会相对变得简单一些。

由于传统视频压缩技术在压缩编码时将视频划分为若干个画面组(GroupOfPictures，GOP)，压缩时以GOP为单位，而GOP持续时间却是有限的，所以即便画面一直静止不动也会产生多个GOP，从而产生大量的冗余数据。本方法从监控视频本身的特点出发，突破GOP的限制，并不需要复杂的算法来实现视频去重，降低了硬软件的使用成本，也不会占用太多的计算机资源，能够满足快速处理和低开销的要求。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于运动矢量的监控视频内容去重系统，其特征在于，包括：

宏块预处理模块，用于对视频进行切片处理，得到多个视频切片，随机选取每个视频切片中的连续的P帧视频帧，提取P帧视频帧中的运动矢量信息，对P帧视频帧中的每帧视频帧的宏块进行分割，得到运动宏块位图和运动宏块来源坐标表；

帧内滤波模块，用于利用运动宏块位图进行帧内滤波，过滤掉P帧视频帧中的帧内的随机噪声，得到过滤后的运动宏块位图和运动宏块来源坐标表；

帧间滤波模块，用于利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧；

检测结果生成模块，用于统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，则P帧视频帧中的数据块有运动情况，否则P帧视频帧中的数据块没有运动情况；

视频存储与索引模块，用于当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区。

2.如权利要求1所述的一种基于运动矢量的监控视频内容去重系统，其特征在于，所述帧内滤波模块还用于在进行宏块运动滤波时，对于小于帧内滤波阈值的宏块，认为宏块未发生改变，过滤掉该宏块。

3.如权利要求1或2所述的一种基于运动矢量的监控视频内容去重系统，其特征在于，所述帧间滤波模块的具体执行方式为：

在帧间滤波时，利用过滤后的运动宏块位图和运动宏块来源坐标表分别往前查找宏块运动的来源和往后查找宏块运动的去向，假设往前N_s帧都能查找到当前帧的滤波宏块的来源宏块，往后N_d帧都能查找到当前帧的滤波宏块的去向宏块，认为该宏块从前N_s帧到后N_d帧都存在运动，一共运动了N_s+N_d+1帧，设置帧间滤波阈值为N，如果N_s+N_d+1＜N，则该宏块并不存在运动情况，视为帧间的随机噪声，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧。

4.如权利要求1或2所述的一种基于运动矢量的监控视频内容去重系统，其特征在于，所述检测结果生成模块的具体执行方式为：

统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，将该P帧视频帧标记为1，否则标记为0，对所有标记后的P帧视频帧进行滤波，将其中单独的突兀的结果过滤掉，此时标记为1的P帧视频帧中的数据块有运动情况，标记为0的P帧视频帧中的数据块没有运动情况。

5.如权利要求1或2所述的一种基于运动矢量的监控视频内容去重系统，其特征在于，所述视频存储与索引模块包括：

视频存储子模块，用于设置缓存区，当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区；

视频检索子模块，用于将视频和图片的文件名和位置信息作为元数据以文本的形式存储，当需要检索时，直接读取元数据，然后进行检索。

6.一种基于运动矢量的监控视频内容去重方法，其特征在于，包括：

(1)对视频进行切片处理，得到多个视频切片，随机选取每个视频切片中的连续的P帧视频帧，提取P帧视频帧中的运动矢量信息，对P帧视频帧中的每帧视频帧的宏块进行分割，得到运动宏块位图和运动宏块来源坐标表；

(2)利用运动宏块位图进行帧内滤波，过滤掉P帧视频帧中的帧内的随机噪声，得到过滤后的运动宏块位图和运动宏块来源坐标表；

(3)利用过滤后的运动宏块位图和运动宏块来源坐标表进行帧间滤波，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧；

(4)统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，则P帧视频帧中的数据块有运动情况，否则P帧视频帧中的数据块没有运动情况；

(5)当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区。

7.如权利要求6所述的一种基于运动矢量的监控视频内容去重方法，其特征在于，所述步骤(2)还包括：

在进行宏块运动滤波时，对于小于帧内滤波阈值的宏块，认为宏块未发生改变，过滤掉该宏块。

8.如权利要求6或7所述的一种基于运动矢量的监控视频内容去重方法，其特征在于，所述步骤(3)包括：

在帧间滤波时，利用过滤后的运动宏块位图和运动宏块来源坐标表分别往前查找宏块运动的来源和往后查找宏块运动的去向，假设往前N_s帧都能查找到当前帧的滤波宏块的来源宏块，往后N_d帧都能查找到当前帧的滤波宏块的去向宏块，认为该宏块从前N_s帧到后N_d帧都存在运动，一共运动了N_s+N_d+1帧，设置帧间滤波阈值为N，如果N_s+N_d+1＜N，则该宏块并不存在运动情况，视为帧间的随机噪声，过滤掉P帧视频帧中的帧间的随机噪声，得到去除帧内和帧间随机噪声的P帧视频帧。

9.如权利要求6或7所述的一种基于运动矢量的监控视频内容去重方法，其特征在于，所述步骤(4)包括：

统计去除帧内和帧间随机噪声的P帧视频帧中发生运动的宏块的个数，若发生运动的宏块的个数大于阈值，将该P帧视频帧标记为1，否则标记为0，对所有标记后的P帧视频帧进行滤波，将其中单独的突兀的结果过滤掉，此时标记为1的P帧视频帧中的数据块有运动情况，标记为0的P帧视频帧中的数据块没有运动情况。

10.如权利要求6或7所述的一种基于运动矢量的监控视频内容去重方法，其特征在于，所述步骤(5)包括：

设置缓存区，当数据块有运动情况时，缓存数据块写入，当数据块没有运动情况时，清空数据块缓存区；

将视频和图片的文件名和位置信息作为元数据以文本的形式存储，当需要检索时，直接读取元数据，然后进行检索。