CN104853060A - 高清视频前置处理方法和系统 - Google Patents

Abstract

本发明涉及通信技术领域，具体涉及一种高清视频前置处理方法和系统。本发明的有益效果在于，在本发明的实施例中，通过参考背景图像的训练和更新，以及当前视频帧图像与参考背景图像进行相似性计算，实现对背景图像的检测，将与参考背景图像相似度较大的冗余信息删除，有效节约高清视频网络传输资源和后台存储空间，以节约成本。

Description

高清视频前置处理方法和系统

技术领域

本发明涉及通信技术领域，具体涉及一种高清视频前置处理方法和系统。

背景技术

随着视频监控系统朝着高清化、网络化和智能化方向发展，目前高清化和网络化应用已经成为一种主流，而智能化技术还有待近一步发展和完善。高清网络化视频技术可以给我们带来高清晰度和高质量的视频源，但高清视频的网络传输和后台存储也给高清视频监控系统带来很大压力。 虽然智能视频监控技术或高清智能识别网络摄像机可以将监控由被动变为主动识别、自动报警等，但由于智能视频监控技术存在误报率高、CPU处理瓶颈等问题使得其应用推广还不够成熟。另外在一些安全性要求很高的应用场所，如银行ATM机、交通、一些安全保密部门等的监控，要求将高清视频源作为电子证据保存一定的时间周期，这就使得监控视频的传输和存储很有必要，但是高清视频的网络传输和存储无疑将消耗大量的网络带宽和存储资源。

由于大多数监控场所一般采用固定摄像机，如银行ATM机、交通路口、平安城市、商场等，对于一台静止摄像机拍摄的视频，除了摄像机抖动、光照的变化、阴影和背景元素的运动影响外，其背景图像一般是固定不变的。从监控的时段来看，一些监控场所在一些固定时段可能拍摄的多是背景图像，如银行ATM监控，很少有人在深夜进行自主银行业务等。因此，静止摄像机拍摄的高清视频在时间序列上存在很大冗余，而这些冗余信息也将消耗一定的网络传输和存储资源。

鉴于此，克服以上现有技术中的缺陷，提供一种新的高清视频前置处理方法和系统成为本领域亟待解决的技术问题。

发明内容

本发明的目的在于针对现有技术的上述缺陷，提供一种高清视频前置处理方法和系统。

本发明的目的可通过以下的技术措施来实现：

一种高清视频前置处理方法，包括：

参考背景图像训练步骤，使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像；

参考背景图像更新步骤，使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像；

背景图像检测步骤，将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算；

相似度修正步骤，根据当前视频图像的时空特性和运动特征对所得相似度值进行修正；以及

冗余信息删除步骤，根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

优选地，该方法还包括：

预处理步骤，对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理。

优选地，在所述参考背景图像训练步骤中，对像素点 的历史信息进行统计建模，当背景模型为时，所述背景模型描述的参考背景图像为，其中，。

优选地，在参考背景图像更新步骤中，当前视频帧图像为，重新生成参考背景图像的模型为，其中，为学习因子。

本发明还提供了一种高清视频前置处理系统，包括：

参考背景图像训练模块，用于使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像；

参考背景图像更新模块，用于使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像；

背景图像检测模块，用于将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算；

相似度修正模块，用于根据当前视频图像的时空特性和运动特征对所得相似度值进行修正；以及

冗余信息删除模块，用于根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

优选地，该系统还包括：预处理模块，用于对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理。

本发明的有益效果在于，在本发明的实施例中，通过参考背景图像的训练和更新，以及当前视频帧图像与参考背景图像进行相似性计算，实现对背景图像的检测，将与参考背景图像相似度较大的冗余信息删除，有效节约高清视频网络传输资源和后台存储空间，以节约成本。

附图说明

图1是本发明实施例的高清视频前置处理方法的流程图。

图2是本发明实施例的高清视频前置处理系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

视频序列一般一秒钟有25帧或30帧图像，随着高清监控技术的不断发展，高清画质由720P上升到1080P，帧率也由30帧发展到60帧。视频监控图像已经达到了高清超细腻的程度。这种高帧率的视频序列，相邻帧图像之间必然存在高重叠的特点。所以由固定的摄像机拍摄的高清高帧率的视频图像，存在相邻帧之间的高冗余信息量。针对这种特点，本发明提出的前置处理方法及系统通过动态地删除这种高冗余的背景图像，以达到节约网络传输和存储资源的目的。

本发明实施例提供了一种高清视频前置处理方法，请参阅图1所示，该方法包括：

步骤S100、预处理，对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理。

在进行智能视频分析之前，首先需要对摄像机采集到的视频图像进行格式转换，如将RGB图像转换成灰度图像等，对视频图像进行空间尺度的缩放，滤波去噪，去抖动，采用稳像技术对视频图像进行稳像等。

具体内容包括照相机拍照时几何尺寸的调整、帧图像配准、亮度信息的调整、特征提取（如进行傅立叶变换，计算局部二进制模式等）、数据格式的转换（如RGB格式转化为YUV或rgb格式等）、帧大小或帧率的调整、滤波去噪等。

步骤S101、参考背景图像训练，使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像。

具体地，在参考背景图像训练中，首先满足两个条件：1)图像中的每个像素点的信息至少在一小段时间内是描述背景的；2)背景基本上是稳态的，仅仅有少量的背景运动发生。在该条件下对连续前N帧视频图像进行统计建模，训练学习出背景的数学模型。背景图像训练的目的就是输出一个能描述不包含运动物体的背景模型。从监控的时段来看，一些监控场所在一些固定时段可能拍摄的多是背景图像，图像中的每个像素点的信息持续描述背景的时间间隔持续大于50%时，可以采用统计的方式建立背景模型。另外还应考虑背景的多模态变化，噪声的影响，光照的变化，阴影等因素，以增强背景模型对场景变化的自适应能力和鲁棒性。

在视频序列中，由于每个像素点的像素信息是随时间变化的，若时刻像素点的历史信息为，其中。在训练背景图像时，也就是背景模型的初始化阶段，首先选取视频的前N帧图像，在这前N帧图像中，假定没有运动物体的驶入，对像素点的历史信息进行建模，假如背景模型为，其描述的参考背景图像为。

步骤S102、参考背景图像更新，使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像。

具体地，背景图像检测模块，就是在背景图像训练阶段之后，计算每一帧视频图像与所述的训练背景图像之间的相似度，就是将第N帧之后的每一帧视频图像，与所述训练的背景图像 进行相似度分析，相似度值的高低反映了该时刻的帧图像与背景图像之间的冗余量大小。并采用非预测方法用当前帧图像的信息对背景模型进行更新。

因考虑存在噪声、光照的变化和背景元素的局部运动等因素的影响，为了增强参考背景模型对场景变化的自适应能力，采用当前时刻的视频帧图像信息对参考背景模型进行更新，可以采用复杂度较低的运行期均值法，通过引入一个学习因子用当前帧图像信息对参考背景图像进行在线更新，更新方式为。

步骤S103、背景图像检测，将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算。

具体地，背景图像检测，就是在背景图像训练阶段或更新之后，计算每一帧视频图像与所述的训练背景图像之间的相似度，就是将第N帧之后的每一帧视频图像，与所述训练的背景图像                                                  进行相似度分析，相似度值的高低反映了该时刻的帧图像与背景图像之间的冗余量大小。并采用非预测方法用当前帧图像的信息对背景模型进行更新。

假如当前时刻的视频帧为，采用相似度计算方法计算参考背景帧和之间的相似度大小，若相似度高，则当前帧与背景帧之间冗

余信息大，二者之间存在很大的重叠，若相似度低，则当前帧中可能包含有运动的物体。

步骤S104、相似度修正，根据当前视频图像的时空特性和运动特征对所得相似度值进行修正。

由于运动在时空上具有持久性和一致性，一旦有运动物体驶入，包含运动物体的视频序列会持续一段时间，包含若干帧图像，同样，除了光照变化、阴影和背景元素运动的影响外，在整个视频序列中，仅仅包含背景图像的视频序列也会持续一段时间，仅仅包含背景图像的也不止只有一张。因此，在形成选择性删除策略之前，应结合当前帧与参考背景图像的相似度大小、当前图像的历史信息、未来信息和时空运动信息，对相似度值进行修正，以达到在删除步骤中做出最佳的选择性丢弃策略的目的。

步骤S105、冗余信息删除，根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

相应地，本发明实施例还提供了一种高清视频前置处理系统，请参阅图2所示，该系统包括：

预处理模块101，用于对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理；

参考背景图像训练模块102，用于使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像；

参考背景图像更新模块103，用于使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像；

背景图像检测模块104，用于将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算；

相似度修正模块105，用于根据当前视频图像的时空特性和运动特征对所得相似度值进行修正；以及

冗余信息删除模块106，用于根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

具体地，本发明实施例的系统可以采用智能前置RBD高清实现方式，其主要包括三个部分：数字图像传感器，DSP处理器和ARM处理器。

具体实施方式如下：

数字图像传感器：用于视频图像的采集，并且通过A/D转换单元直接将采集的模拟图像信号转换成数字图像输出。

DSP处理器：视频压缩编码，实现对经过RBD算法处理的视频流进行H.264/MPEG4等的压缩编码。其中，RBD算法：将开源的OPENCV移植到嵌入式Linux环境下，该软件包具有丰富的图像/视频处理接口，RBD算法基于OPENCV开发包可实现对高清视频序列中冗余背景图像的动态选择性丢弃，以减少后续的传输和存储压力。

ARM处理器：基于嵌入式Linux操作系统，实现对整个前置处理系统的控制。

本发明实施例的系统还可应用于RBD高清网络摄像机的内置系统，将RBD算法集成到高清网络摄像机中以实现对高清视频数据的实时分析并灵活动态决定视频流的传送和存储策略。摄像机内置系统包括数字图像传感器、ARM+DSP双核处理器和各种外围接口电路。所述的图像传感器可以采用CMOS/CCD传感器以实现对图像数据的采集，所述的ARM处理器，完成整个系统的控制，所述的DSP处理器完成RBD算法和视频压缩算法。所述系统选用高性能DSP保证了RBD算法的可靠实现。

本实施例的系统可以运行嵌入式Linux操作系统，通过移植OPENCV开源软件包，具有丰富的图像/视频处理接口。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种高清视频前置处理方法，其特征在于，该方法包括：

参考背景图像训练步骤，使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像；

参考背景图像更新步骤，使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像；

背景图像检测步骤，将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算；

相似度修正步骤，根据当前视频图像的时空特性和运动特征对所得相似度值进行修正；以及

冗余信息删除步骤，根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

2.根据权利要求1所述的高清视频前置处理方法，其特征在于，该方法还包括：

预处理步骤，对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理。

3.根据权利要求1所述的高清视频前置处理方法，其特征在于，在所述参考背景图像训练步骤中，对像素点                                                   的历史信息进行统计建模，当背景模型为时，所述背景模型描述的参考背景图像为，其中，。

4.根据权利要求3所述的高清视频前置处理方法，其特征在于，在参考背景图像更新步骤中，当前视频帧图像为，重新生成参考背景图像的模型为，其中，为学习因子。

5.一种高清视频前置处理系统，其特征在于，该系统包括：

参考背景图像训练模块，用于使用当前视频帧图像之前的连续预定个帧视频图像作为样本集生成用于描述整个待处理视频的背景区域的参考背景图像；

参考背景图像更新模块，用于使用当前视频帧图像和参考背景图像训练步骤所得参考背景图像重新生成参考背景图像；

背景图像检测模块，用于将当前视频帧图像与参考背景图像更新步骤所得参考背景图像进行相似度计算；

相似度修正模块，用于根据当前视频图像的时空特性和运动特征对所得相似度值进行修正；以及

冗余信息删除模块，用于根据当前视频帧图像修正后的相似度值与预设阈值进行比较，并对修正后的相似度值大于预设阈值的当前视频帧图像进行删除。

6.根据权利要求5所述的高清视频前置处理系统，其特征在于，该系统还包括：预处理模块，用于对视频图像进行格式转换、空间尺度转换、滤波降噪和去抖动处理。