CN104463910B - 基于运动矢量的高速运动目标提取方法 - Google Patents

Abstract

本发明涉及一种基于运动矢量的高速运动目标检测方法。该方法首先从视频流中直接提取运动矢量；然后进行运动矢量规范化，并估计场景的全局运动参数；最后通过对运动矢量统计特征的分析，实现高速运动目标的快速检测。本方法能够直接利用压缩视频数据中运动矢量内含的运动信息，大幅提高压缩视频运动目标提取的速度，同时有效提升动摄像机环境下的高速运动目标检测性能。

Description

基于运动矢量的高速运动目标提取方法

技术领域

本发明涉及一种基于运动矢量的高速运动目标提取方法。

背景技术

运动目标检测是指从视频图像中准确分割出运动目标，是目标匹配、视频监控、行为分析等研究的理论基础，是计算机视觉领域的热点问题。在摄像机静止条件下，背景变化平稳，运动目标检测主要受光照、噪声、遮挡、目标尺寸变化、背景复杂度等因素影响；在动摄像机条件下，还受到摄像机运动或焦距变化的影响，给运动目标的快速、准确检测带来困难。

运动目标检测方法主要有帧差法、背景差法和光流法。帧差法将相邻两帧或三帧视频图像差分获得运动目标，处理速度快，实现简单，但是难以获得完整的运动目标，受运动目标的速度影响较大，容易产生“空洞”现象。背景差法将输入视频与建模背景相减，获得完整的运动目标，但是受背景建模准确度影响较大，在背景运动条件下，运动目标检测效果大幅下降。光流法检测视频图像中光流变化，实现运动目标检测，可以有效克服摄像机运动的影响，但是计算复杂，受噪声影响严重。

在静止摄像机条件下，运动目标与背景之间、连续帧的运动目标位置之间存在差异，通过对差异部分的统计分析，实现运动目标检测。文献【融合高斯混合模型和小波变换的运动目标检测，中国图象图形学报，2011】采用小波变换提取前景纹理，采用混合高斯模型拟合背景图像，解决前景与背景颜色相似导致的误判问题，但方法复杂度高，处理速度较慢。文献【利用时空背景模型的快速运动目标检测方法，中国图象图形学报，2011】改进混合高斯背景建模方法，采用自适应迭代分块策略，运行速度快，但是对复杂背景适应性较差。

在动摄像机条件下，前景运动和背景运动产生混叠，通过对背景运动进行补偿，实现运动目标检测。文献【改进视觉背景提取模型的运动目标检测方法，计算机辅助设计与图形学学报，2014】采用Harris算子检测角点，采用松弛匹配法寻找最佳匹配点，采用多分辨率背景差分方法提取运动目标，实现了抖动摄像机情况下的运动目标准确检测，但对摄像机抖动幅度有严格限制。文献【一种适应相机抖动的运动目标检测方法，电子与信息学报，2013】采用SIFT特征匹配求取全局运动，采用运动历史图检测运动目标，对光线变化和背景干扰适应性强，但是方法复杂、实时性差。文献【MPEG-4视频中运动背景下的目标检测方法，光学学报，2009】采用基于背景宏块运动相似性的全局运动提取方法，方法运行速度快，但受限于区域增长起始位置和矢量编码方式，对于复杂背景条件下的运动目标提取效果不佳。发明专利【一种基于概率模型的运动摄像机自动目标跟踪方法，201110287392.0】采用速度差异函数定位初始运动区域，采用后验概率函数、颜色直方图相似度函数调整目标大小位置，可以有效实现目标跟踪的可靠性，但算法复杂度高，难以满足系统实时性的要求。发明专利【一种针对移动摄像机的背景减除方法，201310002984.2】提出一种基于改进后的时空高斯模型的非全景背景模型，通过将当前帧图像划分为重叠区域与新增区域，利用新增区域更新背景模型，利用重叠区域进行运动目标提取，但此方法背景建模比较复杂，系统实时性差。

目前，视频监控质量正逐渐从传统的标清视频向高清视频转变，视频质量的大幅提高为其有效分析提供了极大的便利，但分析数据的倍增使得现有识别方法无法适应系统实时性的要求。部分方法采用视频流中包含的运动矢量信息以提高视频分析效率。发明专利【基于运动矢量的移动侦测方法，201110206836.3】提出了一种利用运动矢量邻域特性判断物体边缘进而进行运动分割的运动目标提取方法，但是该方法并未对动摄像机情况下全局运动矢量进行考虑。发明专利【基于运动矢量的目标检测方法，201210218165.2】提出了一种根据目标状态更新背景模型，进而实现目标检测的方法，但此方法并未考虑摄像机运动和背景噪声对运动矢量的影响。

发明内容

针对现有基于运动矢量的视频分析方法对全局运动和背景噪声考虑不周的问题，本发明特提出一种基于运动矢量的高速运动目标检测方法。首先根据监控视频的码流格式和解码特点，从视频流中直接提取运动矢量，进行运动矢量规范化；然后估计和补偿全局运动；最后通过对运动矢量统计特征的分析，实现高速运动目标的快速检测。

方法流程如图1所示。具体步骤如下：

1、运动矢量提取与规范化

运动矢量提取的目的是为了充分利用视频码流中的有效信息，便于实现系统的实时性。

运动矢量规范化的目的是为了解决视频编码多参考帧问题，便于对运动矢量特征的准确提取。

首先提取当前视频码流中的运动矢量信息，得到当前帧的运动矢量图，然后提取当前帧各宏块的参考帧信息，接着对运动矢量进行如下规范化处理：

(1)

其中，表示当前帧内坐标为的宏块相对前1帧的运送矢量，表示当前帧内坐标为宏块相对前帧的运动矢量，一般的。

2、全局运动估计

通过统计视频码流中运动矢量的方向特征，求取全局运动，无需特征点求取和匹配，计算简捷，速度快。基于运动矢量方向特征的全局运动估计的实现流程为：

(1)提取当前帧的规范化运动矢量；

(2)标记当前帧宏块属性，分别表示16×16的帧间编码宏块、16×8的帧间编码宏块、8×8的帧间编码宏块和帧内编码宏块、其中下标表示宏块在当前帧的位置；

(3)对的所有宏块的运动矢量按、进行方向直方图统计，如图3所示。

对于存在全局运动的视频图像，、方向直方图具有类高斯分布特性，如图3(c)和3(d)所示。采用判定高斯分布的准则对提取到的、方向直方图进行判定，如果直方图被判定为类高斯分布，则将该高斯分布的中心作为当前视频帧在该方向上的全局运动估计，当前视频帧在、方向上的全局运动估计、组成了当前帧的全局运动矢量。

3、全局运动补偿

全局运动补偿有助于运动目标的准确分割，以块为基本单位求取的运动矢量存在误差，采用邻域补偿法减小此误差，邻域范围取为4像素。

视频图像的运动矢量可分为三类：复杂背景、简单背景和运动目标区域的运动矢量。其中，复杂背景区域的运动矢量与全局运动相符；由于简单背景区域的纹理特征不明显、相似度高，其运动矢量集中在附近。针对以上特点，采用如下规则进行全局运动补偿：

（1）将所有满足且的宏块的运动矢量，补偿为；

（2）将所有满足且的宏块的运动矢量，补偿为；

（3）对于所有拥有非零的宏块，若其8邻域内宏块的运动矢量均为，则补偿为；

（4）所有帧内编码宏块，设定其运动矢量为；

（5）其它宏块的运动矢量，按照公式(2)补偿。

(2)

对于监控视频中某帧，运动矢量补偿结果如图4，通过运动矢量补偿之后，目标特性更清晰。

4、运动目标分割，实现高速运动目标的快速检测

在分析运动矢量特性的基础上，采用基于运动矢量模值的目标分割方法，实现面向动摄像机的高速运动目标检测，其中高速目标是指运动速度明显大于摄像机运动速度的运动目标，实现过程为：

（1）提取全局运动补偿后运动矢量的模值。

(3)

（2）给定阈值，遍历运动矢量模值，获得两类运动矢量的概率和。

(4)

其中，表示模值小于的运动矢量个数，表示模值大于的运动矢量个数。为运动矢量总个数，即。

（3）计算两类运动矢量灰度均值

(5)

其中，表示一帧图像中所有模值小于的运动矢量模值和，表示一帧图像中所有模值大于的运动矢量模值和。

（4）计算类间方差

(6)

(1)（5）遍历的所有可能取值，寻找使得最大的作为最优阈值。

(7)

（6）以为阈值对运动矢量幅值图进行分割。

（7）对分割结果进行闭运算，并以为阈值选取有效连通区域，受拍摄设备初始条件影响。其中表示当前监控场景中运动目标的一般高度，为监控摄像机高度，为目标图像大小比例系数。

(8)

本发明的优点在于能够直接利用压缩视频数据中运动矢量内含的运动信息，大幅提高压缩视频运动目标提取的速度，同时有效提升动摄像机环境下的高速运动目标检测性能。

附图说明

图1方法流程示意图；

图2 运动矢量规范化示意图；

图3 运动矢量直方图统计图；

图4 全局运动补偿示意图；

图5 运动目标分割实验效果对比图。

具体实施方式

一种基于运动矢量的高速运动目标检测方法。首先从视频流中直接提取运动矢量，进行运动矢量规范化；然后提取和补偿全局运动；最后通过对运动矢量统计特征的分析，实现高速运动目标的快速检测。具体步骤包括：

步骤一、运动矢量提取与规范化；

步骤二、全局运动估计；

步骤三、全局运动补偿；

步骤四、运动目标分割，实现高速运动目标的快速检测。

图5为运动目标分割实验结果图，其中图 (e)~(h)为背景差法实验结果，图(i)~(l)为帧差法实验结果，图(m)~(p)为本文方法的实验结果。本文方法提取的运动目标更完整、准确，受光照、噪声、摄像机运动和背景复杂度的影响较小。

Claims (2)

1.基于运动矢量的高速运动目标检测方法，首先根据监控视频的码流格式和解码特点，从视频流中直接提取运动矢量；然后进行运动矢量规范化，并估计场景的全局运动参数；最后通过对运动矢量统计特征的分析，实现高速运动目标的快速检测，其特征在于：具体步骤包括：

步骤一、运动矢量提取与规范化；

步骤二、全局运动估计；

步骤三、全局运动补偿；

步骤四、运动目标分割，实现高速运动目标的快速检测；

所述运动矢量提取与规范化，具体包括：

首先提取当前视频码流中的运动矢量信息，得到当前帧的运动矢量图，然后提取当前帧各宏块的参考帧信息，接着对运动矢量进行如下规范化处理：

$({\mathrm{MV}}_{x1},{\mathrm{MV}}_{y1})=(\frac{{\mathrm{MV}}_{xj}}{j},\frac{{\mathrm{MV}}_{yj}}{j})---\left(1\right)$

其中，(MV_x1,MV_y1)表示当前帧内坐标为(x,y)的宏块相对前1帧的运动矢量，(MV_xj,MV_yj)表示当前帧内坐标为(x,y)宏块相对前j帧的运动矢量，j≤5；

所述全局运动估计，其具体流程为：

(3.1)提取当前帧的规范化运动矢量；

(3.2)标记当前帧宏块属性attribute_a,b∈{1,2,3,4}，分别表示16×16的帧间编码宏块、16×8的帧间编码宏块、8×8的帧间编码宏块和帧内编码宏块，其中下标a,b表示宏块在当前帧的位置；

(3.3)对attribute_a,b＝1的所有宏块的运动矢量按X、Y进行方向直方图统计，得到全局运动的估计(μ_X,μ_Y)；

所述全局运动补偿，具体流程如下：

(4.1)将所有满足μ_X-4≤MV_x1≤μ_X+4且μ_Y-4≤MV_y1≤μ_Y+4的宏块的运动矢量(MV_x,MV_y)，补偿为(0,0)；

(4.2)将所有满足-4≤MV_x1≤4且-4≤MV_y1≤4的宏块的运动矢量(MV_x,MV_y)，补偿为(0,0)；

(4.3)对于所有拥有非零(MV_x1,MV_y1)的宏块，若其8邻域内宏块的运动矢量均为(0,0)，则(MV_x,MV_y)补偿为(0,0)；

(4.4)所有帧内编码宏块，设定其运动矢量(MV_x,MV_y)为(0,0)；

(4.5)其它宏块的运动矢量(MV_x,MV_y)，按照公式(2)进行补偿；

(MV_x,MV_y)＝(MV_x1-μ_X,MV_y1-μ_Y) (2)

所述运动目标分割，具体流程如下：

(5.1)提取全局运动补偿后运动矢量的模值；

$MV=\sqrt{{{\mathrm{MV}}_x}^2+{{\mathrm{MV}}_y}^2}---\left(3\right)$

(5.2)给定阈值MV_t，遍历运动矢量模值，获得两类运动矢量的概率p和q，

$p=\frac{U}{W},q=\frac{V}{W}---\left(4\right)$

其中，U表示模值小于MV_t的运动矢量个数，V表示模值大于MV_t的运动矢量个数，W为运动矢量总个数，即W＝U+V；

(5.3)计算两类运动矢量灰度均值

${\mathrm{\μ}}_0=\frac{{\mathrm{sum}}_1}{U},{\mathrm{\μ}}_1=\frac{{\mathrm{sum}}_2}{V}---\left(5\right)$

其中，sum₁表示一帧图像中所有模值小于MV_t的运动矢量模值和，sum₂表示一帧图像中所有模值大于MV_t的运动矢量模值和；

(5.4)计算类间方差；

σ²＝p×q×(μ₀-μ₁)² (6)

(5.5)遍历MV_t的所有可能取值，寻找使得σ²最大的MV_t作为最优阈值TH；

$TH=\arg \underset{{\mathrm{MV}}_i}{max}\left({\mathrm{\σ}}^2\right)---\left(7\right)$

(5.6)以TH为阈值对运动矢量幅值图进行分割；

(5.7)对分割结果进行闭运算，并以TH_s为阈值选取有效连通区域，TH_s受拍摄设备初始条件影响，其中h_mean表示当前监控场景中运动目标的一般高度，H_c为监控摄像机高度，K为目标图像大小比例系数

${\mathrm{TH}}_s=K\×\frac{h_{mean}}{H_c}---\left(8\right).$

2.根据权利要求1所述的基于运动矢量的高速运动目标检测方法，其特征在于，所述直方图统计采用判定高斯分布的3σ准则对提取到的X方向直方图和Y方向直方图进行判定，如果直方图被判定为类高斯分布，则将该高斯分布的中心作为当前视频帧在该方向上的全局运动估计，当前视频帧在X、Y方向上的全局运动估计μ_X、μ_Y组成了当前帧的全局运动矢量(μ_X,μ_Y)。