CN104123733A - 一种基于块匹配的运动检测及降低错误率的方法 - Google Patents

Abstract

本发明公开了一种基于块匹配的运动检测及降低错误率的方法，主要包括以下步骤：获取图像序列，包括t-1时刻、t时刻的帧图像；对t-1时刻与t时刻的帧图像进行块匹配算法，找出每个block的运动向量；对t-1时刻到t时刻的向量进行异常点检测，并予以修正；对修正后的图像中的向量进行聚类。本发明能有效的在运动背景的视频中达到较好的效果，尤其是克服了在摄像机跟随运动前景移动时，前景在画面中移动距离小于背景移动距离时的特殊情况，本发明能有效适应不同的拍摄方式，通过异常点检测，避免了由于相邻帧中的遮挡问题导致的误匹配问题。

Description

一种基于块匹配的运动检测及降低错误率的方法

技术领域:

本发明属于图像处理与计算机视觉技术领域，具体涉及一种基于块匹配的运动检测及降低错误率的方法。

背景技术:

运动目标检测是智能电视视频的系统中各项智能分析处理的基础与关键的所在，他的目的是在序列图像中检测出变化的区域并将运动的目标从背景的图像中提取出来，为后续的运动目标识别、跟踪以及行为分析，深度赋值等算法提供了支持。

目前,常用的运动目标检测算法主要有帧间差分法、光流法、背景差分法。其中帧间差分法计算简单实时性强，但是其计算误差较大，无法处理背景移动的情况，应用范围非常受限。背景差分是通过提取场景中的特征数据来对该场景背景进行背景参考图像的构建，将当前帧与构建的背景参考图像相减，再对差值结果进行阈值的判决，从而分割出运动前景，其在计算速度与检测精度上有着不错的效果。但是背景差法检测精度取决于背景图像构建的精度，即构建背景参考图像时候需要能够真实反映当前场景，且参数的实时更新能否反映背景的变化，这些背景的变化有：光照的变化(包括缓慢的光照变化和光照的突变等)，背景中随风摆动的树叶、云、烟、雨、雾等运动的物体，以及摄像机的抖动和阴影问题等，同时背景减法也不能处理背景运动的情况。由于构建背景参考的图像需要考虑这些困难的因素，使得目前构建一个不错背景建模以及自适应的背景图像更新算法成为一项比较困难的工作。

由于视频序列图像在时间上相邻帧间具有较强的相关性，运动估计(ME)以及运动补偿(MC)技术可以有效的减少时间相关性。运动估计用来估计物体的位移，得到运动矢量；运动补偿根据得到的运动矢量，对前一帧中由于运动而产生的位移进行调整，从而得到尽可能接近本帧的预测帧。因此运动估计算法越完善，估计出的运动矢量越准确，运动补偿性能就越好，从而使得预测误差越小。

块匹配法是视频压缩中的算法，用以利用相邻帧间的相关性来提高视频的压缩比，但其中的块匹配法的应用不知此，块匹配法同样可以用在运动检测的算法中，因为图像中的运动物体在相邻帧间存在位移关系，可以用向量表示，其长短就是运动的距离，通常情况下前景物体的运动向量长度较长，而背景中的运动向量较短，从而利用块匹配法可以有效解决背景运动的场景，实用性较强。

发明内容:

本发明是针对解决背景移动的视频中提取前景运动背景的算法，提供一种基于块匹配的运动检测及降低错误率的方法，在视频序列中帧与帧之间存在相同的信息，同一个模块在相邻帧之间存在移动，从而产生移动向量；通常情况下前景的移动较快，背景移动较慢，所以在相邻帧间，前景的向量较长，背景的较短。

本发明采用的技术方案是：

一种基于块匹配的运动检测及降低错误率的方法，其特征在于，主要包括以下步骤：

(A)：获取图像序列，包括t-1时刻、t时刻的帧图像；

(B)：对t-1时刻与t时刻的帧图像进行块匹配算法，找出每个block的运动向量；

(C)：对t-1时刻到t时刻的向量进行异常点检测，并予以修正；

(D)：对修正后的图像中的向量进行聚类。

所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤B的具体步骤如下：

(1)对步骤A中提取的视频图像中的t-1时刻、t时刻的图像进行分割成M*N的宏块；

(2)根据使SAD算法的值最小的准则，在t-1帧或t帧中在给定的搜索范围内找出与当前块最相似的块，即匹配块：

SAD(v_x，v_y)＝Σ_(x，y)∈B|I_t-1(x，y)-I_t(x+v_x，y+v_y)|    (1)

其中I_t(x+v_x,y+v_y)为t时刻的帧图像在(x+v_x,y+v_y)位置的灰度值，I_t-1(x,y)为t-1时刻的帧图像位于(x,y)位置的灰度值，v_x与v_y是向量的横坐标与纵坐标，B为图像的搜索范围(search range)；

(3)根据匹配块与当前块的相对位置计算出运动位移，所得运动位移即为当前运动块的运动矢量，计算出每个宏块的运动向量vector(x，y)＝(v_x，v_y)。

所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤C的具体步骤如下：

(1)假设当前向量为v₀向量，根据v₀向量周围的八个向量判断确定v₀向量是否为异常向量，判断标准为式(2)：

D₀>D_m        (2)；

其中D₀＝||v_o-v_m||即v₀与周边向量的均值v_m之差的模，即v₀的周边向量与v_m的差的模的均值，其中

若不符合判断标准(2)，则根据公式(3)、(4)、(5)来对属于异常向量的运动向量进行修正，得到修正后的v_oc；

$D_{0c}=\frac{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)D_i}{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)}---\left(3\right)$

${D_{0c}}^2={(x_m+\frac{a}{2})}^2+{(y_m+\frac{a}{2})}^2---\left(4\right)$

$v_{\mathrm{oc}}=(x_m+\frac{a}{2},y_m+\frac{a}{2})---\left(5\right);$

其中(3)式中D_0C为修正后的D₀，(4)式中的为修正后的D_0C与D₀的偏差在横坐标与纵坐标上的偏移量，(5)式的v_0C为修正后的向量v₀。

所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤D的具体步骤如下：

(1)前景与后景宏块的移动距离是不同的，前景是运动物体，所以移动的向量长度相对较长

${\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{object}}>{\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{background}}---\left(6\right)$

其中为前景物体的运动向量的模，为背景中的运动向量的模。

找到图中最长向量并将其所在的搜索范围s1设为前景；

(2)以s1的边界上的向量为中心，若以边界上的向量为中心的搜索范围内所有向量长度与中心向量存在以下关系，则将该搜索范围设定为前景s2：

其中为搜索区域的中心向量，为搜索区域内除了中心向量以外的其他向量，为中心向量及其周围的八个向量的长度的平均长度；

(3)重复上述过程直到无法继续扩张为止；

(4)在图片剩余的向量中寻找新的并且重复上述过程。

本发明的优点是：

本发明能有效的在运动背景的视频中达到较好的效果，尤其是克服了在摄像机跟随运动前景移动时，前景在画面中移动距离小于背景移动距离时的特殊情况，本发明能有效适应不同的拍摄方式，通过异常点检测，避免了由于相邻帧中的遮挡问题导致的误匹配问题。

附图说明:

图1为整个算法的流程图。

图2为图中v₀向量，及其周围八个向量v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈。

图3为九个向量及其向量之间差的关系。

具体实施方式:

一种基于块匹配的运动检测及降低错误率的方法，主要包括以下步骤(如图1)：

(A)：获取图像序列，包括t-1时刻、t时刻的帧图像；

(B)：对t-1时刻与t时刻的帧图像进行块匹配算法，找出每个block的运动向量；

(C)：对t-1时刻到t时刻的向量进行异常点检测，并予以修正；

(D)：对修正后的图像中的向量进行聚类。

所述的一种基于块匹配的运动检测及降低错误率的方法，所述的步骤B的具体步骤如下：

(1)获取图像序列，包括t-1时刻、t时刻的帧图像，将每一帧的图像划分每一块为n×n的宏块；

(2)由于相邻帧的相似性，对当前帧中的每一块根据一定的匹配准则在前一帧或者后一帧中在给定的搜索范围内寻找与当前块最相似的块，即匹配块。即是将下式值最小的向量，然后根据匹配块与当前块的相对位置计算出运动位移，即运动矢量。而搜索最相似的块是通过搜索使得SAD函数最小的宏块，而当SAD最小的时候,其中的v_x，v_y就是该宏块的运动向量的横竖坐标分量：

SAD(v_x，v_y)＝Σ_(x，y)∈B|I_t-1(x，y)-I_t(x+v_x，y+v_y)|   (1)

$\stackrel{\→}{\mathrm{MV}}=\arg \min \mathrm{SAD}(I_{t-1}(x,y),I_t(x+v_x,y+v_y))---\left(2\right)$

其中I_t(x+v_x,y+v_y)为t时刻的帧图像在(x+v_x,y+v_y)位置的灰度值，I_t-1(x,y)为t-1时刻的帧图像位于(x,y)位置的灰度值，v_x与v_y是向量的横坐标与纵坐标，B为图像的搜索范围(search range)；

(3)重复上述操作，直到将图像中的每个block的向量均计算出来。

所述的一种基于块匹配的运动检测及降低错误率的方法，所述的步骤C的具体步骤如下：

(1)由于前后帧中由于遮挡问题，会有一些block出现不能匹配而产生的异常向量，这些向量与周围向量之间会有很明显的变化，过度非常不自然，如图2所示，v₀，v₁，v₂，v₃，v₄，v₅，v₆，v₇，v₈为图中几个相邻的block的运动向量，如图3所示，是相邻向量及相邻差的绝对值的关系图，判断v₀是否是异常点的方法是判断D₀>D_m是否成立，若成立，则v₀为异常点。其中

$v_m=\frac{1}{8}\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{v}_i---\left(3\right)$

D₀＝||v_o-v_m||             (4)

$D_m=\frac{1}{8}\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\left|\right|v_i-v_m\left|\right|---\left(5\right)$

D₀＝||v_o-v_m||即v₀与周边向量的均值v_m之差的模，即v₀的周边向量与v_m的差的模的均值。

(2)若D₀>D_m成立，则该向量为异常向量，反之为正常向量；

(3)若v₀为异常向量则用如下式子求出纠正后的D₀，即D_0c

$D_{0c}=\frac{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)D_i}{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)}---\left(6\right)$

又根据向量长度的定义有：

${D_{0c}}^2={(x_m+\frac{a}{2})}^2+{(y_m+\frac{a}{2})}^2---\left(7\right)$

所以根据以上式子求出x_m，y_m，以及a，即可求出修正后的v₀，即v_oc

$v_{\mathrm{oc}}=(x_m+\frac{a}{2},y_m+\frac{a}{2})---\left(8\right)$

其中(6)式中D_0C为修正后的D₀，(7)式中的为修正后的D_0C与D₀的偏差在横坐标与纵坐标上的偏移量，(8)式的v_0C为修正后的向量v₀；

(4)重复以上步骤，即可将图中异常点修正。

所述的一种基于块匹配的运动检测及降低错误率的方法，所述的步骤D的具体步骤如下：

(1)当摄像头伴随前景物体移动的时候，图中后景也会在移动，这就造成了图中的前景与后景的宏块在相邻的帧之间均有相对的移动，即产生了运动向量；但是前景与后景宏块的移动距离是不同的，前景是运动物体，所以移动的向量长度相对较长，所以在图中适当选取较长的向量即可找出运动的宏块，即

${\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{object}}>{\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{background}}---\left(9\right)$

其中为前景物体的运动向量的模，为背景中的运动向量的模。

找到图中最长向量并将其所在的搜索范围(search range)s1设为前景。

(2)以s1的边界上的向量为中心，若以边界上的向量为中心的搜索范围内所有向量长度与中心向量存在以下关系，则将该搜索范围设定为前景s2。

其中为搜索区域的中心向量，为搜索区域内除了中心向量以外的其他向量，为中心向量及其周围的八个向量的长度的平均长度；

(3)重复上述过程直到无法继续扩张为止

(4)在图片剩余的向量中寻找新的并且重复上述过程。

Claims (4)

1.一种基于块匹配的运动检测及降低错误率的方法，其特征在于，主要包括以下步骤：

(A)：获取图像序列，包括t-1时刻、t时刻的帧图像；

(B)：对t-1时刻与t时刻的帧图像进行块匹配算法，找出每个block的运动向量；

(C)：对t-1时刻到t时刻的向量进行异常点检测，并予以修正；

(D)：对修正后的图像中的向量进行聚类。

2.根据权利要求1所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤B的具体步骤如下：

(1)对步骤A中提取的视频图像中的t-1时刻、t时刻的图像进行分割成M*N的宏块；

(2)根据使SAD算法的值最小的准则，在t-1帧或t帧中在给定的搜索范围内找出与当前块最相似的块，即匹配块：

SAD(v_x，v_y)＝Σ_(x，y)∈B|I_t-1(x，y)-I_t(x+v_x，y+v_y)|     (1)

其中I_t(x+v_x,y+v_y)为t时刻的帧图像在(x+v_x,y+v_y)位置的灰度值，I_t-1(x,y)为t-1时刻的帧图像位于(x,y)位置的灰度值，v_x与v_y是向量的横坐标与纵坐标，B为图像的搜索范围；

(3)根据匹配块与当前块的相对位置计算出运动位移，所得运动位移即为当前运动块的运动矢量，计算出每个宏块的运动向量vector(x，y)＝(v_x，v_y)，其中v_x与v_y是向量的横坐标与纵坐标。

3.根据权利要求1所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤C的具体步骤如下：

(1)假设当前向量为v₀向量，根据v₀向量周围的八个向量判断确定v₀向量是否为异常向量，判断标准为式(2)：

D₀>D_m     (2)；

其中D₀＝||v_o-v_m||即v₀与周边向量的均值v_m之差的模，|即v₀的周边向量与v_m的差的模的均值，其中

若不符合(2)式的判断标准，则根据公式(3)、(4)、(5)来对属于异常向量的运动向量进行修正，得到修正后的v_oc；

$D_{0c}=\frac{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)D_i}{{\mathrm{\Σ}}_{i=1}^8(D_i-D_m)}$

${D_{0c}}^2={(x_m+\frac{a}{2})}^2+{(y_m+\frac{a}{2})}^2---\left(4\right)$

$v_{\mathrm{oc}}=(x_m+\frac{a}{2},y_m+\frac{a}{2})---\left(5\right)$

其中(3)式中D_0C为修正后的D₀，(4)式中的为修正后的D_0C与D₀的偏差在横坐标与纵坐标上的偏移量，(5)式的v_0C为修正后的向量v₀。

4.根据权利要求1所述的一种基于块匹配的运动检测及降低错误率的方法，其特征在于，所述的步骤D的具体步骤如下：

(1)前景与后景宏块的移动距离是不同的，前景是运动物体，所以移动的向量长度相对较长

${\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{object}}>{\left|\stackrel{\→}{\mathrm{MV}}\right|}_{\mathrm{background}}---\left(6\right)$

其中为前景物体的运动向量的模，为背景中的运动向量的模。

找到图中最长向量并将其所在的搜索范围s1设为前景；

(2)以s1的边界上的向量为中心，若以边界上的向量为中心的搜索范围内所有向量长度与中心向量存在以下关系，则将该搜索范围设定为前景s2：

其中为搜索区域的中心向量，为搜索区域内除了中心向量以外的其他向量，为中心向量及其周围的八个向量的长度的平均长度；

(3)重复上述过程直到无法继续扩张为止；

(4)在图片剩余的向量中寻找新的并且重复上述过程。