CN103729857A

CN103729857A - 一种基于二次补偿的移动相机下运动目标检测方法

Info

Publication number: CN103729857A
Application number: CN201310662856.0A
Authority: CN
Inventors: 陈钱; 汪鹏程; 陆恺立; 龚文彪; 廖逸琪; 顾国华; 徐富元; 钱惟贤; 任侃
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2013-12-09
Filing date: 2013-12-09
Publication date: 2014-04-16
Anticipated expiration: 2033-12-09
Also published as: CN103729857B

Abstract

本发明公开了一种基于二次补偿的移动相机下运动目标检测方法。本发明方法将输入的视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，在静止背景下检测出运动目标。本发明方法具有检测精度高、计算速度快、鲁棒性高等优点。

Description

一种基于二次补偿的移动相机下运动目标检测方法

技术领域

本发明属于图像探测与处理领域，具体涉及一种基于二次补偿的移动相机下运动目标检测方法。

背景技术

移动相机下的目标检测技术，可以通过运动补偿技术消除图像序列中的背景运动，将移动背景下的运动目标检测问题转化为静止背景下的运动目标检测问题。目前运动补偿技术是采用特征点匹配的方法进行的，首先对相邻两帧图像进行特征点检测，然后通过特征点匹配的方法获得匹配点对，从而得到相邻两帧之间的变换矩阵，最后进行运动补偿。一种典型的运动补偿技术是在两帧图像上寻找特征点，例如Harris、SIFT或SURF特征点，并生成128维的特征描述向量，然后在两个特征点集合之间按照特征描述向量的欧氏距离最小准则进行最邻近搜索，这种方法虽然可以获得较高精度的点匹配，但是却有很大的时间消耗，单次匹配时间达到了秒量级，明显不适于实时性要求较高的场合。另外一种典型的运动补偿方法是计算图像序列的金字塔LK光流，通过计算图像KLT特征点的位移量（光流），得到两幅图像间的匹配点对。由于采用了最优化搜索的方法，使得匹配工作不需要全局进行，从而一定程度上提高了算法的速度，但图像金字塔部分是算法的瓶颈，复杂度仍然很高。

发明内容

本发明提供一种基于二次补偿的移动相机下运动目标检测方法，解决了传统方法计算复杂度高、运算耗时的问题。

本发明为解决上述技术问题的技术方案是，提出一种基于二次补偿的移动相机下运动目标检测方法，将视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，然后在静止背景下检测出运动目标。

本发明与现有技术相比，其显著优点为：（1）该方法将图像序列的背景运动分为平移分量和仿射分量两部分，分别利用相位相关法和LK光流法进行补偿。其复杂度有较明显的减少，从而使得本发明方法的硬件实时实现成为可能。（2）本发明方法提出分层求解算法，充分利用RANSAC的鲁棒性以及图像的背景特征，能够快速获得单应矩阵估计。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明方法流程图。

图2是待处理的视频图像序列的相邻两帧图像，其中，图2(a)是前帧图像，图2(b)是后帧图像。

图3是使用本发明方法获得的运动目标检测效果图。

图4是使用本发明方法获得运动目标之后在图2（a）中对运动目标进行标示。

具体实施方式

结合图1，本发明提出的基于二次补偿的移动相机下运动目标检测方法，通过将输入的视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，在静止背景下检测出运动目标。

实现上述基于二次补偿的移动相机下运动目标检测方法的具体实施步骤如下：

（1）计算相邻两帧图像I_k(x，y)和I_k+1(x，y)的互功率谱,计算方式如下:

其中(x，y)为图像像素点坐标，F_k(ξ，η)和F_k+1(ξ，η)分别为两帧图像的二维傅里叶变换， (ξ，η)为频域坐标，

为F_k(ξ，η)的共轭。

根据傅里叶变换的时域平移特性，互功率谱又可以写为

cps(ξ，η)＝e^{-j2π(ξu+ηv)},

对上式进行傅里叶逆变换可得相位相关函数

cps(x，y)＝δ(x-u，y-v)，

相位相关函数是一个在平移量(u，v)处的单位脉冲函数，它在(u，v)处不为0，而在其他位置都是0。求取相位相关函数的峰值位置即得到两幅图像之间的平移量(u，v)，并对图像I_k(x，y)进行平移变换消除图像序列背景运动中的平移分量，实现一次补偿。

（2）检测一次补偿后图像的KLT角点，根据下式计算图像序列的LK光流d，从而获得相邻两幅图像之间的匹配点对,

Zd＝e

上式中，

z = \underset{w}{Σ} g (x) g^{T} (x) w (x),

是一个2×2的矩阵，

e = \underset{w}{Σ} [I (x) - J (x)] g (x) w (x) e,

是2×1的矩阵，其中

I(x)和J(x)为相邻两幅图像，w(x)为权重。

（3）利用相邻图像间的匹配点来估算单应矩阵通常采用RANSAC方法。考虑到实际视频中存在背景聚集效应，匹配率不会太低，如此RANSAC迭代方法较为耗时。本发明提出了一种分层求解算法，充分利用RANSAC的鲁棒性以及图像的背景特征，能够快速获得单应矩阵估计，流程如下：

(i)利用RANSAC方法计算当前KLT匹配点所满足的单应矩阵H；

(ii)将KLT匹配点代入下式，计算KLT匹配点的单应矩阵残差ε，

ε＝|x_k+1-Hx_k]

其中，x_k和x_k+1分别为相邻两帧图像上的匹配点。若单应矩阵残差ε小于预先设定的残差判断阈值T₁，则保留该匹配点，否则予以剔除；

(iii)若步骤(ii)保留的匹配点数量大于预先设定的匹配点数量判断阈值T₂，则直接输出步骤(i)中计算获得的单应矩阵H，流程结束；否则重复(i)和(ii)直至步骤(ii)保留的全部KLT匹配点的单应矩阵残差ε小于残差判断阈值T₁时，输出步骤(i)中计算获得的单应矩阵H。

（4）获得单应矩阵H之后，对图像序列进行单应矩阵变换消除图像序列背景运动中的仿射分量，实现二次补偿，然后在静止背景下检测运动目标。

本发明采用运动历史图像(MHI)方法在静止背景下检测运动目标。

首先，如下式计算帧间差分图像

D_k＝|I_k-I_k±Δ|

其中，减号表示前向MHI，而加号表示后向MHI，Δ表示差分间隔，一般可以取1，I_k和I_k±Δ为运动补偿后的图像。求取MHI是一个不断更新的过程，以前向MHI图像HF_k为例，其计算过程递推如下

{HF}_{k} (x, y) = \{\begin{matrix} \max (0, {HF}_{k - 1} (x, y) - τ) & if D_{k} (x, y) < T \\ 255 & if D_{k} (x, y) &GreaterEqual; T \end{matrix}

上式中的τ为衰减量，表示离当前帧越远的图像对最终目标检测的影响将会越来越小，一般可取τ＝255/L，其中L为MHI长度，T为差分图像灰度阈值。MHI图像初始值可以为0，即

HF_k-(L-1)＝0，HB_k+(L-1)＝0

求得了前向MHI图像HF_k和后向MHI图像HB_k之后，对这两幅图像中值滤波，滤除椒盐噪声，取它们中的较小值作为最终的检测结果，计算方式如下：

M_k＝min(medfilt(HF_k)，medfilt(HB_k))

本发明的效果可以通过以下仿真结果作进一步说明：

图2是从拍摄的公路上运动车辆的视频中截取出来的相邻两帧图像，可以明显看出，相机移动导致原来静止的背景也有一定的运动。根据本发明提出的基于二次补偿的移动相机下运动目标检测方法，检测结果M_k如图3所示，视频图像中运动的汽车能够被有效地检测出来，图4将检测出的目标用矩形框框出。

为了说明本发明在计算速度上的优势，使用本发明方法、Harris角点配准方法和金字塔LK光流方法进行仿真实验，各方法对相同的100帧图像进行目标检测，如图5统计了各方法对每帧图像进行处理时的运算时间。Harris角点配准方法处理单帧图像的平均运算时间约为8.785s，金字塔LK光流算法处理单帧图像的平均运算时间约为3.172s，而本发明方法处理单帧图像的平均运算时间约为1.066s。可以看出，本发明方法的计算速度相对于Harris角点配准方法提高了8倍，相对于金字塔LK光流算法提高了1倍多。

Claims

1.一种基于二次补偿的移动相机下运动目标检测方法，其特征在于，将视频图像序列的背景运动分为平移分量和仿射分量两部分分别进行补偿，从而估计并消除相机移动所引起的图像背景运动，将运动背景下的目标检测转化为静止背景下的目标检测，然后在静止背景下检测出运动目标。

2.根据权利要求1所述的基于二次补偿的移动相机下运动目标检测方法，其特征在于，输入视频图像序列的相邻两帧图像I_k和I_k+1，利用相位相关法计算两帧图像之间的平移量(u，v)，并对图像I_k进行平移变换消除图像序列背景运动中的平移分量，实现一次补偿；计算一次补偿后图像序列中每帧图像的KLT角点以及相邻两帧图像之间的LK光流，获得相邻两帧图像之间的KLT匹配点；估计出相邻两帧图像之间的单应变换矩阵H，对图像序列进行单应矩阵变换消除图像序列背景运动中的仿射分量，实现二次补偿，然后在静止背景下检测运动目标。

3.根据权利要求2所述的基于二次补偿的移动相机下运动目标检测方法，其特征在于，估计相邻两帧图像之间的单应变换矩阵H的过程为，

3.1利用RANSAC方法计算当前KLT匹配点所满足的单应矩阵H；

3.2计算KLT匹配点的单应矩阵残差ε，若单应矩阵残差ε小于预先设定的残差判断阈值T₁，则保留该匹配点，否则予以剔除，计算KLT匹配点的单应矩阵残差ε的计算公式如下所示：

ε＝|x_k+1-Hx_k]

式中，x_k和x_k+1分别为相邻两帧图像的匹配点；

3.3计算步骤3.2中保留的匹配点的数量，若保留的匹配点的数量大于预先设定的匹配点数量判断阈值T₂，则直接输出步骤3.1中计算获得的单应矩阵H，步骤3结束；否则，重复步骤3.1和3.2直至步骤3.2保留的全部KLT匹配点的单应矩阵残差ε小于残差判断阈值T₁时，输出步骤3.1中计算获得的单应矩阵H。

4.根据权利要求2所述的基于二次补偿的移动相机下运动目标检测方法，其特征在于，使用运动历史图像在静止背景下检测运动目标。