CN105975918A - 基于多模型估计的面向移动摄像机的运动目标检测方法 - Google Patents

Abstract

基于多模型估计的面向移动摄像机的运动目标检测方法，涉及计算机视觉技术。对输入视频图像序列预处理，并进行特征提取；从匹配对F中估计出第一个投影变换模型S₁；从匹配对F中提取第二个投影变换模型S₂；分别使用两个变换模型将S₁,S₂把前一帧I_k‑1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂；将前一帧的检测结果M_k‑1作为置信区域，对d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂；将mask₁和mask₂进行逻辑与操作得到二值化图maskAnd_k，再进行形态学处理得到最终的检测结果M_k。

Description

基于多模型估计的面向移动摄像机的运动目标检测方法

技术领域

本发明涉及计算机视觉技术,具体是涉及基于多模型估计的面向移动摄像机的运动目标检测方法。

背景技术

运动目标检测是计算机视觉研究热点之一。根据摄像机的状态，可以分为面向静止摄像机的检测和面向移动摄像机的检测两大类。面向移动摄像机的目标检测，摄像机发生移动和旋转，导致背景和物体同时发生运动，增加了运动目标检测的难度。面向移动摄像机的运动目标检测技术已经广泛应用于自动驾驶和运动目标跟踪,机器人导航中。因此，对计算机视觉中的移动摄像机下运动目标检测技术进行深入研究，不断提高检测的准确率，具有重要的现实意义。

当前计算机视觉领域中的移动摄像机下的运动目标检测主要有3类：光流法、背景减除法和帧间差分法。

光流法的主要思想是图像中背景和运动目标的运动速度不同，两者之间的光流存在较大的差异。因此可以通过分析特征点长期的轨迹来检测和分割运动物体。该方法能较好地适应摄像机移动的情形。但是该方法对图像边缘和噪声十分敏感，同时全局稠密光流的微分和迭代计算量大，无法保证实时性，且存在孔径问题。

背景减除法利用图像配准来动态更新背景模型，通过比较实际图像与背景模型来获取运动目标。该方法能够检测出运动目标的所有像素点，但是该方法对光照变化等十分敏感，容易产生大量错检。

帧间差分法对连续补偿运动摄像机帧的背景进行配准，将目标检测转化为静态背景下的运动物体检测问题，通过前后帧之间的差分图像分离出运动物体。该方法计算简单，精度高，能够较好的适应环境变化较大的情况，但是一般不能获得运动目标的完整轮廓。基于帧间差分的主要方法有Zhou D等人(Zhou D,Wang L,Cai X,et al.Detection of moving targetswith a moving camera[C]//Robotics and Biomimetics(ROBIO),2009IEEE InternationalConference on.IEEE,2009:677-681)提出的基于SIFT特征点和RANSAC的方法和Zhou M等人(Zhou M,Asari V K.Speeded-up robust features based moving object detection onshaky video[M]//Computer Networks and Intelligent Computing.Springer BerlinHeidelberg,2011:677-682)提出的基于SURF特征点和RANSAC的方法。

帧间差分法是否有效的关键在于相邻两帧之间配准的精度，也即能否通过相邻两帧的特征点匹配对较准确地建立两幅图像上背景像素点之间的映射关系，使得前一帧的像素点能正确的投影到当前帧的坐标系下，从而通过帧差检测出运动目标。然而，上述的方法对整个图片使用一个变换模型。这使得它们只适用于整个场景近似为一个平面的情形(例如航拍的视频)。当场景中有多个平面时，容易出现误检和漏检。此外，上述的方法在帧差后进行二值化时对整个场景使用一个相同的阈值，这也会导致检测效果不佳。如果阈值过高，则运动目标容易被漏检，当阈值设置过低时，又容易出现大量背景。

发明内容

本发明的目的在于提供一种基于多模型估计的面向移动摄像机的运动目标检测方法。

本发明包括以下步骤：

A)对输入视频图像序列进行预处理，并进行特征提取，将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对其中x和y为前一帧I_k-1特征点坐标，u和v为当前帧I_k特征点坐标，N_k-1和N_k分别为前一帧和当前帧的特征点数目，N为帧数，N、N_k-1和N_k为自然数；

B)使用RANSAC方法从匹配对F中估计出第一个投影变换模型S₁；

C)使用RANSAC方法从匹配对F中提取第二个投影变换模型S₂；

D)分别使用两个变换模型将S₁,S₂把前一帧I_k-1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂；

E)将前一帧的检测结果M_k-1作为置信区域，对步骤D)得到的两个差分图d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂；

F)将步骤E)得到的两个二值化差分图mask₁和mask₂进行逻辑与操作得到一个二值化图maskAnd_k；

G)将步骤F)得到的二值化图maskAnd_k进行形态学处理得到最终的检测结果M_k。

在步骤A)中，所述对输入视频图像序列进行预处理的具体步骤可为：

A1)对图像进行灰度化处理；

A2)对图像进行一次高斯滤波操作去除噪声；

A3)对图像进行SURF特征提取；

A4)将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对

在步骤B)中，所述从匹配对F中估计出第一个投影变换模型S₁的具体步骤可为：

B1)从匹配对F中随机选取四个匹配对，根据公式：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_3& a_4& a_5\\ a_6& a_7& a_8\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

计算出一个模型假设S_i的9个参数(a₀～a₈)，其中u和v为匹配对中前一帧特征点的坐标，x和y匹配对中当前帧特征点坐标；

B2)计算所有匹配对F相对于模型假设S_i的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_i\·f_{k-1}^i(x,y)-f_k^j(u,v)|$

误差小于阈值threshold₁的匹配对为内点，否则为外点；统计模型假设S_i的内点数

B3)重复步骤B1)和B2)100次，选取内点数最大的模型假设作为第一个投影变换模型S₁：

$S_1=\arg \underset{S_i}{max}\left({\mathrm{Inlier}}_{S_i}\right).$

在步骤C)中，所述从匹配对F中提取第二个投影变换模型S₂的具体步骤可为：

C1)计算所有匹配对F在第一个投影变换模型下的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_1\·f_{k-1}^i(x,y)-f_k^j(u,v)|$

误差小于阈值threshold₁的匹配对为内点，否则为外点。

C2)使用RANSAC方法从步骤C1)得到的第一个投影变换模型S₁的外点中估计出第二个投影变换模型S₂。

在步骤D)中，所述分别使用两个变换模型将S₁,S₂把前一帧I_k-1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂的具体步骤可为：

D1)利用步骤B)估计得到的投影变换模型S₁将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第一个差分图d₁；

D2)利用步骤C)估计得到的投影变换模型S₂将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第二个差分图d₂。

在步骤E)中，所述将前一帧的检测结果M_k-1作为置信区域，对步骤D)得到的两个差分图d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂的具体步骤可为：

E1)将前一帧的检测结果M_k-1的前景区域进行膨胀操作，得到置信图

E2)根据步骤E1)得到的置信图将步骤D1)得到的差分图d₁分为置信区域d_1c和非置信区域d_1n；

E3)根据二值化阈值threshold₂将步骤E2)得到的差分图d₁的置信区域d_1c进行二值化，根据二值化阈值threshold₃将步骤E2)得到的差分图d₁的非置信区域d_1n进行二值化，从而得到二值化差分图mask₁；

E4)根据步骤E1)得到的置信图将步骤D2)得到的差分图d₂分为置信区域d_2c和非置信区域d_2n；

E5)跟据二值化阈值threshold₂将步骤E5)得到的差分图d₂的置信区域d_2c进行二值化，根据二值化阈值threshold₃将步骤E5)得到的差分图d₂的非置信区域d_2n进行二值化，从而得到二值化差分图mask₂。

在步骤G)中，所述将步骤F)得到的二值化图maskAnd_k进行形态学处理的具体步骤可为：

G1)将步骤F)得到的二值化图进行闭运算得到二值化图maskAndClose_k；

G2)将步骤G1)得到的二值化图maskAndClose_k进行开运算得到最终的检测结果M_k。

本发明首先利用RANSAC方法从相邻帧的特征点匹配对中估计出两个变换模型。使用者两个变换模型分别进行一次投影和帧差。然后根据置信区域将两个帧差图的置信区域和非置信区域分别进行二值化。最后将两个二值化帧差图进行逻辑与操作，完成运动目标检测。本发明利用鲁棒模型拟合方法从相邻帧的匹配对中估计出两个模型，也即从场景中提取出两个主平面，从而能够使用于复杂场景下的运动目标检测。两个模型分别进行一次帧差二值化，通过对两个二值化帧差图进行漏记与操作能较好的去除误检。本发明还提出了基于置信区域的帧差图像二值化。对置信区域使用一个较小的二值化阈值，使得运动目标能更加完整的检测出来。对非置信区域使用一个较大的二值化阈值，使得背景能够更好的被去除。另外，本发明使用投影变换模型来描述两帧之间的映射关系。投影变换是一种非线性变换，它比传统方法使用的仿射变换能更好的适应存在严重视差、景深等的场景。

附图说明

图1为本发明实施例的两个变换模型内点分布示意图。其中三角形代表的是第一个投影变换结构的内点，正方形代表的是第二个投影变换模型的内点，十字形代表的是噪声点。

图2为本发明实施例的置信区域图。其中白色区域为置信区域，黑色区域为非置信区域。

图3为本发明实施例的第一个二值化差分图。

图4为本发明实施例的第二个二值化差分图。

图5为本发明实施例的两个二值化差分图进行逻辑与操作的结果图。

图6为本发明实施例的经过形态学处理后的检测结果图。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例的实施方式包括以下步骤：

S1)对输入视频图像序列进行预处理，并进行特征提取。将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对其中x和y为前一帧I_k-1特征点坐标，u和v为当前帧I_k特征点坐标，N_k-1和N_k分别为前一帧和当前帧的特征点数目，数量级通常在10³以上。N为帧数，N、N_k-1和N_k为自然数。

具体包括：对图像进行灰度化处理。

对图像进行一次高斯滤波操作去除噪声。高斯滤波的大小一般取为3×3，标准差一般取为1。

对图像进行SURF特征提取。

将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对

S2)使用RANSAC方法从匹配对F中估计出第一个投影变换模型S₁。

具体包括：从匹配对F中随机选取四个匹配对，根据公式

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_3& a_4& a_5\\ a_6& a_7& a_8\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

计算出一个模型假设S_i的9个参数(a₀～a₈)。其中u和v为匹配对中前一帧特征点的坐标，x和y匹配对中当前帧特征点坐标。

计算所有匹配对F相对于模型假设S_i的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_i\·f_{k-1}^i(x,y)-f_k^j(u,v)|.$

误差小于阈值threshold₁的匹配对为内点，否则为外点。统计模型假设S_i的内点数

重复上述两个步骤100次，选取内点数最大的模型假设作为第一个投影变换模型S₁：

$S_1=\arg \underset{S_i}{max}\left({\mathrm{Inlier}}_{S_i}\right).$

S3)使用RANSAC方法从匹配对F中提取第二个投影变换模型S₂。

具体包括：计算所有匹配对F在第一个投影变换模型下的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_1\·f_{k-1}^i(x,y)-f_k^j(u,v)|.$

误差小于阈值threshold₁(通常1.5≤threshold₁≤3.5)的匹配对为内点，否则为外点。

使用RANSAC方法从步骤S3得到的第一个投影变换模型S₁的外点中估计出第二个投影变换模型S₂。如图1所示，第一个投影变换模型的内点(三角形点)集中分布在水平的地面这一个平面上，第二个投影变换模型点(正方形点)集中分布在竖直的建筑物和数目这一个平面上。

S4)分别使用两个变换模型将S₁,S₂把前一帧I_k-1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂。

具体包括：利用步骤S2估计得到的投影变换模型S₁将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第一个差分图d₁。

利用步骤S3估计得到的投影变换模型S₂将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第二个差分图d₂。

S5)将前一帧的检测结果M_k-1作为置信区域，对步骤S4得到的两个差分图d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂。图3为第一个二值化差分图mask₁，图4为第二个二值化差分图mask₂。

具体包括:将前一帧的检测结果M_k-1的前景区域进行膨胀操作，得到置信图如图2所示，白色部分为置信区域。

根据置信图将步骤S4得到的差分图d₁分为置信区域d_1c和非置信区域d_1n。

根据二值化阈值threshold₂(通常15≤threshold₂≤25)将差分图d₁的置信区域d_1c进行二值化，根据二值化阈值threshold₃(通常30≤threshold₃≤40)将差分图d₁的非置信区域d_1n进行二值化，从而得到二值化差分图mask₁。

根据置信图将步骤S4得到的差分图d₂分为置信区域d_2c和非置信区域d_2n。

跟据二值化阈值threshold₂将差分图d₂的置信区域d_2c进行二值化，根据二值化阈值threshold₃将差分图d₂的非置信区域d_2n进行二值化，从而得到二值化差分图mask₂。

S6)将步骤S5)得到的两个二值化差分图mask₁和mask₂进行逻辑与操作得到一个二值化图maskAnd_k。如图5所示，其中黑色区域为背景，白色区域为检测出的运动目标位置。

S7)将步骤S6得到的二值化图maskAnd_k进行形态学处理得到最终的检测结果M_k。

具体包括：将步骤S6得到的二值化图进行闭运算得到二值化图maskAndClose_k。

将二值化图maskAndClose_k进行开运算得到最终的检测结果M_k。如图6所示,其中黑色区域为背景，白色区域为检测出的运动目标位置。

Claims (7)

1.基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于包括以下步骤：

A)对输入视频图像序列进行预处理，并进行特征提取，将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对其中x和y为前一帧I_k-1特征点坐标，u和v为当前帧I_k特征点坐标，N_k-1和N_k分别为前一帧和当前帧的特征点数目，N为帧数，N、N_k-1和N_k为自然数；

B)使用RANSAC方法从匹配对F中估计出第一个投影变换模型S₁；

C)使用RANSAC方法从匹配对F中提取第二个投影变换模型S₂；

D)分别使用两个变换模型将S₁,S₂把前一帧I_k-1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂；

E)将前一帧的检测结果M_k-1作为置信区域，对步骤D)得到的两个差分图d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂；

F)将步骤E)得到的两个二值化差分图mask₁和mask₂进行逻辑与操作得到一个二值化图maskAnd_k；

G)将步骤F)得到的二值化图maskAnd_k进行形态学处理得到最终的检测结果M_k。

2.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤A)中，所述对输入视频图像序列进行预处理的具体步骤为：

A1)对图像进行灰度化处理；

A2)对图像进行一次高斯滤波操作去除噪声；

A3)对图像进行SURF特征提取；

A4)将前一帧I_k-1和当前帧I_k提取到的特征点和进行匹配，得到两幅图像间的多个匹配对

3.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤B)中，所述从匹配对F中估计出第一个投影变换模型S₁的具体步骤为：

B1)从匹配对F中随机选取四个匹配对，根据公式：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_3& a_4& a_5\\ a_6& a_7& a_8\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

计算出一个模型假设S_i的9个参数(a₀～a₈)，其中u和v为匹配对中前一帧特征点的坐标，x和y匹配对中当前帧特征点坐标；

B2)计算所有匹配对F相对于模型假设S_i的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_i\·f_{k-1}^i(x,y)-f_k^j(u,v)|$

误差小于阈值threshold₁的匹配对为内点，否则为外点；统计模型假设S_i的内点数

B3)重复步骤B1)和B2)100次，选取内点数最大的模型假设作为第一个投影变换模型S₁：

$S_1=\arg \underset{S_i}{max}\left({\mathrm{Inlier}}_{S_i}\right).$

4.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤C)中，所述从匹配对F中提取第二个投影变换模型S₂的具体步骤为：

C1)计算所有匹配对F在第一个投影变换模型下的投影误差：

${\mathrm{err}}_{\left(f_{k-1}^i\right(x,y),f_k^j(u,v\left)\right)}=|S_1\·f_{k-1}^i(x,y)-f_k^j(u,v)|$

误差小于阈值threshold₁的匹配对为内点，否则为外点；

C2)使用RANSAC方法从步骤C1)得到的第一个投影变换模型S₁的外点中估计出第二个投影变换模型S₂。

5.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤D)中，所述分别使用两个变换模型将S₁,S₂把前一帧I_k-1投影到当前帧I_k并进行帧差，得到两个差分图d₁和d₂的具体步骤为：

D1)利用步骤B)估计得到的投影变换模型S₁将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第一个差分图d₁；

D2)利用步骤C)估计得到的投影变换模型S₂将前一帧I_k-1变换到当前帧I_k的坐标系下,并与当前帧进行帧差,得到第二个差分图d₂。

6.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤E)中，所述将前一帧的检测结果M_k-1作为置信区域，对步骤D)得到的两个差分图d₁和d₂进行二值化得到两个二值化差分图mask₁和mask₂的具体步骤为：

E1)将前一帧的检测结果M_k-1的前景区域进行膨胀操作，得到置信图

E2)根据步骤E1)得到的置信图将步骤D1)得到的差分图d₁分为置信区域d_1c和非置信区域d_1n；

E3)根据二值化阈值threshold₂将步骤E2)得到的差分图d₁的置信区域d_1c进行二值化，根据二值化阈值threshold₃将步骤E2)得到的差分图d₁的非置信区域d_1n进行二值化，从而得到二值化差分图mask₁；

E4)根据步骤E1)得到的置信图将步骤D2)得到的差分图d₂分为置信区域d_2c和非置信区域d_2n；

E5)跟据二值化阈值threshold₂将步骤E5)得到的差分图d₂的置信区域d_2c进行二值化，根据二值化阈值threshold₃将步骤E5)得到的差分图d₂的非置信区域d_2n进行二值化，从而得到二值化差分图mask₂。

7.如权利要求1所述基于多模型估计的面向移动摄像机的运动目标检测方法，其特征在于在步骤G)中，所述将步骤F)得到的二值化图maskAnd_k进行形态学处理的具体步骤为：

G1)将步骤F)得到的二值化图进行闭运算得到二值化图maskAndClose_k；

G2)将步骤G1)得到的二值化图maskAndClose_k进行开运算得到最终的检测结果M_k。