CN103236053B - 一种移动平台下运动目标检测的mof方法 - Google Patents

Abstract

本发明公开了一种移动平台下运动目标检测的MOF方法，依次进行主平面检测、目标与背景点非均匀采样、混合金字塔光流计算、背景MOF的鲁棒性估计、混合背景分布更新、MOF残差图计算、MOF目标分割，本发明能够根据基于主平面的混合金字塔光流实现光流稳定点的提取与计算，并根据实际图像的运动场补偿摄像机的平移旋转缩放等运动，同时在保证算法准确性与鲁棒性的前提下，计算量大大减少。

Description

一种移动平台下运动目标检测的MOF方法

技术领域

本发明属于数字图像处理与模式识别领域，特别是一种移动平台下运动目标检测的MOF方法。

背景技术

自动运动目标检测技术是目标搜索与跟踪系统中的关键技术，为后续航迹关联、目标识别等技术提供了初步的信息。在视频监控系统中，场景通常是静止的，运动目标的检测能够简单快速地实现，但对于硬件平台要求很高，对于一般情况下的车辆自动驾驶、手持式摄像机等摄像机运动的情况，由于相机运动不能确定，因此需要对相机运动进行补偿或标定。

对摄像机运动高效而准确的估计或补偿是移动平台下地面运动目标搜索跟踪系统中的关键技术。现有的摄像机标定技术主要包括传统技术、基于主动视觉的标定方法以及摄像机自标定方法。但是传统方法需要几何信息已知的参照标定物，很难在实际中得到应用。基于主动视觉的标定方法需要利用精准的云台等随时提供摄像机的方位信息，对硬件要求极高，不适用于便携式摄像机场合。基于自标定的方法如基本矩阵、三视角张量，虽然对标定场景和标定仪器不高，但往往计算量大、鲁棒性差、精确度不高。

发明内容

本发明的目的在于提供一种移动平台下运动目标检测MOF(Motion Of Focus)方法，能够根据MOF，即摄像机焦点的运动，从视频序列中快速有效地提取出摄像机的整体运动信息，通过将场景分类成各个平面，结合LK（Lucas-Kanade）稀疏光流来补偿摄像机运动导致远近景视差产生的目标误检测，无需三维重建便可有效的解决运动平台下运动目标检测的问题。

实现本发明目的的技术解决方案为：一种移动平台下运动目标检测的MOF方法，步骤如下：

第一步，主平面检测,对原始图像进行基于相位匹配的主平面检测，获得主平面的x和y轴方向的帧间位移dx、dy；

第二步，目标与背景点的非均匀性采样，将第一步获得主平面的x和y轴方 向的帧间位移dx、dy后，进行帧间相减，消除主平面，获得候选兴趣点，其中包括ISO以及IMO，ISO是由于视差所带来伪运动目标，IMO是真实的运动目标；同时，对当前帧进行步长为Step的均匀性采样，即以每个采样像素为中心的W×W邻域内，选取梯度幅度最大的点，从而获得候选背景兴趣点；

第三步，混合金字塔光流计算，建立基于主平面的混合金字塔模型，即以第一步中主平面检测的帧间位移作为金字塔光流的底层，同时在第二层进行传统的单层光流计算；同时将候选兴趣点检测与光流计算统一，以上述方法计算得到的光流场为第三层输入初始光流场，从当前帧向逆推前一帧，若前一帧对应点的光流场经逆推后仍能回到自身，则称该点为动态稳定角点，从而在获得光流场的同时自动获得稳定的角点；

第四步，背景MOF矩阵估计，即

首先，建立MOF模型，以透镜光心O为原点，Z轴平行于摄像机透镜光轴，X、Y轴平行于摄相机像平面，其中物平面场景坐标M(X,Y,Z)，像平面场景坐标m(x,y,z)，根据几何光学知识，得到如下近似方程：

$\left\{\begin{array}{c}\frac{X}{Z}=\frac{x}{z}\\ \frac{Y}{Z}=\frac{y}{z}\\ \mathrm{dz}=0\end{array}\right.$

由于X、Y在数学上等效，下面对X轴的分析，Y轴可同理推出；

对上式全微分可得MOF摄相机基本方程：

$\mathrm{dx}=-\frac{\mathrm{dZ}}{Z}(x-z\frac{\mathrm{dX}}{\mathrm{dZ}})$

由于摄相机的平移旋转：

$\left\{\begin{array}{c}X=X_t+X_r\\ Y=Y_t+Y_r\end{array}\right.$

其中(X_t,Y_t)为摄像机的平移矢量，(X_r,Y_r)为摄像机的旋转矢量；

其次，定义摄像机旋转中心(X_F,Y_F)，其中摄像机旋转中心满足以下方程：

$\left\{\begin{array}{c}{R}^2={(X-X_F)}^2+{(Y-Y_F)}^2\\ {\left({\mathrm{dX}}_r\right)}^2+{\left({\mathrm{dY}}_r\right)}^2=R^2{\left(2\sin \left(\frac{\mathrm{d\θ}}{2}\right)\right)}^2\≈R^2{\mathrm{\ω}}^2\end{array}\right.$

最终，得到如下MOF基本方程：

$A(x^2+y^2)+C+\mathrm{Dx}+\mathrm{Ey}+F({\mathrm{xv}}_x+{\mathrm{yv}}_y)+G\left(v_x\right)+H\left(v_y\right)=v_x^2+v_y^2$

其中MOF基本矩阵与MOF无视差矩阵分别如下所示：

$\left\{\begin{array}{c}A={\mathrm{\ω}}^2-{\left(\frac{T_z}{Z}\right)}^2\\ C={\mathrm{\ω}}^2(x_F^2+y_F^2)-{\left(\frac{z}{Z}\right)}^2(T_{x_o}^2+T_{y_o}^2)\\ D=2\frac{T_z}{z}{T}_{x_o}{\left(\frac{z}{Z}\right)}^2-2{\mathrm{\ω}}^2{x}_F\\ E=2\frac{T_z}{z}{T}_{y_o}{\left(\frac{z}{Z}\right)}^2-2{\mathrm{\ω}}^2{y}_F\\ F=2\frac{T_z}{Z}\\ G=2\frac{{\mathrm{zT}}_{x_0}}{Z}\\ H=2\frac{{\mathrm{zT}}_{y_0}}{Z}\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\ω}}^2=A-\frac{1}{4}{\left(F\right)}^2\\ x_0=\frac{T_{x_o}}{T_z}z\\ y_0=\frac{T_{y_o}}{T_z}z\end{array}\right.$

其中，T_z为摄像机的三维运动速度，z为相机像平面；

由MOF模型，获得上式所示的三个视差无关参数ω、x₀、y₀，记为MOF无视差矩阵，利用MOF无视差矩阵在混合背景建立时剔除IMO，以及运动目标检测时的ISO剔除与IMO合并，MOF基本方程写成矩阵形式如下：

$\left(\begin{array}{ccccccc}{x}_1^2+y_1^2& 1& x_1& y_1& x_1{v}_{x_1}+y_1{v}_{y_1}& v_{x_1}& v_{y_1}\\ x_2^2+y_2^2& 1& x_2& y_2& x_2{v}_{x_2}+y_2{v}_{y_2}& v_{x_2}& v_{y_2}\\ \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·\\ x_N^2+y_N^2& 1& x_N& y_N& x_N{v}_{x_N}+y_N{v}_{y_N}& v_{x_N}& v_{y_N}\end{array}\right)\left(\begin{array}{c}A\\ C\\ D\\ E\\ F\\ G\\ H\end{array}\right)=\left(\begin{array}{c}{v}_{x_1}^2+v_{y_1}^2\\ v_{x_2}^2+v_{y_2}^2\\ \·\\ \·\\ \·\\ v_{x_N}^2+v_{y_N}^2\end{array}\right)$

第五步，混合背景分布更新，在MOF基本矩阵估计的同时，也得到了一系列的混合背景分布，对混合背景分布利用MOF无视差矩阵合并，降低背景虚警率，获得最终混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}，其中，BG_{i(i ＝ 0,1,2,...)}符合MOF无视差矩阵分布；

第六步，目标MOF残差图计算，当获得混合背景的MOF基本矩阵，依据下式计算候选目标点ISO、IMO相对各个背景BG_i的残差，定义候选点x_j对于背景BG_i的隶属度函数简记为μ_i,j：

${\mathrm{\μ}}_{i,j}={\mathrm{\μ}}_{{\mathrm{BG}}_i}\left(x_j\right)=\mathrm{abs}({\left[\begin{array}{c}{x}_j^2+y_j^2\\ 1\\ x_j\\ y_j\\ x_j{v}_{x_j}+y_j{v}_{y_j}\\ v_{x_j}\\ v_{y_j}\end{array}\right]}^T{\mathrm{MOF}}_{{\mathrm{BG}}_i}-[v_{x_j}^2+v_{y_j}^2\left]\right)$

对于待评定候选兴趣点x_j，定义x_j符合混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}的隶属度函数μ_j：

这样，对于每个候选兴趣点x_j，依据下式根据其对混合背景的隶属度将其划分为IMO或ISO：

$x_j\&Element;\left\{\begin{array}{c}\mathrm{ISO}{\mathrm{\&mu;}}_j<{\mathrm{\&mu;}}_T\\ \mathrm{IMO}{\mathrm{\&mu;}}_j\&GreaterEqual;{\mathrm{\&mu;}}_T\end{array}\right.$

第七步，目标MOF分割，对上述求得的运动目标IMO进行bwlabel连通，利用MOF视差无关矩阵将IMO划分为一个个子目标，IMO＝{IMO₁,IMO₂,…}；将IMO点扩散为稠密IMO残差，以一波门为W×W的窗口，步进长度为Step，对整幅图像进行遍历，每个遍历窗口内的像素点累加该窗口内所有IMO的混合背景隶属度的均值，最终获得稠密角点的隶属度，这样根据检测出的IMO进行区域生长与合并，便能得到最终分割。

本发明与现有技术相比，其显著优点：（1）由于场景中背景占很大的比重，所以，以背景主平面进行一次目标检测，并采用非均匀采样技术，极大地减少了计算量，将算法计算量侧重到运动目标上来，提高算法的实时性；（2）由于视差的问题，导致目标虚警，而且一般近景视差更为严重，通过混合背景技术，能够解决视差问题；（3）提出基于快速匹配的混合金字塔技术，简化算法，同时能提供比传统快速匹配算法更高的匹配精度与鲁棒性；（4）运动目标通常存在重叠、遮挡等问题，依据目标运动信息可以将目标完整检测出来。

下面结合附图对本发明作进一步详细描述。

附图说明

图1本发明移动平台下运动目标检测的MOF方法流程图。

图2本发明中的MOF摄像机模型。

图3本发明中Harris与动态稳定角点检测结果对比图。

图4本发明中MOF残差图和IMO检测结果图(右旋转)。

图5本发明中MOF残差图和IMO检测结果图(逆时针旋转加平移)。

图6本发明中MOF残差图和IMO检测结果图(光强不变)。

图7本发明中MOF残差图和IMO检测结果图(光强突变)。

具体实施方式

结合图1，本发明是通过MOF方法对移动平台下地面运动目标检测，步骤如下：

第一步，主平面检测。所谓主平面，即由于背景占场景的绝大多数，呈聚集 现象，因此对摄像机而言，大部分背景可以近似为无穷远处的一个平面，我们也称这种效应为背景聚集效应。对原始图像进行基于相位匹配的主平面检测，获得主平面的x和y轴方向的帧间位移dx、dy，单位为像素。

第二步，目标与背景点的非均匀性采样。第一步获得主平面的x和y轴方向的帧间位移dx、dy后，我们可以进行帧间相减，消除主平面，获得候选兴趣点，其中包括ISO以及IMO。ISO是由于视差所带来伪运动目标，IMO是真实的运动目标。同时，对当前帧进行步长为Step的均匀性采样，即以每个采样像素为中心的W×W邻域内，选取梯度幅度最大的点，从而获得候选背景兴趣点，本发明中取Step=8-12，W=Step/2，单位为像素。

第三步，混合金字塔光流计算。建立基于主平面的混合金字塔模型，即以第一步中主平面检测的帧间位移作为金字塔光流的底层，同时在第二层进行传统的单层光流计算。同时将候选兴趣点检测与光流计算统一，以上述方法计算得到的光流场为第三层输入初始光流场，从当前帧向逆推前一帧。若前一帧对应点的光流场经逆推后仍能回到自身，则称该点为动态稳定角点，从而在获得光流场的同时自动获得稳定的角点。如图3所示，本发明根据实际视频信息，利用主平面初选候选兴趣点，采用混合金字塔光流将光流不变的角点实时检测出来，获得动态稳定角点，而Harris角点检测获得的静态角点却很少，而且不一定满足动态稳定的要求，不具实用价值。

第四步，背景MOF矩阵估计，即

首先，建立MOF模型。定义如图2所示三维坐标轴，以透镜光心O为原点，Z轴平行于摄像机透镜光轴，X、Y轴平行于摄相机像平面，其中物平面场景坐标M(X,Y,Z),像平面场景坐标m(x,y,z),，根据几何光学知识，我们可以得到如下近似方程：

$\left\{\begin{array}{c}\frac{X}{Z}=\frac{x}{z}\\ \frac{Y}{Z}=\frac{y}{z}\\ \mathrm{dz}=0\end{array}\right.$

由于X、Y在数学上等效，下面主要考虑对X轴的分析，Y轴可同理推出。

对上式全微分可得MOF摄相机基本方程：

$\mathrm{dx}=-\frac{\mathrm{dZ}}{Z}(x-z\frac{\mathrm{dX}}{\mathrm{dZ}})$

现在考虑摄相机的平移旋转：

$\left\{\begin{array}{c}X=X_t+X_r\\ Y=Y_t+Y_r\end{array}\right.$

其中(X_t,Y_t)为摄像机的平移矢量，(X_r,Y_r)为摄像机的旋转矢量。

其次，定义摄像机旋转中心(X_F,Y_F)，其中摄像机旋转中心满足以下方程：

$\left\{\begin{array}{c}{R}^2={(X-X_F)}^2+{(Y-Y_F)}^2\\ {\left({\mathrm{dX}}_r\right)}^2+{\left({\mathrm{dY}}_r\right)}^2=R^2{\left(2\sin \left(\frac{\mathrm{d\&theta;}}{2}\right)\right)}^2\&ap;R^2{\mathrm{\&omega;}}^2\end{array}\right.$

最终，我们可以得到如下所示的MOF基本方程：

$A(x^2+y^2)+C+\mathrm{Dx}+\mathrm{Ey}+F({\mathrm{xv}}_x+{\mathrm{yv}}_y)+G\left(v_x\right)+H\left(v_y\right)=v_x^2+v_y^2$

其中MOF基本矩阵与MOF无视差矩阵分别如下所示：

$\left\{\begin{array}{c}A={\mathrm{\&omega;}}^2-{\left(\frac{T_z}{Z}\right)}^2\\ C={\mathrm{\&omega;}}^2(x_F^2+y_F^2)-{\left(\frac{z}{Z}\right)}^2(T_{x_o}^2+T_{y_o}^2)\\ D=2\frac{T_z}{z}{T}_{x_o}{\left(\frac{z}{Z}\right)}^2-2{\mathrm{\&omega;}}^2{x}_F\\ E=2\frac{T_z}{z}{T}_{y_o}{\left(\frac{z}{Z}\right)}^2-2{\mathrm{\&omega;}}^2{y}_F\\ F=2\frac{T_z}{Z}\\ G=2\frac{{\mathrm{zT}}_{x_0}}{Z}\\ H=2\frac{{\mathrm{zT}}_{y_0}}{Z}\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\&omega;}}^2=A-\frac{1}{4}{\left(F\right)}^2\\ x_0=\frac{T_{x_o}}{T_z}z\\ y_0=\frac{T_{y_o}}{T_z}z\end{array}\right.$

其中，T_z为摄像机的三维运动速度，z为相机像平面。

由MOF模型，我们可以获得上式所示的三个视差无关参数ω、x₀、y₀，记为MOF无视差矩阵。可以利用MOF无视差矩阵在混合背景建立时剔除IMO，以及运动目标检测时的ISO剔除与IMO合并。MOF基本方程写成矩阵形式如下：

$\left(\begin{array}{ccccccc}{x}_1^2+y_1^2& 1& x_1& y_1& x_1{v}_{x_1}+y_1{v}_{y_1}& v_{x_1}& v_{y_1}\\ x_2^2+y_2^2& 1& x_2& y_2& x_2{v}_{x_2}+y_2{v}_{y_2}& v_{x_2}& v_{y_2}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ x_N^2+y_N^2& 1& x_N& y_N& x_N{v}_{x_N}+y_N{v}_{y_N}& v_{x_N}& v_{y_N}\end{array}\right)\left(\begin{array}{c}A\\ C\\ D\\ E\\ F\\ G\\ H\end{array}\right)=\left(\begin{array}{c}{v}_{x_1}^2+v_{y_1}^2\\ v_{x_2}^2+v_{y_2}^2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ v_{x_N}^2+v_{y_N}^2\end{array}\right)$

为了解决MOF基本方程的求解问题，一般选用奇异值分解（SVD）求取矩阵广义逆这种线性算法。虽然对于MOF基本矩阵的实际求解过程不可避免地存在噪声以及IMO的影响，但是由于实际视频中存在第一步所说的背景聚集效应，所以本发明在传统的SVD的基础上进行改进，提出一种分层求解方法，快速获得混合背景分布。本发明的分层求解方法是一个逐层迭代过程，其步骤如下：

（1）初始化局内点为全部候选背景兴趣点，局内点即为属于背景和ISO的候选兴趣点；

（2）计算当前局内点的MOF基本矩阵；

（3）遍历全部背景兴趣点的MOF残差,若小于阈值T,则置为局内点,否则置为局外点；

（4）若筛选出的局内点的数目大于等于MOF基本矩阵维数，则知MOF基本方程有解,则重复步骤（2）、（3）、（4）直到所有局内点的残差小于阈值为止；

（5）将局内点添加进新的混合背景分布中，并更新局内点为当前局外点， 重复步骤（2）、（3）、（4）直到迭代次数大于用户设定的阈值或没有新的局外点生成为止。

第五步，混合背景分布更新。MOF基本矩阵估计的同时，也得到了一系列的混合背景分布。但是，若运动目标IMO不是小目标（目标尺寸大于第一步的采样邻域M×M），则在步骤一中的候选背景兴趣点几乎不可避免地采样自该运动目标IMO上，这样会导致背景虚警率高，IMO检测告警率低的问题。为了解决这个问题，我们利用由MOF基本矩阵推导出的MOF无视差矩阵。MOF无视差矩阵与场景无关，只与摄像机的三维运动有关，这样便可以获得混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}，其中，BG_{i(i ＝ 0,1,2,...)}符合MOF无视差矩阵分布。

第六步，目标MOF残差图计算，当获得混合背景的MOF基本矩阵，依据下式计算候选目标点ISO、IMO相对各个背景BG_i的残差，定义候选点x_j对于背景BG_i的隶属度函数简记为μ_i,j：

${\mathrm{\&mu;}}_{i,j}={\mathrm{\&mu;}}_{{\mathrm{BG}}_i}\left(x_j\right)=\mathrm{abs}({\left[\begin{array}{c}{x}_j^2+y_j^2\\ 1\\ x_j\\ y_j\\ x_j{v}_{x_j}+y_j{v}_{y_j}\\ v_{x_j}\\ v_{y_j}\end{array}\right]}^T{\mathrm{MOF}}_{{\mathrm{BG}}_i}-[v_{x_j}^2+v_{y_j}^2\left]\right)$

对于待评定候选兴趣点x_j，定义x_j符合混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}的隶属度函数μ_j：

这样，对于每个候选兴趣点x_j，依据下式根据其对混合背景的隶属度将其划分为IMO或ISO：

$x_j\&Element;\left\{\begin{array}{c}\mathrm{ISO}{\mathrm{\&mu;}}_j<{\mathrm{\&mu;}}_T\\ \mathrm{IMO}{\mathrm{\&mu;}}_j\&GreaterEqual;{\mathrm{\&mu;}}_T\end{array}\right.$

第七步，目标MOF分割。上述求得的运动目标IMO，由于存在重叠、遮挡等问题，会导致运动目标分割不完整，不同的运动目标识别为同一个运动目标的问题，所以，可以先对运动目标IMO进行bwlabel连通，利用MOF视差无关矩阵，将IMO划分为一个个子目标，IMO＝{IMO₁,IMO₂,…}。

在后续过程中，由于MOF基本方程是针对稀疏角点进行计算的，但是对于后续的目标识别和航迹关联而言是不够的，所以提出利用如下方法将IMO角点扩散为稠密IMO残差，以一波门为W×W的窗口，步进长度为Step，对整幅图像进行遍历，每个遍历窗口内的像素点累加该窗口内所有IMO的混合背景隶属度的均值，最终获得稠密角点的隶属度。这样根据检测出的IMO进行区域生长与合并，便能得到最终分割。

实施例

采用实际数据分析本发明提出的MOF模型的性能。实验根据如图1所示提出的移动平台下运动目标检测的MOF方法流程用Matlab实现，在实验平台为图像帧频为50Hz的大恒CCD以及intel core T6400处理器、2G内存的PC机对实际序列图像进行处理，测试算法的精确性，验证本发明在实际应用中的性能。

如图3所示便是对相邻两帧图像分别进行Harris角点和混合金字塔角点检测的结果对比：图3(a)为Harris角点，图3(b)为动态稳定角点的光流。由图3可以看出，对于景深有限，由于大量背景成像不在对应的焦平面上，导致远景出现模糊，从而导致Harris角点条件不满足，这时只有十一个角点，明显要求角点检测比例因数必须能够跟随图像序列动态变化，而本文算法能够提取大量背景与目标角点，而且由于是动态角点，能够保证所选取的角点的稳定性。

图4~图7是本发明运动目标分割效果，由此可见本发明的MOF算法可有效将场景、目标分类，并能有效地检测出单目摄像机自由运动场景中运动的目标。

如图4所示，在摄像机像向右旋转的情况下，MOF算法成功检测出阴雨天摄像机运动情况下的行人：图4(a)为第k帧图像，图4(b)为第k+1帧图像，图4(c)为主平面检测后的结果，图4(d)为非均匀采样后的兴趣点，图4(e)为混合金字塔光流，图4(f)为MOF残差图检测结果。图4(a)、图4(b)是视频中的两帧连续图像，利用相位法的运动目标一次检测结果如图4(c)所示，我们可以发现除 了独立运动的行人以外，还有远处的路灯、近处的汽车以及道路、树木等运动目标，而实际上并未作任何运动，我们认为这是由于视差引起的ISO，下面的任务就是要消除ISO。图4(d)所示便是根据主平面一次运动目标检测结果进行的目标与背景点的非均匀采样点，图4(d)蓝色箭头便是混合金字塔光流矢量，同时还根据前后向光流剔除部分不稳定点，完成类似Harris的角点检测步骤，但算法过程大量简化，同时增强了算法的鲁棒性。图4(e)便是第六步所说的混合背景隶属函数，我们可以清楚看到目标最终已经被提取出来，消除了远景，特别是近景产生的误差。

图5所示，图5(a)为第k帧图像，(b)为第k+1帧图像，(c)为主平面检测后的结果，(d)为非均匀采样后的兴趣点，(e)为混合金字塔光流，(f)为MOF残差图检测结果。在摄像机逆时针旋转加平移的情况下，我们可以发现，在旋转的情况下，基于主平面的一次检测结果出现大量ISO，几乎可以当边缘检测算子用，而经过本文混合金字塔算法，成功剔除大量ISO不稳定角点，最后成功将运动汽车检出。

为了检验MOF算法框架对光照等变化的鲁棒性，通过在室内拍摄时控制照明亮度的方法来验证混合金字塔光流的效果，得到照明亮度不变(如图6所示：图6(a)为第k帧图像，图6(b)为第k+1帧图像，图6(c)为主平面检测后的结果，图6(d)为非均匀采样后的兴趣点，图6(e)为混合金字塔光流，图6(f)为MOF残差图检测结果。)与照明亮度突变(如图7所示：图7(a)为第k帧图像，图7(b)为第k+1帧图像，图7(c)为主平面检测后的结果，图7(d)为非均匀采样后的兴趣点，图7(e)为混合金字塔光流，图7(f)为MOF残差图检测结果。)情况下的对比结果。

观察图6、图7可知，在光强不变时，由于视差引起的ISO较少，主要集中在右上侧背景比较复杂的地方；光强由暗到明突变时，由于视差引起的ISO急剧增加，主平面一次检测结果恶化，本文利用的混合金字塔光流仍旧能准确保留稳定角点，光流计算准确，同时只对视差引起进行光流角点检测，保证了角点检测的速度，将光强、摄像机运动等影响几乎消除。

Claims (2)

1.一种移动平台下运动目标检测的MOF方法，其特征在于步骤如下：

第一步，主平面检测,对原始图像进行基于相位匹配的主平面检测，获得主平面的x和y轴方向的帧间位移dx、dy；

第二步，目标与背景点的非均匀性采样，第一步获得主平面的x和y轴方向的帧间位移dx、dy后，进行帧间相减，消除主平面，获得候选兴趣点，其中包括ISO以及IMO，ISO是由于视差所带来的伪运动目标，IMO是真实的运动目标；同时，对当前帧进行步长为Step的均匀性采样，即在以每个采样像素为中心的W×W邻域内，选取梯度幅度最大的点，从而获得候选兴趣点；

第三步，混合金字塔光流计算，建立基于主平面的混合金字塔模型，即以第一步中主平面检测的帧间位移作为金字塔光流的底层，同时在第二层进行传统的单层光流计算；同时将候选兴趣点检测与光流计算统一，以上述传统的单层光流方法计算得到的光流场为第三层输入初始光流场，从当前帧向逆推前一帧，若前一帧对应点的光流场经逆推后仍能回到自身，则称该点为动态稳定角点，从而在获得光流场的同时自动获得稳定的角点；

第四步，背景MOF矩阵估计，即

首先，建立MOF模型，以透镜光心O为原点，Z轴平行于摄像机透镜光轴，X、Y轴平行于摄像机像平面，其中物平面场景坐标M(X,Y,Z)，像平面场景坐标m(x,y,z)，根据几何光学知识，得到如下方程：

$\left\{\begin{array}{c}\frac{X}{Z}=\frac{x}{z}\\ \frac{Y}{Z}=\frac{y}{z}\\ dz=0\end{array}\right.$

由于X、Y在数学上等效，下面对X轴的分析，Y轴同理推出；

对上式全微分得到MOF摄像机基本方程：

$dx=-\frac{dZ}{Z}(x-z\frac{dX}{dZ})$

摄像机的平移旋转：

$\left\{\begin{array}{c}X=X_t+X_r\\ Y=Y_t+Y_r\end{array}\right.$

其中(X_t,Y_t)为摄像机的平移矢量，(X_r,Y_r)为摄像机的旋转矢量；

其次，定义摄像机旋转中心(X_F,Y_F)，其中摄像机旋转中心满足以下方程：

$\left\{\begin{array}{c}{R}^2={(X-X_F)}^2+{(Y-Y_F)}^2\\ {\left({\mathrm{dX}}_r\right)}^2+{\left({\mathrm{dY}}_r\right)}^2=R^2{\left(2sin\right(\frac{d\mathrm{\&theta;}}{2}\left)\right)}^2\&ap;R^2{\mathrm{\&omega;}}^2\end{array}\right.$

最终，得到如下MOF基本方程：

$A(x^2+y^2)+C+Dx+Ey+F({\mathrm{xv}}_x+{\mathrm{yv}}_y)+G\left(v_x\right)+H\left(v_y\right)=v_x^2+v_y^2$

其中MOF基本矩阵与MOF无视差矩阵分别如下所示：

$\left\{\begin{array}{c}A={\mathrm{\&omega;}}^2-{\left(\frac{T_p}{Z}\right)}^2\\ C={\mathrm{\&omega;}}^2(x_F^2+y_F^2)-{\left(\frac{p}{Z}\right)}^2(T_{x_o}^2+T_{y_o}^2)\\ D=2\frac{T_p}{p}{T}_{x_o}{\left(\frac{p}{Z}\right)}^2-2{\mathrm{\&omega;}}^2{x}_F\\ E=2\frac{T_p}{p}{T}_{y_o}{\left(\frac{p}{Z}\right)}^2-2{\mathrm{\&omega;}}^2{y}_F\\ F=2\frac{T_p}{Z}\\ G=2\frac{{\mathrm{pT}}_{x_0}}{Z}\\ H=2\frac{{\mathrm{pT}}_{y_0}}{Z}\end{array}\right.$

$\left\{\begin{array}{c}{\mathrm{\&omega;}}^2=A-\frac{1}{4}{\left(F\right)}^2\\ x_0=\frac{T_{x_o}}{T_p}p\\ y_0=\frac{T_{y_o}}{T_p}p\end{array}\right.$

其中，T_p为摄像机的三维运动速度，p为摄像机的像平面；

由MOF模型，获得上式所示的三个视差无关参数ω、x₀、y₀，记为MOF无视差矩阵，利用MOF无视差矩阵在混合背景建立时剔除IMO，以及运动目标检测时的ISO剔除与IMO合并，MOF基本方程写成矩阵形式如下：

$\left(\begin{array}{ccccccc}{x}_1^2+y_1^2& 1& x_1& y_1& x_1{v}_{x_1}+y_1{v}_{y_1}& v_{x_1}& v_{y_1}\\ x_2^2+y_2^2& 1& x_2& y_2& x_2{v}_{x_2}+y_2{v}_{y_2}& v_{x_2}& v_{y_2}\\ .& .& .& .& .& .& .\\ .& .& .& .& .& .& .\\ .& .& .& .& .& .& .\\ x_N^2+y_N^2& 1& x_N& y_N& x_N{v}_{x_N}+y_N{v}_{y_N}& v_{x_N}& v_{y_N}\end{array}\right)\left(\begin{array}{c}A\\ C\\ D\\ E\\ F\\ G\\ H\end{array}\right)=\left(\begin{array}{c}{v}_{x_1}^2+v_{y_1}^2\\ v_{x_2}^2+v_{y_2}^2\\ .\\ .\\ .\\ v_{x_N}^2+v_{y_N}^2\end{array}\right)$

第五步，混合背景分布更新，在MOF基本矩阵估计的同时，也得到了一系列的混合背景分布，对混合背景分布利用MOF无视差矩阵合并，降低背景虚警率，获得最终混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}，其中，BG_i符合MOF无视差矩阵分布，i＝1,2…；

第六步，目标MOF残差图计算，当获得混合背景的MOF基本矩阵后，依据下式计算候选兴趣点ISO、IMO相对各个背景BG_i的残差，定义候选兴趣点(x_j,y_j)对于背景BG_i的隶属度函数简记为μ_i,j：

${\mathrm{\&mu;}}_{i,j}={\mathrm{\&mu;}}_{{\mathrm{BG}}_i}\left(x_j\right)=abs\left({\left[\begin{array}{c}{x}_j^2+y_j^2\\ 1\\ x_j\\ y_j\\ x_j{v}_{x_j}+y_j{v}_{y_j}\\ v_{x_j}\\ v_{y_j}\end{array}\right]}^T{\mathrm{MOF}}_{{\mathrm{BG}}_i}-\&lsqb;v_{x_j}^2+v_{y_j}^2\&rsqb;\right)$

对于待评定候选兴趣点(x_j,y_j)，定义(x_j,y_j)符合混合背景分布BG＝{BG₁,BG₂,…,BG_i,…}的隶属度函数μ_j：

这样，对于每个候选兴趣点(x_j,y_j)，依据下式根据其对混合背景的隶属度将其划分为IMO或ISO：

$x_j\&Element;\left\{\begin{array}{cc}ISO& {\mathrm{\&mu;}}_j<{\mathrm{\&mu;}}_T\\ IMO& {\mathrm{\&mu;}}_j\&GreaterEqual;{\mathrm{\&mu;}}_T\end{array}\right.$

第七步，目标MOF分割，对上述求得的运动目标IMO进行bwlabel连通，利用MOF视差无关矩阵将IMO划分为一个个子目标，IMO＝{IMO₁,IMO₂,…}；将IMO点扩散为稠密IMO残差，以一波门为W×W的窗口，步进长度为Step，对整幅图像进行遍历，每个遍历窗口内的像素点累加该窗口内所有IMO的混合背景隶属度的均值，最终获得稠密角点的隶属度，根据检测出的IMO进行区域生长与合并，得到最终分割。

2.根据权利要求1所述的移动平台下运动目标检测的MOF方法，其特征在于第四步中，为解决MOF基本方程的求解问题，采用分层求解方法，快速获得混合背景分布，步骤如下：

(1)初始化局内点为全部候选兴趣点，局内点即为属于背景和ISO的候选兴趣点；

(2)计算当前局内点的MOF基本矩阵；

(3)遍历全部候选兴趣点的MOF残差,若小于阈值T,则置为局内点,否则置为局外点；

(4)若筛选出的局内点的数目大于等于MOF基本矩阵维数，则知MOF基本方程有解,则重复步骤(2)、(3)、(4)直到所有局内点的残差小于阈值为止；

(5)将局内点添加进新的混合背景分布中，并更新局内点为当前局外点，重复步骤(2)、(3)、(4)直到迭代次数大于用户设定的阈值或没有新的局外点生成为止。