CN101303732A - 基于车载单目相机的运动目标感知与告警方法 - Google Patents

Abstract

本发明公开了一种基于车载单目相机的运动目标感知与告警方法，该方法软件中的特征点检测与跟踪模块包括特征点提取与匹配模块和图像背景静止特征点跟踪模块；图像背景静止特征点跟踪模块跟踪静止背景特征点，图像静止背景特征点和运动目标特征点分类模块使用图像静止背景特征点几何约束模型参数估计模块输出的模型参数构建几何约束模型，将特征点提取与匹配模块所输出的所有匹配特征点分成静止背景点和运动目标点；静止背景点将反馈到图像背景静止特征点跟踪模块；运动目标点将输出到运动特征点时域滤波模块，滤波后的数据输入到运动目标分割模块，目标分割结果输出到运动目标显示告警模块。该方法能够提高模型参数估计精度，减少参数估计的耗时。

Description

基于车载单目相机的运动目标感知与告警方法

技术领域

本发明属于车载相机的运动目标感知方法，特别涉及基于车载单目相机的运动目标感知与告警方法。

背景技术

环境感知是车辆主动安全系统的主要功能，运动目标感知又是环境感知中的重要组成部分。目前智能车辆的环境感知传感器主要是毫米波雷达和激光雷达，这类主动传感器的作用区域有限，而且价格昂贵。当前，如何使用摄像机感知环境，这类技术备受关注。所提出的解决方法主要有三类：一类是使用双目视觉方法，直接获得场景深度，为运动目标检测提供线索，但是双目视觉系统结构复杂，成本高；另一类方法是结合使用标定过的单目相机和车辆速度表、陀螺仪，或其它测量车辆运动状态的传感器，通过检测车辆运动状态，计算背景在图像中运动的轨迹，以此检测出不符合这种运动轨迹的运动目标，然而相机的参数有可能会随着运动中车辆的振动而改变，初始设定的相机参数不一定始终保持可靠，其次廉价的车辆运动状态传感器不能提供精确的运动状态信息；第三种方法是只使用非标定单目相机，通过模型参数估计方法，计算出背景在成像平面的投影的运动模型，以此检测不符合这类模型的运动目标。

当使用非标定单目车载相机感知运动目标时，最大的困难是，车载相机随车运动，导致静止的背景投影在相机的成像平面上时也发生了运动，干扰了原本的运动目标检测。现有技术多只使用由基础矩阵来描述的外极点约束模型来区分背景和运动的像素点。(外极点约束模型是一种相机几何模型，它表示了相机移动时，空间中静止点在两个相机成像平面中的关系。基础矩阵是一个3×3的方阵，其秩为2。)但是外极点约束模型并不能全面地区分背景和运动的像素点，导致不能检测与本车平行运动的目标。有些技术是把问题简化(IEEE CVPRW’06 pp.131-138)，认为车辆只有直线运动，从而简化外极点约束模型，但是这种简化导致系统的适用范围变小。有些技术则在外极点约束模型的基础上加入部分先验知识(IEEE IVS’06 pp.261-267)，例如车辆高于地面，以期获得更好的运动目标检测效果。但是这些先验知识没有在本质上克服外极点约束模型的缺点。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于车载单目相机的运动目标感知与告警方法，该方法能够可靠地检测运动目标，并在提高模型参数估计精度的同时，减少参数估计的耗时。

本发明的技术方案是这样实现的：包括以下步骤：

1)摄像机采集道路前方连续的图像序列，并通过图像采集卡，输入到计算机系统中，由计算机软件处理；

2)计算机软件中的特征点检测与跟踪模块包括特征点提取与匹配模块和图像背景静止特征点跟踪模块；特征点提取与匹配模块从图像序列中抽取连续的三帧图像，实施苏珊SUSAN特征点检测和尺度不变特征点检测，并使用尺度不变特征点描述方法生成特征点描述向量，再使用欧氏空间距离度量，进行三帧图像之间的特征点匹配；特征点提取与匹配模块输出的匹配特征点将同时输出到图像背景静止特征点跟踪模块、图像静止背景特征点和运动目标特征点分类模块；

3)图像背景静止特征点跟踪模块跟踪静止背景特征点，并将数据输入到图像静止背景特征点几何约束模型参数估计模块进行模型参数估计；

4)图像静止背景特征点和运动目标特征点分类模块使用图像静止背景特征点几何约束模型参数估计模块输出的模型参数构建几何约束模型，将特征点提取与匹配模块所输出的所有匹配特征点分成静止背景点和运动目标点；静止背景点将反馈到图像背景静止特征点跟踪模块；运动目标点将输出到运动特征点时域滤波模块，滤波后的运动特征点数据将输入到运动目标分割模块，目标分割结果输出到运动目标显示告警模块。

图像背景静止特征点跟踪模块使用图像静止背景特征点和运动目标特征点分类模块反馈的前一帧的静止背景特征点，与当前帧的特征点实行匹配，实现跟踪静止背景特征点；

其过程为：以前一帧静止背景特征点的坐标为参考，在当前帧的一个矩形区域中，寻找可与前一帧静止特征点匹配的当前帧的特征点，矩形区域的长和宽与特征点的(x，y)坐标呈下面的函数关系：

$\left\{\begin{array}{c}w=a_0+a_1|x-e_1|+a_2{(x-e_1)}^2\\ h=b_0+b_1|x-e_1||y-e_2|\end{array}\right.$

其中w和h是矩形的长和宽，(x，y)是特征点坐标，(e₁，e₂)是上一图像帧的外极点参数，是(a₀，a₁，a₂，b₀，b₁)函数参数。矩形的中心坐标(h_x，h_y)为：

$\left\{\begin{array}{c}{h}_x=x-\frac{1}{2}w\\ h_y=y\end{array}\right.$

匹配使用的描述向量就是尺度不变特征点描述向量，找到的这些匹配特征点，确定为当前图像中的背景静止特征点；经过该模块对静止背景点的跟踪，从所有特征点中筛选出部分背景静止点，用于几何约束模型参数估计。

所述的图像静止背景特征点和运动目标特征点分类模块使用图像静止背景特征点几何约束模型参数估计模块输出的模型参数构建几何约束模型，采用一种通过2D平面投影变换计算外极点约束模型和结构一致性约束模型的技术：

首先，使用图像背景静止特征点跟踪模块筛选得到的连续三帧图像(A、B、C)中的匹配的静止特征点，估计相邻两帧之间的2D投影变换参数H₁₂和H₂₃；使用参数H₁₂和H₂₃，计算B、C两帧的静止特征点在A、B两帧中的2D平面投影以及平面视差；

其次，使用所述的平面视差，估计第二帧图像B在第一帧图像A中的外极点e₁₂，和第三帧图像C在第二帧图像B中的外极点e₂₃；再使用平面视差和外极点e₁₂和e₂₃计算静止特征点的3D结构向量，并使用3D结构向量估计3D结构一致性模型参数G；

最后，使用了外极点约束模型和结构一致性模型对特征点提取与匹配模块输出的所有特征点进行分类：特征点越是符合模型，则与模型的匹配误差越小，特征点就越趋向于被分类为静止点；反之则越趋向于被分为运动点；外极点约束模型的匹配误差为：

d_e＝(y-y_w)e₁-(x-x_w)e₂-(yx_w-xy_w)

其中[e₁，e₂]是约束模型估计模块的外极点参数e₁₂，(x，y)是特征点x的坐标，(x_w，y_w)是x的2D平面投影坐标；结构一致性模型的匹配误差为：

$d_G=\left|\right|{\tilde{P}}_{1}G{\tilde{P}}_2\left|\right|$

其中G是约束模型估计模块输出的结构一致性模型参数，

和

是3D结构向量。

本发明所提出的跟踪静止背景点估计约束模型参数的技术，可以使模型参数估计时间减少2/3，模型参数估计的精度提高15％左右。本发明提出的通过2D投影变换，联合外极点约束模型和结构一致性约束模型，分类图像静止或运动像素点的技术，能够可靠地感知道路上的运动目标，克服了单一使用外极点约束模型时，无法感知与本车平行运动的目标的缺点。

附图说明

图1是方法工作的原理示意图。

图2是方法的框架结构示意图。

图3是方法流程示意图。

图4是结合随机采样一致拟合方法的外极点约束模型参数估计流程示意图。

图5是结合最小中值方差拟合方法的结构一致性约束模型参数估计流程示意图。

图6(a)是本发明对道路上单个运动目标检测的效果示意图。

图6(b)是本发明对道路上多个运动目标检测的效果示意图。

下面结合附图对本发明的内容作进一步详细说明。

具体实施方式

参照图1所示，道路上运动的目标和静止的背景，例如运动的车辆和静止的房屋、树木，虽然在车载相机的成像平面中均在运动，但是它们运动的特性有明显区别。通过连续几帧图像之间的特征点匹配，图像特征点一般是图像灰度变化的局部极值点，或含有显著结构信息的区域中心，现存在多种特征点提取方法；图像中匹配的特征点代表了空间中同一个物理点，可以获得特征点的运动向量v，例如图1中运动目标上的特征点运动向量v₁，背景中房屋和树木的运动向量v₂和v₃。外极点约束模型和结构一致性约束模型是一种描述静止背景特征点在相机成像平面上的运动特性的模型。外极点约束模型是一种相机几何模型，它表示了相机移动时，空间中静止点在两个相机成像平面中的关系；结构一致性约束模型也是一种相机几何模型，它表示了相机移动时，空间中静止点在三个相机成像平面中的关系；这两种模型均是线性模型。静止背景特征点的运动向量对于约束模型具有很小的匹配误差，而运动目标特征点的运动向量对于约束模型具有很大的匹配误差。使用这一原理，可以利用连续图像帧之间的特征点匹配获取特征点的运动信息，并通过准确估计约束模型的参数，然后对特征点进行分类，实现运动目标感知。

参照图2所示，其包含：一台不需要标定的单目摄像机；一块连接计算机系统和摄像机的图像采集卡，图像采集结果输入一个特征点检测与跟踪模块，其中包括特征点提取与匹配模块和图像静止背景特征点跟踪模块，其输出包括两部分，一部分是将要输入静止背景特征点与运动特征点分类模块的所有图像特征点及其匹配信息，另一部分是将要输入图像静止背景特征点几何约束模型参数估计模块的经过跟踪筛选出来的部分静止背景特征点匹配信息；图像静止背景特征点几何约束模型参数估计模块将计算得到的模型参数估计结果输入一个静止背景特征点与运动特征点分类模块；静止背景特征点与运动特征点分类模块的输出包括两部分，一部分是运动特征点，将输入运动特征点时域滤波模块，另一部分是静止背景特征点，将输入特征点检测与跟踪模块，用于下一帧循环跟踪静止背景点；一个运动特征点时域滤波模块，输出滤波后的运动特征点到一个运动目标分割模块，为目标显示与告警模块提供最终的目标信息；一个参数输入模块用于系统参数设定。

参照图3所示，其具体描述如下：

第一阶段，摄像机拍摄的道路场景视频首先被分解成图像序列，然后每连续的三帧图像为一组参与运算，相邻图像组之间有二帧图像是重复的。特征点提取与匹配模块对三帧图像进行苏珊SUSAN特征点检测和尺度不变特征点检测，并使用尺度不变特征点描述方法生成特征点描述向量f，再使用欧氏空间距离度量确定三帧图像的特征点之间匹配关系其中x_i是第一帧图像中编号为i的特征点，x′_j是第二帧图像中编号为j的特征点，x″₁是第三帧图像中编号为l的特征点。已知x_i寻找x′_j的公式如下：

$j=\underset{k}{\arg }\min \left({\left|\right|f_i-f_k^{\′}\left|\right|}^2\right)$

其中f_i是第一帧图像中编号为i的特征点的描述向量，f_k是第二帧图像中编号为k的特征点描述向量。同理，已知x′_j可以寻找到x″₁，最终形成匹配特征点对

然后图像背景静止特征点跟踪模块使用图像静止背景特征点与运动目标特征点分类模块返回的前一帧图像静止背景特征点，跟踪当前帧的特征点中的部分静止背景特征点。其方法是，以前一帧静止背景特征点的坐标为参考，在当前帧的一个矩形区域中，寻找可与前一帧静止特征点匹配的当前帧的特征点。矩形区域的长和宽与特征点的(x，y)坐标呈下面的函数关系：

$\left\{\begin{array}{c}w=a_0+a_1|x-e_1|+a_2{(x-e_1)}^2\\ h=b_0+b_1|x-e_1||y-e_2|\end{array}\right.$

其中w和h是矩形的长和宽，(x，y)是特征点坐标，(e₁，e₂)是上一图像帧的外极点参数，是(a₀，a₁，a₂，b₀，b₁)函数参数。矩形的中心坐标(h_x，h_y)为：

$\left\{\begin{array}{c}{h}_x=x-\frac{1}{2}w\\ h_y=y\end{array}\right.$

匹配使用的描述向量就是特征点提取与匹配模块提取的尺度不变特征点描述向量。匹配方法也是使用欧氏空间距离度量决定匹配关系。该模块为下一阶段的模型参数估计提供相对可靠的匹配特征点数据。

第二阶段是约束模型参数估计阶段。首先使用第一阶段筛选得到的连续三帧图像A、B、C中的匹配的静止特征点{x₁，x₂，x₃}，估计相邻两帧之间的2D投影变换参数H₁₂和H₂₃，使其满足下面的条件：

$\left\{\begin{array}{c}{x}_{1\_i}=H_{12}{x}_{2\_i}\\ x_{1\_i}=H_{23}{x}_{3\_i}\end{array}\right.$

可以使用直接线性变换法求解H₁₂和H₂₃。

其次使用x_{1w_i}＝H₁₂x_{2_i}和x_{2w_i}＝H₂₃x_{3_i}计算B、C两帧的静止特征点在A、B两帧中的2D投影{x_1w，x_2w}。

然后估计第二帧图像B在第一帧图像A中的外极点e₁₂，和第三帧图像C在第二帧图像B中的外极点e₂₃，使其满足下面的条件：

$\left\{\begin{array}{c}{e}_{12}\·[x_1\×x_{1w}]=0\\ e_{23}\·[x_2\×x_{2w}]=0\end{array}\right.$

为了便于运算，可将上式简化。以计算e₁₂为例，e₁₂是一个2维向量[e₁，e₂]，第一帧A中的某个特征点x₁和对应的2D投影x_1w也是2维向量，分别为[x，y]和[x_w，y_w ]，那么对于每一个静止特征点，均有下面的方程：

(y-y_w)e₁-(x-x_w)e₂＝yx_w-xy_w

若第一阶段提供N个静止特征点，可以构建N个这样的方程，构成超定方程组。使用奇异值分解法可以计算出[e₁，e₂]。为了减轻第一阶段提供的静止特征点中含有的错误跟踪点，被称为外点，对外极点约束模型参数估计精度的影响，要结合使用随机采样一致RANSAC参数拟合方法。随机采样一致参数拟合方法是一种随机参数估计法，具体过程参考图4。

然后计算静止特征点的3D结构向量

这是一个4维向量[x，y，1，k]。其中x，y即为特征点在成像平面上的坐标，k被称为归一化的相对高度，其中包含了点在空间的高度和深度信息。计算3D结构向量，主要是计算k，这需要两帧图像。以第一帧A和第二帧B为例，计算特征点在这两帧中的归一化的相对高度，需要B帧在A帧中的外极点e₁₂，特征点在A帧的坐标x₁，以及该特征点从B帧2D投影到A帧的坐标x_1w。计算公式如下：

$k_1=\frac{{(x_{1w}\×x_1)}^T(x_1\×e_{12})}{{\left|\right|x_1\×e_{12}\left|\right|}^2}$

其中，x₁、x_1w、e₁₂均采用齐次坐标，即x₁＝[x₁，y₁，1]^T，x_1w＝[x_1w，y_1w，1]^T，e₁₂＝[e₁，e₂，1](这一点与外极点估计时不同)。于是就可以得到A帧和B帧的特征点3D结构向量 ${\tilde{P}}_1=[x_1,y_1,1,k_1].$ 同理可以得到B帧和C帧的特征点3D结构向量 ${\tilde{P}}_2=[x_2,y_2,1,k_2].$

最后是估计三帧图像的结构一致性约束模型。对于A帧和B帧的特征点3D结构向量

B帧和C帧的特征点3D结构向量

该模型可以表述为 ${\tilde{P}}_{1}G{\tilde{P}}_2=0,$ 其中G是一个4×4的矩阵，且秩为2。对于每一个特征点均可构成一个 ${\tilde{P}}_{1\_i}G{\tilde{P}}_{2\_i}=0$ 的方程。若第一阶段提供N个静止特征点，可以构建N个这样的方程，构成超定方程组。使用奇异值分解法可以计算出G。为了减轻第一阶段提供的静止特征点中含有的错误跟踪点(称为外点)，对结构一致性约束模型参数估计精度的影响，要结合使用最小中值方差LMedS参数拟合方法。最小中值方差参数拟合方法是一种随机参数估计法，具体过程参考图5。

第三阶段是特征点分类阶段。使用第二阶段得到的模型参数，对当前帧的所有特征点进行分类。分类的依据是特征点和模型的匹配误差。特征点越是符合模型，与模型的匹配误差越小，特征点就越趋向于被分类为静止点。特征点提取与跟踪模块输出的A、B、C连续三帧图像中的匹配的所有特征点{x₁，x₂，x₃}，先被外极点约束模型分类。计算特征点与外极点模型匹配误差的公式如下：

d_e＝(y-y_w)e₁-(x-x_w)e₂-(yx_w-xy_w)

其中[e₁，e₂]是约束模型估计模块的外极点参数。当某个特征点与外极点模型的匹配误差超过设定的阈值t_e时，则将该特征点分入运动目标点。匹配误差小于阈值t_e的特征点进入使用结构一致性约束模型分类的阶段。在此阶段，首先计算特征点在A、B两帧中的3D结构向量 ${\tilde{P}}_1=[x_1,y_1,1,k_1]$ 和B、C两帧中的3D结构向量 ${\tilde{P}}_2=[x_2,y_2,1,k_2],$ 计算方法和第二阶段描述的方法相同。然后计算特征点与结构一致性约束模型的匹配误差，公式如下：

$d_G=\left|\right|{\tilde{P}}_{1}G{\tilde{P}}_2\left|\right|$

其中G是约束模型估计模块的结构一致性模型参数。当某个特征点的匹配误差d_G超过设定的阈值t_e时，则将该特征点分入运动目标点

第四阶段是运动目标的产生与分割阶段。首先对运动特征点进行时域滤波，即某个特征点只有在连续三帧内均被分入运动特征点时，才被系统确认为运动目标特征点。接着计算以特征点附近一定区域内的多个图像块内的光流，根据比较图像块内的光流与以特征点为中心的图像块内的光流的一致性，确定该图像块是否属于运动目标。最后将邻近的图像块聚类在一起，形成最后的运动目标区域。

参照图4所示，首先设定系统参数：循环次数k和误差阈值t，然后进入循环。在循环中，先随机挑选3个特征点，构建3个如下的方程：

$\left\{\begin{array}{c}(y_1-1_{1w})e_1-(x_1-x_{1w})e_2=y_1{x}_{1w}-x_1{y}_{1w}\\ (y_2-y_{2w})e_1-(x_2-x_{2w})e_2=y_2{x}_{2w}-x_2{y}_{2w}\\ (y_3-y_{3w})e_1-(x_3-x_{3w})e_2=y_3{x}_{3w}-x_3{y}_{3w}\end{array}\right.$

其中(x_i，y_i)是第i个特征点的坐标，(x_iw，y_iw)是第i个特征点的2D投影变换坐标。使用奇异值分解得到的(e₁，e₂)值。然后使用该(e₁，e₂)值，计算其余特征点的模型拟合误差，公式如下：

d_ei＝(y_i-y_iw)e₁-(x_i-x_iw)e₂-(y_ix_iw-x_iy_iw)

剔除误差大于设定阈值t的特征点，使用剩余的特征点(称为内点)，再次构建方程组：

$\left\{\begin{array}{c}(y_1-y_{1w})e_1-(x_1-x_{1w})e_2=y_1{y}_{1w}-x_1{y}_{1w}\\ \·\\ \·\\ \·\\ (y_i-y_{\mathrm{iw}})e_1-(x_i-x_{\mathrm{iw}})e_2=y_i{x}_{\mathrm{iw}}-x_i{y}_{\mathrm{iw}}\\ \·\\ \·\\ \·\end{array}\right.$

使用奇异值分解重新估计(e₁，e₂)值，记录参数拟合误差：

$d_k=\underset{i}{\mathrm{\Σ}}(y_i-y_{\mathrm{iw}})e_1-(x_i-x_{\mathrm{iw}})e_2-(y_i{x}_{\mathrm{iw}}-x_i{y}_{\mathrm{iw}})$

其中，参与累加计算参数拟合误差的特征点中均为内点。结束循环后，挑选参数拟合误差最小的那一轮循环中，计算得到的(e₁，e₂)值作为最终的外极点参数值。

参照图5所示，首先设定系统参数：循环次数k，然后进入循环。在循环中，先随机挑选15个特征点，构建方程组：

$\left\{\begin{array}{c}{\tilde{P}}_{1}G{\tilde{P}}_1^{\′}=0\\ \·\\ \·\\ \·\\ {\tilde{P}}_{15}G{\tilde{P}}_{15}^{\′}=0\end{array}\right.$

其中

表示第i个特征点在第一帧和第二帧中的3D结构向量，

表示第i个特征点在第二帧和第三帧中的3D结构向量。使用奇异值分解法得到的G值。然后使用该G值，计算其余特征点的模型拟合误差，记录模型拟合中值误差：

$d_{\mathrm{med}}=\underset{i}{\mathrm{med}}\left(\right|\left|{\tilde{P}}_{i}G{\tilde{P}}_i^{\′}\right|\left|\right)$

结束循环后，找出所有循环中模型拟合中值误差最小的那一轮循环，取该轮循环中估计的G值，计算各个特征点的拟合误差：

$d_G=\left|\right|{\tilde{P}}_{i}G{\tilde{P}}_i^{\′}\left|\right|$

取模型拟合误差小于中值误差的那些特征点，构造方程组：

$\left\{\begin{array}{c}{\tilde{P}}_{1}G{\tilde{P}}_1^{\′}=0\\ \·\\ \·\\ \·\\ {\tilde{P}}_{i}G{\tilde{P}}_i^{\′}=0\\ \·\\ \·\\ \·\end{array}\right.$

使用奇异值分解法，重新计算G的值，作为最终结构一致性模型的参数。参照图6所示，其中方框标注的区域是感知到的运动目标存在区域。

Claims (3)

1、基于车载单目相机的运动目标感知与告警方法，其特征在于，包括以下步骤：

1)摄像机采集道路前方连续的图像序列，并通过图像采集卡，输入到计算机系统中，等待计算机软件处理；

2)计算机软件中的特征点检测与跟踪模块包括特征点提取与匹配模块和图像背景静止特征点跟踪模块；特征点提取与匹配模块从图像序列中抽取连续的三帧图像，实施苏珊SUSAN特征点检测和尺度不变特征点检测，并使用尺度不变特征点描述方法生成特征点描述向量，再使用欧氏空间距离度量，进行三帧图像之间的特征点匹配；特征点提取与匹配模块输出的匹配特征点将同时输出到图像背景静止特征点跟踪模块、图像静止背景特征点和运动目标特征点分类模块；

3)图像背景静止特征点跟踪模块跟踪静止背景特征点，并将数据输入到图像静止背景特征点几何约束模型参数估计模块进行模型参数估计；

4)图像静止背景特征点和运动目标特征点分类模块使用图像静止背景特征点几何约束模型参数估计模块输出的模型参数构建几何约束模型，将特征点提取与匹配模块所输出的所有匹配特征点分成静止背景点和运动目标点；静止背景点将反馈到图像背景静止特征点跟踪模块；运动目标点将输出到运动特征点时域滤波模块，滤波后的运动特征点数据将输入到运动目标分割模块，目标分割结果输出到运动目标显示告警模块。

2、根据权利要求1所述的方法，其特征在于，图像背景静止特征点跟踪模块使用图像静止背景特征点和运动目标特征点分类模块反馈的前一帧的静止背景特征点，与当前帧的特征点实行匹配，实现跟踪静止背景特征点；

其过程为：以前一帧静止背景特征点的坐标为参考，在当前帧的一个矩形区域中，寻找可与前一帧静止特征点匹配的当前帧的特征点，矩形区域的长和宽与特征点的(x，y)坐标呈下面的函数关系：

$\left\{\begin{array}{c}w=a_0+a_1|x-e_1|+a_2{(x-e_1)}^2\\ h=b_0+b_1|x-e_1||y-e_2|\end{array}\right.$

其中w和h是矩形的长和宽，(x，y)是特征点坐标，(e₁，e₂)是上一图像帧的外极点参数，是(a₀，a₁，a₂，b₀，b₁)函数参数。矩形的中心坐标(h_x，h_y)为：

$\left\{\begin{array}{c}{h}_x=x-\frac{1}{2}w\\ h_y=y\end{array}\right.$

匹配使用的描述向量就是尺度不变特征点描述向量，找到的这些匹配特征点，确定为当前图像中的背景静止特征点；经过该模块对静止背景点的跟踪，从所有特征点中筛选出部分背景静止点，用于几何约束模型参数估计。

3.根据权利要求1所述的方法，其特征在于，所述的图像静止背景特征点和运动目标特征点分类模块使用图像静止背景特征点几何约束模型参数估计模块输出的模型参数构建几何约束模型，采用一种通过2D平面投影变换计算外极点约束模型和结构一致性约束模型的技术：

首先，使用图像背景静止特征点跟踪模块筛选得到的连续三帧图像(A、B、C)中的匹配的静止特征点，估计相邻两帧之间的2D投影变换参数H₁₂和H₂₃；使用参数H₁₂和H₂₃，计算B、C两帧的静止特征点在A、B两帧中的2D平面投影以及平面视差；

其次，使用所述的平面视差，估计第二帧图像B在第一帧图像A中的外极点e₁₂，和第三帧图像C在第二帧图像B中的外极点e₂₃；再使用平面视差和外极点e₁₂和e₂₃计算静止特征点的3D结构向量，并使用3D结构向量估计3D结构一致性模型参数G；

最后，使用了外极点约束模型和结构一致性模型对特征点提取与匹配模块输出的所有特征点进行分类：特征点越是符合模型，则与模型的匹配误差越小，特征点就越趋向于被分类为静止点；反之则越趋向于被分为运动点；外极点约束模型的匹配误差为：

d_e＝(y-y_w)e₁-(x-x_w)e₂-(yx_w-xy_w)

其中[e₁，e₂]是约束模型估计模块的外极点参数e₁₂，(x，y)是特征点x的坐标，(x_w，y_w)是x的2D平面投影坐标；结构一致性模型的匹配误差为：

$d_G=\left|\right|{\tilde{P}}_{1}G{\tilde{P}}_2\left|\right|$

其中G是约束模型估计模块输出的结构一致性模型参数，

和

是3D结构向量。

Images