CN101488222B - 一种基于运动目标表象和运动信息的摄像机自标定方法 - Google Patents

Abstract

本发明基于视频中运动目标表象和运动信息的摄像机自标定方法，对包含运动目标的视频进行前景检测，提取运动目标区域；对每一个运动目标区域提取特征；对运动目标区域进行粗略分类；从海量运动目标区域的表象和运动信息中，提取相互垂直的三个消失点；结合摄像机高度信息完成监控场景摄像机的完全标定。本发明替代手工标定的工作量和误差。用于基于图像或视频的测量，通过图像中的点距离获得三维世界的真实点距离，通过图像中的线夹角获得三维世界的真实线夹角。用于监控场景中的物体分类识别，补偿二维图像特征固有的透视变形。用于监控场景中的基于三维模型的物体识别，获得三维姿态和轨迹，有效帮助系统理解场景中发生的行为。

Description

一种基于运动目标表象和运动信息的摄像机自标定方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及智能视觉监控。

背景技术

随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控系统一般只能录相用于事后取证，而不能实时的分析视频数据并实时报警。因此，开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

任何智能视觉监控系统都需要用摄像机来采集视频作为系统的输入。摄像机的作用在于将真实的三维场景投影到二维图像平面，并持续采集形成视频。从三维世界到二维图像的变换是一个透视投影，透视变形不可避免。若要获得三维世界中的真实点和二维图像平面点之间的对应关系，则必须进行摄像机标定。

目前已经有很多算法对路面交通场景的摄像机标定进行了研究，但是往往都存在着一定的缺点。目前的主流方法需要对整个场景进行测量，并手动获得大量三维点和二维图像点之间的对应关系。手动测量工作量和难度都很大。而目前的自标定方法主要是采用行人检测并精确定位头顶、脚底位置方法来获得消失点。但是，监控场景往往视野较大，监控视频往往分辨率很低。这给精确的行人检测和头、脚定位带来了巨大的挑战。所以这类方法的准确性很差。

发明内容

鉴于现有技术摄像机标定往往需要手动测量和点对应，带来了巨大的工作量，并影响了监控算法在不同场景中的推广，而现有自标定方法准确性很差的问题，本发明的目的是如何能够准确、便捷、自动地实现监控场景摄像机标定。

为了实现上述目的，本发明提供基于运动目标表象和运动信息的监控场景摄像机自标定方法。该方法无需进行大规模的手动测量和对应点标记。仅仅通过测量摄像机高度，就可以实现摄像机的完全标定。该方法的具体步骤如下所示：

步骤S1：通过背景建模和前景提取方法，检测监控场景中的运动目标区域；

步骤S2：对检测到的每个运动目标区域提取图像平面上运动目标区域的速度方向和运动目标区域的主轴方向；

步骤S3：根据每个运动目标区域所提取的图像平面上运动目标区域的速度方向和运动目标区域的主轴方向，对运动目标区域进行粗分类；

步骤S4：根据运动目标区域的梯度、形状表象特征和速度运动特征估计三个对应相互垂直方向的消失点；

步骤S5：根据三个相互垂直的消失点和摄像机高度，估计出摄像机的内外参数。

根据本发明的实施例，所述提取消失点步骤如下：

步骤S41：如果运动目标区域被粗分类为车辆，则通过两步梯度方向直方图算子HOG提取运动目标区域的两个主方向，并通过速度方向区分这两个主方向为第一主方向和第二主方向；

步骤S42：如果运动目标区域被粗分类为人，则提取运动目标区域的主轴方向作为该运动目标区域的主方向。

步骤S43：对于被分类为车辆的运动目标区域的第一主方向，假设该方向与x轴夹角为θ₁，则遍历所有与x轴夹角为θ₁且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第一主方向的直线；

步骤S44：对于被分类为车辆的运动目标区域的第二主方向，假设该方向与x轴夹角为θ₂，则遍历所有与x轴夹角为θ₂且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第二主方向的直线；

步骤S45：对于被分类为人的运动目标区域，假设该运动目标区域的主轴方向和x轴的夹角为α，则遍历所有与x轴夹角为α的直线，以其中那条过此运动目标区域质心位置的直线为该运动目标区域提取的直线；

步骤S46：通过一段时间积累，收集所有该时间段内的被分类为车的运动目标区域对应于第一主方向的直线，作为第一直线集；收集所有该时间段内的被分类为车的运动目标区域对应于第二主方向的直线，作为第二直线集；收集所有该时间段内的被分类为人的运动目标区域所提取的直线，作为第三直线集；

步骤S47：针对这三个直线集，分别估计集合内所有直线的公共交点作为消失点的鲁棒估计，从而得到三个对应相互垂直方向的消失点。

根据本发明的实施例，所述粗分类，是提取运动目标区域的速度方向和主轴方向，以速度方向和主轴方向之间的差异来进行人和车辆的粗分类。

根据本发明的实施例，所述求取车辆区域的两个主方向，分别对应三维空间中车辆的对称轴方向和对称轴的垂直方向。

根据本发明的实施例，对于行人区域，以主轴方向对应三维世界的垂直于地平面方向。

根据本发明的实施例，还包括通过三个相互垂直的消失点求取摄像机内参数矩阵K和外参数旋转矩阵R。

根据本发明的实施例，所述估计摄像机参数，是通过任意选取图像平面上一点作为坐标原点，确定一组关于摄像机参数的约束关系为：

${\mathrm{\λ}}_4\left[\begin{array}{c}{u}_4\\ v_4\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]=\mathrm{KT},$

式中：任意选取的对应三维世界坐标原点的图像平面上一点坐标为[u₄ v₄ 1]^T，K为摄像机内参数矩阵，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵，λ₄为缩放因子。

根据本发明的实施例，所述估计摄像机参数，是由摄像机高度平面上任意一点在图像上的投影在两个水平消失点连线上，得到一组摄像机参数的约束关系为：

(u-u₁)(v₁-v₂)-(v-v₁)(u₁-u₂)＝0

式中：[u v 1]^T为任意一个摄像机高度平面上的点在图像上投影的齐次坐标，[u₁ v₁ 1]^T为由第一直线集估计的消失点的齐次坐标，[u₂ v₂ 1]^T为由第二直线集估计的消失点的齐次坐标。

根据本发明的实施例，所述估计摄像机参数，是通过摄像机光心位置在三维坐标系的摄像机高度平面上，得到一组摄像机参数的约束关系为：

${-R}^{-1}T=\left[\begin{array}{c}{x}_c\\ y_c\\ H\end{array}\right],$

式中[x_c y_c H]^T为光心位置在三维坐标系下的坐标，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵。

根据本发明的实施例，所述运动目标区域的速度方向是通过计算单位时间内运动目标区域质心位置的偏移。

摄像机标定是智能视觉监控中的关键技术，是很多智能视觉监控系统中不可或缺的关键环节。摄像机自标定可大大提高智能视觉监控算法的可扩展性，替代手工标定的工作量和误差。用于监控场景中的物体分类识别，补偿二维图像特征固有的透视变形。用于监控场景中的基于三维模型的物体识别，获得三维姿态和轨迹，有效帮助系统理解场景中发生的行为。

本发明摄像机自标定的方法不需要对大场景进行大规模的手工测量，可大大提高智能视觉监控算法的可扩展性，替代手工标定的工作量和误差。基于视频，仅仅需要知道摄像机高度，无需测量其他点、线距离，即可实现摄像机的完全标定。该方法准确、便捷，且具有一定的鲁棒性。监控场景的自标定可以应用在如下方面：

(1)用于基于图像或视频的测量，通过图像或视频中的点距离、线夹角估计三维世界中真实的点距离、线夹角。

(2)用于智能监控中的目标分类，首先补偿二维图像特征的透视变形，提高分类准确率。

(3)用于智能监控系统中的基于三维模型的物体识别，提供三维世界和二维图像之间的对应关系，有效帮助系统理解场景中发生的行为。

附图说明

图1示出本发明基于在线学习方法的运动目标分类的流程框图。

图2a示出本发明运动视频中的一帧示例。

图2b示出本发明背景建模方法获得背景图

图2c示出本发明前景检测获得的运动区域。

图3a示出本发明实施例车辆运动区域的特征示意图。

图3b示出本发明实施例行人运动区域的特征示意图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

基于运动目标表象和运动信息的摄像机自标定方法，对于监控系统的搭建，监控算法在不同场景中的推广各方面都具有重要意义。利用运动目标的表象和运动信息，本发明实现了一个交通场景下的摄像机自标定系统，仅仅通过测量摄像机的高度值，实现摄像机的完全标定，如图1示出基于自标定方法的流程框图。

本发明方法的实例采用了硬件最低配置为：P4 3.0G CPU，512M内存的计算机；最低分辨率为320×240的监控摄像头；帧率为25帧每秒的视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本方法，除此之外还可以采用其他配置，在此不详细叙述。

下面对本发明的方法涉及的关键步骤进行逐一详细说明，具体形式如下所述：

首先，是运动目标的提取：

要对运动目标区域进行处理，第一步就需要将运动目标区域从背景中分离出来，这是很关键的一步。这里由于运动目标的提取往往是用于室外场景，所以需要其算法对光照的剧烈变化鲁棒，同时对往往存在的强阴影鲁棒。这里我们改进了传统的混合高斯建模方法，是结合传统高斯背景建模和同态滤波方法，对每个象素值首先进行同态滤波，提取出反射分量，并对反射分量进行传统的混合高斯背景建模。通过这样的改进，可以去除阴影区域，获得准确的前景目标，并能够适应光照的剧烈变化。

通过混合高斯模型方法得到的前景图像中，往往有一些噪声点以及一些空洞。使用形态学操作来过滤噪声点，通过一次腐蚀操作和一次膨胀操作，可以消除噪声点和小的空洞。如附图2a示出一个典型的交通场景视频中的一帧图像，对这个视频用上述方法进行背景建模可以得到对光照鲁棒的背景图像如图2b所示，同时可以得到对应于图2a这一帧图像的前景目标。如图2c所示，背景区域被标记为黑色，前景区域被标记为白色。

其二，是运动目标区域特征提取

对于每个运动目标区域，我们这里仅仅提取两个方向信息。其一是该运动目标区域在图像平面上的速度方向。该方向是通过求取在单位时间内运动区域质心位置的偏移值来获得。假设该运动目标区域在t时刻的质心位置为(x_t，y_t)，在t+1时刻的质心位置为(x_t+1，y_t+1)，则其速度方向为：

α＝arctan((y_t+1-y_t)/(x_t+1-x_t))    (1)

其二是该运动区域的主轴方向。这个方向可以通过对运动区域轮廓的矩分析来完成：

β＝arctan(2μ₁₁/(μ₂₀-μ₀₂))    (2)

这里的μ_pq是运动目标区域轮廓的(p，q)阶的中心矩值。

我们提取速度方向和主轴方向之间的差异作为特征用于接下来的目标粗分类。如图3a示出车辆区域所提出的两个方向的示意图。如图3b示出行人区域所提出的两个方向的示意图。这两个图中的标号为1的箭头是用来标记运动目标区域的速度方向，标号为2的箭头是用来标记运动目标区域的主轴方向。

其三，是运动目标粗分类

由图3可以看出，车辆区域的速度方向和主轴方向的差异较小，而行人区域的速度方向和主轴方向的差异较大。所述粗分类，是提取运动目标区域的速度方向和主轴方向，以速度方向和主轴方向之间的差异来进行行人和运动物的粗分类。我们可以通过K均值算法将运动目标区域分为两类。但是为了更为严格，我们设定了两个阈值：φ₁＝5°，φ₂＝20°。对于方向差异小于φ₁的我们将其分类为车辆，对于方向差异大于φ₂的我们将其分类为行人。而在这两个阈值之间的运动目标区域则被抛弃，以避免其对后面的消失点估计产生不好的影响。

其四，是消失点估计

对于被分类为车辆的运动目标区域，首先求取该区域的第一次梯度方向直方图HOG，直方图的簇数为N。对于值最大的一簇，在其所对应的方向范围内再次求取簇数为N的梯度方向直方图。以值最大的一簇所对应方向范围的中值作为该运动目标区域的一个主方向。对于第一次梯度直方图中值其次大的一簇，在其所对应的方向范围内求取簇数为N的梯度方向直方图，以值最大的一簇所对应方向范围的中值作为该运动目标区域的另一个主方向。

在车辆运动目标区域的两个主方向中，其中一个方向应对于三维空间中车辆的对称轴方向；而另一个方向则对应于三维空间中车辆对称轴的垂直方向。我们通过速度方向将这两个方向区分开来。其中与速度方向相近的方向被认为对应于车辆的对称轴方向，而与速度方向相差较远的方向被认为对应于车辆对称轴的垂直方向。我们定义对应于车辆对称轴方向的主方向为该运动目标区域的第一主方向，对应于车辆对称轴垂直方向的主方向为该运动目标区域的第二主方向。对于该运动目标区域的第一主方向，假设该方向与x轴夹角为θ₁，则遍历所有与x轴夹角为θ₁且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第一主方向的直线；对于该运动目标区域的第二主方向，假设该方向与x轴夹角为θ₂，则遍历所有与x轴夹角为θ₂且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第二主方向的直线。这里的相关值是通过象素平均梯度投影值来求取。对于直线上与运动目标区域相交的每个象素点，求取该象素点的梯度值在与该直线垂直方向上的投影的绝对值。以直线上与运动目标区域相交的所有象素点上绝对值的平均值作为该直线和运动目标区域的相关值。

对于被分类为人的运动目标区域，假设该运动目标区域的主轴方向和x轴的夹角为α，则遍历所有与x轴夹角为α的直线，以其中那条过此运动目标区域质心位置的直线为该运动目标区域提取的直线。

通过一段时间积累，收集所有该时间段内的被分类为车的运动目标区域对应于第一主方向的直线，作为第一直线集；收集所有该时间段内的被分类为车的运动目标区域对应于第二主方向的直线，作为第二直线集；收集所有该时间段内的被分类为人的运动目标区域所提取的直线，作为第三直线集。

由于路面交通监控场景中的车道方向往往是直的，而大多数车辆都是沿着车道行驶，所以大多数车辆的对称轴方向是相互平行的。所以我们认为第一直线集中的绝大多数直线对应于三维空间中的直线是相互平行的。由于第二直线集中的绝大多数直线对应于三维世界中车辆对称轴的垂直方向，所以第二直线集中的绝大多数直线对应于三维空间中的直线也是相互平行的。

由于在监控场景中行人在绝大多数情形下是直立行走的，我们认为对于被分类为人的区域提取的主方向对应于三维世界的地平面的垂直方向，所以第三直线集中的绝大多数直线对应于三维空间中的直线也是相互平行的。

由于摄像机的透视变形，平行直线在图像平面中的投影相交于消失点。所以，对于每一个直线集，我们可以通过投票的方法求取其交点，即为对应于三维方向上的消失点。我们认为直线集内的每个直线上的点在投票空间中都以该点为中心在其邻域内产生一个高斯脉冲，这样该直线集内的所有直线在投票空间中就形成了一个投影曲面，曲面的全局极值点所对应的图像平面上的坐标被认为是消失点坐标。这样就可以求出三个相互垂直的消失点。

其五，是摄像机参数估计

通过三个相互垂直的消失点求取摄像机内参数矩阵K和外参数旋转矩阵R。对于针孔摄像机模型而言，三维世界点的齐次坐标到二维图像点的齐次坐标的投影关系如下：

${\mathrm{\λ}}_i\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=P\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right]---\left(3\right)$

这里的[u_i v_i 1]^T为二维图像点的齐次坐标，[X_i Y_i Z_i 1]^T为三维世界点的齐次坐标，K为摄像机内参数矩阵，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵，λ_i为缩放参数，P为三维世界到二维图像的投影矩阵。这里的K有如下形式：

$K=\left[\begin{array}{ccc}{\mathrm{\α}}_u& s& u_0\\ 0& {\mathrm{\α}}_v& v_0\\ 0& 0& 1\end{array}\right]---\left(4\right)$

其中a_u和a_v分别为摄像机在u轴和v轴上的尺度因子，s为倾斜因子，(u₀，v₀)为摄像机在图像平面上的主点。对于智能视觉监控场景的摄像机而言，我们可以认为α_u＝a_v，s＝0。

对于上述步骤所获得的消失点[u₁ v₁ 1]^T，[u₂ v₂ 1]^T和[u₃ v₃ 1]^T，根据消失点性质，我们可以得到如下约束关系：

$\left[\begin{array}{ccc}{\mathrm{\λ}}_1{\mathrm{\μ}}_1& {\mathrm{\λ}}_2{\mathrm{\μ}}_2& {\mathrm{\λ}}_3{\mathrm{\μ}}_3\\ {\mathrm{\λ}}_1{v}_1& {\mathrm{\λ}}_2{v}_2& {\mathrm{\λ}}_3{v}_3\\ {\mathrm{\λ}}_1& {\mathrm{\λ}}_2& {\mathrm{\λ}}_3\end{array}\right]=P\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]=\mathrm{KR}---\left(5\right)$

其中λ₁，λ₂，λ₃为缩放因子。由旋转矩阵R的正交性，我们可以得到如下约束关系：

$\left[\begin{array}{ccc}{\mathrm{\μ}}_1& {\mathrm{\μ}}_2& {\mathrm{\μ}}_3\\ v_1& v_2& v_3\\ 1& 1& 1\end{array}\right]\left[\begin{array}{ccc}{\mathrm{\λ}}_1^2& 0& 0\\ 0& {\mathrm{\λ}}_2^2& 0\\ 0& 0& {\mathrm{\λ}}_3^2\end{array}\right]{\left[\begin{array}{ccc}{\mathrm{\μ}}_1& {\mathrm{\μ}}_2& {\mathrm{\μ}}_3\\ v_1& v_2& v_3\\ 1& 1& 1\end{array}\right]}^T={\mathrm{KK}}^T---\left(6\right)$

根据约束方程(6)，我们可以求出K和λ₁，λ₂，λ₃。将K和λ₁，λ₂，λ₃代入约束方程(5)，我们可以求出R。

以下三个约束可以用来求解外参数T。

第一个约束为图像上任一点和坐标原点的对应关系。假设图像平面上一点[u₄ v₄ 1]^T对应于三维世界的坐标原点，则我们可以得到以下约束方程：

${\mathrm{\λ}}_4\left[\begin{array}{c}{u}_4\\ v_4\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]=\mathrm{KT}---\left(7\right)$

假设摄像机高度为H，第二个约束为三维世界任意在平面z＝H上的点在图像上的投影在[u₁ v₁ 1]^T和[u₂ v₂ 1]^T的连线上。这样我们又可以得到一个关于T的线性约束方程：

(u-u₁)(v₁-v₂)-(v-v₁)(u₁-u₂)＝0    (8)

式中：任意一个摄像机高度平面上的点在图像上投影的齐次坐标为[u v 1]^T，[u₁ v₁ 1]^T为由第一直线集估计的消失点的齐次坐标，[u₂ v₂ 1]^T为由第二直线集估计的消失点的齐次坐标。

第三个约束是摄像机光心位于z＝H平面上，则：

${-R}^{-1}T=\left[\begin{array}{c}{x}_c\\ y_c\\ H\end{array}\right]---\left(9\right)$

这里的[x_c y_c H]^T为光心位置在三维坐标系下的坐标。

联立以上约束关系，我们可以用最小二乘方法求出T。

实施例子如下：

为了详细说明该发明的具体实施方式，以路面交通场景下的摄像机自标定为例进行说明，我们事先测得其摄像机高度H。

其步骤如下：

运动目标检测步骤S1：通过背景建模和前景提取方法，检测监控场景中的运动目标区域；

运动目标特征提取步骤S2：对检测到的每个运动目标区域提取图像平面上运动目标区域的速度方向和运动目标区域的主轴方向；

运动目标粗分类步骤S3：根据每个运动目标区域所提取的图像平面上运动目标区域的速度方向和运动目标区域的主轴方向，对运动目标区域进行粗分类；

消失点估计步骤S4：根据运动目标区域的梯度、形状表象特征和速度运动特征估计三个对应相互垂直方向的消失点；包括：

车辆区域主方向提取步骤S41：如果运动目标区域被粗分类为车辆，则通过两步梯度方向直方图算子HOG提取运动目标区域的两个主方向，并通过速度方向区分这两个主方向为第一主方向和第二主方向；

人区域主方向提取步骤S42：如果运动目标区域被粗分类为人，则提取运动目标区域的主轴方向作为该运动目标区域的主方向。

车辆区域第一主方向直线估计步骤S43：对于被分类为车辆的运动目标区域的第一主方向，假设该方向与x轴夹角为θ₁，则遍历所有与x轴夹角为θ₁且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第一主方向的直线；

车辆区域第二主方向直线估计步骤S44：对于被分类为车辆的运动目标区域的第二主方向，假设该方向与x轴夹角为θ₂，则遍历所有与x轴夹角为θ₂且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第二主方向的直线；

人区域主方向直线估计步骤S45：对于被分类为人的运动目标区域，假设该运动目标区域的主轴方向和x轴的夹角为α，则遍历所有与x轴夹角为α的直线，以其中那条过此运动目标区域质心位置的直线为该运动目标区域提取的直线；

直线集产生步骤S46：通过一段时间积累，收集所有该时间段内的被分类为车的运动目标区域对应于第一主方向的直线，作为第一直线集；收集所有该时间段内的被分类为车的运动目标区域对应于第二主方向的直线，作为第二直线集；收集所有该时间段内的被分类为人的运动目标区域所提取的直线，作为第三直线集；

消失点估计步骤S47：针对这三个直线集，分别估计集合内所有直线的公共交点作为消失点的鲁棒估计，从而得到三个对应相互垂直方向的消失点。

摄像机参数估计步骤S5：根据三个相互垂直的消失点和摄像机高度H，估计出摄像机的内外参数。

总之，本发明提出了一种便捷有效的基于运动目标表象和运动信息的摄像机自标定方法。本发明易于实现、性能稳定。本发明在众多智能视觉监控应用中具有广泛的应用前景，能够提高智能监控系统对监控场景的理解能力，是下一代智能监控系统里的关键技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：其包括如下步骤：

步骤S1：通过背景建模和前景提取方法，检测监控场景中的运动目标区域；

步骤S2：对检测到的每个运动目标区域提取图像平面上运动目标区域的速度方向和运动目标区域的主轴方向；

步骤S3：根据每个运动目标区域所提取的图像平面上运动目标区域的速度方向和运动目标区域的主轴方向，对运动目标区域进行粗分类；

步骤S4：根据运动目标区域的梯度、形状表象特征和速度运动特征估计三个对应相互垂直方向的消失点；

步骤S5：根据三个对应相互垂直方向的消失点和摄像机高度，估计出摄像机的内外参数。

2.按权利要求1所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述估计三个对应相互垂直方向的消失点步骤如下：

步骤S41：如果运动目标区域被粗分类为车辆，则通过两步梯度方向直方图算子HOG提取运动目标区域的两个主方向，并通过速度方向区分这两个主方向为第一主方向和第二主方向；

步骤S42：如果运动目标区域被粗分类为人，则提取运动目标区域的主轴方向作为该运动目标区域的主方向；

步骤S43：对于被分类为车辆的运动目标区域的第一主方向，假设该方向与x轴夹角为θ₁，则遍历所有与x轴夹角为θ₁且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第一主方向的直线；

步骤S44：对于被分类为车辆的运动目标区域的第二主方向，假设该方向与x轴夹角为θ₂，则遍历所有与x轴夹角为θ₂且与此运动目标区域相交的直线，求取每条直线和此运动目标区域的相关值，以相关值最大的那条直线为此运动目标区域提取的对应于第二主方向的直线；

步骤S45：对于被分类为人的运动目标区域，假设该运动目标区域的主轴方向和x轴的夹角为α，则遍历所有与x轴夹角为α的直线，以其中那条过此运动目标区域质心位置的直线为该运动目标区域提取的直线；

步骤S46：通过一段时间积累，收集所有该时间段内的被分类为车的运动目标区域对应于第一主方向的直线，作为第一直线集；收集所有该时间段内的被分类为车的运动目标区域对应于第二主方向的直线，作为第二直线集；收集所有该时间段内的被分类为人的运动目标区域所提取的直线，作为第三直线集；

步骤S47：针对这三个直线集，分别估计集合内所有直线的公共交点作为消失点的鲁棒估计，从而得到三个对应相互垂直方向的消失点。

3.按权利要求1所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述粗分类，是提取运动目标区域的速度方向和主轴方向，以速度方向和主轴方向之间的差异来进行人和车辆的粗分类。

4.按权利要求2所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述被分类为车辆的运动目标区域的第一主方向和第二主方向，分别对应三维世界中车辆的对称轴方向和对称轴的垂直方向。

5.按权利要求2所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：对于被分类为人的运动目标区域，以主轴方向对应三维世界的垂直于地平面方向。

6.按权利要求1所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：还包括通过三个对应相互垂直方向的消失点求取摄像机内参数矩阵K和外参数旋转矩阵R。

7.按权利要求1所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述估计出摄像机内外参数，是通过任意选取对应三维世界坐标原点的图像平面上一点[u₄ v₄ 1]^T，确定第一组关于摄像机参数的约束关系为：

${\mathrm{\λ}}_4\left[\begin{array}{c}{u}_4\\ v_4\\ 1\end{array}\right]=K\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]=\mathrm{KT},$

式中：K为摄像机内参数矩阵，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵，λ₄为缩放因子。

8.按权利要求2所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述估计出摄像机内外参数，是由摄像机高度平面上任意一点在图像上的投影在两个水平方向的消失点连线上，得到第二组摄像机参数的约束关系为：

(u-u₁)(v₁-v₂)-(v-v₁)(u₁-u₂)＝0

式中：[u v 1]^T为任意一个摄像机高度平面上的点在图像上投影的齐次坐标，[u₁ v₁ 1]^T为由第一直线集估计的消失点的齐次坐标，[u₂ v₂ 1]^T为由第二直线集估计的消失点的齐次坐标。

9.按权利要求1所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述估计出摄像机的内外参数，是通过摄像机光心位置在三维世界坐标系的摄像机高度平面上，得到第三组摄像机参数的约束关系为：

$-R^{-1}T=\left[\begin{array}{c}{x}_c\\ y_c\\ H\end{array}\right],$

式中：[x_c y_c H]^T为光心位置在三维世界坐标系下的坐标，R为摄像机的外参数旋转矩阵，T为摄像机的外参数平移矩阵。

10.按权利要求2所述的基于运动目标表象和运动信息的摄像机自标定方法，其特征在于：所述运动目标区域的速度方向是通过计算单位时间内运动目标区域质心位置的偏移来获得。

Images