CN101226637B - 一种车轮与地面接触点的自动检测方法 - Google Patents

Abstract

本发明公开一种车轮与地面接触点的自动检测方法，建立摄像机内参数模型，获得摄像机的内参数矩阵，用于在交通事故现场拍摄的任意图像经过简单计算，获得摄像机的内参数；根据交通事故现场的情况自动地调节摄像机的有效焦距，用于提取清晰的现场图像；对每幅现场图像的摄像机内参数重新进行估计；对含有车轮的现场图像进行处理，提取车轮图像的主轮廓线；确定车轮中心投影点和垂直消影点，用于获取中心投影点和垂直消影点的投影直线；在投影直线上寻找车轮与地面的接触点。本发明代替实际应用中主要采用人工提取车轮与地面接触点的方式，比较有效地克服了传统检测方式中劳动强度大、易受外界因素影响等缺点，满足系统自动处理的需要。

Description

一种车轮与地面接触点的自动检测方法

技术领域

本发明属于图像处理技术领域，涉及摄像机标定、基于单幅图像的测量、图像处理实际应用技术。

背景技术

目前，交通事故现场处理主要采用人工勘查的方式，这种方式具有处理时间长、精度低、劳动强度大、需要人员多等缺点，已经不适应现代交通流量大、速度快的特点。

近年来许多研究人员开始研究视觉测量技术在交通事故现场处理中的应用，其基本思想是通过拍摄交通事故现场的图像进行测量，以减少现场处理的时间，提高勘查的质量和效率；其中，事故现场特征点的检测是应用视觉测量技术进行交通事故现场处理的一个关键问题，如车轮与地面接触点的检测，刹车印痕的起点、终点及拐点检测，血迹及地面散落物的形心和轮廓检测等。这些特征点的检测精度将直接影响测量的精度和勘查质量。

在现有的交通事故现场处理系统中，车轮与地面的接触点主要采取人工提取的方式。从图6、图7中可以看出，车轮外表面与地面的接触部分在图像中几乎成一条直线段，仅仅依靠人眼很难精确地进行判断。车胎的充气情况、天气情况、图像的拍摄时间、光照情况等许多外界因素都会影响人眼对车轮与地面接触点的判断。比如，在晚上光线不足的情况下，仅仅依靠人眼很难在图像中判断车轮与地面的接触点；在雨天拍摄的图像由于车轮和地面的颜色变得非常接近而使人眼难以辨认。而雨天和晚上又恰恰是交通事故的多发期，因此利用计算机视觉技术和图像处理技术进行车轮与地面接触点的自动检测具有重要的应用价值和研究意义。

发明内容

现有的交通事故现场处理的视觉测量技术，获取事故现场特征点，由于交通事故现场的环境限制，会使获得这些特征点的检测精度不高，将直接影响测量的精度和勘查质量，为了解决现有技术的问题，本发明的目的是：提供一种在交通事故现场处理系统的车辆定位、现场平面图生成车轮与地面接触点自动检测方法及装置。

为了实现本发明的目的，本发明是提供一种车轮与地面接触点的自动检测方法，其实现步骤如下：

步骤1：建立摄像机内参数模型，获得摄像机的内参数矩阵，用于在交通事故现场拍摄的任意图像经过简单计算，获得摄像机的内参数；

步骤2：根据交通事故现场的情况自动地调节摄像机的有效焦距，用于获得清晰的现场图像；

步骤3：对每幅现场图像的摄像机内参数重新进行估计；

步骤4：对含有车轮的现场图像进行处理，提取车轮图像的主轮廓线；

步骤5：确定车轮中心投影点和垂直消影点，用于获取中心投影点和垂直消影点的投影直线；

步骤6：在投影直线上寻找车轮与地面的接触点。

优选地，所述车轮与地面的接触点，是在三维空间中车轮与地面的接触点在图像上的投影。

优选地，所述车轮中心投影点是检测车轮图像主轮廓线的中心来近似车轮中心点的图像；垂直消影点是在垂直于地面方向的直线的消影点。

优选地，所述三维空间中车轮与地面的接触点是：

在三维空间中车轮与地面的接触点位于过车轮中心点且垂直于地面的直线上，在图像中车轮与地面的接触点位于直线的投影直线上；车轮中心投影点与垂直消影点的连接直线为投影直线，得到垂直消影点和车轮中心投影点后，直线唯一确定；在车轮图像中从车轮中心投影点开始沿直线指向地面的方向寻找梯度变化最大的像素点，则该点即为车轮与地面的接触点。

优选地，所述车轮与地面的接触点的确定，根据图像中车轮的个数和分布情况确定车轮与地面的接触点步骤包括：

当图像中只有一个车轮时，根据调和共轭的性质对车轮中心点所对应的图像点和垂直消影点进行优化，获得车轮与地面的接触点；

对于单幅图像、多个车轮的情况：当图像中存在分别位于不同车辆的多个车轮时，对每个车轮分别进行优化；

当图像中存在位于同一辆车的两个车轮时，两个车轮中心点连线方向的消影点必位于回字形模板所在的平面π的消影线上，根据调和共轭和消影线的性质，同时优化两个车轮与地面的接触点。

优选地，所述的估计步骤还包括：利用放置在地面上的回字形模板来估计模板平面与回字形模板像平面之间的单应矩阵；利用单应矩阵来测量地平面上任意两点间距离，用来确定摄像机的当前有效焦距、摄像机外参数和垂直消影点。

优选地，提取车轮图像主轮廓线步骤包括：在提取车轮中心投影点之前，把原始的彩色车轮图像变为灰度图像，依次利用维纳滤波去除图像噪声、直方图均衡化增强图像对比度、填充图像中的孔洞，最后，利用Canny边缘检测算子提取车轮图像的轮廓线，去掉其中较小的连通区域，从而得到车轮图像的主轮廓线。

优选地，对于检测到的车轮主轮廓线，利用基于弦中点的椭圆中心检测方法来确定车轮中心投影点，具体步骤包括：

利用椭圆上任意一点与椭圆上的其它点的连线构成椭圆的一组弦，则这组弦的中点构成的椭圆即为原椭圆在该点的内切椭圆；任意通过椭圆中心的弦都被椭圆中心平分，椭圆上任意一点的内切椭圆必过椭圆的中心，通过椭圆中心的内切椭圆的数量要多于其它位置；利用椭圆上所有点的内切椭圆必经过椭圆中心这一性质，通过检测累加器的最大值来确定椭圆的中心点即为车轮中心投影点。

优选地，在检测时对车轮与地面的接触点的约束条件：在直线指向地面的方向上，接触点前面的n₁个点必须是黑色的，且接触点的灰度值与后面的n₂个点的灰度值之差必须大于阈值Th。

本发明的有益效果或优点：

本发明提出了一种单幅图像、单个车轮情况下接触点的自动检测方法，它主要利用车轮与地面的接触点必位于过车轮中心的像点和垂直消影点的直线上这一性质进行检测。该方法可以代替实际应用中主要采用人工提取车轮与地面接触点的方式，比较有效地克服了传统检测方式中劳动强度大、易受外界因素影响等缺点，满足系统自动处理的需要。大量图像的实验结果均验证了该方法的有效性。解决交通事故现场的环境限制，使获得特征点的检测精度提高。本发明能在交通事故现场处理车辆定位、自动生成现场平面图。

附图说明

图1本发明中回字形模板示意图

图2本发明中圆与调和共轭的示意图

图3本发明中车轮图像预处理及特征点检测示意图

图4本发明中椭圆任一点的内切椭圆示意图

图5本发明中椭圆不同点的内切椭圆示意图

图6本发明中图像中只有一个车轮时的实验结果示意图

图7本发明中图像中含有同一辆车两个车轮时的实验结果示意图

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

1、一些预备知识

1.1摄像机标定

本发明中的符号规定如下，一个图像点坐标为m＝(u，v)^T，一个三维空间点在摄像机坐标系中的坐标表示为P＝(X，Y，Z)^T。它们对应的齐次坐标形式分别是

与摄像机模型使用透视投影模型，则根据中心投影原理有：

$\mathrm{\λ}\tilde{m}=K\left[\begin{array}{cc}R& T\end{array}\right]\tilde{P}$

其中 $K=\left[\begin{array}{ccc}f& s& u_0\\ 0& \mathrm{\αf}& v_0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

其中，λ为非零尺度因子，K是摄像机的内参数矩阵，f是有效焦距，s是倾斜因子，α是像素的纵横比，(u₀，v₀)^T为摄像机的主点坐标。R、T是摄像机的外参数，分别表示世界坐标系到摄像机坐标系的旋转矩阵和平移向量。

在实际应用过程中，我们需要根据交通事故现场的情况自动地调节摄像机的有效焦距，在拍摄图片时，只需把摄像机设置为自动对焦，即可以得到清晰的现场图片。因此，本发明给出的方法必须对每幅现场图像的摄像机内参数都重新进行估计。由于摄像机的主点坐标(u₀，v₀)^T、像素的纵横比α、倾斜因子s只与摄像机的制造工艺有关，一般不随有效焦距f的变化而变化，故可事先对摄像机的这些参数进行标定以简化摄像机内参数模型。在实际应用中，仅需要标定有效焦距f。在摄像机内参数(u₀，v₀)^T、α均已知且假设s为0的情况下(当S不为0时，也可以预先进行标定)，摄像机的内参数矩阵可简化为：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& \mathrm{\αf}& 0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

当“回”字形模板平面与回字形模板像平面之间的单应矩阵H已知时，有效焦距f可以很方便地得到。由于本发明主要研究车轮与地面接触点的检测方法，故这里不对f的确定进行介绍，具体有效焦距的实现方法可查阅相关参考文献。

1.2回字形模板及模板平面的单应矩阵

在交通事故现场处理系统中，用放置在地面上的回字形模板来估计模板平面与其像平面之间的单应矩阵H(Homography)。在测量模块中，利用单应矩阵H来测量地面上任意两点间距离，而在本发明中其作用主要是用来确定摄像机的当前有效焦距、摄像机外参数和垂直消影点。由于物体坐标系可自由选取，不失一般性，选取回字形模板所在的平面(地面)π为物体坐标系的XOY平面。此时，有下式：

从上式可以看出，矩阵H实现了平面π到像平面的一个二维射影变换，称为单应矩阵。估计单应矩阵的方法有很多，在此不作详细的介绍。本发明中，采用基于线对应的归一化估计方法。

1.3垂直消影点、消影线与调和共轭

直线上的无穷远点在像平面上的投影点称为该直线的消影点(Vanishing Point)。平行直线有一个相同的消影点，即消影点只与直线的方向有关而与直线的位置无关。在本发明中，垂直消影点指的是垂直于地面方向的直线的消影点。如1.1节所述，当(u₀，v₀)^T，α，s预标定，f实时标定后，K为已知量。由于H＝K[r₁ r₂ i]，故在K、H均已知的前提下，可求出旋转矩阵R的前两个列向量r₁和r₂。此时，可通过下式来计算垂直消影点：

sv_Z＝K(r₁×r₂)＝Kr₃        (4)

平面上的无穷远直线在像平面上的投影直线称为该平面的消影线(Vanishing Line)。平行平面相交于无穷远平面上的同一条直线，因而平行平面有相同的消影线。如本发明中回字形模板示意图，图1所示，回字形模板的两组平行线分别交于无穷远点D₁、D₂，过点D₁、D₂的直线为无穷远直线L_∞。令点D₁和D₂对应的图像点为v₁、v₂，则过点v₁和v₂的直线l_v即为无穷远直线L_∞在像平面上的投影直线。也就是说，直线l_v为回字形模板平面的消影线。

交比是射影变换下的不变量，如本发明中圆与调和共轭的示意图，图2所示，令通过圆心o的直线与圆的交点分别为点P₁，P₂，该直线上的无穷远点为P_∞。根据交比的定义可知，点P₁，P₂，O，P_∞的交比(P₁，P₂；O，P_∞)＝-1。此时，点P₁，P₂与O，P_∞称作调和共轭(Harmonic Conjugate)。

2.车轮与地面接触点的检测方法

2.1基本原理

在不加其它说明的情况下，本发明中“车轮与地面的接触点”指三维空间中车轮与地面的接触点在图像上的投影点；“车轮中心投影点”指车轮中心点在图像上的投影点。由于在三维空间中车轮与地面的接触点位于过车轮中心点且垂直于地面的直线L_c上，故在图像中车轮与地面的接触点必位于直线L_c的投影直线上。由消影点的性质可知，车轮中心投影点与垂直消影点的连线即为直线L_c的投影直线l_c。因此，本发明给出的接触点检测方法的主要步骤有：

1)对车轮图像进行处理，提取车轮图像的主轮廓线。

2)确定车轮中心投影点和垂直消影点。

3)在得到的投影直线l_c上寻找车轮与地面的接触点。

4)为了进一步提高接触点的检测精度，我们还根据图像中车轮的个数和分布情况提出了两种不同的优化方案。

2.2车轮图像的主轮廓线提取与车轮中心投影点检测

根据圆的透视投影性质可知，圆的图像为椭圆，但是圆心的图像一般不是椭圆的中心。在实际应用中发现，由于车轮的外形各异，很难找到一个有效、鲁棒的方法来检测圆心的图像。而在大多数情况下，椭圆中心可近似认为是圆心所对应的图像点。因此，在本发明所述的方法中通过即车轮中心投影点。

如图3本发明中车轮图像预处理及特征点检测示意图所示：

在提取车轮中心投影点之前，我们需要对车轮图像进行预处理。首先，我们把原始的彩色车轮图像变为灰度图像，如图3(1)所示。然后，依次利用维纳滤波去除图像噪声、直方图均衡化增强图像对比度、填充图像中的孔洞，处理后的图像如图3(2)所示。这里填充孔洞的目的是为了减弱车轮内圈花纹对下一步边缘提取的影响，以便更好地提取车轮的主轮廓线。最后，我们利用Canny边缘检测算子提取车轮图像的轮廓线，去掉其中较小的连通区域，从而得到车轮图像的主轮廓线。由于受光照、路况等外界因素的影响，在图像中我们往往不能鲁棒地提取出车轮外圈的边缘，而对于车轮内圈边缘的提取则相对稳定得多(一般来说，内圈是银色的，与地面颜色存在较大差异；外圈是黑色的，与地面颜色的差异较小)，如图3(3)所示。因此，这里车轮图像的主轮廓线是指车轮内圈边缘在图像中所对应的椭圆。

对于检测到的车轮主轮廓线，利用基于弦中点的椭圆中心检测方法来确定车轮中心投影点m_c。如本发明中椭圆任一点的内切椭圆图4所示，椭圆上任意一点与椭圆上的其它点的连线构成椭圆的一组弦，则这组弦的中点构成的椭圆即为原椭圆在该点的内切椭圆。由于任意通过椭圆中心的弦都被椭圆中心平分，故椭圆上任意一点的内切椭圆必过椭圆的中心，通过椭圆中心的内切椭圆的数量要多于其它位置，如本发明中椭圆不同点的内切椭圆图5所示。因此，我们可利用椭圆上所有点的内切椭圆必经过椭圆中心这一性质，通过检测累加器的最大值来确定椭圆的中心点。与一般的Hough变换的方法相比，这种方法具有较快的检测速度和较高的检测精度，同时又对边缘噪声具有一定的抗干扰能力，检测结果如图3(3)所示。

2.3车轮与地面接触点的检测

令过垂直消影点v_Z与车轮中心投影点m_c的直线为l_c，则直线l_c在三维空间中对应的直线L_c必通过车轮中心点且垂直于地面。因此，车轮与地面的接触点必在直线l_c上。通过上面的步骤得到垂直消影点v_Z和车轮中心投影点m_c后，直线l_c可唯一确定。我们在车轮图像中从车轮中心投影点m_c开始沿直线l_c指向地面的方向寻找梯度变化最大的像素点，则该点即为车轮与地面的接触点m_t。为了提高检测算法的鲁棒性，我们在检测时对车轮与地面的接触点m_t加了以下约束条件：在直线l_c指向地面的方向上，接触点m_t前面的n₁个点必须是黑色的，且接触点m_t的灰度值与后面的n₂个点的灰度值之差必须大于阈值Th。这里点的个数n₁、n₂和阈值Th的值是由我们根据大量实验得到的公式自动计算的，不需要人工干预。换句话说，当给定一幅新的车轮图像后，程序会根据当前车轮图像的大小和灰度分布自动计算n₁、n₂和Th。检测结果如图3(4)所示。

2.4迭代优化

在2.2节中我们已经介绍，圆心的图像并不一定是椭圆的中心点。因此，有必要探讨如何利用图像中的射影不变量和几何约束来进一步优化检测结果。针对图像中车轮的个数和分布情况，提出了两种优化方案。当图像中只有一个车轮时，根据调和共轭的性质对车轮中心点所对应的图像点m_c和垂直消影点v_Z进行优化，从而进一步提高车轮与地面的接触点m_t的检测精度。定义目标函数如下：

min[(m_u，m_b；m_c，v_z)+1]                    (5)

其中，m_u、m_b分别为直线l_c与车轮内圈的两个交点。利用与2.2节类似的方法在直线l_c上检测点m_u和m_b，如图3(5)所示。这里需要说明的一点是：在每次迭代优化过程中，都要根据目标函数调整点m_c和v_Z的坐标值并生成新的直线l_c，然后在直线l_c上重新检测点m_u和m_b。在算法收敛后，利用优化后的图像点m_c和v_Z的坐标值重新计算车轮与地面的接触点m_t，从而提高算法的精度。

本发明重点研究基于单幅图像对单个车轮的接触点的自动检测方法，但是在实际应用中，也经常会遇到单幅图像、多个车轮的情况。在这种情况下，车轮图像中可能会存在一些新的约束关系。下面我们将对单幅图像、多个车轮的不同情况分别进行讨论。当图像中存在分别位于不同车辆的多个车轮时，仍采用上述方法对每个车轮分别进行优化。当图像中存在位于同一辆车的两个车轮时，两个车轮中心点连线方向的消影点必位于回字形模板所在的平面π(地面)的消影线上。此时，根据调和共轭和消影线的性质同时优化两个车轮与地面的接触点。假设两个车轮的中心点图像分别为m_c1、m_c2，它们与地面的接触点分别为m_t1和m_t2。令过点m_c1和m_c2的直线为l_p1，过点m_t1和m_t2的直线为l_p2，则直线l_p1和l_p2均平行于平面π。令直线l_p1和l_p2的交点为点m_∞，则点m_∞为直线l_p1(l_p2)的消影点。由1.3节消影点和消影线的性质可知，消影点m_∞必位于平面π的消影线l_v上。此时，定义目标函数如下：

$\min [m_{\∞}^T{l}_v+(m_{u1},m_{b1};m_{c1},v_z)+(m_{u1},m_{b1};m_{c1},v_z)+2]---\left(6\right)$

其中，m_u1、m_b1为直线l_c1与其对应车轮内圈的两个交点，m_u2，m_b2为直线l_c2与其对应车轮内圈的两个交点。同样，在优化过程中不断调整m_c1、m_c2和v_Z的值，以达到最终优化车轮与地面的接触点m_t1和m_t2的目的。

3、应用实例

本发明方法从数学上完全可以证明其正确性。本发明所有的实验都是在Intel Pentium 42.4GHZ的计算机上实现的，所有的实验图像均由Nikon Coolpix5700数码相机拍摄，图像分辨率为2560×1920。实验中，对回字形模板图像，利用Canny边缘检测算子提取图像的边缘，并通过最小二乘法将提取的边缘拟合成直线。对车轮图像，利用本发明给出的方法提取车轮与地面的接触点，并根据实际情况选择优化方案进行优化。由于图像的拍摄质量会对检测结果有比较大的影响，为了验证本发明所述方法的鲁棒性，我们分别对200多幅在不同时间、不同天气情况下、不同类型车的图像使用上述方法进行了实验。其中，晴天的图像有78幅(分别在上午、中午、下午进行拍摄)，阴天的图像有23幅，雨天的图像有38幅，晚上拍摄的图像有126幅。由于篇幅限制，在这里图6仅仅给出了本发明中图像中只有一个车轮时的实验结果，图7仅仅给出了本发明中图像中含有同一辆车两个车轮时的实验结果。

图6是图像中只有一个车轮时的实验结果示意图，其中，图6(1)为阴天时拍摄的图像，图6(2)和图6(3)为晚上拍摄的图像，图6(4)和图6(5)是雨天拍摄的图像，图6(6)为晴天时拍摄的图像。图7是图像中含有同一辆车的两个车轮时的实验结果示意图，其中，图7(1)为晴天时拍摄的图像，图7(2)、图7(3)和图7(4)为晚上拍摄的图像，图7(5)和图7(6)是雨天拍摄的图像。图中，绿色的点为车轮的中心点和车轮与地面的接触点，红色的线为车轮的中心点与垂直消影点的连线，蓝色的点和黄色的线分别为它们优化后的结果。从图6、图7可以看出，本发明所述的方法能够较准确地检测出车轮与地面的接触点；由于本发明根据回字形模板求出的垂直消影点已经比较精确，故在两种情况下优化对结果的提高都不是很大，但优化也不会使结果变坏且耗时一般都在10s以下。在一般情况下，初始检测结果已经能够满足系统的需要。但是从图6(5)我们可以看出，对于一些车轮中心点或垂直消影点提取不精确的情况，经过优化会使检测精度得到一定程度上的提高。因此，在系统允许的情况下，我们可根据图像中车轮的个数和分布情况选择优化方案，以进一步提高检测结果的精度。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种车轮与地面接触点的自动检测方法，实现步骤包括：

步骤1：标定摄像机的主点坐标(u₀，v₀)^T和倾斜因子s，并将主点坐标和倾斜因子用于简化摄像机的内参数矩阵K，并且标定有效焦距f；

步骤2：在交通事故现场，在地面上放置回字形模板，根据交通事故现场的情况自动地调节摄像机的有效焦距f，用于提取清晰的现场图像；

步骤3：对每幅现场图像的摄像机内参数重新进行估计；所述的估计是利用放置在地面上的回字形模板来估计模板平面与回字形模板像平面之间的单应矩阵H；利用单应矩阵H来测量地平面上任意两点间距离，用来确定摄像机的当前有效焦距f，从而确定摄像机的内参数矩阵K；

步骤4：对含有车轮的现场图像进行灰度化、维纳滤波、直方图均衡化、填充孔洞和Canny边缘提取的处理，提取车轮图像的主轮廓线；

步骤5：用基于弦中点的椭圆中心检测方法来确定车轮中心投影点，以及将通过车轮中心投影点并垂直于地面方向的直线的消影点作为垂直消影点；其中，利用步骤3中得到的单应矩阵H和摄像机的内参数矩阵K计算所述垂直消影点；

步骤6：从车轮中心投影点开始，沿车轮中心投影点与垂直消影点的连接投影直线指向地面的方向寻找梯度变化最大的像素点，该点即为车轮与地面的接触点。

2.根据权利要求1所述的自动检测方法，其特征在于，所述车轮与地面的接触点，是在三维空间中车轮与地面的接触点在图像上的投影。

3.根据权利要求1所述的自动检测方法，其特征在于，还包括：根据图像中车轮的个数和分布情况确定车轮与地面的接触点的步骤，该步骤包括：

当图像中只有一个车轮时，根据调和共轭的性质对车轮中心点所对应的图像点和垂直消影点进行优化，获得车轮与地面的接触点；

对于单幅图像、多个车轮的情况：当图像中存在分别位于不同车辆的多个车轮时，根据调和共轭的性质对每个车轮分别进行优化；

当图像中存在位于同一辆车的两个车轮时，两个车轮中心点连线方向的消影点必位于地平面π的消影线上，根据调和共轭和消影线的性质，同时优化两个车轮与地面的接触点。

4.根据权利要求1所述的自动检测方法，其特征在于，在检测时对车轮与地面的接触点加了约束条件：令过垂直消影点v_Z与车轮中心投影点m_c的直线为l_c，则在直线l_c指向地面的方向上，接触点前面的n₁个点必须是黑色的，且接触点的灰度值与后面的n₂个点的灰度值之差必须大于阈值。

Images