CN104236478B - 一种基于视觉的车辆外廓尺寸自动测量系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的车辆外廓尺寸自动测量系统及方法，包括四个摄像机和云台、横向水平相机支架、纵向水平相机支架、图像采集卡、计算机系统和位置传感器；每个摄像机都安装在一个云台中，其中两个摄像机固定在横向水平支架上，另两个摄像机固定在纵向水平支架上，位置传感器安装在车辆即将进入摄像机的视野范围的位置，用来感知车辆位置，并给计算机系统提供一个触发信号。本发明不仅可以降低成本，而且具有自动化、非接触、精度高、适应性强等优点，可有效识别超限、超载等不法车辆，满足汽车综合性能检测的需要，提高公路交通系统的监控性能和车辆的管理水平。

Description

一种基于视觉的车辆外廓尺寸自动测量系统及方法

技术领域

本发明涉及一种基于视觉的车辆外廓尺寸自动测量系统及方法。

背景技术

近年来，由于车辆超限超载、违规改装等导致的交通事故频发，严重影响了国家财产和人民生命安全。为了从源头上有效禁止车辆超限超载、“大吨小标”、非法改装等问题，确保车辆行驶安全，车辆外廓尺寸参数已成为汽车运行安全检测的重要内容之一。

通过对目前现有的车辆外廓尺寸的研究发现：目前，国内公安车辆管理所、机动车检测站等对车辆外廓尺寸检验基本上延用过去用钢卷尺等人工测量方法，检验误差大、效率低、工作强度大，并且受人为因素的干扰。在三维检测方面，主要采用全站仪、三坐标测量机等测量工具，体积大，结构复杂，对测量条件要求苛刻，价格昂贵，不利于在汽车检测领域进行推广。视觉传感器作为最接近于人类的感知方式，具有信息量大、适应范围广和感应时间短等优点，可应用在车辆检测中。国内一些研究机构和公司虽然从理论方面对车辆外廓尺寸测量系统有过不同的研究，但国内目前还没有真正产品化和实用化的基于视觉的在用车外廓尺寸自动测量系统。

发明内容

本发明为了解决上述问题，提出了一种基于视觉的车辆外廓尺寸自动测量系统及方法，本发明将机器视觉和汽车检测相结合，根据车辆尺寸参数具有的特点，设计机器视觉测量系统，利用图像采集与预处理、图像特征提取、图像匹配、三维重建、运动估计等技术实现汽车外形尺寸参数的自动测量，可彻底解决人工测量误差大、效率低、工作强度大等弊端，具有自动化、非接触、精度高、通用性的特点，可有效辨认超限、改装等不法车辆，完善汽车性能检测技术，提高公路交通系统的监控性能和车辆的管理水平。

为了实现上述目的，本发明采用如下技术方案：

一种基于视觉的车辆外廓尺寸自动测量系统，包括四个摄像机和云台、横向水平相机支架、纵向水平相机支架、图像采集卡、计算机系统和位置传感器；每个摄像机都安装在一个云台中，其中两个摄像机固定在横向水平支架上，另两个摄像机固定在纵向水平支架上，位置传感器安装在车辆即将进入摄像机的视野范围的位置，用来感知车辆位置，并给计算机系统提供一个触发信号，启动测量系统，摄像机用来采集图像，并将图像像素转换成数字信号，通过图像采集卡传输到电脑中，以数据文件的形式保存在硬盘上。

所述固定在横向水平支架上的摄像机，组成一对双目视觉传感器，用来测量车身宽度、车厢宽度。

所述固定在纵向水平支架上的摄像机，组成一对双目视觉传感器，测量车身总长、车身高度、车厢长度和车厢高度。

所述云台，用于实现对摄像机角度和距离参数的调节。

所述计算机系统，用以处理图像采集卡采集到的图像数据，并对处理获得的车辆外廓尺寸进行显示。

基于视觉的车辆外廓尺寸自动测量方法，包括以下步骤：

(1)摄像机采集到图像后，通过图像采集卡传输到计算机系统，计算机系统对图像进行去噪声、校正处理；

(2)提取图像的Harris角点特征和Canny边缘特征；

(3)进行特征点立体匹配，利用顺序性约束、唯一性约束和连续性约束剔除误匹配，利用三维重建获得相匹配的特征点的三维坐标；

(4)对特征点进行跟踪匹配与图像拼接；

(5)根据所有特征点的三维坐标，进行运动估计，获得车辆的车身长度、车身宽度、车身高度、车厢长度、车厢宽度信息。

所述步骤(1)的具体方法，包括：

步骤1-1：摄像机采集到图像后，通过图像采集卡传输到计算机系统，计算机系统首先采用高斯滤波对图像进行去噪声处理，减少图像采集过程中噪声的干扰，增加后续图像匹配成功的特征点数目；

步骤1-2：对高斯滤波后的图像，计算机系统利用基于摄像机标定参数的校正算法对图像进行校正，使左右图像中的对应点分别在两图的相同像素行中，从而将特征点匹配的搜索空间从二维降到一维的对极线上，提高后续特征点立体匹配的效率。

所述步骤1-1的具体方法为：高斯滤波的过程：

$g(x,y)=\frac{1}{L}\underset{i,j\∈S}{\mathrm{\Σ}}S(i,j)f(i,j)$

式中，g(x,y)表示去噪处理后得到的图像，f(x,y)表示图像中的像素点，S为(x,y)点邻域中点的集合，即窗口模板，L是集合内坐标点的总数，为防止特征丢失，采用3×3的高斯方形窗口，即：

$S=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$

所述步骤1-2，具体步骤为：根据摄像机的标定参数计算左右摄像机的投影矩阵：

P_OL＝K_L[R_L|T_L]

P_OR＝K_R[R_R|T_R]

其中，K_L、K_R为左右摄像机的内参数矩阵，R_L、T_L、R_R、T_R为左右摄像机的外部参数矩阵；

校正后，将左右摄像机新的投影矩阵分别定义为P_NL和P_NR：

P_NL＝K[R|-Rc_L]

P_NR＝K[R|-Rc_R]

其中，K和R为经过校正后的两摄像机的内参数矩阵和旋转矩阵，c_L和c_R为左右摄像机的光心坐标；

根据左右视图各自校正前后像素点坐标的对应，求出校正后图像上各点的像素坐标：

${\tilde{m}}_{\mathrm{NL}}=p_{\mathrm{NL}}{p}_{\mathrm{OL}}^{-1}{\tilde{m}}_{\mathrm{OL}}$

${\tilde{m}}_{\mathrm{NR}}=p_{\mathrm{NR}}{p}_{\mathrm{OR}}^{-1}{\tilde{m}}_{\mathrm{OR}}$

式中和分别表示校正前、后左图像像素点的齐次坐标，和分别表示校正前、后右图像像素点的齐次坐标，其中左图像指左摄像机采集的图像，左摄像机是指两组摄像机中，横向水平相机支架上面向汽车前进方向的摄像机和纵向水平支架上位于左边的摄像机，右图像指右摄像机采集的图像，右摄像机为另外两台摄像机。

所述步骤(2)中，其具体步骤：

骤2-1：预处理后的图像中的像素点(x,y)，计算x方向的差分I_x，y方向的差分I_y，w(x,y)表示窗口函数，表示卷积操作，定义：

$A=w(x,y)\⊗I_x^2,B=w(x,y)\⊗I_y^2,C=D=w(x,y)\⊗\left(I_x{I}_y\right)$

计算相关矩阵M：

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right)$

计算像素点(x,y)的Harris角点响应：

R＝(AB-CD)²-k(A+B)²

式中k为常数，设定一个阈值T，在w(x,y)*w(x,y)范围内寻找极大值点，若Harris角点响应大于阈值T，则将该像素点视为Harris角点；

步骤2-2：对预处理后的图像，利用导数算子求出图像灰度沿着x和y两个方向的偏导数(G_x,G_y)，求出梯度幅值：

$G=\sqrt{G_x^2+G_y^2}$

计算梯度方向：

$\mathrm{\θ}=\mathrm{Arc}\tan \left(\frac{G_y}{G_x}\right)$

对梯度幅值进行非极大值抑制，找到Canny边缘。

所述步骤2-2中，图像灰度沿着x和y两个方向的偏导数(G_x,G_y)：

G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2

G_y＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2。

所述步骤2-2中，将梯度角离散为圆周的四个扇区之一，四个扇区的标号为0到3，对应3*3邻域的四种可能组合。遍历图像，若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，那么这个像素值置为0，即不是边缘；获得滤波后图像的统计累积直方图，用累计统计直方图得到一个高阈值T₁，然后再取一个低阈值T₂；若某个像素的灰度值大于高阈值，那么它一定是边缘；如果低于低阈值，那么它一定不是边缘；如果在低阈值和高阈值之间，判断这个像素的邻接像素中有没有超过高阈值的边缘像素：如果有那么它就是边缘，否则就不是边缘。

所述步骤(3)的具体方法包括：

步骤3-1：以左图像作为基准图，，将左图像中的Harris角点作为待匹配特征点，以右图像中和Harris角点同一行为中心的5行为搜索范围，以相似性度量函数

${\mathrm{\γ}}_{\mathrm{SSD}}(s,t)=\underset{(x,y)\∈f_{\mathrm{mw}}}{\mathrm{\Σ}}{(I^L(x,y)-I^R(x+\mathrm{dx},y+\mathrm{dy}))}^2$

为判断依据，确定匹配特征点数据集，完成初始匹配；式中，I表示匹配窗口的灰度值，f_mw表示匹配窗口，上标L和R分别表示同时刻左右两个摄像头拍摄的图像；

步骤3-2：为了减少误匹配，提高匹配准确率，对初始匹配获得的特征点对，利用顺序性约束、唯一性约束和连续性约束剔除误匹配；

步骤3-3：对左、右图像匹配的特征点，根据摄像机标定结果，获得该特征点在车体坐标系下的三维坐标；

步骤3-4：对Canny边缘特征点，重复上述步骤，获得Canny边缘特征点在车体坐标系下的三维坐标。

所述步骤(4)的具体方法为：

步骤4-1：根据采集的相邻帧图像的实际情况设定跟踪点匹配的搜索范围，以减少计算量，降低误匹配率，仍以相似度函数γ_SSD为特征点匹配的判断依据，并利用唯一性约束剔除误匹配；

步骤4-2：特征点跟踪匹配后，对相邻两时刻的图像拼接，获得车辆的侧视图，并通过计算机系统显示出来。

所述步骤(5)的具体方法为：

将t时刻和t+1时刻匹配特征点的三维坐标集合分别记为{p_t,i}和{q_t+1,i}，且p_t,i＝[X_ti,,Y_ti,,Z_ti,]^T，q_t+1,i＝[X_t+1,i,,Y_t+1,i,Z_t+1,i]^T,i＝1,2,…,n，n表示t时刻和t+1时刻得到的匹配点对数；

为了兼顾算法的实时性和精确度，采用一种鲁棒的运动参数估计方法：首先用RANSCN结合单位四元数方法剔除数据中的误匹配点并求出车体运动参数的预估值；然后从预估值出发利用Levenberg-Marquardt非线性优化算法，获得更为精确的旋转矩阵R和平移向量T。

所述步骤(5)的具体方法包括：

步骤5-1：从前、后帧两组对应三维点集{p_t,i}和{q_t+1,i}中随机选取3对点,将它们的三维坐标值代入公式

q_t+1,i＝RP_t,i+T (1)

式中R和T分别表示三维旋转矩阵和平移矢量，表明了被测车辆在t时刻和t+1时刻之间位姿的变化。

利用单位四元数方法求解旋转矩阵R和平移矢量T，定义距离阈值t，利用求出的旋转矩阵R和平移矢量T计算每对匹配点之间的欧式距离，若得出的欧式距离大于距离阈值t，则该匹配点定义为外点，否则定义为内点，经过m次计算，选取内点数目最多的一组重新求取旋转矩阵R和平移矢量T；

步骤5-2：将步骤5-1中得到的旋转矩阵R和平移矢量T作为迭代初始值，以反投影误差

$\mathrm{\ϵ}=\left[\begin{array}{c}{\mathrm{\ϵ}}_0^T\\ {\mathrm{\ϵ}}_1^T\\ .\\ .\\ .\\ {\mathrm{\ϵ}}_n^T\end{array}\right]=\left[\begin{array}{c}{p}_{t+1}^0-(R{p}_t^0+T)\\ p_{t+1}^1-(R{p}_t^1+T)\\ .\\ .\\ .\\ p_{t+1}^n-(R{p}_t^n+T)\end{array}\right]$

最小作为优化准则，利用Levenberg-Marquardt非线性估计算法迭代出更精确的旋转矩阵R和平移矢量T。

所述步骤(6)的具体方法为：以初始时刻的车体坐标系作为基准坐标系，根据获得的旋转矩阵R和平移矢量T，将每一时刻图像中新出现特征点的三维坐标[X,Y,Z]^T转换到初始时刻的坐标系统中，获得基准坐标系下车辆上特征点的三维坐标数据。车辆行驶通过后，根据所有特征点的三维坐标，获得车辆的车身长度、车身宽度、车身高度、车厢长度、车厢宽度信息，并通过计算机系统显示出来。

本发明的有益效果为：

(1)能够仅仅利用CCD摄像机提供的动态图像序列自动完成车辆外廓尺寸(车身长、宽、高度、车厢长度、车厢宽度、车厢高度)的计算以及车辆侧视图的拼接，不仅可以降低成本，而且具有自动化、非接触、精度高、适应性强等优点；

(2)可有效识别超限、超载等不法车辆，满足汽车综合性能检测的需要，提高公路交通系统的监控性能和车辆的管理水平；

(3)对驾驶员操作要求低，实用性强，采用“不停车”通过式检测方式，提高了车辆安全管理、违章查处检验的效率。

附图说明

图1基于视觉的车辆外廓尺寸自动测量系统组成示意图。

图2基于视觉的车辆外廓尺寸自动测量方法流程图。

图中：1、2、3、4表示摄像机，5、6、7、8表示云台，9、横向水平相机支架，10、纵向水平相机支架，11、图像采集卡，12、计算机系统，13、位置传感器，14、被测车辆。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，基于视觉的车辆外廓尺寸自动测量系统包括4个摄像机1、2、3、4、4个云台5、6、7、8、横向水平相机支架9、纵向水平相机支架10、图像采集卡11、计算机系统12和位置传感器13；所述的4个摄像机完全相同，每个摄像机都安装在一个云台中，其中摄像机1和2固定在横向水平支架9上，组成一对双目视觉传感器，用来测量车身宽度、车厢宽度；另两个摄像机3和4固定在纵向水平支架10上，组成一对双目视觉传感器，测量车身总长、车身高度、车厢长度、车厢高度；所述的云台5、6、7、8的作用是实现对摄像机1、2、3、4角度和距离参数的调节，位置传感器13安装在被测车辆14即将进入摄像机1、2、3、4的视野范围的位置，用来感知车辆位置，并给计算机系统提供一个触发信号，启动测量系统，摄像机1、2、3、4用来采集图像，并将图像像素转换成数字信号，通过图像采集卡11传输到电脑中，以数据文件的形式保存在硬盘上；所述的计算机系统12用来处理图像采集卡11采集到的图像数据，并对处理获得的车辆侧视图和外廓尺寸进行显示。

基于视觉的车辆外廓尺寸自动测量过程包括图像预处理、特征点提取、特征点立体匹配与三维重建、特征点跟踪匹配与图像拼接、运动估计五部分。

图像预处理过程为：

第一步，摄像机1、2、3、4采集到图像后，通过图像采集卡11传输到计算机系统12。为了尽可能的减少图像采集过程中噪声的干扰，计算机系统12首先采用适用面广、效果好的高斯滤波对图像进行去噪声处理。高斯滤波的过程：

$g(x,y)=\frac{1}{L}\underset{i,j\∈S}{\mathrm{\Σ}}S(i,j)f(i,j)$

式中，g(x,y)表示去噪处理后得到的图像，f(x,y)表示图像中的像素点，S为(x,y)点邻域中点的集合，即窗口模板，L是集合内坐标点的总数。为防止特征丢失，采用3×3的高斯方形窗口，即：

$S=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

第二步，根据摄像机的标定参数计算左右摄像机的投影矩阵：

P_OL＝K_L[R_L|T_L]

P_OR＝K_R[R_R|T_R]

其中，K_L、K_R为左右摄像机的内参数矩阵，R_L、T_L、R_R、T_R为左右摄像机的外部参数矩阵。

校正后，将左右摄像机新的投影矩阵分别定义为P_NL和P_NR：

P_NL＝K[R|-Rc_L]

P_NR＝K[R|-Rc_R]

其中，K和R为经过校正后的两摄像机的内参数矩阵和旋转矩阵，c_L和c_R为左右摄像机的光心坐标。

根据左右视图各自校正前后像素点坐标的对应，求出校正后图像上各点的像素坐标：

${\tilde{m}}_{\mathrm{NL}}=p_{\mathrm{NL}}{p}_{\mathrm{OL}}^{-1}{\tilde{m}}_{\mathrm{OL}}$

${\tilde{m}}_{\mathrm{NR}}=p_{\mathrm{NR}}{p}_{\mathrm{OR}}^{-1}{\tilde{m}}_{\mathrm{OR}}$

式中和分别表示校正前、后左图像像素点的齐次坐标，和分别表示校正前、后右图像像素点的齐次坐标。

特征点提取过程为：

第一步，对预处理后的图像中的像素点(x,y)，计算x方向的差分I_x，y方向的差分I_y，将窗口函数w(x,y)取为高斯函数，表示卷积操作，定义：

$A=w(x,y)\⊗I_x^2,B=w(x,y)\⊗I_y^2,C=D=w(x,y)\⊗\left(I_x{I}_y\right)$

计算相关矩阵M：

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right)$

计算像素点(x,y)的Harris角点响应：

R＝(AB-CD)²-k(A+B)²

其中，k为常数，经验取值范围为0.04～0.06。

设定一个阈值T，在w(x,y)*w(x,y)范围内寻找极大值点，若Harris角点响应大于阈值T，则将该像素点视为Harris角点。

第二步，对预处理后图像中的像素点f(x,y)，计算图像灰度沿着x和y两个方向的偏导数(G_x,G_y)：

G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2

G_y＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2

求出梯度幅值：

$G=\sqrt{G_x^2+G_y^2}$

计算梯度方向：

$\mathrm{\θ}=\mathrm{Arc}\tan \left(\frac{G_y}{G_x}\right)$

将梯度角离散为圆周的四个扇区之一，四个扇区的标号为0到3，对应3*3邻域的四种可能组合。遍历图像，若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，那么这个像素值置为0，即不是边缘。

获得滤波后图像的统计累积直方图，用累计统计直方图得到一个高阈值T₁，然后再取一个低阈值T₂(一般取T₂＝0.4T₁)。若某个像素的灰度值大于高阈值，那么它一定是边缘；如果低于低阈值，那么它一定不是边缘；如果在低阈值和高阈值之间，判断这个像素的邻接像素中有没有超过高阈值的边缘像素：如果有那么它就是边缘，否则它就不是边缘。

特征点立体匹配与三维重建的过程为：

第一步，以左图像作为基准图，将左图像中的Harris角点作为待匹配特征点，以右图中和Harris角点同一行为中心的5行为搜索范围，以相似性度量函数

${\mathrm{\γ}}_{\mathrm{SSD}}(s,t)=\underset{(x,y)\∈f_{\mathrm{mw}}}{\mathrm{\Σ}}{(I^L(x,y)-I^R(x+\mathrm{dx},y+\mathrm{dy}))}^2$

为判断依据，确定该点的匹配特征点数据集，完成初始匹配；式中，I表示匹配窗口的灰度值，f_mw表示匹配窗口，上标L和R分别表示同时刻左右两个摄像头拍摄的图像。

第二步，对初始匹配获得的特征点对，引入顺序性约束、唯一性约束和连续性约束，以减少误匹配，提高匹配准确率。

步骤3-3：对左、右图像匹配的特征点，根据摄像机标定结果，获得该特征点在车体坐标系下的三维坐标。

特征点跟踪匹配与图像拼接的过程为:

第一步，根据采集的相邻帧图像的实际情况设定跟踪点匹配的搜索范围，仍以相似度函数γ_SSD为特征点匹配的判断依据，并利用唯一性约束剔除误匹配。

第二步，特征点跟踪匹配后，对相邻两时刻的图像拼接，获得车辆的侧视图，并通过计算机系统12显示出来。

运动估计的过程为：

将t时刻和t+1时刻匹配特征点的三维坐标集合分别记为{p_t,i}和{q_t+1,i}，且

p_t,i＝[X_t,i,Y_t,i,Z_t,i]^T，q_t+1,i＝[X_t+1,i,,Y_t+1,i,Z_t+1,i]^T,i＝1,2,…,n

n表示t时刻和t+1时刻得到的匹配点对数。

为了兼顾算法的实时性和精确度，采用一种鲁棒的运动参数估计方法：首先用RANSCN结合单位四元数方法剔除数据中的误匹配点并求出车体运动参数的预估值；然后从预估值出发利用Levenberg-Marquardt非线性优化算法，获得更为精确的旋转矩阵R和平移向量T。具体实现过程如下：

第一步，从前后帧两组对应三维点集{p_t,i}和{q_t+1,i}中随机选取3对点,将它们的三维坐标值代入公式

q_t+1,i＝RP_t,i+T (1)

式中R和T分别表示三维旋转矩阵和平移向量，表明了被测车辆在t时刻和t+1时刻之间位姿的变化。

利用单位四元数方法求解旋转矩阵R和平移向量T。计算两组三维点集的质心：

$c_p=\frac{1}{N}\underset{I=1}{\overset{N}{\mathrm{\Σ}}}{P}_{t,i}$

$c_q=\frac{1}{N}\underset{I=1}{\overset{N}{\mathrm{\Σ}}}{q}_{t+1,i}$

令各三维点做相对于各自质心的平移，得到新的点集{p′_t,i}和{q′_t+1,i}：

p′_t,i＝p_t,i-c_p＝(x′_t,i,y′_t,i,z′_t,i)^T

q′_t+1,i＝q_t+1,i-c_q＝(x′_t+1,i,y′_t+1,i,z′_t+1,i)^T

利用新点集{p′_t,i}和{q′_t+1,i}构造3×3矩阵M，

$M=\left[\begin{array}{ccc}{S}_{\mathrm{xx}}& S_{\mathrm{xy}}& S_{\mathrm{xz}}\\ S_{\mathrm{yx}}& S_{\mathrm{yy}}& S_{\mathrm{yz}}\\ S_{\mathrm{zx}}& S_{\mathrm{zy}}& S_{\mathrm{zz}}\end{array}\right]$

其中：

$S_{\mathrm{xx}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{t,i}^{\′}{x}_{t+1,i}^{\′}{S}_{\mathrm{xy}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{t,i}^{\′}{y}_{t+1,i}^{\′}{S}_{\mathrm{xz}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{t,i}^{\′}{z}_{t+1,i}^{\′}$

$S_{\mathrm{yx}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{t,i}^{\′}{x}_{t+1,i}^{\′}{S}_{\mathrm{yy}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{t,i}^{\′}{y}_{t+1,i}^{\′}{S}_{\mathrm{yz}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_{t,i}^{\′}{z}_{t+1,i}^{\′}$

$S_{\mathrm{zx}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{z}_{t,i}^{\′}{x}_{t+1,i}^{\′}{S}_{\mathrm{zy}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{z}_{t,i}^{\′}{y}_{t+1,i}^{\′}{S}_{\mathrm{zz}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{z}_{t,i}^{\′}{z}_{t+1,i}^{\′}$

为了满足旋转对称性质的约束，进一步通过矩阵M中各元素构造4×4对称矩阵N：

$N=\left[\begin{array}{cccc}{N}_{11}& N_{12}& N_{13}& N_{14}\\ N_{21}& N_{22}& N_{23}& N_{24}\\ N_{31}& N_{32}& N_{33}& N_{34}\\ N_{41}& N_{42}& N_{43}& N_{44}\end{array}\right]$

其中矩阵N中的各元素分别为：

$\left\{\begin{array}{c}{N}_{11}=S_{\mathrm{xx}}+S_{\mathrm{yy}}+S_{\mathrm{zz}}\\ N_{12}=N_{21}=S_{\mathrm{yz}}-S_{\mathrm{zy}}\\ N_{13}=N_{31}=S_{\mathrm{zx}}-S_{\mathrm{xz}}\\ N_{14}=N_{41}=S_{\mathrm{xy}}-S_{\mathrm{yx}}\\ N_{22}=S_{\mathrm{xx}}-S_{\mathrm{yy}}-S_{\mathrm{zz}}\\ N_{23}=N_{32}=S_{\mathrm{xy}}+S_{\mathrm{yx}}\\ N_{24}=N_{42}=S_{\mathrm{zx}}+S_{\mathrm{xz}}\\ N_{33}=S_{\mathrm{yy}}-S_{\mathrm{xx}}-S_{\mathrm{zz}}\\ N_{34}=N_{43}=S_{\mathrm{yz}}+S_{\mathrm{zy}}\\ N_{44}=S_{\mathrm{zz}}-S_{\mathrm{xx}}-S_{\mathrm{yy}}\end{array}\right.$

计算矩阵N的最大特征根对应的单位特征向量，获得四元组矢量q＝[q₀,q_x,q_y,q_z]，则旋转矩阵R为：

$R\left(q\right)=\left[\begin{array}{ccc}{q}_0^2+q_x^2-q_y^2-q_z^2& 2(q_x-q_y-q_0{q}_z)& 2(q_x{q}_z+q_0{q}_y)\\ 2(q_x{q}_y+q_0{q}_z)& q_0^2+q_y^2-q_x^2-q_z^2& 2(q_y{q}_z-q_0{q}_x)\\ 2(q_x{q}_z-q_0{q}_y)& 2(q_y{q}_z+q_0{q}_x)& q_0^2+q_z^2-q_x^2-q_y^2\end{array}\right]$

平移向量T为：

$T=P_{t+1,i}^C-R{P}_{t,i}^C$

定义距离阈值t，利用求出的旋转矩阵R和平移矢量T计算每对匹配点之间的欧式距离，，若得出的欧式距离大于距离阈值t，则该匹配点定义为外点，否则定义为内点，经过m次计算，选取内点数目最多的一组重新求取旋转矩阵R和平移矢量T。

第二步，将获得的旋转矩阵R和平移矢量T作为迭代初始值，以反投影误差

$\mathrm{\ϵ}=\left[\begin{array}{c}{\mathrm{\ϵ}}_0^T\\ {\mathrm{\ϵ}}_1^T\\ .\\ .\\ .\\ {\mathrm{\ϵ}}_n^T\end{array}\right]=\left[\begin{array}{c}{p}_{t+1}^0-(R{p}_t^0+T)\\ p_{t+1}^1-(R{p}_t^1+T)\\ .\\ .\\ .\\ p_{t+1}^n-(R{p}_t^n+T)\end{array}\right]$

最小作为优化准则，利用Levenberg-Marquardt非线性估计算法迭代出更精确的旋转矩阵R和平移矢量T。

以初始时刻的车体坐标系作为基准坐标系，根据获得的旋转矩阵R和平移矢量T，将每一时刻图像中新出现特征点的三维坐标[X,Y,Z]^T转换到初始时刻的坐标系统中，获得基准坐标系下车辆上特征点的三维坐标数据。车辆行驶通过后，根据所有特征点的三维坐标，获得车辆的车身长度、车身宽度、车身高度、车厢长度、车厢宽度、车厢高度信息，并通过计算机系统显示出来。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于视觉的车辆外廓尺寸自动测量系统的自动测量方法，其中，系统包括四个摄像机和云台、横向水平相机支架、纵向水平相机支架、图像采集卡、计算机系统和位置传感器；每个摄像机都安装在一个云台中，其中两个摄像机固定在横向水平支架上，另两个摄像机固定在纵向水平支架上，位置传感器安装在车辆即将进入摄像机的视野范围的位置，用来感知车辆位置，并给计算机系统提供一个触发信号，启动测量系统，摄像机用来采集图像，并将图像像素转换成数字信号，通过图像采集卡传输到电脑中，以数据文件的形式保存在硬盘上，其特征是：包括以下步骤：

(1)摄像机采集到图像后，通过图像采集卡传输到计算机系统，计算机系统对图像进行去噪声、校正处理；

(2)提取图像的Harris角点特征和Canny边缘特征；

(3)进行特征点立体匹配，利用顺序性约束、唯一性约束和连续性约束剔除误匹配，利用三维重建获得相匹配的特征点的三维坐标；

(4)对特征点进行跟踪匹配与图像拼接；

(5)根据所有特征点的三维坐标，进行运动估计，获得车辆的车身长度、车身宽度、车身高度、车厢长度、车厢宽度、车厢高度信息；

所述步骤(3)的具体方法包括：

步骤3-1：以左图像作为基准图，将左图像中的Harris角点作为待匹配特征点，以右图像中和Harris角点同一行为中心的5行为搜索范围，以相似性度量函数

${\mathrm{\γ}}_{SSD}(s,t)=\underset{(x,y)\∈f_{mw}}{\Σ}{\left(I^L\right(x,y)-I^R(x+dx,y+dy\left)\right)}^2$

为判断依据，确定匹配特征点数据集，完成初始匹配；式中，I表示匹配窗口的灰度值，f_mw表示匹配窗口，上标L和R分别表示同时刻左右两个摄像头拍摄的图像；

步骤3-2：为了减少误匹配，提高匹配准确率，对初始匹配获得的特征点对，利用顺序性约束、唯一性约束和连续性约束剔除误匹配；

步骤3-3：对左、右图像匹配的特征点，根据摄像机标定结果，获得该特征点在车体坐标系下的三维坐标；

步骤3-4：对Canny边缘特征点，重复上述步骤，获得Canny边缘特征点在车体坐标系下的三维坐标。

2.如权利要求1所述的自动测量方法，其特征是：所述步骤(1)的具体方法，包括：

步骤1-1：摄像机采集到图像后，通过图像采集卡传输到计算机系统，计算机系统首先采用高斯滤波对图像进行去噪声处理，减少图像采集过程中噪声的干扰，增加后续图像匹配成功的特征点数目；

步骤1-2：对高斯滤波后的图像，计算机系统利用基于摄像机标定参数的校正算法对图像进行校正，使左右图像中的对应点分别在两图的相同像素行中，从而将特征点匹配的搜索空间从二维降到一维的对极线上，提高后续特征点立体匹配的效率。

3.如权利要求2所述的自动测量方法，其特征是：所述步骤1-1的具体方法为：高斯滤波的过程：

$g(x,y)=\frac{1}{L}\underset{i,j\∈S}{\Σ}S(i,j)f(i,j)$

式中，g(x,y)表示去噪处理后得到的图像，f(x,y)表示图像中的像素点，S为(x,y)点邻域中点的集合，即窗口模板，L是集合内坐标点的总数，为防止特征丢失，采用3×3的高斯方形窗口，即：

$S=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right];$

所述步骤1-2，具体步骤为：根据摄像机的标定参数计算左右摄像机的投影矩阵：

P_OL＝K_L[R_L|T_L]

P_OR＝K_R[R_R|T_R]

其中，K_L、K_R为左右摄像机的内参数矩阵，R_L、T_L、R_R、T_R为左右摄像机的外部参数矩阵；

校正后，将左右摄像机新的投影矩阵分别定义为P_NL和P_NR：

P_NL＝K[R|-Rc_L]

P_NR＝K[R|-Rc_R]

其中，K和R为经过校正后的两摄像机的内参数矩阵和旋转矩阵，c_L和c_R为左右摄像机的光心坐标；

根据左右视图各自校正前后像素点坐标的对应，求出校正后图像上各点的像素坐标：

${\tilde{m}}_{NL}=p_{NL}{p}_{OL}^{-1}{\tilde{m}}_{OL}$

${\tilde{m}}_{NR}=p_{NR}{p}_{OR}^{-1}{\tilde{m}}_{OR}$

式中和分别表示校正前、后左图像像素点的齐次坐标，和分别表示校正前、后右图像像素点的齐次坐标，其中左图像指左摄像机采集的图像，左摄像机是指两组摄像机中，横向水平相机支架上面向汽车前进方向左边的摄像机和纵向水平支架上位于左边的摄像机，右图像指右摄像机采集的图像，右摄像机为另外两台摄像机。

4.如权利要求1所述的自动测量方法，其特征是：所述步骤(2)中，其具体步骤：

步骤2-1：对预处理后的图像中的像素点(x,y)，计算x方向的差分I_x，y方向的差分I_y，w(x,y)表示窗口函数，表示卷积操作，定义：

$A=w(x,y)\⊗I_x^2,B=w(x,y)\⊗I_y^2,C=D=w(x,y)\⊗\left(I_x{I}_y\right)$

计算相关矩阵M：

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right)$

计算像素点(x,y)的Harris角点响应：

R＝(AB-CD)²-k(A+B)²

式中k为常数，设定一个阈值T，在w(x,y)*w(x,y)范围内寻找极大值点，若Harris角点响应大于阈值T，则将该像素点视为Harris角点；

步骤2-2：对预处理后的图像，利用导数算子求出图像灰度沿着x和y两个方向的偏导数(G_x,G_y)，求出梯度幅值：

$G=\sqrt{G_x^2+G_y^2}$

计算梯度方向：

$\mathrm{\θ}=Arctan\left(\frac{G_y}{G_x}\right)$

对梯度幅值进行非极大值抑制，找到Canny边缘。

5.如权利要求4所述的自动测量方法，其特征是：所述步骤2-2中，图像灰度沿着x和y两个方向的偏导数(G_x,G_y)：

G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2

G_y＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2；

所述步骤2-2中，将梯度角离散为圆周的四个扇区之一，四个扇区的标号为0到3，对应3*3邻域的四种可能组合，遍历图像，若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，那么这个像素值置为0，即不是边缘；获得滤波后图像的统计累积直方图，用累计统计直方图得到一个高阈值T₁，然后再取一个低阈值T₂；若某个像素的灰度值大于高阈值，那么它一定是边缘；如果低于低阈值，那么它一定不是边缘；如果在低阈值和高阈值之间，判断这个像素的邻接像素中有没有超过高阈值的边缘像素：如果有那么它就是边缘，否则就不是边缘。

6.如权利要求1所述的自动测量方法，其特征是：所述步骤(4)的具体方法为：

步骤4-1：根据采集的相邻帧图像的实际情况设定跟踪点匹配的搜索范围，以减少计算量，降低误匹配率，仍以相似度函数γ_SSD为特征点匹配的判断依据，并利用唯一性约束剔除误匹配；

步骤4-2：特征点跟踪匹配后，对相邻两时刻的图像拼接，获得车辆的侧视图，并通过计算机系统显示出来；

所述步骤(5)的具体方法为：

将t时刻和t+1时刻匹配特征点的三维坐标集合分别记为{p_t,i}和{q_t+1,i}，且p_t,i＝[X_t,i,Y_t,i,Z_t,i]^T，q_t+1,i＝[X_t+1,i,,Y_t+1,i,Z_t+1,i]^T,i＝1,2,…,n，n表示t时刻和t+1时刻得到的匹配点对数；

为了兼顾算法的实时性和精确度，采用一种鲁棒的运动参数估计方法：首先用RANSCN结合单位四元数方法剔除数据中的误匹配点并求出车体运动参数的预估值；然后从预估值出发利用Levenberg-Marquardt非线性优化算法，获得更为精确的旋转矩阵R和平移向量T；

所述步骤(5)的具体方法包括：

步骤5-1：从前、后帧两组对应三维点集{p_t,i}和{q_t+1,i}中随机选取3对点,将它们的三维坐标值代入公式

q_t+1,i＝RP_t,i+T (1)

式中R和T分别表示三维旋转矩阵和平移矢量，表明了被测车辆在t时刻和t+1时刻之间位姿的变化；

利用单位四元数方法求解旋转矩阵R和平移矢量T，定义距离阈值t，利用求出的旋转矩阵R和平移矢量T计算每对匹配点之间的欧式距离，若得出的欧式距离大于距离阈值t，则该匹配点定义为外点，否则定义为内点，经过m次计算，选取内点数目最多的一组重新求取旋转矩阵R和平移矢量T；

步骤5-2：将步骤5-1中得到的旋转矩阵R和平移矢量T作为迭代初始值，以反投影误差

$\mathrm{\ϵ}=\left[\begin{array}{c}{\mathrm{\ϵ}}_0^T\\ {\mathrm{\ϵ}}_1^T\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\ϵ}}_n^T\end{array}\right]=\left[\begin{array}{c}{p}_{t+1}^0-({\mathrm{Rp}}_t^0+T)\\ p_{t+1}^1-({\mathrm{Rp}}_t^1+T)\\ \begin{array}{c}.\\ .\\ .\end{array}\\ p_{t+1}^n-({\mathrm{Rp}}_t^n+T)\end{array}\right]$

最小作为优化准则，利用Levenberg-Marquardt非线性估计算法迭代出更精确的旋转矩阵R和平移矢量T。

7.如权利要求1所述的自动测量方法，其特征是：所述步骤(5)的具体方法为：以初始时刻的车体坐标系作为基准坐标系，根据获得的旋转矩阵R和平移矢量T，将每一时刻图像中新出现特征点的三维坐标[X,Y,Z]^T转换到初始时刻的坐标系统中，获得基准坐标系下车辆上特征点的三维坐标数据，车辆行驶通过后，根据所有特征点的三维坐标，获得车辆的车身长度、车身宽度、车身高度、车厢长度、车厢宽度、车厢高度信息，并通过计算机系统显示出来。