CN103927748B - 一种基于多矩形图像距离转换模型的坐标标定方法 - Google Patents

Abstract

本发明公开了一种基于多矩形图像距离转换模型的坐标标定方法，按照以下步骤进行：步骤1：固定摄像机，建立坐标系；步骤2：连续构造多个矩形块；步骤3：求世界坐标系O‑XYZ的X方向在图像坐标系O'UV中的消失点Q′₁；步骤4：求世界坐标系O‑XYZ的Y方向在图像坐标系O'UV中的消失点Q′₂；步骤5：修正矩形顶点A_i′,B_i′(1≤i≤n)的坐标；步骤6：求距离转换模型系数K₁₂；步骤7：求距离转换模型系数K₁₁；步骤8：求距离转换模型系数K₂₂；步骤9：求距离转换模型系数K₂₁；步骤10：求取世界坐标系中的一点P的坐标。本发明采用多个矩形，有利于减小求解消失点的误差；修正矩形的顶点坐标，有利于弥补由于车道线磨损带来的误差；采用直线拟合的方法求取距离转换模型系数K₂₂，提高了K₂₂的准确度。

Description

一种基于多矩形图像距离转换模型的坐标标定方法

技术领域

本发明属于摄像机标定、计算机视觉和交通视频检测领域，涉及一种基于多矩形图像距离转换模型的坐标标定方法。

背景技术

摄像机标定作为计算机视觉中的重要的一个环节，目前已经有较广泛的研究。八十年代，随着计算机视觉学科的发展，现场标定的概念被提出来，一般是将标定控制点混合布置在工作区域或其周围，从而能在现场做出标定调整。而在有些工作场合，摄像机参数可能有变化，却又没有标定物时，就需要摄像机能直接面对环境景物做出标定，于是在20世纪90年代初，Faugeras、Hartley等人提出了摄像机自标定的概念，使得在场景位置和摄像机任意运动的一般情形下成为可能。随着桌面视觉系统进入大众消费领域，对方便、灵活、简单、精度较好的摄像机标定程序需求增加，以满足计算机视觉方面的应用，微软研究院的张正友在1999年前后对此做了大量研究工作，提出了基于移动平面模板的方便灵活的摄像机标定方法，较好地解决了这一问题。

发明内容

技术问题：本发明提供一种减少误差、准确度高、提高了标定精度的基于多矩形图像距离转换模型的坐标标定方法。

技术方案：本发明的基于多矩形图像距离转换模型的坐标标定方法，包括以下步骤：

步骤1：建立世界坐标系O-XYZ和图像坐标系O'UV；

步骤2：获取摄像机的视频图像信息，在世界坐标系中，以摄像机拍摄范围内的道路平面中的车道横向为矩形一边方向，车道纵向为矩形另一边方向，车道宽为矩形横向边长，白色车道线的底端与纵向上相邻的一段白色车道线底端的间距作为矩形纵向一边的边长，构造一个矩形块，按此方法，从图像底部开始连续构造多个矩形块，多个矩形块一侧纵向边上的顶点在世界坐标系中的坐标依次用A₁,A₂,…,A_i,…,A_n表示，另一侧纵向边上的顶点在世界坐标系中的坐标依次用B₁,B₂,…,B_i,…,B_n表示，其中A₁和B₁为图像最底端顶点，B_n和A_n为图像最顶端顶点，n-1为矩形个数，i为矩形顶点的编号，坐标A₁,A₂,…,A_i,…,A_n在图像坐标系中对应的坐标为A′₁,A′₂,…,A′_i,…,A′_n，坐标B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的坐标为B′₁,B′₂,…,B′_i,…,B′_n；

步骤3：求世界坐标系O-XYZ的X方向在图像坐标系O'UV中的消失点Q′₁，具体流程为：

3.1)在图像坐标系O'UV中求出直线A′_iB′_i和A′_jB′_j的交点P′_ij，1≤i≠j≤n；

3.2)根据下式计算交点P′_ij的准确度D_ij：

$D_{ij}=\underset{m=1}{\overset{n}{\Σ}}{d}_{ij\_m},i\≠j$

其中，1≤i≠j≤n，d_{ij_m}表示点P′_ij与直线A′_mB′_m的距离，1≤m≤n；

3.3)选取D_ij最小的点P′_ij作为消失点Q′₁，Q′₁的坐标用(u₁,v₁)表示；

步骤4：求世界坐标系O-XYZ的Y方向在图像坐标系O'UV中的消失点Q′₂，具体流程为：

对点A′₁,A′₂,…,A′_i,…,A′_n进行直线拟合，得到拟合直线为L′_A，对点B′₁,B′₂,…,B′_i,…,B′_n进行直线拟合，得到拟合直线为L′_B；

然后求出拟合直线L′_A与L′_B的交点，并以拟合直线L′_A与L′_B的交点作为消失点Q′₂，Q′₂的坐标用(u₂,v₂)表示；

步骤5：修正所有世界坐标系中的矩形顶点A₁,A₂,…,A_i,…,A_n,B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的点A′₁,A′₂,…,A′_i,…,A′_n,B′₁,B′₂,…,B′_i,…,B′_n的坐标，1≤i≤n，具体流程为：

5.1)用下式分别计算每个矩形顶点面向消失点Q′₁的归一化准确度：

$E_{aiq1}=E_{biq1}=\frac{\underset{k=1}{\overset{i-1}{\Σ}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\Σ}}{D}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\Σ}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\Σ}}{D}_{ik})}$

其中，D_ik为直线A′_iB′_i和A′_kB′_k的交点P′_ik的准确度，1≤i≤n，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q1表示面向Q′₁方向；

5.2)先求取世界坐标系O-XYZ中的直线A_iB_i+1方向在图像坐标系O'UV中的消失点Q′₃，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₃的归一化准确度，具体流程为：

首先在图像坐标系O'UV中求出直线A′_iB′_i+1和A′_jB′_j+1的交点T_ij′，1≤i≠j≤n-1；根据下式计算交点T_ij′的准确度G_ij：

$G_{\mathrm{ij}}=\underset{m=1}{\overset{n-1}{\mathrm{\Σ}}}{g}_{\mathrm{ij}\_m},i\≠j$

其中，1≤i≠j≤n-1，g_{ij_m}表示点T_ij′与直线A′_mB′_m+1的距离，1≤m≤n-1；

然后选取G_ij最小的点T_ij′作为消失点Q′₃，用下式分别计算每个矩形顶点面向消失点Q′₃的归一化准确度：

$E_{aiq3}=E_{b\left(i+1\right)q3}=\frac{\underset{k=1}{\overset{i-1}{\Σ}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\Σ}}{G}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\Σ}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\Σ}}{G}_{ik})}$

其中，G_ik为直线A′_iB′_i+1和A′_kB′_k+1的交点T_ik′的准确度，1≤i≤n-1，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，b(i+1)表示该归一化准确度是矩形顶点B′_i+1的归一化准确度，q3表示面向Q′₃方向；

同时，规定E_anq3＝E_b1q3＝0；

5.3)先求取世界坐标系O-XYZ中的直线A_i+1B_i方向在图像坐标系O'UV中的消失点Q′₄，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₄的归一化准确度，具体流程为：

首先在图像坐标系O'UV中求出直线A′_i+1B′_i和A′_j+1B′_j的交点W_ij′，1≤i≠j≤n-1；根据下式计算交点W_ij′的准确度H_ij：

$H_{ij}=\underset{m=1}{\overset{n-1}{\Σ}}{h}_{ij\_m},i\≠j$

其中，1≤i≠j≤n-1，h_{ij_m}表示点W_ij′与直线A′_m+1B′_m的距离，1≤m≤n-1；

然后选取H_ij最小的点W_ij′作为消失点Q′₄；用下式分别计算每个矩形顶点面向消失点Q′₄的归一化准确度：

$E_{a\left(i+1\right)q3}=E_{biq3}=\frac{\underset{k=1}{\overset{i-1}{\Σ}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\Σ}}{H}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\Σ}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\Σ}}{H}_{ik})}$

其中，H_ik为直线A′_i+1B′_i和A′_k+1B′_k的交点W_ik′的准确度，1≤i≤n-1，a(i+1)表示该归一化准确度是矩形顶点A′_i+1的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q4表示面向Q′₄方向；

同时，规定E_a1q4＝E_bnq4＝0；

5.4)求出图像坐标系中每个矩形顶点三个方向归一化准确度的平均值，作为这个矩形顶点最终的归一化准确度；

其中矩形顶点A′_i的最终的归一化准确度根据下式计算：

$E_{ai}=\frac{E_{aiq1}+E_{aiq3}+E_{aiq4}}{1+efc\left(E_{aiq3}\right)+efc\left(E_{aiq4}\right)},1\≤i\≤n$

其中，i＝n时，efc(E_aiq3)＝0，否则efc(E_aiq3)＝1；i＝1时，efc(E_aiq4)＝0，否则efc(E_aiq4)＝1；

矩形顶点B′_i的最终的归一化准确度根据下式计算：

$E_{bi}=\frac{E_{biq1}+E_{biq3}+E_{biq4}}{1+efc\left(E_{biq3}\right)+efc\left(E_{biq4}\right)},1\≤i\≤n$

其中，i＝1时，efc(E_biq3)＝0，否则efc(E_biq3)＝1；i＝n时，efc(E_biq4)＝0，否则efc(E_biq4)＝1；

5.5)按照如下方法判断图像坐标系中矩形顶点B′_i的归一化准确度是否可靠，并按照如下方式对矩形顶点B′_i的坐标进行修正：

若B′_i的归一化准确度E_bi≤n×E_a(i+1)且E_bi≤n×E_a(i-1)，则认为E_bi可靠，矩形顶点B′_i坐标不作变动；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i+1)≤n×E_a(i-1)，则将直线A′_i+1Q′₄与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i-1)<n×E_a(i+1)，则将直线A′_i-1Q′₃与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

5.6)求出修正后的直线Q′₁B′_i与直线L′_A的交点，并将该修正后的直线Q′₁B′_i与直线L′_A的交点坐标作为矩形顶点A′_i点修正后的坐标；

步骤6：求取距离转换模型系数K₁₂，具体流程为：

6.1)获取公路车道宽，即世界坐标系中L_A与L_B两条直线之间的距离，用s_x表示，其中L_A为点A₁,A₂,…,A_i,…,A_n所在的直线，L_B为B₁,B₂,…,B_i,…,B_n所在的直线；

6.2)找出世界坐标系中摄像机光轴与道路平面的交点Q在图像坐标系O'UV中的投影点Q′，其坐标用(u,v)来表示，世界坐标系中交点Q在X轴上的投影点为Q_x，Q在Y轴上投影点为Q_y，L_A与QQ_y的交点为P_LA，L_B与QQ_y的交点为P_LB；

求出Q′₁Q′与L′_A的交点P′_LA，其坐标为(u_A,v_A)，该交点P′_LA是交点P_LA在图像坐标系O'UV中的投影点；

求出Q′₁Q′与L′_B的交点P′_LB，其坐标为(u_B,v_B)，该交点P′_LB是交点P_LB在图像坐标系O'UV中的投影点；

6.3)用下式求出P′_LA与Q′₁距离的倒数p_A，P′_LB与Q′₁距离的倒数p_B：

p_A＝1/((u₁-u_A)²+(v₁-v_A)²)^1/2

p_B＝1/((u₁-u_B)²+(v₁-v_B)²)^1/2

6.4)用下式计算出距离转换模型系数K₁₂：

$K_{12}=\frac{s_x}{p_A-p_B};$

步骤7：求取距离转换模型系数K₁₁；

步骤8：求取距离转换模型系数K₂₂；

8.1)找出世界坐标系O-XYZ中直线A_iB_i与QQ_x交点P_i，获取两个相邻交点P_i的间距，表示为s_y；

8.2)计算出图像坐标系O'UV中A′_iB′_i与Q′₂Q′的交点P′_i，其坐标表示为(u_ABi,v_ABi)，点P′_i即为P_i在图像坐标系O'UV中的投影点；

8.3)用下式求出交点P′_i与Q′₂距离的倒数p_ABi：

p_ABi＝1/((u₂-u_ABi)²+(v₂-v_ABi)²)^1/2；

8.4)在世界坐标系O-XYZ中交点P₁到X轴的距离表示为l_y1，交点P_i与P₁的距离表示为d_i＝(i-1)s_y，则有：

l_y1+d_i＝K₂₁+K₂₂p_ABi 1≤i≤n

根据上式，结合n个d_i和p_ABi，共有n组表达式，以d_i为纵轴，p_ABi为横轴，建立坐标系，在坐标系中将这n个点(p_AB1,d₁),(p_AB2,d₂),…,(p_ABi,d_i),…,(p_ABn,d_n)拟合成一条直线，然后求出直线的斜率，该斜率取为距离转换模型系数K₂₂；

步骤9：求取距离转换模型系数K₂₁；

步骤10：按照以下方法得到世界坐标系O-XYZ中一点P的坐标：

在世界坐标系坐标中找出过点P平行于X轴的直线与Q_xQ的交点P_y，然后在图像坐标系O'UV中找出交点P_y对应的点P′_y(u_y,v_y)；

在世界坐标系坐标中找出过点P平行于Y轴的直线与Q_yQ的交点P_x，然后在图像坐标系O'UV中找出交点P_x对应的点P′_x(u_x,v_x)；

根据下式求得P的坐标(l_x,l_y,0)，即完成点P在世界坐标系中标定：

$\left\{\begin{array}{c}{l}_x=K_{11}+K_{12}{p}_x\\ l_y=K_{21}+K_{22}{p}_y\end{array}\right.$

其中，p_x＝1/((u₁-u_x)²+(v₁-v_x)²)^1/2，p_y＝1/((u₂-u_y)²+(v₂-v_y)²)^1/2。

本发明方法的优选方案中，步骤7的具体流程为：

7.1)根据下式分别计算图像坐标系O'UV中的点Q′与点Q′₁之间的像素点数量L₁，点Q′与点Q′₂之间的像素点数量L₂，点Q′₁与点Q′₂之间的像素点数量L₃：

L₁＝((u₁-u)²+(v₁-v)²)^1/2

L₂＝((u₂-u)²+(v₂-v)²)^1/2

L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2；

7.2)根据下式求出世界坐标系O-XYZ中摄像机焦距和像素点物理长度的比值f_d，也即点Q′和摄像机光心O₀之间的像素点数目：

$f_d={\left(\right(L_3^2-L_1^2-L_2^2)/2)}^{1/2};$

7.3)根据下式求出世界坐标系O-XYZ中O₀Q与X轴的夹角α₁、O₀Q与Y轴的夹角α₂：

α₁＝arctan(L₁/f_d),α₂＝arctan(L₂/f_d)；

7.4)根据下式计算距离转换模型系数K₁₁：

$K_{11}=-\frac{K_{12}{\mathrm{sin\&alpha;}}_1{\mathrm{cos\&alpha;}}_1}{f_d};$

步骤9中，根据下式求取距离转换模型系数K₂₁：

有益效果：与现有的技术相比，本发明具有以下优点：

(1)实验室摄像机标定通常使用黑色标定板加白色背景，标定板的边缘棱角明显，灰度对比强烈，而道路图像车道线白色，道路背景灰色，灰度对比度不够强烈且车道线角点处呈现圆弧状，这些因素造成手工标记矩形顶点时出现几个像素的误差。

基于单个矩形标定时，以A′₁B′₁和A′₂B′₂的交点作为Q′₁，以直线A′₁A′₂和B′₁B′₂的交点作为Q′₂，由于上述的标示矩形顶点时出现误差的原因，同一张图片多次标定产生得到的Q′₁和Q′₂经常出现不一致的情况。

为了解决上述的单个矩形标定的缺陷，采用多个连续矩形标定的方法，在X轴方向利用平行直线在图像中对应直线交于一点的原理，引入准确度的概念，求解出平行度最高的两条直线，并得到相对准确的Q′₁，在Y轴方向使用直线拟合的方法保证消失点Q′₂的准确性。

(2)随着车辆轮胎对车道线的磨损，一些车道线边缘变得模糊，甚至一些车道线变短，必然会造成后面消失点计算的不准确。

为了解决上述的由于车道线磨损造成的矩形顶点标记不准确的缺陷，求世界坐标系O-XYZ中的直线A_iB_i+1方向在图像坐标系O'UV中的消失点Q′₃，求世界坐标系O-XYZ中的直线A_i+1B_i方向在图像坐标系O'UV中的消失点Q′₄，并引入归一化准确度的概念，计算每个矩形顶点的坐标的准确程度，保留相对准确的矩形顶点的坐标，并用这些相对准确的坐标去修正相对不准确的矩形顶点的坐标，提高矩形顶点的坐标的准确性，并最终提高多矩形图像距离转换模型参数的准确性，提高标定的精度。

(3)在求解K₂₂时，以d_i为纵轴，p_ABi为横轴，建立坐标系，在坐标系中将n个点(p_AB1,d₁),(p_AB2,d₂),…,(p_ABi,d_i),…,(p_ABn,d_n)拟合成一条直线，然后求出直线的斜率，该斜率取为距离转换模型系数K₂₂。采用直线拟合的方法，提高了K₂₂的准确度。

附图说明

图1是利用车道线构造多个连续矩形的变化示意图，其中左侧为车道线，右侧为对应变换的多个连续矩形；

图2是本发明方法的流程图。

具体实施方式

下面结合实施例和附图，清楚完整地描述本发明方法的详细过程。

本发明的基于多矩形图像距离转换模型的坐标标定方法，按照以下步骤进行：

步骤1：建立世界坐标系O-XYZ和图像坐标系O'UV；

首先建立世界坐标系O-XYZ。固定摄像机，摄像机光心O₀在道路平面的投影点O为世界坐标系原点，垂直于道路平面向上为Z轴正方向，道路平面为世界坐标系XOY面，其中沿公路方向为Y轴，垂直于YOZ方向为X轴。

然后建立图像坐标系O'UV。人面向成像平面时其左上角作为图像坐标系原点O'，过O'向右的一条边作为O'U，过O'向下的一条边作为O'V轴。

步骤2：获取摄像机的视频图像信息，在世界坐标系中，以摄像机拍摄范围内的道路平面中的车道横向为矩形一边方向，车道纵向为矩形另一边方向，车道宽为矩形横向边长，白色车道线的底端与纵向上相邻的一段白色车道线底端的间距作为矩形纵向一边的边长，构造一个矩形块，按此方法，从图像底部开始连续构造多个矩形块，多个矩形块一侧纵向边上的顶点在世界坐标系中的坐标依次用A₁,A₂,…,A_i,…,A_n表示，另一侧纵向边上的顶点在世界坐标系中的坐标依次用B₁,B₂,…,B_i,…,B_n表示，其中A₁和B₁为图像最底端顶点，B_n和A_n为图像最顶端顶点，n-1为矩形个数，i为矩形顶点的编号，A₁,A₂,…,A_i,…,A_n在图像坐标系中对应的坐标为A′₁,A′₂,…,A′_i,…,A′_n，B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的坐标为B′₁,B′₂,…,B′_i,…,B′_n；

步骤3：求世界坐标系O-XYZ的X方向在图像坐标系O'UV中的消失点Q′₁，具体流程为：

3.1)在图像坐标系O'UV中求出直线A′_iB′_i和A′_jB′_j的交点P′_ij，1≤i≠j≤n；

3.2)根据下式计算交点P′_ij的准确度D_ij：

$D_{ij}=\underset{m=1}{\overset{n}{\&Sigma;}}{d}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n，d_{ij_m}表示点P′_ij与直线A′_mB′_m的距离，1≤m≤n；

3.3)选取D_ij最小的点P′_ij作为消失点Q′₁，Q′₁的坐标用(u₁,v₁)表示；

步骤4：求世界坐标系O-XYZ的Y方向在图像坐标系O'UV中的消失点Q′₂，本步骤与步骤3同步进行，具体流程为：

对点A′₁,A′₂,…,A′_i,…,A′_n进行直线拟合，得到拟合直线为L′_A，对点B′₁,B′₂,…,B′_i,…,B′_n进行直线拟合，得到拟合直线为L′_B；

然后求出拟合直线L′_A与L′_B的交点，并以拟合直线L′_A与L′_B的交点作为消失点Q′₂，Q′₂的坐标用(u₂,v₂)表示；

步骤5：修正所有世界坐标系中的矩形顶点A₁,A₂,…,A_i,…,A_n,B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的点A′₁,A′₂,…,A′_i,…,A′_n,B′₁,B′₂,…,B′_i,…,B′_n的坐标，1≤i≤n，具体流程为：

5.1)用下式分别计算每个矩形顶点面向消失点Q′₁的归一化准确度：

$E_{aiq1}=E_{biq1}=\frac{\underset{k=1}{\overset{i-1}{\&Sigma;}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\&Sigma;}}{D}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\&Sigma;}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\&Sigma;}}{D}_{ik})}$

其中，D_ik为直线A′_iB′_i和A′_kB′_k的交点P′_ik的准确度，1≤i≤n，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q1表示面向Q′₁方向；

5.2)理论上，图像坐标系中直线A′_iB′_i+1会交于同一个消失点，1≤i≤n-1，设该点为Q′₃，使用同样的方法计算每个点面向Q′₃方向的归一化准确度E_aiq3和E_biq3，1≤i≤n；先求取世界坐标系O-XYZ中的直线A_iB_i+1方向在图像坐标系O'UV中的消失点Q′₃，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₃的归一化准确度，具体流程为：

首先在图像坐标系O'UV中求出直线A′_iB′_i+1和A′_jB′_j+1的交点T_ij′，1≤i≠j≤n-1；根据下式计算交点T_ij′的准确度G_ij：

$G_{ij}=\underset{m=1}{\overset{n-1}{\&Sigma;}}{g}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n-1，g_{ij_m}表示点T_ij′与直线A′_mB′_m+1的距离，1≤m≤n-1；

然后选取G_ij最小的点T_ij′作为消失点Q′₃，用下式分别计算每个矩形顶点面向消失点Q′₃的归一化准确度：

$E_{aiq3}=E_{b\left(i+1\right)q3}=\frac{\underset{k=1}{\overset{i-1}{\&Sigma;}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{G}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\&Sigma;}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{G}_{ik})}$

其中，G_ik为直线A′_iB′_i+1和A′_kB′_k+1的交点T_ik′的准确度，1≤i≤n-1，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，b(i+1)表示该归一化准确度是矩形顶点B′_i+1的归一化准确度，q3表示面向Q′₃方向；

同时，规定E_anq3＝E_b1q3＝0；

5.3)同理，图像坐标系中直线A′_i+1B′_i会交于同一个消失点Q′₄，1≤i≤n-1，计算每个点面向Q′₄方向的归一化准确度E_aiq4和E_biq4，1≤i≤n；先求取世界坐标系O-XYZ中的直线A_i+1B_i方向在图像坐标系O'UV中的消失点Q′₄，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₄的归一化准确度，具体流程为：

首先在图像坐标系O'UV中求出直线A′_i+1B′_i和A′_j+1B′_j的交点W_ij′，1≤i≠j≤n-1；根据下式计算交点W_ij′的准确度H_ij：

$H_{ij}=\underset{m=1}{\overset{n-1}{\&Sigma;}}{h}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n-1，h_{ij_m}表示点W_ij′与直线A′_m+1B′_m的距离，1≤m≤n-1；

然后选取H_ij最小的点W_ij′作为消失点Q′₄；用下式分别计算每个矩形顶点面向消失点Q′₄的归一化准确度：

$E_{a\left(i+1\right)q3}=E_{biq3}=\frac{\underset{k=1}{\overset{i-1}{\&Sigma;}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{H}_{ik}}{\max (\underset{k=1}{\overset{i-1}{\&Sigma;}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{H}_{ik})}$

其中，H_ik为直线A′_i+1B′_i和A′_k+1B′_k的交点W_ik′的准确度，1≤i≤n-1，a(i+1)表示该归一化准确度是矩形顶点A′_i+1的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q4表示面向Q′₄方向；

同时，规定E_a1q4＝E_bnq4＝0；

5.4)上述步骤5.1)、5.2)、5.3)为同步并行的关系，得到所有归一化准确度后，求出图像坐标系中每个矩形顶点三个方向归一化准确度的平均值，作为这个矩形顶点最终的归一化准确度；

其中矩形顶点A′_i的最终的归一化准确度根据下式计算：

$E_{ai}=\frac{E_{aiq1}+E_{aiq3}+E_{aiq4}}{1+efc\left(E_{aiq3}\right)+efc\left(E_{aiq4}\right)},1\&le;i\&le;n$

其中，i＝n时，efc(E_aiq3)＝0，否则efc(E_aiq3)＝1；i＝1时，efc(E_aiq4)＝0，否则efc(E_aiq4)＝1；

矩形顶点B′_i的最终的归一化准确度根据下式计算：

$E_{bi}=\frac{E_{biq1}+E_{biq3}+E_{biq4}}{1+efc\left(E_{biq3}\right)+efc\left(E_{biq4}\right)},1\&le;i\&le;n$

其中，i＝1时，efc(E_biq3)＝0，否则efc(E_biq3)＝1；i＝n时，efc(E_biq4)＝0，否则efc(E_biq4)＝1；

5.5)按照如下方法判断图像坐标系中矩形顶点B′_i的归一化准确度是否可靠，并按照如下方式对矩形顶点B′_i的坐标进行修正：

若B′_i的归一化准确度E_bi≤n×E_a(i+1)且E_bi≤n×E_a(i-1)，则认为E_bi可靠，矩形顶点B′_i坐标不作变动；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i+1)≤n×E_a(i-1)，则将直线A′_i+1Q′_４与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i-1)<n×E_a(i+1)，则将直线A′_i-1Q′₃与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

5.6)求出修正后的直线Q′₁B′_i与直线L′_A的交点，并将该修正后的直线Q′₁B′_i与直线L′_A的交点坐标作为矩形顶点A′_i点修正后的坐标，其中修正后的直线Q′₁B′_i为步骤3中求取的消失点Q′₁和步骤5.5)中修正后的点B′_i的连线；

步骤6：求取距离转换模型系数K₁₂，具体流程为：

6.1)获取公路车道宽，即世界坐标系中L_A与L_B两条直线之间的距离，用s_x表示，其中L_A为点A₁,A₂,…,A_i,…,A_n所在的直线，L_B为B₁,B₂,…,B_i,…,B_n所在的直线；

6.2)找出世界坐标系中摄像机光轴与道路平面的交点Q在图像坐标系O'UV中的投影点Q′，其坐标用(u,v)来表示，世界坐标系中交点Q在X轴上的投影点为Q_x，Q在Y轴上投影点为Q_y，L_A与QQ_y的交点为P_LA，L_B与QQ_y的交点为P_LB；

求出Q′₁Q′与L′_A的交点P′_LA，其坐标为(u_A,v_A)，该交点P′_LA是交点P_LA在图像坐标系O'UV中的投影点；

求出Q′₁Q′与L′_B的交点P′_LB，其坐标为(u_B,v_B)，该交点P′_LB是交点P_LB在图像坐标系O'UV中的投影点；

6.3)用下式求出P′_LA与Q′₁距离的倒数p_A，P′_LB与Q′₁距离的倒数p_B：

p_A＝1/((u₁-u_A)²+(v₁-v_A)²)^1/2

p_B＝1/((u₁-u_B)²+(v₁-v_B)²)^1/2

6.4)用下式计算出距离转换模型系数K₁₂：

$K_{12}=\frac{s_x}{p_A-p_B};$

步骤7：求取距离转换模型系数K₁₁，具体流程为：

7.1)根据下式分别计算图像坐标系O'UV中的点Q′与点Q′₁之间的像素点数量L₁，点Q′与点Q′₂之间的像素点数量L₂，点Q′₁与点Q′₂之间的像素点数量L₃：

L₁＝((u₁-u)²+(v₁-v)²)^1/2

L₂＝((u₂-u)²+(v₂-v)²)^1/2

L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2；

7.2)根据下式求出世界坐标系O-XYZ中摄像机焦距和像素点物理长度的比值f_d，也即点Q′和摄像机光心O₀之间的像素点数目：

$f_d={\left(\right(L_3^2-L_1^2-L_2^2)/2)}^{1/2};$

7.3)根据下式求出世界坐标系O-XYZ中O₀Q与X轴的夹角α₁、O₀Q与Y轴的夹角α₂：

α₁＝arctan(L₁/f_d),α₂＝arctan(L₂/f_d)；

7.4)根据下式计算距离转换模型系数K₁₁：

$K_{11}=-\frac{K_{12}{\mathrm{sin\&alpha;}}_1{\mathrm{cos\&alpha;}}_1}{f_d};$

步骤8：求取距离转换模型系数K₂₂；

8.1)找出世界坐标系O-XYZ中直线A_iB_i与QQ_x交点P_i，获取两个相邻交点P_i的间距，表示为s_y，s_y为白色车道线的底端与纵向上相邻的一段白色车道线底端的间距；

8.2)计算出图像坐标系O'UV中A′_iB′_i与Q′₂Q′的交点P′_i，其坐标表示为(u_ABi,v_ABi)，点P′_i即为P_i在图像坐标系O'UV中的投影点；

8.3)用下式求出交点P′_i与Q′₂距离的倒数p_ABi：

p_ABi＝1/((u₂-u_ABi)²+(v₂-v_ABi)²)^1/2；

8.4)在世界坐标系O-XYZ中交点P₁到X轴的距离表示为l_y1，交点P_i与P₁的距离表示为d_i＝(i-1)s_y，则有：

l_y1+d_i＝K₂₁+K₂₂p_ABi 1≤i≤n

根据上式，结合n个d_i和p_ABi，共有n组表达式，以d_i为纵轴，p_ABi为横轴，建立坐标系，在坐标系中将这n个点(p_AB1,d₁),(p_AB2,d₂),…,(p_ABi,d_i),…,(p_ABn,d_n)拟合成一条直线，然后求出直线的斜率，该斜率取为距离转换模型系数K₂₂；

步骤9：根据下式求取距离转换模型系数K₂₁：

$K_{21}=-\frac{K_{22}{\mathrm{sin\&alpha;}}_2{\mathrm{cos\&alpha;}}_2}{f_d};$

步骤10：按照以下方法得到世界坐标系O-XYZ中一点P的坐标：

在世界坐标系坐标中找出过点P平行于X轴的直线与Q_xQ的交点P_y，然后在图像坐标系O'UV中找出交点P_y对应的点P′_y(u_y,v_y)；

在世界坐标系坐标中找出过点P平行于Y轴的直线与Q_yQ的交点P_x，然后在图像坐标系O'UV中找出交点P_x对应的点P′_x(u_x,v_x)；

根据下式求得P的坐标(l_x,l_y,0)，即完成点P在世界坐标系中标定：

$\left\{\begin{array}{c}{l}_x=K_{11}+K_{12}{p}_x\\ l_y=K_{21}+K_{22}{p}_y\end{array}\right.$

其中，p_x＝1/((u₁-u_x)²+(v₁-v_x)²)^1/2，p_y＝1/((u₂-u_y)²+(v₂-v_y)²)^1/2。

本发明方法中，步骤8至9计算距离转换模型系数K₂₂、距离转换模型系数K₂₁的流程，与步骤6至7计算距离转换模型系数K₁₂、距离转换模型系数K₁₁的流程是同步并行的关系。

应理解上述实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。

Claims (2)

1.一种基于多矩形图像距离转换模型的坐标标定方法，其特征在于，该方法按照包括以下步骤进行：

步骤1：建立世界坐标系O-XYZ和图像坐标系O′UV；

步骤2：获取摄像机的视频图像信息，在世界坐标系中，以摄像机拍摄范围内的道路平面中的车道横向为矩形一边方向，车道纵向为矩形另一边方向，车道宽为矩形横向边长，白色车道线的底端与纵向上相邻的一段白色车道线底端的间距作为矩形纵向一边的边长，构造一个矩形块，按此方法，从图像底部开始连续构造多个矩形块，所述多个矩形块一侧纵向边上的顶点在世界坐标系中的坐标依次用A₁,A₂,…,A_i,…,A_n表示，另一侧纵向边上的顶点在世界坐标系中的坐标依次用B₁,B₂,…,B_i,…,B_n表示，其中A₁和B₁为图像最底端顶点，B_n和A_n为图像最顶端顶点，n-1为矩形个数，i为矩形顶点的编号，所述A₁,A₂,…,A_i,…,A_n在图像坐标系中对应的坐标为A′₁,A′₂,…,A′_i,…,A′_n，所述B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的坐标为B′₁,B′₂,…,B′_i,…,B′_n；

步骤3：求世界坐标系O-XYZ的X方向在图像坐标系O′UV中的消失点Q′₁，具体流程为：

3.1)在图像坐标系O′UV中求出直线A′_iB′_i和A′_jB′_j的交点P′_ij，1≤i≠j≤n；

3.2)根据下式计算交点P′_ij的准确度D_ij：

$D_{ij}=\underset{m=1}{\overset{n}{\&Sigma;}}{d}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n，d_{ij_m}表示点P′_ij与直线A′_mB′_m的距离，1≤m≤n；

3.3)选取D_ij最小的点P′_ij作为消失点Q′₁，Q′₁的坐标用(u₁,v₁)表示；

步骤4：求世界坐标系O-XYZ的Y方向在图像坐标系O′UV中的消失点Q′₂，具体流程为：

对点A′₁,A′₂,…,A′_i,…,A′_n进行直线拟合，得到拟合直线为L′_A，对点B′₁,B′₂,…,B′_i,…,B′_n进行直线拟合，得到拟合直线为L′_B；

然后求出拟合直线L′_A与L′_B的交点，并以所述拟合直线L′_A与L′_B的交点作为消失点Q′₂，Q′₂的坐标用(u₂,v₂)表示；

步骤5：修正所有世界坐标系中的矩形顶点A₁,A₂,…,A_i,…,A_n,B₁,B₂,…,B_i,…,B_n在图像坐标系中对应的点A′₁,A′₂,…,A′_i,…,A′_n,B′₁,B′₂,…,B′_i,…,B′_n的坐标，1≤i≤n，具体流程为：

5.1)用下式分别计算每个矩形顶点面向消失点Q′₁的归一化准确度：

$E_{aiq1}=E_{biq1}=\frac{\underset{k=1}{\overset{i-1}{\&Sigma;}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\&Sigma;}}{D}_{ik}}{max(\underset{k=1}{\overset{i-1}{\&Sigma;}}{D}_{ik}+\underset{k=i+1}{\overset{n}{\&Sigma;}}{D}_{ik})}$

其中，D_ik为直线A′_iB′_i和A′_kB′_k的交点P′_ik的准确度，1≤i≤n，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q1表示面向Q′₁方向；

5.2)先求取世界坐标系O-XYZ中的直线A_iB_i+1方向在图像坐标系O′UV中的消失点Q′₃，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₃的归一化准确度，具体流程为：

首先在图像坐标系O′UV中求出直线A′_iB′_i+1和A′_jB′_j+1的交点T_ij′，1≤i≠j≤n-1；根据下式计算交点T_ij′的准确度G_ij：

$G_{ij}=\underset{m=1}{\overset{n-1}{\&Sigma;}}{g}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n-1，g_{ij_m}表示点T_ij′与直线A′_mB′_m+1的距离，1≤m≤n-1；

然后选取G_ij最小的点T_ij′作为消失点Q′₃，用下式分别计算每个矩形顶点面向消失点Q′₃的归一化准确度：

$E_{aiq3}=E_{b\left(i+1\right)q3}=\frac{\underset{k=1}{\overset{i-1}{\&Sigma;}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{G}_{ik}}{max(\underset{k=1}{\overset{i-1}{\&Sigma;}}{G}_{ik}+\underset{k=i+1}{\overset{n-1}{\&Sigma;}}{G}_{ik})}$

其中，G_ik为直线A′_iB′_i+1和A′_kB′_k+1的交点T_ik′的准确度，1≤i≤n-1，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，b(i+1)表示该归一化准确度是矩形顶点B′_i+1的归一化准确度，q3表示面向Q′₃方向；

同时，规定E_anq3＝E_b1q3＝0；

5.3)先求取世界坐标系O-XYZ中的直线A_i+1B_i方向在图像坐标系O′UV中的消失点Q′₄，1≤i≤n-1，然后计算每个矩形顶点面向消失点Q′₄的归一化准确度，具体流程为：

首先在图像坐标系O′UV中求出直线A′_i+1B′_i和A′_j+1B′_j的交点W_ij′，1≤i≠j≤n-1；根据下式计算交点W_ij′的准确度H_ij：

$H_{ij}=\underset{m=1}{\overset{n-1}{\&Sigma;}}{h}_{ij\_m},i\&NotEqual;j$

其中，1≤i≠j≤n-1，h_{ij_m}表示点W_ij′与直线A′_m+1B′_m的距离，1≤m≤n-1；

然后选取H_ij最小的点W_ij′作为消失点Q′₄；用下式分别计算每个矩形顶点面向消失点Q′₄的归一化准确度：

$E_{a\left(i+1\right)q3}=E_{biq3}=\frac{\underset{k=1}{\overset{i-1}{\mathrm{\&Sigma;}}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\mathrm{\&Sigma;}}}{H}_{ik}}{\max \left(\underset{k=1}{\overset{i-1}{\mathrm{\&Sigma;}}}{H}_{ik}+\underset{k=i+1}{\overset{n-1}{\mathrm{\&Sigma;}}}{H}_{ik}\right)}$

其中，H_ik为直线A′_i+1B′_i和A′_k+1B′_k的交点W_ik′的准确度，1≤i≤n-1，a(i+1)表示该归一化准确度是矩形顶点A′_i+1的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q4表示面向Q′₄方向；

同时，规定E_a1q4＝E_bnq4＝0；

5.4)求出图像坐标系中每个矩形顶点三个方向归一化准确度的平均值，作为这个矩形顶点最终的归一化准确度；

其中矩形顶点A′_i的最终的归一化准确度根据下式计算：

$E_{ai}=\frac{E_{aiq1}+E_{aiq3}+E_{aiq4}}{1+efc\left(E_{aiq3}\right)+efc\left(E_{aiq4}\right)},1\&le;i\&le;n$

其中，i＝n时，efc(E_aiq3)＝0，否则efc(E_aiq3)＝1；i＝1时，efc(E_aiq4)＝0，否则efc(E_aiq4)＝1；

矩形顶点B′_i的最终的归一化准确度根据下式计算：

$E_{bi}=\frac{E_{biq1}+E_{biq3}+E_{biq4}}{1+efc\left(E_{biq3}\right)+efc\left(E_{biq4}\right)},1\&le;i\&le;n$

其中，i＝1时，efc(E_biq3)＝0，否则efc(E_biq3)＝1；i＝n时，efc(E_biq4)＝0，否则efc(E_biq4)＝1；

5.5)按照如下方法判断图像坐标系中矩形顶点B′_i的归一化准确度是否可靠，并按照如下方式对矩形顶点B′_i的坐标进行修正：

若B′_i的归一化准确度E_bi≤n×E_a(i+1)且E_bi≤n×E_a(i-1)，则认为E_bi可靠，矩形顶点B′_i坐标不作变动；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i+1)≤n×E_a(i-1)，则将直线A′_i+1Q′₄与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

若E_bi>n×E_a(i+1)或E_bi>n×E_a(i-1)，并且n×E_a(i-1)<n×E_a(i+1)，则将直线A′_i-1Q′₃与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；

5.6)求出修正后的直线Q′₁B′_i与直线L′_A的交点，并将该修正后的直线Q′₁B′_i与直线L′_A的交点坐标作为矩形顶点A′_i点修正后的坐标；

步骤6：求取距离转换模型系数K₁₂，具体流程为：

6.1)获取公路车道宽，即世界坐标系中L_A与L_B两条直线之间的距离，用s_x表示，其中L_A为点A₁,A₂,…,A_i,…,A_n所在的直线，L_B为B₁,B₂,…,B_i,…,B_n所在的直线；

6.2)找出世界坐标系中摄像机光轴与道路平面的交点Q在图像坐标系O′UV中的投影点Q′，其坐标用(u,v)来表示，世界坐标系中交点Q在X轴上的投影点为Q_x，Q在Y轴上投影点为Q_y，L_A与QQ_y的交点为P_LA，L_B与QQ_y的交点为P_LB；

求出Q′₁Q′与L′_A的交点P′_LA，其坐标为(u_A,v_A)，该交点P′_LA是交点P_LA在图像坐标系O′UV中的投影点；

求出Q′₁Q′与L′_B的交点P′_LB，其坐标为(u_B,v_B)，该交点P′_LB是交点P_LB在图像坐标系O′UV中的投影点；

6.3)用下式求出P′_LA与Q′₁距离的倒数p_A，P′_LB与Q′₁距离的倒数p_B：

p_A＝1/((u₁-u_A)²+(v₁-v_A)²)^1/2

p_B＝1/((u₁-u_B)²+(v₁-v_B)²)^1/2

6.4)用下式计算出距离转换模型系数K₁₂：

$K_{12}=\frac{s_x}{p_A-p_B};$

步骤7：求取距离转换模型系数K₁₁；

步骤8：求取距离转换模型系数K₂₂；

8.1)找出世界坐标系O-XYZ中直线A_iB_i与QQ_x交点P_i，获取两个相邻交点P_i的间距，表示为s_y；

8.2)计算出图像坐标系O′UV中A′_iB′_i与Q′₂Q′的交点P′_i，其坐标表示为(u_ABi,v_ABi)，点P′_i即为P_i在图像坐标系O′UV中的投影点；

8.3)用下式求出交点P′_i与Q′₂距离的倒数p_ABi：

p_ABi＝1/((u₂-u_ABi)²+(v₂-v_ABi)²)^1/2；

8.4)在世界坐标系O-XYZ中交点P₁到X轴的距离表示为l_y1，交点P_i与P₁的距离表示为d_i＝(i-1)s_y，则有：

l_y1+d_i＝K₂₁+K₂₂p_ABi 1≤i≤n

根据上式，结合n个d_i和p_ABi，共有n组表达式，以d_i为纵轴，p_ABi为横轴，建立坐标系，在所述坐标系中将这n个点(p_AB1,d₁),(p_AB2,d₂),…,(p_ABi,d_i),…,(p_ABn,d_n)拟合成一条直线，然后求出直线的斜率，该斜率取为距离转换模型系数K₂₂；

步骤9：求取距离转换模型系数K₂₁；

步骤10：按照以下方法得到世界坐标系O-XYZ中一点P的坐标：

在世界坐标系坐标中找出过点P平行于X轴的直线与Q_xQ的交点P_y，然后在图像坐标系O′UV中找出交点P_y对应的点P_y′(u_y,v_y)；

在世界坐标系坐标中找出过点P平行于Y轴的直线与Q_yQ的交点P_x，然后在图像坐标系O′UV中找出交点P_x对应的点P_x′(u_x,v_x)；

根据下式求得P的坐标(l_x,l_y,0)，即完成点P在世界坐标系中标定：

$\left\{\begin{array}{c}{l}_x=K_{11}+K_{12}{p}_x\\ l_y=K_{21}+K_{22}{p}_y\end{array}\right.$

其中，p_x＝1/((u₁-u_x)²+(v₁-v_x)²)^1/2，p_y＝1/((u₂-u_y)²+(v₂-v_y)²)^1/2。

2.根据权利要求1所述的基于多矩形图像距离转换模型的坐标标定方法，其特征在于，所述步骤7的具体流程为：

7.1)根据下式分别计算图像坐标系O′UV中的点Q′与点Q′₁之间的像素点数量L₁，点Q′与点Q′₂之间的像素点数量L₂，点Q′₁与点Q′₂之间的像素点数量L₃：

L₁＝((u₁-u)²+(v₁-v)²)^1/2

L₂＝((u₂-u)²+(v₂-v)²)^1/2

L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2；

7.2)根据下式求出世界坐标系O-XYZ中摄像机焦距和像素点物理长度的比值f_d，也即点Q′和摄像机光心O₀之间的像素点数目：

$f_d={\left(\right(L_3^2-L_1^2-L_2^2)/2)}^{1/2};$

7.3)根据下式求出世界坐标系O-XYZ中O₀Q与X轴的夹角α₁、O₀Q与Y轴的夹角α₂：

α₁＝arctan(L₁/f_d),α₂＝arctan(L₂/f_d)；

7.4)根据下式计算距离转换模型系数K₁₁：

$K_{11}=-\frac{K_{12}{\mathrm{sin\&alpha;}}_1{\mathrm{cos\&alpha;}}_1}{f_d};$

所述步骤9中，根据下式求取距离转换模型系数K₂₁：

$K_{21}=-\frac{K_{22}{\mathrm{sin\&alpha;}}_2{\mathrm{cos\&alpha;}}_2}{f_d}.$