CN102136140B - 一种基于矩形图样的视频图像距离检测方法 - Google Patents

Abstract

一种基于矩形图样的视频图像距离检测方法，主要步骤：第一步，初始化；第二步，建立实际直角坐标系XOY；第三步，测量矩形图样实际边长；第四步，建立图像直角坐标系；第五步，计算单幅图像中心点Q′坐标；第六步，计算点Q₁′、点Q₂′坐标；第七步，计算摄像机尺度因子；第八步，计算摄像机安装高度、角度；第九步，计算距离检测模型参数；第十步，实现单幅图像距离检测；第十一步，实现实际距离坐标转换为图像坐标。本发明是一种基于矩形图样的视频图像距离检测方法，首次直接利用实际中矩形图样的相对边长信息及其在单幅图像中对应的坐标信息，进行摄像机标定和距离检测模型的建立，解决了视频图像距离检测的问题。

Description

一种基于矩形图样的视频图像距离检测方法

技术领域

本发明涉及计算机视觉、摄像机标定和交通视频检测领域，是一种基于矩形图样的视频图像距离检测方法，主要应用于摄像机现场标定和视频图像距离检测模型的建立。

背景技术

摄像机标定作为计算机视觉中的重要的一个环节，目前已经有较广泛的研究。摄像机标定起源于摄影测量学。摄像机标定模型中，一般来说，线形模型计算方便，运算速度快，能得到解析解，但很难完整表达镜头的像差与摄像机复杂的成像过程；而非线性模型能更好模拟和补偿各种像差，提高模型的精度，但计算量大，往往需要采用非线性优化，鲁棒性降低。1966年，B.Hallert发表了他在镜头与相机标定的研究成果，首次将最小二乘法用于对镜头标定多余观察数据的处理，并将其应用在野外立体坐标测量仪上，得到了高精度的测量结果。R.YTsai综合上述方法，于1986年建立了经典的Tsai摄像机模型，提出了两步标定法，其中大部分参数采用线性直接求解，少数参数采用迭代方法求解，因而迭代少，计算速度较快。但该模型畸变模型较简单，不能较好地解决图像畸变问题。另外，Tsai的方法对标定设备要求较高，不能满足方便快捷的要求。

八十年代，随着计算机视觉学科的发展，现场标定(on-the-job calibration)的概念被提出来，一般是将标定控制点混合布置在工作区域或其周围，从而能在现场做出标定调整。而在有些工作场合，摄像机参数可能有变化，却又没有标定物时，就需要摄像机能直接面对环境景物做出标定，于是在20世纪90年代初，Faugeras、Hartley等人提出了摄像机自标定(self calibration)的概念，使得在场景位置和摄像机任意运动的一般情形下成为可能。随着桌面视觉系统进入大众消费领域，对方便、灵活、简单、精度较好的摄像机标定程序需求增加，以满足拥有DVS的用户偶尔用在计算机视觉方面的应用，微软研究院的张正友在1999年前后对此做了大量研究工作，提出了基于移动平面模板的方便灵活的摄像机标定方法，较好地解决了这一问题。

此类的标定方法大都需要特定的标定模板，并使用多幅图像来检测摄像机内参数，具体世界坐标却仍然需要实际测量。同时，这种利用模板的方法在许多摄像机现场标定中难以实现。而且按照传统标定模型，如果摄像机改变位置，在已知摄像机内参数的情况下，需要再测得摄像机新的安装角度或者高度等外参数，才能实际距离的检测。但是摄像机的安装角度等外参数，在实际中较难获取，如直接进行测量，结果易造成较大误差。

因此，寻找一个简易可行的方法，通过实际中较易获取的相对距离信息，以及与之对应的单幅图像中的坐标信息进行摄像机标定，在避免对拍摄角度等参数直接测量的同时，又能建立较高精度的距离检测模型，是非常具有实际意义的。

发明内容

本发明是一种基于矩形图样的视频图像距离检测方法，首次直接利用矩形图样实际中的相对边长信息和对应在单幅图像中的坐标信息，进行摄像机标定和距离检测，实现了图像坐标和实际距离坐标的相互转换，解决了实际道路交通中利用单幅图像实现距离检测的问题。

本发明采用如下技术方案：

步骤1、初始化设备，通过摄像机拍摄视频图像，获取单幅图像；

步骤2、记摄像机光心为点O₀，记点O₀在道路平面中的投影点为点O，在摄像机拍摄范围内的道路平面中，选取一个矩形图样，顺时针记矩形图样的四个顶点为A、B、C、D，记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′，其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角，则直线A′B′与直线C′D′相交于一点，记为Q₁′，直线A′D′与直线B′C′相交于一点，记为Q₂′，过点O作Y轴，使得Y轴与向量在实际中对应的方向平行，过点O作X轴，使得X轴与

在实际中对应的方向平行，建立道路平面中的实际直角坐标系XOY，以与道路平面竖直向上为Z轴，建立实际的三维空间坐标系；

步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长，即线段AB和AD的长度，记测量结果为s₁、s₂；

步骤4、对于拍摄获取的单幅图像，以单幅图像左上角为原点O₁′，横向向右为X₁′轴，垂直向下为Y₁′轴，并以一个像素点数目为单位长度，建立图像直角坐标系X₁′O₁′Y₁′，记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标，记为点A′(x₁，y₁)，点B′(x₂，y₂)，点C′(x₃，y₃)，点D′(x₄，y₄)；

步骤5、利用得到的单幅图像，求出单幅图像的大小，记为m*n，记下单幅图像中心点Q′的图像坐标(u，v)，其中u＝n/2，v＝m/2，记直线O₀Q′和道路平面的交点为点Q，则

即为摄像机拍摄的方向；

步骤6、在单幅图像中，分别求出点Q₁′和点Q₂′的图像坐标，点Q₁′、点Q₂′即是单幅图像上，分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点，其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点：

6.1)在单幅图像中，分别求出直线A′B′和直线C′D′的方程，分别记为a₁x+b₁y+c₁＝0，a₂x+b₂y+c₂＝0，

6.2)解方程组

方程组的解记为(u₁，v₁)，此即点Q₁′的坐标，

6.3)在单幅图像中，分别求出直线A′D′和直线B′D′的方程，分别记为a₃x+b₃y+c₃＝0，a₄x+b₄y+c₄＝0，

6.4)解方程组

方程组的解记为(u₂，y₂)，此即点Q₂′的坐标；

步骤7、求出摄像机焦距和像素点物理长度的比值，此比值即为摄像机尺度因子d_f，其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同：

7.1)在单幅图像中，求出点Q′和点Q₁′之间的像素点数目L₁＝((u₁-u)²+(v₁-v)²)^1/2，求出点Q′和点Q₂′之间的像素点数目L₂＝((u₂-u)²+(v₂-v)²)^1/2，求出点Q₁′和点Q₂′之间的像素点数目L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2，

7.2)求出摄像机尺度因子d_f＝((L₃ ²-L₁ ²-L₂ ²)/2)^1/2；

步骤8、求出摄像机安装角度：

8.1)在实际三维坐标系中，求出

和X轴方向的夹角α₁，和Y轴方向的夹角α₂，其中α₁＝arctan(L₁/d_f)，α₂＝arctan(L₂/d_f)，

8.2)在实际三维坐标系中，求出

在ZOX平面内的投影方向相对于X轴的下倾角β₁，求出

在ZOY平面内的投影方向相对于Y轴方向的下倾角β₂，求出

在XOY平面内的投影方向与X轴方向的夹角γ₁、与Y轴方向的夹角γ₂：

β₁＝arccos((d_f ⁴/(L₁ ²+d_f ²)/(d_f ²-d_f ⁴/(L₂ ²+d_f ²)))^1/2)，

β₂＝arccos((d_f ⁴/(L₂ ²+d_f ²)/(d_f ²-d_f ⁴/(L₁ ²+d_f ²)))^1/2)，

；

γ₁＝arctan((L₂ ²+d_f ²)^1/2/(L₁ ²+d_f ²)^1/2)，

γ₂＝arctan((L₁ ²+d_f ²)^1/2/(L₂ ²+d_f ²)^1/2)

步骤9、计算距离检测模型中的系数和摄像机安装高度：

9.1)在单幅图像中，分别求出直线Q′Q₁′和直线Q′Q₂′的方程，分别记为a₀₁x+b₀₁y+c₀₁＝0，a₀₂x+b₀₂y+c₀₂＝0，

9.2)解方程组

得到的解即为单幅图像中直线A′B′和直线Q′Q₂′的交点坐标，记为点A₀₂′(x₅，y₅)，解方程组

得到的解即为单幅图像中直线C′D′和直线Q′Q₂′的交点坐标，记为点C₀₂′(x₆，y₆)，

9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q₁′的交点坐标，记为点A₀₁′(x₇，y₇)，解方程组

得到的解即为单幅图像中直线B′C′和直线Q′Q₁′的交点坐标，记为点C₀₁′(x₈，y₈)，

9.5)在单幅图像中，求出点A₀₁、点C₀₁到点Q₁′的像素点数目t₁、t₂，求出点A₀₂、点C₀₂到点Q₂′的像素点数目t₃、t₄：

t₁＝((u₁-x₇)²+(v₁-y₇)²)^1/2，

t₂＝((u₁-x₈)²+(v₁-y₈)²)^1/2，

，

t₃＝((u₂-x₅)²+(v₂-y₅)²)^1/2，

t₄＝((u₂-x₆)²+(v₂-y₆)²)^1/2

9.6)求出距离检测模型中的系数k₂₁、k₂₂，公式如下：

k₂₁＝s₁t₁t₂/|t₁-t₂|，

，

k₂₂＝s₂t₃t₄/|t₃-t₄|

9.7)求出摄像机安装高度h：

h＝(k₂₂L₂sin(β₁)/d_f/|t₃-t₄|+k₂₁L₁sin(β₂)/d_f/|t₁-t₂|)/2，

9.8)求出距离检测模型中的系数k₁₁，k₁₂，公式如下：

k₁₁＝-k₂₁L₁tan(α₁)/d_f/|t₁-t₂|，

；

k₁₂＝-k₂₂L₂tan(α₂)/a_f/|t₃-t₄|

步骤10、对于单幅图像中的道路平面内一点P′(x₁₁，y₁₁)，将其转换为实际直角坐标系XOY中对应的实际点P(p₁，p₂)，检测实际中点P与点O之间的距离l_p：

10.1)在单幅图像中，分别求出直线P′Q₁′和直线P′Q₂′的方程，分别记为a₁₁x+b₁₁y+c₁₁＝0，a₁₂x+b₁₂y+c₁₂＝0，

10.2)解方程组

得到的解即为单幅图像中直线P′Q₁′和直线Q′Q₂′的交点坐标，记为P₂′(x₁₂，y₁₂)，

10.3)解方程组

得到的解即为单幅图像中直线P′Q₂′和直线Q′Q₁′的交点坐标，记为点P₁′(x₁₃，y₁₃)，

10.4)在单幅图像中，求出点P₁′到点Q₁′的像素点数目t₁₁，求出点P₂′到点W₂′的像素点数目t₁₂，公式如下：

t₁₁＝((u₁-x₁₃)²+(v₁-y₁₃)²)^1/2，

，

t₁₂＝((u₂-x₁₂)²+(v₂-y₁₂)²)^1/2

10.5)求出实际中点P的实际距离坐标P(p₁，p₂)，公式如下：

p₁＝k₁₁+k₂₁/t₁₁，

，

p₂＝k₁₂+k₂₂/t₁₂

则实际中点P与点O之间的距离为l₁＝(p₁ ²+p₂ ²)^1/2；

步骤11、对于实际直角坐标系XOY中对应的实际点G(g₁，g₂)，将其转换为单幅图像中的点G′(x₂₁，y₂₁)：

11.1)在单幅图像中，设直线G′Q₁′与直线Q′Q₂′交点为点G₂′(x₂₂，y₂₂)，直线G′Q₂′与直线Q′Q₁′交点为点G₁′(x₂₃，y₂₃)，设点G₁′到点Q₁′的像素点数目为t₂₁，点G₂′到点Q₂′的像素点数目为t₂₂，并由公式t₂₁＝k₂₁/(g₁-k₁₁)，t₂₂＝k₂₂/(g₂-k₁₂)，求出t₂₁、t₂₂，

11.2)由于点G₁′位于线段Q′Q₁′上，点G₂′位于线段Q′Q₂′上，通过t₂₁、t₂₂和点G₂′(x₂₂，y₂₂)、点G₁′(x₂₃，y₂₃)之间的关系t₂₁＝((u₁-x₂₃)²+(v₁-y₂₃)²)^1/2，t₂₂＝((u₂-x₂₂)²+(v₂-y₂₂)²)^1/2，反求出点G₁′和点G₂′的图像坐标，

11.3)在单幅图像中，分别求出直线G₂′Q₁′和直线G₁′Q₂′的方程，分别记为a₂₂x+b₂₂y+c₂₂＝0，a₂₁x+b₂₁y+c₂₁＝0，

11.4)解方程组得到方程组的解，即为单幅图像中的点G′(x₂₁，y₂₁)。

本发明的优点在于：

1、方法简便，成本低廉，适用范围广。相比于传统方法，本方法不需要固定的模板，不需要实际中的世界坐标，只需要单幅图像，和矩形图样的相对边长，同时也无需对摄像机安装角度等较难获取的参数进行测量，在普通情况下就可以实现摄像机标定和距离检测；

2、功能全面。本方法在实现摄像机标定的同时，就可以建立起图像中坐标和实际距离的转换关系，从而实现实际距离检测；

3、在实际情形中便于实现。由于外部参数中，只需要得知实际的矩形图样的边长，因此实际情形中十分便于实现，尤其对于道路图像中有交通标示线的路段，直接利用地面的交通标示线长度信息，就可以进行摄像机标定，并实现距离检测；

4、结果准确率高，效果理想。实例中分别使用近距离和远距离拍摄的图像进行距离检测，检测结果误差在2.7％以内，平均误差为1％左右，效果理想。

实际中道路或者其他平面内的矩形图样，在经过摄像机拍摄，映射到图像上时，符合小孔成像原理和射影空间原理，本方法主要是基于基本的成像原理，通过标识出图像中的矩形图样顶点，在得知该矩形图样在实际中的相对边长信息后，实现摄像机标定，并在标定的同时，实现距离检测模型的建立，从而使得图像坐标和实际距离坐标能相互转换。

实例中使用了一幅近距离图像和一幅远距离图像，其中近距离图像中是利用一个较近距离的矩形图样进行摄像机标定和距离检测模型的建立，然后去检测另一个矩形图样的边长；远距离图像中首先利用道路交通标识线构建出一个矩形图样，然后进行摄像机标定并建立距离检测模型，最后对单幅图像中坐标点进行实际距离检测。距离检测得到结果的误差在2.7％以内，平均误差为1％左右，检测效果理想。

附图说明：

图1是摄像机进行拍摄时的模型示意图。

图2是实际中的矩形图样和及其在单幅图像中的对应关系示意图。

图3是实际中的点和单幅图像中的坐标点之间的对应关系示意图。

图4是建立距离检测模型的流程图。

图5是实现视频图像距离检测的具体流程图。

图6是实际距离坐标转换为图像坐标的具体流程图。

具体实施方案

本发明是一种基于矩形图样的视频图像距离检测方法，具体步骤如下：

步骤1、初始化设备，通过摄像机拍摄视频图像，获取单幅图像；

步骤2、记摄像机光心为点O₀，记点O₀在道路平面中的投影点为点O，在摄像机拍摄范围内的道路平面中，选取一个矩形图样，顺时针记矩形图样的四个顶点为A、B、C、D，记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′，其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角，则直线A′B′与直线C′D′相交于一点，记为Q₁′，直线A′D′与直线B′C′相交于一点，记为Q₂′，过点O作Y轴，使得Y轴与向量

在实际中对应的方向平行，过点O作X轴，使得X轴与

在实际中对应的方向平行，建立道路平面中的实际直角坐标系XOY，以与道路平面竖直向上为Z轴，建立实际的三维空间坐标系；

步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长，即线段AB和AD的长度，记测量结果为s₁、s₂；

步骤4、对于拍摄获取的单幅图像，以单幅图像左上角为原点O₁′，横向向右为X₁′轴，垂直向下为Y₁′轴，并以一个像素点数目为单位长度，建立图像直角坐标系X₁′O₁′Y₁′，记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标，记为点A′(x₁，y₁)，点B′(x₂，y₂)，点C′(x₃，y₃)，点D′(x₄，y₄)；

步骤5、利用得到的单幅图像，求出单幅图像的大小，记为m*n，记下单幅图像中心点Q′的图像坐标(u，v)，其中u＝n/2，v＝m/2，记直线O₀Q′和道路平面的交点为点Q，则即为摄像机拍摄的方向，例如在matlab中具体步骤为，[m，n，r]＝size(f)；u＝n/2，v＝m/2；其中f为读入的图像；

步骤6、在单幅图像中，分别求出点Q₁′和点Q₂′的图像坐标，点Q₁′、点Q₂′即是单幅图像上，分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点，其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点：

6.1)在单幅图像中，分别求出直线A′B′和直线C′D′的方程，分别记为a₁x+b₁y+c₁＝0，a₂x+b₂y+c₂＝0，

6.2)解方程组

方程组的解记为(u₁，v₁)，此即点Q₁′的坐标，

6.3)在单幅图像中，分别求出直线A′D′和直线B′D′的方程，分别记为a₃x+b₃y+c₃＝0，a₄x+b₄y+c₄＝0，

6.4)解方程组方程组的解记为(u₂，v₂)，此即点Q₂′的坐标；

步骤7、求出摄像机焦距和像素点物理长度的比值，此比值即为摄像机尺度因子d_f，其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同：

7.1)在单幅图像中，求出点Q′和点Q₁′之间的像素点数目L₁＝((u₁-u)²+(v₁-v)²)^1/2，求出点Q′和点Q₂′之间的像素点数目L₂＝((u₂-u)²+(v₂-v)²)^1/2，求出点Q₁′和点Q₂′之间的像素点数目L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2，

7.2)求出摄像机尺度因子d_f＝((L₃ ²-L₁ ²-L₂ ²)/2)^1/2；

步骤8、求出摄像机安装角度：

8.1)在实际三维坐标系中，求出

和X轴方向的夹角α₁，

和Y轴方向的夹角α₂，其中α₁＝arctan(L₁/d_f)，α₂＝arctan(L₂/d_f)，

8.2)在实际三维坐标系中，求出

在ZOX平面内的投影方向相对于X轴的下倾角β₁，求出

在ZOY平面内的投影方向相对于Y轴方向的下倾角β₂，求出

在XOY平面内的投影方向与X轴方向的夹角γ₁、与Y轴方向的夹角γ₂：

β₁＝arccos((d_f ⁴/(L₁ ²+d_f ²)/(d_f ²-d_f ⁴/(L₂ ²+d_f ²)))^1/2)，

β₂＝arccos((d_f ⁴/(L₂ ²+d_f ²)/(d_f ²-d_f ⁴/(L₁ ²+d_f ²)))^1/2)，

；

γ₁＝arctan((L₂ ²+d_f ²)^1/2/(L₁ ²+d_f ²)^1/2)，

γ₂＝arctan((L₁ ²+d_f ²)^1/2/(L₂ ²+d_f ²)^1/2)

步骤9、计算距离检测模型中的系数和摄像机安装高度：

9.1)在单幅图像中，分别求出直线Q′Q₁′和直线Q′Q₂′的方程，分别记为a₀₁x+b₀₁y+c₀₁＝0，a₀₂x+b₀₂y+c₀₂＝0，

9.2)解方程组得到的解即为单幅图像中直线A′B′和直线Q′Q₂′的交点坐标，记为点A₀₂′(x₅，y₅)，解方程组

得到的解即为单幅图像中直线C′D′和直线Q′Q₂′的交点坐标，记为点C₀₂′(x₆，y₆)，

9.3)解方程组

得到的解即为单幅图像中直线A′D′和直线Q′Q₁′的交点坐标，记为点A₀₁′(x₇，y₇)，解方程组得到的解即为单幅图像中直线B′C′和直线Q′Q₁′的交点坐标，记为点C₀₁′(x₈，y₈)，

9.5)在单幅图像中，求出点A₀₁、点C₀₁到点Q₁′的像素点数目t₁、t₂，求出点A₀₂、点C₀₂到点Q₂′的像素点数目t₃、t₄：

t₁＝((u₁-x₇)²+(v₁-y₇)²)^1/2，

t₂＝((u₁-x₈)²+(v₁-y₈)²)^1/2，

，

t₃＝((u₂-x₅)²+(v₂-y₅)²)^1/2，

t₄＝((u₂-x₆)²+(v₂-y₆)²)^1/2

9.6)求出距离检测模型中的系数k₂₁、k₂₂，公式如下：

k₂₁＝s₁t₁t₂/|t₁-t₂|，

，

k₂₂＝s₂t₃t₄/|t₃-t₄|

9.7)求出摄像机安装高度h：

h＝(k₂₂L₂sin(β₁)/d_f/|t₃-t₄|+k₂₁K₁sin(β₂)/d_f/|t₁-t₂|)/2，

9.8)求出距离检测模型中的系数k₁₁，k₁₂，公式如下：

k₁₁＝-k₂₁L₁tan(α₁)/d_f/|t₁-t₂|，

；

k₁₂＝-k₂₂L₂tan(α₂)/d_f/|t₃-t₄|

步骤10、对于单幅图像中的道路平面内一点P′(x₁₁，y₁₁)，将其转换为实际直角坐标系XOY中对应的实际点P(p₁，p₂)，检测实际中点P与点O之间的距离l_p：

10.1)在单幅图像中，分别求出直线P′Q₁′和直线P′Q₂′的方程，分别记为a₁₁x+b₁₁y+c₁₁＝0，a₁₂x+b₁₂y+c₁₂＝0，

10.2)解方程组

得到的解即为单幅图像中直线P′Q₁′和直线Q′Q₂′的交点坐标，记为P₂′(x₁₂，y₁₂)，

10.3)解方程组得到的解即为单幅图像中直线P′Q₂′和直线Q′Q₁′的交点坐标，记为点P₁′(x₁₃，y₁₃)，

10.4)在单幅图像中，求出点P₁′到点Q₁′的像素点数目t₁₁，求出点P₂′到点Q₂′的像素点数目t₁₂，公式如下：

t₁₁＝((u₁-x₁₃)²+(v₁-y₁₃)²)^1/2，

，

t₁₂＝((u₂-x₁₂)²+(v₂-y₁₂)²)^1/2

10.5)求出实际中点P的实际距离坐标P(p₁，p₂)，公式如下：

p₁＝k₁₁+k₂₁/t₁₁，

，

p₂＝k₁₂+k₂₂/t₁₂

则实际中点P与点O之间的距离为l₁＝(p₁ ²+p₂ ²)^1/2；

步骤11、对于实际直角坐标系XOY中对应的实际点G(g₁，g₂)，将其转换为单幅图像中的点G′(x₂₁，y₂₁)：

11.1)在单幅图像中，设直线G′Q₁′与直线Q′Q₂′交点为点G₂′(x₂₂，y₂₂)，直线G′Q₂′与直线Q′Q₁′交点为点G₁′(x₂₃，y₂₃)，设点G₁′到点Q₁′的像素点数目为t₂₁，点G₂′到点Q₂′的像素点数目为t₂₂，并由公式t₂₁＝k₂₁/(g₁-k₁₁)，t₂₂＝k₂₂/(g₂-k₁₂)，求出t₂₁、t₂₂，

11.2)由于点G₁′位于线段Q′Q₁′上，点G₂′位于线段Q′Q₂′上，通过t₂₁、t₂₂和点G₂′(x₂₂，y₂₂)、点G₁′(x₂₃，y₂₃)之间的关系t₂₁＝((u₁-x₂₃)²+(v₁-y₂₃)²)^1/2，t₂₂＝((u₂-x₂₂)²+(v₂-y₂₂)²)^1/2，反求出点G₁′和点G₂′的图像坐标，

11.3)在单幅图像中，分别求出直线G₂′Q₁′和直线G₁′Q₂′的方程，分别记为a₂₂x+b₂₂y+c₂₂＝0，a₂₁x+b₂₁y+c₂₁＝0，

11.4)解方程组

得到方程组的解，即为单幅图像中的点G′(x₂₁，y₂₁)。

具体流程如图1、图2、图3所示：

步骤1、初始化设备，通过摄像机拍摄视频图像，获取单幅图像；

步骤2、记摄像机光心为点O₀，记点O₀在道路平面中的投影点为点O，在摄像机拍摄范围内的道路平面中，选取一个矩形图样，顺时针记矩形图样的四个顶点为A、B、C、D，记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′，其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角，则直线A′B′与直线C′D′相交于一点，记为Q₁′，直线A′D′与直线B′C′相交于一点，记为Q₂′，过点O作Y轴，使得Y轴与向量

在实际中对应的方向平行，过点O作X轴，使得X轴与在实际中对应的方向平行，建立道路平面中的实际直角坐标系XOY，以与道路平面竖直向上为Z轴，建立实际的三维空间坐标系；

步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长，即线段AB和AD的长度，记测量结果为s₁、s₂，本实例中，按交通标识线选定矩形图样，并推出矩形边长s₁＝3，s₂＝20；

步骤4、对于拍摄获取的单幅图像，以单幅图像左上角为原点O₁′，横向向右为X₁′轴，垂直向下为Y₁′轴，并以一个像素点数目为单位长度，建立图像直角坐标系X₁′O₂′Y₁′，记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标，记为点A′(x₁，y₁)，点B′(x₂，y₂)，点C′(x₃，y₃)，点D′(x₄，y₄)，在本实例中，x_a＝937，y_a＝641，x_b＝1044，y_b＝642，x_c＝1119，y_c＝820，x_d＝945，y_d＝819；

步骤5、利用得到的单幅图像，求出单幅图像的大小，记为m*n，记下单幅图像中心点Q′的图像坐标(u，v)，其中u＝n/2，v＝m/2，记直线O₀Q′和道路平面的交点为点Q，则

即为摄像机拍摄的方向，本实例中得出u＝1024，v＝768；

步骤6、在单幅图像中，分别求出点Q₁′和点Q₂′的图像坐标，点Q₁′、点Q₂′即是单幅图像上，分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点，其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点：

6.1)在单幅图像中，分别求出直线A′B′和直线C′D′的方程，分别记为a₁x+b₁y+c₁＝0，a₂x+b₂y+c₂＝0，

6.2)解方程组方程组的解记为(u₁，v₁)，此即点Q₁′的坐标，

6.3)在单幅图像中，分别求出直线A′D′和直线B′D′的方程，分别记为a₃x+b₃y+c₃＝0，a₄x+b₄y+c₄＝0，

6.4)解方程组

方程组的解记为(u₂，v₂)，此即点Q₂′的坐标；

步骤7、求出摄像机焦距和像素点物理长度的比值，此比值即为摄像机尺度因子d_f，其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同：

7.1)在单幅图像中，求出点Q′和点Q₁′之间的像素点数目L₁＝((u₁-u)²+(v₁-v)²)^1/2，求出点Q′和点Q₂′之间的像素点数目L₂＝((u₂-u)²+(v₂-v)²)^1/2，求出点Q₁′和点Q₂′之间的像素点数目L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2，

7.2)求出摄像机尺度因子d_f＝((L₃ ²-L₁ ²-L₂ ²)/2)^1/2；

步骤8、求出摄像机安装角度：

8.1)在实际三维坐标系中，求出

和X轴方向的夹角α₁，

和Y轴方向的夹角α₂，其中α₁＝arctan(L₁/d_f)，α₂＝arctan(L₂/d_f)，

8.2)在实际三维坐标系中，求出

在ZOX平面内的投影方向相对于X轴的下倾角β₁，求出

在ZOY平面内的投影方向相对于Y轴方向的下倾角β₂，求出

在XOY平面内的投影方向与X轴方向的夹角γ₁、与Y轴方向的夹角γ₂：

β₁＝arccos((d_f ⁴/(L₁ ²+d_f ²)/(d_f ²-d_f ⁴/(L₂ ²+d_f ²)))^1/2)，

β₂＝arccos((d_f ⁴/(L₂ ²+d_f ²)/(d_f ²-d_f ⁴/(L₁ ²+d_f ²)))^1/2)，

；

γ₁＝arctan((L₂ ²+d_f ²)^1/2/(L₁ ²+d_f ²)^1/2)，

γ₂＝arctan((L₁ ²+d_f ²)^1/2/(L₂ ²+d_f ²)^1/2)

步骤9、计算距离检测模型中的系数和摄像机安装高度：

9.1)在单幅图像中，分别求出直线Q′Q₁′和直线Q′Q₂′的方程，分别记为a₀₁x+b₀₁y+c₀₁＝0，a₀₂x+b₀₂y+c₀₂＝0，

9.2)解方程组

得到的解即为单幅图像中直线A′B′和直线Q′Q₂′的交点坐标，记为点A₀₂′(x₅，y₅)，解方程组

得到的解即为单幅图像中直线C′D′和直线Q′Q₂′的交点坐标，记为点C₀₂′(x₆，y₆)，

9.3)解方程组

得到的解即为单幅图像中直线A′D′和直线Q′Q₁′的交点坐标，记为点A₀₁′(x₇，y₇)，解方程组

得到的解即为单幅图像中直线B′C′和直线Q′Q₁′的交点坐标，记为点C₀₁′(g₈，y₈)，

9.5)在单幅图像中，求出点A₀₁、点C₀₁到点Q₁′的像素点数目t₁、t₂，求出点A₀₂、点C₀₂到点Q₂′的像素点数目t₃、t₄：

t₁＝((u₁-x₇)²+(v₁-y₇)²)^1/2，

t₂＝((u₁-x₈)²+(v₁-y₈)²)^1/2，

，

t₃＝((u₂-x₅)²+(v₂-y₅)²)^1/2，

t₄＝((u₂-x₆)²+(v₂-y₆)²)^1/2

9.6)求出距离检测模型中的系数k₂₁、k₂₂，公式如下：

k₂₁＝s₁t₁t₂/|t₁-t₂|，

，

k₂₂＝s₂t₃t₄/|t₃-t₄|

9.7)求出摄像机安装高度h：

h＝(k₂₂L₂sin(β₁)/d_f/|t₃-d₄|+k₂₁L₁sin(β₂)/d_f/|t₁-t₂|)/2，

9.8)求出距离检测模型中的系数k₁₁，k₁₂，公式如下：

k₁₁＝-k₂₁L₁tan(α₁)/d_f/|t₁-t₂|，

；

k₁₂＝-k₂₂L₂tan(α₂)/a_f/|t₃-t₄|

步骤10、对于单幅图像中的道路平面内一点P′(x₁₁，y₁₁)，将其转换为实际直角坐标系XOY中对应的实际点P(p₁，p₂)，检测实际中点P与点O之间的距离l_p，本实例中，x_p＝926，y_p＝443：

10.1)在单幅图像中，分别求出直线P′Q₁′和直线P′Q₂′的方程，分别记为a₁₁x+b₁₁y+c₁₁＝0，a₁₂x+b₁₂y+c₁₂＝0，

10.2)解方程组

得到的解即为单幅图像中直线P′Q₁′和直线Q′Q₂′的交点坐标，记为P₂′(x₁₂，y₁₂)，

10.3)解方程组

得到的解即为单幅图像中直线P′Q₂′和直线Q′Q₁′的交点坐标，记为点P₁′(x₁₃，y₁₃)，

10.4)在单幅图像中，求出点P₁′到点Q₁′的像素点数目t₁₁，求出点P₂′到点Q₂′的像素点数目t₁₂，公式如下：

t₁₁＝((u₁-x₁₃)²+(v₁-y₁₃)²)^1/2，

，

t₁₂＝((u₂-x₁₂)²+(v₂-y₁₂)²)^1/2

10.5)求出实际中点P的实际距离坐标P(p₁，p₂)，公式如下：

p₁＝k₁₁+k₂₁/t₁₁，

，

p₂＝k₁₂+k₂₂/t₁₂

则实际中点P与点O之间的距离为l₁＝(p₁ ²+p₂ ²)^1/2，本实例中，p_x＝0.21418，p_y＝171.0823，计算得到相距l_p＝171.0824(m)，实际相距为170.5(m)，误差为0.34％；

步骤11、对于实际直角坐标系XOY中对应的实际点G(g₁，g₂)，将其转换为单幅图像中的点G′(x₂₁，y₂₁)，本实例中，选取实际点坐标p_x＝0.3，p_y＝40.5：

11.1)在单幅图像中，设直线G′Q₁′与直线Q′Q₂′交点为点G₂′(x₂₂，y₂₂)，直线G′Q₂′与直线Q′Q₁′交点为点G₁′(x₂₃，y₂₃)，设点G₁′到点Q₁′的像素点数目为t₂₁，点G₂′到点Q₂′的像素点数目为t₂₂，并由公式t₂₁＝k₂₁/(g₁-k₁₁)，t₂₂＝k₂₂/(g₂-k₁₂)，求出t₂₁、t₂₂，

11.2)由于点G₁′位于线段Q′Q₁′上，点G₂′位于线段Q′Q₂′上，通过t₂₁、t₂₂和点G₂′(x₂₂，y₂₂)、点G₁′(x₂₃，y₂₃)之间的关系t₂₁＝((u₁-x₂₃)²+(v₁-y₂₃)²)^1/2，t₂₂＝((u₂-x₂₂)²+(v₂-y₂₂)²)^1/2，反求出点G₁′和点G₂′的图像坐标，

11.3)在单幅图像中，分别求出直线G₂′Q₁′和直线G₁′Q₂′的方程，分别记为a₂₂x+b₂₂y+c₂₂＝0，a₂₁x+b₂₁y+c₂₁＝0，

11.4)解方程组

得到方程组的解，即为单幅图像中的点G′(x₂₁，y₂₁)，本实例中，计算结果为x_p＝935.2262，y_p＝709.9675。

实例中使用了一幅近距离图像和一幅远距离图像，其中近距离图像中是利用一个较近距离的矩形图样进行摄像机标定和距离检测模型的建立，然后去检测另一个矩形图样的边长；远距离图像中首先利用道路交通标识线构建出一个矩形图样，然后进行摄像机标定并建立距离检测模型，最后对单幅图像中坐标点进行实际距离检测。本方法实现距离检测的效果理想，具体结果如表1、表2所示，距离检测得到结果的误差在2.7％以内，平均误差为1％左右。

表1：

表2：

Claims (1)

1.一种基于矩形图样的视频图像距离检测方法，其特点在于，按照以下步骤实施：

步骤1、初始化设备，通过摄像机拍摄视频图像，获取单幅图像；

步骤2、记摄像机光心为点O₀，记点O₀在道路平面中的投影点为点O，在摄像机拍摄范围内的道路平面中，选取一个矩形图样，顺时针记矩形图样的四个顶点为A、B、C、D，记A、B、C、D在单幅图像中的投影点为A′、B′、C′、D′，其中使得单幅图像中点A′位于四边形A′B′C′D′的左上角，则直线A′B′与直线C′D′相交于一点，记为Q′₁，直线A′D′与直线B′C′相交于一点，记为Q′₂，过点O作Y轴，使得Y轴与向量 在实际中对应的方向平行，过点O作X轴，使得X轴与 

在实际中对应的方向平行，建立道路平面中的实际直角坐标系XOY，以与道路平面竖直向上为Z轴，建立实际的三维空间坐标系；

步骤3、分别测量矩形图样ABCD在X方向和Y方向的实际边长，即线段AB和AD的长度，记测量结果为s₁、s₂；

步骤4、对于拍摄获取的单幅图像，以单幅图像左上角为原点O′₁，横向向右为X′₁轴，垂直向下为Y′₁轴，并以一个像素点数目为单位长度，建立图像直角坐标系X′₁O′₁Y′₁，记下单幅图像中四边形A′B′C′D′四个顶点分别对应的图像坐标，记为点A′(x₁，y₁)，点B′(x₂，y₂)，点C′(x₃，y₃)，点D′(x₄，y₄)；

步骤5、利用得到的单幅图像，求出单幅图像的大小，记为m*n，记下单幅图像中心点Q′的图像坐标(u，v)，其中u＝n/2，v＝m/2，记直线O₀Q′和道路平面的交点为点Q，则 即为摄像机拍摄的方向；

步骤6、在单幅图像中，分别求出点Q′₁和点Q′₂的图像坐标，点Q′₁、点Q′₂即是单幅图像上，分别对应于实际直角坐标系XOY的X轴方向和Y轴方向的消失点，其中消失点指的是实际中的平行线经过透视投影后在单幅图像中汇聚的那一点：

6.1)在单幅图像中，分别求出直线A′B′和直线C′D′的方程，分别记为a₁x+b₁y+c₁＝0，a₂x+b₂y+c₂＝0，

6.2)解方程组

方程组的解记为(u₁，v₁)，此即点Q′₁的坐标，

6.3)在单幅图像中，分别求出直线A′D′和直线B′C′的方程，分别记为a₃x+b₃y+c₃＝0，a₄x+b₄y+c₄＝0， 

6.4)解方程组

方程组的解记为(u₂，v₂)，此即点Q′₂的坐标；

步骤7、求出摄像机焦距和像素点物理长度的比值，此比值即为摄像机尺度因子d_f，其中假设摄像机横坐标和纵坐标方向的像素点物理长度相同：

7.1)在单幅图像中，求出点Q′和点Q′₁之间的像素点数目L₁＝((u₁-u)²+(v₁-v)²)^1/2，求出点Q′和点Q′₂之间的像素点数目L₂＝((u₂-u)²+(v₂-v)²)^1/2，求出点Q′₁和点Q′₂之间的像素点数目L₃＝((u₂-u₁)²+(v₂-v₁)²)^1/2，

7.2)求出摄像机尺度因子d_f＝((L₃ ²-L₁ ²-L₂ ²)/2)^1/2；

步骤8、求出摄像机安装角度：

8.1)在实际三维坐标系中，求出 

和X轴方向的夹角α₁， 

和Y轴方向的夹角α₂，其中α₁＝arctan(L₁/d_f)，α₂＝arctan(L₂/d_f)，

8.2)在实际三维坐标系中，求出 

在ZOX平面内的投影方向相对于X轴的下倾角β₁，求出 在ZOY平面内的投影方向相对于Y轴方向的下倾角β₂，求出 

在XOY平面内的投影方向与X轴方向的夹角γ₁、与Y轴方向的夹角γ₂：

β₁＝arccos((d_f ⁴/(L₁ ²+d_f ²)/(d_f ²-d_f ⁴/(L₂ ²+d_f ²)))^1/2)，

β₂＝arccos((d_f ⁴/(L₂ ²+d_f ²)/(d_f ²-d_f ⁴/(L₁ ²+d_f ²)))^1/2)，

                                                     ；

γ₁＝arctan((L₂ ²+d_f ²)_1/2/(L₁ ²+d_f ²)^1/2)，

γ₂＝arctan((L₁ ²+d_f ²)^1/2/(L₂ ²+d_f ²)^1/2)

步骤9、计算距离检测模型中的系数和摄像机安装高度：

9.1)在单幅图像中，分别求出直线Q′Q′₁和直线Q′Q′₂的方程，分别记为a₀₁x+b₀₁y+c₀₁＝0，a₀₂x+b₀₂y+c₀₂＝0，

9.2)解方程组

得到的解即为单幅图像中直线A′B′和直 线Q′Q′₂的交点坐标，记为点A′₀₂(x₅，y₅)，解方程组

得到的解即为单幅图像中直线C′D′和直线Q′Q′₂的交点坐标，记为点C′₀₂(x₆，y₆)，

9.3)解方程组得到的解即为单幅图像中直线A′D′和直线Q′Q′₁的交点坐标，记为点A′₀₁(x₇，y₇)，解方程组

得到的解即为单幅图像中直线B′C′和直线Q′Q′₁的交点坐标，记为点C′₀₁(x₈，y₈)，

9.5)在单幅图像中，求出点A′₀₁、点C′₀₁到点Q′₁的像素点数目t₁、t₂，求出点A′₀₂、点C′₀₂到点Q′₂的像素点数目t₃、t₄：

t₁＝((u₁-x₇)²+(v₁-y₇)²)^1/2，

t₂＝((u₁-x₈)²+(v₁-y₈)²)^1/2，

                             ，

t₃＝((u₂-x₅)²+(v₂-y₅)²)^1/2，

t₄＝((u₂-x₆)²+(v₂-y₆)²)^1/2

9.6)求出距离检测模型中的系数k₂₁、k₂₂，公式如下：

k₂₁＝s₁t₁t₂/|t₁-t₂|，

                     ，

k₂₂＝s₂t₃t₄/|t₃-t₄|

9.7)求出摄像机安装高度h：

h＝(k₂₂L₂sin(β₁)/d_f/|t₃-t₄|+k₂₁L₁ sin(β₂)/d_f/|t₁-t₂|)/2，

9.8)求出距离检测模型中的系数k₁₁，k₁₂，公式如下：

k₁₁＝-k₂₁L₁ tan(α₁)/d_f/|t₁-t₂|，

                                  ；

k₁₂＝-k₂₂L₂ tan(α₂)/d_f/|t₃-t₄|

步骤10、对于单幅图像中的道路平面内一点P′(x₁₁，y₁₁)，将其转换为实际直角坐标系XOY中对应的实际点P(p₁，p₂)，检测实际中点P与点O之间的距离l_p：

10.1)在单幅图像中，分别求出直线P′Q′₁和直线P′Q′₂的方程，分别记为a₁₁x+b₁₁y+c₁₁＝0，a₁₂x+b₁₂y+c₁₂＝0， 

10.2)解方程组

得到的解即为单幅图像中直线P′Q′₁和直线Q′Q′₂的交点坐标，记为P′₂(x₁₂，y₁₂)，

10.3)解方程组

得到的解即为单幅图像中直线P′Q′₂和直线Q′Q′₁的交点坐标，记为点P′₁(x₁₃，y₁₃)，

10.4)在单幅图像中，求出点P′₁到点Q′₁的像素点数目t₁₁，求出点P′₂到点Q′₂的像素点数目t₁₂，公式如下：

t₁₁＝((u₁-x₁₃)²+(v₁-y₁₃)²)^1/2，

                                 ，

t₁₂＝((u₂-x₁₂)²+(v₂-y₁₂)²)^1/2

10.5)求出实际中点P的实际距离坐标P(p₁，p₂)，公式如下：

p₁＝k₁₁+k₂₁/t₁₁，

                      ，

p₂＝k₁₂+k₂₂/t₁₂

则实际中点P与点O之间的距离为l_p＝(p₁ ²+p₂ ²)^1/2；

步骤11、对于实际直角坐标系XOY中对应的实际点G(g₁，g₂)，将其转换为单幅图像中的点G′(x₂₁，y₂₁)：

11.1)在单幅图像中，设直线G′Q′₁与直线Q′Q′₂交点为点G′₂(x₂₂，y₂₂)，直线G′Q′₂与直线Q′Q′₁交点为点G′₁(x₂₃，y₂₃)，设点G′₁到点Q′₁的像素点数目为t₂₁，点G′₂到点Q′₂的像素点数目为t₂₂，并由公式t₂₁＝k₂₁/(g₁-k₁₁)，t₂₂＝k₂₂/(g₂-k₁₂)，求出t₂₁、t₂₂，

11.2)由于点G′₁位于线段Q′Q′₁上，点G′₂位于线段Q′Q′₂上，通过t₂₁、t₂₂和点G′₂(x₂₂，y₂₂)、点G′₁(x₂₃，y₂₃)之间的关系t₂₁＝((u₁-x₂₃)²+(v₁-y₂₃)²)^1/2，t₂₂＝((u₂-x₂₂)²+(v₂-y₂₂)²)^1/2，反求出点G′₁和点G′₂的图像坐标，

11.3)在单幅图像中，分别求出直线G′₂Q′₁和直线G′₁Q′₂的方程，分别记为 

a₂₂x+b₂₂y+c₂₂＝0，a₂₁x+b₂₁y+c₂₁＝0，

11.4)解方程组

得到方程组的解，即为单幅图像中的点G′(x₂₁，y₂₁)。 

Images