CN107389026B - 一种基于固定点射影变换的单目视觉测距方法 - Google Patents

Abstract

本发明公开了一种基于固定点射影变换的单目视觉测距方法，属于目标检测和定位领域。该方法将单目摄像机的摄像头保持与本车纵向轴线平行的姿态固定安装在车上，保持俯仰角、偏航角一定，测量透视图下边界所对应的实际距离和摄像机横向焦距，并进行路面消失点的检测；然后一方面确定固定点的位置，另一方面标定实际道路俯视图与射影变换俯视图之间的纵向比例系数，同时实时计算摄像机光轴与车道线夹角；再对采集的视频进行实时的射影变换；最后建立实时动态的纵向和横向距离检测模型。本发明具有计算工作量小、应用范围广、测距精度高、实时性能好的优点。

Description

一种基于固定点射影变换的单目视觉测距方法

技术领域

本发明属于目标检测和目标定位技术领域，具体涉及一种基于固定点射影变换的单目视觉测距方法。

背景技术

随着人工智能的发展，智能驾驶技术近年来成为了国内外研究的热点问题，其中，高级辅助驾驶系统是实现智能驾驶的初级阶段；另外，近些年来交通事故频发，汽车主动安全技术引发人们的关注，而高级辅助驾驶系统作为汽车主动安全技术的智能化象征，其中关键技术是交通目标的识别和测距。目前视觉机器学习方法被广泛运用在目标识别任务上，而目标测距技术是在目标识别任务的基础上发展而成的一项技术。

目前，基于毫米波雷达和激光雷达等主动式传感器测距方法，价格昂贵、扫描范围和速度有限，易受外界信号干扰，不适合广泛应用到汽车上。而基于视觉类传感器的测距方法由于价格低廉、信息丰富，则被广泛运用到汽车高级辅助驾驶系统中。

现有的视觉测距方法主要分为单目视觉和立体视觉测距。基于立体视觉的测距方法直观明了、测量精度较高，但是这种方法需要融合多个摄像头的信息，计算量大，实现实时测距的成本相对较高，在很大程度上限制了它的应用。基于单目视觉的测距方法，算法简单、计算量小、成本低廉且实时性能更好。目前常用的单目视觉测距方法主要有：数学回归建模法、逆透视坐标变换法、成像几何关系推导法以及以上方法的融合测距法。例如南京航空航天大学的余厚云提出了基于车道线消失点的几何测距模型(余厚云,张为公.基于单目视觉传感器的车距测量与误差分析[J].传感器与微系统，2012，(09):10-13)。中国专利(CN104899554A)公开了一种基于单目视觉的车辆测距方法，采用短距离的小孔成像模型测距和长距离的数学回归模型测距相结合的测距策略。中国专利(CN102661733A)公开了一种基于单目视觉的前方车辆测距方法，采用实时标定摄像机俯仰角的线性插值方法测量前方车辆的距离。上述测距方法的缺点是标定过程复杂、计算量大，没有对摄像头俯仰角、偏航角进行有效的补偿，同时需要测量大量摄像机内外参数而带来了测量误差，另外仅仅针对本车正前方车辆目标的测距，没有考虑车辆在实际行驶过程中前方不同方位检测目标的纵向和横向距离检测问题，使得这些测距方法都存在一定的局限性。

发明内容

针对现有单目视觉测距的不足，本发明提出一种基于固定点射影变换的单目视觉测距方法，相比较其它单目视觉测距方法而言，本发明测距算法和标定过程简单、计算量小、易于实现，同时对摄像头俯仰角、偏航角进行实时补偿，提供一种能够对前方不同方位检测目标的纵向、横向距离检测方法，具有实时性能好、应用范围广、精度高的优点。

本发明所采用的具体技术方案如下：

一种基于固定点射影变换的单目视觉测距方法，包括以下步骤：

步骤一，将单目摄像机固定安装在本车上，且保持摄像头与本车纵向轴线平行的姿态，在结构化道路上，保持摄像机俯仰角、偏航角一定，测量出透视图下边界所对应的实际距离和摄像机横向焦距，并进行路面消失点的检测；

步骤二，一方面，根据大量反复实验确定道路消失点下方q像素高度为距离检测剔除范围，确定四个固定点位置；另一方面，在透视图上做等距横向标线，标定实际道路俯视图与射影变换俯视图之间的纵向比例系数，同时基于路面消失点，实时计算摄像机光轴与车道线夹角；

步骤三，根据确定的固定点，对采集的视频进行实时的射影变换，即透视图坐标点(u,v)与射影变换俯视图坐标点(x,y)之间进行转换；

步骤四，结合摄像机光轴与车道线夹角，建立实时动态的纵向、横向距离检测模型。

进一步，所述步骤二中的四个固定点，包括过消失点下方q像素高度位置作水平线，分别交透视图左右边界的两点，另外两点是透视图下边界对应的两个角点。

进一步，所述步骤二中摄像机光轴与车道线夹角的计算公式为：γ＝arctan[(2u₁-W)/2f_x]，其中γ为摄像机光轴与车道线夹角，u₁为透视图中消失点的横向坐标，W为透视图在水平方向的像素数量，f_x为摄像机横向焦距。

进一步，所述步骤二中实际道路俯视图与射影变换俯视图之间的纵向比例系数满足其中d为某一横向标线至本车车头前端的实际距离，h′为射影变换俯视图像素高度，常数e为所求的纵向比例系数。

进一步，所述步骤三中透视图坐标点(u,v)与射影变换俯视图坐标点(x,y)之间的转换公式为：其中单应性矩阵为由四个固定点确定的3×3的矩阵。

进一步，所述步骤四中，结合摄像机光轴与车道线夹角所得的纵向、横向距离公式分别为：其中，e为实际道路俯视图与射影变换俯视图之间的纵向比例系数，b为透视图下边界所对应的实际距离的一半，H、W分别表示透视图的像素的高和宽，(x_p,y_p)表示射影变换俯视图中所求目标的坐标，±分别表示检测目标在本车纵向轴线的右侧和左侧，γ为摄像机光轴与车道线夹角。

进一步，所述步骤一中测量摄像机横向焦距采用张正友标定法，用Opencv实现。

进一步，所述步骤一中路面消失点的检测采用基于车道线检测的权值聚类算法。

本发明运用基于固定点的射影变换，自动标定出单应性矩阵；通过实际道路俯视图与射影变换俯视图之间的线性关系，建立等距映射，确定纵向比例系数，同时建立了实时的摄像机光轴和车道线夹角计算模型，最后建立了实时动态的纵向、横向距离检测模型，属于融合测距法，可以为驾驶员超车、换道、跟车行驶、上坡以及转弯等提供前方不同方位检测目标的横向和纵向距离，本发明的技术优点是：

1、方法简单、计算量小、易于实现，本发明利用基于固定点的射影变换，将测距问题转化成几何模型基础上的线性问题，不需要进行复杂的建模回归。

2、测量精度高，本发明利用可自动调节摄像头俯仰角、偏航角的单目摄像机实现动态的实时补偿，以保持摄像头与本车纵向轴线平行的姿态，同时仅仅需要测量透视图下边界所对应的实际距离和摄像机横向焦距，不需要标定其它摄像机内外参数，剔除了部分误差大的像素，保证了测距的精度。

3、应用范围广，本发明针对前方不同方位的检测目标，适合与多目标检测任务相结合，能够检测前方不同方位不同目标的纵向和横向距离，具有更广的应用范围。

附图说明

图1为本发明的测距方法具体实施的流程图；

图2为固定点确定的示意图，图2(a)为透视图中确定固定点示意图，图2(b)为固定点对应的射影变换俯视图；

图3为标定纵向比例系数的过程示意图，图3(a)为摄像机采集的透视图，图3(b)为射影变换得到的俯视图；

图4为摄像机光轴和车道线夹角计算示意图；

图5为建立纵向、横向距离模型的过程示意图，图5(a)为分析测距模型建立的透视示意图，图5(b)为对应的道路俯视模拟示意图，图5(c)为射影变换得到的俯视示意图。

具体实施方式

本发明的流程图如图1所示，首先标定透视图下边界所对应的实际距离和摄像机横向焦距并进行路面消失点的检测，然后确定四个固定点，同时标定实际道路俯视图与射影变换俯视图之间的纵向比例系数以及实时计算摄像机光轴和车道线夹角，然后对采集的视频进行实时的射影变换，最后结合摄像机光轴和车道线夹角与固定点的射影变换，建立实时动态的纵向、横向距离检测模型。

下面结合附图和具体实施方式对本发明作详细的说明。

一、测量透视图下边界所对应的实际距离和摄像机横向焦距并进行路面消失点的检测

首先将车辆停放在平直的道路上，将单目摄像机固定安装在车辆上，调节摄像头与本车纵向轴线平行，通过一个在车前移动的物体，找到透视图的下边界，左右移动该物体，便可以测得透视图下边界所对应的实际距离。

摄像机横向焦距是摄像机本身的固有属性，并不随外部环境的变化而变化；测量摄像机横向焦距采用张正友标定法，用Opencv实现，标定过程如下：准备25张不同角度拍摄的标定图片，然后检测图片中的特征点，包括角点和亚像素角点，最后用calibrateCamera函数进行摄像机标定。

路面消失点的检测采用基于车道线检测的权值聚类算法，首先采用邻域搜索法对检测到的直线进行分类，然后将位置相对集中的直线簇进行聚类作为候选车道线，接着求出候选车道线的交点，最后选取权值最高的交点作为路面消失点。

单目摄像机根据透视图中的路面消失点的位置自动调节摄像头俯仰角、偏航角，实现动态的实时补偿，以保持摄像头与本车纵向轴线平行的姿态。

二、确定四个固定点，同时标定纵向比例系数以及实时计算摄像机光轴和车道线夹角

透视图中离消失点很近的像素处，投影到像素平面上所对应的距离变化不超过一个像素的物理长度，测距误差大，所以根据大量反复实验确定道路消失点下方q像素高度为距离检测剔除范围，并在q像素高度处作水平线，分别交透视图左右边界于两点r1、r2，另外两点是透视图下边界所对应的两个角点，如图2(a)所示，所确定的四个固定点分别为r1，r2，r3和r4。

根据射影变换关系，将这四个固定点分别对应图2(b)中所示的四个点，保证透视图中的r1、r2、r3、r4分别与R1、R2、R3、R4相对应，其中r3与r4之间的距离等于R1与R2之间的距离，a与b之间的距离等于R3与R4之间的距离，R3到线段R1R2的距离等于透视图的像素的高H。

可根据二维射影变换公式计算单应性矩阵的大小：

其中，单应性矩阵(u_i,v_i)(i＝1，2，3，4)为透视图中四个固定点坐标，(x_i,y_i)(i＝1，2，3，4)为透视图中四个固定点所对应的射影变换俯视图的坐标。

如图3(a)所示，现实道路上每隔n米，在透视图中作等距横向标线，然后进行射影变换，如图3(b)所示；根据下式可求得实际道路俯视图与射影变换俯视图之间的纵向比例系数：

其中，d为某一横向标线至本车车头前端的实际距离，h′为射影变换俯视图对应的像素高度，e为标定出的常数。

根据消失点可以建立实时的摄像机光轴和车道线夹角计算模型，如图4所示，假设W表示成像平面的水平方向像素数量(即透视图的像素的宽)，f_x表示摄像机横向焦距，γ表示摄像机光轴与车道线夹角；在摄像机光轴与车道方向相同的情况下成像平面中消失点坐标为V(u₀,v₀)，在摄像机光轴与车道方向存在夹角时成像平面中消失点坐标为V(u₁，v₁)，在△ABC中，可得：

γ＝arctan[(2u₁-W)/2f_x] (5)

三.基于确定的四个固定点，对采集的视频进行实时的射影变换

固定点透视图与对应的射影变换俯视图存在的关系式(式(1))中，(x_i,y_i)为射影变换俯视图中第i(i＝1，2，3，4)个点的坐标，(u_i,v_i)为第i个点的透视图像坐标，n_ij(i,j＝1，2，3)为单应性矩阵N的第i行的第j列元素，所以四个固定点，有如下关系：

因此，固定点透视图坐标点与射影变换俯视图坐标点之间的转换公式为：

其中单应性矩阵为由四个固定点确定的3×3的矩阵。

四.结合摄像机光轴与车道线夹角、固定点的射影变换，建立实时动态的纵向、横向距离检测模型

如图5所示，当摄像机光轴与车道线夹角为γ时，假定棋盘格为路面，其透视图如图5(a)所示，实际道路平面俯视图如图5(b)所示，射影变换俯视图如图5(c)所示，5(b)与5(c)中的点一一对应。在图5(b)中，ab为透视图下边界所对应的道路上的线段，o点为ab中点，过点o作直线od垂直于车道线(即与og平行的棋盘格网格线)，过点o作直线og平行于车道线；p为目标在地面上的位置点，作pq垂直于od，则pq为道路方向上检测点与摄像机之间的纵向距离，oq为横向距离，作pd垂直于ab，垂足为c；连接op交ae于点e，ae垂直于ab，p点为检测目标。

在图5(c)中，已知P(x_P,y_P)、O(x_O,y_O)、A(x_A,y_A)，则E点的坐标为(x_A，y_E)，根据透视图与射影变换俯视图之间的关系，设EA对应的ea为d_e、PC对应的pc为d_p，相应的公式如下：

d_P＝e(H-y_P) (9)

其中，H表示透视图的像素的高；

在△ocd中，已知∠doc＝γ，且pc⊥ab，则可求出pd，公式如下：

其中，b表示透视图下边界所对应的实际距离的一半；

在Rt△pqd中，∠qpd＝γ，则检测目标p的纵向、横向距离公式分别为：

其中，W表示透视图的像素的宽，(x_p,y_p)表示射影变换俯视图中所求目标的坐标，±分别表示检测目标在本车纵向轴线的右侧和左侧。

本实施例测得透视图的像素的宽W为720像素，透视图的像素的高H为576像素，透视图下边界所对应的实际距离3.15m的一半b＝1.58m，实际道路俯视图与射影变换俯视图之间的纵向比例系数e＝0.1453m/像素；摄像机横向焦距f_x＝8.08mm，结合动态变化的消失点横坐标u₁，由公式(5)即可得到摄像机光轴与车道线夹角γ；单应性矩阵将单应性矩阵M、动态变化的检测目标p的透视图坐标(u_p,v_p)(动态变化)代入公式(7)，即可得到射影变换俯视图中所求目标的坐标x_p、y_p；从而得到检测目标p的纵向、横向距离d_l、d_t。

上述具体实施方式用来解释说明本发明，当然，在不背离本发明精神及实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的原理要求的保护范围内。

Claims (8)

1.一种基于固定点射影变换的单目视觉测距方法，其特征在于，采用相机座固定、摄像头可自动调节俯仰角和偏航角的单目摄像机，实现动态的补偿以保持摄像头与本车纵向轴线平行的姿态，通过射影变换建立透视图与射影变换俯视图之间的线性关系，考虑车辆在行驶过程中不可避免的存在前方多方位的检测目标，建立了摄像机光轴与车道线夹角变化时的纵向及横向距离计算模型；具体步骤如下：

步骤一，将单目摄像机固定安装在本车上，且保持摄像头与本车纵向轴线平行的姿态，在结构化道路上，保持摄像机俯仰角、偏航角一定，测量出透视图下边界所对应的实际距离和摄像机横向焦距，并进行路面消失点的检测；

步骤二，一方面，根据大量反复实验确定道路消失点下方q像素高度为距离检测剔除范围，确定四个固定点位置；另一方面，在透视图上做等距横向标线，标定实际道路俯视图与射影变换俯视图之间的纵向比例系数，同时基于路面消失点，实时计算摄像机光轴与车道线夹角；

步骤三，根据确定的固定点，对采集的视频进行实时的射影变换，即透视图坐标点(u,v)与射影变换俯视图坐标点(x,y)之间进行转换；

步骤四，结合摄像机光轴与车道线夹角，建立实时动态的纵向、横向距离检测模型。

2.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤二中的四个固定点，包括过消失点下方q像素高度位置作水平线，分别交透视图左右边界的两点，另外两点是透视图下边界对应的两个角点。

3.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤二中摄像机光轴与车道线夹角的计算公式为：γ＝arctan[(2u₁-W)/2f_x]，其中γ为摄像机光轴与车道线夹角，u₁为透视图中消失点的横向坐标，W为透视图在水平方向的像素数量，即透视图的像素的宽，f_x为摄像机横向焦距。

4.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤二中实际道路俯视图与射影变换俯视图之间的纵向比例系数满足其中d为某一横向标线至本车车头前端的实际距离，h′为射影变换俯视图像素高度，常数e为所求的纵向比例系数。

5.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤三中透视图坐标点(u,v)与射影变换俯视图坐标点(x,y)之间的转换公式为：其中单应性矩阵为由四个固定点确定的3×3的矩阵。

6.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤四中，结合摄像机光轴与车道线夹角所得的纵向、横向距离公式分别为：其中，e为实际道路俯视图与射影变换俯视图之间的纵向比例系数，b为透视图下边界所对应的实际距离的一半，H、W分别表示透视图的像素的高和宽，(x_p,y_p)表示射影变换俯视图中所求目标的坐标，±分别表示检测目标在本车纵向轴线的右侧和左侧，γ为摄像机光轴与车道线夹角。

7.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤一中测量摄像机横向焦距采用张正友标定法，用Opencv实现。

8.根据权利要求1所述的一种基于固定点射影变换的单目视觉测距方法，其特征在于，所述步骤一中路面消失点的检测采用基于车道线检测的权值聚类算法。