CN104494598B - 一种用于智能车辆的路口行驶控制方法 - Google Patents

Abstract

一种用于智能车辆的路口行驶控制方法属于无人驾驶领域。首先通过安装在智能车内后视镜处的单目摄像机采集视频图像，进行车道线检测、停止线检测、停止线测距、行人检测以及红绿灯识别。然后根据车道线检测结果计算车道虚拟中心线，利用PD控制算法控制智能车辆沿着中心线前行。综合离停止线的距离、行人检测结果以及红绿灯识别结果进行驾驶行为决策，控制车辆前行或者停车。本发明仅利用一个摄像机使智能车辆平稳、安全地通过各种十字路口，并且当检测到有行人或者识别到红灯时，系统将控制智能车辆停在离停止线20厘米内，当识别到绿灯并且没有行人时，系统将控制智能车辆正常行驶或者转弯。本发明使执行周期控制在50ms内，满足100ms的驾驶控制周期。

Description

一种用于智能车辆的路口行驶控制方法

技术领域：

本发明是一种用于智能车辆的路口行驶控制方法，属于智能车无人驾驶技术领域和安全智能交通领域。

背景技术：

从20世纪70年代开始，美国、英国、德国等发达国家开始进行无人驾驶智能车的研究，在可行性和实用化方面都取得了突破性的进展。我国从20世纪80年代开始进行无人驾驶智能车的研究，国防科技大学在1992年成功研制出我国第一辆真正意义上的无人驾驶智能车。无人驾驶智能车在结构化道路、高速道路的研究趋于成熟，国内在高速道路上的测试页取得了很好成绩，如2013年有我国科研人员研究的无人驾驶智能车首次完成了京津高速公路测试项目，无人驾驶行程超百公里。目前，国内外开始将无人驾驶智能车的研究重点放在城市道路、乡村道路这种半结构化、非结构化道路的研究上。近来，德国自由大学的MIG无人驾驶智能车、意大利帕尔马大学的无人驾驶智能车和美国谷歌公司的无人驾驶智能车，都纷纷开始上路测试。路口行驶控制是城市道路无人驾驶研究的重要内容之一。

专利号为201120510142的一种智能交通灯控制系统、专利号为201010530886的种基于移动车载网的十字路口违章车辆检测方法以及专利号为200810035904的一种车辆路口左转违章检测系统都涉及到了城市道路路口问题并提出了一些很好的思路，但是都只属于智能交通领域，并没有结合无人驾驶技术。

发明内容：

本发明的目的在于解决智能车辆在城市道路路口的行驶问题，其中涉及到智能车辆通过路口时的各种技术难题，如车道线、停止线、行人的检测以及红绿灯识别等技术，一种用于智能车辆的路口行驶控制方法。

为了实现上述目的，本发明采取了如下技术方案：

步骤1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零；

步骤2：给摄像机安装滤光片，消除逆光带来的影响；

步骤3：获取摄像机的单应性矩阵H，所述的单应性矩阵H是指世界坐标与图像坐标的对应关系；

步骤4：对采集到的视频图像进行车道线检测；

步骤4-1：图像二值化；首先将采集到的彩色图像转换成灰度图像，然后使用OTSU方法进行二值化；

步骤4-2：根据步骤3获得单应性矩阵H，对步骤4-1后得到的图像进行逆透视变换，得到鸟瞰图像；

步骤4-3：对鸟瞰图像进行平行线霍夫直线变换，将倾角相同的平行线归为一组，然后对每一组平行线做线宽和距离约束，所述的线宽约束是指候选线条的宽度应该符合车道线宽度范围，所述的距离约束是指线与线之间的垂直距离符合车道宽度范围；符合约束条件的直线则是车道线；

步骤5：计算车道虚拟中心线；所述的车道虚拟中心线是指两相邻车道线的垂直中点的连线，即两相邻车道线的之间的平行于车道线的中线；

步骤6：智能车辆方向控制；

步骤6-1：根据步骤5计算出的车道虚拟中心线，利用PD控制算法计算方向盘的角度；首先通过车道虚拟中心线可以计算出倾斜角度Δθ和偏移距离Δd，然后通过以下公式计算出方向盘的角度ω：

ω＝kp·Δd+kd·Δθ 公式1

其中，Δd的单位是厘米(cm)，Δθ的单位是度(°)，kp是偏差比例，其单位是度每厘米(°/cm)，kd是偏差微分。

步骤:6-2：根据步骤6-1计算出的角度，控制智能车辆的方向；所述智能车辆的时速保持在5km/h-30km/h；

步骤7：停止线检测；

步骤7-1：根据步骤4-2中获得的鸟瞰图像，对鸟瞰图像进行霍夫直线变换检测，并计算每条直线的水平夹角θ，其单位是度(°)，满足0≤θ≤30或150≤θ≤180的直线则是停止线的初次候选直线；

步骤7-2：对步骤7-1得到的候选直线进行长度计算，若长度l满足范围100<l<115则是停止线的二次候选直线；所述的长度单位是像素，其满足的范围是一个车道的宽度范围；

步骤7-3：对停止线的二次候选直线区域进行上升沿和下降沿检测，目的是检测出停止线候选直线的上下边界，然后计算停止线候选直线的宽度w，当宽度满足范围5≤w≤15时则认为该候选直线是停止线；所述w的单位是像素，其满足的范围是停止线上下边沿的宽度范围；

步骤8：停止线测距；

步骤8-1：根据步骤7检测到停止线，然后计算出停止线下边界的中心点P(x，y)；设鸟瞰图像大小是(width，height)，则根据公式2可以计算出中心点P(x，y)离图像下边界中心点(width/2，height/2)的像素欧式距离d:

公式2

步骤8-2：根据鸟瞰图像的特性可知，图像中任意两像素点间的像素欧式距离与世界坐标系中的实际距离呈线性关系，即图像中每个像素点的边长在世界坐标平面上的长度是一样的；那么中心点P(x，y)离图像下边界中心点的实际距离dis的计算公式如下:

dis＝k·d 公式3

其中，k代表图像中每个像素边长在世界坐标平面的实际距离，单位为厘米；

步骤8-3：步骤8-2中的k的计算方法如下：首先在车道平面上水平方向选取两个点做好标记A、B，并测量出A、B间的距离L，单位是厘米(cm)；然后在鸟瞰图像中找到A、B的对应点，并计出两点间的像素个数M；则根据下公式计算出k：

公式4

其中，k的单位是厘米每像素(cm/pix)，可以通过调整鸟瞰图像的大小将k尽量保持整数，以便降低误差；

步骤8-4：通过实际测量，测出车头离图像最低端位置的距离为D，单位为厘米；则停止线离车头的距离S可以通过以下公式计算：

S＝D+dis 公式5

或S＝D+k·d 公式6

步骤9：行人检测；利用开源的跨平台计算机视觉库(OpenCV)自带的行人检测HOG(方向梯度直方图)进行行人检测；

步骤10：红绿灯识别；

步骤10-1：根据步骤8计算得到的停止线离车头的距离S，当300≤S≤8000时开始识别红绿灯；

步骤10-2：红绿灯识别采用基于HOG特征的红绿灯识别方法；所述的识别方法只识别圆形的红绿灯；

步骤11：决策控制；

步骤11-1：决策控制的依据是行人状况和红绿灯状态；行人状况只有两种：有人和无人；红绿灯状态只有两种：红灯和绿灯，黄灯当做红灯处理；决策结果只有两个：车辆前行和车辆停止；

步骤11-2：决策控制的逻辑表达式如下：

根据检测结果，按照决策逻辑进行决策控制，最终使无人驾驶智能车安全正确地通过十字路口。

本发明的有益效果是：

本发明通过可行的技术方案，很好地解决了智能车通过十字路口的问题。本发明的检测顺序可以极大的提高检测的准确性和实时性的同时避免了计算机资源的浪费、减少了计算开销、节约了系统的成本。

附图说明

图1本发明的流程图；

图2本发明实例所用到的车道图像；

图3本发明实例所用到的有行人的图像；

图4本发明实例所用到的交通灯为绿灯时的图像；

图5本发明实例所用到的交通灯为红灯时的图像；

图6对图2进行逆透视变换得到的鸟瞰图；

图7车道线检测结果图

图8车道虚拟中心线计算结果图

图9停止线检测及测距结果图

图10行人检测的结果图

图11红绿灯识别是检测到绿灯的结果图

图12红绿灯识别是检测到红灯的结果图

具体实施方式：

采用本发明的方法，给出一个非限定性的实例，结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、智能车测试场地进行实现，为了保证无人驾驶智能汽车以及人员安全，所用平台和场地均为无人驾驶技术专业实验平台和测试场地。所使用的一些通用技术如图像采集、图像变换等不在详细叙述。

本发明的实施方式如下：

1.按照步骤1、2要求安装单目摄像机，本实例所用平台已安装，只需要稍作调整便可以进行实验。

2.按照步骤3、4、5、6、7、8、9、10的详细步骤进行实现，其中所涉及到的参数如下：智能车辆行驶速度10km/h；车道宽度是3m，车道线宽度是12cm；停止线长3m，停止线宽度40cm；车头离图像最低端位置的距离为D＝300cm；摄像机获取的原始图像大小为1000×1000，逆透视的鸟瞰图像大小是140×180；单应性比值k＝5；水平夹角范围0≤rho≤20或160≤rho≤180；长度范围50≤length≤70，其范围计算依据是停止线长度除于比值k,即300/5＝60,加上误差范围得50≤length≤70，同理平行线间距离范围5≤s≤10；

3.根据以上步骤获得的结果进行步骤11的决策控制。

4.实例过程中，图像处理速度能满足车辆控制周期，并且能够很安全地通过不同时刻的十字路口。

Claims (1)

1.一种用于智能车辆的路口行驶控制方法，其特征在于，包含下述步骤：

步骤1：将单目摄像机安装在智能车辆内后视镜的正下方并与车体的纵向坐标轴平行，相对车体横坐标的位移为零；

步骤2：给摄像机安装滤光片，消除逆光带来的影响；

步骤3：获取摄像机的单应性矩阵H，所述的单应性矩阵H是指世界坐标与图像坐标的对应关系；

步骤4：对采集到的视频图像进行车道线检测；

步骤4-1：图像二值化；首先将采集到的彩色图像转换成灰度图像，然后使用OTSU方法进行二值化；

步骤4-2：根据步骤3获得单应性矩阵H，对步骤4-1后得到的图像进行逆透视变换，得到鸟瞰图像；

步骤4-3：对鸟瞰图像进行平行线霍夫直线变换，将倾角相同的平行线归为一组，然后对每一组平行线做线宽和距离约束，所述的线宽约束是指候选线条的宽度应该符合车道线宽度范围，所述的距离约束是指线与线之间的垂直距离符合车道线宽度范围；符合约束条件的直线则是车道线；

步骤5：计算车道虚拟中心线；所述的车道虚拟中心线是指两相邻车道线的之间的平行于车道线的中线；

步骤6：智能车辆方向控制；

步骤6-1：根据步骤5计算出的车道虚拟中心线，利用PD控制算法计算方向盘的角度；首先通过车道虚拟中心线计算出倾斜角度Δθ和偏移距离Δd,然后通过以下公式计算出方向盘的角度ω：

ω＝kp·Δd+kd·Δθ 公式1

其中，Δd的单位是厘米，Δθ的单位是度，kp是偏差比例，其单位是度每厘米，kd是偏差微分；

步骤:6-2：根据步骤6-1计算出的角度，控制智能车辆的方向；所述智能车辆的时速保持在5km/h-30km/h；

步骤7：停止线检测；

步骤7-1：根据步骤4-2中获得的鸟瞰图像，对鸟瞰图像进行霍夫直线变换检测，并计算每条直线的水平夹角θ，其单位是度，满足0≤θ≤30或150≤θ≤180的直线则是停止线的初次候选直线；

步骤7-2：对步骤7-1得到的候选直线进行长度计算，若长度l满足范围50<l<150则是停止线的二次候选直线；所述的长度单位是像素，其满足的范围是一个车道的宽度范围或者停止线长度的范围；

步骤7-3：对停止线的二次候选直线区域进行上升沿和下降沿检测，目的是检测出停止线候选直线的上下边界，然后计算停止线候选直线的宽度w，当宽度满足范围5≤w≤15时则认为该候选直线是停止线；所述w的单位是像素，其满足的范围是停止线上下边沿的宽度范围；

步骤8：停止线测距；

步骤8-1：根据步骤7检测到停止线，然后计算出停止线下边界的中心点P(x,y)；设鸟瞰图像大小是(width,height),则根据公式2计算出中心点P(x,y)离图像下边界中心点(width/2,height/2)的像素欧式距离d:

步骤8-2：根据鸟瞰图像的特性可知，图像中任意两像素点间的像素欧式距离与世界坐标系中的实际距离呈线性关系，即图像中每个像素点的边长在世界坐标平面上的长度是一样的；那么中心点P(x,y)离图像下边界中心点的实际距离dis的计算公式如下:

dis＝k·d 公式3

其中，k代表图像中每个像素边长在世界坐标平面的实际距离，单位为厘米；

步骤8-3：步骤8-2中的k的计算方法如下：首先在车道平面上水平方向选取两个点做好标记A、B，并测量出A、B间的距离L，单位是厘米；然后在鸟瞰图像中找到A、B的对应点，并计出两点间的像素个数M；则根据下公式计算出k：

其中，k的单位是厘米每像素,通过调整鸟瞰图像的大小将k尽量保持整数，以便降低误差；

步骤8-4：通过实际测量，测出车头离图像最低端位置的距离为D，单位为厘米；则停止线离车头的距离S通过以下公式计算：

S＝D+dis 公式5

或S＝D+k·d 公式6

步骤9：行人检测；利用开源的跨平台计算机视觉库自带的行人检测方向梯度直方图进行行人检测；

步骤10：红绿灯识别；

步骤10-1：根据步骤8计算得到的停止线离车头的距离S，当300≤S≤8000时开始识别红绿灯；

步骤10-2：红绿灯识别采用基于HOG特征的红绿灯识别方法；所述的识别方法只识别圆形的红绿灯；

步骤11：决策控制；

步骤11-1：决策控制的依据是行人状况和红绿灯状态；行人状况只有两种：有人和无人；红绿灯状态只有两种：红灯和绿灯，黄灯当做红灯处理；决策结果只有两个：车辆前行和车辆停止；

步骤11-2：决策控制的逻辑表达式如下：

根据检测结果,按照决策逻辑进行决策控制,最终使无人驾驶智能车安全正确地通过十字路口。