CN108470142A - 基于逆透视投影和车道距离约束的车道定位方法 - Google Patents

Abstract

本发明提出了一种基于逆透视投影和车道距离约束的车道定位方法，主要解决现有车道定位方法复杂度高、运算量大并且受周围车辆分布限制的问题。其实现步骤为：首先，通过车载视觉传感器获取车辆前方的道路视频图像并对其进行预处理；利用逆透视变换将预处理后的道路视频图像转换为道路的俯视图；然后，从俯视图中检测出车辆左、右两侧最近车道标志线，再根据车辆与左、右两侧最近车道标志线的距离关系，计算车辆的横向车道偏移；最后，结合车辆上一时刻所处的车道位置和当前时刻的横向车道偏移，确定车辆当前所处的车道位置。本发明复杂度低、运算量小，并且不受周围车辆分布的限制，可应用于无人驾驶，车道级定位和导航。

Description

基于逆透视投影和车道距离约束的车道定位方法

技术领域

本发明属于智能交通技术领域，特别涉及一种车辆车道定位的方法，可应用于自动半自动驾驶、车道级定位和车道偏离预警。

背景技术

车道是车辆行驶过程中的基本单元。对车道的精确定位，是无人驾驶领域的一项关键基础技术，可对车辆自动/半自动驾驶控制，车道级定位、导航和车道偏离预警等提供技术支撑。

目前，车道定位的方法主要有以下几类：(1)通过高精度GPS和车道级高精度电子地图实现车道定位，这种方法的优点是准确度高，但GPS信号易受障碍物遮挡和多径效应的影响，并且车道级高精度电子地图目前还未普及；(2)在道路上铺设标签，在车辆上安装传感器，车辆通过读取道路标签信息获取车道位置，这种方法的优点是准确度和稳定性都很高，但缺点是成本也很高，对道路的改动较大，并且严格受道路制约，即一旦车辆行驶到没有铺设标签的路段时，该方法立即失效；(3)通过在车辆上安装传感器，主动探测道路信息，如车道标志线、交通标志、车辆和行人等，实现车辆的主动车道定位，该方法因为不需要对道路进行改造，并且成本相对(1)较低，是目前的主流，其中基于视觉传感器的车道定位技术在该类方法中占有重要的地位。如公开号为CN106056100A、名称为“一种基于车道检测与目标跟踪的车辆辅助定位方法”的发明，其提供了一种针对车辆所在的具体车道进行精确定位的方法，其首先将最靠近图像竖直中轴线的两条车道线作为本车车道线；然后以道路图像底边中点为原点，将目标车辆与原点用直线连接，判断该直线与本车车道线是否有交点；最后结合相对位置关系与车道线确定车辆所在的具体车道。该方法虽然实现了车道定位，但其由于在车道线检测的基础上还增加了多目标跟踪，因而增加了定位的复杂度和运算量，并且由于该方法仅依赖于车辆周围的其他车辆实现定位而没有充分利用车道标志线的几何结构信息，因此在车辆周围其他车辆较少甚至没有的情况下车辆车道定位的准确度较低。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于逆透视投影和车道距离约束的车道定位方法，以充分利用车道标志线的几何结构信息，降低车道定位的复杂度，减小运算量，提高车道定位的准确度。

本发明的技术方案是：通过车载视觉传感器获取车辆前方的道路视频图像，利用逆透视变换将道路视频图像转换为道路的俯视图，然后从俯视图中检测出车道标志线，再根据车辆与车道标志线的距离关系，判断车辆是否换道，最后结合车辆上一时刻所处的车道位置和当前时刻的换道信息，确定车辆当前所处的车道位置，其实现步骤包括如下：

(1)通过车载摄像机获取车辆前方的道路视频图像，并对其进行灰度化和中值滤波，得到预处理图像P；

(2)构建摄像机透视成像模型：

以摄像机在地面上的垂直投影点为世界坐标系的原点O_w，车辆中轴线为y_w轴，y_w轴正方向指向车辆前进的方向，车辆横向为x_w轴，x_w轴正方向指向车辆右边，z_w轴正方向垂直路面向，建立世界坐标系O_w-x_wy_wz_w，(x_w,y_w,0)^T表示世界坐标系点；以图像左上方顶点为原点O，横向为u轴，u轴正方向指向图像右方，纵向为v轴，v轴正方向指向图像下方，建立图像坐标系O-uv，(u,v)^T表示图像坐标系上的点，得到世界坐标系点(x_w,y_w,0)^T到图像坐标系点(u,v)^T的透视成像模型如下：

其中，h是摄像机距离地面的高度，θ是摄像机的俯仰角，f_x是摄像机在x方向的等效焦距，f_y是摄像机在y方向的等效焦距，u₀是摄像机光心的横坐标，v₀是摄像机光心的纵坐标，z_c是归一化系数；

(3)利用透视成像模型，将预处理图像P转换为俯视图A，并对俯视图A依次进行二值化、边缘检测和Hough变换，从中检测出车道标志线L_i,i＝1,2,3…以及车道标志线L_i与俯视图A底部边界的交点横坐标x_i；

(4)比较x_i与图像中轴线横坐标x_M的大小，划分左、右车道标志线，计算x_i与x_M的距离dl_i，取出左车道标志线对应dl_i的最小值dl_min和右车道标志线对应dl_i的最小值dr_min；

(5)将dl_min和dr_min分别与半车身宽度W进行比较，判断车辆是否处于压线状态：若处于压线状态，则计算压线状态起始时刻车辆在车道内的位置s和终止时刻车辆在车道内的位置e，否则，返回(1)；

(6)在车辆压线状态终止时刻，比较车辆压线状态起始时刻在车道内的位置s和终止时刻车辆在车道内的位置e的大小，得到车道横向偏移量c：

若s＞e，则c＝1；

若s＜e，则c＝-1；

若s＝e，则c＝0；

(7)将车辆上一时刻的车道位置k'加上车道横向偏移量c，得到车辆当前车道位置k，k＝k'+c。

本发明与现有技术相比，具有以下优点：

1.本发明通过逆透视变换将道路视频图像转换为道路的俯视图，利用车道标志线的几何结构和距离约束，判断车辆的压线状态，再比较车辆在压线状态起始和终止时刻在车道内的位置，得到车辆的车道横向偏移量，实现车道定位，降低了车道定位的复杂度，减小了运算量。

2.本发明在实现车道定位的过程中，只需要对车道线进行检测，不依赖于车辆周围其他车辆，提高了在车辆周围无有其他车辆，或者其他车辆较少情况下车道定位的准确度。

附图说明

图1为本发明的实现总流程图；

图2为本发明中构建的透视投影模型图；

图3为本发明中车辆运行状态示意图；

图4为本发明中横向车道偏移检测子流程图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明提供的基于逆透视投影和车道距离约束的车道定位方法，包括如下步骤：

步骤1，获取预处理图像P。

1a)通过车载摄像机获取车辆前方的道路视频图像：

将摄像机安装在车辆纵向中轴线上位于车顶前方的位置，摄像机的摄像头对准车辆前方，摄像机距离地面的高度h为1-1.2米，俯仰角θ为10-15度，航偏角和翻滚角均为0；车辆正常行驶在具有清晰车道标志线的道路上，行驶过程中，摄像机不断的采集车辆正前方道路视频图像；

1b)对道路视频图像进行灰度化和中值滤波，得到预处理图像P：

由于摄像机采集的道路视频图像是RGB格式的，为了提高图像处理速度，首先对视频的每一帧图像进行灰度化处理，得到道路灰度图像G；

由于道路灰度图像G中存在着噪声，其中孤立点噪声影响较大，而中值滤波对于滤除孤立点噪声具有良好的效果，因此要对道路灰度图像G进行中值滤波，得到预处理图像P。

步骤2，构建摄像机透视成像模型，将预处理图像P转换为道路俯视图A。

2a)以摄像机在地面上的垂直投影点为世界坐标系的原点O_w，车辆中轴线为y_w轴，y_w轴正方向指向车辆前进的方向，车辆横向为x_w轴，x_w轴正方向指向车辆右边，z_w轴正方向垂直路面向上，建立世界坐标系O_w-x_wy_wz_w；

以图像左上方顶点为原点O，横向为u轴，u轴正方向指向图像右方，纵向为v轴，v轴正方向指向图像下方，建立图像坐标系O-uv；

根据世界坐标系O_w-x_wy_wz_w和相机坐标系O-uv，构建透视成像模型如图2所示；

根据透视成像模型计算出的世界坐标系中路面上的点(x_w,y_w,0)^T与图像坐标系中的点(u,v)^T的映射关系如下：

其中，f_x是摄像机x方向的等效焦距，f_y是摄像机y方向的等效焦距，u₀是摄像机光心的横坐标，v₀是摄像机光心的纵坐标，z_c是归一化系数；

2b)创建一个M行N列的矩阵R，其中M＝900，N＝1000，选取车辆前方2-20米，车辆左右侧各5米，即构成2≤y_w≤20米，-5≤x_w≤5米的道路区域，进行逆透视变换，并利用线性插值填充矩阵R，填充后的R即得到道路俯视图A；

步骤3，对道路俯视图A依次进行二值化、边缘检测和Hough变换，从中检测出车道标志线L_i,i＝1,2,3…以及车道标志线L_i与俯视图A底部边界的交点横坐标x_i。

3a)在道路俯视图A中，由于车道标志线的亮度值相对于其它非车道标志线目标如路面、栏杆、绿化带较高，因此，需要对道路俯视图A进行逐行阈值二值化，即将每行所有像素点灰度值的均值作为该行的行阈值，然后把该行中亮度值高于行阈值的像素点设为车道标志线，亮度值不高于行阈值的像素点设置为背景，得到道路二值图像B；

3b)采用Sobel算子，对道路二值图像B进行边缘检测，提取出车道标志线的边缘信息，得到道路边缘图像E；

3c)对道路边缘图像E进行Hough变换，选取其中峰值最大的4个点，作为车道标志线对应的点，然后将峰值点的参数转换成笛卡尔坐标系下的直线参数，得到车道标志线L_i,i＝1,2,3…，其中L_i表示第i条车道标志线；

3d)计算车道标志线L_i与道路俯视图A底部边界的交点P_i，得到P_i的横坐标x_i，其中x_i表示车道标志线L_i与道路俯视图A底部边界的交点P_i的横坐标。

步骤4，比较交点横坐标x_i与道路俯视图A的中轴线横坐标x_M的大小，划分左、右车道标志线，计算x_i与x_M的距离dl_i，取出左车道标志线对应dl_i的最小值dl_min和右车道标志线对应dr_i的最小值dr_min；

4a)记左边车道标志线集合为L_left，右边车道标志线集合为L_right，道路俯视图A的中轴线横坐标为x_M，将交点横坐标x_i与x_M进行比较：

若x_i＜x_M，则该车道标志线L_i为左车道标志线，L_i∈L_left；

若x_i≥x_M，则该车道标志线L_i为右车道标志线，L_i∈L_right；

4b)取出左边车道标志线集合L_left中的全部车道标志线，记其数量为N_L，类型为LL,重新编号为m，m＝1,2…N_L,则L_left中第m条车道标志线为LL_m，其横坐标为xl_m；取出右边车道标志线集合L_right中的全部车道标志线，记其数量为N_R，类型为LR,重新编号为n，n＝1,2…N_R,则L_right中第条n车道标志线为LR_n，其横坐标为xr_n；

4c)记左边车道线LL_m与道路俯视图A的中轴线的距离为dl_m＝x_M-xl_m，车辆左侧最近车道标志线与道路俯视图A的中轴线的距离为dl_min＝min{dl_m,m＝1,2…N_L}；记右边车道线LR_n与道路俯视图A的中轴线的距离为dr_n＝xr_n-x_M，车辆右侧最近车道标志线与道路俯视图A的中轴线的距离为dr_min＝min{dr_min,n＝1,2…N_R}，如图3所示。

步骤5，检测车辆的压线状态，计算压线状态起始时刻、终止时刻车辆在车道内的位置。

参照图4，本步骤的具体实现如下：

5a)根据dl_min、dr_min与半车身宽度W的大小，判断车辆是否处于压线状态：

5a1)根据汽车行业规范，取1米作为车辆半车身宽度，由于在世界坐标系中1米的宽度，占据图像坐标系中(1/10)*N＝100个像素点宽度，因此记道路俯视图A中半车身宽度W＝100；

5a2)记车辆的压线状态为t，比较dl_min、dr_min与半车身宽度W的大小，判断车辆是否处于压线状态：

若dl_min＜W或dr_min＜W，则车辆当前处于压线状态中，记t＝1；

否则，车辆当前没有处于压线状态中，记t＝0；

5b)检测车辆压线状态t的变化，记录车辆在车道内的位置：

5b1)当车辆压线状态t由0变为1时，表明车辆从没有压线的状态进入到了压线状态，即车辆当前时刻正处于压线状态起始时刻，比较此时dl_min和dr_min的大小，确定车辆在车道的位置s：

若dl_min＜dr_min，则车辆在车道内偏左的位置，记s＝1，

否则，车辆在车道内偏右的位置，记s＝-1；

5b2)当车辆压线状态t由1变为0时，表明车辆从压线的状态进入到了没有压线的状态，即车辆当前时刻正处于压线状态终止时刻，比较此时dl_min和dr_min的大小，确定车辆在车道的位置e：

若dl_min＜dr_min，则车辆在车道内偏左的位置，记e＝1，

否则，车辆在车道内偏右的位置，记e＝-1；

步骤6，计算车道横向偏移量。

记车辆从压线状态起始时刻到压线状态终止时刻这一过程中的车道横向偏移量为c，在车辆压线状态终止时刻，比较e和s的大小，得到c：

若s＞e，则c＝1；

若s＜e，则c＝-1；

若s＝e，则c＝0。

步骤7，计算车辆当前时刻所处的车道位置。

记道路最右边的车道的位置为1，从右往左每跨越一个车道则该车道的位置加1，并将车辆上一时刻所处的车道位置记为k'，将车辆当前时刻所处的车道位置记为k，在每一个车辆压线状态终止的时刻，对车辆当前所处的车道位置进行更新，更新公式为：k＝k'+c；

通过对车辆的横向车道偏移进行检测，结合车辆上一时刻所处的车道位置，在每一个压线状态终止时刻对车辆当前所处的车道位置进行更新，即实现了车辆行驶过程中持续的车道定位。

本发明的范畴并不局限于上述详细说明，它们并非用以限制本发明的保护范围，凡未脱离本发明所述的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于逆透视投影和车道距离约束的车道定位方法，其特征在于，包括如下步骤：

(1)通过车载摄像机获取车辆前方的道路视频图像，并对其进行灰度化和中值滤波，得到预处理图像P；

(2)构建摄像机透视成像模型：

以摄像机在地面上的垂直投影点为世界坐标系的原点O_w，车辆中轴线为y_w轴，y_w轴正方向指向车辆前进的方向，车辆横向为x_w轴，x_w轴正方向指向车辆右边，z_w轴正方向垂直路面向，建立世界坐标系O_w-x_wy_wz_w，(x_w,y_w,0)^T表示世界坐标系点；以图像左上方顶点为原点O，横向为u轴，u轴正方向指向图像右方，纵向为v轴，v轴正方向指向图像下方，建立图像坐标系O-uv，(u,v)^T表示图像坐标系上的点，得到世界坐标系点(x_w,y_w,0)^T到图像坐标系点(u,v)^T的透视成像模型如下：

其中，h是摄像机距离地面的高度，θ是摄像机的俯仰角，f_x是摄像机在x方向的等效焦距，f_y是摄像机在y方向的等效焦距，u₀是摄像机光心的横坐标，v₀是摄像机光心的纵坐标，z_c是归一化系数；

(3)利用透视成像模型，将预处理图像P转换为俯视图A，并对俯视图A依次进行二值化、边缘检测和Hough变换，从中检测出车道标志线L_i,i＝1,2,3…以及车道标志线L_i与俯视图A底部边界的交点横坐标x_i；

(4)比较x_i与图像中轴线横坐标x_M的大小，划分左、右车道标志线，计算x_i与x_M的距离dl_i，取出左车道标志线对应dl_i的最小值dl_min和右车道标志线对应dl_i的最小值dr_min；

(5)将dl_min和dr_min分别与半车身宽度W进行比较，判断车辆是否处于压线状态，并计算压线状态起始时刻车辆在车道内的位置s和终止时刻车辆在车道内的位置e；

(6)在车辆压线状态终止时刻，比较车辆压线状态起始时刻在车道内的位置s和终止时刻车辆在车道内的位置e的大小，得到车道横向偏移量c：

若s＞e，则c＝1；

若s＜e，则c＝-1；

若s＝e，则c＝0；

(7)将车辆上一时刻的车道位置k'加上车道横向偏移量c，得到车辆当前车道位置k，k＝k'+c。

2.根据权利要求1所述的方法，其特征在于：步骤(4)中比较x_i与图像中轴线横坐标x_M的大小，划分左、右车道标志线，其实现如下：

若x_i＜x_M，则该车道标志线L_i为左车道标志线，x_i∈L_left；

若x_i≥x_M，则该车道标志线L_i为右车道标志线，x_i∈L_right；

其中，L_left为左车道标志线集合，L_right为右车道标志线集合。

3.根据权利要求1所述的方法，其特征在于：步骤(4)中计算x_i和x_M的距离dl_i，取出左车道标志线对应的dl_i的最小值dl_min和右车道标志线对应的dl_i的最小值dr_min，其实现如下：

dl_min＝min{x_M-x_i}，x_i∈L_left；

dr_min＝min{x_i-x_M}，x_i∈L_right。

其中，L_left为左车道标志线集合，L_right为右车道标志线集合。

4.根据权利要求1所述的方法，其特征在于：步骤(5)中判断车辆是否处于压线状态，其实现如下：

(5a)记车辆的压线状态为t，其初始值为0；

(5b)将dl_min和dr_min分别与半车身宽度W进行比较，判断车辆的压线状态：

若dl_min＜W或dr_min＜W，则车辆正处于压线状态中，t＝1；

否则，车辆没有处于压线状态中，t＝0。

5.根据权利要求1所述的方法，其特征在于：步骤(5)中计算压线状态起始时刻车辆在车道内的位置s和终止时刻车辆在车道内的位置e，通过如下公式计算：

若t由0变为1，并且dl_min＜dr_min，则车辆在压线状态的起始时刻位于车道内偏左部分，记s＝1,；

若t由0变为1，并且dl_min≥dr_min，则车辆在压线状态的起始时刻位于车道内偏右部分，记s＝-1；

若t由1变为0，并且dl_min＜dr_min，则车辆在压线状态的终止时刻位于车道内偏左部分，记e＝1；

若t由1变为0，并且dl_min≥dr_min，则车辆在压线状态的终止时刻位于车道内偏左部分，记e＝-1。