CN111209843A - 一种适用智能终端的车道偏离预警方法 - Google Patents

Abstract

本发明公开了一种适用智能终端的车道偏离预警方法，主要解决现有车道偏离预警系统应用成本高，计算量大、准确率低的问题。其方案是：1)通过智能终端采集车辆前方道路视频图像，并对其进行预处理；2)对预处理图像做灰度形态学变换，并提取车道标志线的候选特征点，运用Hough变换拟合车道标志线；3)根据车道标志线的参数与端点位置，划分左、右车道标志线集合，提取车辆两侧的车道标志线；4)计算车辆的横向偏移距离，结合其变化率，判断是否发生车道偏离，并通过预警模块进行偏离预警，在显示屏显示预警信息。本发明提高了预警准确度，减小运算量，系统结构简单，无需改动车辆，降低了整个系统成本，可应用于汽车自动或半自动驾驶。

Description

一种适用智能终端的车道偏离预警方法

技术领域

本发明属于行车安全技术领域，特别涉及一种车道偏离预警方法，可应用于汽车自动或半自动驾驶。

背景技术

随着汽车保有量的与日俱增，现代汽车在给人们带来便利的同时，也带来了潜在的安全隐患。其中，由于车道偏离引发的交通事故占据大部分比例。据交通部的数据统计，大约50％的汽车交通事故是因为汽车偏离正常的行驶车道引起的，究其主要原因主要是驾驶员注意力不集中和疲劳驾驶。而美国联邦公路管理局的统计，美国从2015年到2017年，所有致命的交通事故中53％是跟车道偏离有关的，同时车道偏离也被看成车辆侧翻事故的主要原因。如此惊人的比例足以证明防止车道偏离对于道路交通安全具有重要意义。

现有市场上主流的车道偏离警示系统主要由抬头显示器、摄像头、控制器以及传感器组成，常用车道偏离时间TLC或车辆在车道中的当前位置CCP预警模型进行预警，TLC模型主要判断车辆在路面上将来横越车道边界的时间是否大于设定的时间阈值，该模型对系统硬件要求较高，且对复杂多变的道路交通环境鲁棒性差；CCP模型简单且易实现，但是当驾驶员沿着车道线行驶时，会导致误报警。目前车道偏离预警系统主要集中在中高端车型，可基本实现车道偏离的预警功能，但对于绝大多数中低端车型，要安装此系统则存在成本高、改动大、设备难以通用、预警正确率低的不足。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种适用智能终端的车道偏离预警方法，以提高在复杂场景下车道偏离预警的准确、实时性，降低系统应用成本，减少对车辆的改动。

实现本发明目的的技术思路是：通过在车辆正前方安装智能终端设备，利用智能终端的摄像头采集前方道路视频图像，再结合计算机视觉算法对采集的图像进行车道标志线检测，提取车道标志线参数，最后利用获取的道路信息对车辆进行车道偏离预警决策，以实现高效准确的车道偏离预警。

根据上述思路，本发明适用智能终端的车道偏离预警方法，其特征在于，包括如下：

(1)利用智能终端采集车辆当前行驶地道路的视频图像，并对采集的视频帧图像依次进行感兴趣区域ROI选取、灰度化和中值滤波操作，得到其预处理图像；

(2)从预处理图像中提取车道标志线特征点信息，以检测出车道标志线，得到车道标志线特征参数：

(2a)对预处理图像进行灰度形态学变换，以增强车道标志线与路面背景图像的对比度，保持车道标志线的灰度级，抑制干扰信息，获得车道标志线的增强图像；

(2b)对车道标志线的增强图像进行二值化操作，即运用大津算法OSTU自适应调整阈值参数，将增强图像转换成“0-1”二值图像；

(2c)提取二值图像中车道标志线的边缘信息，获得车道标志线候选特征点；

(2d)对特征点进行直线拟合，滤除干扰信息，提取车道标志线信息，获得车道标志线的特征参数ρ和θ，其中特征参数ρ和θ分别表示车道标志线与图像横轴的极距和极角；

(3)根据车道标志线参数的特征，划分车道标志线集合；

(3a)对车道标志线的特征参数进行转换，获得车道标志线与图像的交点坐标(x_ki,y_ki)，k＝1,2,3,4…,i＝d,u，其中d和u分别表示的是车道标志线与图像交点坐标的下端点坐标和上端点坐标；

(3b)运用车道标志线极角θ的正负属性，判定车道标志线的方向：

若θ＞0，则判定车道标志线的方向为左向；

若θ＜0，则判定车道标志线的方向为右向；

(3c)结合交点坐标(x_ki,y_ki)与车辆中轴线坐标的大小，划分左、右车道标志线集合(x_si,y_si)，s＝l,r，其中l和r分别表示车辆的左侧车道标志线和右侧车道标志线；

(3d)从提取的车道标志线集合中，通过比较车道标志线极角θ的大小，得到距离车辆左侧最近的车道标志线下端点坐标(x_ld,y_ld)与上端点坐标(x_lu,y_lu)及距离右侧最近的车道标志线下端点坐标(x_rd,y_rd)与上端点坐标(x_ru,y_ru)；

(4)提取的车道标志线参数信息，判断是否进行车道偏离预警：

(4a)分别计算左侧车道标志线下端点坐标的横坐标x_ld与车辆中轴线下端点横坐标x_md的左侧横向偏移距离d_l及右侧车道标志线下端点坐标的横坐标x_rd与车辆中轴线下端点横坐标x_md的右侧横向偏移距离d_r；

(4b)分别对第k帧的左侧横向偏移距离d_l及右侧横向偏移距离d_r进行滤波平滑，得到左侧横向偏移滤波距离d_l′(k)及右侧横向偏移滤波距离d_r′(k)；

(4c)将左右两个横向偏移滤波距离与设定的预警阈值T进行比较，判断车辆是否进入偏离状态：

若d_l′(k)＜T,d_r′(k)＜-T，则为左偏状态，执行(4d)；

若d_l′(k)＞T,d_r′(k)＞-T，则为右偏状态，执行(4e)；

否则，返回(1)；

(4d)计算左侧横向偏移滤波距离d_l′(k)的变换率Δd_l′(k)，判断车辆的运动趋势：

若连续N帧满足Δd_l′(k)＜0，则判定车辆发生左向偏离，通过报警模块进行预警，并在智能终端显示器上显示车道偏离预警信息；

否则，返回(1)；

(4e)计算右侧横向偏移滤波距离d_r′(k)的变换率Δd_r′(k)，判断车辆的运动趋势：

若连续N帧满足Δd_r′(k)＞0，则判定车辆发生右向偏离，通过报警模块进行预警，并在智能终端显示器上显示车道偏离预警信息；

否则，返回(1)。

本发明与现有技术相比具有以下优点：

1.本发明通过灰度形态学变换增强车道标志线与背景图像的对比度，提高了车道标志线的检测准确度；

2.本发明利用车道标志线的几何结构，计算车辆横向偏移距离，并结合车辆运动趋势，判定是否进行车道偏离预警提醒，提高了预警的准确度，降低了系统的复杂度，减少了运算量；

3.本发明由于在检测过程不需要对摄像机进行标定，仅运用智能终端实现车道偏离预警，不对原车辆进行改动，因而结构简单，降低了整个系统应用成本。

附图说明

图1是本发明的实现总流程图；

图2是本发明中智能终端的结构示意图；

图3是本发明中车辆行驶状态示意图；

图4是本发明中偏离预警决策子流程图。

具体实施方式

以下结合附图和实施例，对本发明的实施例作进一步详细描述：

参照图1，本实施例的实现步骤如下：

步骤1，利用智能终端采集道路视频帧图像，并对其进行预处理，得到预处理图像F。

参照图2，所述智能终端，包括中央处理单元、摄像头、显示器和预警模块，智能终端安装在车辆正前方。其中，摄像头用于采集车辆当前所处的包含车道标志线的道路视频图像；中央处理单元包括图像处理模块和偏离预警模块，用于对采集的视频帧图像进行车道标志线检测和车道偏离预警决策；显示器用于显示车道偏离预警信息；预警模块用于对车道偏离预警信息进行警报；

1a)利用智能终端摄像头采集车辆当前行驶地道路视频图像：

将智能终端安装在车辆正前方，摄像头对向车辆前方的道路位置，车辆行驶过程中，打开摄像头不断地采集道路视频图像，该采集的道路视频图像图除了包含路面车道标志线部分，还包含天空等背景区域，且该部分的图像灰度值相对较高，会对车道标志线检测造成干扰；

1b)获取预处理图像：

1b1)从采集的视频图像中提取包含车道标志线的感兴趣区域ROI，并其转换成灰度图像，以降低图像维度，减少图像处理地运算量；

1b2)对灰度图像进行中值滤波操作，滤除图像采集过程中引入的干扰噪声，保留车道标志线边缘信息，得到车道标志线的预处理图像F。

步骤2，对预处理图像F做灰度形态学变换，获得车道标志线增强图像H。

得到预处理图像后，运用顶帽Top-Hat对其进行灰度形态学变换，以增强车道标志线与路面背景区域的对比度，保持车道标志线的灰度级，抑制干扰信息，获取滤波后车道标志线的增强图像H，其实现如下：

2a)对预处理图像F进行如下腐蚀操作：

其中，b表示形态学滤波的结构元素，D_b表示结构元素范围，此处结构元素大小为车道标志线宽度，(u,v)为预处理图像的像素坐标，(u′,v′)为结构元素的像素坐标，Θ表示图像腐蚀操作；

2b)对腐蚀后的图像进行如下膨胀操作式：

其中，

表示图像膨胀操作；

2c)通过(2a)与(2b)的操作，得到预处理图像的开操作图像，再用预处理图像减去开操作图像，获得滤波后地车道标志线增强图像：

其中，H表示车道标志线增强图像，

表示图像开操作。

步骤3，提取车道标志线特征点信息，检测出车道标志线。

3a)获取车道标志线候选特征点：

3a1)对车道标志线的增强图像H进行二值化操作，即运用OSTU调整阈值参数，自适应获取灰度阈值，根据该灰度阈值将增强图像转换成“0-1”二值图像，“0”表示背景部分像素值，“1”表示车道标志线所在区域像素值；

3a2)采用梯度边缘检测算法，提取车道标志线的单边信息，获得车道标志线的候选特征点；

3b)运用Hough变换拟合候选特征点，获得拟合直线的特征参数ρ和θ，通过对拟合直线的极距ρ与极角θ进行约束，滤除干扰信息，提取车道标志线的特征参数ρ和θ；

3c)对获取的车道标志线的特征参数进行转换，获得车道标志线与图像的交点坐标(x_ki,y_ki)，k＝1,2,3,4…,i＝d,u:

3c1)判断

是否大于图像高度h：

若

则

若

则

其中，ρ表示车道标志线与图像横轴的极距，θ表示车道标志线与图像横轴的极角，(x_ld,y_ld)表示车道标志线左下端点坐标，(x_lu,y_lu)表示车道标志线左上端点坐标；

3c2)判断

是否大于图像高度h：

若

则

若

则

其中，w表示图像宽度，(x_rd,y_rd)表示车道标志线右下端点坐标，(x_ru,y_ru)表示车道标志线右上端点坐标；

3d)运用车道标志线极角θ的正负属性，判定车道标志线的方向：

若θ＞0，则判定车道标志线的方向为左向；

若θ＜0，则判定车道标志线的方向为右向；

3e)结合车道标志线端点坐标(x_ki,y_ki)与车辆中轴线坐标(x_mi,y_mi)的大小，划分左、右车道标志线集合(x_si,y_si)，s＝l,r。

步骤4，从提取的车道标志线集合中，根据车道标志线极角θ确定距离车辆左右侧最近的坐标。

在左侧车道标志线集合中，取θ＝min(θ)所对应的上下两个端点坐标分别作为距离车辆左侧最近的车道标志线上端点坐标(x_lu,y_lu)与下端点坐标(x_ld,y_ld)；

在右侧车道标志线集合中，取θ＝min(θ)所对应的上下两个端点坐标分别作为距离车辆右侧最近的车道标志线上端点坐标(x_ru,y_ru)与下端点坐标(x_rd,y_rd)。

步骤5，根据车道标志线参数信息，判断是否进行车道偏离预警。

参照图4，本步骤的实现如下：

5a)计算左侧车道标志线下端点的横坐标x_ld与车辆中轴线下端点横坐标x_md的左侧横向偏移距离：d_l＝x_md-x_ld；

计算右侧车道标志线下端点的横坐标x_rd与车辆中轴线下端点横坐标x_md的右侧横向偏移距离：d_r＝x_md-x_rd；

5b)为了避免干扰因素的影响，对车辆第k帧的横向偏移距离进行滤波操作，获取左侧横向偏移滤波距离d_l′(k)，右侧横向偏移滤波距离d_r′(k)，滤波公式如下：

其中，w(t)为滤波模板；

5c)根据国标GB/T 26773-2011，在实际场景中，最早报警线在车道内的位置约0.75米，最迟报警线位于车道边界外侧0.3米处，报警临界线位于最早报警线与最迟报警线之间的区域，根据汽车行业规范，取1米作为车辆半车身宽度，基于这些参数设定预警阈值T；

5d)将左右两个横向偏移滤波距离与预警阈值T进行比较，判断车辆是否进入偏离状态：

若d_l′(k)＜T,d_r′(k)＜-T，则为左偏状态，如图(3b)所示，执行(5e)；

若d_l′(k)＞T,d_r′(k)＞-T，则为右偏状态，如图(3c)所示，执行(5f)；

否则，车辆当前没有进入偏移状态，如图(3a)所示，返回步骤1重新进行新一轮的车道检测与偏离预警分析；

5e)计算左侧横向偏移滤波距离d_l′(k)的变换率：Δd_l′(k)＝d_l′(k)-d_l′(k-1)，并判断车辆的运动趋势：

若连续N帧满足Δd_l′(k)＜0，则判定车辆发生左向偏离，执行步骤6；

否则，车辆当前没有发生偏移，返回步骤1，重新进行新一轮的车道检测与偏离预警分析；

5f)计算右侧横向偏移滤波距离d_r′(k)的变换率：Δd_r′(k)＝d_r′(k)-d_r′(k-1)，并判断车辆的运动趋势：

若连续N帧满足Δd_r′(k)＞0，则判定车辆发生右向偏离，执行步骤6；

否则，车辆当前没有发生偏移，返回步骤1，重新进行新一轮的车道检测与偏离预警分析。

步骤6，通过智能终端的报警模块进行偏离预警，并在智能终端显示器上显示出车道偏离的预警信息。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种适用智能终端的车道偏离预警方法，其特征在于，包括如下：

(1)利用智能终端采集车辆当前行驶地道路的视频图像，并对采集的视频帧图像依次进行感兴趣区域ROI选取、灰度化和中值滤波操作，得到其预处理图像；

(2)从预处理图像中提取车道标志线特征点信息，以检测出车道标志线，得到车道标志线特征参数：

(2a)对预处理图像进行灰度形态学变换，以增强车道标志线与路面背景图像的对比度，保持车道标志线的灰度级，抑制干扰信息，获得车道标志线的增强图像；

(2b)对车道标志线的增强图像进行二值化操作，即运用大津算法OSTU自适应调整阈值参数，将增强图像转换成“0-1”二值图像；

(2c)提取二值图像中车道标志线的边缘信息，获得车道标志线候选特征点；

(2d)对特征点进行直线拟合，滤除干扰信息，提取车道标志线信息，获得车道标志线的特征参数ρ和θ，其中特征参数ρ和θ分别表示车道标志线与图像横轴的极距和极角；

(3)根据车道标志线参数的特征，划分车道标志线集合；

(3a)对车道标志线的特征参数进行转换，获得车道标志线与图像的交点坐标(x_ki,y_ki)，k＝1,2,3,4…,i＝d,u，其中d和u分别表示的是车道标志线与图像交点坐标的下端点坐标和上端点坐标；

(3b)运用车道标志线极角θ的正负属性，判定车道标志线的方向：

若θ＞0，则判定车道标志线的方向为左向；

若θ＜0，则判定车道标志线的方向为右向；

(3c)结合交点坐标(x_ki,y_ki)与车辆中轴线坐标的大小，划分左、右车道标志线集合(x_si,y_si)，s＝l,r，其中l和r分别表示车辆的左侧车道标志线和右侧车道标志线；

(3d)从提取的车道标志线集合中，通过比较车道标志线极角θ的大小，得到距离车辆左侧最近的车道标志线下端点坐标(x_ld,y_ld)与上端点坐标(x_lu,y_lu)及距离右侧最近的车道标志线下端点坐标(x_rd,y_rd)与上端点坐标(x_ru,y_ru)；

(4)提取的车道标志线参数信息，判断是否进行车道偏离预警：

(4a)分别计算左侧车道标志线下端点坐标的横坐标x_ld与车辆中轴线下端点横坐标x_md的左侧横向偏移距离d_l及右侧车道标志线下端点坐标的横坐标x_rd与车辆中轴线下端点横坐标x_md的右侧横向偏移距离d_r；

(4b)分别对第k帧的左侧横向偏移距离d_l及右侧横向偏移距离d_r进行滤波平滑，得到左侧横向偏移滤波距离d_l′(k)及右侧横向偏移滤波距离d_r′(k)；

(4c)将左右两个横向偏移滤波距离与设定的预警阈值T进行比较，判断车辆是否进入偏离状态：

若d_l′(k)＜T,d_r′(k)＜-T，则为左偏状态，执行(4d)；

若d_l′(k)＞T,d_r′(k)＞-T，则为右偏状态，执行(4e)；

否则，返回(1)；

(4d)计算左侧横向偏移滤波距离d_l′(k)的变换率Δd_l′(k)，判断车辆的运动趋势：

若连续N帧满足Δd_l′(k)＜0，则判定车辆发生左向偏离，通过报警模块进行预警，并在智能终端显示器上显示车道偏离预警信息；

否则，返回(1)；

(4e)计算右侧横向偏移滤波距离d_r′(k)的变换率Δd_r′(k)，判断车辆的运动趋势：

若连续N帧满足Δd_r′(k)＞0，则判定车辆发生右向偏离，通过报警模块进行预警，并在智能终端显示器上显示车道偏离预警信息；

否则，返回(1)。

2.根据权利要求1所述的方法，其特征在于，(1)中的智能终端，安装在车辆正前方，其包括：

摄像头，用于实时采集当前道路视频图像；

中央处理单元，用于处理采集的视频帧图像；

显示器，用于显示车道偏离预警信息；

预警模块，用于对车道偏离预警信息进行警报。

3.根据权利要求1所述的方法，其特征在于，(2a)中对预处理图像进行灰度形态学变换，其实现如下：

(2a1)对预处理图像进行腐蚀操作，公式如下：

其中，F表示预处理图像，b表示形态学滤波的结构元素，D_b表示结构元素范围，此处结构元素大小为车道标志线宽度，(u,v)为预处理图像的像素坐标，(u′,v′)为结构元素的像素坐标，Θ表示图像腐蚀操作；

(2a2)对腐蚀后的图像进行膨胀操作，公式如下：

其中，

表示图像膨胀操作；

(2a3)通过(2a1)与(2a2)的操作，得到预处理图像的开操作图像，再用预处理图像减去开操作图像，获得滤波后地车道标志线增强图像：

其中，H表示车道标志线增强图像，

表示图像开操作。

4.根据权利要求1所述的方法，其特征在于，(3a)中对车道标志线的特征参数进行转换，获得车道标志线与图像的交点坐标(x_ki,y_ki)，实现如下：

(3a1)判断

是否大于图像高度h：

若

则

若

则

其中，ρ表示车道标志线与图像横轴的极距，θ表示车道标志线与图像横轴的极角，(x_ld,y_ld)表示车道标志线左下端点坐标，(x_lu,y_lu)表示车道标志线左上端点坐标；

(3a2)判断

是否大于图像高度h：

若

则

若

则

其中，w表示图像宽度，(x_rd,y_rd)表示车道标志线右下端点坐标，(x_ru,y_ru)表示车道标志线右上端点坐标。

5.根据权利要求1所述的方法，其特征在于，(4a)中的左侧横向偏移距离d_l和右侧横向偏移距离d_r，计算公式如下：

d_l＝x_md-x_ld

d_r＝x_md-x_rd

其中，x_ld表示车道标志线左下端点横坐标，x_md表示车辆中轴线下端点横坐标，x_rd表示车道标志线右下端点横坐标。

6.根据权利要求1所述的方法，其特征在于，(4b)中的左侧横向偏移滤波距离d_l′(k)和右侧横向偏移滤波距离d_r′(k)，计算公式如下：

其中，w(t)为滤波模板。

7.根据权利要求1所述的方法，其特征在于，(4d)中左侧横向偏移滤波距离的变化率Δd_l′(k)，计算公式如下：

Δd_l′(k)＝d_l′(k)-d_l′(k-1)

8.根据权利要求1所述的方法，其特征在于，(4e)中右侧横向偏移滤波距离的变化率Δd_r′(k)，计算公式如下：

Δd_r′(k)＝d_r′(k)-d_r′(k-1)。

Images