CN114663859A - 灵敏准确的复杂路况车道偏移实时预警系统 - Google Patents

Abstract

本申请以开发智能辅助驾驶系统的实际应用为背景，在车载ARM平台上设计实现一种极速的车道偏移实时预警系统，提出影像W‑r扩展动态评估的极速车道线识别算法，实时检测出车道信息，考虑机动车在车道中的横向速度的大小，提出将两种预警策略结合，第一种在横向速度不大时采用便捷的机动车和车道相对距离进行预警判断，在横向速度比较大的情况下，采用左右车道线线在影像中的偏移率来进行车道偏离判断；本申请无需对影像进行透视变换，不用测量单目摄像头的外参数和内参数，对单目摄像头要求低,给使用者带来了极的方便。同时算法时间复杂度小，速度快、实用性及适用性强，在复杂路况车道偏移实时预警上具有巨大价值和广阔市场。

Description

灵敏准确的复杂路况车道偏移实时预警系统

技术领域

本申请涉及一种复杂路况车道偏移实时预警系统，特别涉及一种灵敏准确的复杂路况车道偏移实时预警系统，属于智能辅助驾驶的车道偏移预警技术领域。

背景技术

汽车工业的高速发展同时造成交通事故在逐步增加，各种复杂地形导致了道路情况复杂，同时司机素质参差不齐，很容易发生交通事故，交通安全面临着严重的考验。

为避免车祸的发生，提高驾驶安全性和舒适性，智能辅助驾驶成为热门，机动车安全辅助驾驶系统成为研发热点。其中,车道偏离警示系统是其重要组成部分,其功能是通过检测车道是否偏离或是否将要发生偏离从而给司机提醒来避免可能的车祸的发生。目前，车道偏离预警系统分为横向和纵向两个重要预警功能，纵向功能是指防止由于车速过快或行驶方向失去控制而造成车道偏离交通事故；横向系统是指防止司机在过度疲劳或长时间驾驶等无意识情况下放弃转向控制而造成车道偏离交通事故的系统。该系统能在车道发生偏离或车道即将发生偏离的情况下，给司机予以警报,拓展驾驶员的车道辨别范围,从而能为司机争取更多的反应时间,使机动车在安全的车道内行驶，避免车祸。基于车载影像检测的车道偏离预警系统具有成本低、体积小及安装方便等特征，具有巨大的运用价值。

目前偏移预警系统逐渐被安装在一些高配品牌汽车上，考虑到系统的实用性及成本，大多数都是基于单目视觉实现的。主要是采用获得的车道信息判断当前机动车在车道的横向位置来进行预警。目前根据摄像头的安转方式主要分为前视系统和测视系统。随着近几年人工智能技术的兴起，许多公司和机构开始逐步进行ADAS研发，要设计出好的车道偏移实时预警系统，其根本是要检测出车道线的位置信息，好的车道线检测方法是系统的核心。

现有技术采用空间坐标转换检测出车载影像中可能性比较大的直线，车道线在图中特征比较显著，很容易挑选出车道线；现有技术基于B-Snake样条曲线的车道线检测和跟踪算法，不依赖于摄像机的参数，通过借助通用车道边界或标记构造平行线的透视效果，比其他车道模型如直线和抛物线模型它能够描述更宽范围的车道结构。现有技术基于SVM检查车道线，将RANSAC算法和深度学习结合起来，使用两步来对现实世界的驾驶视频进行车道检测，第一步包括用于去除环境噪声的模糊和边缘检测来作为预处理部分，第二步将RANSAC算法结合到CNN过程进行准确的车道信息提取。现有技术提出一种扩展粒子滤波器的车道线检测方法,通过使用一个普遍的车道模型支持两个独立的粒子滤波器的分别检测左、右车道边界，通过结合多个粒子，用于识别一个影像行的关键粒子,采用局部线性回归调整边界检测点。现有技术采用线段检测的霍夫变换的统计方法，完成线段提取，通过考虑量化误差、影像噪声、像素干扰和峰值扩展，选择影像中心作为影像原点坐标，在每列中定义随机变量峰区域,打分值被指定概率分布，检测线段的端点坐标通过拟合正弦曲线来确定。

随着硬件技术的发展，ARM微处理器已经应用在社会的各个领域。ARM微处理器具有体积小、低功耗、低成本及高性能等优点,非常适合于安装机动车上，因此通过ARM平台实时检测车道线,实现车道偏移预警相对于其他的预警平台具有更好的经济效益和适用性强等特征。虽然目前提出车道检测算法多种多样，许多算法虽然有较好的效果，但其计算量相对大,检测速度太慢，很少能在车载设备上实现实时车道线检测预警,因此研发在ARM平台上实时的车道检测预警是很有必要的。

综上所述，现有技术的车道偏移实时预警系统仍然存在问题，本申请的难点和待解决的问题主要集中在以下方面：

第一，通过对现有技术车道线检测算法进行归类分析，得出其直接运用于车载车道偏移预警系统都存在这样或者那样的不足；基于影像基本特征的车道线检测算法虽然计算量低，但其鲁棒性较差，对很多复杂一点的路况检测不出或出现误检；基于几何信息的车道线检测虽然效果较好，但其涉及到透视变换等计算模块，计算量大，而且需要调节参数较多，在实时性上较难实现；基于颜色信息的车道线检测模型对简单的路况实现较好，速度快，但在各种复杂路况道路下很难使用；基于深度学习的车道线检测是一个比较新的领域，虽然深度学习在大数据处理、人脸识别领域展示了强大的能力，但其平台要求高，用在车道线检测方面其实时性能和效果目前还存在许多问题，现有技术缺少速度快、效果好、实用性及适用性强的车道偏移实时预警算法及系统；

第二，现有技术车道偏移预警硬件平台经济性和实用性不强，硬件成本较高，运用在车载系统上稳定性和实时性较差，经常出现明显的滞后性甚至故障，无法有效减少交通事故发生，减少人员伤亡；同时更新和使用成本较高低成本、适用范围窄，系统体积大，安装不方便，使用在机动车上耗电多功能弱且经济性不好，现有技术的车道检测算法虽然多种多样，但其计算量相对大,真正运用在车载系统上检测速度太慢，不能在车载设备上实现实时车道线检测预警,因此开发一种基于ARM平台车道偏移预警技术具有重大意义和巨大实用价值；

第三，现有技术缺少一种速度快能满足实时性要求的车道线识别算法，缺少快捷的车道线特征优化建模方法，无法结合道路特征稳定快速的检测出复杂路况车道信息，现有技术算法所用的时间复杂度较大透视变换计算模块,不仅作用不大，运用在车载系统上还大幅增大了计算量,拖慢了检测速度，无法结合边缘点烈度和车道边缘平行关系特征选取可信度高的车道线，无法对角度、偏移量、边缘平均烈度及自定义弯曲度进行参数估算，无法采用车道颜色信息区分黄白车道线，缺少采用边缘点间距区分虚实车道线的方法；现有技术方法只能检测车道直线，不能反映车道弯曲程度的特征，需要各个坐标系的转换，工程上应用时需要获取摄像机内外参数、安装位置及机动车型号等繁杂步骤，车道边缘提取度太低，在运算能力较弱的ARM平台上很难实现车道线的实时检测；

第四，在准确确定车道线的位置信息后，需得到机动车的相对位置信息，通过偏离策略计算行驶机动车将要偏离车道的各种可能性；现有技术基于车道模型和真实路面坐标信息的预警方法其适应性较弱，建立机动车系统、摄像机、路面的几何成像坐标系需要知道机动车型号尺寸、道路类型、摄像头的和光学镜头的安转角度及高度、摄像机的内参数和畸变参数，每换一部车、道路模型或者摄像头，都要重新建立坐标系统，这在工程上非常麻烦；同时，车载影像经过透视变换等涉及影像像素坐标转换的处理，需对摄像头进行标定，很大程度上增加了实际使用的麻烦，计算速度及操作简便性差；通过道路模型建立去实现偏移预警违背了算法设计的初衷，缺少考虑机动车在车道中的横向速度大小，将两种预警策略融合的方法，缺少在横向速度不大时采用便捷的机动车和车道相对距离进行预警判断；缺少在横向速度较大的情况下，,采用左右车道线线在影像中的偏移率来进行车道偏离判断，车道偏移预警无法达到理想效果。

发明内容

本申请以开发智能辅助驾驶系统的实际应用为背景，以RK3288处理器为核心的ARM平台上设计了一种极速的车道偏移实时预警系统，主要包括两部分：车道线检测部分及车道偏移预警部分，本申请提出影像W-r扩展动态评估的快度车道信息提取算法，能够极速在ARM平台上检测出车道信息，考虑机动车在车道中的横向速度的大小，提出将两种预警策略结合，第一种采用便捷的机动车和车道相对距离进行预警判断，这种处理策略在横向速度不大的有着较好结果；在横向速度比较大的情况下，即车头方向和路面中心线角度比较大的情况下,采用左右车道线线在影像中的偏移率来进行车道偏离判断，能达到比较好的效果；本申请算法无需对影像进行透视变换，因此不用测量单目摄像头的外参数和内参数，对单目摄像头要求低,给使用者带来了极大的方便。同时算法时间复杂度较其他小很多，速度快、效果好、实用性及适用性强，运用在复杂路况车道偏移实时预警上具有巨大的价值和广阔的市场。

为实现以上技术特征，本申请所采用的技术方案如下：

灵敏准确的复杂路况车道偏移实时预警系统，一是硬件上包括RK3288影像处理单元、影像采集单元、报警显示单元及控制单元CAN信号部分，通过驾驶室内上方的CCD摄像头获取驾驶过程的实时路况，其获取的路况影像经过RK3288影像处理单元进行处理,根据识别出的车道线信息判断是否需要向报警单元发出报警信号，告知司机注意发生车道偏离；二是软件算法上分为两大部分，即影像W-r扩展动态评估的极速车道线识别算法和车道偏移实时预警方法：

第一，影像W-r扩展动态评估的极速车道线识别算法采用行扫描进行边缘点的提取，并将边缘点归分为两类进行自定义参数打分获取直线，根据车道线模型获取候选的车道线，采用影像W-r扩展动态评估对道路参数实现估算和更新，采用帧间信息增强系统稳定性和鲁棒性，最后采用影像W-r扩展动态评估输出的参数进行最终边缘点的提取，算法在不进行逆透视变换的情况下进行车道线的检测,采用影像W-r扩展动态评估对建立的车道参数模型进行参数估算，在运算能力较弱的ARM平台上实现车道线的实时检测；采用车道颜色信息区分黄白车道线，采用边缘点间距区分虚实车道线；具体包括：车道线极速检测算法架构、边缘点提取、建立评判打分规则、获取车道线检测核验值、影像W-r扩展动态评估参数估算跟踪、车道边缘灵敏提取；

第二，车道偏移实时预警方法将基于机动车和车道线的相对距离预警策略和基于车道线斜率的预警策略融合,在横向速度比较低的情况下，采用基于机动车和车道线的相对距离预警；横向速度比较大的情况下，采用基于车道线偏移率的策略预警，避免采用车道模型需要获取的各类复杂参数，在工程上大幅增强适用范围；具体包括：基于机动车和车道相对距离的预警策略、基于车道偏移率灵敏预警策略。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，提出一种快捷的车道线特征优化建模方法，结合道路特征采用影像W-r扩展动态评估进行估算和校正，快速的检测出复杂路况车道信息，去除透视变换计算模块,采用简化的几何Vight检测直线为基础，结合边缘点烈度和车道边缘平行关系特征选取可信度高的车道线，采用影像W-r扩展动态评估对角度、偏移量、边缘平均烈度及自定义弯曲度进行参数估算。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，车道线极速检测算法架构主要分为七个步骤：

步骤一，车载影像获取：从驾驶室上方的摄像头获取道路影像；

步骤二，近域影像增强：增强边缘点突变程度；

步骤三，边缘点获取：采用行扫描的方式获取边缘点，将边缘点分为四类，分别是影像左边和右边的极大、极小值；

步骤四，评判打分规则的建立：将两类边缘点根据自定义的参数分布进行建表，根据打分获取候选的车道线；

步骤五，车道线和边缘点获取：结合帧间关系获取当前帧车道线的测量值，并采用三倍标准差法剔除车道线边缘的异常点，增强算法的鲁棒性；

步骤六，影像W-r扩展动态评估进行估算和修正：建立车道参数模型，采用影像W-r扩展动态评估进行参数估算，并且采用帧间的车道线位置排除干扰；

步骤七，根据更新的状态值,获取最终的车道线边缘点，连接成车道线；

在步骤六中，需要比较当前帧检测核验值与上一帧采用影像W-r扩展动态评估预测当前帧的预测值是否匹配，如果匹配，则设置的计数器值count加1，如果count的值大于等于3时，输出最优估算的值为当前车道线位置信息；如果不匹配,则进行下一帧,当前帧的值的输出另外判断。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，边缘点提取：车道的颜色分为两种：黄色及白色，与灰色的路面形成鲜明对比，采用关联像素值的突变性特征来提取边缘点，不必要对每个边缘点都进行提取,采用快速行扫描的方式进行边缘点扫描提取，同时，车道线信息部分主要在影像下半部分，通过灭点的方法设定感兴趣区域，根据车道在图中的特征将检测区域重新设置成两部分：近域和远域，近域车道线在图中的比例较大，采用整行扫描；远域左右车道线间宽度较窄，且集中在图中间，只扫描中间大部分区域，近域车道线特征明显，采用隔行扫描，保留较多的车道信息；远域车道信息较弱，干扰信息多，采用隔三行扫描，避免过多干扰；

采用式1计算每个像素的边缘烈度：

式中：E(n,i)表示为第n行第i列像素点的边缘烈度，L表示滤波长度，根据经验值取8，当扫描到车道线左边缘时，会出现一个极大值，当扫描到车道线右边缘时，边缘烈度出现一个极小值，根据极大值和极小值将边缘点归分为两类分别采用自定义参数检测直线；

基于队列充分利用上一个边缘烈度的值信息求取下一个边缘烈度的值，相邻两个点的边缘烈度只需访问距离其滤波长度端点和它们两个本身的值，由原来的16次运算变为4次运算，如式2：

E(n，j+1)＝E(n，j)+I(n，j-L)+I(n，j+L+1)-I(n，j)-I(n，j+1) 式2

式中：I(n,i)表示第n行第i列像素点的像素值；

采用快捷噪声包容滤波方式对近域影像部分进行增强；噪声包容滤波模型依赖偏微分方程和和影像的离散化，使影像的拐点处得到一个跳动信号，由插值的原始影像u₀(x,y)经过滤波过程u₀(x,y,t),t＞0，达到一个增强最好的效果u(x,y,t₁)，u_ηη表示影像梯度方向n的二阶方向导数，

为影像梯度，引入高斯函数对影像梯度的二阶方向导数进行平滑去噪，同时引入前向扩散过程即在方程中引入垂直于影像梯度方向的项来对影像锐化增强过程进行去噪，模型的具体方程如下：

其中η，ξ分别表示平行于和垂直于影像梯度方向，*表示卷积，G_σ表示高斯函数，c_ξ表示一个常数，其值为正，u_ξξ表示前向扩散过程，式3第一项起到增强的效果,其后的一项则对增强过程进行去噪；

为简化计算量，基于道路标线边缘特征，去除式3中的第二项：

模型对影像中较大的边缘区域形成一个较好的增强效果,增强后的影像更有利于边缘点检测。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，建立评判打分规则：减少几何Vight的计算量，直接采用原图的边缘点建立评判打分规则，不需要经过逆透视变换；

坐标点(k,θ)对应影像坐标系下直线，影像坐标下每条线对应着另一个空间坐标点(k,θ)，本申请中先对所有的边缘点进行建表计算,得到一个评判打分规则,然后分两步对参数空间打分处理：对每个边缘点进行设定范围内角度θ遍历，计算获取对应的偏移量k，比较打分得到边缘线；

(1)对左右边区域的所有边缘点都进行倾斜角θ的遍历，通过计算得到对应的偏移量k，然后对(k,θ)打分进行增1，θ和k都根据经验设定取值范围，角度θ的取值范围为[20度,70度]，k的取值范围为[0,840]；

(2)比较参数对(k,θ)对应的得分，每一个(k,θ)代表着一条直线，得分越高的(k,θ)对，这条直线上的边缘点越多，那么它是车道线的可能性越大，算法中保留打分达到阈值的边缘线；

每一个点映射到坐标空间(k,θ)都有50条线，在众多的线当中，采用保留局部最大得分法，保证去除不必要的线，保留可能为车道线的线；

首先在每一个偏移量中，遍历所有的θ，找出得分最高的线并保存，在去除不必要的线时，避免把车道线的边缘线去除，之后，对左右两边区域的线分别进行两两是否相交判断，判断方法如下：k₁和k₂表示两条直线的偏移量，k₃和k₄表示两条直线与感兴趣区域顶部相交点的偏移量，如果(k₁-k₂)·(k₄-k₃)＜0，说明两条直线相交，把得分较低的那一条线去除。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，获取车道线检测核验值：结构化道路车道左右边缘的两条线角度相差不太大，两条线的偏移量宽度固定，根据这两个特征在较多的直线中匹配出候选车道线，在边缘点检测过程中,将边缘点分为两类,极大值和极小值,在根据边缘点检测直线的过程中，又将直线分为极大值即车道线左边缘对应的直线和极小值即车道线右边缘对应的直线，将这两类线根据平行度及偏移量进行两两匹配，得到候选的车道线；

在得到候选的车道线后，车道线偏向于影像的中间，因此能检测出的边缘点较密集，得分较多，根据车道线左右边的得分和进行筛选，得到打分最高的两条车道线，如果最高得分的车道线偏移量符合阈值范围，则认定是所求的车道线。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，影像W-r扩展动态评估参数估算跟踪：采用影像W-r扩展动态评估进行参数估算和更新，根据输出的结果作为下一帧的优先检测范围，模型与车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S关联，采用车道线的边缘点的平均边缘烈度E及引入了一个表示车道线的弯曲程度的变量S，根据影像W-r扩展动态评估修正后的角度和偏移量确定搜索线，采用车道线的弯曲程度的变量S确定线的某个范围内的点，从而搜索出该线的边缘点，依据线的边缘烈度E，采用三倍标准差法将边缘点中的异常点剔除,得到一条准确的车道线边缘点；

本申请采用车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S建立的系统模型如下：

分别表示车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S变化的速度，定义影像W-r扩展动态评估其状态向量为：

状态转移矩阵为：

在初始时刻，状态向量设为：

x(0)＝[k(0)，θ(0)，E(0)，S(0)，0，0，0，0]^T 式8

k(0)，θ(0)，E(0)，S(0)分别表示第一帧影像获取到的车道线信息，假设w₁(i)，w₂(i)，w₃(i)，w₄(i)是独立统计，设系统噪声为：

检测核验向量：

z(i)＝[k(i)，θ(i)，E(i)，S(i)]^T 式10

测量方程为：

z(k)＝Hx(k)+V(k) 式11

根据z(k)，x(k)的关系得到测量矩阵为：

测量噪声向量为：

检测核验噪声的影响比系统噪声大，同样的假设v₁(k)，v₂(k)统计独立，则：

为保证估算的准确性，在开始时刻将一个较大的值赋给P(t)：

对参数进行估算和更新，道路建模中涉及的参数有车道线曲率、俯仰角、水平倾斜角、车道宽度及机动车侧向偏移，参数估计包括两个部分，第一部分是结合道路车道线的信息对道路进行估计，第二部分是相机的位置参数、焦距及路面环境信息；

为更好利用帧间信息实现稳定性,在影像W-r扩展动态评估输出时设置一个控制变量，当计数器count的值大于等于3，则输出的结果为本帧最终的结果，否则本帧的结果需另外处理；计数器累加的规则是：如果当前帧的检测值与上一帧的影像W-r扩展动态评估输出结果值相匹配,则计数器加1，最大为3；当不匹配时，计数器设为0，则不将动态评估输出结果作为最终的检测结果；

此外,算法设置另外两个计数器,这两个计数器根据检测核验值进行累加，如果前后帧的检测核验值相匹配，则计数器加1，最大上限为8，否则减1；当计数器的值达到8时，对应一个标记位mark，此时将mark设为1，默认定0；在mark为1后,如果有连续三针不一样，则将mark置为0；如果左右的mark都为1，则将当前左右的车道信息记录下来，当有一边车道线的计数器小于8而另一边的车道线计数器为8时，说明有一边车道线稳定，另一边的车道线被车挡住或是刮损；根据车道宽度不变性，在一条车道线位置不变的情况下，另一条车道线的位置也不会改变，此时将原来匹配好的车道信息取出来，作为当前帧的车道信息,增强算法的抗干扰能力。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，车道边缘灵敏提取：在得到修正的参数之后，采用检测出的车道线角度θ、偏移量k确定搜索其边缘点的位置范围，采用自定义车道线弯曲程度表示量S确定搜索范围；算法设置一个梯形区域搜索范围，这个梯形以角度θ、偏移量k确定的直线为中心线，在影像车道底部区域，车道线的角度和偏移量反映车道边缘，搜索范围较小,搜索范围为线周围左右五个像素点,在感兴趣区域的最远处，设置的搜索范围为在线周围S+5个像素点；中间部分由近到远，搜索范围逐步增加；在形成的边缘点集中，包含其他的噪点，例如路面水坑、车道磨损变形等形成的点,本申请依据影像W-r扩展动态评估估算的边缘点平均烈度E采用三倍标准差法将异常点剔除；

假设对某一帧的车道线左边缘检测出的边缘点个数为n,其边缘点烈度依次为：X₁、X₂、X₃……X_n，则利用平均边缘烈度求算标准差：

取E±3σ范围内的数值为保留值,去除此范围外的数值；剔除后根据剩余的数据重新计算标准差,在进行异常点剔除；依此循环,直到无异常点为止；根据最终得到的车道边缘点，连接成线，形成最终的车道线；

最后，根据得到的车道线边缘位置,获取车道线RGB三个通道的像素值，依据白色和黄色在B通道下的投影分量差别最大的特性，取B＝88为临界值，大于88判为白色，否则判为黄色；添加一个判决条件，依据RGB颜色通道的红色分量R与蓝色分量B的比值进行辨别，右R/B＞0.65判为白色，否则判为黄色。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，基于机动车和车道相对距离的预警策略：以OABC表示经过车道线识别的影像，HKI表示设置的感兴趣区域，点P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)、P₄(x₄,y₄)表示左右车道线与HKIJ区域的交点，点C₁(x₅,0)、C₂(x₆,0)表示机动车在影像底部的两边边界点，车道宽度设置为3.75m，小型客车宽度设置是1.8m，设L为机动车在影像中的像素宽度，设L为机动车在影像中的像素宽度，则根据车道宽度和机动车宽度比r＝L_C/L_D＝1.8/3.75,L_C＝x₄-x₂，L_D＝x₄-x₂，根据直行测试视频序列获得L_D的像素宽度，反推得C₁(x₅,0)、C₂(x₆,0)的坐标，求得左右车道线与机动车左右两侧的相对距离：

d_l＝x₅-x₂ 式17

d_r＝x₄-x₆ 式18

将左右两侧的车道线与机动车左右两侧的相对距离转化为比例：

如果R_r＜0.33则判为右侧偏移，如果R_l＜0.33则判为左侧偏移，偏离判断不需要摄像头的标定复杂操作，这种基于相对距离的预警策略在机动车偏航角的越小的情况下，效果越好，在对于偏航角比较大的情况下，本申请采用基于车道线的偏移率的策略进行预警。

灵敏准确的复杂路况车道偏移实时预警系统，进一步的，基于车道偏移率灵敏预警策略：基于车道偏移率预警通过检测行驶机动车的偏航角，如果偏航角大于临界值，则说明即将发生车道线偏离，这时需要进行预警提示，推导得到偏移率：

k代表车道线的斜率，x＝tanθ代表偏向角对应的正切值，机动车沿道路直线行驶时，x＝0；通过设定一个阈值偏向角，获取机动车偏离车道时的阈值偏移率；为了达到实时处理的结果,考虑机动车的响应时间,设置为0.2s至0.9s之间；程序处理每一帧的时间小于等于0.1s；所以车道发生偏移时，检测和矫正需要的总时间t＝0.9+0.1＝ls，车道不发生偏离时：

d为1.025m，v取40km/s，求得的偏向角度阈值为9度；如果偏向角小于等于9度，则不认定发生偏离；否则，认定发生偏离；本申请求得的参数中包含车道线的倾斜角度，因此简化依据公式：

其中，θ_l代表当前检测的左边车道线的倾斜角度，

代表车道直行未偏离时左右车道角度的平均值，即：

如果

且θ_l＞θ_r,则认定发生右偏离；如果

并且θ_r＞θ_l,则认定发生左偏离；如果

则认定不发生偏离。

与现有技术相比，本申请的创新点和优势在于：

第一，本申请以开发智能辅助驾驶系统的实际应用为背景，针对ARM平台的特征，以瑞芯微RK3288处理器为核心的ARM平台上设计一种极速的车道偏移实时预警系统，主要包括两部分：车道线检测部分及车道偏移预警部分，本申请提出影像W-r扩展动态评估的快度车道信息提取算法，能够极速在ARM平台上检测出车道信息，在此基础上，考虑机动车在车道中的横向速度的大小，提出将两种预警策略结合，第一种采用便捷的机动车和车道相对距离进行预警判断，这种处理策略在横向速度不大的有着较好结果；在横向速度比较大的情况下，即车头方向和路面中心线角度比较大的情况下,采用左右车道线线在影像中的偏移率来进行车道偏离判断，能达到比较好的效果；本申请算法无需对影像进行透视变换，因此不用测量单目摄像头的外参数和内参数，对单目摄像头要求低,给使用者带来了极大的方便。同时算法时间复杂度较其他小很多，在瑞芯微RK3288开发板的ARM平台上实时检测，速度快、效果好、实用性及适用性强，运用在复杂路况车道偏移实时预警上具有巨大的价值和广阔的市场；

第二，本申请硬件平台采用耗电少的ARM平台作为硬件基础，采用功能强且经济性好RK3288开发板作为算法的硬件基础，通过普通摄像头采集数据,设计RK3288影像处理单元、影像采集单元、报警显示单元及控制单元CAN信号部分，开发出一套效果良好并能实时运行的车道线检测及适时偏移预警算法，通过驾驶室内上方的CCD摄像头获取驾驶过程的实时路况，其获取的路况影像经过RK3288影像处理单元进行处理,根据识别出的车道线信息判断是否需要向报警单元发出报警信号，告知司机注意发生车道偏离；硬件设计经济性和实用性强，成本较低，运用在车载系统上稳定性和实时性好，滞后性及故障率低，有效减少交通事故发生，减少人员伤亡；同时更新和使用成本低、适用范围广，系统体积小，安装方便，配合本申请车道偏移实时预警算法，对复杂路况的适应力强,真正运用在车载系统上实现实时检测预警，具有重大意义和巨大实用价值；

第三，本申请提出一种影像W-r扩展动态评估的极速车道线识别算法，采用行扫描进行边缘点的提取，并将边缘点归分为两类进行自定义参数打分获取直线，根据车道线模型获取候选的车道线，采用影像W-r扩展动态评估对道路参数实现估算和更新，采用帧间信息增强系统稳定性和鲁棒性，采用影像W-r扩展动态评估输出的参数进行最终边缘点的提取，克服传统方法只能检测车道直线，不能反映车道弯曲程度的特征，算法抛弃了各个坐标系的转换，减去了工程上应用时需要获取摄像机内外参数、安装位置及机动车型号等繁杂步骤；该算法达到实时性检测之外，同时用比较高的准确率和鲁棒性，在各种复杂情况下，依然有着较好的效果，算法时间复杂度小，在ARM平台下具备实时性，在路况良好或是路况较为复杂的情况下，都能准确实现车道偏离预警功能，同时，还能准确检测出车道虚实和黄白线，实现了复杂路况车道线实时准确识别；

第四，本申请提出一种车道偏移实时预警方法，为加快计算速度及操作简便性，直接对得到的车载影像处理，没有经过透视变换等涉及影像像素坐标转换的处理，因此无需对摄像头进行标定，很大程度上减少了实际使用的麻烦，如果在通过道路模型建立去实现偏移预警，违背了本申请算法设计的初衷。因此，本申请考虑机动车在车道中的横向速度的大小，将两种预警策略融合，第一种采用便捷的机动车和车道相对距离进行预警判断，这种处理策略在横向速度不大时有较好结果；在横向速度较大的情况下，即车头方向和路面中心线角度较大的情况下,采用左右车道线线在影像中的偏移率来进行车道偏离判断，能达到较好的效果，避免了采用车道模型需要获取的各类复杂参数，在工程上大幅增强了适用范围，检测速度快，更适合在ARM等车载平台上应用。

附图说明

图1是车道偏移实时预警系统开发平台架构图。

图2是车道线极速检测算法车道线极速检测算法框图。

图3是影像W-r扩展动态评估车道线识别更新流程图。

图4是快捷噪声包容滤波对近域影像部分增强前后对比图。

图5是评判打分规则参数空间及交叉线判断示意图。

图6是机动车和车道相对距离的预警的车道成像平面坐标系示意图。

图7是基于ARM平台各测试车道识别效果图。

图8是基于ARM平台各测试道路良好识别结果图。

图9是基于ARM平台各测试复杂路况识别结果图。

图10是基于ARM平台各测试车道偏移预警示意图。

图11是本申请与RANSAC算法和扩展卡尔曼算法性能对比图。

图12是本申请与RANSAC算法和扩展卡尔曼算法直线识别对比图。

图13是本申请与RANSAC算法和扩展卡尔曼算法转弯识别对比图。

具体实施方法

下面结合附图，对本申请提供的灵敏准确的复杂路况车道偏移实时预警系统的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。

汽车工业飞速发展，与此同时道路交通事故频发，其中由于驾驶员视觉疲劳或注意力不集中而造成的车道偏离发生的交通事故发生率最高。由于ARM平台具有经济性、实用性强的特征，所以基于ARM平台的车道偏移实时预警系统既能有效减少交通事故发生，减少人员伤亡；同时具有低成本、适用性广等特征。因此开发一种基于ARM平台车道偏移预警技术具有重大意义和巨大实用价值。

本申请提出一种影像W-r扩展动态评估的极速车道线识别算法,在不进行逆透视变换的情况下进行车道线的检测,采用影像W-r扩展动态评估对建立的车道参数模型进行参数估算，能够在运算能力较弱的ARM平台上实现车道线的实时检测；采用车道颜色信息区分黄白车道线，采用边缘点间距区分虚实车道线；依据机动车和车道相对距离及车道线在影像中的偏移率两种策略来进行车道偏离判断；系统首先通过普通的单目摄像头捕抓道路影像，设定感兴趣区域，采用RGB色彩空间信息去除路边草丛等影像无用信息；然后通过水平扫描像素点来实现边缘点的检测；之后采用简单的自定义参数空间打分提取出车道线；建立车道参数模型，采用影像W-r扩展动态评估进行参数估算，采用边缘点颜色和间距信息区分虚实黄白车道线。

为实现一个成本低、速度快、效果好、实用性及适用性强的车道偏移实时预警系统，本申请采用耗电少功能强且经济性好的ARM平台作为硬件基础，在众多的ARM系列产品中，经过系统评估，采用RK3288开发板作为算法的硬件基础，通过普通摄像头采集数据,开发出一套效果良好并能实时运行的车道线检测及适时偏移预警算法，实现一个成本低、速度快、效果好、实用性及适用性强的车道偏移实时预警系统。

一、车道偏移实时预警系统开发平台与硬件设计

系统主要包括RK3288影像处理单元、影像采集单元、报警显示单元及其他控制单元CAN信号部分，其架构图如图1所示，在车道偏离预警系统工作时，通过驾驶室内上方的CCD摄像头获取驾驶过程的实时路况，其获取的路况影像经过RK3288影像处理单元进行处理,根据识别出的车道线信息判断是否需要向报警单元发出报警信号，告知司机注意发生车道偏离。

系统安装在机动车上，采用体积小、性能较好的Firefly-RK3288开发板,开发板采用瑞芯微RK3288处理器,支持安卓4.4和Ubuntu双系统，以及HDMI2.04K@60Hz输出，四核处理器提供良好的计算能力,其支持Ubuntu系统是本申请所需的系统平台，其支持安卓系统为将算法移植到移动设备上提供一个良好的平台。

二、影像W-r扩展动态评估的极速车道线识别算法

本申请提出一种快捷的车道线特征优化建模方法，结合道路特征采用影像W-r扩展动态评估进行估算和校正，稳定快速的检测出复杂路况车道信息，去除了现有技术算法所用的时间复杂度较大透视变换计算模块,采用简化的几何Vight检测直线为基础，结合边缘点烈度和车道边缘平行关系特征选取可信度高的车道线，最后采用影像W-r扩展动态评估对角度、偏移量、边缘平均烈度及自定义弯曲度进行参数估算。

(一)车道线极速检测算法架构

车道线极速检测算法车道线极速检测算法框图如图2所示，主要分为七个步骤：

步骤一，车载影像获取：从驾驶室上方的摄像头获取道路影像；

步骤二，近域影像增强：增强边缘点突变程度；

步骤三，边缘点获取：采用行扫描的方式获取边缘点，将边缘点分为四类，分别是影像左边和右边的极大、极小值；

步骤四，评判打分规则的建立：将两类边缘点根据自定义的参数分布进行建表，根据打分获取候选的车道线；

步骤五，车道线和边缘点获取：结合帧间关系获取当前帧车道线的测量值，并采用三倍标准差法剔除车道线边缘的异常点，增强算法的鲁棒性；

步骤六，影像W-r扩展动态评估进行估算和修正：建立车道参数模型，采用影像W-r扩展动态评估进行参数估算，并且采用帧间的车道线位置排除干扰；

步骤七，根据更新的状态值,获取最终的车道线边缘点，连接成车道线。

在步骤六中，需要比较当前帧检测核验值与上一帧采用影像W-r扩展动态评估预测当前帧的预测值是否匹配，如果匹配，则设置的计数器值count加1，如果count的值大于等于3时，输出最优估算的值为当前车道线位置信息；如果不匹配,则进行下一帧,当前帧的值的输出需要另外判断。具体流程示意图如图3所示。

(二)边缘点提取

车道的颜色分为两种：黄色及白色，与灰色的路面形成一个较鲜明的对比，因此采用关联像素值的突变性特征来提取边缘点，为了减少计算量,不必要对每个边缘点都进行提取,采用快速行扫描的方式进行边缘点扫描提取，同时，影像中上半部区域主要是天空和房屋信息，车道线信息部分主要在影像下半部分，通过灭点的方法设定感兴趣区域，根据车道在图中的特征将检测区域重新设置成两部分：近域和远域，近域车道线在图中的比例较大，为防止信息遗漏，采用整行扫描；远域左右车道线间宽度较窄，且集中在图中间，只扫描中间大部分区域，近域车道线特征明显，采用隔行扫描，保留较多的车道信息；远域车道信息较弱，干扰信息多，采用隔三行扫描，避免过多干扰。

采用式1计算每个像素的边缘烈度：

式中：E(n,i)表示为第n行第i列像素点的边缘烈度，L表示滤波长度，根据经验值取8，当扫描到车道线左边缘时，会出现一个极大值，当扫描到车道线右边缘时，边缘烈度出现一个极小值，根据极大值和极小值将边缘点归分为两类分别采用自定义参数检测直线。

为了减少计算量，基于队列充分利用上一个边缘烈度的值信息求取下一个边缘烈度的值。相邻两个点的边缘烈度只需访问距离其滤波长度端点和它们两个本身的值，由原来的16次运算变为4次运算，如式2：

E(n，j+1)＝E(n，j)+I(n，j-L，)+I(n，j+L+1)-I(n，j)-I(n，j+1) 式2

式中：I(n,i)表示第n行第i列像素点的像素值；

在实际检测中，获取的影像存在各种各样的噪声,特别是用的比较久的摄像头或是光线比较弱的情况下，获取的影像比较模糊，如图4(a)所示。此时，边缘点会比较模糊，烈度比较弱，容易检测不出来，本申请采用快捷噪声包容滤波方式对近域影像部分进行增强。

噪声包容滤波模型依赖偏微分方程和和影像的离散化，使影像的拐点处得到一个跳动信号，由插值的原始影像u₀(x,y)经过滤波过程u₀(x,y,t),t＞0，达到一个增强最好的效果u(x,y,t₁)，u_ηη表示影像梯度方向n的二阶方向导数，

为影像梯度，引入高斯函数对影像梯度的二阶方向导数进行平滑去噪，同时引入前向扩散过程即在方程中引入垂直于影像梯度方向的项来对影像锐化增强过程进行去噪，模型的具体方程如下：

其中η，ξ分别表示平行于和垂直于影像梯度方向，*表示卷积，G_σ表示高斯函数，c_ξ表示一个常数，其值为正，u_ξξ表示前向扩散过程，式3第一项起到增强的效果,其后的一项则对增强过程进行去噪。

为简化计算量，基于道路标线边缘特征，去除式3中的第二项：

模型对影像中较大的边缘区域形成一个较好的增强效果,增强后的影像更有利于边缘点检测，增强效果如图4所示。

(三)建立评判打分规则

为减少几何Vight的计算量，适应后续影像W-r扩展动态评估参数的利用，本申请直接采用原图的边缘点建立评判打分规则，不需要经过逆透视变换。

坐标点(k,θ)对应影像坐标系下直线，如图5(a)所示，影像坐标下每条线对应着另一个空间坐标点(k,θ)，本申请中先对所有的边缘点进行建表计算,得到一个评判打分规则,然后分两步对参数空间打分处理：对每个边缘点进行设定范围内角度θ遍历，计算获取对应的偏移量k，比较打分得到边缘线。

(1)对左右边区域的所有边缘点都进行倾斜角θ的遍历，通过计算得到对应的偏移量k，然后对(k,θ)打分进行增1，θ和k都根据经验设定取值范围，角度θ的取值范围为[20度,70度]，k的取值范围为[0,840]；

(2)比较参数对(k,θ)对应的得分，每一个(k,θ)代表着一条直线，得分越高的(k,θ)对，这条直线上的边缘点越多，那么它是车道线的可能性就越大，算法中保留打分达到阈值的边缘线；

每一个点映射到坐标空间(k,θ)都有50条线，在众多的线当中，采用保留局部最大得分法，保证去除不必要的线，保留可能为车道线的线。

首先在每一个偏移量中，遍历所有的θ，找出得分最高的线并保存，根据道路特征，路面中很多干扰线是和车道线平行或近似平行的,因此该步在去除不必要的线时，避免把车道线的边缘线去除，之后，为近一步减少干扰线，对左右两边区域的线分别进行两两是否相交判断，判断方法如下：如图5(b)所示，k₁和k₂表示两条直线的偏移量，k₃和k₄表示两条直线与感兴趣区域顶部相交点的偏移量，如果(k₁-k₂)·(k₄-k₃)＜0，说明两条直线相交，把得分较低的那一条线去除。

(四)获取车道线检测核验值

根据结构化道路特征，车道左右边缘的两条线角度相差不太大，同时，两条线的偏移量宽度固定，根据这两个特征在较多的直线中匹配出候选车道线，在边缘点检测过程中,将边缘点分为了两类,极大值和极小值,在根据边缘点检测直线的过程中，又将直线分为极大值(车道线左边缘)对应的直线和极小值(车道线右边缘)对应的直线，将这两类线根据平行度及偏移量进行两两匹配，得到候选的车道线。

在得到候选的车道线后，车道线偏向于影像的中间，因此能检测出的边缘点较密集，得分较多，根据车道线左右边的得分和进行筛选，得到打分最高的两条车道线，如果最高得分的车道线偏移量符合阈值范围，则认定是所求的车道线。

(五)影像W-r扩展动态评估参数估算跟踪

采用影像W-r扩展动态评估进行参数估算和更新，根据输出的结果作为下一帧的优先检测范围，大幅提高检测效率，本申请提出的影像W-r扩展动态评估参数估算模型与车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S关联，采用车道线的边缘点的平均边缘烈度E及引入了一个表示车道线的弯曲程度的变量S，根据影像W-r扩展动态评估修正后的角度和偏移量确定搜索线，采用车道线的弯曲程度的变量S确定线的某个范围内的点，从而搜索出该线的边缘点，路面上存在各种干扰，求得线的边缘点过程中会存在一些干扰点，如路面的小坑、水洼等。本申请依据线的边缘烈度E，采用三倍标准差法将边缘点中的异常点剔除,得到一条准确的车道线边缘点。

本申请采用车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S建立的系统模型如下：

分别表示车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S变化的速度，定义影像W-r扩展动态评估其状态向量为：

状态转移矩阵为：

在初始时刻，状态向量设为：

x(0)＝[k(0)，θ(0)，E(0)，S(0)，0，0，0，0]^T 式8

k(0)，θ(0)，E(0)，S(0)分别表示第一帧影像获取到的车道线信息，假设w₁(i)，w₂(i)，w₃(i)，w₄(i)是独立统计，设系统噪声为：

检测核验向量：

z(i)＝[k(i)，θ(i)，E(i)，S(i)]^T 式10

测量方程为：

z(k)＝Hx(k)+V(k) 式11

根据z(k)，x(k)的关系得到测量矩阵为：

测量噪声向量为：

检测核验噪声的影响比系统噪声大,同样的假设v₁(k)，v₂(k)统计独立,则：

为保证估算的准确性，在开始时刻将一个较大的值赋给P(t)：

对参数进行估算和更新，道路建模中涉及的参数有车道线曲率、俯仰角、水平倾斜角、车道宽度及机动车侧向偏移，参数估计包括两个部分，第一部分是结合道路车道线的信息对道路进行估计，第二部分是相机的位置参数、焦距及路面环境信息。

在实际检测过程中，为了更好利用帧间信息实现稳定性,在影像W-r扩展动态评估输出时设置一个控制变量，当计数器count的值大于等于3，则输出的结果为本帧最终的结果，否则本帧的结果需另外处理；计数器累加的规则是：如果当前帧的检测值与上一帧的影像W-r扩展动态评估输出结果值相匹配,则计数器加1，最大为3；当不匹配时，计数器设为0，则不将动态评估输出结果作为最终的检测结果。过程流程图如图3所示。

此外,算法设置另外两个计数器,这两个计数器根据检测核验值进行累加，如果前后帧的检测核验值相匹配，则计数器加1，最大上限为8，否则减1；当计数器的值达到8时，对应一个标记位mark，此时将mark设为1，默认定0；在mark为1后,如果有连续三针不一样，则将mark置为0；如果左右的mark都为1，则将当前左右的车道信息记录下来，当有一边车道线的计数器小于8而另一边的车道线计数器为8时，说明有一边车道线稳定，另一边的车道线被车挡住或是刮损；根据车道宽度不变性，在一条车道线位置不变的情况下，另一条车道线的位置也不会改变，此时将原来匹配好的车道信息取出来，作为当前帧的车道信息,增强算法的抗干扰能力。

(六)车道边缘灵敏提取

为克服传统方法不能很好反映出弯曲车道线的信息,算法在得到修正的参数之后，采用检测出的车道线角度θ、偏移量k确定搜索其边缘点的位置范围，采用自定义车道线弯曲程度表示量S确定搜索范围；算法设置一个梯形区域搜索范围，这个梯形以角度θ、偏移量k确定的直线为中心线，在影像车道底部区域，车道线的角度和偏移量反映车道边缘，搜索范围较小,搜索范围为线周围左右五个像素点,在感兴趣区域的最远处，设置的搜索范围为在线周围S+5个像素点；中间部分由近到远，搜索范围逐步增加；在形成的边缘点集中，包含其他的噪点，例如路面水坑、车道磨损变形等形成的点,本申请依据影像W-r扩展动态评估估算的边缘点平均烈度E采用三倍标准差法将异常点剔除。

假设对某一帧的车道线左边缘检测出的边缘点个数为n,其边缘点烈度依次为：X₁、X₂、X₃……X_n，则利用平均边缘烈度求算标准差：

取E±3σ范围内的数值为保留值,去除此范围外的数值；剔除后根据剩余的数据重新计算标准差,在进行异常点剔除；依此循环,直到无异常点为止；根据最终得到的车道边缘点，连接成线，形成最终的车道线。

最后，根据得到的车道线边缘位置,获取车道线RGB三个通道的像素值，依据白色和黄色在B通道下的投影分量差别最大的特性，取B＝88为临界值，大于88判为白色，否则判为黄色；经过测试，此方法在明亮的环境下有着较好的效果，但在阴暗的的环境下如隧道会误把白色判为黄色；因此，添加一个判决条件，依据RGB颜色通道的红色分量R与蓝色分量B的比值进行辨别，右R/B＞0.65判为白色，否则判为黄色。实验证明，该判别方法有着较好的效果。

三、车道偏移实时预警方法

在准确确定车道线的位置信息后，需得到机动车的相对位置信息，通过偏离策略计算行驶机动车将要偏离车道的各种可能性；在实际预警过程中，基于车道模型和真实路面坐标信息的预警方法其适应性是比较弱的，建立机动车系统、摄像机、路面的几何成像坐标系需要知道机动车型号尺寸、道路类型、摄像头的和光学镜头的安转角度及高度、摄像机的内参数和畸变参数。每换一部车、道路模型或者摄像头，都要重新建立坐标系统，这在工程上是比较麻烦的。同时，本申请算法中为加快计算速度及操作简便性，直接对得到的车载影像处理，没有经过透视变换等涉及影像像素坐标转换的处理，因此无需对摄像头进行标定，很大程度上减少了实际使用的麻烦，如果在通过道路模型建立去实现偏移预警，违背了本申请算法设计的初衷。因此，本申请考虑机动车在车道中的横向速度的大小，将两种预警策略融合，第一种采用便捷的机动车和车道相对距离进行预警判断，这种处理策略在横向速度不大时有较好结果；在横向速度较大的情况下，即车头方向和路面中心线角度较大的情况下,采用左右车道线线在影像中的偏移率来进行车道偏离判断，能达到较好的效果。

(一)基于机动车和车道相对距离的预警策略

图6显示了车道线在影像中的坐标位置，以OABC表示经过车道线识别的影像，HKI表示设置的感兴趣区域，点P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)、P₄(x₄,y₄)表示左右车道线与HKIJ区域的交点，点C₁(x₅,0)、C₂(x₆,0)表示机动车在影像底部的两边边界点，根据公路工程技术标准，车道宽度设置为3.75m，小型客车宽度设置是1.8m，设L为机动车在影像中的像素宽度，设L为机动车在影像中的像素宽度，则根据车道宽度和机动车宽度比r＝L_C/L_D＝1.8/3.75,L_C＝x₄-x₂，L_D＝x₄-x₂，根据直行测试视频序列获得L_D的像素宽度，反推得C₁(x₅,0)、C₂(x₆,0)的坐标，求得左右车道线与机动车左右两侧的相对距离：

d_l＝x₅-x₂ 式17

d_r＝x₄-x₆ 式18

将左右两侧的车道线与机动车左右两侧的相对距离转化为比例：

如果R_r＜0.33则判为右侧偏移，如果R_l＜0.33则判为左侧偏移，偏离判断不需要摄像头的标定复杂操作，这种基于相对距离的预警策略在机动车偏航角的越小的情况下，效果越好。在对于偏航角比较大的情况下，本申请采用基于车道线的偏移率的策略进行预警。

(二)基于车道偏移率灵敏预警策略

基于车道偏移率预警通过检测行驶机动车的偏航角，如果偏航角大于临界值，则说明即将发生车道线偏离，这时需要进行预警提示，推导得到偏移率：

k代表车道线的斜率，x＝tanθ代表偏向角对应的正切值，机动车沿道路直线行驶时，x＝O；通过设定一个阈值偏向角，获取机动车偏离车道时的阈值偏移率；为了达到实时处理的结果,考虑机动车的响应时间,设置为0.2s至0.9s之间；程序处理每一帧的时间小于等于0.1s；所以车道发生偏移时，检测和矫正需要的总时间t＝0.9+0.1＝ls。车道不发生偏离时：

d为1.025m，v取40km/s，求得的偏向角度阈值为9度；如果偏向角小于等于9度，则不认定发生偏离；否则，认定发生偏离；本申请求得的参数中包含车道线的倾斜角度，因此简化依据公式：

其中，θ_l代表当前检测的左边车道线的倾斜角度，

代表车道直行未偏离时左右车道角度的平均值，即：

如果

并且θ_l＞θ_r,则认定发生右偏离；如果

并且θ_r＞θ_l,则认定发生左偏离；如果

则认定不发生偏离。

四、实验结果及分析

(一)实验环境

为了验证系统的可行性,本实验中利用普通车载行车记录仪获取某大学附近公路和地下隧道的道路影像，为了展示本申请算法的优势，与基于模板匹配中的RANSAC算法进行对比。

(二)基于ARM平台各测试结果

测试各种道路情况的效果，其中包括光照变化、机动车干扰、树木阴影、直线或曲线等复杂情况。选取的测试序列为三组，充分评估了算法的正确率，鲁棒性及实时性。图7对车道线识别的结果进行了统计，包括总测试帧数，识别率，及平均每帧处理时间。

从图7中可以看出，本申请算法达到实时性检测之外，同时用比较高的准确率和鲁棒性。视频路况比较复杂，但都有90％的准确率以上。

在道路路况良好的情况下，如图8所示，图(a)和图(b)显示了算法能识别实虚线,图(c)和图(d)显示了算法在转弯和黄白线识别上都有着良好的效果。

在路况比较复杂的情况下，如图9所示，图(a)在前方有机动车，车道线只露出小半截的情况下也能准确提取出。图(b)在道路有字体的干扰的情况下，也能准确识别出两边的虚线。图(c)显示在隧道比较暗的和模糊的情况，也能准备识别两边的实线。图(d)表明在强光的环境下，依然能检测出两边的虚实车道。可见本申请提出的算法在各种复杂情况下，依然有着较好的效果，鲁棒性高。

车道偏移预警情况如10所示，图(a)和图(b)显示在机动车与右侧车道较近或者将要压车道的情况下,右侧车道颜色显示为黑色，说明发出右侧车道发生偏离预警。图(c)和图(d)在机动车与左侧车道较近或压左侧车道的情况下，左侧检测的车道显示为黑色，表明发出左侧车道发生偏离预警。

经过上面的测试结果表明，本申请算法能在ARM平台下具备实时性，在路况良好或是路况较为复杂的情况下，都能准确实现车道偏离预警功能。同时，还能准确检测出车道虚实和黄白线。

(三)基于window效果对比

为了验证本申请算法的优势，选取了基于模板的RANSAC算法和扩展卡尔曼算法进行对比。

由图11可以看出本申请算法在时间复杂度比基于模板和扩展卡尔曼算法要小得多，使得算法能在ARM平台系统下实现实时性检测。同时，识别率大于基于模板的算法。

由图12可以看出，在转弯的情况下，本申请算法和扩展卡尔曼算法能准确提取出车道线，而基于模板的算法由于左侧是双黄线，在转弯情况下模板匹配不佳,检测的结果出现些许偏差。

由图13可以看出，在转弯和地标干扰情况下，由于路标干扰和左侧双黄车道线较为模糊，基于模板的车道线检测算法检测错误。但本申请提出的算法和扩展卡尔曼算法能准确提取出车道线，说明两者都具有较强的鲁棒性。

本申请设计的车道偏移实时预警系统在在结构化城市道路具有很高的识别率与鲁棒性，实现了车道黄白颜色和虚实车道线的辨别。在较为复杂的道路情况下，也能达到较好的效果。同时，算法时间复杂度小，能实现实时检测。与基于模板和扩展卡尔曼算法车道线检测对比，识别率大于基于模板，本申请算法检测速度快于其他两种算法，更适合在ARM平台上应用。

Claims (10)

1.灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，一是硬件上包括RK3288影像处理单元、影像采集单元、报警显示单元及控制单元CAN信号部分，通过驾驶室内上方的CCD摄像头获取驾驶过程的实时路况，其获取的路况影像经过RK3288影像处理单元进行处理,根据识别出的车道线信息判断是否需要向报警单元发出报警信号，告知司机注意发生车道偏离；二是软件算法上分为两大部分，即影像W-r扩展动态评估的极速车道线识别算法和车道偏移实时预警方法：

第一，影像W-r扩展动态评估的极速车道线识别算法采用行扫描进行边缘点的提取，并将边缘点归分为两类进行自定义参数打分获取直线，根据车道线模型获取候选的车道线，采用影像W-r扩展动态评估对道路参数实现估算和更新，采用帧间信息增强系统稳定性和鲁棒性，最后采用影像W-r扩展动态评估输出的参数进行最终边缘点的提取，算法在不进行逆透视变换的情况下进行车道线的检测,采用影像W-r扩展动态评估对建立的车道参数模型进行参数估算，在运算能力较弱的ARM平台上实现车道线的实时检测；采用车道颜色信息区分黄白车道线，采用边缘点间距区分虚实车道线；具体包括：车道线极速检测算法架构、边缘点提取、建立评判打分规则、获取车道线检测核验值、影像W-r扩展动态评估参数估算跟踪、车道边缘灵敏提取；

第二，车道偏移实时预警方法将基于机动车和车道线的相对距离预警策略和基于车道线斜率的预警策略融合,在横向速度比较低的情况下，采用基于机动车和车道线的相对距离预警；横向速度比较大的情况下，采用基于车道线偏移率的策略预警，避免采用车道模型需要获取的各类复杂参数，在工程上大幅增强适用范围；具体包括：基于机动车和车道相对距离的预警策略、基于车道偏移率灵敏预警策略。

2.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，提出一种快捷的车道线特征优化建模方法，结合道路特征采用影像W-r扩展动态评估进行估算和校正，快速的检测出复杂路况车道信息，去除透视变换计算模块,采用简化的几何Vight检测直线为基础，结合边缘点烈度和车道边缘平行关系特征选取可信度高的车道线，采用影像W-r扩展动态评估对角度、偏移量、边缘平均烈度及自定义弯曲度进行参数估算。

3.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，车道线极速检测算法架构主要分为七个步骤：

步骤一，车载影像获取：从驾驶室上方的摄像头获取道路影像；

步骤二，近域影像增强：增强边缘点突变程度；

步骤三，边缘点获取：采用行扫描的方式获取边缘点，将边缘点分为四类，分别是影像左边和右边的极大、极小值；

步骤四，评判打分规则的建立：将两类边缘点根据自定义的参数分布进行建表，根据打分获取候选的车道线；

步骤五，车道线和边缘点获取：结合帧间关系获取当前帧车道线的测量值，并采用三倍标准差法剔除车道线边缘的异常点，增强算法的鲁棒性；

步骤六，影像W-r扩展动态评估进行估算和修正：建立车道参数模型，采用影像W-r扩展动态评估进行参数估算，并且采用帧间的车道线位置排除干扰；

步骤七，根据更新的状态值,获取最终的车道线边缘点，连接成车道线；

在步骤六中，需要比较当前帧检测核验值与上一帧采用影像W-r扩展动态评估预测当前帧的预测值是否匹配，如果匹配，则设置的计数器值count加1，如果count的值大于等于3时，输出最优估算的值为当前车道线位置信息；如果不匹配,则进行下一帧,当前帧的值的输出另外判断。

4.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，边缘点提取：车道的颜色分为两种：黄色及白色，与灰色的路面形成鲜明对比，采用关联像素值的突变性特征来提取边缘点，不必要对每个边缘点都进行提取,采用快速行扫描的方式进行边缘点扫描提取，同时，车道线信息部分主要在影像下半部分，通过灭点的方法设定感兴趣区域，根据车道在图中的特征将检测区域重新设置成两部分：近域和远域，近域车道线在图中的比例较大，采用整行扫描；远域左右车道线间宽度较窄，且集中在图中间，只扫描中间大部分区域，近域车道线特征明显，采用隔行扫描，保留较多的车道信息；远域车道信息较弱，干扰信息多，采用隔三行扫描，避免过多干扰；

采用式1计算每个像素的边缘烈度：

式中：E(n,i)表示为第n行第i列像素点的边缘烈度，L表示滤波长度，根据经验值取8，当扫描到车道线左边缘时，会出现一个极大值，当扫描到车道线右边缘时，边缘烈度出现一个极小值，根据极大值和极小值将边缘点归分为两类分别采用自定义参数检测直线；

基于队列充分利用上一个边缘烈度的值信息求取下一个边缘烈度的值，相邻两个点的边缘烈度只需访问距离其滤波长度端点和它们两个本身的值，由原来的16次运算变为4次运算，如式2：

E(n，j+1)＝E(n，j)+I(n，j-L)+I(n，j+L+1)-I(n，j)-I(n，j+1) 式2

式中：I(n,i)表示第n行第i列像素点的像素值；

采用快捷噪声包容滤波方式对近域影像部分进行增强；噪声包容滤波模型依赖偏微分方程和和影像的离散化，使影像的拐点处得到一个跳动信号，由插值的原始影像u₀(x,y)经过滤波过程u₀(x,y,t),t＞0，达到一个增强最好的效果u(x,y,t₁)，u_ηη表示影像梯度方向n的二阶方向导数，

为影像梯度，引入高斯函数对影像梯度的二阶方向导数进行平滑去噪，同时引入前向扩散过程即在方程中引入垂直于影像梯度方向的项来对影像锐化增强过程进行去噪，模型的具体方程如下：

其中η，ξ分别表示平行于和垂直于影像梯度方向，*表示卷积，G_σ表示高斯函数，c_ξ表示一个常数，其值为正，u_ξξ表示前向扩散过程，式3第一项起到增强的效果,其后的一项则对增强过程进行去噪；

为简化计算量，基于道路标线边缘特征，去除式3中的第二项：

模型对影像中较大的边缘区域形成一个较好的增强效果,增强后的影像更有利于边缘点检测。

5.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，建立评判打分规则：减少几何Vight的计算量，直接采用原图的边缘点建立评判打分规则，不需要经过逆透视变换；

坐标点(k,θ)对应影像坐标系下直线，影像坐标下每条线对应着另一个空间坐标点(k,θ)，本申请中先对所有的边缘点进行建表计算,得到一个评判打分规则,然后分两步对参数空间打分处理：对每个边缘点进行设定范围内角度θ遍历，计算获取对应的偏移量k，比较打分得到边缘线；

(1)对左右边区域的所有边缘点都进行倾斜角θ的遍历，通过计算得到对应的偏移量k，然后对(k,θ)打分进行增1，θ和k都根据经验设定取值范围，角度θ的取值范围为[20度,70度]，k的取值范围为[0,840]；

(2)比较参数对(k,θ)对应的得分，每一个(k,θ)代表着一条直线，得分越高的(k,θ)对，这条直线上的边缘点越多，那么它是车道线的可能性越大，算法中保留打分达到阈值的边缘线；

每一个点映射到坐标空间(k,θ)都有50条线，在众多的线当中，采用保留局部最大得分法，保证去除不必要的线，保留可能为车道线的线；

首先在每一个偏移量中，遍历所有的θ，找出得分最高的线并保存，在去除不必要的线时，避免把车道线的边缘线去除，之后，对左右两边区域的线分别进行两两是否相交判断，判断方法如下：k₁和k₂表示两条直线的偏移量，k₃和k₄表示两条直线与感兴趣区域顶部相交点的偏移量，如果(k₁-k₂)·(k₄-k₃)＜0，说明两条直线相交，把得分较低的那一条线去除。

6.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，获取车道线检测核验值：结构化道路车道左右边缘的两条线角度相差不太大，两条线的偏移量宽度固定，根据这两个特征在较多的直线中匹配出候选车道线，在边缘点检测过程中,将边缘点分为两类,极大值和极小值,在根据边缘点检测直线的过程中，又将直线分为极大值即车道线左边缘对应的直线和极小值即车道线右边缘对应的直线，将这两类线根据平行度及偏移量进行两两匹配，得到候选的车道线；

在得到候选的车道线后，车道线偏向于影像的中间，因此能检测出的边缘点较密集，得分较多，根据车道线左右边的得分和进行筛选，得到打分最高的两条车道线，如果最高得分的车道线偏移量符合阈值范围，则认定是所求的车道线。

7.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，影像W-r扩展动态评估参数估算跟踪：采用影像W-r扩展动态评估进行参数估算和更新，根据输出的结果作为下一帧的优先检测范围，模型与车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S关联，采用车道线的边缘点的平均边缘烈度E及引入了一个表示车道线的弯曲程度的变量S，根据影像W-r扩展动态评估修正后的角度和偏移量确定搜索线，采用车道线的弯曲程度的变量S确定线的某个范围内的点，从而搜索出该线的边缘点，依据线的边缘烈度E，采用三倍标准差法将边缘点中的异常点剔除,得到一条准确的车道线边缘点；

本申请采用车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S建立的系统模型如下：

分别表示车道线的角度θ、偏移量k、车道线的平均烈度E及自定义车道线弯曲程度表示量S变化的速度，定义影像W-r扩展动态评估其状态向量为：

状态转移矩阵为：

在初始时刻，状态向量设为：

x(0)＝[k(0)，θ(0)，E(0)，S(0)，0，0，0，0]^T 式8

k(O),θ(0),E(0),S(0)分别表示第一帧影像获取到的车道线信息，假设w₁(i)，w₂(i),w₃(i),w₄(i)是独立统计，设系统噪声为：

检测核验向量：

z(i)＝[k(i)，θ(i)，E(i)，S(i)]^T 式10

测量方程为：

z(k)＝Hx(k)+V(k) 式11

根据z(k)，x(k)的关系得到测量矩阵为：

测量噪声向量为：

检测核验噪声的影响比系统噪声大,同样的假设v₁(k)，v₂(k)统计独立,则：

为保证估算的准确性，在开始时刻将一个较大的值赋给P(t)：

对参数进行估算和更新，道路建模中涉及的参数有车道线曲率、俯仰角、水平倾斜角、车道宽度及机动车侧向偏移，参数估计包括两个部分，第一部分是结合道路车道线的信息对道路进行估计，第二部分是相机的位置参数、焦距及路面环境信息；

为更好利用帧间信息实现稳定性,在影像W-r扩展动态评估输出时设置一个控制变量，当计数器count的值大于等于3，则输出的结果为本帧最终的结果，否则本帧的结果需另外处理；计数器累加的规则是：如果当前帧的检测值与上一帧的影像W-r扩展动态评估输出结果值相匹配,则计数器加1，最大为3；当不匹配时，计数器设为0，则不将动态评估输出结果作为最终的检测结果；

此外,算法设置另外两个计数器,这两个计数器根据检测核验值进行累加，如果前后帧的检测核验值相匹配，则计数器加1，最大上限为8，否则减1；当计数器的值达到8时，对应一个标记位mark，此时将mark设为1，默认定0；在mark为1后,如果有连续三针不一样，则将mark置为0；如果左右的mark都为1，则将当前左右的车道信息记录下来，当有一边车道线的计数器小于8而另一边的车道线计数器为8时，说明有一边车道线稳定，另一边的车道线被车挡住或是刮损；根据车道宽度不变性，在一条车道线位置不变的情况下，另一条车道线的位置也不会改变，此时将原来匹配好的车道信息取出来，作为当前帧的车道信息,增强算法的抗干扰能力。

8.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，车道边缘灵敏提取：在得到修正的参数之后，采用检测出的车道线角度θ、偏移量k确定搜索其边缘点的位置范围，采用自定义车道线弯曲程度表示量S确定搜索范围；算法设置一个梯形区域搜索范围，这个梯形以角度θ、偏移量k确定的直线为中心线，在影像车道底部区域，车道线的角度和偏移量反映车道边缘，搜索范围较小,搜索范围为线周围左右五个像素点,在感兴趣区域的最远处，设置的搜索范围为在线周围S+5个像素点；中间部分由近到远，搜索范围逐步增加；在形成的边缘点集中，包含其他的噪点，例如路面水坑、车道磨损变形等形成的点,本申请依据影像W-r扩展动态评估估算的边缘点平均烈度E采用三倍标准差法将异常点剔除；

假设对某一帧的车道线左边缘检测出的边缘点个数为n,其边缘点烈度依次为：X₁、X₂、X₃……X_n，则利用平均边缘烈度求算标准差：

取E±3σ范围内的数值为保留值,去除此范围外的数值；剔除后根据剩余的数据重新计算标准差,在进行异常点剔除；依此循环,直到无异常点为止；根据最终得到的车道边缘点，连接成线，形成最终的车道线；

最后，根据得到的车道线边缘位置,获取车道线RGB三个通道的像素值，依据白色和黄色在B通道下的投影分量差别最大的特性，取B＝88为临界值，大于88判为白色，否则判为黄色；添加一个判决条件，依据RGB颜色通道的红色分量R与蓝色分量B的比值进行辨别，右R/B＞0.65判为白色，否则判为黄色。

9.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，基于机动车和车道相对距离的预警策略：以OABC表示经过车道线识别的影像，HKI表示设置的感兴趣区域，点P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)、P₄(x₄,y₄)表示左右车道线与HKIJ区域的交点，点C₁(x₅,0)、C₂(x₆,0)表示机动车在影像底部的两边边界点，车道宽度设置为3.75m，小型客车宽度设置是1.8m，设L为机动车在影像中的像素宽度，设L为机动车在影像中的像素宽度，则根据车道宽度和机动车宽度比r＝L_C/L_D＝1.8/3.75,L_C＝x₄-x₂，L_D＝x₄-x₂，根据直行测试视频序列获得L_D的像素宽度，反推得C₁(x₅,0)、C₂(x₆,0)的坐标，求得左右车道线与机动车左右两侧的相对距离：

d_l＝x₅-x₂ 式17

d_r＝x₄-x₆ 式18

将左右两侧的车道线与机动车左右两侧的相对距离转化为比例：

如果R_r＜0.33则判为右侧偏移，如果R_l＜0.33则判为左侧偏移，偏离判断不需要摄像头的标定复杂操作，这种基于相对距离的预警策略在机动车偏航角的越小的情况下，效果越好，在对于偏航角比较大的情况下，本申请采用基于车道线的偏移率的策略进行预警。

10.根据权利要求1所述灵敏准确的复杂路况车道偏移实时预警系统，其特征在于，基于车道偏移率灵敏预警策略：基于车道偏移率预警通过检测行驶机动车的偏航角，如果偏航角大于临界值，则说明即将发生车道线偏离，这时需要进行预警提示，推导得到偏移率：

k代表车道线的斜率，x＝tanθ代表偏向角对应的正切值，机动车沿道路直线行驶时，x＝0；通过设定一个阈值偏向角，获取机动车偏离车道时的阈值偏移率；为了达到实时处理的结果,考虑机动车的响应时间,设置为0.2s至0.9s之间；程序处理每一帧的时间小于等于0.1s；所以车道发生偏移时，检测和矫正需要的总时间t＝0.9+0.1＝ls，车道不发生偏离时：

d为1.025m，v取40km/s，求得的偏向角度阈值为9度；如果偏向角小于等于9度，则不认定发生偏离；否则，认定发生偏离；本申请求得的参数中包含车道线的倾斜角度，因此简化依据公式：

其中，θ_l代表当前检测的左边车道线的倾斜角度，

代表车道直行未偏离时左右车道角度的平均值，即：

如果

并且θ_l＞θ_r,则认定发生右偏离；如果

并且θ_r＞θ_l,则认定发生左偏离；如果

则认定不发生偏离。

Images