CN110163039B

CN110163039B - 判定车辆行驶状态的方法、设备、存储介质以及处理器

Info

Publication number: CN110163039B
Application number: CN201810215086.8A
Authority: CN
Inventors: 余贵珍; 胡超伟; 王云鹏; 雷傲; 胡哲华
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2018-03-15
Filing date: 2018-03-15
Publication date: 2020-11-24
Anticipated expiration: 2038-03-15
Also published as: CN110163039A

Abstract

本发明公开了一种判定车辆行驶状态的方法、设备、存储介质以及处理器。其中，该方法包括：获取多帧包括路面的第一图像；基于所述第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态。本发明解决了现有的单目视觉的车道线检测方法要求道路车道线清晰、实时性较低的技术问题。

Description

判定车辆行驶状态的方法、设备、存储介质以及处理器

技术领域

本发明涉及车载辅助驾驶设备领域，具体而言，涉及一种判定车辆行驶状态的方法、设备、存储介质以及处理器。

背景技术

我国的人均汽车保有量攀升，交通通行负担日益加重，交通事故频发。驾驶辅助系统发展至今已有近三十年，它是利用安装在车上的各种传感器，使用各种车载传感器感知车辆周围环境信息，分析获取道路、车辆位置姿态和障碍物信息，进行静态、动态物体的辨识、侦测和追踪，从而与先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。车道保持、车道偏离预警是自主式驾驶辅助系统核心功能，在高速公路及城市环境驾驶中可以辅助驾驶员，在解决交通拥堵及汽车安全驾驶方面具有重要意义。

目前，国内外学者已经提出了很多车道线检测算法，常用的传感器是成本较低的单目摄像头，此外也有针对激光雷达的车道线检测方法，但目前激光雷达成本高，实际应用起来比较困难。

基于单目视觉的车道线检测方法主要分为两类：

一类是基于浅层图像特征和模型拟合的检测方法，即利用车道线颜色、宽度、边缘、梯度等信息提取关键点，然后使用直线模型或者曲线模型拟合车道线，这种机制要求道路的车道线较为清晰，若路面存在阴影、裂纹、文字标识、栅栏或者障碍物时误检的可能性较大。

第二类是基于机器学习的方法，该方法避免了人工选择特征，基于大量样本训练分类器，识别精度较高但是实时性较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种判定车辆行驶状态的方法、设备、存储介质以及处理器，以至少解决现有的单目视觉的车道线检测方法要求道路车道线清晰、实时性较低的技术问题。

根据本发明实施例的一个方面，提供了一种判定车辆行驶状态的方法，包括：获取多帧包括路面的第一图像；基于第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态。其中提取所述车道线的信息的操作包括：对第一图像进行逆透视变换获得第二图像；以利用基于第二图像的至少一个筛选条件，对从第二图像中提取的多个纵向直线进行筛选，获得车道线的信息。

根据本发明实施例的另一个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行以上判断车辆行驶状态的方法。

根据本发明实施例的另一个方面，提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行判断车辆行驶状态方法。

根据本发明实施例的另一个方面，提供了一种判定车辆行驶状态的系统，包括：图像采集设备；处理器，所述处理器运行程序，其中，程序运行时对于从图像采集设备采集、输出的图像执行如下处理步骤：获取多帧包括路面的第一图像；基于第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态，其中提取所述车道线的信息的操作包括：对第一图像进行逆透视变换获得第二图像；以及利用基于第二图像的至少一个筛选条件，对从所述第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

根据本发明实施例的另一个方面，提供了一种判定车辆行驶状态的系统，包括：图像采集设备；处理器，处理器运行程序，其中，程序运行时对于从图像采集设备采集、输出的图像执行如下处理步骤：获取多帧包括路面的第一图像；基于第一图像提取车道线的信息；以及基一个筛选条件，对从第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

据本发明实施例的另一个方面，提供了一种判定车辆行驶状态的系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取多帧包括路面的第一图像；基于第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态，其中提取车道线的信息的操作包括：对第一图像进行逆透视变换获得第二图像；以及利用基于第二图像的至少一个筛选条件，对从第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

在本发明实施例中，采用一种基于深层特征提取的车道线实时监测方法，通过在图像预处理阶段使用二维高斯滤波以及灰度扩展方法增强车道线，基于逆透视变换图像设定了车道线筛选条件，在车道线检测过程中设定了一系列干扰过滤方法和容错机制，从而实现了在复杂环境中有效提取车道线深层特征并保持较高实时性、稳定性的技术效果，解决了现有的单目视觉的车道线检测方法要求道路车道线清晰、实时性较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是一种判断车辆行驶状态的设备内部的示意图；

图2是根据本发明实施例的一种判断车辆行驶状态的方法的流程图；

图3是根据本发明实施例所描述的逆透视变换后的图像的示意图；

图4是根据本发明实施例所描述的判断车辆行驶状态的方法的详细的流程图；

图5A、图5B以及图5C分别示出了根据本发明实施例所描述的判断车辆行驶状态的系统。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

实施例1

根据本发明实施例，提供了一种判定车辆行驶状态的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现本实施例所述的判定车辆行驶状态的方法的设备的硬件结构框图。如图1所示，判定车辆行驶状态的设备10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、、用于通信功能的传输模块106以及用于采集图像的图像采集设备108。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，判定车辆行驶状态的设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到判定车辆行驶状态的设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的判定车辆行驶状态的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至判定车辆行驶状态的设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括判定车辆行驶状态的设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与判定车辆行驶状态的设备10(或移动设备)的用户界面进行交互。

在上述运行环境下，本申请提供了如图2所示的判定车辆行驶状态的方法。图2是根据本发明实施例一的判定车辆行驶状态的方法流程图。所述方法包括：

S202：获取多帧包括路面的第一图像；

S204：基于第一图像提取车道线的信息；以及

S206：基于所提取的车道线的信息，判断车辆的行驶状态。

其中提取车道线的信息的操作包括：对第一图像进行逆透视变换获得第二图像；以及利用基于第二图像的至少一个筛选条件，对从第二图像中提取的多个纵向直线进行筛选，获得车道线的信息。

本发明实施例的方法，对包括路面的图像进行逆透视变换，然后利用基于逆变换后的图像的至少一个筛选条件，对从逆变换后的图像中提取的纵向直线进行筛选，从而实现了在复杂环境中有效提取车道线深层特征并保持较高实时性、稳定性的技术效果，解决了现有的单目视觉的车道线检测方法要求道路车道线清晰、实时性较低的技术问题。其中，所使用的筛选条件可以是一个，也可以是多个。例如可以从关于斜率、截距、灰度值等的筛选条件中选择一个或多个对提取的纵向直线进行筛选。另外，从逆透视变换后的图像中提取纵向直线的方法不限，只要能够提取出纵向直线即可。其中，逆透视变换后的图像(即，第二图像)参考图3所述。

可选地，方法还包括根据车辆上的摄像头的位置和参数计算逆透视矩阵，逆透视矩阵用于对第一图像进行逆透视变换。在此之前，基于已有的方法对摄像头进行逆透视标定，设定合理的偏移以及比例参数。由于摄像头安放位置、摄像头参数以及设定参数的差异，计算出的逆透视矩阵不一样。需要说明的是，获得逆透视矩阵的方式不限于以上方式，并且也可以利用现有技术中的其他方法从第一图像获得第二图像，从而得到逆透视变换后的图像。

可选地，对第一图像进行逆透视变换的操作包括：根据摄像头的消失点位置在第一图像中划定感兴趣区域；对感兴趣区域的图像进行灰度化；以及利用逆透视矩阵，对感兴趣区域的图像进行逆透视变换，获得第二图像。

具体地，根据摄像头的消失点位置在原始图片中划定感兴趣区域，截掉的图片上部分区域约占整张图片的1/3，选取下面2/3部分的图片用于逆透视变换，变换后图像最下面视野的宽度为单条车道的宽度，如图3所示。然后，循环读取摄像头获取原始RGB图片，根据摄像头的消失点位置在原始图片中划定感兴趣区域，截掉的图片上部分区域约占整张图片的1/3，选取下面2/3部分的图片用于后面进一步处理。

然后，对截取后的RGB图片进行灰度化，例如可以使用常用的转换方法，如式

Gray＝0.299*red+0.587*green+0.114*blue

其中red，green，blue表示的是一个图像像素三种颜色通道的值，gray表示该像素转化后的灰度值。然后将灰度图进行逆透视变换，并在变换后的图像中选取感兴趣区域用于后面进一步处理，最终选取的区域如图所示。在逆透视图像中，设相邻两条车道线之间的平均像素宽度为d，则以中心线为轴截取逆透视图像，截取宽度为4d，高度为h，保证截取后的图片中包含3条车道线，如图3所示。

可选地，本方法还包括：在从第二图像提取多个纵向直线之前，扩展第二图像的灰度范围。灰度区间为[G_min,G_max]，对上一步处理后的图进行像素遍历，执行以下操作：计算变换尺度k，

若g<G_min，则令g＝0；若g>G_max，则令g＝255；若G_min<g<G_max，则令

g为当前像素灰度值。本发明中G_min取值为50，G_max取值为200。由于扩展了第二图像的灰度范围，因此增加了车道线与道路的对比度，有利于提高判断精确程度。

可选地，还包括通过以下操作从第二图像中提取多个纵向直线的方法：利用纵向一维高斯核对所述第二图像进行卷积，得到第三图像；利用Canny算子对所述第三图像进行处理获得纵向边缘图；以及对所述纵向边缘图进行霍夫变换，提取所述多个纵向直线。

其中，可以利用纵向一维高斯核对第二图像进行卷积，得到第三图像。例如，使用较大的的一堆纵向高斯卷积核，对图像进行纵向滤波。可选地，本发明使用维度31～41。经过处理后，图像的纵向边缘特征得以凸显。

然后，再利用Canny算子对第三图像进行处理获得纵向边缘图，用于提取车道线。对纵向边缘图进行霍夫变换，提取多个纵向直线。对于纵向边缘图，限定最小直线长度为40个像素，合并两条直线的间隙阈值为10个像素，最终结果为一个纵向直线集合V0如下：

V0＝{l₀,l₁,l₂,l₃…,l_N}

其中N表示检测出的直线数量，其中

l_k(k＝1,2,3…,N)代表第k条直线，l_k的结构如下：

其中

表示第k条直线端点坐标，slope^k表示该直线斜率的倒数，intersect^k表示直线截距。

需要说明的是，获得多个纵向直线的方式不限于以上方式，并且也可以利用现有技术中的其他方法获得多个纵向直线，提取多个纵向直线以为后续筛选之用。

可选地，多个纵向直线进行筛选的操作包括：从所述多个纵向直线中筛选出斜率在预定范围内的纵向直线，作为第一纵向直线集合。

例如，得到直线集合V0后，按照如下所示的公式筛选出第一纵向直线集合V1：

V1＝{l_k|s_min<slope^k<s_max}

可选地，预定斜率范围为：斜率大于-1.18并且小于1.18。例如，对于第一纵向直线集合V1，本发明中设定s_min取值范围为(-1.18,-0.18)，s_max取值范围为(0.18,1.18)，视需求而定。

可选地，对多个纵向直线进行筛选的操作还包括：将第一纵向直线集合的纵向直线中斜率的差值小于第一预定值并且截距的差值小于第二预定值的纵向直线进行合并，产生第二纵向直线集合。可选地，第一预定值为0.04，第二预定值为8个像素。也就是说，基于上一步初步提取的第一纵向直线集合V1，对斜率与截距相近的直线进行合并，具体操作为：若两条直线的斜率差值小于0.04同时截距差值小于8个像素，则将两条直线对应端点的中点作为合并直线的端点，最终形成新的第二纵向直线集合V2。

可选地，对多个纵向直线进行筛选的操作还包括：从第二纵向直线集合的纵向直线中，检测邻域内存在平行的直线的纵向直线，作为第三纵向直线集合。

具体地，考虑到在逆透视图像中车道线左右边缘的间距是在某个范围内的，因此需要基于第二纵向直线集合V2依次检测每条直线的邻域内是否存在近似平行的直线。若存在，则将该直线作为待选直线用于下一步筛选。具体操作为：将第二纵向直线集合V2映射至纵向边缘图E中，对于第二纵向直线集合V2中第k条直线l_k，设构成该直线的像素点集为P_k，设置直线l_k的邻域为Z_k，具体如式：

Z_k＝{(x′,y′)|x′∈(x-8,x+8),y′＝y,(x,y)∈P_k}

在Z_k中寻找像素值大于0的点并统计个数，假设个数为m_k，则选取满足一定条件的直线形成第三纵向直线集合V3，具体如式：

其中，这里

的意义就是单位高度的图像内像素值大于0的点的平均个数，若平均个数大于0.1，则认为邻域内存在近似平行的直线；反之，则认为邻域内点的个数过于稀疏，，不存在近似平行的直线，这些点属于干扰噪声点。

可选地，对多个纵向直线进行筛选的操作还包括通过以下操作筛选出第一车道线集合和第二车道线集合：使用逆透视矩阵将第三纵向直线集合V3的直线透视变换到第一图像中；根据第三纵向直线集合V3的直线与第一图像下边缘交点位置筛选出第一车道线集合和所述第二车道线集合。

可选地，筛选出第一车道线集合和第二车道线集合的操作还包括：在x小于等于w/2的情况下，将第三纵向直线集合的直线判定为属于第一车道线集合；以及在x大于w/2的情况下，将第三纵向直线集合的直线判定为属于第二车道线集合，其中x是下边缘交点的横坐标，w是第一图像的宽度。

具体来说，使用逆透视矩阵将第三纵向直线集合V3中的所有直线透视变换到原始图像中，根据直线与原始图片下边缘交点的位置判断其可能是左车道线还是右车道线。设原始图片的宽为w，直线与原始图片下边缘交点的横坐标为x，设定左直线集合L_V与右直线集合R_V，若x<＝w/2,则将该直线加入到左车道线集合L_V中，若x>w/2，则将该直线加入到右车道线集合R_V中。

可选地，对多个纵向直线进行筛选的操作还包括：计算第一车道线集合和第二车道线集合中每条直线像素的平均灰度值，并从大到小排序，删除其中灰度值小于80的直线，获得第三车道线集合和第四车道线集合。删除灰度值较小的直线，提高筛选检测精确度。具体地，计算集合L_V与R_V中每条直线的像素平均灰度值，并从大到小排序，然后删除灰度值小于80的直线。

可选地，还包括：根据所述第三车道线集合中的纵向直线与逆透视图像上边沿和下边沿的交点筛选左车道线；以及根据所述第四车道线集合中的纵向直线与逆透视图像上边沿和下边沿的交点筛选右车道线。在逆透视图像中，按照相邻两条车道线间距的约束条件，对上一步提取出的左右车道线集合进行再一步筛选。

具体地，筛选左车道线的操作包括：按照平均灰度值由大到小的顺序，对第三车道线集合的纵向直线进行如下操作，判定左车道线：

判定纵向直线是否满足以下约束条件：

在纵向直线满足上述约束条件的情况下，判定为左车道线；以及在纵向直线不满足上述约束条件的情况下，选择平均灰度值更小的纵向直线执行上述判定，其中第三车道线集合中的纵向直线与逆透视图像上边沿交点坐标为

与逆透视图像下边沿的交点坐标为

从而，通过上述操作可以精确确定左车道线。

此外，筛选右车道线的操作还包括：按照平均灰度值由大到小的顺序，对第四车道线集合的纵向直线进行如下操作，判定右车道线：

判定纵向直线是否满足以下约束条件：

在纵向直线满足上述约束条件的情况下，判定为右车道线；以及在纵向直线不满足上述约束条件的情况下，选择平均灰度值更小的纵向直线执行上述判定，其中第四车道线集合中的纵向直线的与逆透视图像上边沿的交点坐标为

与逆透视图像下边沿的交点坐标为

从而，通过上述操作可以精确确定右车道线。

可选地，判断车辆的行驶状态的操作包括：计算相邻两帧第一图像内车道线的偏移距离；以及基于偏移距离判断车辆的行驶状态。偏移距离超过设定阈值，则认为车辆确实发生了偏移。

可选地，计算偏移距离的操作包括根据以下公式计算偏移距离：

其中，上一帧左车道线和右车道线的检测结果为L′和R′，与逆透视图像上边沿交点的横坐标分别为

和

与逆透视图像下边沿交点的横坐标分别为

和

当前帧检测的左车道线和右车道线L和R与逆透视图像上边沿交点的横坐标分别为

和

与逆透视图像下边沿交点的横坐标分别为

和

并且其中d₁，d₂分别为相邻两帧内左车道线上端点与下端点的偏移距离，d₃，d₄分别为相邻两帧内右车道线上端点与下端点的偏移距离。从而通过以上操作，可以精确确定偏移距离以精确判断车辆行驶状态。

可选地，基于偏移距离判断车辆的行驶状态的操作包括：

在所述偏移距离d₁、d₂、d₃和/或d₄大于预定值的情况下(例如，满足d₁>50/2、d₂>80/2、d₃>55/2和d₄>85/2，四个条件其中之一，则认为偏移距离较大)，利用横向边缘图中的纵向直线判定车辆的行驶状态，否则对所提取的左车道线和右车道线进行跟踪。

其中横向边缘图中的纵向直线通过以下操作获得：利用横向一维高斯核对所述第二图像进行卷积，得到第四图像；利用Canny算子对第四图像进行处理获得所述横向边缘图；对所述横向边缘图进行霍夫变换，提取多个纵向直线作为第四纵向直线集合，并利用所述第四纵向直线集合中的直线作为所述横向边缘图中的纵向直线。进一步地，从所述第四纵向直线集合中筛选出斜率在预定范围内的纵向直线，作为第五纵向直线集合，并利用所述第五纵向直线集合中的直线作为所述横向边缘图中的纵向直线。

可选地，利用横向边缘图判定车辆的行驶状态的操作包括：在根据横向边缘图确定所提取的车道线经过了预定数量的纵向边缘的情况下，判定所提取的车道线为误识别的车道线，否则判定车辆正在换道。

具体地，针对偏移距离过大的第一种情况，可借助提取出的横向边缘图中的纵向直线进行判别，若发现提取出的候选车道线经过了一定数量的纵向边缘，则认为该条候选车道线是误识别的直线，并使用历史结果代替当前的结果；否则认为该条候选车道线是正确的车道线，同时判断车辆当前正在换道，此时使用当前识别的车道线位置初始化滤波器。若偏移距离较小，则认为车辆正在当前车道继续行驶，同时使用卡尔曼滤波器输出预测车道线的位置，同时将当前车道线检测值作为滤波器测量值，更新滤波器状态。

可选地，本发明还包括：对所跟踪的车道线进行曲线拟合。具体地，将车道线跟踪结果得到的理想的直线映射到前述纵向边缘图中，在边缘图中选取该直线邻域呢内的点，使用这些点进行三次曲线拟合，得到车道线跟踪结果与映射到纵向边缘图中直线临域内的点的近似关系。

可选地，本发明还包括：统计漏检、误检的累计次数；以及在累计次数小于预定次数的情况下，确定车道线识别正常。

具体地，就是设定容错机制，统计漏检、误检的累计次数。设车道线漏检累积次数为W1，边缘数量异常累积次数为W2，线宽异常累积次数为W3，初始值均为0。处理每一帧图片时，若第三车道线集合与第四车道线集合中存在直线数量为0的情况则W1的值增加1，否则减1；若第三车道线集合或者第四车道线集合的直线数量大于3且直线平均灰度值最大没有超过100，则W2的值增加1，否则减1；若所有直线都不满足线宽约束条件则W3的值增加1，否则减1。若W1，W2，W3的值都小于某一值，则认为车道线识别正常；反之则认为车道线识别异常。从而通过以上操作，可以通过多次复检减小出现错误的可能性。

可选地，提取车道线的操作还包括：在逆透视图像中，根据识别出的当前车道的左右车道线位置，依据逆透视图像中的平均车道宽度d，推理相邻车道线的位置区域，然后使用与前面步骤相同的方法检测临车道线。

以及可选地，还包括：在所提取的车道线正常的情况下，在所述第一图像中绘制所提取的车道线，得到正确的处理结果。此外，若判断车道线识别不正常，则不画出车道线，重复所述方法以获得正常车道线。

从而，通过本发明的方法，能够达到以下有益效果：

通过基于逆透视变换图像设定了一系列的车道线筛选条件，使得能够在复杂环境中有效提取出车道线的深层特征，并且实时性较高。

此外，通过在检测过程中设定了一系列的干扰过滤方法和容错机制，能够保证识别稳定性。干扰过滤方法包括利用横向边缘过滤路面文字标志干扰，利用平均灰度过滤路面阴影以及路面障碍物干扰，利用线宽过滤路面箭头干扰，利用线间距过滤相邻车道线干扰等。容错机制包括对线宽异常次数、漏检次数、边缘数量异常次数。本发明为一种基于深层特征提取的车道线实时检测方法与系统，能够在一般车辆上实现车道线实时检测功能，可用于实现驾驶辅助系统中的车道保持以及车道偏离预警功能。

下面，参考图4所示，详细描述本实施例的技术方案的流程图。

S402：实车安装摄像头，安装位置位于车辆前挡风玻璃内侧正中央上部，安装示意图如图3所示，保证摄像头光轴方向与车头方向以及水平面平行。

S404：基于已有的方法对摄像头进行逆透视标定，设定合理的偏移以及比例参数，计算逆透视矩阵。由于摄像头安装位置、摄像头参数以及设定参数的差异，计算出的逆透视矩阵各不一样。本发明设定的标准是，根据摄像头的消失点位置在原始图片中划定感兴趣区域。这里的感兴趣区域指的是原图下面2/3的部分，而原图上面1/3的部分直接舍弃。后面的逆透视变换只针对原图下面的这2/3部分。变换后图像最下面视野的宽度为单条车道的宽度，如图3所示。

S406：循环读取摄像头获取原始RGB图片，根据摄像头的消失点位置在原始图片中划定感兴趣区域，截掉的图片上部分区域约占整张图片的1/3，选取下面2/3部分的图片用于后面进一步处理。

S408：对截取后的RGB图片进行灰度化，使用的是常用的转换方法，如式

Gray＝0.299*red+0.587*green+0.114*blue

其中red，green，blue表示的是一个图像像素三种颜色通道的值，gray表示该像素转化后的灰度值。

然后将灰度图进行逆透视变换，并在变换后的图像中选取感兴趣区域用于后面进一步处理，最终选取的区域如图所示。在逆透视图像中，设相邻两条车道线之间的平均像素宽度为d，则以中心线为轴截取逆透视图像，截取宽度为4d，高度为h，保证截取后的图片中包含3条车道线,，如图3所示。

S410：扩展灰度范围来增加车道线与道路的对比度。设置灰度区间为[G_min,G_max]，对上一步处理后的图进行像素遍历，假设当前像素灰度值为g，则执行以下操作：计算变换尺度k，

本发明中G_min取值为50，G_max取值为200。

S412：使用二维可分离高斯滤波方法过滤噪声，即使用横向一维高斯核和纵向一维高斯核与图像矩阵进行卷积计算。将上一步处理后的图像复制为A和B，图像A用于纵向滤波，图像B用于横向滤波。

对于图像A，首先使用较大的一维纵向高斯卷积核，对图像进行纵向滤波，本发明使用的维度为31～41；然后使用较小的一维横向高斯卷积核，对图像进行横向滤波，本发明使用的维度为7～11。经过处理后，图像的纵向边缘特征得以凸显，处理后的图像为C。

对于图像B，首先使用较大的一维横向高斯卷积核，对图像进行横向滤波，本发明使用的维度为19～25；然后使用较小的一维纵向高斯卷积核，对图像进行纵向滤波，本发明使用的维度为3～5。经过处理后，图像的横向边缘特征得以凸显，处理后的图像为D。

S414：使用Canny算子分别提取纵向边缘图E和横向边缘图F，其中纵向边缘用于提取车道线，横向边缘用于后期排除路面文字干扰。

S416：基于上一步获取的横纵向边缘图，使用霍夫变换提取直线。

对于纵向边缘图E，设定最小直线长度为40个像素，合并两条直线的间隙阈值为10个像素，最终结果为一个纵向直线集合V0如下：

V0＝{l₀,l₁,l₂,l₃…,l_N}

其中N表示检测出的直线数量，其中

代表第k条直线，l_k的结构如下：

其中

然后选择满足一定条件的纵向直线集合V1用于后面进一步筛选，具体如下：

V1＝{l_k|s_min<slope^k<s_max}

对于集合V1，本发明中设定s_min取值范围为(-1.18,-0.18)，s_max取值范围为(0.18,1.18),视需求而定。

对于横向边缘图F，设定最小直线长度为10个像素，合并两条直线的间隙阈值为12个像素，最终结果为一个纵向直线集合H0，其中l_k的结构中slope^k表示的是直线的斜率，同样选择满足一定条件的横向直线集合H1用于后面进一步筛选，具体如下：

H1＝{l_k|-0.2<slope^k<0.2}

S418：基于上一步初步提取的纵向直线集合V1，对斜率与截距相近的直线进行合并，具体操作为：若两条直线的斜率差值小于0.04同时截距差值小于8个像素，则将两条直线对应端点的中点作为合并直线的端点，最终形成新的纵向直线集合V2。

S420：考虑到在逆透视图像中车道线左右边缘的间距是在某个范围内的，基于纵向直线集合V2，依次检测每条直线的邻域内是否存在近似平行的直线，若存在，则将该直线作为待选直线用于下一步筛选。具体操作为：将直线集合V2映射至纵向边缘图E中，对于V2中第k条直线l_k，设构成该直线的像素点集为P_k，设置直线l_k的邻域为Z_k，具体如式：

Z_k＝{(x′,y′)|x′∈(x-8,x+8),y′＝y,(x,y)∈P_k}

在Z_k中寻找像素值大于0的点并统计个数，假设个数为m_k，则选取满足一定条件的直线形成直线集合V3，具体如式：

S422：使用逆透视矩阵将直线集合V3中的所有直线透视变换到原始图像中，根据直线与原始图片下边缘交点的位置判断其可能是左车道线还是右车道线。设原始图片的宽为w，直线与原始图片下边缘交点的横坐标为x，设定左直线集合L_V与右直线集合R_V，若x<＝w/2,则将该直线加入到左车道线集合L_V中，若x>w/2，则将该直线加入到左车道线集合R_V中。

S424：计算集合L_V与R_V中每条直线的像素平均灰度值，并从大到小排序，然后删除灰度值小于80的直线。

S426：在逆透视图像中，按照相邻两条车道线间距的约束条件，对上一步提取出的左右车道线集合进行再一步筛选。

若上一步提取出集合L_V与R_V若存在直线数量为0的情况则将前面图片的历史非0结果。假设L_V中一条直线的与逆透视图像上边沿的交点坐标为

与逆透视图像下边沿的交点坐标为

R_V中一条直线的与逆透视图像上边沿的交点坐标为

与逆透视图像下边沿的交点坐标为

设定逆透视图像中相邻车道线的间距约束条件为：

先选取L_V与R_V中平均灰度值最大的直线进行间距判断，若符合设定的间距约束，则进行下一步骤；若不符合设定的间距约束，则选取平均灰度第二大的直线进行判断，以此进行下去直到所有的直线组合都判断完毕。若所有的直线组合都不满足间距约束，则使用最近一次历史检测值中满足条件结果，最终获得

候选的左右车道线分别为L和R。

S428：将当前帧的车道线提取结果与上一帧的结果相比对，设上一帧左右车道线的检测结果为L′和R′，与逆透视图像上边沿交点的横坐标分别为

和

与逆透视图像下边沿交点的横坐标分别为

和

当前帧检测的左右车道线L和R与逆透视图像上边沿交点的横坐标分别为

和

与逆透视图像下边沿交点的横坐标分别为

和

计算相邻两帧内车道线的偏移距离如式：

其中d₁，d₂分别为相邻两帧内左车道线上端点与下端点的偏移距离，d₃，d₄分别为相邻两帧内右车道线上端点与下端点的偏移距离。

若满足d₁>50/2，d₂>80/2，d₃>55/2，d₄>85/2四个条件其中之一，则认为偏移距离较大。若偏移距离过大，则可能有两种情况，一种是受到路面文字标识或者其余干扰的影响，导致车道线误检；另一种情况是车辆正在快速换道；

针对偏移距离过大的第一种情况，可借助前面步骤提取出的横向边缘进行判别，若发现提取出的候选车道线经过了一定数量的纵向边缘，则认为该条候选车道线是误识别的直线，并使用历史结果代替当前的结果；否则认为该条候选车道线是正确的车道线，同时判断车辆当前正在换道，此时使用当前识别的车道线位置初始化滤波器。若偏移距离较小，则认为车辆正在当前车道继续行驶，同时使用卡尔曼滤波器输出预测车道线的位置，同时将当前车道线检测值作为滤波器测量值，更新滤波器状态。

S430：上一步车道线跟踪的结果只是一条理想的直线，因此还需要将其映射到前面步骤的纵向边缘图E中，在边缘图中选取该直线邻域内的点，邻域确定的方法与步骤11一致，然后使用这些点进行三次曲线拟合。

S432：设定容错机制，统计漏检、误检的累计次数。设车道线漏检累积次数为W_1，边缘数量异常累积次数为W_2，线宽异常累积次数为W_3，初始值均为0。处理每一帧图片时，步骤13中若集合L_V与R_V中存在直线数量为0的情况则W_1的值增加1，否则减1；步骤13中若集合L_V或者R_V的直线数量大于3且直线平均灰度值最大没有超过100，则W_2的值增加1，否则减1；步骤14中若所有直线都不满足线宽约束条件则W_3的值增加1，否则减1。

若W_1，W_2，W_3的值都小于某一值，则认为车道线识别正常，；反之则认为车道线识别异常。

S434：在逆透视图像中，根据识别出的当前车道的左右车道线位置，依据逆透视图像中的平均车道宽度d，推理相邻车道线的位置区域，然后使用与前面步骤相同的方法检测临车道线。

S436：若判断识别出的当前车道线与邻车道线正常，则将逆透视中的车道线转换到原始图像中，并在原始图像中绘出识别出的车道线，若判断车道线识别不正常，则不画出车道线。

此外，参考图1所示，提供了一种存储介质104，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上面任意一项所述的判断车辆行驶状态的方法。

此外，参考图1所示，提供了一种处理器102，所述处理器102用于运行程序，其中，所述程序运行时执行上面任意一项所述的判断车辆行驶状态方法。

此外参考图5A所示，根据本实施例的另一个方面，提供了一种判定车辆行驶状态的系统5A。参考图5A所示，该系统包括：图像采集设备；处理器，所述处理器运行程序。其中，所述程序运行时对于从所述图像采集设备采集、输出的图像执行如下处理步骤：获取多帧包括路面的第一图像；基于所述第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态。其中提取所述车道线的信息的操作包括：对所述第一图像进行逆透视变换获得第二图像；以及利用基于所述第二图像的至少一个筛选条件，对从所述第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

此外参考图5B所示，根据本实施例的另一个方面，提供了一种判定车辆行驶状态的系统5B。参考图5B所示，系统包括：图像采集设备；存储介质，用于存储程序。其中，所述程序在运行时对于从所述图像采集设备采集、输出的图像执行如下处理步骤：获取多帧包括路面的第一图像；基于所述第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态。其中提取所述车道线的信息的操作包括：对所述第一图像进行逆透视变换获得第二图像；以及利用基于所述第二图像的至少一个筛选条件，对从所述第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

此外，参考图5C所示，根据本实施例的另一个方面，提供了一种判定车辆行驶状态的设备5C。参考图5C所示，系统包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取多帧包括路面的第一图像；基于所述第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态。其中提取所述车道线的信息的操作包括：对所述第一图像进行逆透视变换获得第二图像；以及利用基于所述第二图像的至少一个筛选条件，对从所述第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息。

其中，图5A至图5C中所示的系统是执行图2所示的方法的系统。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种判定车辆行驶状态的方法，其特征在于，包括：获取多帧包括路面的第一图像；基于所述第一图像提取车道线的信息；以及基于所提取的车道线的信息，判断车辆的行驶状态，其中提取所述车道线的信息的操作包括：对所述第一图像进行逆透视变换获得第二图像；以及利用基于所述第二图像的至少一个筛选条件，对从所述第二图像中提取的多个纵向直线进行筛选，获得所述车道线的信息；

根据车辆上的摄像头的位置和参数计算逆透视矩阵，所述逆透视矩阵用于对所述第一图像进行所述逆透视变换；

对所述第一图像进行逆透视变换的操作包括：根据摄像头的消失点位置在所述第一图像中划定感兴趣区域；对所述感兴趣区域的图像进行灰度化；以及利用所述逆透视矩阵，对所述感兴趣区域的图像进行逆透视变换，获得所述第二图像；

在从所述第二图像提取所述多个纵向直线之前，扩展所述第二图像的灰度范围；

利用纵向一维高斯核对所述第二图像进行卷积，得到第三图像；利用Canny算子对所述第三图像进行处理获得纵向边缘图和横向边缘图；以及对所述纵向边缘图进行霍夫变换，提取所述多个纵向直线；

对于纵向边缘图，设定最小直线长度为40个像素，合并两条直线的间隙阈值为10个像素，最终结果为一个纵向直线集合V0如下：

V0＝{l₀,l₁,l₂,l₃…,l_N}

其中N表示检测出的直线数量，其中

代表第k条直线，l_k的结构如下：

其中

表示第k条直线端点坐标，slope^k表示该直线斜率的倒数，intersect^k表示直线截距；

V1＝{l_k|s_min<slope^k<s_max}

对于集合V1，设定s_min取值范围为(-1.18,-0.18)，s_max取值范围为(0.18,1.18)；

对于横向边缘图，设定最小直线长度为10个像素，合并两条直线的间隙阈值为12个像素，最终结果为一个纵向直线集合H0，其中l_k的结构中slope^k表示的是直线的斜率，同样选择满足一定条件的横向直线集合H1用于后面进一步筛选，具体如下：

H1＝{l_k|-0.2<slope^k<0.2}

基于纵向直线集合V1，对斜率与截距相近的直线进行合并，具体操作为：若两条直线的斜率差值小于0.04同时截距差值小于8个像素，则将两条直线对应端点的中点作为合并直线的端点，最终形成新的纵向直线集合V2；

考虑到在逆透视图像中车道线左右边缘的间距是在某个范围内的，基于纵向直线集合V2，依次检测每条直线的邻域内是否存在近似平行的直线，若存在，则将该直线作为待选直线用于下一步筛选，具体操作为：将直线集合V2映射至纵向边缘图中，对于V2中第k条直线l_k，设构成该直线的像素点集为P_k，设置直线l_k的邻域为Z_k，具体如式：

Z_k＝{(x′,y′)|x′∈(x-8,x+8),y′＝y,(x,y)∈P_k}

使用逆透视矩阵将直线集合V3中的所有直线透视变换到第一图像中，根据直线与第一图像下边缘交点的位置判断其可能是左车道线还是右车道线，设第一图像的宽为w，直线与第一图像下边缘交点的横坐标为x，设定左车道线集合L_V与右车道线集合R_V，若x<＝w/2,则将该直线加入到左车道线集合L_V中，若x>w/2，则将该直线加入到右车道线集合R_V中；

计算集合L_V与R_V中每条直线的像素平均灰度值，并从大到小排序，然后删除灰度值小于80的直线；

在逆透视图像中，按照相邻两条车道线间距的约束条件，对提取出的左右车道线集合进行再一步筛选：假设L_V中的一条直线与第二图像上边沿的交点坐标为

与第二图像下边沿的交点坐标为

R_V中一条直线的与第二图像上边沿的交点坐标为

与第二图像下边沿的交点坐标为

设定逆透视图像中相邻车道线的间距约束条件为：

先选取L_V与R_V中平均灰度值最大的直线进行间距判断，若符合设定的间距约束，则判定为左车道线或右车道线；若不符合设定的间距约束，则选取平均灰度第二大的直线进行判断，以此进行下去直到所有的直线组合都判断完毕；若所有的直线组合都不满足间距约束，则使用最近一次历史检测值中满足条件的结果，最终获得候选的左右车道线分别为L和R。

2.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1所述的判定车辆行驶状态的方法。

3.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1所述的判定车辆行驶状态方法。