CN110008838B - 基于改进拟合算法的车道线检测方法和系统 - Google Patents

Abstract

本发明实施例公开一种基于改进拟合算法的车道线检测方法和系统，其中方法包括如下步骤：基于语义分割算法计算目标图像数据对应的概率图，目标图像数据包括第一区域数据和第二区域数据，概率图包括第一区域数据对应的第一概率图和第二区域数据对应的第二概率图；对第一概率图中的目标样本点进行图像拟合；采用第二概率图中的样本点和第一概率图中的剩余样本点验证图像拟合的目标拟合模型；根据目标拟合模型检测目标图像数据中的车道线；其中，样本点为从第一概率图和第二概率图的全部像素点中筛选出的样本点。采用本发明，通过语义分割算法并结合改进的数据拟合算法，利用车道线的先验结构信息，可以保证检测结果的准确度，提高鲁棒性。

Description

基于改进拟合算法的车道线检测方法和系统

技术领域

本发明涉及车道线检测技术领域，尤其涉及一种基于改进拟合算法的车道线检测方法和系统。

背景技术

基于视觉算法的高级驾驶辅助系统(ADAS)，车道线检测是关键技术之一。传统的利用车道线边缘特性进行的检测会受到天气的变化、光照强度的变化、旁侧车辆的遮挡、附近建筑物或树木在车道线上投下的阴影、车道线模糊等不可控因素的影响导致检测准确性不高；现在常用的基于深度学习的检测方法，虽然克服了外界不可控因素的影响，对非直线的车道线检测准确性会有所下降。

发明内容

本发明实施例提供一种基于改进拟合算法的车道线检测方法和系统，通过语义分割算法并结合改进的数据拟合算法，利用车道线的先验结构信息，可以保证检测结果的准确度，提高鲁棒性。

本发明实施例第一方面提供了一种基于改进拟合算法的车道线检测方法，可包括：

基于语义分割算法计算目标图像数据对应的概率图，所述目标图像数据包括第一区域数据和第二区域数据，所述概率图包括所述第一区域数据对应的第一概率图和所述第二区域数据对应的第二概率图；

对所述第一概率图中的目标样本点进行图像拟合；

采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型；

根据所述目标拟合模型检测所述目标图像数据中的车道线；

其中，所述样本点为从所述第一概率图和所述第二概率图的全部像素点中筛选出的样本点。

在一种可能的设计中，上述检测方法还包括：

对所获取的原图像数据进行预处理得到目标图像数据，所述预处理至少包括ROI裁剪、中心分割和水平翻转。

在一种可能的设计中，在基于语义分割算法计算目标图像数据对应的概率图时，上述检测方法还包括：

对目标图像数据进行下采样处理，得到所述目标图像数据的特征图；

结合空间卷积操作对所述特征图进行上采样处理，生成所述目标图像数据对应的概率图。

在一种可能的设计中，上述检测方法还包括：

将所述概率图中大于概率阈值的像素点作为所述概率图的样本点。

在一种可能的设计中，在对所述第一概率图中的目标样本点进行图像拟合时，上述检测方法还包括：

在所述第一概率图的样本点中随机选择样本点作为目标样本点；

基于拟合数据模型对所述目标样本点进行三阶贝塞尔样条拟合。

在一种可能的设计中，上述检测方法还包括：

采用损失函数判断所述目标样本点是否符合所述拟合数据模型；

当所述目标样本点符合所述拟合数据模型时，将所述目标样本点确定为正确样本点。

在一种可能的设计中，上述检测方法还包括：

当所述正确样本点的数量大于预设数量阈值时，确定所述拟合数据模型为满足一致性设置的有效拟合模型。

在一种可能的设计中，上述检测方法还包括：

将包含最多正确样本点的有效拟合模型确定为所述目标拟合模型。

本发明实施例第二方面提供了一种基于改进拟合算法的车道线检测系统，可包括：

概率计算模块，用于基于语义分割算法计算目标图像数据对应的概率图，所述目标图像数据包括第一区域数据和第二区域数据，所述概率图包括所述第一区域数据对应的第一概率图和所述第二区域数据对应的第二概率图；

图像拟合模块，用于对所述第一概率图中的目标样本点进行图像拟合；

模型验证模块，用于采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型；

数据检测模块，用于根据所述目标拟合模型检测所述目标图像数据中的车道线；

其中，所述样本点为从所述第一概率图和所述第二概率图的全部像素点中筛选出的样本点。

在一种可能的设计中，上述检测系统还包括：

图像处理模块，用于对所获取的原图像数据进行预处理得到目标图像数据，所述预处理至少包括ROI裁剪、中心分割和水平翻转。

在一种可能的设计中，上述概率计算模块包括：

下采样单元，用于对目标图像数据进行下采样处理，得到所述目标图像数据的特征图；

上采样单元，用于结合空间卷积操作对所述特征图进行上采样处理，生成所述目标图像数据对应的概率图。

在一种可能的设计中，上述检测系统还包括：

样本点确定模块，用于将所述概率图中大于概率阈值的像素点作为所述概率图的样本点。

在一种可能的设计中，上述图像拟合模块还包括：

目标点选择单元，用于在所述第一概率图的样本点中随机选择样本点作为目标样本点；

样本拟合单元，用于基于拟合数据模型对所述目标样本点进行三阶贝塞尔样条拟合。

在一种可能的设计中，上述检测系统还包括：

样本判断模块，用于采用损失函数判断所述目标样本点是否符合所述拟合数据模型；

正确样本确定模块，当所述目标样本点符合所述拟合数据模型时，将所述目标样本点确定为正确样本点。

在一种可能的设计中，上述检测系统还包括：

有效模型确定模块，用于当所述正确样本点的数量大于预设数量阈值时，确定所述拟合数据模型为满足一致性设置的有效拟合模型。

在一种可能的设计中，上述检测系统还包括：

目标模型确定模块，用于将包含最多正确样本点的有效拟合模型确定为所述目标拟合模型。

在本发明实施例中，通过对ROI裁剪和中心分割减少了模型输入图像的大小，降低了模型的计算量；通过语义分割获取图像的概率图，保证了分割的实时性，同时通过信息在特征图中横纵方向的传播，使网络更容易提取较长或较大的物体语义，从而提高了物体的识别精准度；最后通过改进的RANSAC拟合算法对上述概率图进行拟合，提高了检测车道线的精准度和模型的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的一种基于改进拟合算法的车道线检测方法的流程示意图；

图2是本发明实施例提供的图像预处理结构示意图；

图3是本发明实施例提供的一种基于改进拟合算法的车道线检测系统的结构示意图；

图4是本发明实施例提供的概率计算模块的结构示意图；

图5是本发明实施例提供的图像拟合模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

下面将结合附图1和附图2，对本发明实施例提供的基于改进拟合算法的车道线检测方法进行详细介绍。

请参见图1，为本发明实施例提供了一种基于改进拟合算法的车道线检测方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。

S101，基于语义分割算法计算目标图像数据对应的概率图。

需要说明的是，检测系统可以对所获取的原图像数据进行预处理得到目标图像数据，原图像数据可以是包含车道线的整体图片，上述预处理可以包括ROI裁剪、中心分割和水平翻转等处理过程。可以理解的是，在车道线检测任务中，输入图片的上半部分通常是天空区域，和车道线有关的信息基本都在图片底部。对输入图片进行ROI提取，一方面可以有效提高运算速度，另一方面可能也会去除一些与车道线标志类似的物体图像，从而也提高了运算精度。再者，左右车道线在现实生活是相互平行，在图像中也会形成一定程度的对称性。对于弯曲的左右车道线，在图像中也会保持相同的曲率。本发明实施例可以将裁剪得到的ROI区域从中心处分割成左右子区域。具体的，图2所示的过程为对原图像数据进行预处理的过程。

具体的，检测系统可以基于语义分割算法计算目标图像数据对应的概率图，可以理解的是，上述目标图像数据可以包括第一区域数据和第二区域数据，第一和第二区域数据可以是图2中的左右子区域，进而，上述概率图可以包括第一区域数据对应的第一概率图和第二区域数据对应的第二概率图。需要说明的是，上述概率图可以和目标图像数据的分辨率相同。

在可选实施例中，检测系统可以利用卷积层或池化层对目标图像数据进行下采样处理，得到特征图，进一步的，可以结合空间卷积操作对特征图进行上采样处理，生成目标图像数据对应的概率图。可选的，本发明实施例可以采用实时语义分割网络ENet为基本骨架，由于ENet网络结构参数少，结构相对简单，速度快，可以在低功耗设备上进行实时分割。可以理解的是，传统的卷积操作是在层与层之间执行的，而空间卷积操作是在数据张量中切片与切片之间执行的，其作用是为了建立特征图各点之间消息传递机制，不仅扩大了网络模型的感知野，也有利于神经网络提取一些具有强先验信息的语义信息，如车道线。将车道检测引入到ENet，一方面保证了分割的实时性，另一方面通过信息在特征图中横纵方向的传播，使网络更容易提取较长或较大的物体语义，从而提高物体的识别精准度。

S102，对第一概率图中的目标样本点进行图像拟合。

可以理解的是，由于左右车道线的相互平行性，车辆在正常行驶过程中，车道线相对于车辆中心对称。将输入原图像数据按照图2所示的中心分割处理后，得到的左右子区域拥有相同的车道线结构。如果在直道上行驶，左右子区域上的车道会有相近的斜率，在弯道上行驶，左右子区域上的车道会有相近的曲率半径。从某一子区域的概率图上拟合车道线时，就可以将另一子区域的概率图作为参考。

具体实现中，检测系统可以对第一概率图中的目标样本点进行图像拟合，可以理解的是，上述第一概率图可以包含很多的像素点，可以在所包含的所有像素点中选择符合要求的像素点作为样本点，例如，可以将概率图中大于概率阈值的像素点作为该概率图的样本点，优选的，概率阈值可以是0.3或者0.5。

在可选实施例中，检测系统可以在上述第一概率图的样本点中随机选择样本点作为目标样本点，进一步的，可以基于拟合数据模型对目标样本点进行三阶贝塞尔样条拟合。需要说明的是，上述拟合数据模型即三阶贝塞尔曲线的定义为：

B(t)＝(1-t)³P₀+3(1-t)²tP₁+3(1-t)t²P₂+t³P₃

其中，t∈[0,1]，Q(0)＝P₀，Q(1)＝P₃以及P₁和P₂控制着样条的形状。

S103，采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型。

具体的，检测系统可以采用上述第二概率图中的样本点和第一概率图中除目标样本点之外的剩余样本点验证上述图像拟合的目标拟合模型。

在可选实施例中，检测系统可以采用损失函数判断上述目标样本点是否符合上述拟合数据模型，当目标样本点符合拟合数据模型时，可以将该目标样本点确定为正确样本点，正确样本点可以是能够准确描述目标图像中车道线所在位置的像素点。

在可选实施例中，当正确样本点的数量大于预设数量阈值时，可以确定该拟合数据模型为满足一致性设置的有效拟合模型。可以理解的是，上述预设数量阈值可以是通过大量实验验证所得的数据，例如，1000。可以理解的是，检测系统可以多次随机选取目标样本点，得到的有效拟合模型对应的会有很多。检测系统可以将包含最多正确样本点的有效拟合模型确定为上述目标拟合模型。

可以理解的是，将第二概率图中的样本点用来判断第一概率图拟合出来的车道线，一方面可以提高车道线的精准度和模型的鲁棒性；另一方面如果第一概率图的剩余样本点均为正确数据，第二概率图的样本点大部分不是正确数据，可以认为车辆在朝偏离车道线的方向行驶，这为车道线偏离系统提供了有用的信号。

S104，根据所述目标拟合模型检测所述目标图像数据中的车道线。

具体的，检测系统可以根据上述目标拟合模型检测目标图像数据中的车道线。

在本发明实施例中，通过对ROI裁剪和中心分割减少了模型输入图像的大小，降低了模型的计算量；通过语义分割获取图像的概率图，保证了分割的实时性，同时通过信息在特征图中横纵方向的传播，使网络更容易提取较长或较大的物体语义，从而提高了物体的识别精准度；最后通过改进的RANSAC拟合算法对上述概率图进行拟合，提高了检测车道线的精准度和模型的鲁棒性。

下面将结合附图3-附图5，对本发明实施例提供的基于改进拟合算法的车道线检测系统进行详细介绍。需要说明的是，附图3-附图5所示的检测系统，用于执行本发明图1和图2所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明1和图2所示的实施例。

请参见图3，为本发明实施例提供了一种基于改进拟合算法的车道线检测系统的结构示意图。如图3所示，本发明实施例的所述检测系统10可以包括：概率计算模块101、图像拟合模块102、模型验证模块103、数据检测模块104、图像处理模块105、样本点确定模块106、样本判断模块107、正确样本确定模块108、有效模型确定模块109和目标模型确定模块110。其中，概率计算模块11可以包括下采样单元1011和上采样单元1012；图像拟合模块12可以包括目标点选择单元1221和样本拟合单元1222。

概率计算模块101，用于基于语义分割算法计算目标图像数据对应的概率图。

需要说明的是，图像处理模块105可以对所获取的原图像数据进行预处理得到目标图像数据，原图像数据可以是包含车道线的整体图片，上述预处理可以包括ROI裁剪、中心分割和水平翻转等处理过程。可以理解的是，在车道线检测任务中，输入图片的上半部分通常是天空区域，和车道线有关的信息基本都在图片底部。对输入图片进行ROI提取，一方面可以有效提高运算速度，另一方面可能也会去除一些与车道线标志类似的物体图像，从而也提高了运算精度。再者，左右车道线在现实生活是相互平行，在图像中也会形成一定程度的对称性。对于弯曲的左右车道线，在图像中也会保持相同的曲率。本发明实施例可以将裁剪得到的ROI区域从中心处分割成左右子区域。具体的，图2所示的过程为对原图像数据进行预处理的过程。

具体实现中，概率计算模块101可以基于语义分割算法计算目标图像数据对应的概率图，可以理解的是，上述目标图像数据可以包括第一区域数据和第二区域数据，第一和第二区域数据可以是图2中的左右子区域，进而，上述概率图可以包括第一区域数据对应的第一概率图和第二区域数据对应的第二概率图。需要说明的是，上述概率图可以和目标图像数据的分辨率相同。

在可选实施例中，上述概率计算模块101可以包括如图4所示的下采样单元1011和上采样单元1012。

具体实现中，下采样单元1011可以利用卷积层或池化层对目标图像数据进行下采样处理，得到特征图，进一步的，上采样单元1012可以结合空间卷积操作对特征图进行上采样处理，生成目标图像数据对应的概率图。可选的，本发明实施例可以采用实时语义分割网络ENet为基本骨架，由于ENet网络结构参数少，结构相对简单，速度快，可以在低功耗设备上进行实时分割。可以理解的是，传统的卷积操作是在层与层之间执行的，而空间卷积操作是在数据张量中切片与切片之间执行的，其作用是为了建立特征图各点之间消息传递机制，不仅扩大了网络模型的感知野，也有利于神经网络提取一些具有强先验信息的语义信息，如车道线。将车道检测引入到ENet，一方面保证了分割的实时性，另一方面通过信息在特征图中横纵方向的传播，使网络更容易提取较长或较大的物体语义，从而提高物体的识别精准度。

图像拟合模块12，用于对第一概率图中的目标样本点进行图像拟合。

可以理解的是，由于左右车道线的相互平行性，车辆在正常行驶过程中，车道线相对于车辆中心对称。将输入原图像数据按照图2所示的中心分割处理后，得到的左右子区域拥有相同的车道线结构。如果在直道上行驶，左右子区域上的车道会有相近的斜率，在弯道上行驶，左右子区域上的车道会有相近的曲率半径。从某一子区域的概率图上拟合车道线时，就可以将另一子区域的概率图作为参考。

具体实现中，图像拟合模块12可以对第一概率图中的目标样本点进行图像拟合，可以理解的是，上述第一概率图可以包含很多的像素点，可以在所包含的所有像素点中选择符合要求的像素点作为样本点，例如，可以将概率图中大于概率阈值的像素点作为该概率图的样本点，优选的，概率阈值可以是0.3或者0.5。

在可选实施例中，上述图像拟合模块102可以包括如图5所示的目标点选择单元1021和样本拟合单元1022。

具体实现中，目标点选择单元1021可以在上述第一概率图的样本点中随机选择样本点作为目标样本点，进一步的，样本拟合单元1022可以基于拟合数据模型对目标样本点进行三阶贝塞尔样条拟合。需要说明的是，上述拟合数据模型即三阶贝塞尔曲线的定义为：

B(t)＝(1-t)³P₀+3(1-t)²tP₁+3(1-t)t²P₂+t³P₃

其中，t∈[0,1]，Q(0)＝P₀，Q(1)＝P₃以及P₁和P₂控制着样条的形状。

模型验证模块103，用于采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型。

具体实现中，模型验证模块103可以采用上述第二概率图中的样本点和第一概率图中除目标样本点之外的剩余样本点验证上述图像拟合的目标拟合模型。

在可选实施例中，样本判断模块107可以采用损失函数判断上述目标样本点是否符合上述拟合数据模型，当目标样本点符合拟合数据模型时，正确样本确定模块108可以将该目标样本点确定为正确样本点，正确样本点可以是能够准确描述目标图像中车道线所在位置的像素点。

在可选实施例中，当正确样本点的数量大于预设数量阈值时，有效模型确定模块109可以确定该拟合数据模型为满足一致性设置的有效拟合模型。可以理解的是，上述预设数量阈值可以是通过大量实验验证所得的数据，例如，1000。可以理解的是，检测系统可以多次随机选取目标样本点，得到的有效拟合模型对应的会有很多。目标模型确定模块110可以将包含最多正确样本点的有效拟合模型确定为上述目标拟合模型。

可以理解的是，将第二概率图中的样本点用来判断第一概率图拟合出来的车道线，一方面可以提高车道线的精准度和模型的鲁棒性；另一方面如果第一概率图的剩余样本点均为正确数据，第二概率图的样本点大部分不是正确数据，可以认为车辆在朝偏离车道线的方向行驶，这为车道线偏离系统提供了有用的信号。

数据检测模块104，用于根据所述目标拟合模型检测所述目标图像数据中的车道线。

具体实现中，数据检测模块104可以根据上述目标拟合模型检测目标图像数据中的车道线。

在本发明实施例中，通过对ROI裁剪和中心分割减少了模型输入图像的大小，降低了模型的计算量；通过语义分割获取图像的概率图，保证了分割的实时性，同时通过信息在特征图中横纵方向的传播，使网络更容易提取较长或较大的物体语义，从而提高了物体的识别精准度；最后通过改进的RANSAC拟合算法对上述概率图进行拟合，提高了检测车道线的精准度和模型的鲁棒性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种基于改进拟合算法的车道线检测方法，其特征在于，包括：

基于语义分割算法计算目标图像数据对应的概率图，所述目标图像数据包括第一区域数据和第二区域数据，所述概率图包括所述第一区域数据对应的第一概率图和所述第二区域数据对应的第二概率图；

对所述第一概率图中的目标样本点进行图像拟合；

采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型；

根据所述目标拟合模型检测所述目标图像数据中的车道线；

其中，所述样本点为从所述第一概率图和所述第二概率图的全部像素点中筛选出的样本点；

其中，对所获取的原图像数据进行预处理得到目标图像数据，所述预处理至少包括ROI裁剪、中心分割和水平翻转。

2.根据权利要求1所述的方法，其特征在于，在基于语义分割算法计算目标图像数据对应的概率图时，所述方法还包括：

对目标图像数据进行下采样处理，得到所述目标图像数据的特征图；

结合空间卷积操作对所述特征图进行上采样处理，生成所述目标图像数据对应的概率图。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述概率图中大于概率阈值的像素点作为所述概率图的样本点。

4.根据权利要求1所述的方法，其特征在于，在对所述第一概率图中的目标样本点进行图像拟合时，所述方法还包括：

在所述第一概率图的样本点中随机选择样本点作为目标样本点；

基于拟合数据模型对所述目标样本点进行三阶贝塞尔样条拟合。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

采用损失函数判断所述目标样本点是否符合所述拟合数据模型；

当所述目标样本点符合所述拟合数据模型时，将所述目标样本点确定为正确样本点。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述正确样本点的数量大于预设数量阈值时，确定所述拟合数据模型为满足一致性设置的有效拟合模型。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将包含最多正确样本点的有效拟合模型确定为所述目标拟合模型。

8.一种基于改进拟合算法的车道线检测系统，其特征在于，包括：

概率计算模块，用于基于语义分割算法计算目标图像数据对应的概率图，所述目标图像数据包括第一区域数据和第二区域数据，所述概率图包括所述第一区域数据对应的第一概率图和所述第二区域数据对应的第二概率图；

图像拟合模块，用于对所述第一概率图中的目标样本点进行图像拟合；

模型验证模块，用于采用所述第二概率图中的样本点和所述第一概率图中除所述目标样本点之外的剩余样本点验证所述图像拟合的目标拟合模型；

数据检测模块，用于根据所述目标拟合模型检测所述目标图像数据中的车道线；

其中，所述样本点为从所述第一概率图和所述第二概率图的全部像素点中筛选出的样本点；

图像处理模块，用于对所获取的原图像数据进行预处理得到目标图像数据，所述预处理至少包括ROI裁剪、中心分割和水平翻转。

Images