CN110197151A - 一种结合双分支网络和自定义函数网络的车道线检测系统及方法 - Google Patents

一种结合双分支网络和自定义函数网络的车道线检测系统及方法 Download PDF

Info

Publication number
CN110197151A
CN110197151A CN201910448334.8A CN201910448334A CN110197151A CN 110197151 A CN110197151 A CN 110197151A CN 201910448334 A CN201910448334 A CN 201910448334A CN 110197151 A CN110197151 A CN 110197151A
Authority
CN
China
Prior art keywords
lane
pixel
indicate
branching networks
double branching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910448334.8A
Other languages
English (en)
Inventor
高俊杰
陈乙庆
赵鹏
崔晓敏
王强
韩贤贤
林家乐
侯宛伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910448334.8A priority Critical patent/CN110197151A/zh
Publication of CN110197151A publication Critical patent/CN110197151A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明公开了一种结合双分支网络和自定义函数网络的车道线检测系统及方法，该方法改进经典卷积神经网络结构，重新配置编码‑解码器组成结构，形成双分支网络检测车道线；训练带有自定义损失函数的卷积网络，允许在道路坡度发生变化时对变换矩阵参数进行调整，构建自定义函数网络拟合车道像素。该方法双分支网络包括车道分段分支和车道嵌入分支，其中，分段分支将图像划分为背景和车道两部分，车道嵌入分支将车道像素分成不同实例，改进检测固定车道线的做法。该方法自定义函数网络生成可变换矩阵拟合车道像素，解决远处车道像素拟合差问题。本发明提出采用双分支网络和自定义函数网络检测车道线，解决了道路复杂状况下检测准确率低的技术问题。

Description

一种结合双分支网络和自定义函数网络的车道线检测系统及 方法
技术领域
本发明属于无人驾驶技术领域，具体涉及一种结合双分支网络和自定义函数网络的车道线检测系统及方法，适用于车辆变道状况以及道路平面坡度变化情况下的检测。
背景技术
车道线检测作为无人驾驶领域的重要环节、智能辅助驾驶的重要组成部分，对于减小道路交通事故具有重要作用，得到科研人员和工程实践人员的高度重视。
车道线检测定义如下：通过检测输入图像，然后运用一系列特征提取算法提取车道线像素特征，运用高阶多项式拟合车道提取像素，最终显示在原始输入图像中并输出图像。车道线检测的目的是在图像中定位当前车道线的准确位置，并据此计算出安全行驶区域。传统的车道线检测算法主要有Canny算法、Sobel算法、Robert算法、Hough变换和Gauss算法等，但传统车道线检测方法不适应于检测复杂情况下车道线，无法适应多变的道路环境，如弯曲车道线、光照强度变化以及车辆遮挡等情况。近年来，具有多级别表示特征的深度学习取得突破发展，通过组合简单但非线性的低级特征形成更加抽象的高层属性或特征，可以学习非常复杂的功能，极大地改进了复杂条件下车道线检测准确率低的问题。其中，主要用于车道线检测的深度学习网络有VGGNet网络、R-CNN网络以及YOLO网络等。该类网络对于检测固定数量的车道线以及道路平面角度不变的情况下，具有较好的检测效果，当面对车道变换以及道路坡度变化时，检测效果较差。
发明内容
本发明为了克服现有车道线检测技术存在的不足，提供了一种结合双分支网络和自定义函数网络的车道线检测方法，能够有效解决车道变化、车道线遮挡和道路平面坡度变化时检测准确率低的问题，从而能够适应复杂道路状况下的检测，提高车道线检测的鲁棒性和实时性。
本发明的技术方案为：
一种结合双分支网络和自定义函数网络的车道线检测系统，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块；其中，所述的图像输入模块与所述车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接，用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数；所述的车道实例分段分支模块与所述车道实例嵌入分支模块和所述车道线拟合模块连接，所述的车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图；所述的车道实例嵌入分支模块与所述车道线拟合模块连接，所述的车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图；所述的车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合。
另一方面，本发明提供了一种结合双分支网络和自定义函数网络的车道线检测方法，其包括以下步骤：
(1)输入道路车道线图像，设置图像尺寸、单次载入图片数以及学习率，进行检测准备；
(2)基于改进卷积神经网络结构的双分支网络，对步骤(1)中输入的道路车道图像进行车道实例分割，以生成车道线实例分割像素图，其中：
所述双分支网络共享经典卷积神经网络的编码器的第一瓶颈阶段{bottleneck1.0,bottleneck1.1,bottleneck1.2,bottleneck1.3,bottleneck1.4}和第二瓶颈阶段{bottleneck2.0，bottleneck2.1，bottleneck2.2，bottleneck2.3，bottleneck2.4，bottleneck2.5，bottleneck2.6，bottleneck2.7，bottleneck2.8}，并且，将经典卷积神经网络的编码器的第三瓶颈阶段{bottleneck3.0，bottleneck3.1，bottleneck3.2，bottleneck3.3，bottleneck3.4，bottleneck3.5，bottleneck3.6，bottleneck3.7，bottleneck3.8}作为所述双分支网络的车道分段分支部分，将经典卷积神经网络的解码器的第一瓶颈阶段{bottleneck4.0，bottleneck4.1，bottleneck4.2}和第二瓶颈阶段{bottleneck5.0，bottleneck5.1}作为所述双分支网络的车道嵌入分支部分；
所述车道分段分支部分输出背景和车道线，生成二值分割图；
所述车道嵌入分支部分采用聚类损失函数，将车道分段分支部分输出的车道线的像素解开成不同的车道实例，使得属于同一车道的像素嵌入之间的距离较小，而属于不同车道像素嵌入之间的距离最大，通过引入方差项Lvar对每个嵌入项施加一个拉力和距离项Ldist将不同车道彼此分开，生成车道实例嵌入图，其中：
式中，C为车道线个数，Nc为C中元素个数，μi是车道像素嵌入，μc为C的平均嵌入，||μc-μi||表示平均嵌入与像素嵌入的距离，CA、CB表示两车道线，||μCA-μCB||表示CA车道线与CB车道线平均嵌入的距离，[δd-||μCA-μCB||]+表示0与δd-||μCA-μCB||的正数最大值，[||μC-μi||-δv]+表示0与||μc-μi-δv||的正数最大值，δv表示方差项阈值，δd表示距离项阈值，总损失L＝Lvar+Ldist；
所述双分支网络结合所述二值分割图和所述车道实例嵌入图，运用双分支网络聚类函数输出车道线实例分割像素图，作为后期车道像素拟合图像，其中：
式中，δv表示方差项阈值，δd表示距离项阈值，r表示车道嵌入阈值半径；
(3)训练卷积神经网络生成自定义损失函数，以允许在地面坡度发生变化时调整参数，构建自定义函数网络，生成可变换参数矩阵预测车道像素点，之后采用三阶多项式进行最优车道像素点拟合；
3.1)提取步骤(1)中输入的道路车道图像的数据集，输入道路车道图像进行逆透视变换到新的俯视图，运用自定义函数网络训练生成可变换参数逆透视变换矩阵；
自定义损失函数公式为：
可变换参数逆透视变换矩阵公式为：
式中，N为车道像素点个数，xi表示真实车道像素点横坐标，表示俯视图中预测车道像素点横坐标，H表示可变换参数逆透视变换矩阵，a、b、c、d、e、f表示训练产生最优参数；
3.2)对步骤(1)输入的道路车道图像进行逆透视变换到新的俯视图，生成逆透视变换后的俯视图车道像素点，公式为：
P’＝HP
其中，P'(Pi'＝[X'i,Yi',1]T∈P'，i＝1,2,...)表示经过逆透视变换后的变换车道像素点，P(Pi＝[Xi,Yi,1]T∈P，i＝1,2,..)表示真实车道像素提取点，Xi,Yi表示真实车道像素点横、纵坐标，Xi',Yi'分别表示逆透视变换后变换车道像素点横、纵坐标；
3.3)获得给定坐标y位置处的车道像素坐标x的位置，将真实车道像素提取点Pi＝[-,yi,1]T转换为经过逆透视变换后的变换车道像素点Pi'＝[-,y'i,1]T，在每个y'i位置处预测车道像素点及坐标
3.4)运用三阶多项式f(y')＝αy'2+βy'+γ通过最小二乘法w＝(YTY)-1YTx'拟合步骤3.3)获得的预测车道像素点式中：
α、β、γ分别是给定最优参数，T表示矩阵的转置，w＝[α,β,γ]T为最小二乘法表示字母，x'＝[x1',x'2,x3',...,x'N]T表示变换车道像素点P'横坐标组合，y'＝[y1',y'2,y3',...,y'N]T表示可变换参数矩阵变换车道像素点P'纵坐标组合，为最小二乘法公式中要求矩阵；
3.5)拟合预测车道像素点透视变换到步骤(1)中输入的道路车道图像，得到不同车道位置的车道像素点
运用聚类损失函数将步骤(2)中输出的车道线实例分割像素图，以及步骤3.4)中经拟合的预测车道像素点经透视变换投影到步骤(1)输入的道路车道图像中，获得最终检测结果图像，聚类损失函数的透视变换公式为：
其中，是投影到步骤(1)输入的道路车道图像中的车道像素点，为预测车道像素点，H-1表示透视变换矩阵。
进一步地，在步骤(1)中输入的道路车道线图像，用于双分支网络，嵌入维度是4，图像尺寸设置为512*256，批量载入图像数目为8，学习率为0.0005；用于自定义函数网络，图像尺寸缩放为128*64，批量载入图像数目为10，学习率为0.00005。
本发明的有益效果：本发明提供一种结合双分支网络和自定义函数网络的车道线检测方法，所述方法针对车道线检测无法解决车道变换以及坡度道路像素拟合问题，将车道线检测问题转化为车道实例分割问题。该方法包括车道分段分支和车道嵌入分支，解决了车道变换的问题，可以处理可变数量的车道。本发明采用逆透视变换的方式将车道像素投影到俯视图中，运用自定义函数网络生成可变换矩阵并对车道像素进行变换，运用高阶多项式进行车道像素拟合。本方法能够检测可变数量的车道线，并能够解决车辆变道坡度平面远处像素点拟合不准确的问题，具有很好的鲁棒性。
附图说明
图1是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法的流程图。
图2是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中车道线检测结构图。
图3是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中数据集预处理流程图。
图4是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中双分支网络检测车道线流程图。
图5a-1至图5c-2是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中双分支网络的检测结果图，其中，图5a-1、图5a-2是网络检测输入图像；图5b-1、图5b-2是分别对应图5a-1、图5a-2的双分支网络车道分段分支输出二值分割图；图5c-1、图5c-2是分别对应图5a-1、图5a-2的双分支网络车道嵌入分支输出实例嵌入图。
图6是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中自定义函数网络拟合车道像素流程图。
图7，其包括(a)至(c)，显示本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法中自定义函数网络生成可变换矩阵拟合车道像素原理图；图7中的(a)是提取五个真实车道像素点(xi,yi)；图7中的(b)为变换像素点(x'i,y'i)预测生成新车道像素点图7中的(c)是在输入图像中显示新的透视变换车道线像素点
图8a-1和图8b-2是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法的车道线像素拟合结果对比图，其中，图8a-1、图8a-2分别是采用固定变换矩阵拟合车道像素点结果图；图8b-1、图8b-2分别是对应于图8a-1、图8a-2的采用自定义函数网络生成可变换矩阵拟合车道像素点结果图。
图9a-1至图9f-3是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法的车道线检测结果图；图9a-1、图9a-2、图9a-3是光照条件不好或车道线不清晰条件图像；图9b-1、图9b-2、图9b-3分别是对应图9a-1、图9a-2、图9a-3的光照条件不好或车道线不清晰条件车道线检测结果；图9c-1、图9c-2、图9c-3是曲线条件图像；图9d-1、图9d-2、图9d-3分别是对应于图9c-1、图9c-2、图9c-3的曲线条件下车道线检测结果；图9e-1、图9e-2、图9e-3是车道线被遮挡情况下图像；图9f-1、图9f-2、图9f-3分别是对应图9e-1、图9e-2、图9e-3的车道线被遮挡情况下的车道线检测结果。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
图1是本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法的流程图。参见图1，在本实施例中提供了一种结合双分支网络和自定义函数网络的车道线检测方法。在本实施例提供的车道线检测方法，将车道线检测问题转化为实例分割问题进行求解，运用双分支网络检测车道像素，双分支网络包括车道分段分支和车道嵌入分支两个分支。在车道像素拟合中，本发明实施例中提供的车道线检测方法训练一个带有自定义损失函数的卷积神经网络，允许网络在道路平面发生变化时调整参数，构建自定义函数网络，生成可变换矩阵拟合车道像素，从而得到最优拟合效果。
实施例：结合双分支网络和自定义函数网络的车道线检测系统及方法
本实施例中提供一种结合双分支网络和自定义函数网络的车道线检测系统，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块。
其中，图像输入模块与车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接。图像输入模块用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数。
车道实例分段分支模块与车道实例嵌入分支模块和车道线拟合模块连接，车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图。
车道实例嵌入分支模块与车道线拟合模块连接，车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图。
车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合。
以下详细描述车道线检测过程中的具体步骤：
(1)输入道路车道线图像，设置图像尺寸、单次载入图片数以及学习率，进行检测准备。
具体地，对输入的道路车道线图像进行参数与图片输入尺寸设置，选取在不同道路环境、不同天气条件和不同车道线数目情况下的图像数据集，构建训练数据库；网络总共包括3626次图像训练和1000次图像测试。在车道线检测网络中，双分支网络的嵌入维度是4，图像尺寸为512*256，批量载入图像数目为8，学习率为0.0005；在车道像素拟合中，自定义函数网络主要针对三阶多项式进行训练，图像尺寸缩放为128*64，批量载入图像数目为10，学习率为0.00005。
(2)基于改进卷积神经网络结构的双分支网络，对步骤(1)中输入的道路车道图像进行车道实例分割，以生成车道线实例分割像素图。
基于改进卷积神经网络结构的双分支网络将车道线检测转化为实例分割问题。双分支网络包括车道分段分支和车道嵌入分支两部分，车道分段分支提取车道线像素并将环境像素灰色显示，输出背景和车道两个类别，车道嵌入分支进一步将分割的车道像素解开成不同的车道实例。
双分支网络是基于改进卷积神经网络，经典卷积神经网络由编码器和解码器两部分组成，其中，编码器由三个瓶颈阶段组成，分别是{bottleneck1.0，bottleneck1.1，bottleneck1.2，bottleneck1.3，bottleneck1.4}、{bottleneck2.0，bottleneck2.1，bottleneck2.2，bottleneck2.3，bottleneck2.4，bottleneck2.5，bottleneck2.6，bottleneck2.7，bottleneck2.8}、{bottleneck3.0，bottleneck3.1，bottleneck3.2，bottleneck3.3，bottleneck3.4，bottleneck3.5，bottleneck3.6，bottleneck3.7，bottleneck3.8}，解码器由两个瓶颈阶段组成，分别是{bottleneck4.0，bottleneck4.1，bottleneck4.2}、{bottleneck5.0，bottleneck5.1}，编码器包括的参数结构多于解码器的参数结构，这会导致检测不准确问题。基于此，本发明将编码器的前两个瓶颈阶段作为双分支网络的共享阶段，编码器最后一个阶段作为双分支网络的分段分支部分，解码器作为双分支网络的嵌入分支部分。
双分支网络的分段分支高亮显示属于车道线像素特征点，非车道线部分黑色显示，生成二值分割图，检测结果如图5b-1至图5b-2所示。
车道嵌入分支部分将车道分段分支输出的车道线像素解开成不同的车道实例，生成车道实例嵌入图，检测结果如图5c-1至图5c-2所示。具体地，车道嵌入分支部分采用聚类损失函数，将车道分段分支部分输出的车道线的像素解开成不同的车道实例，使得属于同一车道的像素嵌入之间的距离较小，而属于不同车道像素嵌入之间的距离最大，通过引入方差项Lvar对每个嵌入项施加一个拉力和距离项Ldist将不同车道彼此分开，生成车道实例嵌入图，其中：
式中，C为车道线个数，Nc为C中元素个数，μi是车道像素嵌入，μc为C的平均嵌入，||μc-μi||表示平均嵌入与像素嵌入的距离，CA、CB表示两车道线，||μCA-μCB||表示CA车道线与CB车道线平均嵌入的距离，[δd-||μCA-μCB||]+表示0与δd-||μCA-μCB||的正数最大值，[||μC-μi||-δv]+表示0与||μc-μi-δv||的正数最大值，δv表示方差项阈值，δd表示距离项阈值，总损失L＝Lvar+Ldist。
双分支网络结合二值分割图和生成车道实例嵌入图，运用双分支网络聚类函数输出车道线实例分割像素图，作为后期车道像素拟合图像，其中：
式中，δv表示方差项阈值，δd表示距离项阈值，r表示车道嵌入阈值半径。
(3)训练卷积神经网络生成自定义损失函数，以允许在地面坡度发生变化时调整参数，构建自定义函数网络，生成可变换参数矩阵预测车道像素点，之后采用三阶多项式进行最优车道像素点拟合。
步骤3.1)提取步骤(1)中输入的道路车道图像的数据集，输入道路车道图像进行逆透视变换到新的俯视图，运用自定义函数网络训练生成可变换参数逆透视变换矩阵；
自定义损失函数公式为：
可变换参数逆透视变换矩阵公式为：
式中，N为车道像素点个数，xi表示真实车道像素点横坐标，表示俯视图中预测车道像素点横坐标，H表示可变换参数逆透视变换矩阵，a、b、c、d、e、f表示训练产生最优参数。
步骤3.2)对步骤(1)输入的道路车道图像进行逆透视变换到新的俯视图，生成逆透视变换后的俯视图车道像素点，公式为：
P’＝HP
其中，P'(Pi'＝[X'i,Yi',1]T∈P'，i＝1,2,...)表示经过逆透视变换后的变换车道像素点，P(Pi＝[Xi,Yi,1]T∈P，i＝1,2,..)表示真实车道像素提取点，Xi,Yi表示真实车道像素点横、纵坐标，Xi',Yi'分别表示逆透视变换后变换车道像素点横、纵坐标；
步骤3.3)获得给定坐标y位置处的车道像素坐标x的位置，将真实车道像素提取点Pi＝[-,yi,1]T转换为经过逆透视变换后的变换车道像素点Pi'＝[-,y'i,1]T，在每个y'i位置处预测车道像素点及坐标
步骤3.4)运用三阶多项式f(y')＝αy'2+βy'+γ通过最小二乘法w＝(YTY)-1YTx'拟合步骤3.3)获得的预测车道像素点式中：
α、β、γ分别是给定最优参数，T表示矩阵的转置，w＝[α,β,γ]T为最小二乘法表示字母，x'＝[x1',x2',x3',...,xN']T表示变换车道像素点P'横坐标组合，y'＝[y1',y2',y3',...,yN']T表示可变换参数矩阵变换车道像素点P'纵坐标组合，为最小二乘法公式中要求矩阵。
步骤3.5)拟合预测车道像素点透视变换到步骤(1)中输入的道路车道图像，得到不同车道位置的车道像素点
运用聚类损失函数将步骤(2)中输出的车道线实例分割像素图，以及步骤3.4)中经拟合的预测车道像素点经透视变换投影到步骤(1)输入的道路车道图像中，获得最终检测结果图像，聚类损失函数的透视变换公式为：
其中，是投影到步骤(1)输入的道路车道图像中的车道像素点，为预测车道像素点，H-1表示透视变换矩阵。
测试例
运用检测准确率、错误预测率以及漏检率来评价网络的检测精度，将本发明实施例中提供的检测方法的检测结果与经典卷积神经网络做对比，本发明提供的检测方法在复杂道路状况下检测准确率更高，鲁棒性更好。
检测准确率具体为：运用每个图像检测的正确点的数量与地面点数总数量的比值表示检测的准确率；运用错误预测的车道数量与预测的车道数量比值表示假阳性分数；运用未检测到的真实车道线与真实车道线的总数量的比值表示假阴性分数；通过以上三个标准来衡量车道线检测准确率。
如图8a-1和图8a-2所示为运用固定变换矩阵拟合车道像素，可以看出，远处车道像素拟合较差；如图8b-1和图8b-2所示为运用本发明的提供的自定义函数网络生成的可变换矩阵拟合车道像素，可以看出，远处车道像素拟合较好，准确率较高。
通过对光照条件不好、线条不清晰、曲线车道线以及有车辆遮挡等复杂情况下进行车道线检测，选取不同道路环境下图片，保证检测的全面性，验证本发明的检测方法的鲁棒性更高。如图9b-1至图9b-3所示为光照条件不好或者车道线不清晰情况下、图9d-1至图9d-3所示为弯曲车道情况下、图9f-1至图9f-3所示为有车辆遮挡情况下车道线检测结果图。
根据本实施例中的一种结合双分支网络和自定义函数网络的车道线检测方法，选取不同道路环境下图片，对光照条件不好、曲线车道线、车辆遮挡以及坡道路面等复杂情况下进行检测，保证检测的全面性。在使用高阶多项式拟合车道线像素过程中，本发明分别采用固定变换矩阵以及自定义函数网络训练生成的可变换矩阵进行比较，选择可变换矩阵作为最优车道线像素拟合。每个图像检测车道线结果的准确率与准确性评价公式为：
其中，Cim表示正确点的数量，Sim表示地面点数的总数。本实施例中提供假阳性和假阴性分数来检测准确性，具体公式为：
其中，Fpred表示错误预测车道的数量，Npred表示预测的车道数量，Mpred表示未检测到的真实车道线，Ngt表示真实车道的总数量。
本实施例中，共选取包含不同复杂道路环境1000张图森数据集图片进行车道线检测，检测结果对比如下表所示：
通过与其他卷积神经网络算法得知，本发明实施例中提供的一种结合双分支网络和自定义函数网络的车道线检测方法具有较高的检测率，错误预测率比原有卷积网络低，漏检率也优于现有的卷积神经网络。
以上示例性实施方式所呈现的描述仅用以说明本发明的技术方案，并不想要成为毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，本领域的普通技术人员根据上述教导做出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。

Claims (3)

1.一种结合双分支网络和自定义函数网络的车道线检测系统，其特征在于，其包括图像输入模块、车道实例分段分支模块、车道实例嵌入分支模块、车道线拟合模块；其中，
所述的图像输入模块分别与所述车道实例分段分支模块、车道实例嵌入分支模块和车道线拟合模块连接，用于输入道路车道图像，并设定输入道路车道图像尺寸，以及设置双分支网络和自定义函数网络的输入参数；
所述的车道实例分段分支模块分别与所述车道实例嵌入分支模块、所述车道线拟合模块连接，所述的车道实例分段分支模块基于改进卷积神经网络结构的双分支网络对输入图像进行实例分割，使每条车道线形成自己的实例，输出背景和车道线，生成二值分割图；
所述的车道实例嵌入分支模块与所述车道线拟合模块连接，所述的车道实例嵌入分支模块利用距离度量原理，运用所述双分支网络将车道实例分段分支模块输出的车道线像素解开成不同的车道实例，使得属于同一车道的像素之间距离最小，属于不同车道的像素之间的距离最大，生成车道实例嵌入图；
所述的车道线拟合模块训练一个带有自定义损失函数网络，该网络被端到端的优化，允许在道路平面发生变化时调整参数，在俯视图中预测车道像素位置，采用三阶多项式进行最优像素拟合，获得最终检测结果图像。
2.一种结合双分支网络和自定义函数网络的车道线检测方法，其特征在于，所述的车道线检测方法包括以下步骤：
(1)输入道路车道线图像，设置图像尺寸、单次载入图片数以及学习率，进行检测准备；
(2)基于改进卷积神经网络结构的双分支网络，对步骤(1)中输入的道路车道图像进行车道实例分割，以生成车道线实例分割像素图，其中：
所述双分支网络共享经典卷积神经网络的编码器的第一瓶颈阶段{bottleneck1.0,bottleneck1.1,bottleneck1.2,bottleneck1.3,bottleneck1.4}和第二瓶颈阶段{bottleneck2.0，bottleneck2.1，bottleneck2.2，bottleneck2.3，bottleneck2.4，bottleneck2.5，bottleneck2.6，bottleneck2.7，bottleneck2.8}，并且，将经典卷积神经网络的编码器的第三瓶颈阶段{bottleneck3.0，bottleneck3.1，bottleneck3.2，bottleneck3.3，bottleneck3.4，bottleneck3.5，bottleneck3.6，bottleneck3.7，bottleneck3.8}作为所述双分支网络的车道分段分支部分，将经典卷积神经网络的解码器的第一瓶颈阶段{bottleneck4.0，bottleneck4.1，bottleneck4.2}和第二瓶颈阶段{bottleneck5.0，bottleneck5.1}作为所述双分支网络的车道嵌入分支部分；
所述车道分段分支部分输出背景和车道线，生成二值分割图；
所述车道嵌入分支部分采用双分支网络聚类损失函数，将车道分段分支部分输出的车道线的像素解开成不同的车道实例，使得属于同一车道的像素嵌入之间的距离较小，而属于不同车道像素嵌入之间的距离最大，通过引入方差项Lvar对每个嵌入项施加一个拉力和距离项Ldist将不同车道彼此分开，生成车道实例嵌入图，其中：
式中，C为车道线个数，Nc为C中元素个数，μi是车道像素嵌入，μc为C的平均嵌入，||μc-μi||表示平均嵌入与像素嵌入的距离，CA、CB表示两车道线，||μCA-μCB||表示CA车道线与CB车道线平均嵌入的距离，[δd-||μCA-μCB||]+表示0与δd-||μCA-μCB||的正数最大值，[||μC-μi||-δv]+表示0与||μc-μi-δv||的正数最大值，δv表示方差项阈值，δd表示距离项阈值，总损失L＝Lvar+Ldist；
所述双分支网络结合所述二值分割图和所述车道实例嵌入图，运用双分支网络聚类损失函数输出车道线实例分割像素图，作为后期车道像素拟合图像，其中：
式中，δv表示方差项阈值，δd表示距离项阈值，r表示车道嵌入阈值半径；(3)训练卷积神经网络生成自定义损失函数，以允许在地面坡度发生变化时调整参数，构建自定义函数网络，生成可变换参数矩阵预测车道像素点，之后采用三阶多项式进行最优车道像素点拟合，
3.1)提取步骤(1)中输入的道路车道图像的数据集，输入道路车道图像进行逆透视变换到新的俯视图，运用自定义函数网络训练生成可变换参数逆透视变换矩阵；
自定义损失函数公式为：
可变换参数逆透视变换矩阵公式为：
式中，N为车道像素点个数，xi表示真实车道像素点横坐标，xi *表示俯视图中预测车道像素点横坐标，H表示可变换参数逆透视变换矩阵，a、b、c、d、e、f表示训练产生最优参数；
3.2)对步骤(1)输入的道路车道图像进行逆透视变换到新的俯视图，生成逆透视变换后的俯视图车道像素点，公式为：
P’＝HP
其中，P'(P'i＝[X'i,Y'i,1]T∈P'，i＝1,2,...)表示经过逆透视变换后的变换车道像素点，P(Pi＝[Xi,Yi,1]T∈P，i＝1,2,..)表示真实车道像素提取点，Xi,Yi表示真实车道像素点横、纵坐标，X'i,Y'i分别表示逆透视变换后变换车道像素点横、纵坐标；
3.3)获得给定坐标y位置处的车道像素坐标x的位置，将真实车道像素提取点Pi＝[-,yi,1]T转换为经过逆透视变换后的变换车道像素点P'i＝[-,y'i,1]T，在每个y'i位置处预测车道像素点及坐标
3.4)运用三阶多项式f(y')＝αy'2+βy'+γ通过最小二乘法w＝(YTY)-1YTx'拟合步骤3.3)获得的预测车道像素点
式中，α、β、γ分别是给定最优参数，T表示矩阵的转置，w＝[α,β,γ]T为最小二乘法表示字母，x'＝[x'1,x'2,x'3,...,x'N]T表示变换车道像素点P'横坐标组合，y'＝[y'1,y'2,y'3,...,y'N]T表示可变换参数矩阵变换车道像素点P'纵坐标组合，为最小二乘法公式中要求矩阵；
3.5)拟合预测车道像素点透视变换到步骤(1)中输入的道路车道图像，得到不同车道位置的车道像素点
运用聚类损失函数将步骤(2)中输出的车道线实例分割像素图，以及步骤3.4)中经拟合的预测车道像素点经透视变换投影到步骤(1)输入的道路车道图像中，获得最终检测结果图像，聚类损失函数的透视变换公式为：
其中，是投影到步骤(1)输入的道路车道图像中的车道像素点，为预测车道像素点，H-1表示透视变换矩阵。
3.根据权利要求2所述的结合双分支网络和自定义函数网络的车道线检测方法，其特征在于，在步骤(1)中输入的道路车道线图像，用于双分支网络，嵌入维度是4，图像尺寸设置为512*256，批量载入图像数目为8，学习率为0.0005；用于自定义函数网络，图像尺寸缩放为128*64，批量载入图像数目为10，学习率为0.00005。
CN201910448334.8A 2019-05-28 2019-05-28 一种结合双分支网络和自定义函数网络的车道线检测系统及方法 Withdrawn CN110197151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910448334.8A CN110197151A (zh) 2019-05-28 2019-05-28 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910448334.8A CN110197151A (zh) 2019-05-28 2019-05-28 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Publications (1)

Publication Number Publication Date
CN110197151A true CN110197151A (zh) 2019-09-03

Family

ID=67753180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910448334.8A Withdrawn CN110197151A (zh) 2019-05-28 2019-05-28 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Country Status (1)

Country Link
CN (1) CN110197151A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110562258A (zh) * 2019-09-30 2019-12-13 驭势科技（北京）有限公司 一种车辆自动换道决策的方法、车载设备和存储介质
CN110765916A (zh) * 2019-10-17 2020-02-07 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN110796003A (zh) * 2019-09-24 2020-02-14 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111460921A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于多任务语义分割的车道线检测方法
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN112686080A (zh) * 2019-10-17 2021-04-20 北京京东乾石科技有限公司 进行车道线检测的方法和装置
CN113239865A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 基于深度学习的车道线检测方法
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446785A (zh) * 2016-08-30 2017-02-22 电子科技大学 基于双目视觉的可行道路检测方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446785A (zh) * 2016-08-30 2017-02-22 电子科技大学 基于双目视觉的可行道路检测方法
CN108009524A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于全卷积网络的车道线检测方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIMAN KIM等: "End-to-End Ego Lane Estimation based on", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796003B (zh) * 2019-09-24 2022-04-26 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN110796003A (zh) * 2019-09-24 2020-02-14 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN110562258A (zh) * 2019-09-30 2019-12-13 驭势科技（北京）有限公司 一种车辆自动换道决策的方法、车载设备和存储介质
CN110765916A (zh) * 2019-10-17 2020-02-07 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN112686080A (zh) * 2019-10-17 2021-04-20 北京京东乾石科技有限公司 进行车道线检测的方法和装置
CN110765916B (zh) * 2019-10-17 2022-08-30 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111178245B (zh) * 2019-12-27 2023-12-22 佑驾创新(北京)技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111460921A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于多任务语义分割的车道线检测方法
CN111460921B (zh) * 2020-03-13 2023-05-26 华南理工大学 一种基于多任务语义分割的车道线检测方法
CN111582083B (zh) * 2020-04-25 2023-05-23 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN113239865A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 基于深度学习的车道线检测方法
CN113239865B (zh) * 2021-05-31 2023-03-10 西安电子科技大学 基于深度学习的车道线检测方法
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN114120258A (zh) * 2022-01-26 2022-03-01 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质
CN114120258B (zh) * 2022-01-26 2022-05-03 深圳佑驾创新科技有限公司 一种车道线识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110197151A (zh) 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN109063723B (zh) 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN106997597B (zh) 一种基于有监督显著性检测的目标跟踪方法
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN107368831A (zh) 一种自然场景图像中的英文文字和数字识别方法
CN104573685B (zh) 一种基于线性结构提取的自然场景文本检测方法
CN102831427B (zh) 一种融合视觉显著性和灰度共生矩的纹理特征提取方法
CN105279519B (zh) 基于协同训练半监督学习的遥感影像水体提取方法及系统
CN101713776A (zh) 一种基于神经网络的尿液中有形成分识别分类方法
CN103679677B (zh) 一种基于模型互更新的双模图像决策级融合跟踪方法
CN109766887A (zh) 一种基于级联沙漏神经网络的多目标检测方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN108229589A (zh) 一种基于迁移学习的地基云图分类方法
CN105069481A (zh) 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN106023224A (zh) 一种中药材显微图像的pcnn自动分割方法
CN110533086A (zh) 图像数据半自动标注方法
CN107729312A (zh) 基于序列标注建模的多粒度分词方法及系统
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
CN104598916B (zh) 一种火车识别系统的构建方法和火车识别的方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN105469111A (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN108509980A (zh) 一种基于字典学习的水位监测方法
CN106960185A (zh) 线性判别深度信念网络的多姿态人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190903