CN109740465A - 一种基于实例分割神经网络框架的车道线检测算法 - Google Patents

一种基于实例分割神经网络框架的车道线检测算法 Download PDF

Info

Publication number
CN109740465A
CN109740465A CN201811580090.0A CN201811580090A CN109740465A CN 109740465 A CN109740465 A CN 109740465A CN 201811580090 A CN201811580090 A CN 201811580090A CN 109740465 A CN109740465 A CN 109740465A
Authority
CN
China
Prior art keywords
pixel
lane line
lane
original image
birds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811580090.0A
Other languages
English (en)
Other versions
CN109740465B (zh
Inventor
刘华军
胡威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811580090.0A priority Critical patent/CN109740465B/zh
Publication of CN109740465A publication Critical patent/CN109740465A/zh
Application granted granted Critical
Publication of CN109740465B publication Critical patent/CN109740465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割神经网络框架的车道线检测算法。该方法为:首先建立车道线检测的实例分割模型,包括二值分割模块分支与嵌入模块分支;将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开;将原始图像信息载入到嵌入模块分支中,得到车道线的像素嵌入向量;然后对车道线像素和像素嵌入向量进行聚类;接着将原始图像利用变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,将车道线像素通过投影变换矩阵投影到鸟瞰图中;最后对投影到鸟瞰图中的像素点进行车道线拟合,将车道线拟合结果进行输出。本发明减少了计算量,同时消除了环境变化对车道线检测效果的影响。

Description

一种基于实例分割神经网络框架的车道线检测算法
技术领域
本发明涉及智能交通技术领域,特别是一种基于实例分割神经网络框架的车道线检测算法。
背景技术
车道线检测是辅助驾驶和无人驾驶领域的基础,车道线检测的效果好坏将直接影响后续的车道线保持、变道、超车等功能的实现。车道线检测的基本思路是通过传感器采集当前车道信息,分析车道线的图像特征信息,如颜色、边缘、宽度等,对道路进行分割提取,检测出车道线内的可通行区域与周围的环境区域。当前已有的车道线检测硬件方案按照采用传感器的数目不同分为单传感器和多传感器两大类,其中多传感器又可以分为同源传感器(如双目摄像头)和异源传感器(如激光雷达加摄像头)两种。在这些传感器方案中,单传感器方案由于具有最佳的性价比,是当前市场上最常见的硬件方案。
车道线检测方法,按照使用方法原理的不同,分为传统方法与机器学习方法两种。传统的车道检测方法,是通过手工特征标记和启发式识别来进行车道线检测工作的,其中手工特征标记的优劣对于车道线检测的结果有着非常大的影响,需要非常高的专业度。一般而言,手工标记的特征有基于颜色的特征、结构张量、条形过滤器和脊线特征等。在传统方法中,识别车道线之后需要采用后处理技术来滤除误检以形成最终车道。传统方法是由总结车道线的先验知识所组成的,无法对实际中的各种情况进行很好的预测,而实际过程中,由于车道的环境千差万别,光照环境、车辆遮挡、行人障碍等情况的存在,传统方法无法适用这些真实环境。
基于深度学习的车道线检测技术,用深度神经网络取代手工标记,极大的提高了效率。在标记完成后,通过构建一定量学习密集的特征检测器进行车道线预测,即在原始图像的像素级别进行学习预测,最终的到车道分段。此类方法比传统方法效果更好,能在图像标记不存在的情况下估计车道线,但此类方法存在的缺陷是生成的二元分段车道仍然需要分解到不同的车道实例中,而对于车道实例需要提前设定好车道模版如车道线数目以及分布等,这就极大的限制了该方法的适用范围。此外,当车道线与背景像素分离之后,需要将其转变为鸟瞰图才能较好的进行车道线拟合(如最小二乘拟合出一个二阶或者三阶多项式),再进一步将拟合出的结果进行输出。一般深度学习中所采用的透视变换矩阵都是固定不变的,在车道线为平的情况下具有很好的适用性,但当场景发生变化如上下坡时,原有透视矩阵就无法准确的将车道线像素投影到鸟瞰视图中,造成在下一步的车道线拟合过程中容易出现鲁棒性问题。
发明内容
本发明的目的在于提供一种适用范围广、鲁棒性高、效率高的基于实例分割神经网络框架的车道线检测算法,并且能够移植运用到车辆平台之上。
实现本发明目的的技术解决方案为:一种基于实例分割神经网络框架的车道线检测算法,包括以下步骤:
步骤1、建立车道线检测的实例分割模型,包括二值分割模块分支与嵌入模块分支;
步骤2、将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开;
步骤3、将原始图像信息载入到嵌入模块分支中,得到车道线的像素嵌入向量;
步骤4、对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,首先使用Mean-Shift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;然后对像素向量进行划分,以簇中心为圆心,以指定长度为半径,选取圆中所有的像素归为同一车道线;
步骤5、将原始图像利用变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将N个车道线像素通过投影变换矩阵投影到鸟瞰图中;
步骤6、对投影到鸟瞰图中的像素点进行车道线拟合;
步骤7、将车道线拟合结果进行输出。
进一步地,步骤2所述的将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开,具体如下:
采用标准的交叉熵损失函数,将图像像素分割为背景与车道两个类别,即将属于车道线的像素从整体图像中分割出来;由于在图像中车道线的像素数远少于背景的像素数,所以选用有界逆类加权对损失进行加权:
其中pclass为对应类别在总体样本中出现的概率,c是超参数,wclass表示交叉熵损失。
进一步地,步骤3所述的将原始图像信息载入到嵌入模块分支中,得到每根车道线像素的嵌入向量,具体如下:
使用基于距离度量学习的one-shot学习方法,对每一个像素点训练出不同的像素嵌入向量;将损失函数分为方差损失Lvar和距离损失Ldist
其中,xi为像素嵌入向量,μc为车道线的均值向量,C为嵌入向量的纬度,Nc为车道线数量,δv为方差阈值,δd为距离阈值3,μcA与μcB表示到不同车道线的均值向量;
方差损失Lvar含义是当像素嵌入向量xi与对应车道线均值向量μc的距离大于δv时,模型会进行更新,使得xi靠近μc
距离损失Ldist含义是当不同车道线均值向量μcA和μcB之间的距离小于δd时,模型会进行更新,使得μcA与μcB远离彼此;
方差损失Lvar使得像素向量向车道线的均值向量μc靠近,距离损失Ldist则会推动聚类中心远离彼此。
进一步地,步骤4所述的对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,具体如下:
首先使用Meanshift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;之后对像素嵌入向量进行划分:以簇中心为圆心,以2δv为半径,δv为方差阈值,选取圆中所有的像素归为同一车道线;重复该步骤,直到将所有的车道线像素分配给对应的车道。
进一步地,步骤5所述的将原始图像信息利用透视变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将N个车道线像素通过投影变换矩阵投影到鸟瞰图中,具体为:
训练一个透视变换矩阵用以估算输入图像的理想透视变换参数:
透视变换矩阵为具有五个未知量a、b、c、d、e、f的3*3矩阵,其中的0是为了让水平线经过投影后仍保持水平;
利用上述透视变换矩阵来进行变换,在原图中给定y位置的像素点pi=[xi,yi,1]T投射到鸟瞰图上对应的像素点为pi′=Hpi=[xi′,yi′,1]T
进一步地,步骤6所述的对投影到鸟瞰图中的像素点进行车道线拟合,具体如下:
利用拟合出的n次多项式f(y′)计算得出在鸟瞰图中对应y位置的像素点的坐标为再利用Pi *=H-1Pi*,得出也就是原图中y位置的像素点,在鸟瞰图中经拟合出的车道线方程式进行运算;
然后通过返回原图所对应的x坐标应有值大小,评估不同y位置的车道;
通过多个y位置的点,利用解析法求解多项式拟合出的f(y′)=αy′2+βy′+γ中的参数:
利用:w=(YTY)-1YTX′
其中:w=[α,β,γ]T即;
X′=[x′1,x′2,...,x′N]T
损失函数为:
其中N为点的数量,xi为原图中的像素点pi=(xi,yi)的横坐标,为点pi经由投影变换与拟合曲线再投影变化回原图的x坐标。
本发明与现有技术相比,其显著优点在于:(1)适用范围广,能在各种复杂多变的环境中获取车道线,鲁棒性高;(2)效率高,可以移植运用到车辆平台之上,具有极大的潜力。
附图说明
图1是本发明车道线实例分割网络的结构示意图。
图2是本发明基于实例分割神经网络框架的车道线检测算法的流程示意图。
图3是本发明中投影变换的流程示意图。
图4是ENet神经网络模块单元结构示意图,其中(a)是初始化模块示意图,(b)是瓶颈组件示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示,本发明建立一个实例分割网络与投影矩阵变换网络的车道线检测模型,按照算法划分可以分为实例分割算法以及投影拟合算法,其中实例分割算法为如图2所示,实例分割部分包含二值分割与向量嵌入,在经过像素的聚类处理,最终得到车道线,整个检测模块即为语实例割模块。当经由实例分割神经网络的处理之后,会从车道线实例纵选择若干像素点,将其投影到鸟瞰图中如图3左到中的部分所示,再从鸟瞰图中进行车道线拟合,如图3中右部分所示。具体框架的车道线检测算法,包括以下步骤:
步骤1、如图1的网络结构所示,建立车道线检测的实例分割模型,包括二值分割模块分支与嵌入模块分支;
步骤2、如图1双分支网络上半部分,将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开;
步骤3、如图1双分支网络下半部分,将原始图像信息载入到嵌入模块分支中,得到车道线的像素嵌入向量;
步骤4、对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,首先使用Mean-Shift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;然后对像素向量进行划分,以簇中心为圆心,以指定长度为半径,选取圆中所有的像素归为同一车道线;
步骤5、将原始图像利用变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将N个车道线像素通过投影变换矩阵投影到鸟瞰图中;
步骤6、结合图3,对投影到鸟瞰图中的像素点进行车道线拟合;
步骤7、将车道线拟合结果进行输出。
进一步地,如图1所示,双分支网络中一个将像素分为车道线与背景,另一个分支为像素加入n维向量,从而我们可以得到具有n维向量的车道线像素。步骤1所述的建立车道线检测的实例分割模型,包括二值分割模块分支与嵌入模块分支,具体如下:
对于此实例分割模型,本发明利用了编码器解码器架构的网络,即高效率神经网络(Efficient Neural Network),其弥补了基于VGG16结构的SegNet和FCN在完成像素级分割时存在的参数较多、时间资源消耗较大的问题。整个网络为非对称的编码器-解码器构架,其中编码器部分较为庞大,而解码器部分较为简单,这样是为了减少参数,进而提高网络整体运行效率。
如表1所示,ENet由以下几个部分组成:
表1
(1)初始模块:采用不重叠的2×2窗口进行最大池化,卷积有13个滤波器,这些滤波器在串联后累加到16个特征映射。如图4(a)中所示,其是用于初始化的模块,其中左边是3*3,扩展率为2的Dilated convolutions(扩张卷积),右边是最大池化,然后再将两边的结果连接(Concat)。该层的作用是将输入数据的拼接,进行通道合并,在初始化模块中,使用最大值池化与扩展卷积再连接一起能够显著的减少存贮空间。使用扩张卷积(Dilatedconvolutions),延伸了感受野,提升了进度;
(2)第一部分(Stage1),包括5个瓶颈模块,为瓶颈层组成的编码器,其中第一个瓶颈模块做下采样,后面4个重复的瓶颈模块;
(3)第二部分(Stage2)到第三部分(Stage3)为瓶颈层组成的编码器,其瓶颈模块(bottleneck)2.0做了下采样,后面加空洞卷积,或分解卷积;
(4)第三部分(Stage3)没有下采样,其他部分与第二部分(Stage2)保持一致;
(5)第四部分(Stage4)到第五部分(Stage5)为瓶颈层组成的解码器,即采用上采样配置的瓶颈模块(bottleneck);
(6)最后一层为全卷积层。
图4(b)中所示的瓶颈组件(block),其综合卷积是表示3*3滤波器的正则、膨胀或全卷积,或者是分解成两个不对称的5*5卷积。对于每个组件来说,其有两条路线,通过这两条路线来学习残差,右边的为主线,左边的为辅线,利用两条线路的结合,完成数据的处理。
瓶颈组件既用在编码器阶段,又用在解码器阶段之中。
对于编码器阶段的瓶颈部分:
1、用作下采样的瓶颈组件:
(1)主线包括三个卷积层:
A:首先是一个2*2投影等做下采样;
B:然后是卷积(Conv普通卷积,asymmetric分解卷积,Dilated空洞卷积中的一种);
C:最后是一个1*1的卷积进行升维;
在每个卷积层后都会连接一个批规范化(Bath Norm)和PReLU激活函数。
(2)辅线包括最大池化层和填充层(Padding):
A:最大池化负责提取上下文信息;
B:填充层(Padding)负责填充通道,达到后续的残差融合;
融合后再连接PReLU激活函数。
2、用作非下采样的瓶颈组件:
(1)主线包括三个卷积层:
A:首先是一个1*1投影;
B:然后是卷积(Conv普通卷积,asymmetric分解卷积,Dilated空洞卷积中的一种);
C:最后是一个1*1的卷积进行升维;
其中,在每个卷积层后都会连接一个批规范化(Bath Norm)和PReLU激活函数
(2)辅线直接恒等映射:
融合后连接PReLU激活函数。
对于解码器的中瓶颈模块,相当于编码器中的反向。
ENet之中在编码器中使用下采样,会导致丢失部分边缘信息,同时上采样也会需要较大计算量。网络输入的帧若是较大,会耗费大量时间去处理,所以先将输入压缩,只输入小的特征地图给网络结构,去除一部分图片的视觉冗余内容。由于ENet中解码器仅对编码器的输出做上采样,只需要在细节上微调,所以设计了“大编码器-小解码器”的结构。
此外,在下采样过程中,维度的改变会造成信息的丢失,所以在ENet中,执行一个池化层后连接一个卷积层,这样做会增加特征地图的深度,加大计算量。由于已知卷积的权重会有冗余,因此把大的卷积分解成更小的更简单的操作,称为低阶近似,来提升计算速度。
总体而言,由于ENet中对非对称的编码器-解码器结构、低阶近似、扩张卷积等的运用,ENet相对于其他图像语义分割网络框架具有参数少、速度快的优势,因此选用ENet网络架构作为车道线检测所用的神经网络基础。
ENet结构如表1所示,在ENet中编码器与解码器有五个部分,其中编码器三个瓶颈模块(Stage1、Stage2、Stage3),解码器有两个瓶颈模块(Stage4、Stage5)。在本发明中的车道线检测神经网络模型中,这两个分支共享编码器中的前两个瓶颈模块(Stage1、Stage2),而后面的Stage3以及解码器层(Stage4、Stage5)由各自的分支进行训练,其中二值分割模块输出类别为车道线像素以及背景像素两个类别,所以其输出格式为W*H*2;嵌入模块分支输出格式为W*H*N,其中W,H分别为原图宽和高,N为嵌入像素的维度,是一个超参数。
进一步地,步骤2所述的将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开,具体如下:
采用标准的交叉熵损失函数,将图像像素分割为背景与车道两个类别,即将属于车道线的像素从整体图像中分割出来;由于在图像中车道线的像素数远少于背景的像素数,所以选用有界逆类加权对损失进行加权:
其中pclass为对应类别在总体样本中出现的概率,c为超参数。
进一步地,步骤3所述的将原始图像信息载入到嵌入模块分支中,得到每根车道线像素的嵌入向量,具体如下:
使用基于距离度量学习的one-shot学习方法,对每一个像素点训练出不同的像素嵌入向量;为了使得属于同一条车道线的像素嵌入向量距离很小,属于不同车道线的像素嵌入向量距离很大,将损失函数分为方差损失Lvar和距离损失Ldist
其中,xi为像素嵌入向量,μc为车道线的均值向量,C为嵌入向量的纬度,此处设置为4,Nc为车道线数量,方差阈值δv设置为0.5,距离阈值δd设置为3,μcA与μcB表示到不同车道线(A、B)的均值向量;
方差损失Lvar含义是当像素嵌入向量xi与对应车道线均值向量μc的距离大于δv时,模型会进行更新,使得xi靠近μc
距离损失Ldist含义是当不同车道线均值向量μcA和μcB之间的距离小于δd时,模型会进行更新,使得μcA与μcB远离彼此;
方差损失Lvar使得像素向量向车道线的均值向量μc靠近,距离损失Ldist则会推动聚类中心远离彼此。
进一步地,步骤4所述的对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,首先使用Mean-Shift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;然后对像素向量进行划分,以簇中心为圆心,以指定长度为半径,选取圆中所有的像素归为同一车道线,具体如下:
首先使用Meanshift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;之后对像素嵌入向量进行划分:以簇中心为圆心,以2δv为半径,选取圆中所有的像素归为同一车道线;重复该步骤,直到将所有的车道线像素分配给对应的车道。
进一步地,步骤5所述的将原始图像信息利用透视变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将N个车道线像素通过投影变换矩阵投影到鸟瞰图中,具体如下:
由于当摄像头前方是上坡或者下坡等复杂情形时,车道线会出现难以拟合的情况,所以使用仿射变换将图像转换为垂直于道路上方的“鸟瞰”视角,然后再使用拟合算法进行拟合,采用的仿射变换方法是基于某些特定场景下的固定参数矩阵。
训练一个透视变换矩阵用以估算输入图像的理想透视变换参数:
透视变换矩阵为具有五个未知量的3*3矩阵,其中的0是为了让水平线经过投影后仍保持水平;得出了透视变换矩阵之后,利用此透视变换矩阵来进行变换,在原图中给定y位置的像素点pi=[xi,yi,1]T投射到鸟瞰图上对应的像素点为pi′=Hpi=[xi′,yi′,1]T
进一步地,步骤6所述的对投影到鸟瞰图中的像素点进行车道线拟合,具体如下:
利用拟合出的n次多项式f(y′)计算得出在鸟瞰图中对应y位置的像素点的坐标为再利用Pi *=H-1Pi*,得出也就是原图中y位置的像素点,在鸟瞰图中经拟合出的车道线方程式进行运算;
然后通过返回原图所对应的x坐标应有值大小,评估不同y位置的车道;
通过多个y位置的点,利用解析法求解多项式拟合出的f(y′)=αy′2+βy′+γ中的参数:
利用:w=(YTY)-1YTX′
其中:w=[α,β,γ]T即;
X′=[x′1,x′2,...,x′N]T
损失函数为:
本发明中采用训练一个神经网络来输出变换系数。神经网络将图像作为输入,并针对车道配合问题量身定制一个损失函数进行优化,从而根据输入不同的神经网络图像,输出相对应最佳的仿射变换矩阵,来提高对上下坡等路面变化情况的鲁棒性。
投影变换矩阵的网络结构如表2所示:
表2
变换矩阵网络中所使用的参数如下:
LaneNet中像素嵌入的维度是4,δv=0.5,δd=3,Batch Size(批尺寸)=8,学习率=5e-5
H-Net中Batch Size(批尺寸)=10,学习率=5e-5
综上所述,本发明适用范围广,能在各种复杂多变的环境中获取车道线,鲁棒性高;效率高,可以移植运用到车辆平台之上,具有极大的潜力。

Claims (6)

1.一种基于实例分割神经网络框架的车道线检测算法,其特征在于,包括以下步骤:
步骤1、建立车道线检测的实例分割模型,包括二值分割模块分支与嵌入模块分支;
步骤2、将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开;
步骤3、将原始图像信息载入到嵌入模块分支中,得到车道线的像素嵌入向量;
步骤4、对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,首先使用Mean-Shift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;然后对像素向量进行划分,以簇中心为圆心,以指定长度为半径,选取圆中所有的像素归为同一车道线;
步骤5、将原始图像利用变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将步骤4所得车道线像素通过投影变换矩阵投影到鸟瞰图中;
步骤6、对投影到鸟瞰图中的像素点进行车道线拟合;
步骤7、将车道线拟合结果进行输出。
2.根据权利要求1所述的基于实例分割神经网络框架的车道线检测算法,其特征在于,步骤2所述的将原始图像信息载入到二值分割模块分支中,将车道线像素与背景像素分割开,具体如下:
采用标准的交叉熵损失函数,将图像像素分割为背景与车道两个类别,即将属于车道线的像素从整体图像中分割出来;由于在图像中车道线的像素数远少于背景的像素数,所以选用有界逆类加权对损失进行加权:
其中pclass为对应类别在总体样本中出现的概率,c是超参数,wclass表示交叉熵损失。
3.根据权利要求1所述的基于实例分割神经网络框架的车道线检测算法,其特征在于,步骤3所述的将原始图像信息载入到嵌入模块分支中,得到每根车道线像素的嵌入向量,具体如下:
使用基于距离度量学习的one-shot学习方法,对每一个像素点训练出不同的像素嵌入向量;将损失函数分为方差损失Lvar和距离损失Ldist
其中,xi为像素嵌入向量,μc为车道线的均值向量,C为嵌入向量的纬度,Nc为车道线数量,δv为方差阈值,δd为距离阈值3,μcA与μcB表示到不同车道线的均值向量;
方差损失Lvar含义是当像素嵌入向量xi与对应车道线均值向量μc的距离大于δv时,模型会进行更新,使得xi靠近μc
距离损失Ldist含义是当不同车道线均值向量μcA和μcB之间的距离小于δd时,模型会进行更新,使得μcA与μcB远离彼此;
方差损失Lvar使得像素向量向车道线的均值向量μc靠近,距离损失Ldist则会推动聚类中心远离彼此。
4.根据权利要求1所述的基于实例分割神经网络框架的车道线检测算法,其特征在于,步骤4所述的对步骤2得到的车道线像素和步骤3得到的像素嵌入向量进行聚类,具体如下:
首先使用Meanshift聚类,使得簇中心沿着密度上升的方向移动,防止将离群点选入相同的簇中;之后对像素嵌入向量进行划分:以簇中心为圆心,以2δv为半径,δv为方差阈值,选取圆中所有的像素归为同一车道线;重复该步骤,直到将所有的车道线像素分配给对应的车道。
5.根据权利要求1所述的基于实例分割神经网络框架的车道线检测算法,其特征在于,步骤5所述的将原始图像信息利用透视变换矩阵网络模块进行变换,输出鸟瞰图的投影变换矩阵,然后将N个车道线像素通过投影变换矩阵投影到鸟瞰图中,具体为:
训练一个透视变换矩阵用以估算输入图像的理想透视变换参数:
透视变换矩阵为具有五个未知量a、b、c、d、e、f的3*3矩阵,其中的0是为了让水平线经过投影后仍保持水平;
利用上述透视变换矩阵来进行变换,在原图中给定y位置的像素点pi=[xi,yi,1]T投射到鸟瞰图上对应的像素点为pi′=Hpi=[xi′,yi′,1]T
6.根据权利要求1所述的基于实例分割神经网络框架的车道线检测算法,其特征在于,步骤6所述的对投影到鸟瞰图中的像素点进行车道线拟合,具体如下:
利用拟合出的n次多项式f(y′)计算得出在鸟瞰图中对应y位置的像素点的坐标为再利用Pi *=H-1Pi*,得出也就是原图中y位置的像素点,在鸟瞰图中经拟合出的车道线方程式进行运算;
然后通过返回原图所对应的x坐标应有值大小,评估不同y位置的车道;
通过多个y位置的点,利用解析法求解多项式拟合出的f(y′)=αy′2+βy′+γ中的参数:
利用:w=(YTY)-1YTX′
其中:w=[α,β,γ]T即;
X′=[x′1,x′2,...,x′N]T
损失函数为:
其中N为点的数量,xi为原图中的像素点pi=(xi,yi)的横坐标,为点pi经由投影变换与拟合曲线再投影变化回原图的x坐标。
CN201811580090.0A 2018-12-24 2018-12-24 一种基于实例分割神经网络框架的车道线检测算法 Active CN109740465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811580090.0A CN109740465B (zh) 2018-12-24 2018-12-24 一种基于实例分割神经网络框架的车道线检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811580090.0A CN109740465B (zh) 2018-12-24 2018-12-24 一种基于实例分割神经网络框架的车道线检测算法

Publications (2)

Publication Number Publication Date
CN109740465A true CN109740465A (zh) 2019-05-10
CN109740465B CN109740465B (zh) 2022-09-27

Family

ID=66361104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811580090.0A Active CN109740465B (zh) 2018-12-24 2018-12-24 一种基于实例分割神经网络框架的车道线检测算法

Country Status (1)

Country Link
CN (1) CN109740465B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN110599497A (zh) * 2019-07-31 2019-12-20 中国地质大学(武汉) 一种基于深度神经网络的可行驶区域分割方法
CN110765916A (zh) * 2019-10-17 2020-02-07 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN110796003A (zh) * 2019-09-24 2020-02-14 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN110889859A (zh) * 2019-11-11 2020-03-17 珠海上工医信科技有限公司 一种用于眼底图像血管分割的u型网络
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其系统
CN111161090A (zh) * 2019-11-26 2020-05-15 北京海益同展信息科技有限公司 圈养栏信息的确定方法、装置及系统、存储介质
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111274926A (zh) * 2020-01-17 2020-06-12 深圳佑驾创新科技有限公司 图像数据筛选方法、装置、计算机设备和存储介质
CN111368804A (zh) * 2020-03-31 2020-07-03 河北科技大学 车道线检测方法、系统及终端设备
CN111368732A (zh) * 2020-03-04 2020-07-03 北京百度网讯科技有限公司 用于检测车道线的方法和装置
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN111443704A (zh) * 2019-12-19 2020-07-24 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111767853A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 车道线检测方法和装置
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111914749A (zh) * 2020-07-31 2020-11-10 博康智能信息技术有限公司 基于神经网络的车道线识别方法及其系统
CN111986209A (zh) * 2020-06-24 2020-11-24 深圳市自行科技有限公司 基于铁轨实例分割预测列车可行驶区域系统和方法
CN111996883A (zh) * 2020-08-28 2020-11-27 四川长虹电器股份有限公司 一种检测公路路面宽度的方法
CN112613392A (zh) * 2020-12-18 2021-04-06 北京新能源汽车技术创新中心有限公司 基于语义分割的车道线检测方法、装置、系统及存储介质
CN112668579A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于自适应亲和力和类别分配的弱监督语义分割方法
CN113158810A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种基于ENet改进的轻量实时车道线分割方法
CN113449647A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113591558A (zh) * 2021-06-22 2021-11-02 上海中安电子信息科技有限公司 一种基于LaneNet的车道线检测方法
CN113688721A (zh) * 2021-08-20 2021-11-23 北京京东乾石科技有限公司 用于拟合车道线的方法及装置
CN113739811A (zh) * 2021-09-03 2021-12-03 阿波罗智能技术(北京)有限公司 关键点检测模型的训练和高精地图车道线的生成方法设备
CN113781374A (zh) * 2021-08-30 2021-12-10 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN115019278A (zh) * 2022-07-13 2022-09-06 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质
CN115082928A (zh) * 2022-06-21 2022-09-20 电子科技大学 面向复杂场景的不对称双分支实时语义分割网络的方法
CN117745793A (zh) * 2024-01-30 2024-03-22 北京交通发展研究院 一种慢行道路宽度测量方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN107563314A (zh) * 2017-08-18 2018-01-09 电子科技大学 一种基于平行坐标系的车道线检测方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN107563314A (zh) * 2017-08-18 2018-01-09 电子科技大学 一种基于平行坐标系的车道线检测方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222591A (zh) * 2019-05-16 2019-09-10 天津大学 一种基于深度神经网络的车道线检测方法
CN110222591B (zh) * 2019-05-16 2023-04-07 天津大学 一种基于深度神经网络的车道线检测方法
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其系统
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110321877B (zh) * 2019-06-04 2022-09-16 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN110363182B (zh) * 2019-07-24 2021-06-18 北京信息科技大学 基于深度学习的车道线检测方法
CN110599497A (zh) * 2019-07-31 2019-12-20 中国地质大学(武汉) 一种基于深度神经网络的可行驶区域分割方法
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
CN110796003A (zh) * 2019-09-24 2020-02-14 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN110796003B (zh) * 2019-09-24 2022-04-26 成都旷视金智科技有限公司 车道线检测方法、装置及电子设备
CN110765916A (zh) * 2019-10-17 2020-02-07 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN110765916B (zh) * 2019-10-17 2022-08-30 北京中科原动力科技有限公司 一种基于语义和实例分割的农田苗垄识别方法及系统
CN110889859A (zh) * 2019-11-11 2020-03-17 珠海上工医信科技有限公司 一种用于眼底图像血管分割的u型网络
CN111161090A (zh) * 2019-11-26 2020-05-15 北京海益同展信息科技有限公司 圈养栏信息的确定方法、装置及系统、存储介质
WO2021104124A1 (zh) * 2019-11-26 2021-06-03 京东数科海益信息科技有限公司 圈养栏信息的确定方法、装置及系统、存储介质
CN111443704A (zh) * 2019-12-19 2020-07-24 苏州智加科技有限公司 用于自动驾驶系统的障碍物定位方法及装置
CN111178245B (zh) * 2019-12-27 2023-12-22 佑驾创新(北京)技术有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111274926B (zh) * 2020-01-17 2023-09-22 武汉佑驾创新科技有限公司 图像数据筛选方法、装置、计算机设备和存储介质
CN111274926A (zh) * 2020-01-17 2020-06-12 深圳佑驾创新科技有限公司 图像数据筛选方法、装置、计算机设备和存储介质
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN111368732A (zh) * 2020-03-04 2020-07-03 北京百度网讯科技有限公司 用于检测车道线的方法和装置
CN111368732B (zh) * 2020-03-04 2023-09-01 阿波罗智联(北京)科技有限公司 用于检测车道线的方法和装置
CN111368804A (zh) * 2020-03-31 2020-07-03 河北科技大学 车道线检测方法、系统及终端设备
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN111582083B (zh) * 2020-04-25 2023-05-23 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法
CN111738310B (zh) * 2020-06-04 2023-12-01 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111986209A (zh) * 2020-06-24 2020-11-24 深圳市自行科技有限公司 基于铁轨实例分割预测列车可行驶区域系统和方法
CN111767853B (zh) * 2020-06-30 2024-04-23 北京百度网讯科技有限公司 车道线检测方法和装置
CN111767853A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 车道线检测方法和装置
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111914749A (zh) * 2020-07-31 2020-11-10 博康智能信息技术有限公司 基于神经网络的车道线识别方法及其系统
CN111996883A (zh) * 2020-08-28 2020-11-27 四川长虹电器股份有限公司 一种检测公路路面宽度的方法
CN112613392A (zh) * 2020-12-18 2021-04-06 北京新能源汽车技术创新中心有限公司 基于语义分割的车道线检测方法、装置、系统及存储介质
CN112668579A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于自适应亲和力和类别分配的弱监督语义分割方法
CN113158810A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种基于ENet改进的轻量实时车道线分割方法
CN113591558A (zh) * 2021-06-22 2021-11-02 上海中安电子信息科技有限公司 一种基于LaneNet的车道线检测方法
CN113449647A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN113591670A (zh) * 2021-07-27 2021-11-02 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113591670B (zh) * 2021-07-27 2023-12-01 中国科学院合肥物质科学研究院 一种基于卷积神经网络的车道线检测方法
CN113688721A (zh) * 2021-08-20 2021-11-23 北京京东乾石科技有限公司 用于拟合车道线的方法及装置
CN113688721B (zh) * 2021-08-20 2024-03-05 北京京东乾石科技有限公司 用于拟合车道线的方法及装置
CN113781374B (zh) * 2021-08-30 2023-09-01 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN113781374A (zh) * 2021-08-30 2021-12-10 中山大学 一种低光照场景下车道线检测增强方法、装置及终端设备
CN113739811A (zh) * 2021-09-03 2021-12-03 阿波罗智能技术(北京)有限公司 关键点检测模型的训练和高精地图车道线的生成方法设备
CN113739811B (zh) * 2021-09-03 2024-06-11 阿波罗智能技术(北京)有限公司 关键点检测模型的训练和高精地图车道线的生成方法设备
CN114022863A (zh) * 2021-10-28 2022-02-08 广东工业大学 基于深度学习的车道线检测方法、系统、计算机及存储介质
CN115082928A (zh) * 2022-06-21 2022-09-20 电子科技大学 面向复杂场景的不对称双分支实时语义分割网络的方法
CN115082928B (zh) * 2022-06-21 2024-04-30 电子科技大学 面向复杂场景的不对称双分支实时语义分割网络的方法
CN115019278A (zh) * 2022-07-13 2022-09-06 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质
CN115019278B (zh) * 2022-07-13 2023-04-07 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质
CN117745793A (zh) * 2024-01-30 2024-03-22 北京交通发展研究院 一种慢行道路宽度测量方法、系统及设备

Also Published As

Publication number Publication date
CN109740465B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN109740465A (zh) 一种基于实例分割神经网络框架的车道线检测算法
Bhat et al. Zoedepth: Zero-shot transfer by combining relative and metric depth
CN112101066B (zh) 目标检测方法和装置及智能驾驶方法、设备和存储介质
US10867190B1 (en) Method and system for lane detection
CN113330490B (zh) 三维(3d)辅助个性化家庭对象检测
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN105825173B (zh) 通用道路和车道检测系统与方法
Fischer et al. Flownet: Learning optical flow with convolutional networks
CN110929578A (zh) 一种基于注意力机制的抗遮挡行人检测方法
WO2021013791A1 (en) Structure modelling
CN110543858A (zh) 多模态自适应融合的三维目标检测方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN111524150B (zh) 图像处理的方法及装置
CN111696110B (zh) 场景分割方法及系统
WO2020088766A1 (en) Methods for optical flow estimation
CN110706269A (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN111539983A (zh) 基于深度图像的运动物体分割方法及系统
CN114581887A (zh) 车道线的检测方法、装置、设备和计算机可读存储介质
CN110942037A (zh) 一种用于视频分析中的动作识别方法
CN115035296B (zh) 一种基于鸟瞰投影的飞行汽车3d语义分割方法及系统
Schutt et al. Abstract flow for temporal semantic segmentation on the permutohedral lattice
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
Berrio et al. Fusing lidar and semantic image information in octree maps
KR101785203B1 (ko) 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템
CN114821651B (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant