CN112801021A - 基于多级语义信息的车道线检测方法及系统 - Google Patents

基于多级语义信息的车道线检测方法及系统 Download PDF

Info

Publication number
CN112801021A
CN112801021A CN202110174971.8A CN202110174971A CN112801021A CN 112801021 A CN112801021 A CN 112801021A CN 202110174971 A CN202110174971 A CN 202110174971A CN 112801021 A CN112801021 A CN 112801021A
Authority
CN
China
Prior art keywords
lane line
image
semantic information
lane
level semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110174971.8A
Other languages
English (en)
Other versions
CN112801021B (zh
Inventor
黄立勤
陈惠斌
裴晨皓
杨明静
潘林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110174971.8A priority Critical patent/CN112801021B/zh
Publication of CN112801021A publication Critical patent/CN112801021A/zh
Application granted granted Critical
Publication of CN112801021B publication Critical patent/CN112801021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多级语义信息的车道线检测方法及系统,该方法包括以下步骤:S1、对车道场景图像中的车道线进行分割,提取图像的低级语义信息,输出基于低级语义信息的车道线掩膜图;S2、利用图像的消失点、车道线空间信息和长距离依赖信息,训练结合消失点的车道线语义分割网络,得到图像的高级语义信息,并输出基于高级语义信息的车道线掩模图;S3、将基于高、低级语义信息的车道线掩模图融合,得到基于多级语义信息的车道线分割结果。该方法及系统有利于提高车道线检测的准确性,能够应对复杂行车环境。

Description

基于多级语义信息的车道线检测方法及系统
技术领域
本发明属于车辆智能辅助驾驶领域,具体涉及一种基于多级语义信息的车道线检测方法及系统。
背景技术
随着城市化的发展和汽车的普及,行车环境的机动车日益增多,机动化步伐加快,汽车的应用越来越广泛。交通拥挤加剧,交通事故频发,交通环境日趋恶劣,而交通事故的最直接后果就是人员伤亡和财产损失。交通问题已经成为全球范围内人们普遍关注的社会问题。随着图像分割、检测等计算机视觉技术与深度学习的研究和发展的迅猛发展,人们越来越倾向于依靠高科技寻求解决之路,以车道线检测为核心之一的车辆智能辅助驾驶系统便可减少此类事故的发生。车道检测通过实时的移动车载摄像头获取道路实时信息,检测道路上的车道,并提供每个车道的确切位置和形状。
目前,对于车道线检测的方法主要分为两大类:传统方法与基于深度学习的方法。大多数传统方法利用车道线的颜色,边缘等低级特征来做车道线检测,但是这类方法只能在车道标记明显,交通场景光线良好的情况下才能得到理想的结果,并且需要手工设置阈值及建立约束关系。近些年来,许多方法通过深度神经网络对车道线进行像素级别的分割来获取车道在图像上的位置,或者通过GAN网络生成低光条件图像,来增加网络的环境适应性。但是这些方法在车道线被遮挡,缺失和阴影等复杂行车情况的表现不良,甚至在交通场景良好的情况下也会出现检测错误的情况。
发明内容
本发明的目的在于提供一种基于多级语义信息的车道线检测方法及系统,该方法及系统有利于提高车道线检测的准确性,能够应对复杂行车环境。
为实现上述目的,本发明采用的技术方案是:一种基于多级语义信息的车道线检测方法,包括以下步骤:
S1、对车道场景图像中的车道线进行分割,提取图像的低级语义信息,输出基于低级语义信息的车道线掩膜图;
S2、利用图像的消失点、车道线空间信息和长距离依赖信息,训练结合消失点的车道线语义分割网络,得到图像的高级语义信息,并输出基于高级语义信息的车道线掩模图;
S3、将基于高、低级语义信息的车道线掩模图融合,得到基于多级语义信息的车道线分割结果。
进一步地,所述步骤S1中,提取图像的低级语义信息的方法为:从车道场景图像中选择感兴趣区域,然后对感兴趣区域进行图像预处理,再对预处理后的图像先后进行车道线标记粗提取及车道线标记精提取,得到图像的低级语义信息。
进一步地,感兴趣区域的位置设置为:1/2h<I<4/5h,其中h表示原图像的高度,I表示感兴趣区域。
进一步地,图像预处理包括对图像进行灰度和中值滤波处理;图像预处理后,采用基于自适应条形滤波的粗提取方法对图像进行车道线标记粗提取,当感兴趣区域中的像素满足其两侧灰度值比当前像素值小,则认为当前像素是车道线候选区域:
Dleft=I(x,y)-I(x-δ,y) (1)
Dright=I(x,y)-I(x+δ,y) (2)
Dall=Dleft+Dright-|Dleft-Dright| (3)
L=γ*I(x,y) (4)
其中Dleft、Dright分别表示该像素到两侧δ距离的像素差值,I表示预处理过后的图像矩阵,x、y表示图像中像素的坐标,γ表示权重,L表示一个定义的比较变量;
令R表示结果图像矩阵,则判别条件如下:
Figure BDA0002940380440000021
采用自适应车道宽度的方法,动态设置距离δ如下公式所示:
Figure BDA0002940380440000022
其中δmax、θy、θυp分别表示最大车道宽度,图像高度和图像消失点高度,ε为设定的一个固定参数;
通过图像粗提取,得到剔除掉无关信息的图像。
进一步地,采用结合车道线几何属性的多约束精细提取方法对粗提取后的图像进行车道线标记精提取:首先输入粗提取后的二值图像,然后提取图像轮廓,再根据轮廓在其周围绘制最小外接矩形,获得其方向、长度和宽度属性,以获得的属性构建基于几何信息的车道线判决算法,计算得到最终的车道线掩膜,从而得到基于低级语义信息的车道线掩膜图。
进一步地,所述步骤S2中,所述车道线语义分割网络采用SCNN作为基本网络,首先将获取的车道场景图像作为输入,通过VGG16获取特征图,通过SCNN模块获取空间信息;然后输入带状池化获取长距离依赖信息,再通过车道线分割分支预测不同车道线的概率图,通过车道预测分支预测不同车道的存在概率;然后通过消失点回归,将其运用于辅助车道线检测,作为一项约束参与网络训练;最后将三个分支结合,得到基于高级语义信息的车道线掩膜图。
进一步地,空间信息由向上、向下、向左和向右四个方向上的SCNN模块提取各自提取;首先,SCNN模块将大小为C×H×W的三维张量作为输入,其中C、H和W分别表示通道、行和列的数目;分割后的张量中的第一个切片被送到SCNN模块的卷积层中,其中卷积核的尺寸为C×ω,ω是卷积核宽度;而后,卷积层的输出被添加到下一层,并成为一个新的切片;这个新的切片被送到下一个SCNN模块的卷积层;上述过程一直重复直至最后一个切片更新完成;SCNN模块定义为:
Figure BDA0002940380440000031
其中,三维核张量K的元素为Km,i,n,表示最后一个切片通道m中的元素和当前切片通道i中的元素之间的权重,两个元素之间有n列的偏移量;输入三维张量X的元素为Xi,j,k,其中i、j和k分别表示通道、行和列的索引;其中f是非线性激活函数ReLU;带有上标’的X是更新后的元素,SCNN模块四个不同方向的输出分别表示为:X’U、X’D、X’R和X’L
在提取空间信息后,通过带状池化捕捉远处像素来获取长距离依赖信息;带状池化模块输入为二维张量x∈RH×W,通过水平方向1×W的带状池化与垂直方向上H×1的带状池化,其中水平方向上的池化结果为:
Figure BDA0002940380440000032
与之相似的垂直方向上的池化结果为:
Figure BDA0002940380440000041
将水平方向与垂直方向的池化结合:
Figure BDA0002940380440000042
带状池化通过利用具有不同内核形状的池化操作来收集内容丰富的上下文信息,以探查具有复杂场景的图像。
进一步地,所述步骤S3中,通过加权的方式融合基于高、低级语义信息的车道线掩模图:
Lfinal=αLlow+βLhight (11)
其中Llow、Lhight分别为基于低级语义信息的车道线掩模图和基于高级语义信息的车道线掩模图,α、β分别为基于低级语义信息的车道线掩模图的权重和基于高级语义信息的车道线掩模图权重,Lfinal为最后生成的车道线分割结果。
本发明还提供了一种基于多级语义信息的车道线检测系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现所述的方法步骤。
相较于现有技术,本发明具有以下有益效果:本发明提出了基于高级语义信息的车道线分割网络,结合了空间信息与长距离依赖信息,并将消失点运用于辅助车道线检测,令消失点作为一项约束参与网络训练,能够有效抓取特征图中的远距离像素的贡献,并利用好空间信息,提高了车道线检测在复杂行车环境下的鲁棒性,提高了车道线检测的精度。同时,通过低级语义信息来消除基于高级语义信息的车道线分割出现的错位问题,使得在一般场景下的车道线分割结果更加准确。本发明通过融合包括基于高级语义信息的车道线分割掩膜图与基于低级语义信息的掩模图的多级语义信息,结合二者的优点,使本发明能够在应对复杂行车环境时,还有较好的车道线检测效果。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中基于低级语义信息的车道线检测流程图。
图3是本发明实施例中基于高级语义信息的车道线检测流程图。
图4是本发明实施例中SCNN模块结构示意图。
图5是本发明实施例中带状池化层结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明基于多级语义信息的车道线检测方法,将低级语义信息和高级语义信息相融合的车道线检测方法,减少了车道线检测中的错位情况。此外,结合消失点与空间信息、长距离依赖信息的作为高级语义信息,从而提高车道检测模型对于多种复杂行车环境的适应性。
图1是本实施例的方法实现流程图。如图1所示,本实施例提供了一种基于多级语义信息的车道线检测方法,包括以下步骤:
S1、采用传统图像处理方法对车道场景图像中的车道线进行分割,提取图像的低级语义信息,输出基于低级语义信息的车道线掩膜图;
S2、利用图像的消失点、车道线空间信息和长距离依赖信息,训练结合消失点的车道线语义分割网络,得到图像的高级语义信息,并输出基于高级语义信息的车道线掩模图;
S3、将基于高、低级语义信息的车道线掩模图融合,得到基于多级语义信息的车道线分割结果。
神经网络可以很好地获得图像高层次的语义信息,但是一些低层次的语义信息却不能很好地获得。我们发现,神经网络提取的高层语义信息会出现一些错误。因此,本发明考虑引入一些传统的方法提取低级的特征,来辅助矫正最终的结果。
提取低级语义信息的车道线检测流程如图2所示。如图2所示,提取图像的低级语义信息的过程为:从车道场景图像中选择感兴趣区域,然后对感兴趣区域进行图像预处理,再对预处理后的图像先后进行车道线标记粗提取及车道线标记精提取,得到图像的低级语义信息。
由于车道场景图像具有复杂性和多样性,图像中车道线感兴趣区域比非车道线的无关区域少很多,传统方法在处理这类图像时的计算量和复杂度都很大,同时车道线在图像中的位置一般处在图像的中间区域,所以本发明设置感兴趣区域缩小要处理的范围,更精确的提取出更丰富有用的信息。在本实施例中,感兴趣区域的位置设置为:1/2h<I<4/5h,其中h表示原图像的高度,I表示感兴趣区域。
在图像预处理部分,图像预处理包括对图像进行灰度和中值滤波处理,以提高待处理图像的质量。
在车载摄像头的图像中,车道线的灰度值通常要比车道线两边的灰度值要大。因此,图像预处理后,本发明采用基于自适应条形滤波的粗提取方法对图像进行车道线标记粗提取。当感兴趣区域中的像素满足其两侧灰度值比当前像素值小,则认为当前像素是车道线候选区域:
Dleft=I(x,y)-I(x-δ,y) (1)
Dright=I(x,y)-I(x+δ,y) (2)
Dall=Dleft+Dright-|Dleft-Dright| (3)
L=γ*I(x,y) (4)
其中Dleft、Dright分别表示该像素到两侧δ距离的像素差值,I表示预处理过后的图像矩阵,x、y表示图像中像素的坐标,γ表示权重,L表示一个定义的比较变量;
令R表示结果图像矩阵,则判别条件如下:
Figure BDA0002940380440000061
考虑到车道的宽度从图像低端往上是逐渐变窄的,本发明采用自适应车道宽度的方法,动态设置距离δ如下公式所示:
Figure BDA0002940380440000062
其中δmax、θy、θυp分别表示最大车道宽度,图像高度和图像消失点高度,ε为设定的一个固定参数。
图像粗提取后,可能把图像上一些无关信息剔除掉。但是得到的结果不仅有车道线,还有道路上的栅栏和障碍物边缘,以及路面上一些噪点存在,因此还要经过更加精细的处理来得到更加准确的结果。
由于车道线相比非车道线噪点具有特殊的几何特性,车道线的角度在一个范围之内,不可能接近水平与垂直方向。车道线区域具有一定的面积与长宽比。因此,本发明采用结合车道线几何属性的多约束精细提取方法对粗提取后的图像进行车道线标记精提取:首先输入粗提取后的二值图像,然后提取图像轮廓,再根据轮廓在其周围绘制最小外接矩形,获得其方向、长度和宽度属性,以获得的属性构建基于几何信息的车道线判决算法,计算得到最终的车道线掩膜,从而得到基于低级语义信息的车道线掩膜图。
高级语义信息部分,本发明的车道线语义分割网络采用SCNN作为基本网络,添加了带状池化提取长距离依赖信息,由于消失点信息对车道线检测的作用,添加一个消失点回归的分支,同时采用Multi-task的方式训练,对车道线和消失点进行训练,网络多任务学习能提高最终测试结果的精度。网络整体框图如图3所示。首先将获取的车道场景图像作为输入,通过VGG16获取特征图,通过SCNN模块获取空间信息。然后输入带状池化获取长距离依赖信息,再通过车道线分割分支预测不同车道线的概率图,通过车道预测分支预测不同车道的存在概率。然后通过消失点回归,将其运用于辅助车道线检测,作为一项约束参与网络训练。最后将三个分支结合,得到基于高级语义信息的车道线掩膜图。
真实世界中相互平行的直线,在图像上汇聚于一个点。考虑到车道线在真实世界中大多变现为平行的两条线,那么他们在图像中延长线会交于一个点(消失点)。(从3D图像投影到2D图像的过程中发生的透视效果,现实世界环境中的平行线在图像中的单个点处相遇。这一点被称为消失点。)实验中可以将车道的消失点计算为从车道提取的一对线段的交叉点。消失点也可用于找到与车道平行的线。消失点本身对车道线检测具有重要的意义,降低错误检测率。基于这个想法,本发明设计了一个消失点分支网络,用于回归消失点的坐标信息,采用Multi-task的方式训练网络。将之运用于辅助车道线检测,本文的方法令消失回归与车道线检测是同时进行,消失点作为一项约束参与网络训练。
空间信息由向上、向下、向左和向右四个方向上的SCNN模块提取各自提取;首先,SCNN模块将大小为C×H×W的三维张量作为输入,其中C、H和W分别表示通道、行和列的数目;分割后的张量中的第一个切片被送到SCNN模块的卷积层中,其中卷积核的尺寸为C×ω,ω是卷积核宽度;而后,卷积层的输出被添加到下一层,并成为一个新的切片;这个新的切片被送到下一个SCNN模块的卷积层;上述过程一直重复直至最后一个切片更新完成;SCNN模块定义为:
Figure BDA0002940380440000081
其中,三维核张量K的元素为Km,i,n,表示最后一个切片通道m中的元素和当前切片通道i中的元素之间的权重,两个元素之间有n列的偏移量;输入三维张量X的元素为Xi,j,k,其中i、j和k分别表示通道、行和列的索引;其中f是非线性激活函数ReLU;带有上标’的X是更新后的元素,SCNN模块四个不同方向的输出分别表示为:X’U、X’D、X’R和X’L
车道线由于本身细长的特征,极易被其他物体遮挡,造成车道线的缺失。在不良天气下,其细长的特征使其在光线不佳情况下,难以与路面分割,造成车道线检测的困难。本文将在提取空间信息后使用带状池化模块来提取长距离依赖信息。使用垂直方向与水平方向的长条形的kernel,可以极大增大感受野并且可以使得那些相距较远的部分也能被网络捕获到,提取长距离依赖信息,辅助生成被遮挡、模糊车道线。且感受野大小及全局上下文信息可以有效优化最终的预测结果。相较于同样提取长距离依赖信息的non-local,能够有效降低计算量,且参数较少。
为了避免普通池化带来的许多无用信息,在提取空间信息后,通过带状池化捕捉远处像素来获取长距离依赖信息。带状池化模块输入为二维张量x∈RH×W,通过水平方向1×W的带状池化与垂直方向上H×1的带状池化,其中水平方向上的池化结果为:
Figure BDA0002940380440000082
与之相似的垂直方向上的池化结果为:
Figure BDA0002940380440000083
其中水平和垂直的带状池化层,由于长而窄的内核形状,很容易在离散分布的区域之间建立长期依赖关系,帮助获取长距离依赖信息,同时更注重局部细节的捕捉。这些特性使得带状池化不同于传统的依赖于方形内核的空间池化。
如图5所示,输入两个平行的水平与垂直的带状池化层,并通过一维卷积层,用于融合当前位置及其相邻特征。将水平方向与垂直方向的池化结合:
Figure BDA0002940380440000091
带状池化通过利用具有不同内核形状的池化操作来收集内容丰富的上下文信息,以探查具有复杂场景的图像。
通过低级语义信息分割的车道线,只能是真实世界的存在的车道线,而不能生成被遮挡后修复的车道线,因此在处理被遮挡、模糊情况下的分割结果没有基于高级语义信息的车道线分割效果好,但是能避免基于高级语义信息的车道线因修补被遮挡、模糊车道线而生成严重偏离真实世界车道线的问题。因此,本发明通过加权的方式融合二者的掩模图,提取基于高级语义信息对于复杂行车环境的车道线检测效果好的掩模图,同时通过基于低级语义信息的车道线检测效果抑制基于高级语义信息生成的错位车道线。
Lfinal=αLlow+βLhight (11)
其中Llow、Lhight分别为基于低级语义信息的车道线掩模图和基于高级语义信息的车道线掩模图,α、β分别为基于低级语义信息的车道线掩模图的权重和基于高级语义信息的车道线掩模图权重,Lfinal为最后生成的车道线分割结果。
本发明还提供了用于实现上述方法的基于多级语义信息的车道线检测系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现上述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于多级语义信息的车道线检测方法,其特征在于,包括以下步骤:
S1、对车道场景图像中的车道线进行分割,提取图像的低级语义信息,输出基于低级语义信息的车道线掩膜图;
S2、利用图像的消失点、车道线空间信息和长距离依赖信息,训练结合消失点的车道线语义分割网络,得到图像的高级语义信息,并输出基于高级语义信息的车道线掩模图;
S3、将基于高、低级语义信息的车道线掩模图融合,得到基于多级语义信息的车道线分割结果。
2.根据权利要求1所述的基于多级语义信息的车道线检测方法,其特征在于,所述步骤S1中,提取图像的低级语义信息的方法为:从车道场景图像中选择感兴趣区域,然后对感兴趣区域进行图像预处理,再对预处理后的图像先后进行车道线标记粗提取及车道线标记精提取,得到图像的低级语义信息。
3.根据权利要求2所述的基于多级语义信息的车道线检测方法,其特征在于,感兴趣区域的位置设置为:1/2h<I<4/5h,其中h表示原图像的高度,I表示感兴趣区域。
4.根据权利要求2所述的基于多级语义信息的车道线检测方法,其特征在于,图像预处理包括对图像进行灰度和中值滤波处理;图像预处理后,采用基于自适应条形滤波的粗提取方法对图像进行车道线标记粗提取,当感兴趣区域中的像素满足其两侧灰度值比当前像素值小,则认为当前像素是车道线候选区域:
Dleft=I(x,y)-I(x-δ,y) (1)
Dright=I(x,y)-I(x+δ,y) (2)
Dall=Dleft+Dright-|Dleft-Dright| (3)
L=γ*I(x,y) (4)
其中Dleft、Dright分别表示该像素到两侧δ距离的像素差值,I表示预处理过后的图像矩阵,x、y表示图像中像素的坐标,γ表示权重,L表示一个定义的比较变量;
令R表示结果图像矩阵,则判别条件如下:
Figure FDA0002940380430000011
采用自适应车道宽度的方法,动态设置距离δ如下公式所示:
Figure FDA0002940380430000021
其中δmax、θy、θυp分别表示最大车道宽度,图像高度和图像消失点高度,ε为设定的一个固定参数;
通过图像粗提取,得到剔除掉无关信息的图像。
5.根据权利要求4所述的基于多级语义信息的车道线检测方法,其特征在于,采用结合车道线几何属性的多约束精细提取方法对粗提取后的图像进行车道线标记精提取:首先输入粗提取后的二值图像,然后提取图像轮廓,再根据轮廓在其周围绘制最小外接矩形,获得其方向、长度和宽度属性,以获得的属性构建基于几何信息的车道线判决算法,计算得到最终的车道线掩膜,从而得到基于低级语义信息的车道线掩膜图。
6.根据权利要求1所述的基于多级语义信息的车道线检测方法,其特征在于,所述步骤S2中,所述车道线语义分割网络采用SCNN作为基本网络,首先将获取的车道场景图像作为输入,通过VGG16获取特征图,通过SCNN模块获取空间信息;然后输入带状池化获取长距离依赖信息,再通过车道线分割分支预测不同车道线的概率图,通过车道预测分支预测不同车道的存在概率;然后通过消失点回归,将其运用于辅助车道线检测,作为一项约束参与网络训练;最后将三个分支结合,得到基于高级语义信息的车道线掩膜图。
7.根据权利要求6所述的基于多级语义信息的车道线检测方法,其特征在于,空间信息由向上、向下、向左和向右四个方向上的SCNN模块提取各自提取;首先,SCNN模块将大小为C×H×W的三维张量作为输入,其中C、H和W分别表示通道、行和列的数目;分割后的张量中的第一个切片被送到SCNN模块的卷积层中,其中卷积核的尺寸为C×ω,ω是卷积核宽度;而后,卷积层的输出被添加到下一层,并成为一个新的切片;这个新的切片被送到下一个SCNN模块的卷积层;上述过程一直重复直至最后一个切片更新完成;SCNN模块定义为:
Figure FDA0002940380430000022
其中,三维核张量K的元素为Km,i,n,表示最后一个切片通道m中的元素和当前切片通道i中的元素之间的权重,两个元素之间有n列的偏移量;输入三维张量X的元素为Xi,j,k,其中i、j和k分别表示通道、行和列的索引;其中f是非线性激活函数ReLU;带有上标'的X是更新后的元素,SCNN模块四个不同方向的输出分别表示为:X'U、X'D、X'R和X'L
在提取空间信息后,通过带状池化捕捉远处像素来获取长距离依赖信息;带状池化模块输入为二维张量x∈RH×W,通过水平方向1×W的带状池化与垂直方向上H×1的带状池化,其中水平方向上的池化结果为:
Figure FDA0002940380430000031
与之相似的垂直方向上的池化结果为:
Figure FDA0002940380430000032
将水平方向与垂直方向的池化结合:
Figure FDA0002940380430000033
带状池化通过利用具有不同内核形状的池化操作来收集内容丰富的上下文信息,以探查具有复杂场景的图像。
8.根据权利要求1所述的基于多级语义信息的车道线检测方法,其特征在于,所述步骤S3中,通过加权的方式融合基于高、低级语义信息的车道线掩模图:
Lfinal=αLlow+βLhight (11)
其中Llow、Lhight分别为基于低级语义信息的车道线掩模图和基于高级语义信息的车道线掩模图,α、β分别为基于低级语义信息的车道线掩模图的权重和基于高级语义信息的车道线掩模图权重,Lfinal为最后生成的车道线分割结果。
9.一种基于多级语义信息的车道线检测系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-8任一项所述的方法步骤。
CN202110174971.8A 2021-02-09 2021-02-09 基于多级语义信息的车道线检测方法及系统 Active CN112801021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110174971.8A CN112801021B (zh) 2021-02-09 2021-02-09 基于多级语义信息的车道线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110174971.8A CN112801021B (zh) 2021-02-09 2021-02-09 基于多级语义信息的车道线检测方法及系统

Publications (2)

Publication Number Publication Date
CN112801021A true CN112801021A (zh) 2021-05-14
CN112801021B CN112801021B (zh) 2022-07-08

Family

ID=75814869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110174971.8A Active CN112801021B (zh) 2021-02-09 2021-02-09 基于多级语义信息的车道线检测方法及系统

Country Status (1)

Country Link
CN (1) CN112801021B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775377A (zh) * 2022-11-25 2023-03-10 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法
WO2023120823A1 (ko) * 2021-12-21 2023-06-29 주식회사 넥스트칩 차량을 제어하기 위한 이미지 처리 방법 및 그 방법을 수행하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
KR20190036844A (ko) * 2017-09-28 2019-04-05 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
CN111460921A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于多任务语义分割的车道线检测方法
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
KR20190036844A (ko) * 2017-09-28 2019-04-05 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
CN111460921A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于多任务语义分割的车道线检测方法
CN111582083A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于消失点估计与语义分割的车道线检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUI-BIN CHEN ET AL.: "Non-local Spatial Information Based Lane Detection", 《2020 CROSS STRAIT RADIO SCIENCE & WIRELESS TECHNOLOGY CONFERENCE (CSRSWTC)》 *
QI WANG ET AL.: "Multitask Attention Network for Lane Detection and Fitting", 《 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
李乔伊: "基于视觉的车道线检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
裴晨皓等: "基于语义分割的车辆行驶车道定位方法", 《福州大学学报( 自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023120823A1 (ko) * 2021-12-21 2023-06-29 주식회사 넥스트칩 차량을 제어하기 위한 이미지 처리 방법 및 그 방법을 수행하는 전자 장치
CN115775377A (zh) * 2022-11-25 2023-03-10 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法
CN115775377B (zh) * 2022-11-25 2023-10-20 北京化工大学 图像和方向盘转向角度融合的自动驾驶车道线分割方法

Also Published As

Publication number Publication date
CN112801021B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN110427839B (zh) 基于多层特征融合的视频目标检测方法
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN112950477B (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN111723693A (zh) 一种基于小样本学习的人群计数方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN108416292A (zh) 一种基于深度学习的无人机航拍图像道路提取方法
CN111401150A (zh) 一种基于实例分割和自适应变换算法的多车道线检测方法
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN110309765B (zh) 一种视频运动目标高效检测方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN113011338B (zh) 一种车道线检测方法及系统
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN113095164A (zh) 基于强化学习和标志点表征的车道线检测定位方法
CN112561808A (zh) 一种基于车载激光点云和卫星影像的道路边界线复原方法
Yang et al. A novel vision-based framework for real-time lane detection and tracking
CN116188779A (zh) 一种基于UFLane-Detection的车道线检测方法
CN112070075B (zh) 一种基于协同回归的人体检测方法
Ran et al. Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant