CN113269171A - 车道线检测方法、电子设备及车辆 - Google Patents

车道线检测方法、电子设备及车辆 Download PDF

Info

Publication number
CN113269171A
CN113269171A CN202110816218.4A CN202110816218A CN113269171A CN 113269171 A CN113269171 A CN 113269171A CN 202110816218 A CN202110816218 A CN 202110816218A CN 113269171 A CN113269171 A CN 113269171A
Authority
CN
China
Prior art keywords
lane line
grid
segmentation mask
lane
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110816218.4A
Other languages
English (en)
Other versions
CN113269171B (zh
Inventor
胡启昶
李发成
虞正华
张如高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Moshi Intelligent Technology Co., Ltd
MOTOVIS TECHNOLOGY (SHANGHAI) CO.,LTD.
Original Assignee
Motovis Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motovis Technology Shanghai Co ltd filed Critical Motovis Technology Shanghai Co ltd
Priority to CN202110816218.4A priority Critical patent/CN113269171B/zh
Publication of CN113269171A publication Critical patent/CN113269171A/zh
Application granted granted Critical
Publication of CN113269171B publication Critical patent/CN113269171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车道线检测方法、电子设备及车辆，本发明基于深度学习，将栅格化的车辆前视图片输入预训练的模型，将车道线实例分割问题转化为栅格单元的类别感知预测和分割掩码预测两个子任务，如果车道线落在某些栅格单元内，那么这些栅格单元负责同时预测此车道线的分类信息和分割信息，由于图片中栅格单元与车道线实例存在对应关系，通过对模型输出的分类信息和分割信息进行简单处理就可以直接输出每条车道线的实例分割结果，因此本发明省去了复杂的后处理步骤，从而节省了大量的计算资源并可以大规模部署在低成本的车载嵌入式设备上。

Description

车道线检测方法、电子设备及车辆
技术领域
本发明属于车道线检测技术领域，尤其涉及一种车道线检测方法、电子设备及车辆。
背景技术
现阶段，随着人工智能技术的发展和成熟，自动驾驶技术以及先进辅助驾驶系统成为当下热门的研究领域。车道线检测是其中一项基础而重要的任务，它的目标是高效且准确地检测车道线在道路上的位置，从而保障车辆被定位在当前行驶的车道内，并辅助随后的车道偏离或轨迹规划模块做出合理的决策。大部分现有车辆都会配备前视摄像头，我们可以通过车载视觉系统实时地获取车辆前方的道路图像，从而在该图像上对车道线进行识别与定位来计算各个车道的位置，以便轨迹规划模块控制车辆保持在相应的车道行驶。因此，实时且精确地执行车道线检测是实现完全自动驾驶的关键推动因素。
传统的车道线检测方法主要基于边缘检测、反投影变化、霍夫变换、聚类分析和相关后处理算法等一系列计算机视觉算法。该类方法的优势在于计算量低，在高速公路等路况良好的情况下性能稳定，但是难以处理复杂路况，不能在真实场景中稳定工作。另一类基于深度学习的车道线检测算法引起了更多的关注。该类方法从车道线语义分割的角度入手，将车道线与背景进行分离，但语义分割只能得到车道线的像素位置信息，无法得到每一条车道线的解析表达式，因此基于语义分割的车道线检测方法无法区分不同的车道线实例，需要进一步的后处理操作。为了克服上述问题，最具代表性的解决方法是基于深度学习的车道线实例分割方法，是将实例分割算法用在车道线检测上，在输出车道线语义分割结果的同时，还会输出一支车道线特征向量分支，通过运用聚类方法或特征嵌入方法进一步将车道线语义分割的结果转化成实例分割。
上述方法在实际应用中仍然存在一些问题，车道线特征向量分支还需要复杂且耗时的后处理步骤，并依赖人工制定的车道线推断规则，难以在低成本的车载嵌入式设备上进行大规模部署。
发明内容
基于此，针对上述技术问题，提供一种处理简单、高效的车道线检测方法、电子设备及车辆。
本发明采用的技术方案如下：
一方面，提供一种车道线检测方法，其特征在于，包括：
S101、对获取的车载前视图片进行栅格化；
S102、将栅格化的车辆前视图片输入预训练的网络模型，得到图片中每个栅格单元的车道线类别的置信度以及车道线预测分割掩码；
训练所述模型的样本图片集包含栅格化的车辆前视图片，所述车辆前视图片包含车道线，并标注有与车道线对应的标签；
S103、基于每个栅格单元的置信度过滤掉不含车道线的栅格单元；
S104、对过滤后的栅格单元对应的车道线预测分割掩码进行二值化；
S105、对二值化后的车道线预测分割掩码进行非极大值抑制NMS，保留的车道线预测分割掩码即为最终的车道线的实例分割结果。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种车道线检测方法。
再一方面，提供一种车辆，该车辆具有上述一种电子设备。
本发明基于深度学习，将栅格化的车辆前视图片输入预训练的模型，将车道线实例分割问题转化为栅格单元的类别感知预测和分割掩码预测两个子任务，如果车道线落在某些栅格单元内，那么这些栅格单元负责同时预测此车道线的分类信息和分割信息，由于图片中栅格单元与车道线实例存在对应关系，通过对模型输出的分类信息和分割信息进行简单处理就可以直接输出每条车道线的实例分割结果，因此本发明省去了复杂的后处理步骤，从而节省了大量的计算资源并可以大规模部署在低成本的车载嵌入式设备上，同时，本发明适用于各种形状的车道线，包括直线，曲线和S形曲线等车道线，不需要人工制定车道线推断规则，对车道线的纹理缺失具有一定的容忍度。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的流程图；
图2为本发明的模型的示意图；
图3为本发明的车辆前视图片的标注示意图；
图4为本发明的车辆前视图片栅格化示意图；
图5为本发明的车道线的真实分割掩码的示意图。
具体实施方式
如图1所示，本说明书实施例提供一种车道线检测方法，包括：
S101、对获取的车载前视图片进行栅格化：在待检测的车辆前视图片上均匀地分割出
Figure 452221DEST_PATH_IMAGE001
个栅格单元，
Figure 775886DEST_PATH_IMAGE002
代表图片一个方向上的栅格单元的数量。
其中，车辆前视图片为车载前视单目摄像头采集的图片，在本实施例中，S设置为12，参见图4。
S102、将栅格化后的图片输入预训练的模型，得到图片中每个栅格单元的车道线类别的置信度以及车道线预测分割掩码。
本发明将车道线实例分割问题转化为栅格单元的类别感知预测和分割掩码预测两个子任务。
如果车道线落在某些栅格单元内，那么这些栅格单元负责同时预测此车道线的分类信息和分割信息，由于图片中栅格单元与车道线实例存在对应关系，故本发明可以直接输出每条车道线的实例分割结果，这样省去了复杂的后处理步骤，从而节省了大量的计算资源并可以在低成本的车载嵌入式设备上大规模部署。
预训练即离线训练，用于在实际场合使用模型之前，通过让模型的输出（预测）和我们的预期（标注）更接近，从而对模型的参数进行固定（优化）。
上述模型参见图2，其被训练为：
通过backbone网络(主干网络)从输入的图片中提取特征，输出特征层，将特征层同时输入分类分支head网络以及分割分支head网络，分别得到图片每个栅格单元的车道线类别的置信度以及车道线预测分割掩码。
backbone网络是在深度学习中用于提取特征的神经网络，它的输出是特征层F(features)，可以采用resnet网络、vggnet网络、mobilenet网络或者shufflenet网络。
head网络是一种将提取的特征转化成最终预测结果的神经网络。对于分类任务，head输出一个分类结果，在本发明中，分类分支head网络输出图像栅格单元属于车道线的类别概率，分割分支head网络输出图像栅格单元的车道线预测分割掩码。
本发明的模型基于深度神经网络，具有强大的特征提取能力，网络模型可以根据输入图片自适应地提取强鲁棒性的特征，这些特征使得模型识别能力得到提升，因此，对车道线的纹理缺失具有一定的容忍度，并且适合处理复杂路况。
具体地，分类分支head网络进行如下处理，得到栅格单元的车道线类别的置信度：
1、将输入的特征层的大小由
Figure 86782DEST_PATH_IMAGE003
双线性插值（Bilinear Interpolation）到
Figure 888516DEST_PATH_IMAGE004
，
Figure 499626DEST_PATH_IMAGE005
、
Figure 728613DEST_PATH_IMAGE006
、
Figure 526805DEST_PATH_IMAGE007
分别代表特征层的高、宽以及通道数。
2、将大小为
Figure 132229DEST_PATH_IMAGE004
的特征层输入由四个3×3卷积核所组成的堆叠卷积层，预测每个栅格单元上是否有车道线，输出空间为
Figure 535529DEST_PATH_IMAGE008
，其中每个元素代表相应栅格单元包含车道线的概率。
分割分支head网络进行如下处理，得到栅格单元的车道线预测分割掩码：
1、生成与输入的特征层高宽相同且分别包含归一化的从-1到1的X方向像素坐标和Y方向像素坐标的两个向量，将两个向量附加到特征层上构成新特征层，其尺度为
Figure 60051DEST_PATH_IMAGE009
，其中最后两个通道为归一化的X方向像素坐标与Y方向像素坐标。
由于分割分支head网络是一种FCN全卷积网络结构，其对空间位置信息不够敏感，但分割分支是基于图像栅格单元的位置来生成分割掩码，并且分割掩码必须通过不同的特征通道进行编码，因此我们通过增加归一化的像素坐标给予分割分支head网络产生对位置信息的敏感度。
2、将新特征层输入由四个3×3卷积核所组成的堆叠卷积层，预测每个栅格单元的车道线分割掩码，分割分支使用一个3D张量的第三维度来编码这些分割掩码，因此输出空间为
Figure 486484DEST_PATH_IMAGE010
，其中第三维度的每个通道代表了对应栅格单元的车道线预测分割掩码，第三维度第
Figure 489075DEST_PATH_IMAGE011
通道负责分割图片第i行第j列的栅格单元，
Figure 684565DEST_PATH_IMAGE012
。
训练上述模型的样本图片集包含栅格化的车辆前视图片，该车辆前视图片包含车道线，并标注有与车道线对应的标签，具体地，标签包括图片中每一条车道线的回归框
Figure 645567DEST_PATH_IMAGE013
以及每一条车道线的多边形的顶点集合
Figure 621614DEST_PATH_IMAGE014
，其中，
Figure 303262DEST_PATH_IMAGE015
表示多边形的顶点,
Figure 477891DEST_PATH_IMAGE016
和
Figure 213723DEST_PATH_IMAGE017
表示多边形顶点
Figure 739382DEST_PATH_IMAGE018
的X坐标和Y坐标，
Figure 224721DEST_PATH_IMAGE019
分别为最小值函数和最大值函数，参见图3。
其中，如图4所示，车辆前视图片同样为车载前视单目摄像头采集的图片，栅格化同步骤S101，S设置为12。
由于摄像头采集图片帧率较高，为了避免使用大量相似的图片，可以设置一定的帧间间隔选取其中一部分图片作为训练数据，这种方式平衡了数据的总量和数据的多样性。
如果车道线落在某些栅格单元内，那么这些单元负责预测该车道线的分类信息和分割信息，例如，如图4所示，图中车道线
Figure 253857DEST_PATH_IMAGE020
由六个栅格单元负责。此外，如果栅格单元所包含的车道线像素数量低于阈值，这个栅格单元无法提供足够的纹理信息来预测车道线，那么它将被视为背景，阈值可以设为栅格单元所包含像素总量的10%；如果栅格单元包含多条车道线的像素，那么这个栅格被标记为忽略区域不参与训练。
对于一张前视图片里的每条车道线，我们标注一个多边形的顶点集合
Figure 759925DEST_PATH_IMAGE014
来表示这条车道线，如图3所示，我们用四个多边形顶点集合
Figure 117088DEST_PATH_IMAGE021
来分别表示图中的四条车道线。
根据车道线对应的多边形顶点集合
Figure 530752DEST_PATH_IMAGE022
，我们可以生成对应的回归框
Figure 289760DEST_PATH_IMAGE023
，如图3所示，我们用
Figure 29046DEST_PATH_IMAGE024
来分别表示图中四条车道线的回归框。
根据车道线对应的多边形顶点集合
Figure 873505DEST_PATH_IMAGE025
和回归框
Figure 825281DEST_PATH_IMAGE026
，我们可以生成每条车道线对应的真实分割掩码：创建一张与输入图片相同尺寸的单通道图片M，初始化所有像素值为0，在图片M上连接车道线多边形顶点集合
Figure 32271DEST_PATH_IMAGE025
中每一个顶点构成一个连通区域，连通区域内的像素值设为1，最后根据此车道线对应的回归框B截取目标区域得到对应的真实分割掩码，如图5中的(a)、(b)、(c)、(d)所示，分别对应图3中P1、P2、P3、P4四条车道线的真实分割掩码。
各种形状的车道线通过多边形顶点集合可以生成对应的各种形状的分割掩码，而本发明中栅格单元直接学习预测分割掩码，因此具备预测各种形状的车道线的能力，如直线，曲线和S形曲线等形状的车道线。
在本实施例中，上述模型通过如下损失函数，并采用梯度反向传导优化模型的参数：
Figure 552245DEST_PATH_IMAGE027
，
Figure 8635DEST_PATH_IMAGE028
是用于分类分支head网络的损失函数，
Figure 639467DEST_PATH_IMAGE029
是用于分割分支head网络的损失函数，
Figure 497702DEST_PATH_IMAGE030
为用于调节两种损失函数平衡的参数，在本实施例中，
Figure 188577DEST_PATH_IMAGE030
设为3。
Figure 132263DEST_PATH_IMAGE028
定义为FL（Focal Loss）函数：
Figure 894682DEST_PATH_IMAGE031
，
Figure 482789DEST_PATH_IMAGE032
，其中，
Figure 203621DEST_PATH_IMAGE033
代表栅格单元的类别标注值，通过车道线的顶点集合P内顶点所构成的连通区域，可以实时地判断每个栅格单元是车道线类别还是背景类别，在满足预设像素阈值的情况下，将车道线类别的栅格单元标注为1，否则，标注为0，
Figure 509968DEST_PATH_IMAGE034
代表栅格单元的车道线类别的置信度，
Figure 872817DEST_PATH_IMAGE035
为关于
Figure 581010DEST_PATH_IMAGE036
的分段函数，
Figure 676005DEST_PATH_IMAGE037
和
Figure 594282DEST_PATH_IMAGE038
为损失函数的调节参数，在本实施例中，
Figure 370608DEST_PATH_IMAGE037
设为0.25，
Figure 57941DEST_PATH_IMAGE038
设为2。
Focal Loss是一种在交叉熵损失函数基础上进行修改的损失函数，主要是为了解决目标检测中正负样本比例严重失衡的问题。
Figure 261521DEST_PATH_IMAGE029
定义为：
Figure 401515DEST_PATH_IMAGE040
，
其中，
Figure 309428DEST_PATH_IMAGE041
，k代表分割分支head网络输出空间的第三维度第k通道，
Figure 726634DEST_PATH_IMAGE042
代表图片一个方向上的栅格单元的数量，floor()为向下取整函数，mod为求余函数，
Figure 225749DEST_PATH_IMAGE043
表示图片中包含车道线的栅格单元的数量，
Figure 728405DEST_PATH_IMAGE036
代表栅格单元的车道线类别的置信度，
Figure 236747DEST_PATH_IMAGE044
代表第k个栅格单元的车道线预测分割掩码，
Figure 508460DEST_PATH_IMAGE045
代表第k个栅格单元的车道线真实分割掩码，可以根据车道线对应的多边形顶点集合
Figure 381738DEST_PATH_IMAGE025
和回归框
Figure 496324DEST_PATH_IMAGE026
得到，
Figure 373405DEST_PATH_IMAGE046
代表第i行第j列（在本实施例中，按照从左到右、从上到下的顺序）的栅格单元的车道线类别的置信度，
Figure 889837DEST_PATH_IMAGE047
代表指示函数，如果
Figure 934016DEST_PATH_IMAGE048
则指示函数返回1，否则返回0。
Figure 411265DEST_PATH_IMAGE049
定义为Dice Loss函数：
Figure 995830DEST_PATH_IMAGE050
Figure 242135DEST_PATH_IMAGE051
是Dice系数，被定义为：
Figure 519533DEST_PATH_IMAGE052
，
Figure 218498DEST_PATH_IMAGE053
和
Figure 606754DEST_PATH_IMAGE054
分别代表预测分割掩码和真实分割掩码上的像素坐标
Figure 35462DEST_PATH_IMAGE055
处的像素值。
Dice系数是一种用于评估两个样本的相似性的度量函数，取值范围在0到1之间，取值越大表示越相似，具体形式见定义。
S103、基于每个栅格单元的置信度过滤掉不含车道线的栅格单元：将每个栅格单元的置信度与预设的第一阈值进行比较，过滤掉不含车道线的栅格单元。
如可以将第一阈值设为0.1，当分类置信度大于等于0.1时，对应的栅格单元为车道线类别，否则，对应的栅格单元为背景类别，将其过滤。
S104、对过滤后的栅格单元对应的车道线预测分割掩码进行二值化：将车道线预测分割掩码上的每个像素值与预设的第二阈值（如设置为0.5）进行比较，若像素值大于或等于第二阈值，则修改该像素值为1，否则，修改该像素值为0。
为了减少一些计算量，步骤S104可以先从过滤后的栅格单元中取置信度最大的预定数量的栅格单元，对所取栅格单元对应的车道线预测分割掩码二值化，预定数量可以设置为64。
S105、对二值化后的车道线预测分割掩码进行非极大值抑制NMS，保留的车道线预测分割掩码即为最终的车道线的实例分割结果：
a、将二值化后的车道线预测分割掩码加入集合S；
b、按照对应的栅格单元的置信度的大小对集合S中的车道线预测分割掩码进行降序排列；
c、选取集合S中置信度最大的车道线预测分割掩码
Figure 93547DEST_PATH_IMAGE056
，过滤掉集合S中与车道线预测分割掩码
Figure 670022DEST_PATH_IMAGE056
的IOU大于等于第三阈值的车道线预测分割掩码，待集合S中剩余的车道线预测分割掩码与车道线预测分割掩码
Figure 737335DEST_PATH_IMAGE056
的IOU都小于第三阈值，将置信度最大的车道线预测分割掩码
Figure 817287DEST_PATH_IMAGE056
从集合S中取出并放入集合
Figure DEST_PATH_IMAGE057
；
d、循环步骤c，直到集合S中没有车道线预测分割掩码，此时集合
Figure 859323DEST_PATH_IMAGE057
包含最终的车道线的实例分割结果。
其中，第三阈值设置为0.75。
IOU（Intersection Over Union）=交集/并集，是指重叠率，用于在特定数据集中检测相应物体准确度的一个标准，在本发明中，IOU是指两个车道线预测分割掩码的像素重叠率。
通过非极大值抑制NMS算法可以去除重复多余的车道线，如图4所示，假设车道线P1经过6个满足条件的栅格单元，则每一个栅格单元都对应整条车道线的真实分割掩码，可能会出现6个栅格单元预测出6条相同车道线的情况，这个时候通过NMS算法去除重复多余的车道线，保留置信度最大的一条车道线。
Figure 923094DEST_PATH_IMAGE057
集合中的每个分割掩码与其它分割掩码的IOU都小于阈值，因此，每个分割掩码即对应一条车道线的实例分割结果。
本发明不需要人工制定车道线推断规则，可以直接输出每一条车道线的实例分割结果，无需从车道线的语义分割结果中分离出每一条车道线（现有技术中，基于语义分割的方式需要额外后处理步骤进行车道线分离）。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种车道线检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
在本实施例中，电子设备可以为车载嵌入式设备，其还包含存储模块和处理器之外，用于实现车载嵌入式设备各种功能(如中控功能、导航功能、娱乐功能、自动驾驶功能等)的模块。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
基于同一发明构思，本说明书实施例还提供一种车辆，该车辆具有上述一种电子设备，使该车辆具有车道线检测功能，此处不再具体赘述。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (13)

1.一种车道线检测方法，其特征在于，包括：
S101、对获取的车载前视图片进行栅格化；
S102、将栅格化的车辆前视图片输入预训练的网络模型，得到图片中每个栅格单元的车道线类别的置信度以及车道线预测分割掩码；
训练所述模型的样本图片集包含栅格化的车辆前视图片，所述车辆前视图片包含车道线，并标注有与车道线对应的标签；
S103、基于每个栅格单元的置信度过滤掉不含车道线的栅格单元；
S104、对过滤后的栅格单元对应的车道线预测分割掩码进行二值化；
S105、对二值化后的车道线预测分割掩码进行非极大值抑制NMS，保留的车道线预测分割掩码即为最终的车道线的实例分割结果。
2.根据权利要求1所述的一种车道线检测方法，其特征在于，所述栅格化的车辆前视图片上具有尺寸相同的S×S个栅格单元。
3.根据权利要求2所述的一种车道线检测方法，其特征在于，所述模型被训练为：
通过backbone网络从输入的图片中提取特征，输出特征层，将所述特征层同时输入分类分支head网络以及分割分支head网络，分别得到图片每个栅格单元的车道线类别的置信度以及车道线预测分割掩码。
4.根据权利要求3所述的一种车道线检测方法，其特征在于，所述分类分支head网络进行如下处理，得到栅格单元的车道线类别的置信度：
将输入的特征层的大小由
Figure DEST_PATH_IMAGE001
双线性插值到
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
分别代表特征层的高、宽以及通道数；
将大小为
Figure 448300DEST_PATH_IMAGE002
的特征层输入由四个3×3卷积核所组成的堆叠卷积层，预测每个栅格单元上是否有车道线，输出空间为
Figure DEST_PATH_IMAGE006
，其中每个元素代表相应栅格单元包含车道线的概率。
5.根据权利要求4所述的一种车道线检测方法，其特征在于，所述分割分支head网络进行如下处理，得到栅格单元的车道线预测分割掩码：
生成与输入的特征层高宽相同且分别包含归一化的从-1到1的X方向像素坐标和Y方向像素坐标的两个向量，将所述两个向量附加到所述特征层上构成新特征层，其尺度为
Figure DEST_PATH_IMAGE007
，其中最后两个通道为归一化的X方向像素坐标与Y方向像素坐标；
将新特征层输入由四个3×3卷积核所组成的堆叠卷积层，预测每个栅格单元的车道线分割掩码，输出空间为
Figure DEST_PATH_IMAGE008
，其中第三维度的每个通道代表了对应栅格单元的车道线预测分割掩码，第三维度第
Figure DEST_PATH_IMAGE009
通道负责分割图片第i行第j列的栅格单元，
Figure DEST_PATH_IMAGE010
。
6.根据权利要求1或5所述的一种车道线检测方法，其特征在于，所述车道线对应的标签包括图片中每一条车道线的回归框以及每一条车道线的多边形的顶点集合。
7.根据权利要求6所述的一种车道线检测方法，其特征在于，训练所述模型的损失函数为focal loss和dice loss，其中：
所述focal loss用于优化分类分支head网络的损失函数；
所述dice loss用于优化分割分支head网络的损失函数。
8.根据权利要求7所述的一种车道线检测方法，其特征在于，所述步骤S103进一步包括：
将每个栅格单元的置信度与预设的第一阈值进行比较，过滤掉不含车道线的栅格单元。
9.根据权利要求8所述的一种车道线检测方法，其特征在于，所述步骤S104进一步包括：
从过滤后的栅格单元中取置信度最大的预定数量的栅格单元，对所取栅格单元对应的车道线预测分割掩码二值化。
10.根据权利要求9所述的一种车道线检测方法，其特征在于，所述步骤S104通过以下步骤对车道线预测分割掩码进行二值化：
将车道线预测分割掩码上的每个像素值与预设的第二阈值进行比较，若像素值大于或等于所述第二阈值，则修改该像素值为1，否则，修改该像素值为0。
11.根据权利要求10所述的一种车道线检测方法，其特征在于，所述步骤S105进一步包括：
a、将二值化后的车道线预测分割掩码加入集合S；
b、按照对应的栅格单元的置信度的大小对所述集合S中的车道线预测分割掩码进行降序排列；
c、选取所述集合S中置信度最大的车道线预测分割掩码
Figure DEST_PATH_IMAGE011
，过滤掉所述集合S中与所述车道线预测分割掩码
Figure 362510DEST_PATH_IMAGE011
的IOU大于等于第三阈值的车道线预测分割掩码，待所述集合S中剩余的车道线预测分割掩码与所述车道线预测分割掩码
Figure 17614DEST_PATH_IMAGE011
的IOU都小于所述第三阈值，将所述置信度最大的车道线预测分割掩码
Figure 521145DEST_PATH_IMAGE011
从集合S中取出并放入集合
Figure DEST_PATH_IMAGE012
；
d、循环步骤c，直到所述集合S中没有车道线预测分割掩码，此时所述集合
Figure 912681DEST_PATH_IMAGE012
包含最终的车道线的实例分割结果。
12.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令,所述指令在被执行时使所述处理器执行根据权利要求1-11任一项所述的一种车道线检测方法。
13.一种车辆，其特征在于，具有根据权利要求12所述的一种电子设备。
CN202110816218.4A 2021-07-20 2021-07-20 车道线检测方法、电子设备及车辆 Active CN113269171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816218.4A CN113269171B (zh) 2021-07-20 2021-07-20 车道线检测方法、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816218.4A CN113269171B (zh) 2021-07-20 2021-07-20 车道线检测方法、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN113269171A true CN113269171A (zh) 2021-08-17
CN113269171B CN113269171B (zh) 2021-10-12

Family

ID=77236723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816218.4A Active CN113269171B (zh) 2021-07-20 2021-07-20 车道线检测方法、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN113269171B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926803A (zh) * 2022-07-19 2022-08-19 苏州魔视智能科技有限公司 车道线检测模型建立方法、车道线检测方法、装置和设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102905A (zh) * 2014-07-16 2014-10-15 中电海康集团有限公司 一种车道线自适应检测的方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111539402A (zh) * 2020-07-13 2020-08-14 平安国际智慧城市科技股份有限公司 基于深度学习的车道线检测方法、装置、终端及存储介质
CN112215041A (zh) * 2019-07-11 2021-01-12 广州汽车集团股份有限公司 一种端到端车道线检测方法及其系统
CN112614136A (zh) * 2020-12-31 2021-04-06 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种红外小目标实时实例分割方法及装置
CN112818873A (zh) * 2021-02-04 2021-05-18 苏州魔视智能科技有限公司 车道线检测方法、系统及电子设备
CN112883807A (zh) * 2021-01-22 2021-06-01 中汽创智科技有限公司 车道线检测方法和系统
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置
CN112989942A (zh) * 2021-02-09 2021-06-18 四川警察学院 一种基于交通监控视频的目标实例分割方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102905A (zh) * 2014-07-16 2014-10-15 中电海康集团有限公司 一种车道线自适应检测的方法
CN109635744A (zh) * 2018-12-13 2019-04-16 合肥工业大学 一种基于深度分割网络的车道线检测方法
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN112215041A (zh) * 2019-07-11 2021-01-12 广州汽车集团股份有限公司 一种端到端车道线检测方法及其系统
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN111178245A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111539402A (zh) * 2020-07-13 2020-08-14 平安国际智慧城市科技股份有限公司 基于深度学习的车道线检测方法、装置、终端及存储介质
CN112614136A (zh) * 2020-12-31 2021-04-06 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种红外小目标实时实例分割方法及装置
CN112883807A (zh) * 2021-01-22 2021-06-01 中汽创智科技有限公司 车道线检测方法和系统
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置
CN112818873A (zh) * 2021-02-04 2021-05-18 苏州魔视智能科技有限公司 车道线检测方法、系统及电子设备
CN112989942A (zh) * 2021-02-09 2021-06-18 四川警察学院 一种基于交通监控视频的目标实例分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENJIE SONG等: "Lane Detection and Classification for Forward Collision Warning System Based on Stereo Vision", 《IEEE SENSORS JOURNAL》 *
袁枫: "基于卷积神经网络的车道线检测算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926803A (zh) * 2022-07-19 2022-08-19 苏州魔视智能科技有限公司 车道线检测模型建立方法、车道线检测方法、装置和设备

Also Published As

Publication number Publication date
CN113269171B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN110619369B (zh) 基于特征金字塔与全局平均池化的细粒度图像分类方法
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN111612008B (zh) 基于卷积网络的图像分割方法
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
CN107133943A (zh) 一种防震锤缺陷检测的视觉检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Teimouri et al. A real-time ball detection approach using convolutional neural networks
CN115565071A (zh) 高光谱图像Transformer网络训练及分类方法
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN113269171B (zh) 车道线检测方法、电子设备及车辆
CN114782919A (zh) 一种真实和仿真数据增强的道路栅格地图构建方法、系统
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN115984537A (zh) 图像处理方法、装置及相关设备
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211222

Address after: 200000 building 20, Lane 1000, zhangheng Road, pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: MOTOVIS TECHNOLOGY (SHANGHAI) CO.,LTD.

Patentee after: Jiangsu Moshi Intelligent Technology Co., Ltd

Address before: 201203 building 76, Lane 1000, zhangheng Road, Pudong New Area pilot Free Trade Zone, Shanghai

Patentee before: MOTOVIS TECHNOLOGY (SHANGHAI) CO.,LTD.

TR01 Transfer of patent right