CN114926803A - 车道线检测模型建立方法、车道线检测方法、装置和设备 - Google Patents

车道线检测模型建立方法、车道线检测方法、装置和设备 Download PDF

Info

Publication number
CN114926803A
CN114926803A CN202210845495.2A CN202210845495A CN114926803A CN 114926803 A CN114926803 A CN 114926803A CN 202210845495 A CN202210845495 A CN 202210845495A CN 114926803 A CN114926803 A CN 114926803A
Authority
CN
China
Prior art keywords
lane line
line detection
detection model
loss function
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210845495.2A
Other languages
English (en)
Inventor
闫硕
张如高
李发成
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202210845495.2A priority Critical patent/CN114926803A/zh
Publication of CN114926803A publication Critical patent/CN114926803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车道线检测模型建立方法、车道线检测方法、装置和设备，其中，车道线检测模型建立方法包括：对训练图像进行标注得到标签，标签包括车道线起点标签、车道线点集标签；将训练图像输入至待训练的车道线检测模型，获取车道线检测模型输出的检测结果；车道线检测模型包括分类分支和分割分支，检测结果包括车道线起点检测结果和车道线检测结果；计算车道线起点检测结果与车道线起点标签的第一损失函数值；计算车道线检测结果与车道线点集标签的第二损失函数值；基于第一损失函数值和第二损失函数值确定是调整车道线检测模型的参数后继续训练还是结束训练。本发明能够检测任意数量的车道线。

Description

车道线检测模型建立方法、车道线检测方法、装置和设备
技术领域
本发明涉及人工智能识别技术领域，具体涉及一种车道线检测模型建立方法、车道线检测方法、装置和设备。
背景技术
随着电动汽车发展同时发生的汽车智能化中，自动驾驶的技术和应用得到了长足的发展和进步。而车道线的检测识别是公路行车场景中一项基本但重要的任务。目前大部分新推出的车型都配置的高级驾驶辅助系统（Advanced Driver Assistance System，ADAS）设备，就都包括了车道线检测模块。目的是为了实时、精确地识别到不同种类的车道线。从而可以定位到车辆在道路中的位置，从而为行车做好规划，通过轨迹规划模块控制车辆安全自动行驶。
但是，目前常见的车道线检测方法对车道线数量都有一个固定限制，比如不超过4条或者6条。
发明内容
有鉴于此，本发明实施例提供了一种车道线检测模型建立方法、车道线检测方法、装置和设备，以解决目前的车道线检测方法对车道线数量有限制的问题。
根据第一方面，本发明实施例提供了一种车道线检测模型建立方法，所述方法包括：
获取训练图像；
对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
结合第一方面，在第一方面第一实施方式中，所述标签还包括像素补偿标签，所述像素补偿标签为栅格块内的点距离所述栅格块的中心点的距离，所述栅格块为指示车道线的点扩张后得到的方块；
所述车道线检测模型还包括像素补偿分支，所述检测结果还包括所述像素补偿分支输出的像素补偿结果；
所述基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，包括：
基于所述第一损失函数值、所述第二损失函数值和第三损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，所述第三损失函数值为所述像素补偿结果与所述像素补偿标签的损失函数值。
结合第一方面，在第一方面第二实施方式中，所述车道线起点标签为以第一栅格块的中心为坐标作的高斯圆，所述第一栅格块为所述车道线起点扩张后得到的方块。
结合第一方面第一实施方式，在第一方面第三实施方式中，所述车道线检测模型还包括特征图金字塔网络，用于输出所述训练图像的特征金字塔，所述特征金字塔至少为两层，其中一层作为所述分类分支的输入，其中另一层作为所述分割分支和所述像素补偿分支的输入。
结合第一方面，在第一方面第四实施方式中，所述分割分支在检测各像素是否是车道线点时，分别针对所述训练图像的像素行和像素列判断是否存在是车道线点的像素。
结合第一方面，在第一方面第五实施方式中，所述车道线检测模型还包括辅助结构，所述辅助结构包括空洞空间卷积池化金字塔结构，所述辅助结构的输入为基于所述训练图像得到的特征金字塔，所述辅助结构用于直接分割车道线。
根据第二方面，本发明实施例提供了一种车道线检测方法，包括：
获取待检测的图像；
利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用上述第一方面或第一实施方式或第二实施方式或第三实施方式所述的车道线检测模型建立方法建立的模型。
结合第一方面，在第一方面第一实施方式中，所述利用车道线检测模型对所述待检测的图像进行检测，包括：
对所述车道线检测模型输出的车道线起点热力图取极值，得到车道线的起点。
根据第三方面，本发明实施例提供了一种车道线检测模型建立装置，包括：
训练数据获取模块，用于获取训练图像；
标注模块，用于对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
训练模块，用于将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
第一计算模块，用于计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
第二计算模块，用于计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
判断模块，用于基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
根据第四方面，本发明实施例提供了一种车道线检测装置，包括：
获取模块，用于获取待检测的图像；
检测模块，用于利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用上述第三方面所述的车道线检测模型建立装置建立的模型。
根据第五方面，本发明实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面、第一方面的第一实施方式至第四实施方式中任一项所述的车道线检测模型建立方法，或实现上述第二方面或第二方面的第一实施方式所述的车道线检测方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述第一方面、第一方面的第一实施方式至第四实施方式中任一项所述的车道线检测模型建立方法，或实现上述第二方面或第二方面的第一实施方式所述的车道线检测方法。
本发明实施例提供的车道线检测模型建立方法、车道线检测方法、装置和设备，将车道线实例分割转化为车道线的起点实例分割、和车道线起点对应的车道线分割，因为车道线起点和车道线检测结果是有对应关系的，因此通过简单的后处理即可输出最终的车道线检测结果，从而使得车道线检测的数量无限制，也即可以适用于任意数量的车道线检测。而且，本发明实施例一步到位直接输出实例级的车道线，与语义分割只能输出像素，需要复杂且可靠的后处理算法来得到实际的一条一条车道线实例相比，对处理算法的要求和计算量大大降低。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例提供的一种车道线检测模型建立方法的流程示意图；
图2为本发明实施例提供的一种车道线点集标注示意图；
图3为本发明实施例提供的一种车道线检测模型的结构示意图；
图4为本发明实施例提供的一种车道线检测方法的流程示意图；
图5为本发明实施例提供的一种车道线检测模型建立装置的结构示意图；
图6为本发明实施例提供的一种车道线检测装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
请参阅图1，本发明实施例提供一种车道线检测模型建立方法，所述方法包括：
S101：获取训练图像；
其中，所述训练图像可以是车辆前视图像，具体可以是车载前视单目摄像头采集的图像。另外，由于摄像头采集图像帧率较高，为了避免使用大量相似的图像，可以设置一定的帧间隔，然后按照该帧间隔选取其中一部分图像作为训练图像，即每间隔一定数量的帧选取一帧图像作为训练图像。这种方式平衡了数据的总量和数据的多样性。具体的，例如可以使用尺寸为320*800的图像下半部分。
S102：对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
具体的，针对每一张车辆前视图像，对该车辆前视图像中的每一条车道线使用点进行标注，该点可以是一个像素级的，每一条车道线的标注点形成一个标注点集，在对一个条车道线进行标注时可以从图像的底部或侧面开始标注，延长到消失点。车道线起点即标注的车道线点中的起点，一般是一条车道线的点集中靠近图像最下方的点。
S103：将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
其中，分类分支可以包括两组卷积（conv）、批标准化（batch normalization，BN）和relu（一种激活函数）结构，第一个卷积核可以为3、第二个卷积核可以为1，最后一层没有relu。
S104：计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
第一损失函数值可以利用二分类交叉熵损失函数（Binary CrossEntropyLoss，BCEloss）计算得到。
S105：计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
S106：基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
具体来说，如果基于所述第一损失函数和所述第二损失函数值确定需要继续训练，则调整所述车道线检测模型的参数后，重复上述步骤S103-S106，即将所述训练图像输入至参数调整后的车道线检测模型，得到新的检测结果，基于新的检测结果中的车道线起点检测结果与车道线起点标签得到新的第一损失函数值，基于新的检测结果中的车道线检测结果与所述车道线点集标签得到新的第二损失函数值，然后基于新的第一损失函数值和新的第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
本发明实施例提供的车道线检测模型建立方法，将车道线实例分割转化为车道线的起点实例分割、和车道线起点对应的车道线分割，因为车道线起点和车道线检测结果是有对应关系的，因此通过简单的后处理即可输出最终的车道线检测结果，从而使得车道线检测的数量无限制，也即可以适用于任意数量的车道线检测。而且，本发明实施例一步到位直接输出实例级的车道线，与语义分割只能输出像素，需要复杂且可靠的后处理算法来得到实际的一条一条车道线实例相比，对处理算法的要求和计算量大大降低。
一些具体的实施方式中，所述车道线检测模型还包括特征图金字塔网络（FeaturePyramid Networks，FPN），用于输出所述训练图像的特征金字塔，所述特征金字塔至少为两层，其中一层作为所述分类分支的输入，其中另一层作为所述分割分支和所述像素补偿分支的输入。
例如，FPN网络可以输出p3,p4,p5，3个级别（level），分别对应原图尺寸的1/8,1/16,1/32的特征图（feature map）。其中，p4作为分类分支的输入，当训练图像的尺寸为320*800时，p4的尺寸为N*chl*20*50，chl为FPN网络输出的通道数，N为批大小（batchsize）。P3为分割分支和像素补偿分支的输入，当训练图像的尺寸为320*800时，P3的尺寸为N*chl*40*100，分割分支和像素补偿分支的输出还是N*chl*40*100。
另外，请参阅图3，特征图金字塔网络可以作为车道线检测模型的颈部（neck）结构，特征图金字塔网络之前还可以包括骨干网络（backbone），常见的backbone有resnet、shufflenet等分类网络。骨干网络（backbone）的作用是作为编码器（encoder）提供感知信息。训练图像首先输入进backbone，然后backbone的结果输入到网络的neck结构。
一些具体的实施方案中，所述分割分支在检测各像素是否是车道线点时，分别针对所述训练图像的像素行和像素列判断是否存在是车道线点的像素。
本发明实施例中，所述分割分支并非直接针对每个像素点判断是否是车道线点，而是分别判断图像的像素行中是否存在属于车道线的像素点、图像的像素列中是否存在属于车道线的像素点，从而可以降低计算量。
所述分割分支具体可以如下：首先是4组conv,BN,relu结构，卷积核为3，步长（stride）为1，为了简化，这个特征图（feature map）称为mask分支（branch）。然后分别接2个1*1卷积，输出分别为20和50。对应分类分支的车道线起点的坐标，比如说车道线的起点坐标为(a,b)，那分别取出上面2个输出的第a个通道和第b个通道，尺寸都是N*1*40*100，然后做点乘，得到最后的结果为N*1*40*100。通过这种分解（decouple）的方式，对每个像素都可输出一个同尺寸的mask。这个mask和分割分支的标签求损失函数值（loss）。通过学习，理想情况下，这个mask只有0和1。车道线对应的像素为0，其他区域为1。训练的时候直接用真值来去(a,b)。具体来说，一张图里有6条车道线的标注，那么取车道线6个起点周围的4个像素，一共24组（a,b），最后的网络输出为1*24*40*100，和标签（label）求损失函数值（loss）。这里也是用分割的二分类交叉熵损失（Binary CrossEntropy Loss，BCEloss）。分割分支具体可以通过阈值过滤热力图（heatmap）的方式得到车道线点。
一些具体的实施方式中，所述标签还包括像素补偿标签，所述像素补偿标签为栅格块内的点距离所述栅格块的中心点的距离，所述栅格块为指示车道线的点扩张后得到的方块；
所述车道线检测模型还包括像素补偿分支，所述检测结果还包括所述像素补偿分支输出的像素补偿结果；
所述基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，包括：
基于所述第一损失函数值、所述第二损失函数值和第三损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，所述第三损失函数值为所述像素补偿结果与所述像素补偿标签的损失函数值。
其中，栅格块的中心点即为指示车道线的点，指示车道线的点是通过人工标注得到，本发明实施例中通过将指示车道线的点扩张为栅格块，即扩大了车道线的标注点，方便网络学习。
相关技术中，基于像素得到的车道线理论精度被限制，对远处的车道线也只能以像素来区分。并且因为计算量的考虑，分割网络的输出分辨率往往小于实际的输入分辨率，常常为1/8或者1/4. 但实际上远处的车道线宽度可能已经低于单像素了，不利于自动驾驶规划控制模块工作。本发明实施例通过像素补偿分支实现超像素的高精车道线检测结果。举例来说，对于一张固定大小的图片，比如320*800来说。标注的极限是一个像素。但是实际采集的图片是1280*1920，可能像素很高，通过缩小图像尺寸来平衡计算量。那在缩小的过程里，车道线的标注可能就会产生小数点。比如有一个车道线的点应该是(531,267)。那么图像如果缩小4倍作为网络输出，标注变成(132.75, 66.75)。对于传统的方法只能取整数(133,67)，这样就产生了一些误差。但是对于像素补偿分支来说，因为是回归值，如果标签做成带小数部分，通过学习，就可以得到超像素的结果。因此，本发明实施例中，将栅格块内的点距离所述栅格块的中心点的距离作为像素补偿标签，该距离在随着图像的缩小而缩小之后，将产生小数部分。
像素补偿分支和分割分支非常类似。也是先4组卷积。可以直接和分割分支共享，mask branch直接复用为reg branch。然后是自己单独的decouple 头（head），也是输出20和50的通道数的2个结果。也是用(a.b)来得到一个1*n*40*100的结果。训练和测试过程也都和分割分支一样。只不过loss变成L1 loss，因为是回归坐标差值。
本发明实施例中通过分解（Decouple）头（head）提高了表征能力。
另外，在训练过程中，理想情况下，分割分支应该输出训练图像的上述栅格块（对人工标注得到的栅格块缩小后得到的栅格块）内的各个像素点为车道线，但是实际输出的车道线检测结果存在噪声（本不属于车道线的像素点输出为车道线），也存在漏检（即本该属于车道线的像素点并未输出为车道线），最主要的是，由于输出的车道线检测结果是像素级的，也即只能针对一个像素点输出检测结果（该像素点是车道线或不是车道线）。但是，根据上述可以看出，实际输入至车道线检测模型的训练图像是缩小后的图像不是原尺寸图像，而缩小后的图像标注的车道线点只能取整数，因此映射到原图像后可能存在偏差，因此本发明实施例利用像素补偿分支输出的小数级的距离，对分割分支输出的车道线像素点进行修正，得到超像素的车道线检测结果，从而消除映射到原尺寸图像时的偏差。后续在使用该车道线检测模型进行车道线检测时，也是相同的过程，因此后续不再赘述。
其他可选的具体实施方式中，所述栅格块也可以针对训练图像预先划分的栅格块中指示车道线的点所在的栅格块，可以将指示车道线的点扩张至整个栅格块。在标注阶段可以将指示车道线的点所在的栅格块标注为“1”，其他的栅格块标注为“0”，一般来说车道线是从图像的下方向上方延伸，针对一条车道线，每一行的栅格块最多只有一个栅格块标注为“1”，即每一行只有一个栅格块指示该车道线，车道线点集标注请参阅图2。在栅格块为预先划分的栅格块时，像素补偿分支的标签可以是该栅格块内各个点与其中实际为车道线的点之间的距离。
一些具体的实施方式中，所述车道线起点标签为以第一栅格块的中心为坐标作的高斯圆，所述第一栅格块为所述车道线起点扩张后得到的方块。
其他可选的具体实施方式中，可以以所述车道线起点扩张后得到的所述第一栅格块作为所述车道线起点标签。
另外，所述第一栅格块也可以是针对训练图像预先划分的栅格块中所述车道线起点所在的栅格块。
一些具体的实施方式中，请参阅图3，所述车道线检测模型还包括辅助（auxiliary）结构，所述辅助结构包括空洞空间卷积池化金字塔（atrous spatial pyramidpooling，ASPP）结构，所述辅助结构的输入为基于所述训练图像得到的特征金字塔，所述辅助结构用于直接分割车道线。
本发明实施例中，所述辅助结构即是单独再额外增加的一个分割分支，例如通过把上述的p3,p4,p5作为都作为输入，增加aspp结构等，直接分割车道线。这个和上述的分割分支相比，能力会更强。有助于模型的学习。但是只在训练时增加，实际检测时没有这个分支。
请参阅图4，本发明实施例提供了一种车道线检测方法，包括：
S401：获取待检测的图像；
S402：利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用上述的任一种车道线检测模型建立方法建立的模型。
本发明实施例提供的车道线检测方法，将车道线实例分割转化为车道线的起点实例分割、和车道线起点对应的车道线分割，因为车道线起点和车道线检测结果是有对应关系的，因此通过简单的后处理即可输出最终的车道线检测结果，从而使得车道线检测的数量无限制，也即可以适用于任意数量的车道线检测。而且，本发明实施例一步到位直接输出实例级的车道线，与语义分割只能输出像素，需要复杂且可靠的后处理算法来得到实际的一条一条车道线实例相比，对处理算法的要求和计算量大大降低。
一些具体的实施方式中，所述利用车道线检测模型对所述待检测的图像进行检测，包括：
对所述车道线检测模型输出的车道线起点热力图（heatmap）取极值，得到车道线的起点。
本发明实施例中，对车道检测模型输出的车道线起点热力图（heatmap）取极值，极值所在的像素坐标就是车道线的起点。通过这种方式，车道线的数量就没有限制了。
综上所述，本发明实施例将车道线检测转化为车道线起点分类问题、以及车道线分割和补偿值的回归问题。不仅解决了现有技术中不能直接输出车道线实例而需要复杂且可靠的后算法来得到车道线实例的问题，还解决了现有技术中对车道线的数量有限制的问题，以及车道线输出分辨率低的问题。另外，本发明实施例对各种光线环境和车道线的破损弯曲等情况的容忍度高，是一个端到端的神经网络方法。
另外，在利用车道线检测模型对所述待检测的图像进行检测得到高精度的车道线像素点之后，还可以利用非极大值抑制（Non-Maximum Suppression ，NMS）等方式对得到的车道线进行修正，具体的可参阅相关技术，这里不再赘述。
本发明实施例提供的针对待检测的图像的车道线检测过程，与上述实施例提供的车道线检测模型建立方法中，针对训练图像的车道线检测过程一致，具体请参阅上述车道线检测模型建立方法实施例，这里不再赘述。
相应地，请参考图5，本发明实施例提供一种车道线检测模型建立装置，该装置包括：
训练数据获取模块501，用于获取训练图像；
标注模块502，用于对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
训练模块503，用于将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
第一计算模块504，用于计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
第二计算模块505，用于计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
判断模块506，用于基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
本发明实施例提供的车道线检测模型建立装置，将车道线实例分割转化为车道线的起点实例分割、和车道线起点对应的车道线分割，因为车道线起点和车道线检测结果是有对应关系的，因此通过简单的后处理即可输出最终的车道线检测结果，从而使得车道线检测的数量无限制，也即可以适用于任意数量的车道线检测。而且，本发明实施例一步到位直接输出实例级的车道线，与语义分割只能输出像素，需要复杂且可靠的后处理算法来得到实际的一条一条车道线实例相比，对处理算法的要求和计算量大大降低。
一些可选的具体实施方式中，所述标签还包括像素补偿标签，所述像素补偿标签为栅格块内的点距离所述栅格块的中心点的距离，所述栅格块为指示车道线的点扩张后得到的方块；
所述车道线检测模型还包括像素补偿分支，所述检测结果还包括所述像素补偿分支输出的像素补偿结果；
所述判断模块506，用于基于所述第一损失函数值、所述第二损失函数值和第三损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，所述第三损失函数值为所述像素补偿结果与所述像素补偿标签的损失函数值。
一些可选的具体实施方式中，所述车道线起点标签为以第一栅格块的中心为坐标作的高斯圆，所述第一栅格块为所述车道线起点扩张后得到的方块。
一些可选的具体实施方式中，所述车道线检测模型还包括特征图金字塔网络，用于输出所述训练图像的特征金字塔，所述特征金字塔至少为两层，其中一层作为所述分类分支的输入，其中另一层作为所述分割分支和所述像素补偿分支的输入。
一些可选的具体实施方式中，所述车道线检测模型还包括辅助结构，所述辅助结构包括空洞空间卷积池化金字塔结构，所述辅助结构的输入为基于所述训练图像得到的特征金字塔，所述辅助结构用于直接分割车道线。
一些可选的具体实施方案中，所述分割分支在检测各像素是否是车道线点时，分别针对所述训练图像的像素行和像素列判断是否存在是车道线点的像素。
本发明实施例为与上述车道线检测模型建立方法对应的装置实施例，具有相同的发明构思，具体的实施细节和实现的有益效果请参阅上述车道线检测模型建立方法实施例，此处不再赘述。
相应地，请参考图6，本发明实施例提供一种车道线检测装置，该装置包括：
获取模块601，用于获取待检测的图像；
检测模块602，用于利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用上述的任一种车道线检测模型建立装置建立的模型。
本发明实施例提供的车道线检测装置，将车道线实例分割转化为车道线的起点实例分割、和车道线起点对应的车道线分割，因为车道线起点和车道线检测结果是有对应关系的，因此通过简单的后处理即可输出最终的车道线检测结果，从而使得车道线检测的数量无限制，也即可以适用于任意数量的车道线检测。而且，本发明实施例一步到位直接输出实例级的车道线，与语义分割只能输出像素，需要复杂且可靠的后处理算法来得到实际的一条一条车道线实例相比，对处理算法的要求和计算量大大降低。
一些具体的实施方式中，所述检测模块602包括：
起点检测单元，用于对所述车道线检测模型输出的车道线起点热力图取极值，得到车道线的起点。
本发明实施例为与上述车道线检测模型建立方法对应的装置实施例，具有相同的发明构思，具体的实施细节和实现的有益效果请参阅上述车道线检测模型建立方法实施例，此处不再赘述。
本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器71和存储器72，其中处理器71和存储器72可以通过总线或者其他方式互相通信连接，图7中以通过总线连接为例。
处理器71可以为中央处理器（Central Processing Unit，CPU）。处理器71还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器72作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车道线检测模型建立方法对应的程序指令/模块（例如，图5所示的训练数据获取模块501、标注模块502、训练模块503、第一计算模块504、第二计算模块505、判断模块506），或本发明实施例中的车道线检测方法对应的程序指令/模块（例如，图6所示的获取模块601、检测模块602）。处理器71通过运行存储在存储器72中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车道线检测模型建立方法或者车道线检测方法。
存储器72可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器71所创建的数据等。此外，存储器72可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器72可选包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器72中，当被所述处理器71执行时，执行如图1-3所示实施例中的车道线检测模型建立方法或者如图4所示实施例中的车道线检测方法。
上述电子设备具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，或者对应参阅图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的任一种车道线检测模型建立方法，或实现上述的任一种车道线检测方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种车道线检测模型建立方法，其特征在于，所述方法包括：
获取训练图像；
对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
2.根据权利要求1所述的方法，其特征在于，所述标签还包括像素补偿标签，所述像素补偿标签为栅格块内的点距离所述栅格块的中心点的距离，所述栅格块为指示车道线的点扩张后得到的方块；
所述车道线检测模型还包括像素补偿分支，所述检测结果还包括所述像素补偿分支输出的像素补偿结果；
所述基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，包括：
基于所述第一损失函数值、所述第二损失函数值和第三损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练，所述第三损失函数值为所述像素补偿结果与所述像素补偿标签的损失函数值。
3.根据权利要求1所述的方法，其特征在于，所述车道线起点标签为以第一栅格块的中心为坐标作的高斯圆，所述第一栅格块为所述车道线起点扩张后得到的方块。
4.根据权利要求2所述的方法，其特征在于，所述车道线检测模型还包括特征图金字塔网络，用于输出所述训练图像的特征金字塔，所述特征金字塔至少为两层，其中一层作为所述分类分支的输入，其中另一层作为所述分割分支和所述像素补偿分支的输入。
5.根据权利要求1所述的方法，其特征在于，所述分割分支在检测各像素是否是车道线点时，分别针对所述训练图像的像素行和像素列判断是否存在是车道线点的像素。
6.一种车道线检测方法，其特征在于，包括：
获取待检测的图像；
利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用权利要求1-4中任一项所述的车道线检测模型建立方法建立的模型。
7.根据权利要求6所述的方法，其特征在于，所述利用车道线检测模型对所述待检测的图像进行检测，包括：
对所述车道线检测模型输出的车道线起点热力图取极值，得到车道线的起点。
8.一种车道线检测模型建立装置，其特征在于，包括：
训练数据获取模块，用于获取训练图像；
标注模块，用于对所述训练图像进行标注得到标签，所述标签包括车道线起点标签、车道线点集标签，所述车道线点集标签为指示车道线的点的集合；
训练模块，用于将所述训练图像输入至待训练的车道线检测模型，获取所述车道线检测模型输出的检测结果；所述车道线检测模型包括分类分支和分割分支，所述分类分支用于检测车道线起点，所述分割分支用于检测各像素是否是车道线点，所述检测结果包括车道线起点检测结果和车道线检测结果；
第一计算模块，用于计算所述车道线起点检测结果与所述车道线起点标签的第一损失函数值；
第二计算模块，用于计算所述车道线检测结果与所述车道线点集标签的第二损失函数值；
判断模块，用于基于所述第一损失函数值和所述第二损失函数值确定是调整所述车道线检测模型的参数后继续训练还是结束训练。
9.一种车道线检测装置，其特征在于，包括：
获取模块，用于获取待检测的图像；
检测模块，用于利用车道线检测模型对所述待检测的图像进行检测，所述车道线检测模型为利用权利要求8所述的车道线检测模型建立装置建立的模型。
10.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至5中任一项所述的车道线检测模型建立方法，或实现权利要求6或7所述的车道线检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的车道线检测模型建立方法，或实现权利要求6或7所述的车道线检测方法。
CN202210845495.2A 2022-07-19 2022-07-19 车道线检测模型建立方法、车道线检测方法、装置和设备 Pending CN114926803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210845495.2A CN114926803A (zh) 2022-07-19 2022-07-19 车道线检测模型建立方法、车道线检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210845495.2A CN114926803A (zh) 2022-07-19 2022-07-19 车道线检测模型建立方法、车道线检测方法、装置和设备

Publications (1)

Publication Number Publication Date
CN114926803A true CN114926803A (zh) 2022-08-19

Family

ID=82815829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210845495.2A Pending CN114926803A (zh) 2022-07-19 2022-07-19 车道线检测模型建立方法、车道线检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114926803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN113269171A (zh) * 2021-07-20 2021-08-17 魔视智能科技(上海)有限公司 车道线检测方法、电子设备及车辆
CN114170196A (zh) * 2021-12-07 2022-03-11 浙江工业大学 基于CenterNet2的SAR图像小目标识别方法
CN114639042A (zh) * 2022-03-17 2022-06-17 哈尔滨理工大学 基于改进CenterNet骨干网络的视频目标检测算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476057A (zh) * 2019-01-23 2020-07-31 北京市商汤科技开发有限公司 车道线获取方法及装置、车辆驾驶方法及装置
CN113269171A (zh) * 2021-07-20 2021-08-17 魔视智能科技(上海)有限公司 车道线检测方法、电子设备及车辆
CN114170196A (zh) * 2021-12-07 2022-03-11 浙江工业大学 基于CenterNet2的SAR图像小目标识别方法
CN114639042A (zh) * 2022-03-17 2022-06-17 哈尔滨理工大学 基于改进CenterNet骨干网络的视频目标检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIZHE LIU等: "CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution", 《ARXIV:2105.05003V2》 *
杨鹏强等: "基于改进RepVGG网络的车道线检测算法", 《交通信息与安全》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质

Similar Documents

Publication Publication Date Title
CN113468967B (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN112200884B (zh) 一种车道线的生成方法及装置
US20190163991A1 (en) Method and apparatus for detecting road lane
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
JP2021189625A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN109073390B (zh) 一种定位方法及装置、电子设备和可读存储介质
CN114926803A (zh) 车道线检测模型建立方法、车道线检测方法、装置和设备
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN110880003B (zh) 一种图像匹配方法、装置、存储介质及汽车
CN116486312B (zh) 一种视频图像的处理方法、装置、电子设备和存储介质
CN112883853A (zh) 车道线的检测方法、装置、设备及存储介质
CN114998570B (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置
CN116664829A (zh) 一种rgb-t语义分割方法、系统、装置及存储介质
CN112784817B (zh) 车辆所在车道检测方法、装置、设备及存储介质
JP2020038572A (ja) 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置
CN115063770B (zh) 车道线检测方法、模型训练方法、装置、设备及存储介质
CN111435086B (zh) 基于拼接图的导航方法和装置
CN113591720A (zh) 车道偏离检测方法、装置及计算机存储介质
CN114758150A (zh) 火车刹车链条的状态识别方法及装置、设备、存储介质
JP2021077091A (ja) 画像処理装置および画像処理方法
CN113643374A (zh) 基于道路特征的多目相机标定方法、装置、设备和介质
CN117764988B (zh) 基于异核卷积多感受野网络的道路裂缝检测方法及系统
CN114926454B (zh) 一种停车位检测方法及装置、电子设备
CN112287740B (zh) 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220819