CN114092903A - 车道线标注、检测模型确定、车道线检测方法及相关设备 - Google Patents

车道线标注、检测模型确定、车道线检测方法及相关设备 Download PDF

Info

Publication number
CN114092903A
CN114092903A CN202010781121.XA CN202010781121A CN114092903A CN 114092903 A CN114092903 A CN 114092903A CN 202010781121 A CN202010781121 A CN 202010781121A CN 114092903 A CN114092903 A CN 114092903A
Authority
CN
China
Prior art keywords
lane line
lane
point
line
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010781121.XA
Other languages
English (en)
Inventor
李莹
肖映彩
袁慧珍
刘聪
虢旭升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN202010781121.XA priority Critical patent/CN114092903A/zh
Priority to PCT/CN2021/110183 priority patent/WO2022028383A1/zh
Publication of CN114092903A publication Critical patent/CN114092903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车道线标注、检测模型确定、车道线检测方法及相关设备。通过生成对抗网络模型对待检测车道线场景图进行车道线检测，生成对应的车道线语义图，基于车道线语义图中各像素点的位置信息，确定待检测车道线场景图中的车道线，据此可以同时检测出车道线场景图中的所有车道线，并可以生成遮挡区域的车道线。训练生成对抗网络模型时使用的车道线语义标签图中，绘制的车道线标注线条在近端较粗在远端较细，据此可以减少标注的车道线在远端的粘连情况，提高车道线检测准确性。

Description

车道线标注、检测模型确定、车道线检测方法及相关设备
技术领域
本申请涉及智能驾驶技术领域，特别是涉及一种车道线标注、检测模型确定、车道线检测方法及相关设备。
背景技术
随着智能驾驶技术的发展，车道线检测已成为汽车辅助驾驶和无人驾驶的基础环节，准确地检测和识别车道线是车道偏离预警、车道保持、变道等功能的重要前提。目前的基于深度学习的车道线检测方法，检测出来的车道线容易出现在远端相互粘连的情况，车道线粘连会导致无法准确地进行曲线拟合，从而导致最终获得的车道线检测结果准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高车道线检测准确性的车道线标注、检测模型确定、车道线检测方法及相关设备。
一种车道线标注方法，所述方法包括：
基于车道线场景图获取各车道线上的标注点的位置信息；
根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
一种车道线标注装置，所述装置包括：
标注点信息获取模块，用于基于车道线场景图获取各车道线上的标注点的位置信息；
待绘制点信息确定模块，用于根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
标注线条信息确定模块，用于基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
标注线条绘制模块，用于根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
基于车道线场景图获取各车道线上的标注点的位置信息；
根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于车道线场景图获取各车道线上的标注点的位置信息；
根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
上述车道线标注方法、装置、计算机设备和存储介质，基于车道线场景图中车道线上的标注点的位置信息获得车道线对应的待绘制点的位置信息，通过车道线对应的待绘制点的位置信息确定车道线对应的标注线条在各待绘制点处的粗细信息，使得不同位置的待绘制点处的线条粗细程度不同，根据车道线对应的待绘制点的位置信息、以及标注线条在各待绘制点处的粗细信息绘制的车道线标注线条可实现近端粗远端细，从而减少车道线语义标签图中标注的车道线在远端的粘连情况，提高后续车道线检测准确性。
一种车道线检测模型的确定方法，所述方法包括：
获取样本车道线场景图；
采用上述车道线标注方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
一种车道线检测模型的确定装置，所述装置包括：
样本获取模块，用于获取样本车道线场景图；
车道线标注模块，用于采用上述车道线标注方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
模型训练模块，用于基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
模型确定模块，用于根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取样本车道线场景图；
采用上述车道线标注方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本车道线场景图；
采用上述车道线标注方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
上述车道线检测模型的确定方法、装置、计算机设备和存储介质，与一般的生成对抗网络将语义图作为输入来生成自然场景图不同，通过逆向使用生成对抗网络，将真实的车道线场景图作为输入进行语义分割，生成车道线语义图，有利于去除复杂背景，且可以生成遮挡区域的车道线，鲁棒性更好，适应性更强。
一种车道线检测方法，所述方法包括：
获取待检测车道线场景图；
采用上述车道线检测模型的确定方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图中包括各像素点的位置信息；
基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
一种车道线检测装置，所述装置包括：
待检测图片获取模块，用于获取待检测车道线场景图；
车道线检测模块，用于采用上述车道线检测模型的确定方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图包括各像素点的位置信息；
车道线确定模块，用于基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测车道线场景图；
采用上述车道线检测模型的确定方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图中包括各像素点的位置信息；
基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测车道线场景图；
采用上述车道线检测模型的确定方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图中包括各像素点的位置信息；
基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
上述车道线检测方法、装置、计算机设备和存储介质，通过生成对抗网络模型中的生成器，生成待检测车道线场景图对应的车道线语义图，可实现端到端检测，省去对车道线场景图进行预处理和计算等步骤，检测距离更远、手动调参量更少且鲁棒性更好，相对于基于概率图的语义分割神经网络的车道线检测方法只能检测固定数量车道线且无法生成遮挡区域的车道线，使用生成对抗网络进行车道线检测，可以同时检测出车道线场景图中的所有车道线，并可以生成遮挡区域的车道线，从而提高车道线检测准确性，能够适应大多数复杂的道路场景。
附图说明
图1为一个实施例中车道线标注方法的流程示意图；
图2为一个实施例中车道线场景图的示意图；
图3为一个实施例中车道线语义标签图的示意图；
图4为一个实施例中车道线检测模型的确定方法的流程示意图；
图5为一个实施例中车道线检测方法的流程示意图；
图6为一个实施例中车道线轮廓的示意图；
图7为一个实施例中车道线轮廓的示意图；
图8为一个实施例中车道线轮廓的示意图；
图9为一个实施例中车道线标注装置的结构框图；
图10为一个实施例中车道线检测模型的确定装置的结构框图；
图11为一个实施例中车道线检测装置的结构框图；
图12为一个实施例中计算机设备的内部结构图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车道线标注方法、车道线检测模型的确定方法以及车道线检测方法，可以应用于车辆智能驾驶系统中，车辆智能驾驶系统包括车辆控制器和采集设备。采集设备可以安装于车辆上，随着车辆的行驶采集道路图片或视频。车辆控制器可以从采集设备采集的道路图片或视频中获取车道线场景图，并对车道线场景图进行车道线标注，获得车道线语义标签图；还可以进一步基于车道线场景图和车道线语义标签图，训练获得车道线检测模型；还可以进一步采用训练后的车道线检测模型进行车道线检测。
在一个实施例中，如图1所示，提供了一种车道线标注方法，以该方法应用于车辆控制器为例进行说明，包括以下步骤S102至步骤S108。
S102，基于车道线场景图获取各车道线上的标注点的位置信息。
车道线场景图表示包含车道线的道路场景图，具体可以通过安装于车辆上的摄像头在车辆行驶的过程中针对前方道路拍摄获得。图2示出了一个实施例中车道线场景图的示意图，该车道线场景图中包括四条车道线，从左往右依次为实线、虚线、虚线、实线，各车道线在图2中呈现近端较粗远端较细的特点，即车道线在靠近摄像头的部分较粗，在远离摄像头的部分较细。
标注点表示在车道线场景图中的车道线上选取的点，对于每一条车道线至少选取两个标注点，标注点的位置信息具体可以是标注点在基于车道线场景图建立的坐标系下的坐标值。在一个实施例中，以图2所示的车道线场景图的左下角点为坐标原点O，以竖直方向为第一坐标轴(用Y轴表示)方向(竖直向上为正向)，以水平方向为第二坐标轴(用X轴表示)方向(水平向右为正向)，建立坐标系，标注点的位置信息用(y,x)表示，其中，y表示标注点的Y轴坐标值，x表示标注点的X轴坐标值。
S104，根据各车道线上的标注点的位置信息，确定各车道线对应的待绘制点的位置信息。
待绘制点表示绘制车道线场景图中的车道线所需的点，可以理解为车道线对应的待绘制的标注线条上的点，待绘制点的位置信息具体可以是待绘制点在基于车道线场景图建立的坐标系下的坐标值。需要说明的是，可以直接将车道线上的标注点作为车道线对应的待绘制点，也可以基于车道线上的相邻标注点进行线性插值，将标注点和插值点一起作为车道线对应的待绘制点。
S106，基于各车道线对应的待绘制点的位置信息，确定各车道线对应的标注线条在各待绘制点处的粗细信息。
参考前述实施例中的坐标系，待绘制点的位置信息可以用(yi,xi)表示，i表示第i个待绘制点。具体地，可以根据待绘制点的Y轴坐标值(即yi)的大小来确定标注线条在该待绘制点处的粗细大小，使得不同Y轴坐标值的待绘制点处的线条粗细程度不同。在一个实施例中，各待绘制点处的粗细大小与Y轴坐标值大小反相关，即待绘制点的Y轴坐标值越小，对应位置处的标注线条越粗。
S108，根据各车道线对应的待绘制点的位置信息、以及标注线条在各待绘制点处的粗细信息，绘制各车道线对应的标注线条，获得车道线场景图对应的车道线语义标签图。
车道线语义标签图表示对车道线场景图中的车道线进行标注获得的图片，图3示出了一个实施例中车道线语义标签图的示意图，该车道线语义标签图为图2所示的车道线场景图对应的车道线语义标签图，其中包括四条标注线条，分别对应图2所示的车道线场景图中的四条车道线，各标注线条在图3中呈现近端较粗远端较细的特点，与各车道线在图2中呈现的近端较粗远端较细的特点相符。
上述车道线标注方法中，基于车道线场景图中车道线上的标注点的位置信息获得车道线对应的待绘制点的位置信息，通过车道线对应的待绘制点的位置信息确定车道线对应的标注线条在各待绘制点处的粗细信息，使得不同位置的待绘制点处的线条粗细程度不同，根据车道线对应的待绘制点的位置信息、以及标注线条在各待绘制点处的粗细信息绘制的车道线标注线条可实现近端粗远端细，从而减少车道线语义标签图中标注的车道线在远端的粘连情况，提高后续车道线检测准确性。
在一个实施例中，根据各车道线上的标注点的位置信息，确定各车道线对应的待绘制点的位置信息的步骤，具体可以包括以下步骤：根据各车道线上的标注点中的相邻标注点的位置信息进行线性插值，获得相邻标注点之间的插值点的位置信息；基于各车道线上的标注点以及插值点的位置信息，确定各车道线对应的待绘制点的位置信息。
车道线上的标注点可以由人工进行标注，为了减轻人工标注的工作量，相邻标注点之间可以间隔一段距离，然后通过线性插值在所有相邻的标注点之间插入插值点，最后将所有标注点和所有插值点作为待绘制点。
对于同一条车道线上的各标注点，任意相邻的两个标注点可以确定一条直线，具体可以基于相邻的两个标注点的位置信息拟合得到一次线性方程，根据一次线性方程计算相邻的两个标注点之间的插值点的位置信息。
具体而言，例如相邻的两个标注点(P1、P2)的位置信息分别为(y1,x1)和(y2,x2)，则由P1、P2的位置信息拟合得到的一次线性方程为：x＝ky+b，其中，k＝(x2-x1)/(y2-y1)，b＝x1-ky1，在y1到y2之间选取中间值，作为插值点的Y轴坐标值，然后将插值点的Y轴坐标值作为已知变量，代入到上述一次线性方程，计算获得插值点的X轴坐标值，从而获得插值点的位置信息。可以理解，在y1到y2之间可以选取一个或者多于一个的中间值，从而P1与P2之间的插值点数量可以是一个也可以是多于一个。
本实施例中，通过车道线上的相邻标注点的位置信息进行线性插值，获得相邻标注点之间的插值点的位置信息，再基于所有标注点和所有插值点的位置信息，确定车道线对应的待绘制点的位置信息，据此可以减轻人工标注的工作量，快速获得绘制车道线标注线条所需的待绘制点，提高标注效率，同时还可以减少人工标注错误，提高标注准确性。
在一个实施例中，位置信息包括基于车道线场景图建立的坐标系下第一坐标轴方向的第一坐标值，第一坐标轴方向表示与车道线延伸方向对应的方向；基于各车道线对应的待绘制点的位置信息，确定各车道线对应的标注线条在各待绘制点处的粗细信息的步骤，具体可以是：基于各车道线对应的各待绘制点的第一坐标值大小，确定各车道线对应的标注线条在各待绘制点处的粗细大小，使得标注线条的粗细大小沿对应的车道线延伸方向递减。
参考前述实施例中的坐标系，第一坐标轴方向为Y轴方向，第一坐标值为Y轴坐标值，车道线延伸方向具体表示车道线从近端到远端的延伸方向，Y轴方向与车道线延伸方向对应，可以理解为随着车道线从近端向远端延伸，对应的Y轴坐标值逐渐增大。
具体而言，一车道线对应的待绘制点的第一坐标值用yi表示，该车道线对应的标注线条在各待绘制点处的粗细大小的确定方式如下：εi＝αyi+β，其中，εi表示标注线条在yi对应的待绘制点位置处的粗细大小，α和β表示调节因子，可以根据实际情况进行设置。按照前述实施例中的坐标系，α为一负值，从而εi随着yi增大而减小，使得标注线条的粗细大小沿对应的车道线延伸方向递减。
本实施例中，通过各车道线对应的各待绘制点的第一坐标值大小，确定各车道线对应的标注线条在各待绘制点处的粗细大小，使得标注线条的粗细大小沿对应的车道线延伸方向递减，从而减少标注的车道线在远端的粘连情况，提高后续车道线检测准确性。
在一个实施例中，还可以包括以下步骤：基于车道线场景图获取各车道线上的标注点的类别信息；根据各车道线上的标注点的类别信息，获得各车道线对应的待绘制点的类别信息。根据各车道线对应的待绘制点的位置信息、以及标注线条在各待绘制点处的粗细信息，绘制各车道线对应的标注线条，获得车道线场景图对应的车道线语义标签图的步骤，具体可以是：根据各车道线对应的待绘制点的位置信息、类别信息以及标注线条在各待绘制点处的粗细信息，绘制各车道线对应的标注线条，获得车道线场景图对应的车道线语义标签图。
类别信息用于指示标注点所属的车道线类别，类别信息具体可以是颜色信息，即采用不同的颜色指示不同的车道线类别，如图2所示，车道线类别包括实线和虚线，可以用第一颜色(例如红色)指示实线类别，用第二颜色(例如绿色)指示虚线类别，从而在绘制各车道线对应的标注线条时，除了根据待绘制点的位置信息控制绘制线条的粗细，还可以根据车道线类别控制绘制线条的颜色，如图3所示，四条标注线条的颜色从左至右依次为红色、绿色、绿色、红色。
本实施例中，通过标注点的类别信息指示对应的车道线类别，后续进行车道线检测时，不仅能够检测出车道线位置，还可以识别出车道线类别，使车道线检测结果更为全面。
在一个实施例中，如图4所示，提供了一种车道线检测模型的确定方法，以该方法应用于车辆控制器为例进行说明，包括以下步骤S402至步骤S408。
S402，获取样本车道线场景图。
样本车道线场景图表示包含车道线的道路场景图，具体可以通过安装于车辆上的摄像头在车辆行驶的过程中针对前方道路拍摄获得。样本车道线场景图作为训练集，用于训练生成对抗网络模型。
S404，获取样本车道线场景图对应的车道线语义标签图。
可以采用上述任一实施例中的车道线标注方法，获得样本车道线场景图对应的车道线语义标签图。
S406，基于样本车道线场景图以及车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型。
生成对抗网络模型包括生成器和判别器，生成器用于将输入的样本车道线场景图生成车道线语义图，判别器旨在将车道线语义标签图与生成的车道线语义图区分开来。生成对抗网络模型的训练目标是使得车道线语义图与车道线语义标签图的区别最小化，生成器和判别器分别基于损失函数进行对抗训练，最终得到网络模型的最优参数。
S408，根据训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
训练后的生成对抗网络模型中的生成器可以作为车道线检测模型，将待检测的车道线场景图片输入训练后的生成器中，可以生成对应的车道线语义图。
上述车道线检测模型的确定方法中，与一般的生成对抗网络将语义图作为输入来生成自然场景图不同，通过逆向使用生成对抗网络，将真实的车道线场景图作为输入进行语义分割，生成车道线语义图，有利于去除复杂背景，且可以生成遮挡区域的车道线，鲁棒性更好，适应性更强。
在一个实施例中，如图5所示，提供了一种车道线检测方法，以该方法应用于车辆控制器为例进行说明，包括以下步骤S502至步骤S506。
S502，获取待检测车道线场景图。
待检测车道线场景图表示包含待检测车道线的道路场景图，具体可以通过安装于车辆上的摄像头在车辆行驶的过程中针对前方道路拍摄获得。
S504，对待检测车道线场景图进行车道线检测，获得车道线语义图，车道线语义图中包括各像素点的位置信息。
可以采用车道线检测模型，对待检测车道线场景图进行车道线检测，获得车道线语义图。车道线检测模型具体可以是训练后的生成对抗网络模型中的生成器，车道线检测模型的确定方法可以参见上文实施例，此处不再赘述。
S506，基于车道线语义图中各像素点的位置信息，确定待检测车道线场景图中的车道线。
像素点表示检测出的车道线包含的点，像素点的位置信息具体可以是像素点在基于车道线语义图建立的坐标系下的坐标值。在一个实施例中，以车道线语义图的左下角点为坐标原点，以竖直方向为第一坐标轴(用Y轴表示)方向(竖直向上为正向)，以水平方向为第二坐标轴(用X轴表示)方向(水平向右为正向)，建立坐标系，像素点的位置信息用(y,x)表示，其中，y表示像素点的Y轴坐标值，x表示像素点的X轴坐标值。
上述车道线检测方法中，将待检测车道线场景图输入生成对抗网络模型的生成器中，生成对应的车道线语义图，可实现端到端检测，省去对车道线场景图进行预处理和计算等步骤，检测距离更远、手动调参量更少且鲁棒性更好，相对于基于概率图的语义分割神经网络的车道线检测方法只能检测固定数量车道线且无法生成遮挡区域的车道线，使用生成对抗网络进行车道线检测，可以同时检测出车道线场景图中的所有车道线，并可以生成遮挡区域的车道线，从而提高车道线检测准确性，能够适应大多数复杂的道路场景。
在一个实施例中，基于车道线语义图中各像素点的位置信息，确定待检测车道线场景图中的车道线的步骤，具体可以包括以下步骤：基于车道线语义图中各像素点的位置信息，获得各连通区域的车道线轮廓；对于每一车道线轮廓，根据车道线轮廓的轮廓点位置信息，判断车道线轮廓是否为粘连车道线轮廓；当车道线轮廓为粘连车道线轮廓时，根据粘连车道线轮廓的轮廓点位置信息对粘连车道线轮廓进行分割，获得分割车道线轮廓；根据车道线轮廓中的非粘连车道线轮廓和分割车道线轮廓，确定目标车道线轮廓，基于各目标车道线轮廓的轮廓点，确定待检测车道线场景图中的车道线。
其中，轮廓点位置信息具体是轮廓点的第一坐标极值位置信息，通过轮廓点的第一坐标极值位置信息，判断车道线轮廓是否为粘连车道线轮廓，并对粘连车道线轮廓进行分割。目标车道线轮廓表示最终用于曲线拟合来确定车道线的轮廓。此外，基于车道线语义图获得的车道线轮廓，或分割后得到的车道线轮廓中，还可能存在同一条车道线断开的情况，即可能存在多个车道线轮廓对应同一条车道线的情况，因此还需对相应的车道线轮廓进行合并，车道线轮廓的合并将在后文实施例中详细描述。
检测得到车道线语义图后，还可以先对车道线语义图进行预处理，具体包括以下步骤：对车道线语义图进行闭运算，以填充车道线语义图中的孔洞，便于后续查找完整的封闭车道线轮廓；对闭运算后的车道线语义图进行开运算，以减少前面闭运算导致的两条不同的车道线粘连的情况；对开运算后的车道线语义图进行二值化，以滤除部分噪声像素点。
对车道线语义图进行预处理后，基于预处理后的车道线语义图中像素点的位置分布情况，获得各连通区域的封闭轮廓，视为初始的各车道线轮廓，计算各封闭轮廓的周长，将轮廓周长小于周长阈值的封闭轮廓进行剔除，以滤除噪声车道线，获得滤除噪声后的车道线轮廓，再进行后续分割和合并处理。
在一个实施例中，轮廓点位置信息包括基于车道线语义图建立的坐标系下第一坐标轴方向的第一坐标值，第一坐标轴方向表示与车道线延伸方向对应的方向；根据车道线轮廓的轮廓点位置信息，判断车道线轮廓是否为粘连车道线轮廓的步骤，具体可以包括以下步骤：以车道线轮廓的任一轮廓点为起始点，按照车道线轮廓的轮廓方向，依次获取车道线轮廓的各轮廓点的第一坐标值；根据依次获得的各轮廓点的第一坐标值，获得第一坐标极大值和第一坐标极小值；根据第一坐标极大值的数量以及第一坐标极小值的数量，判断车道线轮廓是否为粘连车道线轮廓。
具体地，当第一坐标极大值的数量以及第一坐标极小值的数量中，至少有一个数量大于1，判定车道线轮廓为粘连车道线轮廓，粘连车道线轮廓可以理解为包含至少两条不同的车道线对应的轮廓。当第一坐标极大值的数量以及第一坐标极小值的数量均为1，判定车道线轮廓为非粘连车道线轮廓，非粘连车道线轮廓可以理解为同一条车道线对应的轮廓。
第一坐标轴方向为Y轴方向，第一坐标值为Y轴坐标值，以车道线轮廓的任一轮廓点为起始点，按照车道线轮廓的轮廓方向，依次获取车道线轮廓的各轮廓点的Y轴坐标值，根据依次获得的各轮廓点的Y轴坐标值，获得Y轴坐标极大值和Y轴坐标极小值，Y轴坐标极大值和Y轴坐标极小值对应的轮廓点分别称为极大值点和极小值点。寻找极值点的方法具体可以如下：以车道线轮廓的任一轮廓点为起始点，按照车道线轮廓的逆时针方向顺序，依次存储将各轮廓点，获得轮廓点集，可以理解，轮廓点集中存储的最后一个轮廓点是存储的第一个轮廓点的右相邻点；若某一轮廓点左右相邻N个点与该轮廓点的Y轴坐标值之差均大于一阈值，则该轮廓点为极小值点；若某一轮廓点与之左右相邻N个点的Y轴坐标值之差均大于一阈值，则该轮廓点为极大值点。其中，N为正整数，可以结合实际需求进行设置，例如可以设为2或3；阈值为正数，可以结合实际需求进行设置，此处不做限定。
需要说明的是，寻找到的极值点中，可能存在极大值点和极小值点的数量不完全匹配的情况，如果找到多个相距较近(相距较近的意思是指轮廓点存储索引相距较近)的同一性质的极值点(极大值点或极小值点)，则取其中排序靠前的一个极值点，滤掉多余误检极值点。上述数量不匹配的情况发生概率很小，下文以极大值和极小值一一对应的情况为例来进行说明。
图6和图7分别示出了一个实施例中的车道线轮廓示意图，由图可见，图6中有两个Y轴坐标极大值(分别对应轮廓点YE_max1和YE_max2)和两个Y轴坐标极小值(分别对应轮廓点YE_min1和YE_min2)，即图6所示的车道线轮廓为粘连车道线轮廓，包含两条不同车道线对应的轮廓。图7中有三个Y轴坐标极大值(分别对应轮廓点YE_max1、YE_max2和YE_max3)和三个Y轴坐标极小值(分别对应轮廓点YE_min1、YE_min2和YE_min3)，即图7所示的车道线轮廓为粘连车道线轮廓，包含三条不同车道线对应的轮廓。
当检测出的车道线存在粘连情况时，会对后续曲线拟合的准确性产生影响，而且可能会将多条粘连的车道线判定为同一条车道线，因此需要对粘连车道线进行分割。
在一个实施例中，当车道线轮廓为粘连车道线轮廓时，根据车道线轮廓的轮廓点位置信息对粘连车道线轮廓进行分割，获得分割车道线轮廓的步骤，具体可以包括以下步骤：以任一第一坐标极大值对应的第一坐标极大值点为起始点，按照粘连车道线轮廓的轮廓方向，对各第一坐标极大值点进行排序；基于相邻序号的第一坐标极大值点之间的轮廓点，获得分割车道线轮廓。
具体地，按照车道线轮廓的逆时针方向顺序，依次存储各轮廓点，获得轮廓点集，以离轮廓点集中存储的第一个轮廓点最近的第一坐标极大值点为起始点，按照车道线轮廓的逆时针方向顺序，对各第一坐标极大值点进行排序。以图7所示的粘连车道线轮廓为例，假设以YE_max1为起始点，沿轮廓逆时针方向，对各Y轴极大值点进行排序，则YE_max1、YE_max2、YE_max3的序号依次为1、2、3，以YE_max1、YE_max2、YE_max3作为分割点，将粘连车道线轮廓分为3段，获得3段分割车道线轮廓，第一段分割车道线轮廓的轮廓点包括YE_max1与YE_max2之间的轮廓点，第二段分割车道线轮廓的轮廓点包括YE_max2与YE_max3之间的轮廓点，第三段分割车道线轮廓的轮廓点包括YE_max3与YE_max1之间的轮廓点。
上述实施例中，基于第一坐标极大值点对粘连车道线轮廓进行分割，后续可以对获得的各分割车道线轮廓的轮廓点分别进行曲线拟合，避免车道线粘连对于曲线拟合的影响，提高拟合后车道线的准确性。
当检测出的车道线存在同一条车道线断开的情况时，也会对后续曲线拟合的准确性产生影响，可能会将属于同一条车道线的多条断开车道线判定为多条车道线，因此需要对断开车道线进行合并。
在一个实施例中，根据车道线轮廓中的非粘连车道线轮廓和分割车道线轮廓，确定目标车道线轮廓的步骤，具体可以包括以下步骤：对于分割后轮廓中的任意两个车道线轮廓，根据两个车道线轮廓的轮廓点位置信息，判断两个车道线轮廓是否对应同一条车道线，分割后轮廓包括非粘连车道线轮廓和分割车道线轮廓；当两个车道线轮廓对应同一条车道线时，将两个车道线轮廓的轮廓点合并，获得合并车道线轮廓；根据分割后轮廓中对应不同条车道线的车道线轮廓和合并车道线轮廓，确定目标车道线轮廓。
根据两个车道线轮廓的轮廓点位置信息，判断两个车道线轮廓是否对应同一条车道线的步骤，具体可以包括以下步骤：获取第一车道线轮廓的第一最低点和第一最高点的位置信息，获取第二车道线轮廓的第二最低点和第二最高点的位置信息，最低点和最高点基于各轮廓点的第一坐标值确定，第一最高点的第一坐标值大于或等于第二最高点的第一坐标值；分别对第一车道线轮廓和第二车道线轮廓的轮廓点进行直线拟合，获得第一拟合线和第二拟合线，分别计算第一拟合线和第二拟合线的斜率，获得第一斜率和第二斜率；根据第一斜率与第二斜率的斜率差值、第一车道线轮廓与第二车道线轮廓的第一距离、以及第一最低点与第二最高点的第二距离，判断两个车道线轮廓是否对应同一条车道线。
其中，第一最低点是指第一车道线轮廓的最低点，即第一车道线轮廓中Y轴坐标最小值对应的轮廓点，第一最高点是指第一车道线轮廓的最高点，即第一车道线轮廓中Y轴坐标最大值对应的轮廓点。第二最低点是指第二车道线轮廓的最低点，即第二车道线轮廓中Y轴坐标最小值对应的轮廓点，第二最高点是指第二车道线轮廓的最高点，即第二车道线轮廓中Y轴坐标最大值对应的轮廓点。第一最高点的Y轴坐标值大于或等于第二最高点的Y轴坐标值。第一距离是指第一车道线轮廓与第二车道线轮廓之间的距离，第二距离表示第一车道线轮廓的最低点与第二车道线轮廓的最高点之间的距离。
举例来说，图8示出了一个实施例中的车道线轮廓示意图，第一车道线轮廓eline位于第二车道线轮廓line上方，ps1点和pe1点分别表示第一车道线轮廓eline的最高点和最低点，ps2点和pe2点分别表示第二车道线轮廓line的最高点和最低点。
第一车道线轮廓eline与第二车道线轮廓line之间的距离，可以用两轮廓中的一个轮廓顶点到另一个轮廓拟合线的距离来表示，具体可以是第一车道线轮廓eline的最低点pe1到第二车道线轮廓line的拟合线的距离，或是第一车道线轮廓eline的最高点ps1到第二车道线轮廓line的拟合线的距离，或是第二车道线轮廓line的最低点pe2到第一车道线轮廓eline的拟合线的距离，或是第二车道线轮廓line的最高点ps2到第一车道线轮廓eline的拟合线的距离。
在一个实施例中，当斜率差值小于第一阈值、且第一距离小于第二阈值、且第二距离小于第三阈值时，判定两个车道线轮廓对应同一条车道线。即当两个车道线轮廓的斜率接近、第一距离和第二距离较小时，认为该两个车道线轮廓属于同一条车道线，可将该两个车道线轮廓的轮廓点合并，获得合并车道线轮廓。其中，第一阈值、第二阈值、第三阈值均可以根据实际情况进行设置。
需要说明的是，除了采用上述斜率差值、第一距离和第二距离作为判断两车道线轮廓是否对应同一条车道线的参数时，还可以采用其他参数来进行判断。例如，如图8所示，参数还可以包括：第一车道线轮廓eline的最低点pe1与第二车道线轮廓line的最低点pe2的Y轴坐标值绝对值差(用Ly表示)、第一车道线轮廓eline的最低点pe1与第二车道线轮廓line的最低点pe2的X轴坐标值绝对值差(用Lx表示)、第一车道线轮廓eline的最高点ps1与第二车道线轮廓line的最高点ps2的Y轴坐标值绝对值差(用Hy表示)、第一车道线轮廓eline的最高点ps1与第二车道线轮廓line的最高点ps2的X轴坐标值绝对值差(用Hx表示)，当Ly和Hy较大、Lx和Hx较小时，认为第一车道线轮廓eline和第二车道线轮廓line很可能对应同一条车道线。
上述实施例中，通过对属于同一条车道线的多个车道线轮廓进行合并，可有效合并断开的车道线轮廓，提高后续曲线拟合准确率。
对检测出的车道线轮廓中需要分割或合并的车道线轮廓进行上述分割以及合并处理后，获得最终的目标车道线轮廓，可以对各目标车道线轮廓的轮廓点进行三次曲线拟合，得到曲线拟合参数，并将拟合后的车道线显示出来，作为最终的车道线检测结果。
需要说明的是，若检测出的车道线轮廓中不存在需要分割或合并的轮廓，则检测出的车道线轮廓即为目标车道线轮廓；若检测出的车道线轮廓中存在粘连车道线轮廓，则对粘连车道线轮廓进行分割，获得分割车道线轮廓，将检测出的车道线轮廓中的非粘连车道线轮廓和分割得到的分割车道线轮廓作为分割后轮廓，若分割后轮廓中不存在需合并的轮廓，则分割后轮廓即为目标车道线轮廓；若分割后轮廓中存在需合并的轮廓，则将需合并的轮廓进行合并，获得合并车道线轮廓，将分割后轮廓中不需要进行合并的车道线轮廓和合并得到的合并车道线轮廓作为目标车道线轮廓。
在一个实施例中，车道线语义图中还包括各像素点的类别信息，类别信息用于指示像素点所属的车道线类别；获得目标车道线轮廓后，还可以根据各目标车道线轮廓中各像素点的类别信息，确定各目标车道线轮廓对应的车道线类别。
具体地，对于每一目标车道线轮廓，统计目标车道线轮廓中各类别信息对应的像素点数量，将对应的像素点数量最多的类别信息所指示的车道线类别，确定为目标车道线轮廓对应的车道线类别。
举例来说，类别信息为车道线语义图中的颜色信息，车道线类别包括实线和虚线，用红色指示实线类别，用绿色指示虚线类别。具体地，可以根据像素点的RGB值判定该像素点属于实线还是虚线，若像素点的R通道的值与G通道的值的差值大于预设阈值，认为该像素点对应实线类别，若像素点的G通道的值与R通道的值的差值大于预设阈值，认为该像素点对应虚线类别。对于每一目标车道线轮廓，统计实线类别和虚线类别分别对应的像素点数量，若实线类别对应的像素点数量大于虚线类别对应的像素点数量，则判定目标车道线轮廓对应的车道线类别为实线，若虚线类别对应的像素点数量大于实线类别对应的像素点数量，则判定目标车道线轮廓对应的车道线类别为虚线。
上述实施例中，通过目标车道线轮廓所包含的各像素点的类别信息判定对应的车道线类别，从而不仅能够检测出车道线场景图中车道线的位置，还可以识别出车道线类别，使车道线检测结果更为全面。
应该理解的是，虽然图1、4、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、4、5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种车道线标注装置900，包括：标注点信息获取模块910、待绘制点信息确定模块920、标注线条信息确定模块930和标注线条绘制模块940，其中：
标注点信息获取模块910，用于基于车道线场景图获取各车道线上的标注点的位置信息。
待绘制点信息确定模块920，用于根据各车道线上的标注点的位置信息，确定各车道线对应的待绘制点的位置信息。
标注线条信息确定模块930，用于基于各车道线对应的待绘制点的位置信息，确定各车道线对应的标注线条在各待绘制点处的粗细信息。
标注线条绘制模块940，用于根据各车道线对应的待绘制点的位置信息、以及标注线条在各待绘制点处的粗细信息，绘制各车道线对应的标注线条，获得车道线场景图对应的车道线语义标签图。
在一个实施例中，待绘制点信息确定模块920，具体用于：根据各车道线上的标注点中的相邻标注点的位置信息进行线性插值，获得相邻标注点之间的插值点的位置信息；基于各车道线上的标注点以及插值点的位置信息，确定各车道线对应的待绘制点的位置信息。
在一个实施例中，位置信息包括基于车道线场景图建立的坐标系下第一坐标轴方向的第一坐标值，第一坐标轴方向表示与车道线延伸方向对应的方向；标注线条信息确定模块930，具体用于：基于各车道线对应的各待绘制点的第一坐标值大小，确定各车道线对应的标注线条在各待绘制点处的粗细大小，使得标注线条的粗细大小沿对应的车道线延伸方向递减。
在一个实施例中，标注点信息获取模块910，还用于基于车道线场景图获取各车道线上的标注点的类别信息；待绘制点信息确定模块920，还用于根据各车道线上的标注点的类别信息，获得各车道线对应的待绘制点的类别信息；标注线条绘制模块940，具体用于根据各车道线对应的待绘制点的位置信息、类别信息以及标注线条在各待绘制点处的粗细信息，绘制各车道线对应的标注线条，获得车道线场景图对应的车道线语义标签图。
在一个实施例中，如图10所示，提供了一种车道线检测模型的确定装置1000，包括：样本获取模块1010、车道线标注模块1020、模型训练模块1030和模型确定模块1040，其中：
样本获取模块1010，用于获取样本车道线场景图。
车道线标注模块1020，用于采用前文任一实施例中的车道线标注方法对样本车道线场景图进行车道线标注，获得样本车道线场景图对应的车道线语义标签图。
模型训练模块1030，用于基于样本车道线场景图以及车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型。
模型确定模块1040，用于根据训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
在一个实施例中，如图11所示，提供了一种车道线检测装置1100，包括：待检测图片获取模块1110、车道线检测模块1120和车道线确定模块1130，其中：
待检测图片获取模块1100，用于获取待检测车道线场景图。
车道线检测模块1120，用于采用前文任一实施例中的车道线检测模型的确定方法确定的车道线检测模型，对待检测车道线场景图进行车道线检测，获得车道线语义图，车道线语义图包括各像素点的位置信息。
车道线确定模块1130，用于基于车道线语义图中各像素点的位置信息，确定待检测车道线场景图中的车道线。
在一个实施例中，车道线确定模块1130包括：轮廓获取单元、第一判断单元、分割单元和确定单元。轮廓获取单元，用于基于车道线语义图中各像素点的位置信息，获得各连通区域的车道线轮廓；第一判断单元，用于对于每一车道线轮廓，根据车道线轮廓的轮廓点位置信息，判断车道线轮廓是否为粘连车道线轮廓；分割单元，用于当车道线轮廓为粘连车道线轮廓时，根据粘连车道线轮廓的轮廓点位置信息对粘连车道线轮廓进行分割，获得分割车道线轮廓；确定单元，用于根据车道线轮廓中的非粘连车道线轮廓和分割车道线轮廓，确定目标车道线轮廓，基于各目标车道线轮廓的轮廓点，确定待检测车道线场景图中的车道线。
在一个实施例中，轮廓点位置信息包括基于车道线语义图建立的坐标系下第一坐标轴方向的第一坐标值，第一坐标轴方向表示与车道线延伸方向对应的方向；第一判断单元具体用于：以车道线轮廓的任一轮廓点为起始点，按照车道线轮廓的轮廓方向，依次获取车道线轮廓的各轮廓点的第一坐标值；根据依次获得的各轮廓点的第一坐标值，获得第一坐标极大值和第一坐标极小值；根据第一坐标极大值数量以及第一坐标极小值的数量，判断车道线轮廓是否为粘连车道线轮廓。
在一个实施例中，第一判断单元还用于当第一坐标极大值的数量以及第一坐标极小值的数量中，至少有一个数量大于1，判定车道线轮廓为粘连车道线轮廓。
在一个实施例中，分割单元具体用于：以任一第一坐标极大值对应的第一坐标极大值点为起始点，按照粘连车道线轮廓的轮廓方向，对各第一坐标极大值点进行排序；基于相邻序号的第一坐标极大值点之间的轮廓点，获得分割车道线轮廓。
在一个实施例中，确定单元具体用于：对于分割后轮廓中的任意两个车道线轮廓，根据两个车道线轮廓的轮廓点位置信息，判断两个车道线轮廓是否对应同一条车道线，分割后轮廓包括非粘连车道线轮廓和分割车道线轮廓；当两个车道线轮廓对应同一条车道线时，将两个车道线轮廓的轮廓点合并，获得合并车道线轮廓；根据分割后轮廓中对应不同条车道线的车道线轮廓和合并车道线轮廓，确定目标车道线轮廓。
在一个实施例中，第二判断单元具体用于：获取第一车道线轮廓的第一最低点和第一最高点的位置信息，获取第二车道线轮廓的第二最低点和第二最高点的位置信息，最低点和最高点基于各轮廓点的第一坐标值确定，第一最高点的第一坐标值大于或等于第二最高点的第一坐标值；分别对第一车道线轮廓和第二车道线轮廓的轮廓点进行直线拟合，获得第一拟合线和第二拟合线，分别计算第一拟合线和第二拟合线的斜率，获得第一斜率和第二斜率；根据第一斜率与第二斜率的斜率差值、第一车道线轮廓与第二车道线轮廓的第一距离、以及第一最低点与第二最高点的第二距离，判断两个车道线轮廓是否对应同一条车道线。
在一个实施例中，第一距离包括下述各项中的任意一项：第一最低点到第二拟合线的距离；第一最高点到第二拟合线的距离；第二最低点到第一拟合线的距离；第二最高点到第一拟合线的距离。第二判断单元还用于：当斜率差值小于第一阈值、且第一距离小于第二阈值、且第二距离小于第三阈值时，判定两个车道线轮廓对应同一条车道线。
在一个实施例中，车道线语义图中还包括各像素点的类别信息，类别信息用于指示像素点所属的车道线类别。车道线确定模块1130还用于：根据各目标车道线轮廓中各像素点的类别信息，确定各目标车道线轮廓对应的车道线类别。
在一个实施例中，车道线确定模块1130具体用于：对于每一目标车道线轮廓，统计目标车道线轮廓中各类别信息对应的像素点数量，将对应的像素点数量最多的类别信息所指示的车道线类别，确定为目标车道线轮廓对应的车道线类别。
关于车道线标注、车道线检测模型的确定以及车道线检测装置的具体限定可以参见上文中对于车道线标注、车道线检测模型的确定以及车道线检测方法的限定，在此不再赘述。上述车道线标注、车道线检测模型的确定以及车道线检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线标注、车道线检测模型的确定以及车道线检测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车道线标注、车道线检测模型的确定以及车道线检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12或图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个方法实施例中的步骤。
需要理解的是，上述实施例中的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种车道线标注方法，其特征在于，所述方法包括：
基于车道线场景图获取各车道线上的标注点的位置信息；
根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
2.根据权利要求1所述的方法，其特征在于，根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息，包括：
根据各所述车道线上的标注点中的相邻标注点的位置信息进行线性插值，获得所述相邻标注点之间的插值点的位置信息；
基于各所述车道线上的标注点以及插值点的位置信息，确定各所述车道线对应的待绘制点的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述位置信息包括基于所述车道线场景图建立的坐标系下第一坐标轴方向的第一坐标值，所述第一坐标轴方向表示与车道线延伸方向对应的方向；
基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息，包括：
基于各所述车道线对应的各待绘制点的第一坐标值大小，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细大小，使得所述标注线条的粗细大小沿对应的车道线延伸方向递减。
4.根据权利要求1至3任意一项所述的方法，其特征在于，还包括：基于所述车道线场景图获取各车道线上的标注点的类别信息；根据各所述车道线上的标注点的类别信息，获得各所述车道线对应的待绘制点的类别信息；
根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图，包括：
根据各所述车道线对应的待绘制点的位置信息、类别信息以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
5.一种车道线检测模型的确定方法，其特征在于，所述方法包括：
获取样本车道线场景图；
采用权利要求1至4任意一项所述的方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
6.一种车道线检测方法，其特征在于，所述方法包括：
获取待检测车道线场景图；
采用权利要求5所述的方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图中包括各像素点的位置信息；
基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
7.根据权利要求6所述的方法，其特征在于，基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线，包括：
基于所述车道线语义图中各像素点的位置信息，获得各连通区域的车道线轮廓；
对于每一车道线轮廓，根据所述车道线轮廓的轮廓点位置信息，判断所述车道线轮廓是否为粘连车道线轮廓；
当所述车道线轮廓为粘连车道线轮廓时，根据所述粘连车道线轮廓的轮廓点位置信息对所述粘连车道线轮廓进行分割，获得分割车道线轮廓；
根据所述车道线轮廓中的非粘连车道线轮廓和所述分割车道线轮廓，确定目标车道线轮廓，基于各所述目标车道线轮廓的轮廓点，确定所述待检测车道线场景图中的车道线。
8.根据权利要求7所述的方法，其特征在于，所述轮廓点位置信息包括基于所述车道线语义图建立的坐标系下第一坐标轴方向的第一坐标值，所述第一坐标轴方向表示与车道线延伸方向对应的方向；
根据所述车道线轮廓的轮廓点位置信息，判断所述车道线轮廓是否为粘连车道线轮廓，包括：
以所述车道线轮廓的任一轮廓点为起始点，按照所述车道线轮廓的轮廓方向，依次获取所述车道线轮廓的各轮廓点的第一坐标值；
根据依次获得的各轮廓点的第一坐标值，获得第一坐标极大值和第一坐标极小值；
根据所述第一坐标极大值数量以及所述第一坐标极小值的数量，判断所述车道线轮廓是否为粘连车道线轮廓。
9.根据权利要求8所述的方法，其特征在于，当所述第一坐标极大值的数量以及所述第一坐标极小值的数量中，至少有一个数量大于1，判定所述车道线轮廓为粘连车道线轮廓。
10.根据权利要求9所述的方法，其特征在于，根据所述粘连车道线轮廓的轮廓点位置信息对所述粘连车道线轮廓进行分割，获得分割车道线轮廓，包括：
以任一第一坐标极大值对应的第一坐标极大值点为起始点，按照所述粘连车道线轮廓的轮廓方向，对各第一坐标极大值点进行排序；
基于相邻序号的第一坐标极大值点之间的轮廓点，获得分割车道线轮廓。
11.根据权利要求7所述的方法，其特征在于，根据所述车道线轮廓中的非粘连车道线轮廓和所述分割车道线轮廓，确定目标车道线轮廓，包括：
对于分割后轮廓中的任意两个车道线轮廓，根据所述两个车道线轮廓的轮廓点位置信息，判断所述两个车道线轮廓是否对应同一条车道线，所述分割后轮廓包括所述非粘连车道线轮廓和所述分割车道线轮廓；
当所述两个车道线轮廓对应同一条车道线时，将所述两个车道线轮廓的轮廓点合并，获得合并车道线轮廓；
根据所述分割后轮廓中对应不同条车道线的车道线轮廓和所述合并车道线轮廓，确定目标车道线轮廓。
12.根据权利要求11所述的方法，其特征在于，根据所述两个车道线轮廓的轮廓点位置信息，判断所述两个车道线轮廓是否对应同一条车道线，包括：
获取第一车道线轮廓的第一最低点和第一最高点的位置信息，获取第二车道线轮廓的第二最低点和第二最高点的位置信息，所述最低点和所述最高点基于各轮廓点的第一坐标值确定，所述第一最高点的第一坐标值大于或等于所述第二最高点的第一坐标值；
分别对所述第一车道线轮廓和所述第二车道线轮廓的轮廓点进行直线拟合，获得第一拟合线和第二拟合线，分别计算所述第一拟合线和所述第二拟合线的斜率，获得第一斜率和第二斜率；
根据所述第一斜率与所述第二斜率的斜率差值、所述第一车道线轮廓与所述第二车道线轮廓的第一距离、以及所述第一最低点与所述第二最高点的第二距离，判断所述两个车道线轮廓是否对应同一条车道线。
13.根据权利要求12所述的方法，其特征在于，所述第一距离包括下述各项中的任意一项：所述第一最低点到所述第二拟合线的距离；所述第一最高点到所述第二拟合线的距离；所述第二最低点到所述第一拟合线的距离；所述第二最高点到所述第一拟合线的距离；
当所述斜率差值小于第一阈值、且所述第一距离小于第二阈值、且所述第二距离小于第三阈值时，判定所述两个车道线轮廓对应同一条车道线。
14.根据权利要求7至13中任一项所述的方法，其特征在于，所述车道线语义图中还包括各像素点的类别信息，所述类别信息用于指示像素点所属的车道线类别；
所述方法还包括：根据各所述目标车道线轮廓中各像素点的类别信息，确定各所述目标车道线轮廓对应的车道线类别。
15.根据权利要求14所述的方法，其特征在于，根据各所述目标车道线轮廓中各像素点的类别信息，确定各所述目标车道线轮廓对应的车道线类别，包括：
对于每一目标车道线轮廓，统计所述目标车道线轮廓中各类别信息对应的像素点数量，将对应的像素点数量最多的类别信息所指示的车道线类别，确定为所述目标车道线轮廓对应的车道线类别。
16.一种车道线标注装置，其特征在于，所述装置包括：
标注点信息获取模块，用于基于车道线场景图获取各车道线上的标注点的位置信息；
待绘制点信息确定模块，用于根据各所述车道线上的标注点的位置信息，确定各所述车道线对应的待绘制点的位置信息；
标注线条信息确定模块，用于基于各所述车道线对应的待绘制点的位置信息，确定各所述车道线对应的标注线条在各所述待绘制点处的粗细信息；
标注线条绘制模块，用于根据各所述车道线对应的待绘制点的位置信息、以及标注线条在各所述待绘制点处的粗细信息，绘制各所述车道线对应的标注线条，获得所述车道线场景图对应的车道线语义标签图。
17.一种车道线检测模型的确定装置，其特征在于，所述装置包括：
样本获取模块，用于获取样本车道线场景图；
车道线标注模块，用于采用权利要求1至4任意一项所述的方法对所述样本车道线场景图进行车道线标注，获得所述样本车道线场景图对应的车道线语义标签图；
模型训练模块，用于基于所述样本车道线场景图以及所述车道线语义标签图，对待训练生成对抗网络模型进行训练，获得训练后的生成对抗网络模型；
模型确定模块，用于根据所述训练后的生成对抗网络模型中的生成器，确定车道线检测模型。
18.一种车道线检测装置，其特征在于，所述装置包括：
待检测图片获取模块，用于获取待检测车道线场景图；
车道线检测模块，用于采用权利要求5所述的方法确定的车道线检测模型，对所述待检测车道线场景图进行车道线检测，获得车道线语义图，所述车道线语义图包括各像素点的位置信息；
车道线确定模块，用于基于所述车道线语义图中各像素点的位置信息，确定所述待检测车道线场景图中的车道线。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
CN202010781121.XA 2020-08-06 2020-08-06 车道线标注、检测模型确定、车道线检测方法及相关设备 Pending CN114092903A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010781121.XA CN114092903A (zh) 2020-08-06 2020-08-06 车道线标注、检测模型确定、车道线检测方法及相关设备
PCT/CN2021/110183 WO2022028383A1 (zh) 2020-08-06 2021-08-03 车道线标注、检测模型确定、车道线检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010781121.XA CN114092903A (zh) 2020-08-06 2020-08-06 车道线标注、检测模型确定、车道线检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN114092903A true CN114092903A (zh) 2022-02-25

Family

ID=80119998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781121.XA Pending CN114092903A (zh) 2020-08-06 2020-08-06 车道线标注、检测模型确定、车道线检测方法及相关设备

Country Status (2)

Country Link
CN (1) CN114092903A (zh)
WO (1) WO2022028383A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497078A (zh) * 2022-11-15 2022-12-20 广汽埃安新能源汽车股份有限公司 车道线生成方法、装置、设备和计算机可读介质
CN116071716A (zh) * 2023-02-02 2023-05-05 吉林大学 车道线识别测试方法、设备、系统及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115033731B (zh) * 2022-07-04 2023-07-18 小米汽车科技有限公司 图像检索方法、装置、电子设备及存储介质
CN117893934B (zh) * 2024-03-15 2024-06-11 中国地震局地质研究所 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955670B (zh) * 2017-05-25 2021-02-09 百度在线网络技术（北京）有限公司 信息获取方法和装置
CN111212260B (zh) * 2018-11-21 2021-08-20 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN109583393B (zh) * 2018-12-05 2023-08-11 宽凳（北京）科技有限公司 一种车道线端点识别方法及装置、设备、介质
CN109900279A (zh) * 2019-02-13 2019-06-18 浙江零跑科技有限公司 一种基于泊车位全局路由的停车场语义地图创建方法
CN110826412B (zh) * 2019-10-10 2023-07-11 江苏理工学院 高速公路能见度检测系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497078A (zh) * 2022-11-15 2022-12-20 广汽埃安新能源汽车股份有限公司 车道线生成方法、装置、设备和计算机可读介质
CN116071716A (zh) * 2023-02-02 2023-05-05 吉林大学 车道线识别测试方法、设备、系统及存储介质

Also Published As

Publication number Publication date
WO2022028383A1 (zh) 2022-02-10

Similar Documents

Publication Publication Date Title
CN114092903A (zh) 车道线标注、检测模型确定、车道线检测方法及相关设备
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN111178236A (zh) 一种基于深度学习的车位检测方法
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN108416316B (zh) 一种黑烟车的检测方法及系统
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN107315095A (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
CN113361354A (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
CN111832410B (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN107644538A (zh) 交通信号灯的识别方法及装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN110008834B (zh) 一种基于视觉的方向盘干预检测与统计方法
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN110827263A (zh) 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法
CN113269195A (zh) 读数表图像字符识别方法和装置以及可读存储介质
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN114882469B (zh) 一种基于dl-ssd模型的交通标志检测方法及系统
CN115619873A (zh) 一种基于轨迹溯源的雷视自动标定方法
CN111860100B (zh) 行人数量的确定方法、装置、电子设备及可读存储介质
CN109977740B (zh) 一种基于深度图的手部跟踪方法
CN113643374A (zh) 基于道路特征的多目相机标定方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination