CN111860255B - 驾驶检测模型的训练、使用方法、装置、设备及介质 - Google Patents

驾驶检测模型的训练、使用方法、装置、设备及介质 Download PDF

Info

Publication number
CN111860255B
CN111860255B CN202010662903.1A CN202010662903A CN111860255B CN 111860255 B CN111860255 B CN 111860255B CN 202010662903 A CN202010662903 A CN 202010662903A CN 111860255 B CN111860255 B CN 111860255B
Authority
CN
China
Prior art keywords
lane line
model
vehicle
detection
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010662903.1A
Other languages
English (en)
Other versions
CN111860255A (zh
Inventor
顾一新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhengyang Sensor Technology Co ltd
Original Assignee
Guangdong Zhengyang Sensor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhengyang Sensor Technology Co ltd filed Critical Guangdong Zhengyang Sensor Technology Co ltd
Priority to CN202010662903.1A priority Critical patent/CN111860255B/zh
Publication of CN111860255A publication Critical patent/CN111860255A/zh
Application granted granted Critical
Publication of CN111860255B publication Critical patent/CN111860255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种驾驶检测模型的训练、使用方法、装置、设备及介质。所述方法包括：获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和驾驶前方车辆图像中的车辆标注结果和车道线标注结果；将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；采用共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对驾驶检测模型进行训练。采用本申请方案，通过将车辆检测子模型和车道线检测子模型集成在同一个模型中进行监督训练，能保证后续使用训练好的模型时可同时实现车辆检测和车道线检测。

Description

驾驶检测模型的训练、使用方法、装置、设备及介质
技术领域
本发明实施例涉及自动驾驶技术领域，尤其涉及一种驾驶检测模型的训练、使用方法、装置、设备及介质。
背景技术
在高级驾驶辅助系统(ADAS)中，准确及时的检测前方的车辆信息和车道线信息，是实现车辆辅助驾驶系统智能化的关键因素。
目前，对于车辆检测问题，一般采用基于深度学习的方法来检测前方车辆的位置和类型。对于车道线检测问题，业内大多采用的传统方法来检测前方车道线的位置和类型，但传统检测方法适应的场景单一，难以应对存在遮挡、模糊和不良天气等场景。而，如果在对车道线检测时，也采用基于深度学习的方式，那么同时运行基于深度学习的车辆检测方法和车道线检测方法，又会导致检测耗时增加，影响检测实时性。因此，如何在保证检测准确性和检测实时性成为一种迫切需要解决的问题。
发明内容
本发明实施例中提供了一种驾驶检测模型的训练、使用方法、装置、设备及介质，以实现在保证检测实时性的情况下准确检测车辆和车道线。
第一方面，本发明实施例中提供了一种驾驶检测模型的训练方法，包括：
获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
将所述训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练。
第二方面，本发明实施例中还提供了一种驾驶检测模型的使用方法，所述驾驶检测模型采用本申请实施例中驾驶检测模型的训练方法训练获得，包括：
将采集的当前驾驶前方车辆图像输入到所述驾驶检测模型，获得所述当前驾驶前方车辆图像中车辆信息和车道线信息；所述车辆信息包括车辆位置和车辆类型；所述车道线信息包括车道线方程和车道线类型；
依据所述车辆信息和车道线信息，执行车辆辅助驾驶操作。
第三方面，本发明实施例中还提供了一种驾驶检测模型的训练装置，包括：
训练样本获取模块，用于获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
共享特征确定模块，用于将所述训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
检测模型训练模块，用于采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练。
第四方面，本发明实施例中还提供了一种驾驶检测模型的使用装置，所述驾驶检测模型采用本申请实施例中驾驶检测模型的训练方法训练获得，包括：
车辆和车道线获取模块，用于将采集的当前驾驶前方车辆图像输入到所述驾驶检测模型，获得所述当前驾驶前方车辆图像中车辆信息和车道线信息；所述车辆信息包括车辆位置和车辆类型；所述车道线信息包括车道线方程和车道线类型；
车辆辅助驾驶模块，用于依据所述车辆信息和车道线信息，执行车辆辅助驾驶操作。
第五方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。
第六方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述驾驶检测模型的训练方法或者所述驾驶检测模型的使用方法。
本发明实施例中提供了一种驾驶检测模型的训练方法，在使用驾驶前方车辆图像的训练样本进行驾驶检测模型训练时，可先通过待训练的驾驶检测模型中集成的一个共享提取子模型从训练样本中提取共享图像特征，并将提取的共享图像特征提供给驾驶检测模型中共享提取子模型、车辆检测子模型以及车道线检测子模型来同时监督训练。采用本申请方案，通过将车辆检测子模型和车道线检测子模型集成在同一个模型中进行监督训练，不仅能保证后续使用训练好的模型时可同时实现车辆检测和车道线检测，而且由于两个子模型在同一个模型中同时训练，那么两个子模型能够共享使用的图像特征只需要一遍提取操作，而不需要针对每一个子模型均提取一遍，能够有效避免额外增加提取这部分共享特征的任务量，大幅度降低了模型训练的任务量。并且，在实际使用时，因为上述训练的模型中通过共享提取子模型提取共享图像特征将两个检测模型集成在同一个模型训练，因此通过上述方式训练的模型能在有限硬件成本下，同时完成车辆检测和车道线检测功能，以及因为具有共享图像特征的提取操作，所以能保证车辆检测和车道线检测的检测效率。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种驾驶检测模型的训练方法的流程图；
图2是本发明实施例中提供的一种驾驶检测模型的网络结构设计图；
图3是本发明实施例中提供的一种对驾驶检测模型进行监督训练的示意图；
图4是本发明实施例中提供的另一种驾驶检测模型的训练方法的流程图；
图5是本发明实施例中提供的一种驾驶检测模型的使用方法的流程图；
图6是本发明实施例中提供的一种驾驶检测模型的训练装置的结构框图
图7是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面针对本申请中提供的驾驶检测模型的训练方案和使用方案，通过以下各个实施例及其可选方案进行详细阐述。
图1是本发明实施例中提供的一种驾驶检测模型的训练方法的流程图。本发明实施例可适用于对驾驶检测模型进行训练的情况，尤其是对集成有车辆检测任务和车道线检测任务的子模型进行监督训练的情形。该方法可由驾驶检测模型的训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的驾驶检测模型的训练方法，可包括以下步骤S110-S130：
S110、获取训练样本；其中，训练样本包括驾驶前方车辆图像和驾驶前方车辆图像中的车辆标注结果和车道线标注结果。
在本实施例中，驾驶前方车辆图像可为从当前驾驶位置或者当前采集位置朝向前方车辆进行图像采集得到的图像。其中，前方车辆的行驶方向可与当前采集方向相同；或者，前方车辆的行驶方向可与当前采集方向相反。驾驶前方车辆图像的图像格式可采用RGB图像格式。可选地，可采集在多个驾驶场景下的驾驶前方车辆图像，作为训练样本中的样本图像，以便采用多驾驶场景下训练样本来训练驾驶检测模型，这样可提高在检测过程中已训练完成的驾驶检测模型的场景适应性。
在本实施例中，对于采集的驾驶前方车辆图像，可对驾驶前方车辆图像中包括的车辆进行标注，得到车辆位置信息与车辆类型信息，以分别作为车辆标注结果。其中，可采用车辆的外接矩形框位置标注车辆位置信息，车辆类型可包括小轿车、SUV以及货车等，或者具有更加具体车型类别，具体可根据实际情况进行设置。同时，还可对驾驶前方车辆图像中包括的车道线进行标注，得到车道线位置信息与车道线类型信息，以分别作为车道线标注结果。其中，可采用车道线方程来标注车道线位置信息，车道线类型包括双黄线、单黄线、白色实线、白色虚线以及导流线等。
S120、将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征。
在本实施例中，待训练的驾驶检测模型中集成了共享提取子模型、车辆检测子模型以及车道线检测子模型。共享提取子模型可输出供车辆检测子模型与车道线检测子模型共享使用的共享图像特征，车辆检测子模型可输出车辆位置信息与车辆类型信息，以及车道线检测子模型可输出车道线位置信息与车道线类型信息。
在本实施例中，对于驾驶检测模型中集成的车辆检测子模型和车道线检测子模型而言，无论是在其训练还是使用时，两个检测子模型在执行车道线检测任务与车辆检测任务时具有部分共通之处。这样一来，车辆检测子模型和车道线检测子模型在共通之处所采用的部分图像特征是相同的，这部分相同的图像特征可认为是两个检测子模型所能共享的图像特征。因此，在模型训练时，对于这部分能够共享的图像特征，可先将训练样本输入到共享提取子模型中，通过共享提取子模型输出供两个检测子模型进行共享使用的图像特征。
对于上述方式，无论是在驾驶检测模型的训练过程还是在使用过程，均能避免重复提取这部分能够共享使用的图像特征，进而由于重复执行这部分共享特征的提取过程造成驾驶检测模型的任务量增加，从而导致驾驶检测模型的训练效率或者使用检测效率下降。而且，如果因为重复执行这部分共享特征的提取过程造成任务量增加，那么避免需要提高硬件性能，从而导致硬件成本增加。
在本实施例的一种可选方式中，图2是本发明实施例中提供的一种驾驶检测模型的网络结构设计图，参见图2，上述共享提取子模型可包括主干网络和卷积神经网络；主干网络配置为从驾驶前方车辆图像中提取不同尺度的编码特征，卷积神经网络配置为对不同尺度的编码特征进行融合，得到共享图像特征。
在本实施例中，参见图2，将训练样本中的驾驶前方车辆图像输入到驾驶检测模型的共享提取子模型中，共享提取子模型中的主干网络可从驾驶前方车辆图像中提取不同尺度的编码特征。例如，上述主干网络可采用ResNet网络，通过主干网络可驾驶前方车辆图像中提取并输出3个尺度的编码特征图，具体分别为1/8、1/16以及1/32倍的编码特征图。其中，共享提取子模型提取的共享图像特征可为多尺度融合特征图。
在本实施例中，参见图2，卷积神经网络可采用特征金字塔卷积神经网络FPN，特征金字塔网络可采用nasfpn网络。通过特征金字塔卷积神经网络对主干网络提取的不同尺度的编码特征进行多尺度融合，得到供车辆检测子模型与车道线检测子模型共享训练使用的共享图像特征。在一个可选示例中，可在1/32倍的编码特征图上，采用步长为2的卷积核，依次卷积，分别得到1/64和1/128倍的编码特征图，进而将5个尺度的编码特征图输入FPN网络，得到融合后的5个尺度的编码特征图，作为共享图像特征。
S130、采用共享图像特征对驾驶检测模型中集成的车辆检测子模型和共享提取子模型进行监督训练；以及，采用共享图像特征对所述驾驶检测模型中集成的车道线检测子模型和共享提取子模型进行监督训练，以实现对驾驶检测模型进行训练。
在本实施例中，参见图2，驾驶检测模型中共享提取子模型的输出，并行连接驾驶检测模型中车辆检测子模型的输入和车道线检测子模型的输入，这样通过共享提取子模型提取的共享图像特征就可分别输入到车辆检测子模型和车道线检测子模型。在此基础上，可采用共享提取子模型提取出的共享图像特征来分别对车辆检测子模型和车道线检测子模型预测输出结果，进而根据预测输出结果来实现对共享提取子模型、车辆检测子模型和车道线检测子模型的网络参数进行调整，以完成监督训练，以保证各个检测子模型能够按照自身检测任务特点来进行有目标的监督训练。当对共享提取子模型、车辆检测子模型和车道线检测子模型训练完成后，就可完成对驾驶检测模型的训练。其中，共享提取子模型的网络参数受到车辆检测子模型和车道线检测子模型的共同影响，因此在分别对车辆检测子模型和车道线检测子模型的网络参数调整，均需要对其受影响的共享提取子模型的网络参数也进行调整。
在本实施例中，训练样本是经过标注的训练样本，训练样本包括驾驶前方车辆图像和驾驶前方车辆图像中的车辆标注结果和车道线标注结果。因此，可依据车辆标注结果，采用共享图像特征对驾驶检测模型中集成的车辆检测子模型和共享提取子模型进行监督训练，得到训练后的车辆检测子模型；以及，可依据车道线标注结果，采用共享图像特征对所述驾驶检测模型中集成的车道线检测子模型和共享提取子模型进行监督训练，得到训练后的车道线检测子模型。
在本实施例中，车辆检测子模型可输出车辆位置信息和车辆类型信息，而车道线检测子模型可输出车道线方程和车道线类型，从而实现多任务模型的端到端训练。可见，在对驾驶检测模型进行训练完成，将驾驶前方车辆图像输入到训练完成的驾驶检测模型，通过驾驶检测模型可直接输出驾驶前方车辆图像中的车辆位置与车辆类型，以及驾驶前方车辆图像中车道线方程与车道线类型。
在本实施例的一种可选方式中，采用共享图像特征对驾驶检测模型中集成的车辆检测子模型和共享提取子模型进行监督训练，包括以下步骤A1-A2：
步骤A1、将共享图像特征输入到驾驶检测模型的车辆检测子模型，得到车辆预测结果。
在本实施方式中，图3是本发明实施例中提供的一种对驾驶检测模型进行监督训练的示意图。参见图3，对于车辆检测子模型的监督训练而言，车辆标注结果可包括预先标注的驾驶前方车辆图像的车辆位置和车辆类型，而车辆预测结果可包括通过车辆检测子模型的输出，预测得到的驾驶前方车辆图像的车辆位置和车辆类型。
在本实施方式中，可选地，车辆检测子模型可包括FCOS网络，其是一个基于anchor-free的单阶段目标检测网络。在进行模型训练时，将共享图像特征输入到车辆检测子模型，车辆检测子模型的输出为在各个尺度下的车辆预测结果。例如，将共享图像特征输入车辆检测子模型的FCOS网络，通过FCOS网络可输出在各个尺度下的车辆预测结果。其中，针对车辆检测子模型中的FCOS网络，可采用极大值抑制算法对其输出结果进行处理。
步骤A2、基于车辆检测子模型的损失函数，依据车辆标注结果与车辆检测子模型输出的车辆预测结果，对车辆检测子模型的网络参数和共享提取子模型的网络参数进行调整，以实现对车辆检测子模型监督训练。
在本实施方式中，参见图3，在得到车辆标注结果与车辆检测子模型输出的车辆预测结果之后，可采用车辆检测子模型的损失函数，计算车辆标注结果与车辆预测结果之间的结果偏差，然后根据计算的结果偏差对车辆检测子模型和共享提取子模型的网络参数进行调整。此时，共享提取子模型中主干网络和FPN的参数会受车辆检测子模型的损失函数的影响，不仅要调节车辆检测子模型的网络参数，还要调节共享提取子模型的网络参数。在本次对车辆检测子模型的网络参数调整完成后，继续下一轮的监督训练，直至训练得到的模型满足收敛条件。
本发明实施例中提供了一种驾驶检测模型的训练方法，通过将车辆检测子模型和车道线检测子模型集成在同一个模型中进行监督训练，不仅能保证后续使用训练好的模型时可同时实现车辆检测和车道线检测，而且由于两个子模型在同一个模型中同时训练，那么两个子模型能够共享使用的图像特征只需要一遍提取操作，而不需要针对每一个子模型均提取一遍，能够有效避免额外增加提取这部分共享特征的任务量，大幅度降低了模型训练的任务量。并且，在实际使用时，因为上述训练的模型中通过共享提取子模型提取共享图像特征将两个检测模型集成在同一个模型训练，因此通过上述方式训练的模型能在有限硬件成本下，同时完成车辆检测和车道线检测功能，以及因为具有共享图像特征的提取操作，所以能保证车辆检测和车道线检测的检测效率。
图4是本发明实施例中提供的另一种驾驶检测模型的训练方法的流程图，本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图4所示，本申请实施例中提供的驾驶检测模型的训练方法，可包括以下步骤：
S410、获取训练样本；其中，训练样本包括驾驶前方车辆图像和驾驶前方车辆图像中的车辆标注结果和车道线标注结果。
S420、将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征。
S430、采用共享图像特征对驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练。
S440、将共享图像特征输入到车道线检测子模型，得到车道线预测结果。
在本实施例中，车道线检测子模型可预测输出车道线位置信息和车道线类型信息，而在将共享图像特征输入到车道线检测子模型后，在车道线检测子模型中进行预测计算时，可得到车道线预测结果。此时，车道线预测结果包括车道线检测子模型在预测计算过程中的中间状态的数据，而非完全与车道线检测子模型输出数据一致。
在本实施例中，可选地，车道线标注结果可包括预先标注的驾驶前方车辆图像中车道线的车道线像素语义分割图、车道线实例的像素点集合和车道线实例类型，而车道线预测结果可包括预测得到的驾驶前方车辆图像中车道线的车道线像素语义分割图、车道线实例的像素点集合和车道线实例类型。其中，一个车道线实例表征一条车道线。
在本实施例中，参见图2，对于车道线检测子模型而言，车道线检测子模型可包括：车道线像素语义分割网络、车道线像素归属编码网络以及车道线实例分类网络。其中，车道线实例分类网络可包括车道线像素类型编码子网络和车道线实例类型预测子网络。在将共享图像特征输入到车道线检测子模型中之后，通过车道线像素语义分割网络可预测得到车道线像素语义分割图，通过车道线像素归属编码网络可预测得到车道线像素归属编码向量，进而通过对预测得到车道线像素归属编码向量进行聚类，可将像素点聚类成若像素点集合，每个集合表示为一个车道线实例，这样就可依据预测得到车道线像素归属编码向量得到一个车道线实例的像素点集合；以及，通过车道线实例分类网络可预测得到车道线实例类型，这样就可得到车道线预测结果。
在本实施例的一种可选方式中，将共享图像特征输入到驾驶检测模型的车道线检测子模型，得到车道线预测结果，可包括步骤B1-B4：
步骤B1、将共享图像特征输入到车道线检测子模型的车道线像素语义分割网络，输出预测的车道线像素语义分割图。
在本实施方式中，参见图2，通过车道线像素语义分割网络可对输入图像中包括的像素进行语义分割，即对像素进行二分类，判断像素是属于车道线还是背景，以得到车道线像素语义分割图。例如，通过车道线像素语义分割网络对车道线做二分类，区分车道线区域和非车道线区域。车道线像素语义分割网络的最后一层输出为单通道特征图，采用sigmoid激活函数，每个元素代表该处属于车道线的概率。
步骤B2、将共享图像特征输入到车道线检测子模型的车道线像素归属编码网络，输出车道线像素归属编码向量，用以确定车道线像素的车道线归属。
在本实施方式中，参见图2，通过车道线像素归属编码网络可对共享图像特征中的像素进行编码，例如，将每一个像素编码为4维向量，得到用于区分不同像素是否属于同一个车道线的车道线像素归属编码向量。其中，归属于同一车道线的像素，其车道线像素归属编码向量的欧式距离比较接近，而归属于不同车道线的像素，其车道线像素归属编码向量的欧式距离比较远，即可确定同属于一个车道线实例的像素点集合。
步骤B3、基于车道线像素语义分割图和车道线像素归属编码向量，得到车道线实例分割图，以使车道线检测子模型预测得到并输出车道线方程。
在本实施方式中，参见图2，根据车道线像素语义分割图和车道线像素归属编码向量，可获取每一条车道线的车道线像素归属编码向量。通过对每一条车道线的车道线像素归属编码向量进行聚类，可得到每一个车道线实例的像素坐标，即得到车道线实例分割图。如果需要确定车道线位置信息，可根据预先标定的参数，将车道线实例的像素坐标变换到世界坐标系，然后利用最小二乘拟合该条车道线实例的车道线方程，这样就可得到各个车道线的车道线方程。
步骤B4、基于车道线实例分割图，将共享图像特征输入到车道线检测子模型的车道线实例分类网络，输出预测得到的各车道线实例的车道线实例类型。
在本实施例中，参见图2，车道线实例分类网络可包括车道线像素类型编码子网络和车道线实例类型预测子网络。通过车道线像素类型编码子网络可对输入的共享图像特征中像素进行类型编码，得到像素类型编码向量。像素类型编码向量的维度为64。进而，可基于车道线实例分割图指示的车道线实例像素坐标，对得到的像素类型编码向量进行分类，得到每一个车道线实例的像素类型编码向量，记为车道线实例类型编码向量。例如，可对获取每一个车道线实例的像素类型编码向量进行均值计算得到均值向量，记为每一个车道线实例的车道线实例类型编码向量。
在本实施例中，车道线实例类型预测子网络可采用全连接层，最后一层的激活函数采用softmax函数。这样，将得到的每一个车道线实例的车道线实例类型编码向量输入到车道线实例类型预测子网络，可预测输出车道线实例类型。
采用上述方式，针对车道线检测的训练，采用了一种新的网络结构可实现对车道线进行实例分割，按照这样的实例分割结果进行训练，可提高车道线检测子模型的场景适应性。
S450、基于车道线检测模型的损失函数，依据车道线标注结果与车道线预测结果，对车道线检测子模型和共享提取子模型的网络参数进行调整，以实现对车道线检测子模型和共享提取子模型的监督训练。
在本实施例中，在对车道线检测模型进行训练的过程中，共享提取子模型中主干网络和FPN的参数会受车道线检测子模型的损失函数的影响，即会受到车道线检测子模型中车道线像素语义分割网络、车道线像素归属编码网络以及车道线实例分类网络的损失函数的共同影响，因此不仅要调节车道线检测子模型中各个网络的网络参数，同时还要调节共享提取子模型的网络参数。
在本实施例的一种可选方式中，基于车道线检测模型的损失函数，依据车道线标注结果与得到的车道线预测结果，对车道线检测子模型和共享提取子模型的网络参数进行调整，可包括步骤C1-C3：
步骤C1、采用车道线检测模型中车道线像素语义分割网络的损失函数，依据已标注的车道线像素语义分割图与车道线像素语义分割网络预测输出的车道线像素语义分割图，对车道线像素语义分割网络和共享提取子模型的网络参数进行调整。
在本实施方式中，参见图3，车道线像素语义分割网络的损失函数可采用diceloss损失函数。dice loss损失函数公式如下：
其中，logit为车道线像素语义分割网络的输出，gt为车道线的二值标注，1表示该像素为车道线，0表示该像素为背景，smooth为一个常数，设为1.0；
在本实施方式中，在实际训练中，对前景和背景分别计算dice loss，然后相加，将和作为语义分割任务最终的loss。相比于仅用前景像素计算的dice loss，语义分割的交并比有所提升。
步骤C2、采用车道线检测模型中车道线像素归属编码网络的损失函数，依据已标注的车道线实例的像素点集合与车道线像素归属编码网络预测输出的用于确定车道线实例的像素点集合的车道线像素归属编码向量，对车道线像素归属编码网络和共享提取子模型的网络参数进行调整。
在本实施例中，参见图3，将每个像素编码为一个4维向量，同一车道线的像素归属编码向量的欧式距离比较近，而不同车道线的像素归属编码向量的欧式距离比较远。车道线像素归属编码网络的损失函数embed_loss定义如下：
embed_loss＝Lvar+Ldis，
其中，Lvar表示同一车道线的归属编码损失，使同一车道线的像素归属编码向量接近。Ldis表示不同车道线的编码损失，使不同车道线的像素归属编码向量远离。Lvar的公式与Ldis的定义公式，分别如下：
其中，C为一个batch内车道线的实例个数，Nc为第c个实例的像素个数，uc为第c个实例的编码向量的均值，xi为第i个现实的编码向量，||*||表示*的2范数，δv为一个阈值，设为0.5。
其中，δd为一个阈值，设为3.0。
步骤C3、采用车道线检测模型中车道线实例分类网络的损失函数，依据已标注的车道线实例类型与车道线实例分类网络预测输出的车道线实例类型，对车道线实例分类网络和共享提取子模型的网络参数进行调整。
在本实施方式中，参见图3，根据标注的车道线实例，获取车道线实例类型编码的像素集合，并计算编码均值，用编码均值接全连接层。车道线实例分类网络的损失函数采用自适应权重的交叉熵函数。通过引入自适应权重的交叉熵函数来训练车道线实例类型预测任务，可解决车道线实例类型分布不均问题。车道线实例分类网络的损失函数cls_loss采用自适应权重的交叉熵，公式如下：
其中，gtk表示第k类数据的真实，为1或者0。yk表示对第k类的预测值，介于0到1之间。wk表示一个bath内第k类数据的权重，其计算公式如下：
其中，c是一个常数，设为1.02，pk是一个batch内，第k类数据所占的比重，且wk限制在[1.0,50]的范围内。
S460、通过分别对车辆检测子模型和车道线检测子模型的监督训练，实现对所述驾驶检测模型进行训练。
本发明实施例中提供了一种驾驶检测模型的训练方法，通过将车辆检测子模型和车道线检测子模型集成在同一个模型中进行监督训练，不仅能保证后续使用训练好的模型时可同时实现车辆检测和车道线检测，而且由于两个子模型在同一个模型中同时训练，那么两个子模型能够共享使用的图像特征只需要一遍提取操作，而不需要针对每一个子模型均提取一遍，能够有效避免额外增加提取这部分共享特征的任务量，大幅度降低了模型训练的任务量。并且，在实际使用时，因为上述训练的模型中通过共享提取子模型提取共享图像特征将两个检测模型集成在同一个模型训练，因此通过上述方式训练的模型能在有限硬件成本下，同时完成车辆检测和车道线检测功能，以及因为具有共享图像特征的提取操作，所以能保证车辆检测和车道线检测的检测效率。
图5是本发明实施例中提供的一种驾驶检测模型的使用方法的流程图。本发明实施例可适用于对驾驶检测模型进行使用的情况。该方法可由驾驶检测模型的使用装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图5所示，本申请实施例中提供的驾驶检测模型的使用方法，可包括以下步骤S510-S520：
S510、将采集的当前驾驶前方车辆图像输入到驾驶检测模型，获得当前驾驶前方车辆图像中车辆信息和车道线信息；其中，车辆信息包括车辆位置和车辆类型；车道线信息包括车道线方程和车道线类型。
在本实施例中，在使用过程中的已训练完成的驾驶检测模型是采用本申请实施例中驾驶检测模型的训练方法训练获得，具体训练过程这里不再赘述。
S520、依据车辆信息和车道线信息，执行车辆辅助驾驶操作。
本发明实施例中提供了一种驾驶检测模型的使用方法，通过本申请方案中的驾驶检测模型可实现同时检测车辆和车道线，实现端到端输出，并且在驾驶检测模型中由于两个检测子模型能够共享使用共享提取子模型输出的共享图像特征，而不需要针对每一个检测子模型均提取一遍，因为针对同一个图像的检测只需进行一次共享图像特征的提取操作，能够有效避免额外增加提取这部分共享特征的任务量，大幅度降低了检测任务量，且能保证车辆检测和车道线检测的检测效率和检测准确率。可见，本申请方案解决ADAS中车道线检测和车辆检测耗时久、精度不高的问题。通过一体化网络同时进行车辆检测和车道线检测，在具有较好准确率的同时，也降低耗时，保证了系统对实时性的要求。
图6是本发明实施例中提供的一种驾驶检测模型的训练装置的结构框图。本发明实施例可适用于对驾驶检测模型进行训练的情况，尤其是对集成有车辆检测任务和车道线检测任务的子模型监督训练的情形。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图6所示，本申请实施例中提供的驾驶检测模型的训练装置，可包括：训练样本获取模块610、共享特征确定模块620和检测模型训练模块630。其中：
训练样本获取模块610，用于获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
共享特征确定模块620，用于将所述训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
检测模型训练模块630，用于采用共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练。
在上述实施例的基础上，可选地，所述共享提取子模型包括主干网络和卷积神经网络；其中，所述主干网络配置为从所述驾驶前方车辆图像中提取不同尺度的编码特征，所述卷积神经网络配置为对不同尺度的编码特征进行融合，得到所述共享图像特征，所述共享图像特征为多尺度融合特征图。
在上述实施例的基础上，可选地，检测模型训练模块630包括：
车辆预测输出单元，用于将所述共享图像特征输入到所述驾驶检测模型的车辆检测子模型，得到车辆预测结果；
车辆模型训练单元，用于基于车辆检测子模型的损失函数，依据所述车辆标注结果与所述车辆预测结果，对所述车辆检测子模型的网络参数和共享提取子模型的网络参数进行调整，以实现对所述车辆检测子模型和共享提取子模型的组合监督训练；
其中，所述车辆标注结果包括预先标注的所述驾驶前方车辆图像的车辆位置和车辆类型，所述车辆预测结果包括预测得到的所述驾驶前方车辆图像的车辆位置和车辆类型。
在上述实施例的基础上，可选地，车辆预测输出单元包括：
将所述共享图像特征输入所述车辆检测子模型的FCOS网络中，通过所述FCOS网络输出在各个尺度下的车辆预测结果；其中，所述FCOS网络采用极大值抑制算法对输出结果进行处理。
在上述实施例的基础上，可选地，检测模型训练模块630包括：
车道线预测输出单元，用于将所述共享图像特征输入到所述车道线检测子模型，得到车道线预测结果；
车道线模型训练单元，用于基于车道线检测模型的损失函数，依据所述车道线标注结果与所述车道线预测结果，对所述车道线检测子模型的网络参数和共享提取子模型的网络参数进行调整，以实现对所述车道线检测子模型和共享提取子模型的组合监督训练；
其中，所述车道线标注结果包括预先标注的所述驾驶前方车辆图像的车道线像素语义分割图、车道线实例的像素点集合和车道线实例类型，所述车道线预测结果包括预测得到的所述驾驶前方车辆图像的车道线像素语义分割图、用于确定车道线实例的像素点集合的车道线像素归属编码向量和车道线实例类型；一个车道线实例表征一条车道线。
在上述实施例的基础上，可选地，车道线预测输出单元包括：
将所述共享图像特征输入到所述车道线检测子模型的车道线像素语义分割网络，输出预测的车道线像素语义分割图；
将所述共享图像特征输入到所述车道线检测子模型的车道线像素归属编码网络，输出车道线像素归属编码向量，用以确定车道线像素的车道线归属；
基于所述车道线像素语义分割图和所述车道线像素归属编码向量，得到车道线实例分割图，以使所述车道线检测子模型预测得到并输出车道线方程；
基于车道线实例分割图，将所述共享图像特征输入到所述车道线检测子模型的车道线实例分类网络，输出预测得到的各车道线实例的车道线实例类型。
在上述实施例的基础上，可选地，车道线模型训练单元包括：
采用车道线检测模型中车道线像素语义分割网络的损失函数，依据已标注的车道线像素语义分割图与所述车道线像素语义分割网络预测输出的车道线像素语义分割图，对所述车道线像素语义分割网络的网络参数和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线像素归属编码网络的损失函数，依据已标注的车道线实例的像素点集合与所述车道线像素归属编码网络预测输出的用于确定车道线实例的像素点集合的车道线像素归属编码向量，对所述车道线像素归属编码网络的网络参数和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线实例分类网络的损失函数，依据已标注的车道线实例类型与所述车道线实例分类网络预测输出的车道线实例类型，对所述车道线实例分类网络的网络参数和共享提取子模型的网络参数进行调整。
在上述实施例的基础上，可选地，车道线实例分类网络的损失函数采用自适应权重的交叉熵函数。
本发明实施例中所提供的驾驶检测模型的训练装置可执行上述本发明任意实施例中所提供的驾驶检测模型的训练方法，具备执行该驾驶检测模型的训练方法相应的功能和有益效果，详细过程参见前述实施例中驾驶检测模型的训练方法的相关操作。
此外，本发明实施例中还公开了一种驾驶检测模型的使用装置，所述驾驶检测模型采用上述实施例中提供的任一所述的驾驶检测模型的训练方法训练来获得，本申请实施例中的驾驶检测模型的使用装置可包括：车辆和车道线获取模块和车辆辅助驾驶模块。其中，
车辆和车道线获取模块，用于将采集的当前驾驶前方车辆图像输入到所述驾驶检测模型，获得所述当前驾驶前方车辆图像中车辆信息和车道线信息；所述车辆信息包括车辆位置和车辆类型；所述车道线信息包括车道线方程和车道线类型；
车辆辅助驾驶模块，用于依据所述车辆信息和车道线信息，执行车辆辅助驾驶操作。
本发明实施例中所提供的驾驶检测模型的使用装置可执行上述本发明任意实施例中所提供的驾驶检测模型的使用方法，具备执行该驾驶检测模型的使用方法相应的功能和有益效果，详细过程参见前述实施例中驾驶检测模型的使用方法的相关操作。
图7是本发明实施例中提供的一种电子设备的结构示意图。如图7所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器710和存储装置720；该电子设备中的处理器710可以是一个或多个，图7中以一个处理器710为例；存储装置720用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器710执行，使得所述一个或多个处理器710实现如本发明实施例中任一项所述的驾驶检测模型的训练方法。
该电子设备还可以包括：输入装置730和输出装置740。
该电子设备中的处理器710、存储装置720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
该电子设备中的存储装置720作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的驾驶检测模型的训练方法对应的程序指令/模块。处理器710通过运行存储在存储装置720中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中驾驶检测模型的训练方法。
存储装置720可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器710执行时，程序进行如下操作：
获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器710执行时，程序还可以进行本发明任意实施例中所提供的驾驶检测模型的训练方法中的相关操作。
此外，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器710执行时，程序还可以进行本发明任意实施例中所提供的驾驶检测模型的使用方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行驾驶检测模型的训练方法，该方法包括：
获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的驾驶检测模型的训练方法或者驾驶检测模型的使用方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种驾驶检测模型的训练方法，其特征在于，包括：
获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
将训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练；
所述共享提取子模型包括主干网络和卷积神经网络；其中，所述主干网络配置为从所述驾驶前方车辆图像中提取不同尺度的编码特征，所述卷积神经网络配置为对不同尺度的编码特征进行融合，得到所述共享图像特征，所述共享图像特征为多尺度融合特征图；
并行连接所述驾驶检测模型中所述车辆检测子模型的输入和所述车道线检测子模型的输入；
采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，包括：
将所述共享图像特征输入到所述车道线检测子模型，得到车道线预测结果；
基于车道线检测模型的损失函数，依据所述车道线标注结果与所述车道线预测结果，对所述车道线检测子模型的网络参数和所述共享提取子模型的网络参数进行调整，以实现对所述车道线检测子模型和共享提取子模型的组合监督训练；
其中，所述车道线标注结果包括预先标注的所述驾驶前方车辆图像的车道线像素语义分割图、车道线实例的像素点集合和车道线实例类型，所述车道线预测结果包括预测得到的所述驾驶前方车辆图像的车道线像素语义分割图、用于确定车道线实例的像素点集合的车道线像素归属编码向量和车道线实例类型；一个车道线实例表征一条车道线；
将所述共享图像特征输入到所述车道线检测子模型，得到车道线预测结果，包括：
将所述共享图像特征输入到所述车道线检测子模型的车道线像素语义分割网络，输出预测的车道线像素语义分割图；
将所述共享图像特征输入到所述车道线检测子模型的车道线像素归属编码网络，输出车道线像素归属编码向量，用以确定车道线像素的车道线归属；
基于所述车道线像素语义分割图和所述车道线像素归属编码向量，得到车道线实例分割图，以使所述车道线检测子模型预测得到并输出车道线方程；
基于车道线实例分割图，将所述共享图像特征输入到所述车道线检测子模型的车道线实例分类网络，输出预测得到的各车道线实例的车道线实例类型；
基于车道线检测模型的损失函数，依据所述车道线标注结果与所述车道线预测结果，对所述车道线检测子模型的网络参数和所述共享提取子模型的网络参数进行调整，包括：
采用车道线检测模型中车道线像素语义分割网络的损失函数，依据已标注的车道线像素语义分割图与所述车道线像素语义分割网络预测输出的车道线像素语义分割图，对所述车道线像素语义分割网络和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线像素归属编码网络的损失函数，依据已标注的车道线实例的像素点集合与所述车道线像素归属编码网络预测输出的用于确定车道线实例的像素点集合的车道线像素归属编码向量，对所述车道线像素归属编码网络和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线实例分类网络的损失函数，依据已标注的车道线实例类型与所述车道线实例分类网络预测输出的车道线实例类型，对所述车道线实例分类网络和共享提取子模型的网络参数进行调整。
2.根据权利要求1所述的方法，其特征在于，采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练，包括：
将所述共享图像特征输入到所述驾驶检测模型的车辆检测子模型，得到车辆预测结果；
基于车辆检测子模型的损失函数，依据所述车辆标注结果与所述车辆预测结果，对所述车辆检测子模型的网络参数和所述共享提取子模型的网络参数进行调整，以实现对所述车辆检测子模型和共享提取子模型的组合监督训练；
其中，所述车辆标注结果包括预先标注的所述驾驶前方车辆图像的车辆位置和车辆类型，所述车辆预测结果包括预测得到的所述驾驶前方车辆图像的车辆位置和车辆类型。
3.根据权利要求2所述的方法，其特征在于，将所述共享图像特征输入到所述驾驶检测模型的车辆检测子模型，得到车辆预测结果，包括：
将所述共享图像特征输入所述车辆检测子模型的FCOS网络中，通过所述FCOS网络输出在各个尺度下的车辆预测结果；其中，所述FCOS网络采用极大值抑制算法对输出结果进行处理。
4.根据权利要求1所述的方法，其特征在于，车道线实例分类网络的损失函数采用自适应权重的交叉熵函数。
5.一种驾驶检测模型的使用方法，其特征在于，所述驾驶检测模型采用权利要求1-4任一所述的驾驶检测模型的训练方法训练获得，所述使用方法包括：
将采集的当前驾驶前方车辆图像输入到所述驾驶检测模型，获得所述当前驾驶前方车辆图像中车辆信息和车道线信息；所述车辆信息包括车辆位置和车辆类型；所述车道线信息包括车道线方程和车道线类型；
依据所述车辆信息和车道线信息，执行车辆辅助驾驶操作；
所述共享提取子模型包括主干网络和卷积神经网络；其中，所述主干网络配置为从所述驾驶前方车辆图像中提取不同尺度的编码特征，所述卷积神经网络配置为对不同尺度的编码特征进行融合，得到所述共享图像特征，所述共享图像特征为多尺度融合特征图；
并行连接所述驾驶检测模型中所述车辆检测子模型的输入和所述车道线检测子模型的输入。
6.一种驾驶检测模型的训练装置，其特征在于，包括：
训练样本获取模块，用于获取训练样本；其中，所述训练样本包括驾驶前方车辆图像和所述驾驶前方车辆图像中的车辆标注结果和车道线标注结果；
共享特征确定模块，用于将所述训练样本输入到驾驶检测模型的共享提取子模型，得到共享图像特征；
检测模型训练模块，用于采用所述共享图像特征对所述驾驶检测模型的车辆检测子模型和共享提取子模型进行监督训练；以及，采用所述共享图像特征对所述驾驶检测模型的车道线检测子模型和共享提取子模型进行监督训练，以实现对所述驾驶检测模型进行训练；
所述共享提取子模型包括主干网络和卷积神经网络；其中，所述主干网络配置为从所述驾驶前方车辆图像中提取不同尺度的编码特征，所述卷积神经网络配置为对不同尺度的编码特征进行融合，得到所述共享图像特征，所述共享图像特征为多尺度融合特征图；
并行连接所述驾驶检测模型中所述车辆检测子模型的输入和所述车道线检测子模型的输入；
所述检测模型训练模块包括：
车道线预测输出单元，用于将所述共享图像特征输入到所述车道线检测子模型，得到车道线预测结果；
车道线模型训练单元，用于基于车道线检测模型的损失函数，依据所述车道线标注结果与所述车道线预测结果，对所述车道线检测子模型的网络参数和共享提取子模型的网络参数进行调整，以实现对所述车道线检测子模型和共享提取子模型的组合监督训练；
其中，所述车道线标注结果包括预先标注的所述驾驶前方车辆图像的车道线像素语义分割图、车道线实例的像素点集合和车道线实例类型，所述车道线预测结果包括预测得到的所述驾驶前方车辆图像的车道线像素语义分割图、用于确定车道线实例的像素点集合的车道线像素归属编码向量和车道线实例类型；一个车道线实例表征一条车道线；
所述车道线预测输出单元包括：
将所述共享图像特征输入到所述车道线检测子模型的车道线像素语义分割网络，输出预测的车道线像素语义分割图；
将所述共享图像特征输入到所述车道线检测子模型的车道线像素归属编码网络，输出车道线像素归属编码向量，用以确定车道线像素的车道线归属；
基于所述车道线像素语义分割图和所述车道线像素归属编码向量，得到车道线实例分割图，以使所述车道线检测子模型预测得到并输出车道线方程；
基于车道线实例分割图，将所述共享图像特征输入到所述车道线检测子模型的车道线实例分类网络，输出预测得到的各车道线实例的车道线实例类型；
所述车道线模型训练单元包括：
采用车道线检测模型中车道线像素语义分割网络的损失函数，依据已标注的车道线像素语义分割图与所述车道线像素语义分割网络预测输出的车道线像素语义分割图，对所述车道线像素语义分割网络的网络参数和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线像素归属编码网络的损失函数，依据已标注的车道线实例的像素点集合与所述车道线像素归属编码网络预测输出的用于确定车道线实例的像素点集合的车道线像素归属编码向量，对所述车道线像素归属编码网络的网络参数和共享提取子模型的网络参数进行调整；
采用车道线检测模型中车道线实例分类网络的损失函数，依据已标注的车道线实例类型与所述车道线实例分类网络预测输出的车道线实例类型，对所述车道线实例分类网络的网络参数和共享提取子模型的网络参数进行调整。
7.一种驾驶检测模型的使用装置，其特征在于，所述驾驶检测模型采用权利要求1-4任一所述的驾驶检测模型的训练方法训练获得，该使用装置包括：
车辆和车道线获取模块，用于将采集的当前驾驶前方车辆图像输入到所述驾驶检测模型，获得所述当前驾驶前方车辆图像中车辆信息和车道线信息；所述车辆信息包括车辆位置和车辆类型；所述车道线信息包括车道线方程和车道线类型；
车辆辅助驾驶模块，用于依据所述车辆信息和车道线信息，执行车辆辅助驾驶操作；
所述共享提取子模型包括主干网络和卷积神经网络；其中，所述主干网络配置为从所述驾驶前方车辆图像中提取不同尺度的编码特征，所述卷积神经网络配置为对不同尺度的编码特征进行融合，得到所述共享图像特征，所述共享图像特征为多尺度融合特征图；
并行连接所述驾驶检测模型中所述车辆检测子模型的输入和所述车道线检测子模型的输入。
8.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-4中任一所述的驾驶检测模型的训练方法或者权利要求5所述的驾驶检测模型的使用方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-4中任一所述的驾驶检测模型的训练方法或者权利要求5所述的驾驶检测模型的使用方法。
CN202010662903.1A 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质 Active CN111860255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010662903.1A CN111860255B (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010662903.1A CN111860255B (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111860255A CN111860255A (zh) 2020-10-30
CN111860255B true CN111860255B (zh) 2024-07-12

Family

ID=73153248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010662903.1A Active CN111860255B (zh) 2020-07-10 2020-07-10 驾驶检测模型的训练、使用方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111860255B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766056B (zh) * 2020-12-30 2023-10-27 厦门大学 一种基于深度神经网络的弱光环境车道线检测方法、装置
CN112818792A (zh) * 2021-01-25 2021-05-18 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备及计算机存储介质
CN112818853B (zh) * 2021-02-01 2022-07-19 中国第一汽车股份有限公司 一种交通要素识别方法、装置、设备及储存介质
CN112990009B (zh) * 2021-03-12 2024-07-23 平安科技（深圳）有限公司 基于端到端的车道线检测方法、装置、设备及存储介质
CN113191256B (zh) * 2021-04-28 2024-06-11 北京百度网讯科技有限公司 车道线检测模型的训练方法、装置、电子设备及存储介质
CN114359572A (zh) * 2021-11-25 2022-04-15 深圳市优必选科技股份有限公司 多任务检测模型的训练方法、装置及终端设备
CN113963238A (zh) * 2021-12-22 2022-01-21 深圳佑驾创新科技有限公司 多任务感知识别模型的构建方法以及多任务感知识别方法
CN115018805A (zh) * 2022-06-21 2022-09-06 推想医疗科技股份有限公司 分割模型训练方法、图像分割方法、装置、设备及介质
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147698A (zh) * 2018-02-13 2019-08-20 Kpit技术有限责任公司 用于车道检测的系统和方法
CN111209777A (zh) * 2018-11-21 2020-05-29 北京市商汤科技开发有限公司 车道线检测方法、装置、电子设备及可读存储介质
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法

Also Published As

Publication number Publication date
CN111860255A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860255B (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN108229489B (zh) 关键点预测、网络训练、图像处理方法、装置及电子设备
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN111667512A (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN110232418B (zh) 一种语义识别方法、终端及计算机可读存储介质
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN111860259B (zh) 驾驶检测模型的训练、使用方法、装置、设备及介质
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN112884147A (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN110533725B (zh) 一种基于结构推理网络的高铁接触网多种零部件定位方法
CN112084988A (zh) 车道线实例聚类方法、装置、电子设备和存储介质
CN118230286A (zh) 一种基于改进YOLOv7的车辆与行人识别方法
CN110728229B (zh) 图像处理方法、装置、设备和存储介质
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
CN115908999B (zh) 配电杆塔顶部金具锈蚀检测方法、介质和边缘终端设备
CN116543162A (zh) 基于特征差值与上下文感知一致性的图像分割方法及系统
CN110633641A (zh) 一种智能安防行人检测方法、系统、装置及存储介质
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN115272284A (zh) 基于图像质量评估的输电线路缺陷识别方法
CN115170612A (zh) 一种检测跟踪方法、装置、电子设备及存储介质
Wang et al. Semi-supervised image-to-image translation for lane detection in rain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 101, No. 1, East Ring 3rd Street, Jitiagang Village, Huangjiang Town, Dongguan City, Guangdong Province, 523750

Applicant after: Guangdong Zhengyang Sensor Technology Co.,Ltd.

Address before: Jitigang village, Huangjiang Town, Dongguan City, Guangdong Province

Applicant before: DONGGUAN ZHENGYANG ELECTRONIC MECHANICAL Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant