CN110956214A - 一种自动驾驶视觉定位模型的训练方法及装置 - Google Patents

一种自动驾驶视觉定位模型的训练方法及装置 Download PDF

Info

Publication number
CN110956214A
CN110956214A CN201911218225.3A CN201911218225A CN110956214A CN 110956214 A CN110956214 A CN 110956214A CN 201911218225 A CN201911218225 A CN 201911218225A CN 110956214 A CN110956214 A CN 110956214A
Authority
CN
China
Prior art keywords
training
data
loss function
loss
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911218225.3A
Other languages
English (en)
Other versions
CN110956214B (zh
Inventor
段雄
关书伟
郎咸朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing CHJ Automobile Technology Co Ltd
Original Assignee
Beijing CHJ Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing CHJ Automobile Technology Co Ltd filed Critical Beijing CHJ Automobile Technology Co Ltd
Priority to CN201911218225.3A priority Critical patent/CN110956214B/zh
Publication of CN110956214A publication Critical patent/CN110956214A/zh
Application granted granted Critical
Publication of CN110956214B publication Critical patent/CN110956214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例公开了一种自动驾驶视觉定位模型的训练方法及装置，涉及自动驾驶技术领域，主要目的在于在车辆驾驶过程中进行高精度视觉定位。本公开的实施例的主要技术方案包括：获取车辆的行驶数据；根据所述行驶数据确定至少两种训练样本；为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。

Description

一种自动驾驶视觉定位模型的训练方法及装置
技术领域
本公开的实施例涉及自动驾驶技术领域，特别是涉及一种自动驾驶视觉定位模型的训练方法及装置。
背景技术
驾驶视觉定位系统是智能汽车的重要系统之一，其视觉定位处理精度直接决定了车辆驾驶的完全性。
目前，通常采用地图构建(SLAM，simultaneous localization an mapping)技术来进行驾驶视觉定位。SLAM技术由配备传感器的机器人在空间中自由的移动，利用采集到的传感器信息，对自身位置进行定位，同时在自身定位的基础上增量式的构建地图，实现机器人的同时定位和制图，从而完成视觉定位。但是，SLAM技术强依赖于后端全局优化，需要后端进行自主定位与地图构建，且车辆在使用SLAM技术通常采用单一传感器进行自主定位与地图构建，定位与地图构建精度较低，从而导致在车辆驾驶过程中进行视觉定位的精度较低。
发明内容
有鉴于此，本公开的实施例提出了一种自动驾驶视觉定位模型的训练方法及装置，主要目的在于在车辆驾驶过程中进行高精度视觉定位。主要技术方案包括：
第一方面，本公开的实施例提供了一种自动驾驶视觉定位模型的训练方法，所述方法包括：
获取车辆的行驶数据；
根据所述行驶数据确定至少两种训练样本；
为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；
基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
第二方面，本公开的实施例提供了一种自动驾驶视觉定位模型的训练装置，所述装置包括：
获取单位，用于获取车辆的行驶数据；
第一确定单元，用于根据所述行驶数据确定至少两种训练样本；
第二确定单元，用于为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；
训练单元，用于基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
第三方面，本公开的实施例提供了一种车辆，所述车辆包括：采集设备以及视觉定位设备，其中，所述视觉定位设备中部署有由第一方面所述的自动驾驶视觉定位模型的训练方法训练而得的自动驾驶视觉定位模型；
所述采集设备，用于采集车辆行驶过程中产生的行驶数据；
所述视觉定位设备，用于采用所述自动驾驶视觉定位模型对所述行驶数据进行视觉定位处理。
第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的自动驾驶视觉定位模型的训练方法。
第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的自动驾驶视觉定位模型的训练方法。
借由上述技术方案，本公开的实施例提供的自动驾驶视觉定位模型的训练方法及装置，首先获取车辆的行驶数据，并根据行驶数据确定多种训练样本。然后为每种训练样本分别确定一种损失函数，并根据各种训练样本的损失函数确定总损失函数，其中，各种训练样本中的两种或两种以上的训练样本的损失函数不相同。最后基于多种训练样本对预设训练模型进行训练，直至总损失函数收敛，得到自动驾驶视觉定位模型。可见，本公开的实施例以依据反映车辆各种行驶状态的行驶数据得到的多种反映车辆情况的训练样本为训练基础，且在各种训练样本均具有其各自的损失函数。在模型的训练过程中依据各种训练样本以及各种训练样本的损失函数得到的总损失函数进行，训练过程中综合考虑了各种训练样本对视觉定位的影响，因此本公开的实施例提供的方案能够在车辆驾驶过程中进行高精度视觉定位。
上述说明仅是本公开的实施例技术方案的概述，为了能够更清楚了解本公开的实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本公开的实施例提供的一种自动驾驶视觉定位模型的训练方法的流程图；
图2示出了本公开的实施例提供的一种自动驾驶视觉定位模型的训练装置的组成框图；
图3示出了本公开的实施例提供的另一种自动驾驶视觉定位模型的训练装置的组成框图；
图4示出了本公开的实施例提供的一种车辆的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面，本公开的实施例提供了一种自动驾驶视觉定位模型的训练方法，如图1所示，所述方法主要包括：
101、获取车辆的行驶数据。
本实施例中所获取的行驶数据是大量车辆在行驶过程中产生的行驶数据。大量车辆的行驶数据可以降低偶然产生的异常数据的涵盖率，因此采用大量车辆的行驶数据作为自动驾驶视觉定位模型的训练的基础数据，能够提高训练而得的自动驾驶视觉定位模型的视觉定位的精确度。
本实施例中所述的行驶数据能够表征出车辆行驶状态，行驶数据至少包括如下内容中的至少一种：车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据。
具体的，车辆前方道路图像，是车辆在行驶过程中由图像采集设备采集的车辆前方道路影像。车辆前方道路图像中包括有车道线，因此车辆前方道路图像是车辆行驶在两个相邻的车道线之间时的图像。车辆前方道路图像的采集方法至少包括：采用车辆上安装的图像采集设备采集，该采集设备的镜头朝向车辆行驶的方向，且采集设备在采集车辆前方道路图像的过程中始终保持采集设备主轴与地面有一固定俯仰角。当车辆行驶过程中，采集设备主轴与地面之间的俯仰角发生变动时，则立即将俯仰角调整为固定俯仰角。示例性的，该采集设备为单目采集设备。
具体的，行驶导航地图，是车辆行驶过程中所使用的导航地图，从该行驶导航地图中可以查看到车辆的行驶路径，以及车辆行驶过程所涉及到的道路周边环境。示例性的，该行驶导航地图可以为高精地图。
具体的，车辆定位数据，是车辆行驶过程中所涉及到的具体位置，该车辆定位数据可以为GPS(全球定位系统，Global Positioning System)数据或北斗定位数据。
具体的，车辆姿态数据，是车辆行驶过程中车辆中的IMU(惯性测量设备，InertialMeasurement Unit)获取的数据，该姿态数据为车辆的三轴姿态角(或角速率)以及加速度。
102、根据所述行驶数据确定至少两种训练样本。
本实施例中，由于行驶数据的数据量较大，因此需要将行驶数据规整为训练样本。另外，为了提高自动驾驶视觉定位模型的精度，则需要根据行驶数据确定两种或两种以上的训练样本，其中，每种训练样本分别具有其各自表征车辆驾驶状态相关的特征。根据行驶数据确定至少两种训练样本的具体过程包括：从所述行驶数据中选取待处理数据；采用与各待处理数据相应的数据处理方法，对各待处理数据进行处理，得到各待处理数据对应的标注数据；将同一种类型的待处理数据的标注数据确定为一种训练样本。
具体的，基于训练样本的种类，从行驶数据中选取待处理数据。待处理数据至少存在如下几种：第一种，待处理数据为车辆前方道路图像；第二种，行驶导航地图、车辆姿态数据和车辆定位数据；第三种，车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据。
具体的，由于待处理数据不同，对待处理数据的数据处理方法不同，因此得到的标注数据也不同，因此采用与各待处理数据相应的数据处理方法对各待处理数据进行处理，得到各待处理数据对应的标注数据的过程至少存在如下几种：
第一种，在待处理数据为车辆前方道路图像时，对待处理数据进行车道线标注，得到待处理数据对应的标注数据为车道线数据。
这里所述的车道线标注方法可以基于业务要求选择，本实施例中不作具体限定。示例性的，车道线标注方法为边缘检测和霍夫变换的组合应用。先将车辆前方道路图像转为灰度图像，并在模糊处理后，进行边缘检测和霍夫变换得到车道线数据。示例性的，车道线标注方法为颜色阈值方法，将车辆前方道路图像转颜色空间，对新的颜色空间中的各通道设置阈值，根据各通道的阈值得到车道线数据。
第二种，在待处理数据为行驶导航地图、车辆姿态数据和车辆定位数据时，对待处理数据进行位姿标注，得到待处理数据对应的标注数据为车辆位姿数据。
这里所述的位姿标注方法可以基于业务要求选择，本实施例中不作具体限定。示例性的，位姿标注方法为多视点自监督深度学习，得到的车辆位姿数据为6D位姿数据。
第三种，在待处理数据为车辆前方道路图像时，对待处理数据进行语义分割运算，得到待处理数据对应的标注数据为语义分割图像。
这里进行语义分割运算采用的语义分割运算方法可以基于业务要求选择，本实施例中不作具体限定。示例性的，语义分割运算方法为深度学习语义分割算法。
第四种，在待处理数据为车辆前方道路图像时，对待处理数据进行深度处理，得到待处理数据对应的标注数据为深度图像。
这里进行深度处理采用的深度处理方法可以基于业务要求选择，本实施例中不作具体限定。示例性的，深度处理方法为利用激光点云和车辆前方道路图像配准，得到深度图像。
第五种，在待处理数据为车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据时，对待处理数据进行特征处理，得到待处理数据对应的标注数据为特征图像。
这里进行特征处理采用的特征处理方法可以基于业务要求选择，本实施例中不做具体限定。示例性的，特征处理方法为利用ORB(图像处理检测方法，Oriented FAST andRotated BRIEF)特征计算车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据，并进行聚类，进行字典学习，得到特征字典，该特征字典以特征图像的形式存在。
在本实施例中，由于同一种类型的待处理数据的标注数据表征一种车辆驾驶状态相关的特征，因此在确定出标注数据后，将同一种类型的待处理数据的标注数据确定为一种训练样本。
在本实施例中，训练样本的具体种类和种类数量可以基于业务要求确定，需要说明的是，训练样本数量的种类越多，则越能还原出车辆真实的驾驶状态，则训练得到的视觉定位模型的精度越高。示例性的，将涉及车道线数据、车辆位姿数据、语义分割图像、深度图像和特征图像的训练样本均作为训练视觉定位模型的训练样本。
103、为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同。
在本实施例中，损失函数表征训练样本输入预设训练模型之后，训练模型的实际输出结果与期望输出结果中间的差异。损失函数是用于评价视觉定位模型精度的重要指标，因此，需要为训练样本对应分配损失函数。
在本实施例中，为了提高自动驾驶视觉定位模型的精度，则为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同。其中，分配损失函数的规则至少包括如下两种：
第一种，各种训练样本的损失函数均不同。示例性的，存在5种训练样本，则5种训练样本的损失函数均不同，且损失函数分别为函数1、函数2、函数3、函数4和函数5。
第二种，在各种训练样本的损失函数存在两个或多个相同的损失函数。示例性的，存在5种训练样本，其中3种训练样本的损失函数为函数1，另外两种训练样本的损失函数为函数2。
在本实施例中，损失函数的具体类型可以基于业务要求确定，本实施例中不作具体限定。示例性的，至少两种训练样本对应的至少两种损失函数可以为如下损失函数中的至少两种：lanenet损失函数、posenet损失函数、feature损失函数、Semantic net损失函数和depthNet损失函数。
在本实施例中，在确定各种训练样本对应的损失函数之后，需要根据各种训练样本对应的损失函数确定总损失函数，该总损失函数可以通过如下公式表征：
Loss＝∑Wn×lossn
其中，Loss表征总损失函数；Wn表征第n种训练样本对应的损失函数的权重；lossn表征第n种训练样本对应的损失函数。
需要说明的是，由于总损失函数是基于两种或两种以上的损失函数而得，在基于总损失函数进行模型训练时，能够综合各种损失函数得到的训练模型的实际输出结果与期望输出结果中间的差异，因此采用总损失函数能够提高模型的训练精度。
104、基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
在本实施例中，基于至少两种训练样本对预设训练模型进行训练的具体步骤为：在当前训练迭代过程中，将所述至少两种训练样本输入至所述预设训练模型，得到各种训练样本对应的损失函数的损失值；确定各损失函数在当前训练迭代过程中的权重分别与其各自对应的损失值的乘积，并将各损失函数对应的乘积的加和确定为总损失函数的损失值；当总损失函数的损失值不小于预设的损失阈值时，根据各损失函数的损失值调整各损失函数的权重，将调整后的权重确定为下一个训练迭代过程中损失函数的权重，直至所述总损失函数收敛。
具体的，为了提高训练速度，将所述至少两种训练样本输入至所述预设训练模型，得到各种训练样本对应的损失函数的损失值的具体方法可以为：将各种训练样本分别输入至所述预设训练模型包含的各子训练模型中，其中，一个子训练模型训练一种训练样本；将各子训练模型训练后得到的损失函数的损失值，确定各子训练模型对应的训练样本的损失函数的损失值。
具体的，预设训练模型中包含有与训练样本种类数相同数量的子训练模型，使用各子训练模型训练其对应的训练样本，从而实现了各种训练样本的并行训练，加快了模型的训练速度。另外，需要说明的是，在当前训练迭代过程中为第一次训练，则各子训练模型中利用其各自的初始训练参数对训练样本进行训练。在当前训练迭代中非第一次训练时，则各自训练模型中的训练参数基于其之前的训练迭代过程结果进行调整过的，则各子训练模型利用调整过的训练参数对训练样本进行训练。
具体的，将各子训练模型训练后得到的损失函数的损失值，确定各子训练模型对应的训练样本的损失函数的损失值，该训练样本的损失函数的损失值均为局部损失的损失值，因此需要确定各损失函数在当前训练迭代过程中的权重分别与其各自对应的损失值的乘积，并将各损失函数对应的乘积的加和确定为总损失函数的损失值。需要说明的是，各损失函数的权重，会随着训练迭代过程的增加而有所调整。比如，当前训练迭代过程中的权重，是基于上一次训练迭代过程的结果调整而得。权重值的调整依据可以为损失函数的损失值在上一次训练迭代过程中的占比。
示例性的，存在两种训练样本，一种训练样本的损失函数为loss1,另一种训练样本的损失函数loss2。当前训练迭代过程中，loss1的损失值为10，其权重为50％，loss2的损失值为20，其权重为50％，总损失函数的损失值为“10×50％+20×50％＝15”。则根据各损失函数的损失值调整各损失函数的权重规则为loss1的权重占比增大，loss2的权重占比减小。
具体的，当总损失函数的损失值小于或等于预设的损失阈值时，说明训练模型的实际输出结果与期望输出结果中间的差异达到要求，可以得到处理精度较高的模型，则停止训练迭代过程，得到自动驾驶视觉定位模型。
具体的，当总损失函数的损失值不小于预设的损失阈值时，说明训练模型的实际输出结果与期望输出结果中间的差异较大，未达到要求，则根据各损失函数的损失值调整各损失函数的权重，将调整后权重确定为下一个训练迭代过程中，直至训练迭代到总损失函数收敛为止。需要说明的是，总损失函数收敛即为总损失函数的损失值小于或等于预设的损失阈值。
进一步的，为了避免训练迭代过程无限制的进行，则可以采用如下两种情况进行处理：
第一种，基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则为每种训练样本重新分配对应的损失函数，其中，重新分配的损失函数与训练样本的原有损失函数不同。
具体的，基于训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则说明训练过程中可以存在总损失函数不能收敛的异常情况，则为每种训练样本重新分配对应的损失函数，以便基于新分配的损失函数，重新训练。需要说明的是，重新分配的损失函数与训练样本的原有损失函数不同
第二种，在所述总损失函数收敛，且基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则获取新的行驶数据。
具体的，基于训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则说明训练过程中可以存在总损失函数不能收敛的异常情况，则重新获取新的行驶数据，使用新的行驶数据重复步骤101-103进行视觉定位模型的训练。
第三种，基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则发出异常报告。
具体的，基于训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，说明训练过程中可以存在总损失函数不能收敛的异常情况，则发出异常报告，以便业务人员及时基于异常报告进行异常处理。
本公开的实施例提供的自动驾驶视觉定位模型的训练方法，首先获取车辆的行驶数据，并根据行驶数据确定多种训练样本。然后为每种训练样本分别确定一种损失函数，并根据各种训练样本的损失函数确定总损失函数，其中，各种训练样本中的两种或两种以上的训练样本的损失函数不相同。最后基于多种训练样本对预设训练模型进行训练，直至总损失函数收敛，得到自动驾驶视觉定位模型。可见，本公开的实施例以依据反映车辆各种行驶状态的行驶数据得到的多种反映车辆情况的训练样本为训练基础，且在各种训练样本均具有其各自的损失函数。在模型的训练过程中依据各种训练样本以及各种训练样本的损失函数得到的总损失函数进行，训练过程中综合考虑了各种训练样本对视觉定位的影响，因此本公开的实施例提供的方案能够在车辆驾驶过程中进行高精度视觉定位。
第二方面，依据图1所示的方法，本公开的另一个实施例还提供了一种自动驾驶视觉定位模型的训练装置，如图2所示，所述装置主要包括：
获取单位21，用于获取车辆的行驶数据；
第一确定单元22，用于根据所述行驶数据确定至少两种训练样本；
第二确定单元23，用于为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；
训练单元24，用于基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
本公开的实施例提供的自动驾驶视觉定位模型的训练装置，首先获取车辆的行驶数据，并根据行驶数据确定多种训练样本。然后为每种训练样本分别确定一种损失函数，并根据各种训练样本的损失函数确定总损失函数，其中，各种训练样本中的两种或两种以上的训练样本的损失函数不相同。最后基于多种训练样本对预设训练模型进行训练，直至总损失函数收敛，得到自动驾驶视觉定位模型。可见，本公开的实施例以依据反映车辆各种行驶状态的行驶数据得到的多种反映车辆情况的训练样本为训练基础，且在各种训练样本均具有其各自的损失函数。在模型的训练过程中依据各种训练样本以及各种训练样本的损失函数得到的总损失函数进行，训练过程中综合考虑了各种训练样本对视觉定位的影响，因此本公开的实施例提供的方案能够在车辆驾驶过程中进行高精度视觉定位。
在一些实施例中，如图3所示，所述训练单元24包括：
训练模块241，用于在当前训练迭代过程中，将所述至少两种训练样本输入至所述预设训练模型，得到各种所述训练样本对应的损失函数的损失值；
第一确定模块242，用于确定各所述损失函数在当前训练迭代过程中的权重分别与其各自对应的损失值的乘积，并将各所述损失函数对应的乘积的加和确定为总损失函数的损失值；
调整模块243，用于当所述总损失函数的损失值不小于预设的损失阈值时，根据各所述损失函数的损失值调整各所述损失函数的权重，将调整后的权重确定为下一个训练迭代过程中所述损失函数的权重，直至所述总损失函数收敛。
在一些实施例中，如图3所示，所述训练模块241，用于将各种所述训练样本分别输入至所述预设训练模型包含的各子训练模型中，其中，一个所述子训练模型训练一种所述训练样本；将各所述子训练模型训练后得到的损失函数的损失值，确定各所述子训练模型对应的训练样本的损失函数的损失值。
在一些实施例中，如图3所示，第一确定单元22包括：
选取模块221，用于从所述行驶数据中选取待处理数据；
处理模块222，用于采用与各所述待处理数据相应的数据处理方法，对各所述待处理数据进行处理，得到各所述待处理数据对应的标注数据；
第二确定模块223，用于将同一种类型的所述待处理数据的标注数据确定为一种训练样本。
在一些实施例中，所述行驶数据包括车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据中的至少一种。
在一些实施例中，如图3所示，所述处理模块222，用于在所述待处理数据为车辆前方道路图像时，对所述待处理数据进行车道线标注，得到所述待处理数据对应的标注数据为车道线数据；在所述待处理数据为行驶导航地图、车辆姿态数据和车辆定位数据时，对所述待处理数据进行位姿标注，得到待处理数据对应的标注数据为车辆位姿数据；在所述待处理数据为车辆前方道路图像时，对待处理数据进行语义分割运算，得到所述待处理数据对应的标注数据为语义分割图像；在待处理数据为车辆前方道路图像时，对待处理数据进行深度处理，得到待处理数据对应的标注数据为深度图像；在待处理数据为车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据时，对待处理数据进行特征处理，得到待处理数据对应的标注数据为特征图像。
在一些实施例中，如图3所示，所述装置还包括：
分配单元25，用于当基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则为每种所述训练样本重新确定损失函数，其中，重新确定的损失函数与训练样本的原有损失函数不同。
在一些实施例中，如图3所示，所述装置还包括：
处理单元26，用于当基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则获取新的行驶数据或发出异常报告。
在一些实施例中，所述至少两种损失函数包括lanenet损失函数、posenet损失函数、feature损失函数、Semantic net损失函数和depthNet损失函数中的至少两种。
第三方面的实施例提供的自动驾驶视觉定位模型的训练装置，可以用以执行第一方面的实施例所提供的自动驾驶视觉定位模型的训练方法，相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述，在此不再详细说明。
第三方面，依据图1所示的方法，本公开的另一个实施例还提供了一种车辆，如图4所示，所述车辆主要包括：
采集设备31以及视觉定位设备32，其中，所述视觉定位设备32中部署有由第一方面所述的自动驾驶视觉定位模型的训练方法训练而得的自动驾驶视觉定位模型；
所述采集设备31，用于采集车辆行驶过程中产生的行驶数据；
所述视觉定位设备32，用于采用所述自动驾驶视觉定位模型对所述行驶数据进行视觉定位处理。
本公开的实施例提供的车辆，由于自动驾驶视觉定位模型的训练装置获取车辆的行驶数据，并根据行驶数据确定多种训练样本。然后为每种训练样本分别确定一种损失函数，并根据各种训练样本的损失函数确定总损失函数，其中，各种训练样本中的两种或两种以上的训练样本的损失函数不相同。最后基于多种训练样本对预设训练模型进行训练，直至总损失函数收敛，得到自动驾驶视觉定位模型。可见，本公开的实施例以依据反映车辆各种行驶状态的行驶数据得到的多种反映车辆情况的训练样本为训练基础，且在各种训练样本均具有其各自的损失函数。在模型的训练过程中依据各种训练样本以及各种训练样本的损失函数得到的总损失函数进行，训练过程中综合考虑了各种训练样本对视觉定位的影响，因此本公开的实施例提供的方案能够在车辆驾驶过程中进行高精度视觉定位。
第三方面的实施例提供的车辆，可以用以执行第一方面或第二方面的实施例所提供的自动驾驶视觉定位模型的训练方法，相关的用于的含义以及具体的实施方式可以参见第一方面的实施例中的相关描述，在此不再详细说明。
第四方面，本公开的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的自动驾驶视觉定位模型的训练方法。
存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
第五方面，本公开的实施例提供了一种人机交互装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的自动驾驶视觉定位模型的训练方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种自动驾驶视觉定位模型的训练方法，其特征在于，所述方法包括：
获取车辆的行驶数据；
根据所述行驶数据确定至少两种训练样本；
为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；
基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
2.根据权利要求1所述的方法，其特征在于，基于所述至少两种训练样本对预设训练模型进行训练，包括：
在当前训练迭代过程中，将所述至少两种训练样本输入至所述预设训练模型，得到各种所述训练样本对应的损失函数的损失值；
确定各所述损失函数在当前训练迭代过程中的权重分别与其各自对应的损失值的乘积，并将各所述损失函数对应的乘积的加和确定为总损失函数的损失值；
当所述总损失函数的损失值不小于预设的损失阈值时，根据各所述损失函数的损失值调整各所述损失函数的权重，将调整后的权重确定为下一个训练迭代过程中所述损失函数的权重，直至所述总损失函数收敛。
3.根据权利要求2所述的方法，其特征在于，将所述至少两种训练样本输入至所述预设训练模型，得到各种所述训练样本对应的损失函数的损失值，包括：
将各种所述训练样本分别输入至所述预设训练模型包含的各子训练模型中，其中，一个所述子训练模型训练一种所述训练样本；
将各所述子训练模型训练后得到的损失函数的损失值，确定各所述子训练模型对应的训练样本的损失函数的损失值。
4.根据权利要求1所述的方法，其特征在于，根据所述行驶数据确定至少两种训练样本，包括：
从所述行驶数据中选取待处理数据；
采用与各所述待处理数据相应的数据处理方法，对各所述待处理数据进行处理，得到各所述待处理数据对应的标注数据；
将同一种类型的所述待处理数据的标注数据确定为一种训练样本。
5.根据权利要求4所述的方法，其特征在于，所述行驶数据包括车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据中的至少一种。
6.根据权利要求4所述的方法，其特征在于，所述采用与各所述待处理数据相应的数据处理方法，对各所述待处理数据进行处理，得到各所述待处理数据对应的标注数据，包括：
在所述待处理数据为车辆前方道路图像时，对所述待处理数据进行车道线标注，得到所述待处理数据对应的标注数据为车道线数据；
在所述待处理数据为行驶导航地图、车辆姿态数据和车辆定位数据时，对所述待处理数据进行位姿标注，得到所述待处理数据对应的标注数据为车辆位姿数据；
在所述待处理数据为车辆前方道路图像时，对所述待处理数据进行语义分割运算，得到所述待处理数据对应的标注数据为语义分割图像；
在所述待处理数据为车辆前方道路图像时，对所述待处理数据进行深度处理，得到所述待处理数据对应的标注数据为深度图像；
在所述待处理数据为车辆前方道路图像、行驶导航地图、车辆定位数据和车辆姿态数据时，对所述待处理数据进行特征处理，得到所述待处理数据对应的标注数据为特征图像。
7.根据权利要求1-6中任一所述的方法，其特征在于，所述方法还包括：基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则为每种所述训练样本重新确定损失函数，其中，重新确定的损失函数与所述训练样本的原有损失函数不同。
8.根据权利要求1-6中任一所述的方法，其特征在于，所述方法还包括：基于所述至少两种训练样本对预设训练模型进行训练的累计训练迭代次数达到预设的次数阈值时，所述总损失函数未收敛，则获取新的行驶数据或发出异常报告。
9.根据权利要求1-6中任一所述的方法，其特征在于，所述至少两种损失函数包括lanenet损失函数、posenet损失函数、feature损失函数、Semantic net损失函数和depthNet损失函数中的至少两种。
10.一种自动驾驶视觉定位模型的训练装置，其特征在于，所述装置包括：
获取单位，用于获取车辆的行驶数据；
第一确定单元，用于根据所述行驶数据确定至少两种训练样本；
第二确定单元，用于为每种所述训练样本分别确定一种损失函数，并根据各种所述训练样本的损失函数确定总损失函数，其中，各种所述训练样本中的至少两种训练样本的损失函数不相同；
训练单元，用于基于所述至少两种训练样本对预设训练模型进行训练，直至所述总损失函数收敛，得到自动驾驶视觉定位模型。
11.根据权利要求1所述的装置，其特征在于，所述训练单元包括：
训练模块，用于在当前训练迭代过程中，将所述至少两种训练样本输入至所述预设训练模型，得到各种所述训练样本对应的损失函数的损失值；
第一确定模块，用于确定各所述损失函数在当前训练迭代过程中的权重分别与其各自对应的损失值的乘积，并将各所述损失函数对应的乘积的加和确定为总损失函数的损失值；
调整模块，用于当所述总损失函数的损失值不小于预设的损失阈值时，根据各所述损失函数的损失值调整各所述损失函数的权重，将调整后的权重确定为下一个训练迭代过程中所述损失函数的权重，直至所述总损失函数收敛。
12.根据权利要求11所述的装置，其特征在于，所述训练模块，用于将各种所述训练样本分别输入至所述预设训练模型包含的各子训练模型中，其中，一个所述子训练模型训练一种所述训练样本；将各所述子训练模型训练后得到的损失函数的损失值，确定各所述子训练模型对应的训练样本的损失函数的损失值。
13.一种车辆，其特征在于，所述车辆包括：采集设备以及视觉定位设备，其中，所述视觉定位设备中部署有由权利要求1所述的自动驾驶视觉定位模型的训练方法训练而得的自动驾驶视觉定位模型；
所述采集设备，用于采集车辆行驶过程中产生的行驶数据；
所述视觉定位设备，用于采用所述自动驾驶视觉定位模型对所述行驶数据进行视觉定位处理。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至9中任一项所述的自动驾驶视觉定位模型的训练方法。
15.一种人机交互装置，其特征在于，所述装置包括存储介质，及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至9中任一项所述的自动驾驶视觉定位模型的训练方法。
CN201911218225.3A 2019-12-03 2019-12-03 一种自动驾驶视觉定位模型的训练方法及装置 Active CN110956214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911218225.3A CN110956214B (zh) 2019-12-03 2019-12-03 一种自动驾驶视觉定位模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911218225.3A CN110956214B (zh) 2019-12-03 2019-12-03 一种自动驾驶视觉定位模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN110956214A true CN110956214A (zh) 2020-04-03
CN110956214B CN110956214B (zh) 2023-10-13

Family

ID=69979544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911218225.3A Active CN110956214B (zh) 2019-12-03 2019-12-03 一种自动驾驶视觉定位模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN110956214B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524187A (zh) * 2020-04-22 2020-08-11 北京三快在线科技有限公司 一种视觉定位模型的训练方法及装置
CN112660161A (zh) * 2020-12-30 2021-04-16 中山大学 一种基于视觉时序推理的自动驾驶方法及系统
CN114998684A (zh) * 2022-05-20 2022-09-02 北京百度网讯科技有限公司 地理与视觉跨模态预训练模型的训练方法、定位调整方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109726627A (zh) * 2018-09-29 2019-05-07 初速度（苏州）科技有限公司 一种神经网络模型训练及通用接地线的检测方法
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN109726627A (zh) * 2018-09-29 2019-05-07 初速度（苏州）科技有限公司 一种神经网络模型训练及通用接地线的检测方法
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109784424A (zh) * 2019-03-26 2019-05-21 腾讯科技（深圳）有限公司 一种图像分类模型训练的方法、图像处理的方法及装置
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524187A (zh) * 2020-04-22 2020-08-11 北京三快在线科技有限公司 一种视觉定位模型的训练方法及装置
CN112660161A (zh) * 2020-12-30 2021-04-16 中山大学 一种基于视觉时序推理的自动驾驶方法及系统
CN112660161B (zh) * 2020-12-30 2022-04-29 中山大学 一种基于视觉时序推理的自动驾驶方法及系统
CN114998684A (zh) * 2022-05-20 2022-09-02 北京百度网讯科技有限公司 地理与视觉跨模态预训练模型的训练方法、定位调整方法

Also Published As

Publication number Publication date
CN110956214B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US10324469B2 (en) System and method for controlling motion of vehicle in shared environment
CN112612287B (zh) 一种自动驾驶汽车局部路径规划系统、方法、介质及设备
US11703883B2 (en) Autonomous driving device
US11269329B2 (en) Dynamic model with learning based localization correction system
CN110956214A (zh) 一种自动驾驶视觉定位模型的训练方法及装置
CN109522784B (zh) 用于区分可越过物体与不可越过物体的装置和方法
JP2019034714A (ja) 複数車両環境における自律的車両目標のための自律的動作
CN111413957A (zh) 用于确定自动驾驶中的驾驶动作的系统和方法
US11704554B2 (en) Automated training data extraction method for dynamic models for autonomous driving vehicles
CN111413958B (zh) 用于确定自动驾驶中的驾驶路径的系统和方法
WO2022052856A1 (zh) 基于交通工具的数据处理方法、装置、计算机及存储介质
Németh et al. Optimal control of overtaking maneuver for intelligent vehicles
US11521113B2 (en) System and method for unifying heterogenous datasets using primitives
CN112277951B (zh) 车辆感知模型生成方法、车辆自动驾驶控制方法及装置
CN109515439A (zh) 自动驾驶控制方法、装置、系统及存储介质
CN110285977B (zh) 自动驾驶车辆的测试方法、装置、设备及存储介质
DE102019127833A1 (de) Sprachverarbeitung in einem fahrzeug
EP4056441A1 (en) Back propagation planning for adas/ad motion planning and control
US20180253102A1 (en) Method, device, and computer readable storage medium with motor plant instructions for a motor vehicle
CN111460854B (zh) 一种远距离目标检测方法、装置及系统
CN113727064A (zh) 一种摄像头视场角的确定方法及装置
US20220300851A1 (en) System and method for training a multi-task model
EP4174517A1 (en) Domain adaptation of autonomous vehicle sensor data
CN112925210B (zh) 一种模型训练和控制无人设备的方法及装置
CN114154510A (zh) 自动驾驶车辆的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant