CN116385825B - 模型联合训练方法、装置及车辆 - Google Patents

模型联合训练方法、装置及车辆 Download PDF

Info

Publication number
CN116385825B
CN116385825B CN202310288133.2A CN202310288133A CN116385825B CN 116385825 B CN116385825 B CN 116385825B CN 202310288133 A CN202310288133 A CN 202310288133A CN 116385825 B CN116385825 B CN 116385825B
Authority
CN
China
Prior art keywords
point cloud
cloud identification
identification
task
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310288133.2A
Other languages
English (en)
Other versions
CN116385825A (zh
Inventor
甘鹏
欧远昶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202310288133.2A priority Critical patent/CN116385825B/zh
Publication of CN116385825A publication Critical patent/CN116385825A/zh
Application granted granted Critical
Publication of CN116385825B publication Critical patent/CN116385825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开关于一种模型联合训练方法、装置及车辆，涉及自动驾驶技术领域，其中方法包括：获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据点云训练数据中的样本点云数据以及对应的标注识别数据、初始点云识别模型的损失函数，确定点云识别任务下的损失函数值；根据多个点云识别任务下的损失函数值，对多个初始点云识别模型进行参数调整处理，其中，多个点云识别任务之间的数据耦合性低，方便后续对点云识别任务做更改；且训练时不需要同时加载多个点云识别任务的点云数据，对车辆内存消耗较小，从而提高了模型训练效率。

Description

模型联合训练方法、装置及车辆
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种模型联合训练方法、装置及车辆。
背景技术
目前，在自动驾驶车端上存在多个识别任务，例如，行车场景下车辆识别、泊车场景下车辆识别等，为了节省车端的计算资源，一般是将多个识别任务融合成一个模型，该模型的输入为多个识别任务下的点云数据，该模型的输出为多个识别任务下的识别结果。
上述方案中，该模型对多个识别任务下的点云数据进行拼接并进行特征提取处理，多个识别任务之间的数据耦合性高；训练时需要加载的点云数据较多，对车端内存消耗过大；且难以根据新增识别任务进行适应性扩展。
发明内容
本公开提供一种模型联合训练方法、装置及车辆。
根据本公开实施例的第一方面，提供一种模型联合训练方法，所述方法包括：获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个所述初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值；根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型。
在本公开的一个实施例中，所述获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据，包括：获取多个点云识别任务，以及所述点云识别任务对应的配置文件；所述配置文件用于指示模型结构以及训练相关条件；多个所述配置文件中指示的模型结构引用同一个特征提取网络；针对每个点云识别任务，解析所述点云识别任务对应的配置文件，获取所述配置文件指示的模型结构以及训练相关条件；按照所述模型结构，创建所述点云识别任务下的初始点云识别模型；按照所述训练相关条件，获取所述点云识别任务下的点云训练数据。
在本公开的一个实施例中，所述针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值，包括：针对每个点云识别任务，将所述点云识别任务下的样本点云数据输入所述点云识别任务下的初始点云识别模型，获取所述初始点云识别模型输出的预测识别数据；根据所述预测识别数据、所述样本点云数据对应的标注识别数据、以及所述初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值。
在本公开的一个实施例中，所述根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型，包括：针对每个点云识别任务，根据所述点云识别任务下的损失函数值，对所述点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理；根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理。
在本公开的一个实施例中，所述根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理，包括：针对每个点云识别任务，根据所述点云识别任务下的损失函数值以及梯度计算策略，确定所述点云识别任务下所述特征提取网络的参数梯度数据；根据多个所述点云识别任务下所述特征提取网络的参数梯度数据，确定所述特征提取网络的总参数梯度数据；根据所述特征提取网络的总梯度数据，对所述特征提取网络进行参数调整处理。
在本公开的一个实施例中，所述方法还包括：获取多个所述点云识别任务中目标点云识别任务下的新增点云训练数据；获取所述目标点云识别任务下训练好的目标点云识别模型；根据所述新增点云训练数据中的新增样本点云数据、所述新增样本点云数据对应的标注识别数据、所述目标点云识别模型的损失函数，确定所述目标点云识别任务下的损失函数值；固定所述目标点云识别模型中特征提取网络的参数，根据所述目标点云识别任务下的损失函数值，对所述目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型。
在本公开的一个实施例中，所述方法还包括：获取扩展点云识别任务，以及所述扩展点云识别任务下的扩展点云识别模型以及扩展点云训练数据；其中，所述扩展点云识别模型中的特征提取网络，与多个所述点云识别模型中的特征提取网络共享参数；根据所述扩展点云训练数据中的扩展样本点云数据、所述扩展样本点云数据对应的标注识别数据、所述扩展点云识别模型的损失函数，确定所述扩展点云识别任务下的损失函数值；固定所述扩展点云识别模型中特征提取网络的参数，根据所述扩展点云识别任务下的损失函数值，对所述扩展点云识别模型中的特征识别网络进行参数调整处理，得到所述扩展点云识别任务下训练好的扩展点云识别模型。
在本公开的一个实施例中，所述点云识别任务包括以下至少一种：行车场景下车辆识别、行车场景下可行驶区域识别、泊车场景下车辆识别、泊车场景下可行驶区域识别。
根据本公开实施例的第二方面，还提供一种模型联合训练装置，所述装置包括：第一获取模块，用于获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个所述初始点云识别模型中的特征提取网络共享参数；第一确定模块，用于针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值；参数调整模块，用于根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型。
根据本公开实施例的第三方面，还提供一种车辆，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：实现如上所述的模型联合训练方法的步骤。
根据本公开实施例的第四方面，还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如上所述的模型联合训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值；根据多个点云识别任务下的损失函数值，对多个初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型，其中，多个点云识别任务之间的数据耦合性低，方便后续对点云识别任务做更改；且训练时不需要同时加载多个点云识别任务的点云数据，对车辆内存消耗较小，从而加快了模型训练速度，提高了模型训练效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开一个实施例的模型联合训练方法的流程图；
图2为本公开另一个实施例的模型联合训练方法的流程图；
图3为本公开另一个实施例的模型联合训练方法的流程图；
图4为模型联合训练示意图；
图5为本公开一个实施例的模型联合训练装置的结构示意图；
图6为根据本公开一示例性实施例示出的一种车辆的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，在自动驾驶车端上存在多个识别任务，例如，行车场景下车辆识别、泊车场景下车辆识别等，为了节省车端的计算资源，一般是将多个识别任务融合成一个模型，该模型的输入为多个识别任务下的点云数据，该模型的输出为多个识别任务下的识别结果。
上述方案中，该模型对多个识别任务下的点云数据进行拼接并进行特征提取处理，多个识别任务之间的数据耦合性高；训练时需要加载的点云数据较多，对车端内存消耗过大；且难以根据新增识别任务进行适应性扩展。
图1为本公开一个实施例的模型联合训练方法的流程图。其中，需要说明的是，本实施例的模型联合训练方法可应用于模型联合训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行模型联合训练功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车辆、车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图1所示，该方法包括以下步骤：
步骤101，获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数。
在本公开实施例中，点云识别任务可以包括以下至少一种：行车场景下车辆识别、行车场景下可行驶区域识别、泊车场景下车辆识别、泊车场景下可行驶区域识别等。其中，行车场景下车辆识别，可以指对道路上车辆周边的点云数据进行识别，确定车辆周边的其他车辆的位置、速度、距离等。行车场景下可行驶区域识别，可以指对道路上车辆周边的点云数据进行识别，确定车辆周边的障碍物所在区域以及可行驶区域，进而方便确定车辆的行驶路线以及对车辆进行自动驾驶控制等。
其中，泊车场景下车辆识别，可以指在停车区域内时对车辆周边的点云数据进行识别，确定车辆周边的其他车辆的位置、距离等。泊车场景下可行驶区域识别，可以指在停车区域内时对车辆周边的点云数据进行识别，确定车辆周边的障碍物所在区域以及可行驶区域，进而方便确定车辆的停车路线以及对车辆进行泊车控制等。
在本公开实施例中，初始点云识别模型可以包括依次连接的特征提取网络以及特征识别网络。其中，特征提取网络，用于对点云数据进行特征提取处理，获取点云数据对应的特征信息。特征识别网络，用于根据特征信息进行预测处理，确定点云数据的识别结果。其中，识别结果例如，车辆周边其他车辆的位置、距离等，或者，车辆周边的可行驶区域等。
在本公开实施例中，为了节省计算资源，多个点云识别任务下的初始点云识别模型中的特征提取网络，可以共享参数。也就是说，不管是训练过程中，还是应用过程中，多个初始点云识别模型中的特征提取网络，实时保持一致。另外，多个初始点云识别模型中的特征识别网络不同。
在本公开实施例中，电子设备执行步骤101的过程例如可以为，获取多个点云识别任务，以及点云识别任务对应的配置文件；配置文件用于指示模型结构以及训练相关条件；多个配置文件中指示的模型结构引用同一个特征提取网络；针对每个点云识别任务，解析点云识别任务对应的配置文件，获取配置文件指示的模型结构以及训练相关条件；按照模型结构，创建点云识别任务下的初始点云识别模型；按照训练相关条件，获取点云识别任务下的点云训练数据。
其中，电子设备可以调用预设的解析代码文件对配置文件进行解析处理，获取配置文件所指示的模型结构以及训练相关条件。其中，训练相关条件例如，损失函数的具体公式、对训练数据的要求、梯度计算策略等。其中，不同配置文件的格式类似，因此可以采用相同的解析代码文件对不同的配置文件进行解析处理。在新增点云识别任务或者修改点云识别任务时，可以对相应的配置文件进行修改，进而采用解析代码文件进行重新解析即可，避免对解析代码文件进行修改处理，从而降低对点云识别任务进行修改或者扩展时的扩展成本，提高在点云识别任务修改或者扩展时的模型联合训练速度，能够及时将训练好的模型应用于修改或者扩展的点云识别任务。
步骤102，针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值。
在本公开实施例中，电子设备执行步骤102的过程例如可以为，针对每个点云识别任务，将点云识别任务下的样本点云数据输入点云识别任务下的初始点云识别模型，获取初始点云识别模型输出的预测识别数据；根据预测识别数据、样本点云数据对应的标注识别数据、以及初始点云识别模型的损失函数，确定点云识别任务下的损失函数值。
其中，损失函数，例如，均方差损失函数、平方损失函数、对数损失函数等，可以根据实际需要进行设定。
在本公开实施例中，电子设备可以针对每个点云识别任务，对该点云识别任务下的点云训练数据进行分批处理，得到多个批次的点云训练子数据。然后，针对多个点云识别任务的一个批次的点云训练子数据，执行步骤102和步骤103；之后，针对多个点云识别任务的下一个批次的点云训练子数据，执行步骤102和步骤103；直至多个批次的点云训练子数据均处理完成。
步骤103，根据多个点云识别任务下的损失函数值，对多个初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型。
在本公开实施例中，电子设备可以根据多个点云识别任务下的损失函数值，确定对多个初始点云识别模型中参数的梯度数据；进而根据梯度数据对多个初始点云识别模型中的参数进行调整处理。
其中，在获取到各个点云识别任务下的点云识别模型后，针对每个点云识别任务，在获取到待识别的点云数据后，可以将待识别的点云数据输入该点云识别任务下的点云识别模型，获取识别结果。例如，以行车场景下可行驶区域识别为例，待识别的点云数据可以为车辆周边的点云数据；识别结果可以为车辆周边可行驶区域的位置、区域大小等。
本公开实施例的模型联合训练方法中，通过获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值；根据多个点云识别任务下的损失函数值，对多个初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型，其中，多个点云识别任务之间的数据耦合性低，方便后续对点云识别任务做更改；且训练时不需要同时加载多个点云识别任务的点云数据，对车辆内存消耗较小，从而加快了模型训练速度，提高了模型训练效率。
图2为本公开另一个实施例的模型联合训练方法的流程图。其中，需要说明的是，本实施例的模型联合训练方法可应用于模型联合训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行模型联合训练功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车辆、车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图2所示，该方法包括以下步骤：
步骤201，获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数。
步骤202，针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值。
步骤203，针对每个点云识别任务，根据点云识别任务下的损失函数值，对点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理。
在本公开实施例中，电子设备执行步骤203的过程例如可以为，针对每个点云识别任务，根据该点云识别任务下的损失函数值以及梯度计算策略，确定该点云识别任务下初始点云识别模型中的特征识别网络的参数梯度数据；根据该参数梯度数据，对该特征识别网络进行参数调整处理。
步骤204，根据多个点云识别任务下的损失函数值，对多个初始点云识别模型中的特征提取网络进行参数调整处理。
在本公开实施例中，电子设备执行步骤204的过程例如可以为，针对每个点云识别任务，根据点云识别任务下的损失函数值以及梯度计算策略，确定点云识别任务下特征提取网络的参数梯度数据；根据多个点云识别任务下特征提取网络的参数梯度数据，确定特征提取网络的总参数梯度数据；根据特征提取网络的总梯度数据，对特征提取网络进行参数调整处理。
其中，电子设备确定特征提取网络的总参数梯度数据的过程例如可以为，对多个点云识别任务下特征提取网络的参数梯度数据进行加和处理，得到特征提取网络的总参数梯度数据。其中，特征提取网络的参数梯度数据中可以包括各个参数的梯度数据；针对每个参数，对多个点云识别任务下该参数的梯度数据进行加和处理，可以得到该参数的总梯度数据；根据特征提取网络中各个参数的总梯度数据，可以确定特征提取网络的总参数梯度数据。
其中，需要说明的是，步骤201至步骤202的详细内容，可以参考图1所示实施例中的步骤101至步骤102，此处不再进行详细说明。
本公开实施例的模型联合训练方法中，通过获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值；针对每个点云识别任务，根据点云识别任务下的损失函数值，对点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理；根据多个点云识别任务下的损失函数值，对多个初始点云识别模型中的特征提取网络进行参数调整处理，其中，多个点云识别任务之间的数据耦合性低，方便后续对点云识别任务做更改；且训练时不需要同时加载多个点云识别任务的点云数据，对车辆内存消耗较小，从而加快了模型训练速度，提高了模型训练效率。
图3为本公开另一个实施例的模型联合训练方法的流程图。其中，需要说明的是，本实施例的模型联合训练方法可应用于模型联合训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行模型联合训练功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车辆、车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图3所示，在图1或者图2所示实施例的基础上，该方法还可以包括以下步骤：
步骤301，获取多个点云识别任务中目标点云识别任务下的新增点云训练数据。
步骤302，获取目标点云识别任务下训练好的目标点云识别模型。
在本公开实施例中，新增点云训练数据，用于对目标点云识别任务下的目标点云识别模型进行进一步优化处理。也就是说，对目标点云识别任务下采用图1或图2所示实施例训练得到的点云识别模型，进行进一步优化处理。
步骤303，根据新增点云训练数据中的新增样本点云数据、新增样本点云数据对应的标注识别数据、目标点云识别模型的损失函数，确定目标点云识别任务下的损失函数值。
在本公开实施例中，电子设备执行步骤303的过程例如可以为，将新增点云训练数据中的新增样本点云数据输入目标点云识别任务下的目标点云识别模型，获取目标点云识别模型输出的预测识别数据；根据预测识别数据、新增样本点云数据对应的标注识别数据、以及目标点云识别模型的损失函数，确定目标点云识别任务下的损失函数值。
步骤304，固定目标点云识别模型中特征提取网络的参数，根据目标点云识别任务下的损失函数值，对目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型。
在本公开实施例中，电子设备执行步骤304的过程例如可以为，根据目标点云识别任务下的损失函数值以及梯度计算策略，确定该目标点云识别模型中特征识别网络的参数梯度数据；固定目标点云识别模型中特征提取网络的参数，并根据特征识别网络的参数梯度数据对特征识别网络进行参数调整处理。
其中，根据新增点云训练数据对目标点云识别模型中的特征识别网络进行进一步优化处理，且固定目标点云识别模型中特征提取网络的参数。也就是说，进一步优化处理中，仅对目标点云识别模型中特征识别网络进行参数调整，而不对目标点云识别模型中特征提取网络进行参数调整；进而在多个特征提取网络共享参数的情况下，避免目标点云识别模型的优化处理，对其他点云识别任务下点云识别模型的影响。
在本公开实施例中，在图1或者图2所示实施例的基础上，步骤103之后，步骤301至步骤304之前或者之后，在点云识别任务存在新增的情况下，电子设备还可以执行以下过程：获取扩展点云识别任务，以及扩展点云识别任务下的扩展点云识别模型以及扩展点云训练数据；其中，扩展点云识别模型中的特征提取网络，与多个点云识别模型中的特征提取网络共享参数；根据扩展点云训练数据中的扩展样本点云数据、扩展样本点云数据对应的标注识别数据、扩展点云识别模型的损失函数，确定扩展点云识别任务下的损失函数值；固定扩展点云识别模型中特征提取网络的参数，根据扩展点云识别任务下的损失函数值，对扩展点云识别模型中的特征识别网络进行参数调整处理，得到扩展点云识别任务下训练好的扩展点云识别模型。
其中，针对扩展点云识别任务，电子设备可以设置扩展点云识别任务对应的配置文件；对该配置文件进行解析，获取配置文件指示的模型结构以及训练相关条件；按照模型结构，创建扩展点云识别任务下的初始点云识别模型；按照训练相关条件，获取点云识别任务下的点云训练数据。
其中，扩展点云识别任务与已有点云识别任务相比，模型结构相同，但训练相关条件所规定的点云训练数据不同，例如，点云训练数据中样本点云数据对应的标注识别数据不同。因此，扩展点云识别任务对应的配置文件的获取过程例如可以为，对已有的点云识别任务对应的配置文件进行训练相关条件的修改，就可以得到扩展点云识别任务对应的配置文件。
相对于背景技术中多个点云识别任务采用同一个模型，对应同一个配置文件的方案来说，在背景技术中，若存在扩展点云识别任务的情况下，需要对配置文件进行修改，在其中增加针对扩展点云识别任务的模型结构配置以及训练相关条件配置，导致配置文件的格式存在更改。对应的，配置文件的解析代码文件也需要修改，使得解析代码文件可以对配置文件进行解析，获取扩展点云识别任务的模型结构配置以及训练相关条件配置，代码改动量大。而本方案中，配置文件的格式不存在更改，因此，解析代码问价不需要更改，降低了人工成本，以及降低了存在扩展点云识别任务时的模型联合训练速度。
本公开实施例的模型联合训练方法中，通过获取多个点云识别任务中目标点云识别任务下的新增点云训练数据；获取目标点云识别任务下训练好的目标点云识别模型；根据新增点云训练数据中的新增样本点云数据、新增样本点云数据对应的标注识别数据、目标点云识别模型的损失函数，确定目标点云识别任务下的损失函数值；固定目标点云识别模型中特征提取网络的参数，根据目标点云识别任务下的损失函数值，对目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型，从而能够在目标点云识别任务下新增点云训练数据时，在不影响其他点云识别任务下点云识别模型的情况下，采用新增点云训练数据对目标点云识别任务下的点云识别模型进行进一步优化处理，提高单个点云识别模型的优化处理效率。
以下举例进行说明。模型联合训练示意图可以如图4所示。在图4中，包括以下步骤：(1)加载第一个点云识别任务的配置文件1(Config-1)和第二个点云识别任务的配置文件2(Config-2)，分别构建二者的点云识别模型(网络结构)和点云训练数据(DataLaoder1和DataLaoder2)。(2)根据配置文件2中配置的共享特征提取网络参数(Shared Backbone)的定义，将Config-2内的Backbone删除，添加一个引用到Config-1的Backbone上，完成Backbone的共享。(3)构建一个共同的优化器(Shared Optimizer)，这个Optimizer内Backbone的参数只有一份，其他参数正常。(4)执行Config-1的forward(将点云训练数据中的样本点云数据输入点云识别模型，获取点云识别模型的输出结果)和backward(损失函数loss-1和loss-2的确定，以及梯度数据的确定)，完成梯度的计算，并释放Config-1的计算图；执行Config-2的forward和backward，完成梯度的计算，并释放Config-2的计算图；Shared Backbone部分的梯度会进行累加。(5)执行Opitmizer.step()进行梯度更新；执行Optimizer.zero_grad()清空梯度，准备下一轮迭代。
其中，部分配置文件，例如，Config-1可以配置专用的特征提取网络(PrivateModule)；进而结合专用的特征提取网络输出的特征信息，以及共享的特征提取网络输出的特征信息，进而特征识别处理。
其中，多个配置文件的格式类似，在存在扩展点云识别任务时，可以套用已有的配置文件的格式；且扩展点云识别任务的配置文件中，也可以通过添加一个引用到Config-1的Backbone的形式，实现特征提取网络的配置；且在扩展点云识别任务的点云识别模型配置好后，由于该点云识别模型中的特征提取网络，共享已有点云识别任务中特征提取网络的参数，不需要重新对该点云识别模型进行训练，只需要结合少量样本点云数据对该点云识别模型进行微调即可。
相对于背景技术中多个点云识别任务采用同一个模型，在存在扩展点云识别任务的情况下，需要对该模型进行修改处理，得到修改后的模型；且需要结合扩展点云识别任务的扩展点云训练数据，以及各个已有点云识别任务的点云训练数据，对修改后的模型重新进行训练，计算量大，训练时间长，而本案中，不需要重新对扩展点云识别任务对应的点云识别模型进行训练，只需要结合少量样本点云数据对该点云识别模型进行微调即可，计算量小，训练时间段。
图5为本公开一个实施例的模型联合训练装置的结构示意图。
如图5所示，该模型联合训练装置可以包括：第一获取模块501、第一确定模块502和参数调整模块503。
其中，第一获取模块501，用于获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个所述初始点云识别模型中的特征提取网络共享参数；
第一确定模块502，用于针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值；
参数调整模块503，用于根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型。
在本公开的一个实施例中，所述第一获取模块501具体用于，获取多个点云识别任务，以及所述点云识别任务对应的配置文件；所述配置文件用于指示模型结构以及训练相关条件；多个所述配置文件中指示的模型结构引用同一个特征提取网络；针对每个点云识别任务，解析所述点云识别任务对应的配置文件，获取所述配置文件指示的模型结构以及训练相关条件；按照所述模型结构，创建所述点云识别任务下的初始点云识别模型；按照所述训练相关条件，获取所述点云识别任务下的点云训练数据。
在本公开的一个实施例中，所述第一确定模块502具体用于，针对每个点云识别任务，将所述点云识别任务下的样本点云数据输入所述点云识别任务下的初始点云识别模型，获取所述初始点云识别模型输出的预测识别数据；根据所述预测识别数据、所述样本点云数据对应的标注识别数据、以及所述初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值。
在本公开的一个实施例中，所述参数调整模块503包括：第一调整单元和第二调整单元；所述第一调整单元，用于针对每个点云识别任务，根据所述点云识别任务下的损失函数值，对所述点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理；所述第二调整单元，用于根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理。
在本公开的一个实施例中，所述第二调整单元具体用于，针对每个点云识别任务，根据所述点云识别任务下的损失函数值以及梯度计算策略，确定所述点云识别任务下所述特征提取网络的参数梯度数据；根据多个所述点云识别任务下所述特征提取网络的参数梯度数据，确定所述特征提取网络的总参数梯度数据；根据所述特征提取网络的总梯度数据，对所述特征提取网络进行参数调整处理。
在本公开的一个实施例中，所述装置还包括：第二获取模块、第三获取模块和第二确定模块；所述第二获取模块，用于获取多个所述点云识别任务中目标点云识别任务下的新增点云训练数据；所述第三获取模块，用于获取所述目标点云识别任务下训练好的目标点云识别模型；所述第二确定模块，用于根据所述新增点云训练数据中的新增样本点云数据、所述新增样本点云数据对应的标注识别数据、所述目标点云识别模型的损失函数，确定所述目标点云识别任务下的损失函数值；所述参数调整模块503，还用于固定所述目标点云识别模型中特征提取网络的参数，根据所述目标点云识别任务下的损失函数值，对所述目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型。
在本公开的一个实施例中，所述装置还包括：第四获取模块和第三确定模块；所述第四获取模块，用于获取扩展点云识别任务，以及所述扩展点云识别任务下的扩展点云识别模型以及扩展点云训练数据；其中，所述扩展点云识别模型中的特征提取网络，与多个所述点云识别模型中的特征提取网络共享参数；所述第三确定模块，用于根据所述扩展点云训练数据中的扩展样本点云数据、所述扩展样本点云数据对应的标注识别数据、所述扩展点云识别模型的损失函数，确定所述扩展点云识别任务下的损失函数值；所述参数调整模块503，还用于固定所述扩展点云识别模型中特征提取网络的参数，根据所述扩展点云识别任务下的损失函数值，对所述扩展点云识别模型中的特征识别网络进行参数调整处理，得到所述扩展点云识别任务下训练好的扩展点云识别模型。
在本公开的一个实施例中，所述点云识别任务包括以下至少一种：行车场景下车辆识别、行车场景下可行驶区域识别、泊车场景下车辆识别、泊车场景下可行驶区域识别。
本公开实施例的模型联合训练装置中，通过获取多个点云识别任务，以及点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个初始点云识别模型中的特征提取网络共享参数；针对每个点云识别任务，根据点云识别任务下点云训练数据中的样本点云数据、样本点云数据对应的标注识别数据、点云识别任务下初始点云识别模型的损失函数，确定点云识别任务下的损失函数值；根据多个点云识别任务下的损失函数值，对多个初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型，其中，多个点云识别任务之间的数据耦合性低，方便后续对点云识别任务做更改；且训练时不需要同时加载多个点云识别任务的点云数据，对车辆内存消耗较小，从而加快了模型训练速度，提高了模型训练效率。
根据本公开实施例的第三方面，还提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器被配置为：实现如上所述的模型联合训练方法。
为了实现上述实施例，本公开还提出了一种存储介质。
其中，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如上所述的模型联合训练方法。
为了实现上述实施例，本公开还提供一种计算机程序产品。
其中，该计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行如上的方法。
图6为根据本公开一示例性实施例示出的一种车辆600的结构框图。例如，车辆600可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图6，车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中，车辆600还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统，娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器，用于感测车辆600周边的环境的信息。例如，感知系统620可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652，处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(Field ProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
除了指令653以外，存储器652还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中，处理器651可以执行指令653，以完成上述的模型联合训练方法的全部或部分步骤。
此外，在本文中使用词语“示例性的”以表示充当示例、实例、示图。在本文中被描述为“示例性的”任何方面或设计都不一定理解为与其他方面或设计相比是有利的。相反，使用词语示例性的旨在以具体的方式呈现概念。如在本文中所使用的，术语“或”旨在表示包括性的“或”而不是排他性的“或”。即，除非另外指定，或者从上下文中清楚，否则“X应用A或B”旨在表示自然的包括性排列中的任何一种排列。即，如果X应用A；X应用B；或者X应用A和B两者，则“X应用A或B”在前述实例中的任何一个实例下都满足。另外，除非另外指定或者从上下文中清楚指向单数形式，否则如在该申请和所附权利要求中所使用的冠词“一”和“一个”通常被理解为表示“一个或多个”。
同样，尽管已经关于一个或多个实现示出并描述了本公开，但是在阅读并理解了该说明书和附图之后，本领域技术人员将想到等同的变型和修改。本公开包括所有这样的修改和变型，并且仅由权利要求的范围来限制。特别关于由上文所描述的组件(例如，元件、资源等)执行的各种功能，除非另外指出，否则用于描述这样的组件的术语旨在对应于执行所描述的组件的具体功能的任何组件(功能上等价的)，即使结构上不等价于所公开的结构。另外，尽管可以已经关于几个实现中的仅仅一个而公开了本公开的特定的特征，但是如可以是期望的并且有利于任何给定的或特定的应用的那样，这样的特征可以与其它实现的一个或多个其它特征相结合。此外，就在具体实施方式或者权利要求中所使用的“包括”、“拥有”、“具有”、“有”、或其变型而言，这样的术语旨在作为类似于术语“包含”的方式是包括性的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种模型联合训练方法，其特征在于，所述方法包括：
获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个所述初始点云识别模型中的特征提取网络共享参数，所述点云识别任务包括以下至少一种：行车场景下车辆识别、行车场景下可行驶区域识别、泊车场景下车辆识别、泊车场景下可行驶区域识别；
针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值；
根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型；
所述获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据，包括：
获取多个点云识别任务，以及所述点云识别任务对应的配置文件；所述配置文件用于指示模型结构以及训练相关条件；多个所述配置文件中指示的模型结构引用同一个特征提取网络；
针对每个点云识别任务，解析所述点云识别任务对应的配置文件，获取所述配置文件指示的模型结构以及训练相关条件；
按照所述模型结构，创建所述点云识别任务下的初始点云识别模型；
按照所述训练相关条件，获取所述点云识别任务下的点云训练数据；
所述训练方法还包括：
加载第一个点云识别任务的配置文件和第二个点云识别任务的配置文件，分别构建二者的点云识别模型和点云训练数据；
根据所述第二个点云识别任务的配置文件中配置的共享特征提取网络参数的定义，将所述第二个点云识别任务的配置文件内的网络参数删除，添加一个引用到第一个点云识别任务的配置文件的网络参数上，完成网络参数的共享；
构建一个共同的优化器，执行所述第一个点云识别任务的配置文件的前向反馈和后向反馈，完成梯度的计算，并释放所述第一个点云识别任务的配置文件的计算图；
执行所述第二个点云识别任务的配置文件的前向反馈和后向反馈，完成梯度的计算，并释放所述第二个点云识别任务的配置文件的计算图；
进行梯度更新；
清空梯度，准备下一轮迭代。
2.根据权利要求1所述的方法，其特征在于，所述针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值，包括：
针对每个点云识别任务，将所述点云识别任务下的样本点云数据输入所述点云识别任务下的初始点云识别模型，获取所述初始点云识别模型输出的预测识别数据；
根据所述预测识别数据、所述样本点云数据对应的标注识别数据、以及所述初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值。
3.根据权利要求1所述的方法，其特征在于，所述根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型，包括：
针对每个点云识别任务，根据所述点云识别任务下的损失函数值，对所述点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理；
根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理。
4.根据权利要求3所述的方法，其特征在于，所述根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理，包括：
针对每个点云识别任务，根据所述点云识别任务下的损失函数值以及梯度计算策略，确定所述点云识别任务下所述特征提取网络的参数梯度数据；
根据多个所述点云识别任务下所述特征提取网络的参数梯度数据，确定所述特征提取网络的总参数梯度数据；
根据所述特征提取网络的总梯度数据，对所述特征提取网络进行参数调整处理。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个所述点云识别任务中目标点云识别任务下的新增点云训练数据；
获取所述目标点云识别任务下训练好的目标点云识别模型；
根据所述新增点云训练数据中的新增样本点云数据、所述新增样本点云数据对应的标注识别数据、所述目标点云识别模型的损失函数，确定所述目标点云识别任务下的损失函数值；
固定所述目标点云识别模型中特征提取网络的参数，根据所述目标点云识别任务下的损失函数值，对所述目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取扩展点云识别任务，以及所述扩展点云识别任务下的扩展点云识别模型以及扩展点云训练数据；其中，所述扩展点云识别模型中的特征提取网络，与多个所述点云识别模型中的特征提取网络共享参数；
根据所述扩展点云训练数据中的扩展样本点云数据、所述扩展样本点云数据对应的标注识别数据、所述扩展点云识别模型的损失函数，确定所述扩展点云识别任务下的损失函数值；
固定所述扩展点云识别模型中特征提取网络的参数，根据所述扩展点云识别任务下的损失函数值，对所述扩展点云识别模型中的特征识别网络进行参数调整处理，得到所述扩展点云识别任务下训练好的扩展点云识别模型。
7.一种模型联合训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取多个点云识别任务，以及所述点云识别任务下的初始点云识别模型以及点云训练数据；其中，多个所述初始点云识别模型中的特征提取网络共享参数，所述点云识别任务包括以下至少一种：行车场景下车辆识别、行车场景下可行驶区域识别、泊车场景下车辆识别、泊车场景下可行驶区域识别；
第一确定模块，用于针对每个点云识别任务，根据所述点云识别任务下点云训练数据中的样本点云数据、所述样本点云数据对应的标注识别数据、所述点云识别任务下初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值；
参数调整模块，用于根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型进行参数调整处理，得到训练好的多个点云识别模型；
所述第一获取模块具体用于，
获取多个点云识别任务，以及所述点云识别任务对应的配置文件；所述配置文件用于指示模型结构以及训练相关条件；多个所述配置文件中指示的模型结构引用同一个特征提取网络；
针对每个点云识别任务，解析所述点云识别任务对应的配置文件，获取所述配置文件指示的模型结构以及训练相关条件；
按照所述模型结构，创建所述点云识别任务下的初始点云识别模型；
按照所述训练相关条件，获取所述点云识别任务下的点云训练数据；
所述训练装置还用于：
加载第一个点云识别任务的配置文件和第二个点云识别任务的配置文件，分别构建二者的点云识别模型和点云训练数据；
根据所述第二个点云识别任务的配置文件中配置的共享特征提取网络参数的定义，将所述第二个点云识别任务的配置文件内的网络参数删除，添加一个引用到第一个点云识别任务的配置文件的网络参数上，完成网络参数的共享；
构建一个共同的优化器，执行所述第一个点云识别任务的配置文件的前向反馈和后向反馈，完成梯度的计算，并释放所述第一个点云识别任务的配置文件的计算图；
执行所述第二个点云识别任务的配置文件的前向反馈和后向反馈，完成梯度的计算，并释放所述第二个点云识别任务的配置文件的计算图；
进行梯度更新；
清空梯度，准备下一轮迭代。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块具体用于，
针对每个点云识别任务，将所述点云识别任务下的样本点云数据输入所述点云识别任务下的初始点云识别模型，获取所述初始点云识别模型输出的预测识别数据；
根据所述预测识别数据、所述样本点云数据对应的标注识别数据、以及所述初始点云识别模型的损失函数，确定所述点云识别任务下的损失函数值。
9.根据权利要求7所述的装置，其特征在于，所述参数调整模块包括：第一调整单元和第二调整单元；
所述第一调整单元，用于针对每个点云识别任务，根据所述点云识别任务下的损失函数值，对所述点云识别任务下的初始点云识别模型中的特征识别网络进行参数调整处理；
所述第二调整单元，用于根据多个所述点云识别任务下的损失函数值，对多个所述初始点云识别模型中的特征提取网络进行参数调整处理。
10.根据权利要求9所述的装置，其特征在于，所述第二调整单元具体用于，
针对每个点云识别任务，根据所述点云识别任务下的损失函数值以及梯度计算策略，确定所述点云识别任务下所述特征提取网络的参数梯度数据；
根据多个所述点云识别任务下所述特征提取网络的参数梯度数据，确定所述特征提取网络的总参数梯度数据；
根据所述特征提取网络的总梯度数据，对所述特征提取网络进行参数调整处理。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二获取模块、第三获取模块和第二确定模块；
所述第二获取模块，用于获取多个所述点云识别任务中目标点云识别任务下的新增点云训练数据；
所述第三获取模块，用于获取所述目标点云识别任务下训练好的目标点云识别模型；
所述第二确定模块，用于根据所述新增点云训练数据中的新增样本点云数据、所述新增样本点云数据对应的标注识别数据、所述目标点云识别模型的损失函数，确定所述目标点云识别任务下的损失函数值；
所述参数调整模块，还用于固定所述目标点云识别模型中特征提取网络的参数，根据所述目标点云识别任务下的损失函数值，对所述目标点云识别模型中的特征识别网络进行参数调整处理，得到重新训练好的目标点云识别模型。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：第四获取模块和第三确定模块；
所述第四获取模块，用于获取扩展点云识别任务，以及所述扩展点云识别任务下的扩展点云识别模型以及扩展点云训练数据；其中，所述扩展点云识别模型中的特征提取网络，与多个所述点云识别模型中的特征提取网络共享参数；
所述第三确定模块，用于根据所述扩展点云训练数据中的扩展样本点云数据、所述扩展样本点云数据对应的标注识别数据、所述扩展点云识别模型的损失函数，确定所述扩展点云识别任务下的损失函数值；
所述参数调整模块，还用于固定所述扩展点云识别模型中特征提取网络的参数，根据所述扩展点云识别任务下的损失函数值，对所述扩展点云识别模型中的特征识别网络进行参数调整处理，得到所述扩展点云识别任务下训练好的扩展点云识别模型。
13.一种车辆，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现如权利要求1至6中任一项所述的模型联合训练方法的步骤。
14.一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如权利要求1至6中任一项所述的模型联合训练方法。
CN202310288133.2A 2023-03-22 2023-03-22 模型联合训练方法、装置及车辆 Active CN116385825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310288133.2A CN116385825B (zh) 2023-03-22 2023-03-22 模型联合训练方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310288133.2A CN116385825B (zh) 2023-03-22 2023-03-22 模型联合训练方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN116385825A CN116385825A (zh) 2023-07-04
CN116385825B true CN116385825B (zh) 2024-04-30

Family

ID=86964002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310288133.2A Active CN116385825B (zh) 2023-03-22 2023-03-22 模型联合训练方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN116385825B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569901A (zh) * 2019-09-05 2019-12-13 北京工业大学 一种基于通道选择的对抗消除弱监督目标检测方法
CN112596868A (zh) * 2020-11-27 2021-04-02 出门问问(武汉)信息科技有限公司 模型训练方法及装置
CN113269038A (zh) * 2021-04-19 2021-08-17 南京邮电大学 一种基于多尺度的行人检测方法
CN114139696A (zh) * 2020-09-03 2022-03-04 顺丰科技有限公司 基于算法集成平台的模型处理方法、装置和计算机设备
CN114463586A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 图像识别模型的训练与图像识别方法、装置、设备和介质
CN114550260A (zh) * 2022-02-24 2022-05-27 西安交通大学 一种基于对抗数据增强的三维人脸点云识别方法
WO2022123402A1 (en) * 2020-12-11 2022-06-16 3M Innovative Properties Company Automated processing of dental scans using geometric deep learning
CN114640669A (zh) * 2020-11-30 2022-06-17 中国移动通信有限公司研究院 边缘计算方法及装置
CN114882464A (zh) * 2022-05-31 2022-08-09 小米汽车科技有限公司 多任务模型训练方法、多任务处理方法、装置及车辆
CN114926726A (zh) * 2022-07-20 2022-08-19 陕西欧卡电子智能科技有限公司 基于多任务网络的无人船感知方法及相关设备
CN115294539A (zh) * 2022-05-26 2022-11-04 上海仙途智能科技有限公司 多任务检测方法及装置、存储介质、终端
CN115346177A (zh) * 2022-08-15 2022-11-15 西京学院 一种新的路侧视角下目标检测系统及方法
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备
CN115410042A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件的分类方法、装置、计算机可读介质及电子设备
CN115512175A (zh) * 2022-08-12 2022-12-23 北京亮道智能汽车技术有限公司 模型训练、点云数据处理方法、装置、设备及存储介质
WO2023004572A1 (zh) * 2021-07-27 2023-02-02 京东方科技集团股份有限公司 模型训练方法、信号识别方法、装置、计算处理设备、计算机程序及计算机可读介质
CN115761667A (zh) * 2022-11-07 2023-03-07 东南大学 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003459A1 (en) * 2009-07-10 2011-01-13 Nokia Siemens Networks Oy Method and device for conveying traffic in a network
US10838828B2 (en) * 2017-07-25 2020-11-17 Hubstor Inc. Methods and systems relating to network based storage

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569901A (zh) * 2019-09-05 2019-12-13 北京工业大学 一种基于通道选择的对抗消除弱监督目标检测方法
CN114139696A (zh) * 2020-09-03 2022-03-04 顺丰科技有限公司 基于算法集成平台的模型处理方法、装置和计算机设备
CN112596868A (zh) * 2020-11-27 2021-04-02 出门问问(武汉)信息科技有限公司 模型训练方法及装置
CN114640669A (zh) * 2020-11-30 2022-06-17 中国移动通信有限公司研究院 边缘计算方法及装置
WO2022123402A1 (en) * 2020-12-11 2022-06-16 3M Innovative Properties Company Automated processing of dental scans using geometric deep learning
CN113269038A (zh) * 2021-04-19 2021-08-17 南京邮电大学 一种基于多尺度的行人检测方法
WO2023004572A1 (zh) * 2021-07-27 2023-02-02 京东方科技集团股份有限公司 模型训练方法、信号识别方法、装置、计算处理设备、计算机程序及计算机可读介质
CN114463586A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 图像识别模型的训练与图像识别方法、装置、设备和介质
CN114550260A (zh) * 2022-02-24 2022-05-27 西安交通大学 一种基于对抗数据增强的三维人脸点云识别方法
CN115294539A (zh) * 2022-05-26 2022-11-04 上海仙途智能科技有限公司 多任务检测方法及装置、存储介质、终端
CN114882464A (zh) * 2022-05-31 2022-08-09 小米汽车科技有限公司 多任务模型训练方法、多任务处理方法、装置及车辆
CN114926726A (zh) * 2022-07-20 2022-08-19 陕西欧卡电子智能科技有限公司 基于多任务网络的无人船感知方法及相关设备
CN115512175A (zh) * 2022-08-12 2022-12-23 北京亮道智能汽车技术有限公司 模型训练、点云数据处理方法、装置、设备及存储介质
CN115346177A (zh) * 2022-08-15 2022-11-15 西京学院 一种新的路侧视角下目标检测系统及方法
CN115410042A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件的分类方法、装置、计算机可读介质及电子设备
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备
CN115761667A (zh) * 2022-11-07 2023-03-07 东南大学 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法

Also Published As

Publication number Publication date
CN116385825A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109540142B (zh) 一种机器人定位导航的方法、装置、计算设备
EP3875907A1 (en) Method, apparatus, computing device and computer-readable storage medium for positioning
US20220214182A1 (en) Method, system, terminal, and storage medium for rapid generation of reference lines
CN111461981B (zh) 点云拼接算法的误差估计方法和装置
CN111680747B (zh) 用于占据栅格子图的闭环检测的方法和装置
CN113639745B (zh) 一种点云地图的构建方法、装置及存储介质
CN113189989B (zh) 车辆意图预测方法、装置、设备及存储介质
KR20210111181A (ko) 환경 변화를 검출하기 위한 방법, 장치, 기기 및 매체
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
CN116385825B (zh) 模型联合训练方法、装置及车辆
CN112622923B (zh) 用于控制车辆的方法和装置
US20220244068A1 (en) Dynamic map generation with focus on construction and localization field of technology
CN112394918B (zh) 一种自动驾驶应用的开发方法及处理方法、系统
CN115223015A (zh) 模型训练方法、图像处理方法、装置和车辆
CN115619954A (zh) 稀疏语义地图的构建方法、装置、设备及存储介质
CN113011676A (zh) 路线确定方法、装置、系统、非易失性存储介质及处理器
CN115471513B (zh) 点云分割方法及装置
CN116626670B (zh) 自动驾驶模型的生成方法、装置、车辆及存储介质
CN117128976B (zh) 道路中心线的获取方法、装置、车辆和存储介质
CN116363631B (zh) 三维目标检测方法、装置及车辆
CN113879338B (zh) 一种行驶规划模块优化方法、装置、设备和介质
CN117197765A (zh) 图像识别方法、装置、电子设备及介质
CN113947774B (zh) 一种轻量级的车辆目标检测系统
CN116164758B (zh) 高精度点云地图的更新方法、装置、介质、设备及系统
CN114842458B (zh) 障碍物检测方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant