CN115223015A - 模型训练方法、图像处理方法、装置和车辆 - Google Patents
模型训练方法、图像处理方法、装置和车辆 Download PDFInfo
- Publication number
- CN115223015A CN115223015A CN202211129728.5A CN202211129728A CN115223015A CN 115223015 A CN115223015 A CN 115223015A CN 202211129728 A CN202211129728 A CN 202211129728A CN 115223015 A CN115223015 A CN 115223015A
- Authority
- CN
- China
- Prior art keywords
- network layer
- model
- shared
- target
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 311
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 91
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 238000013145 classification model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种模型训练方法、图像处理方法、装置和车辆，属于自动驾驶、图像处理技术领域。其中，该方法包括：获取初始模型；基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层；基于共享候选网络层、第一候选网络层和第二候选网络层，生成目标模型。由此，可对共享初始网络层和第一初始网络层进行图像分割任务的训练，并对第二初始网络层进行图像分类任务的训练，先进行图像分割任务的训练，有助于提升图像分类任务的训练速度和精度，即提高了模型训练效果。
Description
技术领域
本公开涉及自动驾驶、图像处理技术领域，尤其涉及一种模型训练方法、图像处理方法、装置、车辆和存储介质。
背景技术
目前，随着人工智能技术的不断发展，模型在图像分类领域得到了广泛应用，具有自动化程度高、人工成本低等优点。比如，可将图像输入图像分类模型中，由图像分类模型输出图像的类别、图像中的每个实体的类别等。然而，相关技术中的图像分类模型，存在训练速度慢、精度低的问题。
发明内容
本公开提供一种模型训练方法、图像处理方法、装置、车辆、计算机可读存储介质，以至少解决相关技术中图像分类模型存在训练速度慢、精度低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种模型训练方法，包括：获取初始模型，其中，所述初始模型包括共享初始网络层、第一初始网络层和第二初始网络层；基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层；基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型。
在本公开的一个实施例中，所述基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型，包括：基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层；对所述共享目标网络层、所述第一目标网络层和所述第二目标网络层进行组合，得到所述目标模型。
在本公开的一个实施例中，所述基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层，包括：基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果；基于所述第一前向计算结果和所述第二前向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行反向计算，得到反向计算结果；基于所述反向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层的模型参数进行更新，以得到所述共享目标网络层、所述第一目标网络层和所述第二目标网络层。
在本公开的一个实施例中，所述基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果，包括：基于m个第三训练样本，对所述共享候选网络层和所述第一候选网络层进行m次前向计算，得到所述第一前向计算结果，其中，m为正整数；基于n个第四训练样本，对所述共享候选网络层和所述第二候选网络层进行n次前向计算，得到所述第二前向计算结果，其中，n为正整数。
在本公开的一个实施例中，所述共享目标网络层的输入端为所述目标模型的输入端，所述共享目标网络层的输出端分别与所述第一目标网络层、所述第二目标网络层的输入端连接，所述第一目标网络层、所述第二目标网络层的输出端为所述目标模型的输出端。
在本公开的一个实施例中，所述基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，包括：对所述共享初始网络层和所述第一初始网络层进行组合，得到第一模型；将所述第一训练样本输入所述第一模型中，获取所述第一模型的第一输出；基于所述第一训练样本的标签和所述第一输出，对所述第一模型进行训练，得到第二模型，其中，所述第二模型包括所述共享候选网络层和所述第一候选网络层。
在本公开的一个实施例中，所述基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层，包括：对所述共享候选网络层和所述第二初始网络层进行组合，得到第三模型；将所述第二训练样本输入所述第三模型中，获取所述第三模型的第二输出；基于所述第二训练样本的标签和所述第二输出，对所述第三模型中的所述第二初始网络层进行训练，得到所述第二候选网络层。
在本公开的一个实施例中，所述图像分割任务包括实体分割任务，所述图像分类任务包括可行驶区域检测任务。
根据本公开实施例的第二方面，提供一种图像处理方法，包括：获取待处理图像；将所述待处理图像输入目标模型中，由所述目标模型输出所述待处理图像的处理结果，其中，所述目标模型采用如本公开实施例第一方面所述的模型训练方法得到。
在本公开的一个实施例中，所述目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，所述由所述目标模型输出所述待处理图像的处理结果，包括：由所述第一目标网络层输出所述待处理图像中的实体分割区域；和/或，由所述第二目标网络层输出所述待处理图像中的可行驶区域。
根据本公开实施例的第三方面，提供一种模型训练装置，包括：获取模块，被配置为执行获取初始模型，其中，所述初始模型包括共享初始网络层、第一初始网络层和第二初始网络层；第一训练模块，被配置为执行基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；第二训练模块，被配置为执行基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层；生成模块，被配置为执行基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型。
在本公开的一个实施例中，所述生成模块，还被配置为执行：基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层；对所述共享目标网络层、所述第一目标网络层和所述第二目标网络层进行组合，得到所述目标模型。
在本公开的一个实施例中，所述生成模块，还被配置为执行：基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果；基于所述第一前向计算结果和所述第二前向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行反向计算，得到反向计算结果；基于所述反向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层的模型参数进行更新，以得到所述共享目标网络层、所述第一目标网络层和所述第二目标网络层。
在本公开的一个实施例中，所述生成模块，还被配置为执行：基于m个第三训练样本，对所述共享候选网络层和所述第一候选网络层进行m次前向计算，得到所述第一前向计算结果，其中，m为正整数；基于n个第四训练样本，对所述共享候选网络层和所述第二候选网络层进行n次前向计算，得到所述第二前向计算结果，其中，n为正整数。
在本公开的一个实施例中，所述共享目标网络层的输入端为所述目标模型的输入端，所述共享目标网络层的输出端分别与所述第一目标网络层、所述第二目标网络层的输入端连接，所述第一目标网络层、所述第二目标网络层的输出端为所述目标模型的输出端。
在本公开的一个实施例中，所述第一训练模块，还被配置为执行：对所述共享初始网络层和所述第一初始网络层进行组合，得到第一模型；将所述第一训练样本输入所述第一模型中，获取所述第一模型的第一输出；基于所述第一训练样本的标签和所述第一输出，对所述第一模型进行训练，得到第二模型，其中，所述第二模型包括所述共享候选网络层和所述第一候选网络层。
在本公开的一个实施例中，所述第二训练模块，还被配置为执行：对所述共享候选网络层和所述第二初始网络层进行组合，得到第三模型；将所述第二训练样本输入所述第三模型中，获取所述第三模型的第二输出；基于所述第二训练样本的标签和所述第二输出，对所述第三模型中的所述第二初始网络层进行训练，得到所述第二候选网络层。
在本公开的一个实施例中，所述图像分割任务包括实体分割任务，所述图像分类任务包括可行驶区域检测任务。
根据本公开实施例的第四方面，提供一种图像处理装置，包括：获取模块，被配置为执行获取待处理图像；处理模块，被配置为执行将所述待处理图像输入目标模型中，由所述目标模型输出所述待处理图像的处理结果，其中，所述目标模型采用如权利要求1-8中任一项所述的模型训练方法得到。
在本公开的一个实施例中，所述目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，所述由所述目标模型输出所述待处理图像的处理结果，包括：由所述第一目标网络层输出所述待处理图像中的实体分割区域；和/或，由所述第二目标网络层输出所述待处理图像中的可行驶区域。
根据本公开实施例的第五方面，提供一种车辆，包括处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现本公开实施例第一方面、第二方面所述方法的步骤。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开实施例第一方面、第二方面所述方法的步骤。
本公开的实施例提供的技术方案至少带来以下有益效果：获取初始模型，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型。由此，可对共享初始网络层和第一初始网络层进行图像分割任务的训练，并对第二初始网络层进行图像分类任务的训练，图像分割任务的训练难度往往高于图像分类任务的训练难度，先进行图像分割任务的训练，有助于提升图像分类任务的训练速度和精度，适用于提升可行驶区域检测任务的训练速度和精度，即提高了模型训练效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种模型训练方法的流程图。
图2是根据另一示例性实施例示出的一种模型训练方法的流程图。
图3为根据一示例性实施例示出的一种模型训练方法中对共享候选网络层、第一候选网络层和第二候选网络层进行训练的流程图。
图4为根据一示例性实施例示出的一种图像处理方法的示意图。
图5是根据一示例性实施例示出的一种模型训练装置的框图。
图6是根据一示例性实施例示出的一种图像处理装置的框图。
图7是根据一示例性实施例示出的一种车辆的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种模型训练方法的流程图，如图1所示，本公开实施例的模型训练方法，包括以下步骤。
S101，获取初始模型，其中，初始模型包括共享初始网络层、第一初始网络层和第二初始网络层。
需要说明的是，本公开实施例的模型训练方法的执行主体为电子设备，电子设备包括手机、笔记本、台式电脑、车载终端、智能家电等。本公开实施例的模型训练方法可以由本公开实施例的模型训练装置执行，本公开实施例的模型训练装置可以配置在任意电子设备中，以执行本公开实施例的模型训练方法。
需要说明的是，初始模型为多任务模型，对多任务模型的任务、任务数量均不做过多限定，比如，初始模型可为二任务模型、三任务模型等。应说明的是，初始模型对应的任务至少包括图像分割任务、图像分类任务。对图像分割任务、图像分类任务均不做过多限定，比如，图像分割任务可包括实体分割任务，图像分类任务可包括可行驶区域检测任务。实体分割任务指的是获取图像中的实体分割区域，比如，每个实体分割区域对应一个实体，可行驶区域检测任务指的是获取图像中的可行驶区域，比如，可行驶区域可包括道路。
可以理解的是，图像分割任务与图像分类任务之间的相似度较高，图像分割任务的训练难度往往高于图像分类任务的训练难度。
本公开的实施例中，初始模型包括共享初始网络层、第一初始网络层和第二初始网络层，应说明的是，共享初始网络层指的是多个任务共享的初始网络层，比如，共享初始网络层指的是图像分割任务、图像分类任务共享的初始网络层，第一初始网络层指的是图像分割任务私有的初始网络层，第二初始网络层指的是图像分类任务私有的初始网络层，比如，第一初始网络层指的是实体分割任务私有的初始网络层，第二初始网络层指的是可行驶区域检测任务私有的初始网络层。可以理解的是，共享初始网络层、第一初始网络层和第二初始网络层均包括至少一个网络层，对共享初始网络层、第一初始网络层和第二初始网络层的网络结构均不做过多限定。
需要说明的是，对共享初始网络层、第一初始网络层和第二初始网络层之间的连接关系不做过多限定。比如，共享初始网络层分别与第一初始网络层和第二初始网络层连接。比如，共享初始网络层的输入端为初始模型的输入端，共享初始网络层的输出端分别与第一初始网络层、第二初始网络层的输入端连接，第一初始网络层、第二初始网络层的输出端为初始模型的输出端。
S102，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层。
需要说明的是，图像分割任务的相关内容可参见上述实施例，这里不再赘述。
需要说明的是，对第一训练样本不做过多限定，比如，第一训练样本包括样本图像，比如，第一训练样本具有标签，标签可包括样本图像的参考分割区域，以图像分割任务为实体分割任务为例，第一训练样本包括样本图像，第一训练样本的标签包括样本图像的参考实体分割区域。
需要说明的是，共享候选网络层指的是共享初始网络层在本次训练后的网络层，第一候选网络层指的是第一初始网络层在本次训练后的网络层。基于第一训练样本，对共享初始网络层和第一初始网络层进行训练的过程中，固定第二初始网络层的模型参数不变，即不更新第二初始网络层的模型参数。
在一种实施方式中，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，包括基于第一训练样本，对共享初始网络层和第一初始网络层进行前向计算，得到前向计算结果，基于上述前向计算结果，对共享初始网络层和第一初始网络层进行反向计算，得到反向计算结果，基于上述反向计算结果，对共享初始网络层和第一初始网络层的模型参数进行更新，得到共享候选网络层和第一候选网络层。应说明的是，对前向计算、反向计算的方式不做过多限定。
在一种实施方式中，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，包括对共享初始网络层和第一初始网络层进行组合，得到第一模型，将第一训练样本输入第一模型中，获取第一模型的第一输出，基于第一训练样本的标签和第一输出，对第一模型进行训练，得到第二模型，其中，第二模型包括共享候选网络层和第一候选网络层。
需要说明的是，对共享初始网络层和第一初始网络层进行组合的方式不做过多限定，比如，共享初始网络层为第一模型的输入层，第一初始网络层为共享初始网络层的下一网络层，即第一初始网络层为第一模型的输出层。
在一种实施方式中，基于第一训练样本的标签和第一输出，对第一模型进行训练，得到第二模型，包括基于第一训练样本的标签和第一输出，得到第一模型的损失函数，基于第一模型的损失函数，对第一模型的模型参数进行更新，以得到第二模型。应说明的是，对损失函数的类别不做过多限定，比如，损失函数包括但不限于CE（Cross Entropy，交叉熵）、BCE（Binary Cross Entropy，二值交叉熵）等。
S103，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层。
需要说明的是，图像分类任务的相关内容可参见上述实施例，这里不再赘述。
需要说明的是，对第二训练样本不做过多限定，比如，第二训练样本包括样本图像，比如，第二训练样本具有标签，标签可包括样本图像的参考分类结果，参考分类结果包括但不限于样本图像的参考总类别、样本图像中的像素点的参考子类别等，以图像分类任务为可行驶区域检测任务为例，第二训练样本包括样本图像，第二训练样本的标签包括样本图像的参考可行驶区域。
需要说明的是，第二候选网络层指的是第二初始网络层在本次训练后的网络层，基于第二训练样本，对第二初始网络层进行训练的过程中，固定共享候选网络层和第一候选网络层的模型参数不变，即不更新共享候选网络层和第一候选网络层的模型参数。
在一种实施方式中，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，包括基于第二训练样本，对第二初始网络层进行前向计算，得到前向计算结果，基于上述前向计算结果，对第二初始网络层进行反向计算，得到反向计算结果，基于上述反向计算结果，对第二初始网络层的模型参数进行更新，得到第二候选网络层。
在一种实施方式中，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，包括对共享候选网络层和第二初始网络层进行组合，得到第三模型，将第二训练样本输入第三模型中，获取第三模型的第二输出，基于第二训练样本的标签和第二输出，对第三模型中的第二初始网络层进行训练，得到第二候选网络层。
需要说明的是，对共享候选网络层和第二初始网络层进行组合的方式不做过多限定，比如，共享候选网络层为第三模型的输入层，第二初始网络层为共享候选网络层的下一网络层，即第二初始网络层为第三模型的输出层。
在一种实施方式中，基于第二训练样本的标签和第二输出，对第三模型中的第二初始网络层进行训练，得到第二候选网络层，包括基于第二训练样本的标签和第二输出，得到第二初始网络层的损失函数，基于第二初始网络层的损失函数，对第二初始网络层的模型参数进行更新，以得到第二候选网络层。
S104，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型。
需要说明的是，目标模型为多任务模型，目标模型对应的任务至少包括图像分割任务、图像分类任务。
在一种实施方式中，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型，包括将共享候选网络层、第一候选网络层和第二候选网络层进行组合，得到目标模型。
需要说明的是，对共享候选网络层、第一候选网络层和第二候选网络层进行组合的方式不做过多限定，比如，共享候选网络层为目标模型的输入层，第一候选网络层、第二候选网络层分别为共享候选网络层的下一网络层，即第一候选网络层、第二候选网络层为目标模型的输出层。
在一种实施方式中，共享候选网络层的输入端为目标模型的输入端，共享候选网络层的输出端分别与第一候选网络层、第二候选网络层的输入端连接，第一候选网络层、第二候选网络层的输出端为目标模型的输出端。
本公开的实施例提供的模型训练方法，获取初始模型，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型。由此，可对共享初始网络层和第一初始网络层进行图像分割任务的训练，并对第二初始网络层进行图像分类任务的训练，图像分割任务的训练难度往往高于图像分类任务的训练难度，先进行图像分割任务的训练，有助于提升图像分类任务的训练速度和精度，适用于提升可行驶区域检测任务的训练速度和精度，即提高了模型训练效果。
图2是根据另一示例性实施例示出的一种模型训练方法的流程图，如图2所示，本公开实施例的模型训练方法，包括以下步骤。
S201，获取初始模型，其中，初始模型包括共享初始网络层、第一初始网络层和第二初始网络层。
S202，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层。
S203，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层。
步骤S201-S203的相关内容可参见上述实施例，这里不再赘述。
S204，基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对共享候选网络层、第一候选网络层和第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层。
需要说明的是，第三训练样本、第四训练样本的相关内容，可参见上述实施例中第一训练样本、第二训练样本的相关内容，这里不再赘述。
需要说明的是，共享目标网络层指的是共享候选网络层在本次训练后的网络层，第一目标网络层指的是第一候选网络层在本次训练后的网络层，第二目标网络层指的是第二候选网络层在本次训练后的网络层。
在一种实施方式中，基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对共享候选网络层、第一候选网络层和第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层，包括对共享候选网络层、第一候选网络层和第二候选网络层进行组合，得到第四模型，将第三训练样本、第四训练样本分别输入第四模型中，获取第四模型针对第三训练样本的第三输出，并获取第四模型针对第四训练样本的第四输出，基于第三训练样本的标签和第三输出，获取第四模型的第一损失函数，基于第四训练样本的标签和第四输出，获取第四模型的第二损失函数，基于第一损失函数和第二损失函数，对第四模型的模型参数进行更新，以得到目标模型，其中，目标模型包括共享目标网络层、第一目标网络层和第二目标网络层。
需要说明的是，对共享候选网络层、第一候选网络层和第二候选网络层进行组合的相关内容，可参见上述实施例，这里不再赘述。
需要说明的是，第一损失函数指的是第四模型针对图像分割任务的损失函数，第二损失函数指的是第四模型针对图像分类任务的损失函数。
在一种实施方式中，基于第一损失函数和第二损失函数，对第四模型的模型参数进行更新，以得到目标模型，包括基于第一损失函数，对共享候选网络层和第一候选网络层的模型参数进行更新，基于第二损失函数，对共享候选网络层和第二候选网络层的模型参数进行更新，以得到目标模型。
在一种实施方式中，基于第一损失函数和第二损失函数，对第四模型的模型参数进行更新，以得到目标模型，包括基于第一损失函数和第二损失函数，获取第四模型的总损失函数，基于总损失函数，对第四模型的模型参数进行更新，以得到目标模型。比如，基于第一损失函数和第二损失函数，获取第四模型的总损失函数，包括对第一损失函数和第二损失函数进行加权求和，得到总损失函数。
S205，对共享目标网络层、第一目标网络层和第二目标网络层进行组合，得到目标模型。
需要说明的是，对共享目标网络层、第一目标网络层和第二目标网络层进行组合的方式不做过多限定。比如，共享目标网络层为目标模型的输入层，第一目标网络层、第二目标网络层分别为共享目标网络层的下一网络层，即第一目标网络层、第二目标网络层分别为目标模型的输出层。
在一种实施方式中，共享目标网络层的输入端为目标模型的输入端，共享目标网络层的输出端分别与第一目标网络层、第二目标网络层的输入端连接，第一目标网络层、第二目标网络层的输出端为目标模型的输出端。
本公开的实施例提供的模型训练方法，基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对共享候选网络层、第一候选网络层和第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层，对共享目标网络层、第一目标网络层和第二目标网络层进行组合，得到目标模型。由此，可对共享候选网络层、第一候选网络层和第二候选网络层进行图像分割任务和图像分类任务的训练，有助于进一步提升图像分割任务和图像分类任务的训练精度。
在上述任一实施例的基础上，如图3所示，步骤S204中基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对共享候选网络层、第一候选网络层和第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层，包括：
S301，基于第三训练样本，对共享候选网络层和第一候选网络层进行前向计算，得到第一前向计算结果，并基于第四训练样本，对共享候选网络层和第二候选网络层进行前向计算，得到第二前向计算结果。
需要说明的是，对前向计算的方式不做过多限定。
在一种实施方式中，基于第三训练样本，对共享候选网络层和第一候选网络层进行前向计算，得到第一前向计算结果，并基于第四训练样本，对共享候选网络层和第二候选网络层进行前向计算，得到第二前向计算结果，包括基于m个第三训练样本，对共享候选网络层和第一候选网络层进行m次前向计算，得到第一前向计算结果，基于n个第四训练样本，对共享候选网络层和第二候选网络层进行n次前向计算，得到第二前向计算结果。应说明的是，m、n为正整数，对m、n均不做过多限定。
可以理解的是，针对任一第三训练样本，可对共享候选网络层和第一候选网络层进行1次前向计算，得到任一第三训练样本对应的第一前向计算结果，比如，第一前向计算结果包括m个第三训练样本对应的第一前向计算结果，或者，基于m个第三训练样本对应的第一前向计算结果，得到第一前向计算结果，在一些实施例中，将m个第三训练样本对应的第一前向计算结果的平均值确定为第一前向计算结果。
可以理解的是，针对任一第四训练样本，可对共享候选网络层和第二候选网络层进行1次前向计算，得到任一第四训练样本对应的第二前向计算结果，比如，第二前向计算结果包括n个第四训练样本对应的第二前向计算结果，或者，基于n个第四训练样本对应的第二前向计算结果，得到第二前向计算结果，在一些实施例中，将n个第四训练样本对应的第二前向计算结果的平均值确定为第二前向计算结果。
S302，基于第一前向计算结果和第二前向计算结果，对共享候选网络层、第一候选网络层和第二候选网络层进行反向计算，得到反向计算结果。
S303，基于反向计算结果，对共享候选网络层、第一候选网络层和第二候选网络层的模型参数进行更新，以得到共享目标网络层、第一目标网络层和第二目标网络层。
需要说明的是，对反向计算的方式不做过多限定。
本公开的实施例中，共享候选网络层、第一候选网络层和第二候选网络层是一起进行反向计算的，并基于反向计算结果，对共享候选网络层、第一候选网络层和第二候选网络层的模型参数进行更新，以得到共享目标网络层、第一目标网络层和第二目标网络层。
在一种实施方式中，基于反向计算结果，对共享候选网络层、第一候选网络层和第二候选网络层的模型参数进行更新之后，包括识别当前未满足模型训练结束条件，返回采用下一个第三训练样本、下一个第四训练样本继续对调整模型参数的共享候选网络层、第一候选网络层和第二候选网络层进行训练，直至达到模型训练结束条件，将最后一次训练得到的共享候选网络层、第一候选网络层和第二候选网络层分别确定为共享目标网络层、第一目标网络层和第二目标网络层。应说明的是，对模型训练结束条件不做过多限定，比如，模型训练结束条件包括但不限于模型训练次数达到设定次数阈值、模型精度达到设定精度阈值、损失函数达到最小值等。
由此，该方法中可基于第三训练样本，对共享候选网络层、第一候选网络层进行前向计算，得到第一前向计算结果，并基于第四训练样本，对共享候选网络层、第二候选网络层进行前向计算，得到第二前向计算结果，并基于第一前向计算结果和第二前向计算结果，对共享候选网络层、第一候选网络层、第二候选网络层一起进行反向计算，得到反向计算结果，以得到共享目标网络层、第一目标网络层和第二目标网络层，可实现图像分割任务和图像分类任务的交替训练。
图4是根据一示例性实施例示出的一种图像处理方法的流程图，如图4所示，本公开实施例的图像处理方法，包括以下步骤。
S401，获取待处理图像。
需要说明的是，本公开实施例的图像处理方法的执行主体为电子设备，电子设备包括手机、笔记本、台式电脑、车载终端、智能家电等。本公开实施例的图像处理方法可以由本公开实施例的图像处理装置执行，本公开实施例的图像处理装置可以配置在任意电子设备中，以执行本公开实施例的图像处理方法。
需要说明的是，对待处理图像不做过多限定。比如，待处理图像包括但不限于二维图像、三维图像等。
在一种实施方式中，获取待处理图像，可包括通过摄像头采集待处理图像。应说明的是，对摄像头不做过多限定，比如，摄像头包括但不限于二维摄像头、三维摄像头等。
在一种实施方式中，以执行主体为车载终端为例，可通过车辆上设置的摄像头采集车辆周围环境的图像。
S402，将待处理图像输入目标模型中，由目标模型输出待处理图像的处理结果，其中，目标模型采用模型训练方法得到。
需要说明的是，目标模型可采用图1至图3所述的模型训练方法得到，这里不再赘述。
需要说明的是，目标模型为多任务模型，目标模型对应的任务至少包括图像分割任务、图像分类任务。
在一种实施方式中，目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，由目标模型输出待处理图像的处理结果，包括由第一目标网络层输出待处理图像中的实体分割区域，和/或，由第二目标网络层输出待处理图像中的可行驶区域。
本公开的实施例提供的图像处理方法，将待处理图像输入目标模型中，由目标模型输出待处理图像的处理结果，其中，目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，目标模型采用模型训练方法得到，目标模型的精度高，有助于提升图像处理性能。
图5是根据一示例性实施例示出的一种模型训练装置的框图。参照图5，本公开实施例的模型训练装置100，包括：获取模块110、第一训练模块120、第二训练模块130和生成模块140。
获取模块110被配置为执行获取初始模型，其中，所述初始模型包括共享初始网络层、第一初始网络层和第二初始网络层；
第一训练模块120被配置为执行基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；
第二训练模块130被配置为执行基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层；
生成模块140被配置为执行基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型。
在本公开的一个实施例中，所述生成模块140还被配置为执行：基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层；对所述共享目标网络层、所述第一目标网络层和所述第二目标网络层进行组合，得到所述目标模型。
在本公开的一个实施例中，所述生成模块140还被配置为执行：基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果；基于所述第一前向计算结果和所述第二前向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行反向计算，得到反向计算结果；基于所述反向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层的模型参数进行更新，以得到所述共享目标网络层、所述第一目标网络层和所述第二目标网络层。
在本公开的一个实施例中，所述生成模块140还被配置为执行：基于m个第三训练样本，对所述共享候选网络层和所述第一候选网络层进行m次前向计算，得到所述第一前向计算结果，其中，m为正整数；基于n个第四训练样本，对所述共享候选网络层和所述第二候选网络层进行n次前向计算，得到所述第二前向计算结果，其中，n为正整数。
在本公开的一个实施例中，所述共享目标网络层的输入端为所述目标模型的输入端，所述共享目标网络层的输出端分别与所述第一目标网络层、所述第二目标网络层的输入端连接，所述第一目标网络层、所述第二目标网络层的输出端为所述目标模型的输出端。
在本公开的一个实施例中，所述第一训练模块120还被配置为执行：对所述共享初始网络层和所述第一初始网络层进行组合，得到第一模型；将所述第一训练样本输入所述第一模型中，获取所述第一模型的第一输出；基于所述第一训练样本的标签和所述第一输出，对所述第一模型进行训练，得到第二模型，其中，所述第二模型包括所述共享候选网络层和所述第一候选网络层。
在本公开的一个实施例中，所述第二训练模块130还被配置为执行：对所述共享候选网络层和所述第二初始网络层进行组合，得到第三模型；将所述第二训练样本输入所述第三模型中，获取所述第三模型的第二输出；基于所述第二训练样本的标签和所述第二输出，对所述第三模型中的所述第二初始网络层进行训练，得到所述第二候选网络层。
在本公开的一个实施例中，所述图像分割任务包括实体分割任务，所述图像分类任务包括可行驶区域检测任务。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例提供的模型训练装置，获取初始模型，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型。由此，可对共享初始网络层和第一初始网络层进行图像分割任务的训练，并对第二初始网络层进行图像分类任务的训练，图像分割任务的训练难度往往高于图像分类任务的训练难度，先进行图像分割任务的训练，有助于提升图像分类任务的训练速度和精度，适用于提升可行驶区域检测任务的训练速度和精度，即提高了模型训练效果。
图6是根据一示例性实施例示出的一种图像处理装置的框图。参照图6，本公开实施例的图像处理装置200，包括：获取模块210和处理模块220。
获取模块210被配置为执行获取待处理图像；
处理模块220被配置为执行将所述待处理图像输入目标模型中，由所述目标模型输出所述待处理图像的处理结果，其中，所述目标模型采用本公开实施例所述的模型训练方法得到。
在本公开的一个实施例中，所述目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，所述由所述目标模型输出所述待处理图像的处理结果，包括：由所述第一目标网络层输出所述待处理图像中的实体分割区域；和/或，由所述第二目标网络层输出所述待处理图像中的可行驶区域。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例提供的图像处理装置，将待处理图像输入目标模型中，由目标模型输出待处理图像的处理结果，其中，目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，目标模型采用模型训练方法得到，目标模型的精度高，有助于提升图像处理性能。
图7是根据一示例性实施例示出的一种车辆300的框图。例如，车辆300可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆300可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图7，车辆300可包括各种子系统，例如，信息娱乐系统310、感知系统320、决策控制系统330、驱动系统340以及计算平台350。其中，车辆300还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆300的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统310可以包括通信系统，娱乐系统以及导航系统等。
感知系统320可以包括若干种传感器，用于感测车辆300周边的环境的信息。例如，感知系统320可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统330可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统340可以包括为车辆300提供动力运动的组件。在一个实施例中，驱动系统340可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆300的部分或所有功能受计算平台350控制。计算平台350可包括至少一个处理器351和存储器352，处理器351可以执行存储在存储器352中的指令353。
处理器351可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器352可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令353以外，存储器352还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器352存储的数据可以被计算平台350使用。
在本公开实施例中，处理器351可以执行指令353，以实现本公开提供的模型训练方法、图像处理方法的全部或部分步骤。
本公开实施例的车辆，获取初始模型，基于隶属于图像分割任务的第一训练样本，对共享初始网络层和第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，基于隶属于图像分类任务的第二训练样本，对第二初始网络层进行训练，得到第二候选网络层，基于共享候选网络层、第一候选网络层和第二候选网络层，生成初始模型训练后的目标模型。由此，可对共享初始网络层和第一初始网络层进行图像分割任务的训练，并对第二初始网络层进行图像分类任务的训练，图像分割任务的训练难度往往高于图像分类任务的训练难度，先进行图像分割任务的训练，有助于提升图像分类任务的训练速度和精度，适用于提升可行驶区域检测任务的训练速度和精度，即提高了模型训练效果。
为了实现上述实施例，本公开还提出一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的模型训练方法、图像处理方法的步骤。
可选的，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (22)
1.一种模型训练方法，其特征在于，包括：
获取初始模型，其中，所述初始模型包括共享初始网络层、第一初始网络层和第二初始网络层；
基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；
基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层；
基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型，包括：
基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层；
对所述共享目标网络层、所述第一目标网络层和所述第二目标网络层进行组合，得到所述目标模型。
3.根据权利要求2所述的方法，其特征在于，所述基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层，包括：
基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果；
基于所述第一前向计算结果和所述第二前向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行反向计算，得到反向计算结果；
基于所述反向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层的模型参数进行更新，以得到所述共享目标网络层、所述第一目标网络层和所述第二目标网络层。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果，包括：
基于m个第三训练样本，对所述共享候选网络层和所述第一候选网络层进行m次前向计算，得到所述第一前向计算结果，其中，m为正整数；
基于n个第四训练样本，对所述共享候选网络层和所述第二候选网络层进行n次前向计算，得到所述第二前向计算结果，其中，n为正整数。
5.根据权利要求2所述的方法，其特征在于，所述共享目标网络层的输入端为所述目标模型的输入端，所述共享目标网络层的输出端分别与所述第一目标网络层、所述第二目标网络层的输入端连接，所述第一目标网络层、所述第二目标网络层的输出端为所述目标模型的输出端。
6.根据权利要求1所述的方法，其特征在于，所述基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层，包括：
对所述共享初始网络层和所述第一初始网络层进行组合，得到第一模型；
将所述第一训练样本输入所述第一模型中，获取所述第一模型的第一输出；
基于所述第一训练样本的标签和所述第一输出，对所述第一模型进行训练，得到第二模型，其中，所述第二模型包括所述共享候选网络层和所述第一候选网络层。
7.根据权利要求1所述的方法，其特征在于，所述基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层，包括：
对所述共享候选网络层和所述第二初始网络层进行组合，得到第三模型；
将所述第二训练样本输入所述第三模型中，获取所述第三模型的第二输出；
基于所述第二训练样本的标签和所述第二输出，对所述第三模型中的所述第二初始网络层进行训练，得到所述第二候选网络层。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述图像分割任务包括实体分割任务，所述图像分类任务包括可行驶区域检测任务。
9.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入目标模型中，由所述目标模型输出所述待处理图像的处理结果，其中，所述目标模型采用如权利要求1-8中任一项所述的模型训练方法得到。
10.根据权利要求9所述的方法，其特征在于，所述目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，所述由所述目标模型输出所述待处理图像的处理结果，包括：
由所述第一目标网络层输出所述待处理图像中的实体分割区域；和/或，
由所述第二目标网络层输出所述待处理图像中的可行驶区域。
11.一种模型训练装置，其特征在于，包括：
获取模块，被配置为执行获取初始模型，其中，所述初始模型包括共享初始网络层、第一初始网络层和第二初始网络层；
第一训练模块，被配置为执行基于隶属于图像分割任务的第一训练样本，对所述共享初始网络层和所述第一初始网络层进行训练，得到共享候选网络层和第一候选网络层；
第二训练模块，被配置为执行基于隶属于图像分类任务的第二训练样本，对所述第二初始网络层进行训练，得到第二候选网络层；
生成模块，被配置为执行基于所述共享候选网络层、所述第一候选网络层和所述第二候选网络层，生成所述初始模型训练后的目标模型。
12.根据权利要求11所述的装置，其特征在于，所述生成模块，还被配置为执行：
基于隶属于图像分割任务的第三训练样本和隶属于图像分类任务的第四训练样本，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行训练，得到共享目标网络层、第一目标网络层和第二目标网络层；
对所述共享目标网络层、所述第一目标网络层和所述第二目标网络层进行组合，得到所述目标模型。
13.根据权利要求12所述的装置，其特征在于，所述生成模块，还被配置为执行：
基于所述第三训练样本，对所述共享候选网络层和所述第一候选网络层进行前向计算，得到第一前向计算结果，并基于所述第四训练样本，对所述共享候选网络层和所述第二候选网络层进行前向计算，得到第二前向计算结果；
基于所述第一前向计算结果和所述第二前向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层进行反向计算，得到反向计算结果；
基于所述反向计算结果，对所述共享候选网络层、所述第一候选网络层和所述第二候选网络层的模型参数进行更新，以得到所述共享目标网络层、所述第一目标网络层和所述第二目标网络层。
14.根据权利要求13所述的装置，其特征在于，所述生成模块，还被配置为执行：
基于m个第三训练样本，对所述共享候选网络层和所述第一候选网络层进行m次前向计算，得到所述第一前向计算结果，其中，m为正整数；
基于n个第四训练样本，对所述共享候选网络层和所述第二候选网络层进行n次前向计算，得到所述第二前向计算结果，其中，n为正整数。
15.根据权利要求12所述的装置，其特征在于，所述共享目标网络层的输入端为所述目标模型的输入端，所述共享目标网络层的输出端分别与所述第一目标网络层、所述第二目标网络层的输入端连接，所述第一目标网络层、所述第二目标网络层的输出端为所述目标模型的输出端。
16.根据权利要求11所述的装置，其特征在于，所述第一训练模块，还被配置为执行：
对所述共享初始网络层和所述第一初始网络层进行组合，得到第一模型；
将所述第一训练样本输入所述第一模型中，获取所述第一模型的第一输出；
基于所述第一训练样本的标签和所述第一输出，对所述第一模型进行训练，得到第二模型，其中，所述第二模型包括所述共享候选网络层和所述第一候选网络层。
17.根据权利要求11所述的装置，其特征在于，所述第二训练模块，还被配置为执行：
对所述共享候选网络层和所述第二初始网络层进行组合，得到第三模型；
将所述第二训练样本输入所述第三模型中，获取所述第三模型的第二输出；
基于所述第二训练样本的标签和所述第二输出，对所述第三模型中的所述第二初始网络层进行训练，得到所述第二候选网络层。
18.根据权利要求11-17中任一项所述的装置，其特征在于，所述图像分割任务包括实体分割任务，所述图像分类任务包括可行驶区域检测任务。
19.一种图像处理装置，其特征在于，包括：
获取模块，被配置为执行获取待处理图像；
处理模块，被配置为执行将所述待处理图像输入目标模型中，由所述目标模型输出所述待处理图像的处理结果，其中，所述目标模型采用如权利要求1-8中任一项所述的模型训练方法得到。
20.根据权利要求19所述的装置，其特征在于，所述目标模型包括共享目标网络层、第一目标网络层和第二目标网络层，所述由所述目标模型输出所述待处理图像的处理结果，包括：
由所述第一目标网络层输出所述待处理图像中的实体分割区域；和/或，
由所述第二目标网络层输出所述待处理图像中的可行驶区域。
21.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1-10中任一项所述方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211129728.5A CN115223015B (zh) | 2022-09-16 | 2022-09-16 | 模型训练方法、图像处理方法、装置和车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211129728.5A CN115223015B (zh) | 2022-09-16 | 2022-09-16 | 模型训练方法、图像处理方法、装置和车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115223015A true CN115223015A (zh) | 2022-10-21 |
| CN115223015B CN115223015B (zh) | 2023-01-03 |
Family
ID=83617823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211129728.5A Active CN115223015B (zh) | 2022-09-16 | 2022-09-16 | 模型训练方法、图像处理方法、装置和车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115223015B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631388A (zh) * | 2022-12-21 | 2023-01-20 | 第六镜科技(成都)有限公司 | 图像分类方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447169A (zh) * | 2018-11-02 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法及其模型的训练方法、装置和电子系统 |
| CN112330685A (zh) * | 2020-12-28 | 2021-02-05 | 北京达佳互联信息技术有限公司 | 图像分割模型训练、图像分割方法、装置及电子设备 |
| CN112561056A (zh) * | 2020-12-07 | 2021-03-26 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、装置、电子设备和存储介质 |
| US20220108194A1 (en) * | 2020-10-01 | 2022-04-07 | Qualcomm Incorporated | Private split client-server inferencing |
-
2022
- 2022-09-16 CN CN202211129728.5A patent/CN115223015B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447169A (zh) * | 2018-11-02 | 2019-03-08 | 北京旷视科技有限公司 | 图像处理方法及其模型的训练方法、装置和电子系统 |
| US20220108194A1 (en) * | 2020-10-01 | 2022-04-07 | Qualcomm Incorporated | Private split client-server inferencing |
| CN112561056A (zh) * | 2020-12-07 | 2021-03-26 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、装置、电子设备和存储介质 |
| CN112330685A (zh) * | 2020-12-28 | 2021-02-05 | 北京达佳互联信息技术有限公司 | 图像分割模型训练、图像分割方法、装置及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631388A (zh) * | 2022-12-21 | 2023-01-20 | 第六镜科技(成都)有限公司 | 图像分类方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115223015B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022003508A (ja) | 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム | |
| CN111259712B (zh) | 用于车辆行为预测的压缩环境特征的表示 | |
| CN115223015B (zh) | 模型训练方法、图像处理方法、装置和车辆 | |
| CN116486377B (zh) | 可行驶区域的生成方法及装置 | |
| CN114882464B (zh) | 多任务模型训练方法、多任务处理方法、装置及车辆 | |
| JP2022128593A (ja) | 車線コーナー検出方法と装置、電子機器及び記憶媒体 | |
| CN112541515A (zh) | 模型训练方法、驾驶数据处理方法、装置、介质和设备 | |
| CN115222941A (zh) | 目标检测方法、装置、车辆、存储介质、芯片及电子设备 | |
| CN116626670B (zh) | 自动驾驶模型的生成方法、装置、车辆及存储介质 | |
| CN116863429B (zh) | 检测模型的训练方法、可行使区域的确定方法和装置 | |
| CN115147812B (zh) | 车道线检测方法、装置、车辆和存储介质 | |
| CN115752502B (zh) | 路径筛选方法、装置及电子设备 | |
| CN116343174A (zh) | 目标检测方法、装置、车辆和存储介质 | |
| CN115203457B (zh) | 图像检索方法、装置、车辆、存储介质及芯片 | |
| CN114821543B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
| CN114842458B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
| CN117128976B (zh) | 道路中心线的获取方法、装置、车辆和存储介质 | |
| CN115471513B (zh) | 点云分割方法及装置 | |
| CN116385825B (zh) | 模型联合训练方法、装置及车辆 | |
| CN116363631B (zh) | 三维目标检测方法、装置及车辆 | |
| CN116659529B (zh) | 数据检测方法、装置、车辆及存储介质 | |
| CN115147794B (zh) | 车道线确定方法、装置、车辆、介质及芯片 | |
| CN115900771B (zh) | 信息确定的方法、装置、车辆及存储介质 | |
| CN116630923B (zh) | 道路消失点的标注方法、装置及电子设备 | |
| CN115593439B (zh) | 车辆控制方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |