CN111931929A - 一种多任务模型的训练方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种多任务模型的训练方法、装置及计算机存储介质，利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；根据预设类别任务的关联性进行分支网络的整合，得到多分支网络；利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图；利用所述每一样本图像对应的特征图对所述多分支网络进行训练。如此，本申请在通过经训练的骨干网络对对训练图像集中每一个样本图像进行特征提取的基础上，利用分支网络的关联性整合，将合适的任务类别的分支网络放到同一个分支中，从而在同等算力的情况下，有效提升多任务模型的感知性能。

Description

一种多任务模型的训练方法、装置及存储介质

技术领域

本申请涉及人工神经网络技术领域，尤其涉及一种多任务模型的训练方法、装置及计算机存储介质。

背景技术

在高级驾驶辅助系统(“Advanced Driver Assistance System，ADAS)中，一个非常的矛盾是有限的计算资源以及日益增长的视觉感知任务。受限于有限的算力，在主板上运行多种感知任务，一方面会使得每个感知任务的精度下降，另一方面会降低感知系统的实时性。

目前，普遍的解决方案是使用多任务模型(网络)进行训练和部署：通过一个骨干网络表达若干个任务共有的特征，然后针对各个任务的特点，在骨干网络的末端接上对应的分支网络，用于产生相应任务的感知输出。

发明内容

上述解决方案存在当各个任务所需的图像特征存在互斥的情况时，通过一个骨干网络提取多个任务所需的特征会使得各个任务的感知性能大幅度下降的问题；同时，感知系统容易受到多任务网络分支配置的影响。

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种多任务模型的训练方法、装置及计算机存储介质。

根据本申请的第一方面，提供了一种多任务模型的训练方法，包括：利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；根据预设类别任务的关联性进行分支网络的整合，得到多分支网络，所述多分支网络中每一个分支网络分别对应不同的关联任务；利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图；利用所述每一样本图像对应的特征图对所述多分支网络进行训练。

根据本申请的第二方面，还提供了一种多任务模型的训练装置，包括：骨干网络单元，用于利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；整合单元，用于根据预设类别任务间的关联性进行分支网络的整合，得到多分支网络，所述多分支网络中每一个分支网络分别对应不同的关联任务；所述骨干网络单元，还用于利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一个样本图像对应的特征图；多分支网络单元，用于利用所述每一个样本图像对应特征图对所述多分支网络进行训练。

根据本申请的第三方面，还提供了一种多任务模型的训练装置，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述多任务模型的训练方法。

根据本申请的第四方面，又提供了一种计算机存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述多任务模型的训练方法。

本申请实施例多任务模型的训练方法、装置及计算机存储介质，首先利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；接着根据预设类别任务的关联性进行分支网络的整合，得到多分支网络；再利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图；最后利用所述每一样本图像对应的特征图对所述多分支网络进行训练。如此，本申请在通过经训练的骨干网络对对训练图像集中每一个样本图像进行特征提取的基础上，利用分支网络的关联性整合，将合适的任务类别的分支网络放到同一个分支中，从而在同等算力的情况下，有效提升多任务模型的感知性能。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的多任务模型(网络)结构框图。

图2是本申请一示例性实施例提供的多任务模型的训练方法的流程示意图。

图3是本申请一示例性实施例提供的多任务模型的训练方法的流程示意图。

图4是本申请另一示例性实施例提供的多任务模型的训练方法的部分流程示意图。

图5是本申请又一示例性实施例提供的多任务模型的训练方法的部分流程示意图。

图6是本申请又一示例性实施例提供的多任务模型的训练方法中进行分支网络整合的流程示意图。

图7是本申请一示例性实施例提供的任务模型的训练装置的结构图。

图8是本申请另一示例性实施例提供的任务模型的训练装置的结构图。

图9是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

现有使用多任务模型进行训练和部署时，当各个任务所需的图像特征存在互斥的情况时，通过一个骨干网络提取多个任务所需的特征会使得各个任务的感知性能大幅度下降。

为了解决上述问题，本申请首先利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；接着根据预设类别任务的关联性进行分支网络的整合，得到多分支网络；再利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图；最后利用所述每一样本图像对应的特征图对所述多分支网络进行训练。

图1是本申请所适用的多任务模型(网络)结构框图。

参考图1，本申请多任务模型(网络)结构主要包括：用于提取图像特征的深度神经网络的骨干网络模块101，用于分别执行不同类型任务的分支网络模块102，及损失函数模块103。其中，将一系列的训练图像以及对应的真值输入到骨干网络模块101进行训练，训练完成后，能够输出输入图像对应的特征图。分支网络模块102可以包括用以执行语义分割任务的分支网络1、用以执行红绿灯检测或标志牌检测的分支网络2及用以执行车辆检测或行人检测的分支网络3等诸多执行不同类型任务的分支网络，其中不同分支网络对应不同的输出。损失函数模块103只在多任务模型的训练过程中起作用。输入从当前骨干网络得到的预测结果以及原图对应的真值，损失函数模块103根据预先定义好的损失函数，预测结果与真值之间的损失(距离)，实现对骨干网络的监督。

图2是本申请一示例性实施例提供的多任务模型的训练方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：

步骤201，利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络。

其中，骨干网络通常为用于提取图像特征的深度神经网络，常用的有ResNet、MobileNet等。

第一训练图像集通常包括分别对应多任务模型中不同类别任务的若干个训练图像子集。通常来讲，每个训练图像子集包括多个样本图像集对应的样本图像的真值。

举例来说，若多任务包括6类的目标检测任务、12类的语义分割、工况识别等视觉感知任务时，则需要对应采集或获取分别对应如上多个任务的训练图像子集，从而保证模型训练的精度。

步骤202，根据预设类别任务的关联性进行分支网络的整合，得到多分支网络。

其中，所述多分支网络中每一个分支网络分别对应不同的关联任务。

举例来说，如图1所示，红绿灯检测任务和标志牌检测任务属于关联任务，故对应一个分支网络；车辆检测任务和行人检测任务属于关联任务，故对应另一个分支网络。

步骤203，利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图。

其中，第二训练图像集可以与第一训练图像集相同，也可以不同。同样地，第二训练图像集通常也包括分别对应多任务模型中不同类别任务的若干个训练图像子集。

步骤204，利用所述每一样本图像对应的特征图对所述多分支网络进行训练。

其中，利用每一个样本图像对应的特征图对多分支网络进行训练即通过若干卷积层来完成特定的任务，如语义分割任务、目标检测任务或工况识别任务等。分支网络的卷积层数目与骨干网络相比要少，大致为2-3个卷积层。卷积层输出即多任务模型的输出视对应任务而定。

如此，本申请在通过经训练的骨干网络对训练图像集中每一个样本图像进行特征提取的基础上，利用分支网络的关联性整合，将合适的任务类别的分支网络放到同一个分支中，与现有针对各个任务分别在骨干网络的末端接上对应的分支网络相比，在同等算力的情况下，有效提升多任务模型的感知性能。

如图3所示，在上述图2所示实施例的基础上，步骤204可以包括如下步骤：

步骤2041，利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果。

在一实施例中，利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果，包括：利用对应语义分割任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像或特征变换后的训练图像中每一个像素点对应类别的预测结果，如输出一个特征图，对应训练图像或特征变换后的训练图像中每一个像素点的类别。

在另一实施例中，利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果，包括：利用对应检测任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像中检测目标的类别及坐标的预测结果，如输出一个特征图，对应训练图像中目标框的类别、坐标等。

步骤2042，基于特定损失函数分别计算所述对应不同分支网络的预测结果与所述训练图像对应的真值之间的损失值。

其中，特定损失函数可以为绝对值损失函数、平方损失函数、交并比损失函数等。

步骤2043，根据所计算得到的对应不同分支网络的损失值更新所述骨干网络和/或多分支网络的模型参数。

步骤2044，利用所述特征图对所述多分支网络进行训练，并在训练效果达到预设训练条件时停止训练，得到所述训练好的多任务模型。

如此，在整个多任务模型训练过程中，根据损失函数的梯度进行反向传播，实现网络参数权重的更新，从而不断优化网络，进而提升多任务模型的感知性能。

如图4所示，在上述图2所示实施例的基础上，步骤202可以包括如下步骤：

步骤2021，通过单任务模型对不同类别的任务进行训练的方式确定关联任务。

步骤2022，将所确定的关联任务合并到同一个分支网络中，以进行分支网络的整合。

如此，由于骨干网络的规模(容量)受制于运算平台的资源，而分支的配置则享有比较大的灵活度，故通过将关联任务合并到同一个分支网络的方式，灵活地调整了多分支网络中的各分支网络，从而有利于在同等算力条件下，模型感知性能的提升。

如图5所示，在上述图4所示实施例的基础上，步骤2021可以包括如下步骤：

步骤20211，选取预设类别任务中一特定任务的分支网络与所述骨干网络形成一个单任务模型。

预设类别任务可以包括多个类别的目标检测任务以及多个类别的语义分割、工况识别等视觉感知任务。其中，多个类别的目标检测任务例如为6类的目标检测任务(如红绿灯检测、标志牌检测、车辆全车检测、行人检测、车辆车头车尾检测、骑车人检测)；多个类别的语义分割例如为12类的语义分割(如路面语义分割、背景语义分割、栅栏语义分割、行人语义分割、车辆语义分割、骑车人语义分割、人行横道语义分割、地面标识语义分割、导流线语义分割、锥桶语义分割、停止线语义分割、减速带语义分割)。特定任务可以是待进行分支网络整合的任意一预设类别任务，如红绿灯检测任务。

步骤20212，将对应于所述特定任务的训练数据通过所述单任务模型进行预训练，得到第一损失值。

训练数据通常为对应特定任务的样本数据。以红绿灯检测任务为例，训练数据可以为对应包含红绿灯样本以及对应的真值检测框的训练图像集合。

步骤20213，根据所述第一损失值调整所述骨干网络的权重。

具体地，根据第一损失值调整骨干网络的的模型参数权重。以骨干网络为ResNet这一深度残差网络为例，可以根据第一损失值调整ResNet网络模型中各卷积层的参数信息。

步骤20214，将权重调整后的骨干网络和预设类别的任务中除所述特定任务之外的另一任务的分支网络形成新的单任务模型。

以特定任务为红绿灯检测任务为例，另一任务可以是预设类别的任务所包括的6类目标检测任务中的标志牌检测任务。

步骤20215，将对应于所述另一任务的训练数据通过所述新的单任务模型进行训练，得到第二损失值。

具体地，将对于与另一任务的训练数据(如训练图像集)通过新的单任务模型进行训练，得到预测结果；再将该预测结果与训练数据对应的真值进行比较，从而得到第二损失值。

步骤20216，若所述第二损失值低于损失阈值，则确定所述另一任务与所述特定任务二者特征相似，属于关联任务。

这里，损失阈值的设定可以综合考虑多任务模型的训练精度、分支网络的整合要求及不同关联任务对应分支网络的特性等因素。

如此，借助迁移学习的原理实现关联任务对应分支网络的整合，通过后者任务的损失情况衡量任务间的相似性，从而找出最适合的分支配置，从而灵活地调整了多分支网络中的各分支网络，有利于模型感知性能的提升。而且，相比于依靠人工挑选、合并的方式，通过本方案得到的分支配置能够从图像特征层面挖掘任务之间的相似性，从而得到更合理的分支配置，性能更好的多任务模型。另外，相比其他单任务整合的方法，该方法减少了分支搜索的复杂度，无需过多、过于繁琐的搜索过程。

参考一应用实例如图6所示的进行分支网络整合的实现过程：

步骤601，在特定骨干网络上，首先加入用以红绿灯检测的分支网络，从而形成一个单任务模型，利用红绿灯检测的训练数据进行预训练。

步骤602，采用迁移学习的方式，去掉用以红绿灯检测的分支网络的头部，固定通过步骤601训练好的骨干网络的权重，外加标志牌检测的分支网络，利用标志牌检测的训练数据进行训练。即利用红绿灯检测特征提取模块训练标志牌检测的分支网络，可用于衡量红绿灯检测与标志牌检测之间的特征相似度，从而为分支整合提供参考。

这里，本领域技术任意应该理解的是，对于同一个分支中的两个检测类别，通过步骤602期望具有如下特性：1)回归目标大小尽可能接近，使得回归器更容易学习；2)检测类别相关的类别特征尽可能不相似，使得分类器更容易区分。因此，若利用固定红绿灯特征提取模块，训练出的标志牌检测器，回归损失越低，分类损失越高，则说明交通灯以及标志牌越适宜合并到一个分支中。以此类推，对每一个任务(类别)之间都进行如图5或6所示的操作流程，即可通过后者任务的损失情况衡量任务间的相似性，从而找出最适合的分支配置。

图7是本申请一示例性实施例提供的任务模型的训练装置的结构图。参考图7，本申请任务模型的训练装置70，包括：

骨干网络单元701，用于利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；

整合单元702，用于根据预设类别任务间的关联性进行分支网络的整合，得到多分支网络，所述多分支网络中每一个分支网络分别对应不同的关联任务；

骨干网络单元701，还用于利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一个样本图像对应的特征图；

多分支网络单元703，用于利用所述每一个样本图像对应特征图对所述多分支网络进行训练。

在一可实施方式中，如图8所示，多分支网络单元703包括：

预测子单元7031，用于利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果；

损失函数计算子单元7032，用于基于特定损失函数分别计算所述对应不同分支网络的预测结果与所述训练图像对应的真值之间的损失值；

参数更新子单元7033，用于根据所计算得到的对应不同分支网络的损失值更新所述骨干网络和/或多分支网络的模型参数；

训练子单元7034，用于利用所述特征图对所述多分支网络进行训练，并在训练效果达到预设训练条件时停止训练，得到所述训练好的多任务模型。

在一可实施方式中，预测子单元7031，具体用于利用对应语义分割任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像或降采样后的训练图像中每一个像素点对应类别的预测结果；或，利用对应检测任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像中检测目标的类别及坐标的预测结果。

在一可实施方式中，如图8所示，整合单元702包括：确定子单元7021，用于通过单任务模型对不同类别的任务进行训练的方式确定关联任务；整合子单元7022，用于将所确定的关联任务合并到同一个分支网络中，以进行分支网络的整合。

在一可实施方式中，确定子单元7021具体用于，选取预设类别任务中一特定任务的分支网络与所述骨干网络形成一个单任务模型；将对应于所述特定任务的训练数据通过所述单任务模型进行预训练，得到第一损失值；根据所述第一损失值调整所述骨干网络的权重；将权重调整后的骨干网络和预设类别的任务中除所述特定任务之外的另一任务的分支网络形成新的单任务模型；将对应于所述另一任务的训练数据通过所述新的单任务模型进行训练，得到第二损失值；若所述第二损失值低于损失阈值，则确定所述另一任务与所述特定任务二者特征相似，属于关联任务。

下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是多任务模型的训练装置70和多任务模型的训练装置80中的任一个或两者、或与它们独立的单机设备，该单机设备可以与多任务模型的训练装置70和多任务模型的训练装置80进行通信，以从它们接收所采集到的输入信号。

图9图示了根据本公开实施例的电子设备的框图。

如图9所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的多任务模型的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是多任务模型的训练装置70或多任务模型的训练装置80时，该输入装置113可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置113可以是通信网络连接器，用于从多任务模型的训练装置70或多任务模型的训练装置80接收所采集的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。

当然，为了简化，图9中仅示出了该电子设备11中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多任务模型的训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的多任务模型的训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种多任务模型的训练方法，包括：

利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；

根据预设类别任务间的关联性进行分支网络的整合，得到多分支网络，所述多分支网络中每一个分支网络分别对应不同的关联任务；

利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一样本图像对应的特征图；

利用所述每一样本图像对应的特征图对所述多分支网络进行训练。

2.根据权利要求1所述的方法，其中，所述利用所述每一样本图像对应的特征图对所述多分支网络进行训练，包括：

利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果；

基于特定损失函数分别计算所述对应不同分支网络的预测结果与所述训练图像对应的真值之间的损失值；

根据所计算得到的对应不同分支网络的损失值更新所述骨干网络和/或多分支网络的模型参数；

利用所述特征图对所述多分支网络进行训练，并在训练效果达到预设训练条件时停止训练，得到所述训练好的多任务模型。

3.根据权利要求2所述的方法，其中，所述利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果，包括：

利用对应语义分割任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像或特征变换后的训练图像中每一个像素点对应类别的预测结果；

或，利用对应检测任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像中检测目标的类别及坐标的预测结果。

4.根据权利要求1所述的方法，其中，所述根据预设类别任务间的关联性进行分支网络的整合，包括：

通过单任务模型对不同类别的任务进行训练的方式确定关联任务；

将所确定的关联任务合并到同一个分支网络中，以进行分支网络的整合。

5.根据权利要求4所述的方法，其中，通过单任务模型对不同类别的任务进行训练的方式确定关联任务，包括：

选取预设类别任务中一特定任务的分支网络与所述骨干网络形成一个单任务模型；

将对应于所述特定任务的训练数据通过所述单任务模型进行预训练，得到第一损失值；

根据所述第一损失值调整所述骨干网络的权重；

将权重调整后的骨干网络和预设类别的任务中除所述特定任务之外的另一任务的分支网络形成新的单任务模型；

将对应于所述另一任务的训练数据通过所述新的单任务模型进行训练，得到第二损失值；

若所述第二损失值低于损失阈值，则确定所述另一任务与所述特定任务二者特征相似，属于关联任务。

6.一种多任务模型的训练装置，包括：

骨干网络单元，用于利用第一训练图像集对骨干网络进行训练，以得到经训练的骨干网络；

整合单元，用于根据预设类别任务间的关联性进行分支网络的整合，得到多分支网络，所述多分支网络中每一个分支网络分别对应不同的关联任务；

所述骨干网络单元，还用于利用已训练的所述骨干网络对第二训练图像集进行处理，以得到所述第二训练图像集中每一个样本图像对应的特征图；

多分支网络单元，用于利用所述每一个样本图像对应特征图对所述多分支网络进行训练。

7.根据权利要求6所述的装置，其中，所述多分支网络单元包括：

预测子单元，用于利用所述多分支网络中不同分支网络分别对所述每一样本图像对应的特征图进行预测，得到对应不同分支网络的预测结果；

损失函数计算子单元，用于基于特定损失函数分别计算所述对应不同分支网络的预测结果与所述训练图像对应的真值之间的损失值；

参数更新子单元，用于根据所计算得到的对应不同分支网络的损失值更新所述骨干网络和/或多分支网络的模型参数；

训练子单元，用于利用所述特征图对所述多分支网络进行训练，并在训练效果达到预设训练条件时停止训练，得到所述训练好的多任务模型。

8.根据权利要求7所述的装置，其中，

所述预测子单元，具体用于利用对应语义分割任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像或特征变换后的训练图像中每一个像素点对应类别的预测结果；或，利用对应检测任务的分支网络对所述每一样本图像对应的特征图进行预测，得到对应所述训练图像中检测目标的类别及坐标的预测结果。

9.一种多任务模型的训练装置，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5任一项所述多任务模型的训练方法。

10.一种计算机存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1至5任一项所述多任务模型的训练方法。

Images