CN115359334A - 多任务学习深度网络的训练方法及目标检测方法、装置 - Google Patents

多任务学习深度网络的训练方法及目标检测方法、装置 Download PDF

Info

Publication number
CN115359334A
CN115359334A CN202210851611.1A CN202210851611A CN115359334A CN 115359334 A CN115359334 A CN 115359334A CN 202210851611 A CN202210851611 A CN 202210851611A CN 115359334 A CN115359334 A CN 115359334A
Authority
CN
China
Prior art keywords
task
loss
weight
training
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210851611.1A
Other languages
English (en)
Inventor
陆强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inceptio Star Intelligent Technology Shanghai Co Ltd
Original Assignee
Inceptio Star Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inceptio Star Intelligent Technology Shanghai Co Ltd filed Critical Inceptio Star Intelligent Technology Shanghai Co Ltd
Priority to CN202210851611.1A priority Critical patent/CN115359334A/zh
Publication of CN115359334A publication Critical patent/CN115359334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多任务学习深度网络的训练方法及目标检测方法、装置，包括：根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据第一总损失训练多任务学习模型，其中，动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。本发明通过不断更新各损失值的动态权重来提升各任务的训练效果。

Description

多任务学习深度网络的训练方法及目标检测方法、装置
技术领域
本发明涉及机器学习技术领域，尤其涉及一种多任务学习深度网络的训练方法及目标检测方法、装置。
背景技术
多任务学习(Multi-Task Learning，简称MTL)是指基于共享表示，把多个相关的任务放在一起学习的一种机器学习方法，其与常规单任务模型相比，MTL仅使用一个模型就可以处理多个任务。多任务学习的目的在于减少模型数量，从而提高模型速度。除此之外，还希望多任务模型训练时，不同任务能够相互促进，提高各自任务效果。
现有的多任务学习策略大多集中在如何设置不同任务的损失权重上，比如：利用每个任务的同方差不确定性来确定损失权重、动态设置各个任务的损失权重等。然后，上述多任务学习策略效果不稳定，可能会导致某个任务效果提高而其他任务下降很多的情况，最终的训练效果反而不如手动调参。
因此，亟需一种可以提高各个任务训练效果的多任务学习深度网络的训练方法。
发明内容
本发明提供一种多任务学习深度网络的训练方法及目标检测方法、装置，用以解决上述问题。
本发明提供一种多任务学习深度网络的训练方法，包括：获取多任务学习的训练图像；
将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；
将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；
根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；
根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
根据本发明提供的一种多任务学习深度网络的训练方法，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度不断更新，包括：
S1，初始化动态权重，获得初始权重值；
S2，根据所述初始权重值以及各个任务对应的损失值计算得到加权损失，并计算所述加权损失对所述主干共享网络的梯度，获得各个损失值对应的权重梯度；
S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失；
S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重；
S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数。
根据本发明提供的一种多任务学习深度网络的训练方法，所述S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失，包括：
计算所有损失值对应的权重梯度G_S_i的均值G_S_mean：
G_S_mean＝∑w_i*G_S_i/n
式中，w_i为第i个损失值对应的动态权重；G_S_i为第i个损失值对应的权重梯度，n为任务总数量；
根据所述均值G_S_mean与所述权重梯度G_S_i计算得到权重梯度损失loss_G_S：
loss_G_S＝MSE(w_i*G_S_i-G_S_mean*V_i*D_i)
式中，MSE为均方误差计算，V_i为第i个任务的重要性权重，取值范围为[0,1]，D_i为第i个任务的学习难度权重，取值范围为[0,1]。
根据本发明提供的一种多任务学习深度网络的训练方法，在所述S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重之后，方法还包括：
根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失loss：
Figure BDA0003753719610000031
式中，w_i为第i个损失值对应的动态权重，loss_i为第i个任务对应的损失值，n为任务总数量；
根据所述第一总损失loss对所述多任务学习模型中各层网络层进行反向传播，更新各层网络层对应的参数得到更新后的网络参数，并基于所述更新后的网络参数计算得到新的损失值；
相应地，所述S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数，包括：
S5，基于所述新的损失值以及所述动态权重，重复所述S2-S4实现动态权重的更新直到达到预设的训练次数。
根据本发明提供的一种多任务学习深度网络的训练方法，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之前，方法还包括：
计算所有任务对应的损失值之和，获得多任务学习模型的第二总损失；
根据所述第二总损失训练所述多任务学习模型得到新的多任务学习模型；
相应地，所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型，包括：
在所述新的多任务学习模型基础上，计算得到每个任务对应的新的损失值；
根据每个任务对应的新的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述新的多任务学习模型。
根据本发明提供的一种多任务学习深度网络的训练方法，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之后，方法还包括：
在根据所述第一总损失训练得到的多任务学习模型的基础上，计算得到每个任务对应的新的损失值；
计算所有任务对应的新的损失值之和，获得多任务学习模型的第三总损失；
根据所述第三总损失训练所述根据所述第一总损失训练得到的多任务学习模型。
本发明还提供一种目标检测方法，包括：获取目标检测场景下的待检测图像；
将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；
其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练方法训练得到。
本发明还提供一种多任务学习深度网络的训练装置，包括：训练图像获取模块，用于获取多任务学习的训练图像；
特征提取模块，用于将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；
分支预测模块，用于将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；
损失计算模块，用于根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；
模型训练模块，用于根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
本发明还提供一种目标检测装置，包括：图像获取模块，用于获取目标检测场景下的待检测图像；
目标检测模块，用于将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；
其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练装置训练得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种多任务学习深度网络的训练方法或上述的目标检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一种多任务学习深度网络的训练方法或上述的目标检测方法。
本发明提供的多任务学习深度网络的训练方法及目标检测方法、装置，通过根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型，其中，损失值的动态权重是根据每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到，使得多任务学习模型在训练过程中充分考虑到不同任务的重要性以及学习难易程度，从而能够保证重要性与难易程度均不同的任务均有较好的训练效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多任务学习深度网络的训练方法的流程示意图一；
图2是本发明实施例提供的多任务学习模型的网络结构示意图；
图3是本发明另一实施例提供的多任务学习深度网络的训练方法的流程示意图二；
图4是本发明实施例提供的目标检测方法的流程示意图；
图5是本发明实施例提供的多任务学习深度网络的训练装置的结构框图；
图6是本发明实施例提供的目标检测装置的结构框图；
图7是本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的多任务学习深度网络的训练方法的流程示意图一；如图1所示，一种多任务学习深度网络的训练方法，包括如下步骤：
S101，获取多任务学习的训练图像。
在本实施例中，多任务学习的训练图像是指用于车辆检测与车道线检测的训练图像，即本实施例中的多任务学习是指车辆检测与车道线检测。在本发明的其他实施例中，多任务学习的训练图像可以是用于面部特征点定位的人脸数据，其对应的多任务学习即为各个面部部位的定位；多任务学习的训练图像还是可以是结合了目标检测、跟踪、语义分割、实例分割、聚类、深度估计等不同感知任务所对应的训练图像，本发明对此不作限定。
S102，将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图。
基于上述关于多任务学习的定义可知，多任务学习模型具有共享网络参数的主干网络以及实现各个任务预测的分支网络，如图2所示。
通过主干共享网络从训练图像中提取得到特征图，用于分别输入至各个分支任务网络实现预测。
需要说明的是，本实施例中对于主干共享网络并不做限定，其可以为Resnet系列(resnet34，resnet50，resent101等)，darknet系列(DarkNet19，darknet53)。此外，主干共享网络也可以根据应用场景选择适当大小的网络，比如轻量级的结构如resnet18、resnet34、darknet19等，中型的结构如resnet50、darknet53等，重型结构如resent101、resnet152等。
S103，将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果。
在本步骤中，将主干共享网络提取到的特征图分别输入至各个分支任务网络中，各个分支任务网络基于特征图进行预测，得到对应的预测结果。以上述用于车辆检测与车道线检测的训练图像为例，分支任务网络包括车辆检测任务网络以及车道线检测任务网络，两个不同的分支任务网络通过对应的网络结构实现预测。
S104，根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值。
在本步骤中，利用各个分支任务网络对应的损失函数对预测结果与所述训练图像对应的标签(即真值)计算得到每个任务的损失值。
S105，根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型。
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
在本步骤中，每次训练时，各个任务的损失值都有不同的权重，该权重根据各个任务的损失值对主干共享网络中最后一层网络层(即距离分支任务网络最近的共享网络层)的梯度以及各个任务的重要性权重以及学习难度权重不断更新得到。
在更新得到动态权重之后，利用动态权重对所有损失值进行加权计算，从而得到整个多任务学习模型的总损失，作为第一总损失。基于第一总损失，并利用反向传播算法对整个多任务学习模型中的网络参数进行训练更新，从而使得多任务学习模型在训练过程中充分考虑到不同任务的重要程度以及学习难易程度。
本发明实施例提供的一种多任务学习深度网络的训练方法，通过根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型，其中，损失值的动态权重是根据每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到，使得多任务学习模型在训练过程中充分考虑到不同任务的重要性以及学习难易程度，从而能够保证重要性与难易程度均不同的任务均有较好的训练效果。
进一步地，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度不断更新，包括：
S1，初始化动态权重，获得初始权重值。
在本步骤中，对所有动态权重w_i初始化为1。
S2，根据所述初始权重值以及各个任务对应的损失值计算得到加权损失，并计算所述加权损失对所述主干共享网络的梯度，获得各个损失值对应的权重梯度。
在本步骤中，先根据所述初始权重值以及各个任务对应的损失值loss_i计算得到各个任务的加权损失w_i*loss_i(在初始权重值为1的情况下，加权损失还是为loss_i)。
然后计算加权损失w_i*loss_i对所述主干共享网络中最后一层共享网络层的梯度，得到各个任务的权重梯度G_S_i。具体地，根据loss反向传播时的链式法则来计算梯度，即，
Figure BDA0003753719610000091
其中，y表示任务i的加权损失(即w_i*loss_i)，x表示任务i对应的分支任务网络最后结果输出的前一层参数，s表示主干共享网络中的最后一层参数。
S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失。
在本步骤中，先计算所有权重梯度G_S_i的平均值G_S_mean；然后利用平均值G_S_mean、各个任务的学习难度权重D_i、重要性权重V_i、权重梯度G_S_i以及动态权重w_i计算得到每个任务的权重梯度损失loss_G_S。
S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重。
在本步骤中，先计算权重梯度损失loss_G_S相对于动态权重w_i(初始权重值即为1)的梯度
Figure BDA0003753719610000101
其中，l为loss_G_S；w_i为动态权重。然后根据梯度G_w_i和多任务学习模型的学习率lr对初始权重值更新，从而形成动态权重。
S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数。
在本步骤中，预设的训练次数是指多任务学习模型训练的次数，例如，若训练集有1000个样本，批量大小batch-size设置为10，训练时期epoch设置为50，那么，一次epoch需要100次迭代(即iteration)完成对所有样本的训练，50次epoch则总共需要5000次iteration，该5000次iteration即为预设的训练次数。
每次训练都能生成不同的动态权重，进而用于下一次的第一总损失计算。在经过预设的训练次数训练更新后，多任务学习模型中的各个分支任务网络的权重梯度G_S_i均能收敛到“加入任务的重要性权重、难易权重后的G_S_mean*V_i*D_i”，从而实现对所有任务的动态平衡，保证各个任务的训练效果。
本发明实施例提供的一种多任务学习深度网络的训练方法，根据各个任务对应的学习难易程度、重要性以及各个任务对应的损失值与主干共享网络之间的梯度不断更新动态权重，从而能够动态平衡难易程度与重要性不同的任务对应的训练效果。
进一步地，所述S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失，包括：
计算所有损失值对应的权重梯度G_S_i的均值G_S_mean：
G_S_mean＝∑w_i*G_S_i/n
式中，w_i为第i个损失值对应的动态权重；G_S_i为第i个损失值对应的权重梯度，n为任务总数量。
根据所述均值G_S_mean与所述权重梯度G_S_i计算得到权重梯度损失loss_G_S：
loss_G_S＝MSE(w_i*G_S_i-G_S_mean*V_i*D_i)
式中，MSE为均方误差计算，V_i为第i个任务的重要性权重，取值范围为[0,1]，D_i为第i个任务的学习难度权重，取值范围为[0,1]。
在本实施例中，利用均方误差来计算每个任务的权重梯度G_S_i与加入任务的重要性权重、难易权重后的均值G_S_mean之间的误差，并将该误差作为损失值，用于更新动态权重。
本发明实施例提供的一种多任务学习深度网络的训练方法，通过在权重梯度损失loss_G_S中加入任务的重要性权重、难易权重，从而能够平衡不同任务的训练效果。
进一步地，在所述S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重之后，方法还包括：
根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失loss：
Figure BDA0003753719610000121
式中，w_i为第i个损失值对应的动态权重，loss_i为第i个任务对应的损失值，n为任务总数量。
根据所述第一总损失loss对所述多任务学习模型中各层网络层进行反向传播，更新各层网络层对应的参数得到更新后的网络参数，并基于所述更新后的网络参数计算得到新的损失值；
相应地，所述S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数，包括：
S5，基于所述新的损失值以及所述动态权重，重复所述S2-S4实现动态权重的更新直到达到预设的训练次数。
具体地，在更新得到动态权重之后，根据损失值以及其对应的动态权重加权计算得到整个多任务学习模型的第一总损失loss，进而根据该第一总损失loss对多任务学习模型进行反向传播，从而更新各网络层参数，获得新的多任务学习模型，利用新的多任务学习模型进行特征提取与预测，形成新的损失值，用于更新动态权重，直到达到预设的训练次数，整个动态权重的更新过程结束，模型的训练过程也结束。在动态权重停止更新之后，最终的多任务学习模型完成了对学习难易程度不同、重要性不同的任务的动态平衡。
进一步地，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之前，方法还包括：
计算所有任务对应的损失值之和，获得多任务学习模型的第二总损失。
根据所述第二总损失训练所述多任务学习模型得到新的多任务学习模型。
相应地，所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型，包括：
在所述新的多任务学习模型基础上，计算得到每个任务对应的新的损失值。
根据每个任务对应的新的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述新的多任务学习模型。
在本实施例中，在对各个任务的权重梯度G_S_i进行动态平衡之前，还需要先对多任务学习模型进行“热身”(即warm up)，以使得各个任务在进行动态平衡之前先达到收敛状态，避免因初期不同任务的收敛状态不同，直接加入任务的学习难度权重和重要性权重进行训练导致模型训偏的问题。
具体地，在warm up阶段，直接将动态权重设置为1，进而加权计算所有任务的总损失，该warm up阶段的总损失即为第二总损失，根据第二总损失不断训练模型，从而得到warm up阶段输出的多任务学习模型。
进而，在warm up阶段输出的多任务学习模型基础上，利用上述动态权重计算得到第一总损失，根据第一总损失再不断更新多任务学习模型中的参数，从而得到动态平衡阶段(即利用动态权重计算得到第一总损失的训练阶段)输出的多任务学习模型。
本发明实施例提供的一种多任务学习深度网络的训练方法，在利用动态权重计算得到第一总损失并根据第一总损失训练多任务学习模型之前，先根据所有任务对应的损失值之和(即第二总损失)来训练多任务学习模型，使得让各个任务在收敛得差不多之后再根据动态权重进行训练，能够避免因各个任务初期的收敛状态不同，直接根据第一总损失训练模型而导致模型训偏了的情况。
进一步地，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之后，方法还包括：
在根据所述第一总损失训练得到的多任务学习模型的基础上，计算得到每个任务对应的新的损失值。
计算所有任务对应的新的损失值之和，获得多任务学习模型的第三总损失。
根据所述第三总损失训练所述根据所述第一总损失训练得到的多任务学习模型。
在本实施例中，由于根据第一总损失训练得到多任务学习模型主要关注任务学习难度权重大和重要性权重大的任务，而重要性权重与学习难度权重小的任务则在训练过程受到一定的抑制，因此在获得根据第一总损失训练得到多任务学习模型之后，还需要对多任务学习模型进行恢复，该恢复过程即为多任务恢复阶段。
具体地，在多任务恢复阶段中，将所有动态权重设置为1，利用动态平衡阶段输出的多任务学习模型计算得到新的损失值，进而加权计算各个新的损失值，得到第三总损失，根据第三总损失对动态平衡阶段输出的多任务学习模型不断训练更新，从而最后得到训练好的多任务学习模型。
本发明实施例提供的一种多任务学习深度网络的训练方法，在利用动态权重计算得到第一总损失并根据第一总损失训练多任务学习模型之后，还对多任务学习模型进行恢复训练，从而抵消在加入任务的重要性和难易权重之后，重要性和难易权重值小的任务在训练过程受到的抑制。
图3是本发明另一实施例提供的多任务学习深度网络的训练方法的流程示意图二；如图3所示，在本发明提供的另一实施例中，一种多任务学习深度网络的训练方法，包括如下步骤：
S301，根据训练时期epoch将模型的整个训练过程分为三个阶段，分别为热身阶段(即warm up)、动态平衡阶段以及多任务恢复阶段。示例性地，热身阶段占1/4个总的训练时期数量，动态平衡阶段占1/2个总的训练时期数量，多任务恢复阶段占1/4个总的训练时期数量。
S302，在热身阶段(即e<0.25*E，e为当前训练时期，E为总的训练时期epoch)，将各个任务对应的动态权重设置为1，然后将训练图像按照批量大小batch-size依次输入初始的多任务学习模型，从而计算得到各个任务的损失值之和，即第二总损失，根据第二总损失对初始的多任务学习模型中的各层进行反向传播，更新各层参数，从而得到更新后的多任务学习模型，该更新后的多任务学习模型即为热身阶段输出的多任务学习模型。
S303，在动态平衡阶段(即0.25*E≤e<0.75*E)，先将训练图像按照批量大小batch-size依次输入热身阶段输出的多任务学习模型中，计算得到各个任务的损失值；进而更新得到动态权重，利用动态权重与各个任务的损失值加权计算得到第一总损失，根据第一总损失对热身阶段输出的多任务学习模型进行反向传播，从而更新其中的网络参数。在下一批训练图像输入模型时，再重新确定动态权重，完成新一轮的模型参数更新，在动态平衡阶段完成预定的训练次数之后得到的多任务学习模型即为动态平衡阶段输出的多任务学习模型。
其中，动态权重的更新过程为：先将所有动态权重w_i初始化为1；然后计算第i个任务的加权损失(即w_i*loss_i)对S层(即共享网络层的最后一层的梯度，作为权重梯度G_S_i；计算所有任务的S层的梯度平均值G_S_mean＝∑w_i*G_S_i/n(n为任务总数量)；再计算G_S的损失函数loss_G_S＝MSE(w_i*G_S_i-G_S_mean*V_i*D_i)，其中，MSE为均方误差，V_i为第i个任务的重要性权重(V_i越大表示任务越重要，值为0-1)，D_i为第i个任务的学习难度权重(D_i越大表示任务越难学习，值为0-1)；再计算loss_G_S相对于w_i的梯度，记为G_w_i；然后，根据G_w_i和学习率lr，更新动态权重w_i；最后归一化动态权重w_i(即对动态权重w_i添加softmax操作)，从而得到最终的动态权重，用以计算第一总损失。
S304，在多任务恢复阶段(即0.75*E≤e<E)，模型的训练过程与热身阶段类似，但是是基于动态平衡阶段输出的多任务学习模型训练更新。具体地，将各个任务对应的动态权重设置为1，然后将训练图像按照批量大小batch-size依次输入动态平衡阶段输出的多任务学习模型中，从而计算得到各个任务的损失值之和，即第三总损失，根据第三总损失对动态平衡阶段输出的多任务学习模型中的各层进行反向传播，更新各层参数，从而得到最终的多任务学习模型，用以部署在各种终端中实现应用。
本发明实施例提供的一种多任务学习深度网络的训练方法，通过先基于各任务损失值之和训练更新多任务学习模型，使得各个任务先收敛，再利用基于各任务损失值与其对应的动态权重计算得到的总损失来训练模型，从而能够避免直接加入任务学习难易程度和重要性后导致模型训偏了的情况。另外，还额外添加了多任务恢复阶段，用于根据各任务损失值之和再次训练更新多任务学习模型，从而能够提升学习难度权重与重要性权重小的任务的训练效果，使得最后训练完成的多任务学习模型在各个任务上均具有较为准确的检测效果。
图4是本发明实施例提供的目标检测方法的流程示意图；如图4所示，一种目标检测方法，包括如下步骤：
S401，获取目标检测场景下的待检测图像。
基于前述提到的多任务学习的训练图像是指用于车辆检测与车道线检测的训练图像，本实施例中，目标检测场景下的待检测图像为用于车辆检测与车道线检测的图片。在本发明的其他实施例中，待检测图像根据训练图像调整。
S402，将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果。
其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练方法训练得到。
在本步骤中，利用预先训练好的多任务学习模型对待检测图像进行检测，从而得到车辆检测的结果以及车道线检测的结果。
其中，预先训练好的多任务学习模型通过上述多任务学习深度网络的训练方法训练得到，在此不再赘述。
本发明实施例提供的目标检测方法，通过利用上述多任务学习深度网络的训练方法训练得到的多任务学习模型进行目标检测，从而保证各个任务的检测结果均有较高的准确率。
下面对本发明提供的多任务学习深度网络的训练装置进行描述，下文描述的多任务学习深度网络的训练装置与上文描述的多任务学习深度网络的训练方法可相互对应参照。
图5是本发明实施例提供的多任务学习深度网络的训练装置的结构框图，如图5所示，一种多任务学习深度网络的训练装置，包括：
训练图像获取模块501，用于获取多任务学习的训练图像。
在本实施例中，多任务学习的训练图像是指用于车辆检测与车道线检测的训练图像，即本实施例中的多任务学习是指车辆检测与车道线检测。在本发明的其他实施例中，多任务学习的训练图像可以是用于面部特征点定位的人脸数据，其对应的多任务学习即为各个面部部位的定位；多任务学习的训练图像还是可以是结合了目标检测、跟踪、语义分割、实例分割、聚类、深度估计等不同感知任务所对应的训练图像，本发明对此不作限定。
特征提取模块502，用于将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图。
基于上述关于多任务学习的定义可知，多任务学习模型具有共享网络参数的主干网络以及实现各个任务预测的分支网络，如图2所示。
通过主干共享网络从训练图像中提取得到特征图，用于分别输入至各个分支任务网络实现预测。
需要说明的是，本实施例中对于主干共享网络并不做限定，其可以为Resnet系列(resnet34，resnet50，resent101等)，darknet系列(DarkNet19，darknet53)。此外，主干共享网络也可以根据应用场景选择适当大小的网络，比如轻量级的结构如resnet18、resnet34、darknet19等，中型的结构如resnet50、darknet53等，重型结构如resent101、resnet152等。
分支预测模块503，用于将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果。
在本模块中，将主干共享网络提取到的特征图分别输入至各个分支任务网络中，各个分支任务网络基于特征图进行预测，得到对应的预测结果。以上述用于车辆检测与车道线检测的训练图像为例，分支任务网络包括车辆检测任务网络以及车道线检测任务网络，两个不同的分支任务网络通过对应的网络结构实现预测。
损失计算模块504，用于根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值。
在本模块中，利用各个分支任务网络对应的损失函数对预测结果与所述训练图像对应的标签(即真值)计算得到每个任务的损失值。
模型训练模块505，用于根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型。
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
在本模块中，每次训练时，各个任务的损失值都有不同的权重，该权重根据各个任务的损失值对主干共享网络中最后一层网络层(即距离分支任务网络最近的共享网络层)的梯度以及各个任务的重要性权重以及学习难度权重不断更新得到。
在更新得到动态权重之后，利用动态权重对所有损失值进行加权计算，从而得到整个多任务学习模型的总损失，作为第一总损失。基于第一总损失，并利用反向传播算法对整个多任务学习模型中的网络参数进行训练更新，从而使得多任务学习模型在训练过程中充分考虑到不同任务的重要程度以及学习难易程度。
本发明实施例提供的多任务学习深度网络的训练装置，通过根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型，其中，损失值的动态权重是根据每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到，使得多任务学习模型在训练过程中充分考虑到不同任务的重要性以及学习难易程度，从而能够保证重要性与难易程度均不同的任务均有较好的训练效果。
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
图6是本发明实施例提供的目标检测装置的结构框图，如图6所示，一种目标检测装置，包括：
图像获取模块601，用于获取目标检测场景下的待检测图像。
基于前述提到的多任务学习的训练图像是指用于车辆检测与车道线检测的训练图像，本实施例中，目标检测场景下的待检测图像为用于车辆检测与车道线检测的图片。在本发明的其他实施例中，待检测图像根据训练图像调整。
目标检测模块602，用于将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果。
其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练装置训练得到。
在本模块中，利用预先训练好的多任务学习模型对待检测图像进行检测，从而得到车辆检测的结果以及车道线检测的结果。
其中，预先训练好的多任务学习模型通过上述多任务学习深度网络的训练方法训练得到，在此不再赘述。
本发明实施例提供的目标检测装置，通过利用上述多任务学习深度网络的训练方法训练得到的多任务学习模型进行目标检测，从而保证各个任务的检测结果均有较高的准确率。
图7是本发明实施例提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行多任务学习深度网络的训练方法，所述多任务学习深度网络的训练方法，包括：获取多任务学习的训练图像；将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
或用以执行目标检测方法，该目标检测方法，包括：获取目标检测场景下的待检测图像；将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练方法训练得到。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述方法所提供的多任务学习深度网络的训练方法，所述多任务学习深度网络的训练方法，包括：获取多任务学习的训练图像；将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
或用以执行目标检测方法，该目标检测方法，包括：获取目标检测场景下的待检测图像；将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；其中，所述预先训练好的多任务学习模型基于上述多任务学习深度网络的训练方法训练得到。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种多任务学习深度网络的训练方法，其特征在于，包括：
获取多任务学习的训练图像；
将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；
将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；
根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；
根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
2.根据权利要求1所述的多任务学习深度网络的训练方法，其特征在于，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度不断更新，包括：
S1，初始化动态权重，获得初始权重值；
S2，根据所述初始权重值以及各个任务对应的损失值计算得到加权损失，并计算所述加权损失对所述主干共享网络的梯度，获得各个损失值对应的权重梯度；
S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失；
S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重；
S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数。
3.根据权利要求2所述的多任务学习深度网络的训练方法，其特征在于，所述S3，基于各个任务对应的学习难度权重、重要性权重计算所有损失值对应的权重梯度的均值与所述各个损失值对应的权重梯度之间的误差，获得各个损失值的权重梯度损失，包括：
计算所有损失值对应的权重梯度G_S_i的均值G_S_mean：
G_S_mean＝∑w_i*G_S_i/n
式中，w_i为第i个损失值对应的动态权重；G_S_i为第i个损失值对应的权重梯度，n为任务总数量；
根据所述均值G_S_mean与所述权重梯度G_S_i计算得到权重梯度损失loss_G_S：
loss_G_S＝MSE(w_i*G_S_i-G_S_mean*V_i*D_i)
式中，MSE为均方误差计算，V_i为第i个任务的重要性权重，取值范围为[0,1]，D_i为第i个任务的学习难度权重，取值范围为[0,1]。
4.根据权利要求2所述的多任务学习深度网络的训练方法，其特征在于，在所述S4，计算所述权重梯度损失相对于初始权重值的梯度，并根据计算得到的梯度值以及预设的学习率对所述初始权重值更新，获得各个损失值对应的更新后的权重值，作为动态权重之后，方法还包括：
根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失loss：
Figure FDA0003753719600000021
式中，w_i为第i个损失值对应的动态权重，loss_i为第i个任务对应的损失值，n为任务总数量；
根据所述第一总损失loss对所述多任务学习模型中各层网络层进行反向传播，更新各层网络层对应的参数得到更新后的网络参数，并基于所述更新后的网络参数计算得到新的损失值；
相应地，所述S5，重复所述S2-S4对所述动态权重进行计算更新直到达到预设的训练次数，包括：
S5，基于所述新的损失值以及所述动态权重，重复所述S2-S4实现动态权重的更新直到达到预设的训练次数。
5.根据权利要求1所述的多任务学习深度网络的训练方法，其特征在于，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之前，方法还包括：
计算所有任务对应的损失值之和，获得多任务学习模型的第二总损失；
根据所述第二总损失训练所述多任务学习模型得到新的多任务学习模型；
相应地，所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型，包括：
在所述新的多任务学习模型基础上，计算得到每个任务对应的新的损失值；
根据每个任务对应的新的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述新的多任务学习模型。
6.根据权利要求1或5所述的多任务学习深度网络的训练方法，其特征在于，在所述根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失，并根据所述第一总损失训练所述多任务学习模型之后，方法还包括：
在根据所述第一总损失训练得到的多任务学习模型的基础上，计算得到每个任务对应的新的损失值；
计算所有任务对应的新的损失值之和，获得多任务学习模型的第三总损失；
根据所述第三总损失训练所述根据所述第一总损失训练得到的多任务学习模型。
7.一种目标检测方法，其特征在于，包括：
获取目标检测场景下的待检测图像；
将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；
其中，所述预先训练好的多任务学习模型基于如权利要求1-6任一所述的多任务学习深度网络的训练方法训练得到。
8.一种多任务学习深度网络的训练装置，其特征在于，包括：
训练图像获取模块，用于获取多任务学习的训练图像；
特征提取模块，用于将所述训练图像输入至多任务学习模型的主干共享网络，提取得到主干共享网络输出的特征图；
分支预测模块，用于将所述特征图输入至多任务学习模型的各个分支任务网络，获得每个任务对应的预测结果；
损失计算模块，用于根据每个任务对应的预测结果以及所述训练图像对应的标签计算每个任务对应的损失值；
模型训练模块，用于根据每个任务对应的损失值以及损失值所对应的动态权重进行加权计算得到多任务学习模型的第一总损失；并根据所述第一总损失训练所述多任务学习模型；
其中，所述动态权重根据所述每个任务对应的损失值与主干共享网络之间的梯度以及各个任务对应的学习难度权重、重要性权重不断更新得到。
9.一种目标检测装置，其特征在于，包括：
图像获取模块，用于获取目标检测场景下的待检测图像；
目标检测模块，用于将所述待检测图像输入预先训练好的多任务学习模型，获取每个任务对应的检测结果；
其中，所述预先训练好的多任务学习模型基于如权利要求8所述的多任务学习深度网络的训练装置训练得到。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述多任务学习深度网络的训练方法或权利要求7所述的目标检测方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多任务学习深度网络的训练方法或权利要求7所述的目标检测方法。
CN202210851611.1A 2022-07-19 2022-07-19 多任务学习深度网络的训练方法及目标检测方法、装置 Pending CN115359334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210851611.1A CN115359334A (zh) 2022-07-19 2022-07-19 多任务学习深度网络的训练方法及目标检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210851611.1A CN115359334A (zh) 2022-07-19 2022-07-19 多任务学习深度网络的训练方法及目标检测方法、装置

Publications (1)

Publication Number Publication Date
CN115359334A true CN115359334A (zh) 2022-11-18

Family

ID=84032719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210851611.1A Pending CN115359334A (zh) 2022-07-19 2022-07-19 多任务学习深度网络的训练方法及目标检测方法、装置

Country Status (1)

Country Link
CN (1) CN115359334A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984804A (zh) * 2023-03-14 2023-04-18 安徽蔚来智驾科技有限公司 一种基于多任务检测模型的检测方法及车辆
CN116958748A (zh) * 2023-07-28 2023-10-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多任务因果学习的图像检测方法、装置、设备及介质
CN117574179A (zh) * 2024-01-16 2024-02-20 北京趋动智能科技有限公司 多任务学习模型构建方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984804A (zh) * 2023-03-14 2023-04-18 安徽蔚来智驾科技有限公司 一种基于多任务检测模型的检测方法及车辆
CN116958748A (zh) * 2023-07-28 2023-10-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多任务因果学习的图像检测方法、装置、设备及介质
CN116958748B (zh) * 2023-07-28 2024-02-13 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多任务因果学习的图像检测方法、装置、设备及介质
CN117574179A (zh) * 2024-01-16 2024-02-20 北京趋动智能科技有限公司 多任务学习模型构建方法及装置
CN117574179B (zh) * 2024-01-16 2024-05-28 北京趋动智能科技有限公司 多任务学习模型构建方法及装置

Similar Documents

Publication Publication Date Title
CN115359334A (zh) 多任务学习深度网络的训练方法及目标检测方法、装置
CN111914878B (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN108197594B (zh) 确定瞳孔位置的方法和装置
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN110689136B (zh) 一种深度学习模型获得方法、装置、设备及存储介质
CN113516713B (zh) 一种基于伪孪生网络的无人机自适应目标跟踪方法
CN110210278A (zh) 一种视频目标检测方法、装置及存储介质
CN111950711A (zh) 复值前向神经网络的二阶混合构建方法及系统
CN112862728B (zh) 伪影去除方法、装置、电子设备和存储介质
CN113487739A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN115496925A (zh) 图像处理方法、设备、存储介质及程序产品
CN111583282A (zh) 图像分割方法、装置、设备及存储介质
CN109165654A (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN110210548B (zh) 一种基于强化学习的图片动态自适应压缩方法
CN114743074A (zh) 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN115001937A (zh) 面向智慧城市物联网的故障预测方法及装置
CN111340950A (zh) 数字高程模型重建方法及装置
CN113516163B (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN116416212B (zh) 路面破损检测神经网络训练方法及路面破损检测神经网络
CN110222734B (zh) 贝叶斯网络学习方法、智能设备及存储装置
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN114155276A (zh) 一种单目标追踪方法、装置、电子设备及存储介质
CN111382834B (zh) 一种置信度比较方法及装置
CN109756494B (zh) 一种负样本变换方法及装置
CN106529374A (zh) 一种级联式人脸关键点定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination