CN112132258A - 一种基于可变形卷积的多任务学习模型构建及优化方法 - Google Patents

Abstract

本发明公开了一种基于可变形卷积的多任务学习模型构建及优化方法，属于深度学习技术领域，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架；在多任务优化设计上，利用权重置零操作，实现子任务优化的动态平衡。通过本发明的方法，显著提升了多任务学习模型的性能。

Description

一种基于可变形卷积的多任务学习模型构建及优化方法

技术领域

本发明属于深度学习技术领域，涉及通过深度学习中的可变形卷积进行多任务学习网络模型，具体涉及一种基于可变形卷积的多任务学习模型构建及优化方法。

背景技术

当前的网络模型大多基于单任务设计，即一个网络模型只针对一个具体任务。但是在现实世界中，视觉任务间是彼此相关的，单任务网络模型把现实问题彼此孤立，忽略了问题之间丰富的关联信息，阻碍了性能的进一步提升。多任务网络将多个相关任务放在一起训练学习，探索和挖掘包含在多个相关任务中的丰富关联信息，帮助提高所有相关任务的泛化性能。这些特性使得多任务学习逐渐成为深度学习领域的研究热点之一。

多任务学习模型需要聚焦两方面的内容：

(1)网络结构设计，多任务学习旨在提升网络中所有相关任务的泛化性能，既要兼顾所有相关任务的共享特征表达，对所有任务都有效；又要针对不同子任务提取特定任务特征，进一步提升任务性能。当前多任务学习网络结构的设计主要分为两大类，第一类是硬参数共享机制，通过一系列共享卷积层，把多个任务的特征表示嵌入到同一个语义空间中，以此为基础，针对不同子任务，开辟不同特定任务网络通路，优化对应子任务。第二类是软参数共享机制，为每个子任务都学习一个特定任务网络，但子任务间并不孤立，都可以访问其他子任务对应网络中的信息，例如特征表示、梯度信息，参数信息等。

(2)多任务优化，一个多任务网络需要同时优化多个子任务，最终优化目标是所有子任务优化目标的组合，考虑到不同子任务的任务特点，训练难度，收敛速度均存在差异，需要对不同子任务的权重动态调整，保证所有相关任务处于同等重要位置，而不让简单任务主导整个训练过程，造成子任务间性能的巨大差异。

在网络结构设计方面，现有的多任务学习模型已经进行了很多成功尝试与实践，但是仍然存在一个显著问题，无论是基于硬参数共享机制或软参数共享机制，多任务网络结构大多是通过堆叠和组合标准卷积层得到。标准卷积层虽具备特征提取能力，但是在卷积过程中，采样点固定，因此只能在限定区域进行特征提取，无法适应不同目标的形变，限制了网络的感受野范围和空间建模能力，多任务旨在同时处理多个相关任务，这种限制带来的挑战更加严峻，即使进行多层卷积的堆叠和组合，仍然无法有效增强网络的空间建模能力，也无法根据每个子任务的需求自适应的进行有区分性的特定任务特征提取，阻碍了多任务学习模型性能进一步提升。

在多任务优化方面，最终优化目标是所有子任务优化目标的加权组合，必须考虑到不同子任务的动态平衡。在训练过程中，让所有子任务的收敛速度，性能提升保持在相对均衡的状态，不让模型过于偏向某些子任务，而是要对所有子任务都有效。很多方法通过固定子任务权重进行模型训练优化，权重取值来源大多是通过先验知识，无法确定是否是最优组合且无法根据模型训练过程进行动态调整，不利于模型优化；因此还有很多方法开始关注子任务权重的动态调整，但是权重的具体计算过程十分繁琐，拖慢了训练速度。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于可变形卷积的多任务学习模型构建及优化方法，解决以下两方面技术问题：(1)针对多任务网络结构中空间建模能力受限，无法提取更具区分性的特定任务特征问题，本发明在多任务学习领域引入可变形卷积，构建特定任务可变形模块，每个模块包含可变形卷积层和特征对齐层两部分。特定任务可变形模块与特征共享块直接相连，进行特定任务特征提取，构成整个多任务学习网络框架；(2)针对多任务优化中无法动态平衡问题，本发明提出权重置零策略，实现子任务优化的动态平衡。

为了解决上述技术问题，本发明采用的技术方案是：

本发明首先提供一种基于可变形卷积的多任务学习模型构建方法，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。

具体包括以下步骤：

步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；

然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；

步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；

对于子任务Γ_i，其第j个特定任务可变形模块的输入特征

经过可变形部分后，得到的特征

其中

表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；

步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特定对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；

步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征F_out，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征

通过上述步骤完成了多任务网络模型构造，然后本发明还提供一种基于可变形卷积的多任务学习模型优化方法，采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过程中子任务间的动态平衡，让所有子任务处于同等重要位置。

进一步的，所述基于可变形卷积的多任务学习模型优化方法，具体包括以下步骤：

步骤5：子任务权重初始化：根据任务复杂程度，为每个子任务的损失函数设置超参数，作为初始子任务的权重，对网络进行优化，得到最终优化目标；

步骤6：任务难易实时判定：计算每个子任务的相对损失下降率，相对损失下降率代表的是子任务的优化速度和任务难度；通过对子任务的相对损失下降率实时排名，得到在当前训练轮数下，子任务的难易程度排名，从中选取相对损失下降率最高，即当前训练条件下最简单的任务；

步骤7：最易任务权重置零：将最易任务的权重进行置零操作，不改变其余任务的权重值，得到新的多任务优化目标；

步骤8：最易任务放回：根据训练轮数，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，多任务学习模型的优化目标重新变为步骤5的优化目标；

步骤9：迭代步骤6-8，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，抑制其优化，同时让模型将训练重心聚焦在困难任务中。

进一步的，权重置零以两轮训练作为等待期，经过两轮训练后，恢复原本置零的子任务损失函数的权重，放回到原多任务学习损失函数中，继续进行训练。

进一步的，设定多任务包括三个子任务Γ＝[Γ₁,Γ₂,Γ₂]，分别为目标识别、图像分割、图像深度估计，步骤5具体的步骤如下：

定义最终优化目标L_total＝αL₁+βL₂+γL₃，其中L₁，L₂，L₃分别表示三个子任务的损失函数；α，β，γ分别对应三个损失函数的权重；在目标识别任务中，选择交叉熵函数作为L₁；在图像分割任务中，选择逐像素的交叉熵损失函数作为L₂；在图像深度估计任务中，选择L1正则化损失函数L₃，则最终优化目标表示为：

其中，p代表网络预测概率，q为真实标签。

进一步的，步骤6中，在训练过程中，以三轮迭代为单位，计算每个子任务的相对损失下降率

其中l_i表示三个子任务中第i个子任务的损失值，t表示迭代轮数；经过步骤6后，得到在经过t轮训练后的最易子任务：max(d₁,d₂,d₃)。

与现有技术相比，本发明优点在于：

(1)本发明基于可变形卷积网络设计多任务学习模型网络结构，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块，构建一系列特定任务可变形模块与不同层的共享特征相连，可变形卷积为每一个卷积采样点学习一个额外偏移量，可以根据图像内容进行自适应变化，而不局限于规则区域，增强了多任务学习模型的空间建模能力。同时，可变形卷积这种根据图像内容对采样点位置进行自适应调整的特性，扩大了网络的感受野范围，提升了网络对特征的挖掘和转化能力，能够为不同子任务提取出更具区分性的特定任务特征，可以视为一个特定任务提取器，增强了子任务间区分性的特征表达，有利于特定任务特征的深度提取，提升子任务性能，进而提升整个多任务学习模型的性能。

(2)本发明在多任务优化设计上，利用权重置零操作，实现子任务优化的动态平衡。在训练过程中根据相对损失下降率对任务难易程度进行实时排名，将最易任务的损失函数权重置零，达到抑制简单任务，促进困难任务优化的目标，同时，这种设计方法不会引入新的参数和复杂计算，不会拖慢训练速度。

综上所述，本发明针对多任务学习中存在的空间建模能力不足、特征提取能力有限、子任务优化不平衡等问题，通过在多任务网络结构和多任务优化两方面的创新设计，显著提升了多任务学习模型的性能。同时，本发明的多任务学习模型能够适应不同相关任务，在不同的计算机视觉任务中都具有良好的适应性和健壮性，可用于目标识别任务、图像分割任务和图像深度估计任务等之间的多任务学习。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的多任务学习模型网络结构图；

图2为本发明实施例2的多任务优化过程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

实施例1

本实施例从多任务学习模型的网络结构设计方面进行设计，显著增强多任务学习模型的空间建模转化能力，提取挖掘出更具区分性的特定任务特征。

在本发明中基于可变形卷积的多任务学习模型构建方法，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中。如图1所示，首先利用特征共享网络提取不同层次的特征共享块；将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；最后，通过特定任务可变形模块与不同层次的特征共享块直接对应连接，在这个过程中实现根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，完成整个多任务学习网络框架的搭建。

具体包括以下步骤：

步骤1、构建特征共享网络

多任务学习模型需要对所有子任务都有效，保证泛化性能。特征共享网络由不同层次的特征共享块组成，其具体结构既可以自己构建，也可以根据任务类型灵活选择诸如VGG，ResNet，SegNet等现有经典卷积神经网络。

特征共享网络的作用是为所有子任务构建包含不同层次特征的特征共享池G，设一共有L层，则第j层共享特征可以表示为：

其中Φ表示一个卷积单元，包含卷积层，池化层和归一化层。通过构建特征共享网络，得到不同层，不同感受野大小的共享特征，将特征聚集，得到特征共享池，为所有子任务网络进行后续特定任务特征提取提供了接口。

然后，以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；每一个特定任务可变形模块由可变形卷积层和特征对齐层两部分组成。

经过步骤1，特征共享网络构建了特征共享池G，包含不同层次的特征共享块。

步骤2、特定任务特征

首先，选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量。偏移量是指目标任务图像内容，特征图中每一个采样点在原先固定位置的基础上，需要在水平方向和竖直方向发生的位置变化。对于一个H*W*N的特征图，可变形卷积层会根据图像内容，学习特征图每一个采样点需要进行的位置偏移，得到H*W*2N的偏移输出。其中，H和W表示特征图的大小，N表示特征图的通道数，由于偏移会学习每个特征采样点在水平、竖直两个方向的位置变化，因此学习到的偏移输出通道数为2N。

然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作。通过可变形卷积层，实现了卷积操作由固定采样到不规则采样的变化，且从目标任务中学习到的到偏移量不需要额外监督信息，便于通过反向传播进行端到端的训练。可变形卷积增强了网络空间建模能力，能够根据子任务的内容特点自适应的区分性特征提取。

对于子任务Γ_i，其第j个特定任务可变形模块的输入特征

经过可变形部分后，得到的特征

其中

表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元。

一个有效的多任务学习网络结构必须同时考虑任务共享部分和任务特定部分。步骤1提出的特征共享网络是保证通用性的关键。同时，为了提高多任务学习模型的效率，提取有区分性的特定任务特征是不可或缺的。为了提取区分性的特定任务特征，以往的网络大多是通过组合各种标准卷积网络结构来构建的。然而固定的采样位置，限制了网络的感受野，这种限制使得模型只能从固定区域获取特征信息，无法获得更具区分性的特定任务的特征。而可变形卷积层，可以根据子任务的内容特点，为每一个采样点学习一个偏移量，使得可变形卷积的采样位置能够根据子任务内容进行自适应调整，扩大了感受野范围，提升了网络的空间建模能力，有利于区分性特定任务特征的提取。

经过步骤2之后，初步得到了区分性的特定任务特征。

步骤3、特征大小对齐和特征语义对齐

特征对齐问题，包含特征大小对齐和特征语义对齐两方面内容。特征大小对齐是指，每一个特定任务可变形模块的输出特征需要与下一层的特征共享块块进行通道叠加实现特征融合，因此需要调整经过步骤2得到的特征尺寸大小，保证两者特征大小相同，实现对齐操作；此外，步骤2的特征和下一层的共享特征还存在语义不对齐问题，即两者的感受野不同，直接叠加会造成特征不一致。

因此，首先将经过步骤2的可变形卷积层的输出特征送入特定对齐层，实现与下一层的共享特征语义对齐。

然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐。

具体来说，一个特定任务可变形模块的最终输出

其中σ由3×3卷积层，归一化层和激活层组成。

步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征F_out，为了进一步丰富特征表达，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，具体来说，下一个特定任务可变形模块的输入特征

特别的，如果当前是第一个特定任务可变形模块，则直接以第一层特征共享块作为输入。从总体上看，每个子任务网络都是由一系列特定任务可变形模块构成，并在顺序连接的过程中实现与特征共享块的融合和特定任务特征提取。

实施例2

通过实施例1所述的步骤完成了多任务网络模型构造，接下来本实施例进行多任务优化设计。

本本实施例提供一种基于可变形卷积的多任务学习模型优化方法，采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过程中子任务间的动态平衡，让所有子任务处于同等重要位置。

具体包括以下步骤：

步骤5：子任务权重初始化：根据任务复杂程度，为每个子任务的损失函数设置超参数，作为初始子任务的权重，对网络进行优化，得到最终优化目标。

步骤6：任务难易实时判定：计算每个子任务的相对损失下降率，相对损失下降率代表的是子任务的优化速度和任务难度。如果相对下降率很大，说明经过几轮迭代之后，子任务的收敛速度很快，训练难度较小，反之，如果相对损失下降率很小，说明经过几轮迭代之后，子任务的收敛速度很慢，训练难度较大。

通过对子任务的相对损失下降率实时排名，得到在当前训练轮数下，子任务的难易程度排名，从中选取相对损失下降率最高，即当前训练条件下最简单的任务。

步骤7：最易任务权重置零：将最易任务的权重进行置零操作，不改变其余任务的权重值，得到新的多任务优化目标。

步骤8：最易任务放回：根据训练轮数，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，多任务学习模型的优化目标重新变为步骤5的优化目标。

步骤9：迭代步骤6-8，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，抑制其优化，同时让模型将训练重心聚焦在困难任务中。

为了更清晰表示，下面结合图2、以三个子任务Γ＝[Γ₁,Γ₂,Γ₂]为例进行说明优化方法，三个子任务分别为目标识别、图像分割、图像深度估计。具体如下：

步骤5：子任务权重初始化：

定义最终优化目标L_total＝αL₁+βL₂+γL₃，其中L₁，L₂，L₃分别表示三个子任务的损失函数；α，β，γ分别对应三个损失函数的权重；在目标识别任务中，选择交叉熵函数作为L₁；在图像分割任务中，选择逐像素的交叉熵损失函数作为L₂；在图像深度估计任务中，选择L1正则化损失函数L₃，则最终优化目标表示为：

其中，p代表网络预测概率，q为真实标签。

步骤6：任务难易实时判定。在训练过程中，以三轮迭代为单位，计算每个子任务的相对损失下降率

其中l_i表示三个子任务中第i个子任务的损失值，t表示迭代轮数；经过步骤6后，得到在经过t轮训练后的最易子任务：max(d₁,d₂,d₃)。

步骤7：最易任务权重置零。经过步骤6后，得到在经过t轮训练后的最易子任务，为清晰表示，设置d₁最大，即此时子任务Γ₁为最易任务，其损失函数的权重为α，为了让子任务间的优化实现动态平衡，需要稍微抑制简单任务，促进困难任务。设置α＝0，进行权重置零操作，此时新的多任务优化目标为L_total＝βL₂+γL₃。值得注意的是，在把子任务Γ₁的权重α设置为0后，不需要再改变剩余两个任务的值，因此不会引入新的参数值，增加计算量和复杂度，但此时多任务网络中剩余两个子任务的比重均会得到不同程度的提升，多任务学习模型在后续优化过程中会将重心放在这些相对较难的任务中去。促进较难子任务的训练优化，从而在整体上实现多任务间的动态平衡。

步骤8：最易任务放回。经过步骤7得到了新的多任务优化目标，通过将最易任务的损失函数权重置为0，简单抑制了最易任务，不让多任务学习模型的训练重心偏向简单任务，同时相对促进困难任务的优化。但是随着训练的进行，不同子任务的收敛速度，损失下降率会发生变化，因此最易任务也会发生变化，在这种情况下，不能永久将此前的最易任务损失函数权重置0，而是要根据训练轮数动态计算。基于这种准则，在将某一个最易任务权重置零，得到新的多任务优化目标。

继续训练两轮之后，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，即经过两轮迭代之后，多任务学习模型的优化目标重新变为：L_total＝αL₁+βL₂+γL₃，通过这样的调整，不仅实现了对简单任务的抑制和困难任务的促进，还可以根据训练过程实时动态调整。

步骤9：迭代步骤6-8，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，稍微抑制其优化，同时让模型将训练重心聚焦在困难任务中。考虑到任务间的难易程度，收敛速度会随着训练的进行动态变化，因此权重置零以两轮训练作为等待期，经过两轮训练后，恢复原本置零的子任务损失函数的权重，放回到原多任务学习损失函数中，继续进行训练。

本实施例2首先为不同子任务初始化对应权重系数，然后在训练过程中，以三轮迭代为单位，计算每个子任务的相对损失下降率，根据损失下降率定义任务的难易程度，将最易子任务的权重置零，剩余子任务继续训练。经过两轮迭代后，恢复被置零的权重参数。重复上述步骤。通过这种权重置零策略，能够实现训练过程中子任务间的动态平衡，实时改变网络的训练重心，加速困难任务的训练优化，稍微抑制简单任务的训练优化，使所有子任务的优化程度处于均衡状态，让所有子任务处于同等重要位置。

综上所述，本发明从多任务学习模型的网络结构设计和多任务优化两个方面进行改进，可以显著增强多任务学习模型的空间建模转化能力，提取挖掘出更具区分性的特定任务特征，同时在多任务优化方面，通过权重置零操作，动态调整所有子任务的训练状态，确保网络对所有子任务都进行优化训练而不偏向简单任务，通过这两方面的创新，显著提升了多任务网络的空间建模能力，扩大了感受野范围，可以针对特定任务提取更具区分性的特征，提升了多任务学习模型对所有子任务的优化能力。本发明显著提升了多任务学习模型的性能表现，在不同计算机视觉任务上展现出良好的适应性和健壮性。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (7)

1.一种基于可变形卷积的多任务学习模型构建方法，其特征在于，在多任务学习模型的网络结构设计时，将可变形卷积引入到多任务学习中，将可变形卷积层和特征对齐层顺序连接构建特定任务可变形模块；特定任务可变形模块与特征共享块直接相连，根据子任务的内容特点自适应调整，进行区分性特定任务特征提取与特征融合，构成整个多任务学习网络框架。

2.根据权利要求1所述的基于可变形卷积的多任务学习模型构建方法，其特征在于，具体包括以下步骤：

步骤1、构建特征共享网络，为所有子任务构建包含不同层次特征的特征共享池G，包含不同层次的特征共享块；

然后以不同层次的特征共享块为基础，构建子任务网络，子任务网络由一系列特定任务可变形模块构成，特定任务可变形模块与特征共享池中不同层次的特征共享块一一对应，直接相连；

步骤2、选择每一个特征共享块的第一层特征作为输入特征，送入到与之对应的特定任务可变形模块中，根据子任务内容自适应调整可变形卷积的采样位置，提取区分性的特定任务特征：该输入特征首先被送入特定任务可变形模块中的可变形卷积层，可变形卷积层首先通过一个平行的标准卷积单元计算偏移量；然后，以此偏移输出为指导，对原固定采样点进行水平、竖直方向上的位置调整，得到最终的采样点位置，进行卷积操作；

对于子任务Γ_i，其第j个特定任务可变形模块的输入特征

经过可变形部分后，得到的特征

其中

表示可变形卷积操作，Δ表示由卷积层、归一化层和激活层构成的卷积单元；

步骤3、特征大小对齐和特征语义对齐：首先将经过步骤2的可变形卷积层的输出特征送入特征对齐层，实现与下一层的共享特征语义对齐；然后调整经过步骤2得到的特征尺寸大小，将每一个特定任务可变形模块的输出特征与下一层的特征共享块进行通道叠加实现特征融合，保证两者特征大小相同，实现特征大小对齐；

步骤4：经过步骤2、步骤3之后，得到经过一个特定任务可变形模块之后的输出特征F_out，在送入下一个特定任务可变形模块之前，和下一层的特征共享块进行融合操作，下一个特定任务可变形模块的输入特征

3.一种基于可变形卷积的多任务学习模型优化方法，其特征在于，对利用权利要求1或2所述的基于可变形卷积的多任务学习模型构建方法构建的模型采用权重置零方法进行多任务优化：在训练过程中根据相对损失下降率对子任务难易程度进行实时排名，将最易子任务的损失函数权重置零，剩余子任务继续训练；经过两轮迭代后，恢复被置零的权重参数；重复上述步骤，实现训练过程中子任务间的动态平衡，让所有子任务处于同等重要位置。

4.根据权利要求3所述的基于可变形卷积的多任务学习模型优化方法，其特征在于，具体包括以下步骤：

步骤5：子任务权重初始化：根据任务复杂程度，为每个子任务的损失函数设置超参数，作为初始子任务的权重，对网络进行优化，得到最终优化目标；

步骤6：任务难易实时判定：计算每个子任务的相对损失下降率，相对损失下降率代表的是子任务的优化速度和任务难度；通过对子任务的相对损失下降率实时排名，得到在当前训练轮数下，子任务的难易程度排名，从中选取相对损失下降率最高，即当前训练条件下最简单的任务；

步骤7：最易任务权重置零：将最易任务的权重进行置零操作，不改变其余任务的权重值，得到新的多任务优化目标；

步骤8：最易任务放回：根据训练轮数，恢复原本置零的子任务损失函数的权重，加入多任务网络的训练，多任务学习模型的优化目标重新变为步骤5的优化目标；

步骤9：迭代步骤6-8，随着多任务学习模型的训练过程，实时计算当前的最易任务，通过权重置零的方式，抑制其优化，同时让模型将训练重心聚焦在困难任务中。

5.根据权利要求4所述的基于可变形卷积的多任务学习模型优化方法，其特征在于，权重置零以两轮训练作为等待期，经过两轮训练后，恢复原本置零的子任务损失函数的权重，放回到原多任务学习损失函数中，继续进行训练。

6.根据权利要求4所述的基于可变形卷积的多任务学习模型优化方法，其特征在于，多任务包括三个子任务Γ＝[Γ₁,Γ₂,Γ₂]，分别为目标识别、图像分割、图像深度估计，步骤5具体的步骤如下：

定义最终优化目标L_total＝αL₁+βL₂+γL₃，其中L₁，L₂，L₃分别表示三个子任务的损失函数；α，β，γ分别对应三个损失函数的权重；在目标识别任务中，选择交叉熵函数作为L₁；在图像分割任务中，选择逐像素的交叉熵损失函数作为L₂；在图像深度估计任务中，选择L1正则化损失函数L₃，则最终优化目标表示为：

其中，p代表网络预测概率，q为真实标签。

7.根据权利要求6所述的基于可变形卷积的多任务学习模型优化方法，其特征在于，步骤6中，在训练过程中，以三轮迭代为单位，计算每个子任务的相对损失下降率

其中l_i表示三个子任务中第i个子任务的损失值，t表示迭代轮数；经过步骤6后，得到在经过t轮训练后的最易子任务：max(d₁,d₂,d₃)。

Images