CN116070696A

CN116070696A - 一种跨域数据深度迁移方法、装置、设备及存储介质

Info

Publication number: CN116070696A
Application number: CN202310034859.3A
Authority: CN
Inventors: 戴健; 吴锐; 祝本明; 任珍文
Original assignee: China South Industries Group Automation Research Institute
Current assignee: China South Industries Group Automation Research Institute
Priority date: 2023-01-10
Filing date: 2023-01-10
Publication date: 2023-05-05

Abstract

本发明公开了一种跨域数据深度迁移方法、装置、设备及存储介质，该方法可以包括构建目标检测识别深度模型；获取源域数据集以及目标域数据集；构建基于压缩激励的轻量级模型适配器的迁移学习架构，采用分割池方法和候选区域采样构造特征对机制；在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离。该方法可以在复杂应用场景中，计算资源受限、小样本等限制条件下，实现弱/半监督条件下轻量级小样本跨域迁移学习目标识别感知。提高了模型跨域迁移学习的能力和迁移效率，保证目标识别精度和泛化能力，同时可以保证特征迁移的高效性和稳定性，值得大面积推广使用。

Description

一种跨域数据深度迁移方法、装置、设备及存储介质

技术领域

本发明涉及跨域迁移技术领域，特别是涉及一种跨域数据深度迁移方法、装置、设备及存储介质。

背景技术

地面目标识别是基于遥感技术、人工智能技术等现代化手段对地面目标进行采集、分类及识别。地面目标识别过程主要包括：可见光图像样本采集、样本预处理、训练分类器、目标识别几个步骤。人们对智能检测和目标识别的技术需求越来越大，汽车辅助驾驶、智能交通监控、军事等领域的核心是自动检测和识别某些应用场景内的存在的地面目标。

随着机器视觉技术的快速发展，传统很多需要人工来手动操作的工作，渐渐地被机器所替代。传统方法做目标识别大多都是靠人工实现，从形状、颜色、长度、宽度、长宽比来确定被识别的目标是否符合标准，最终定义出一系列的规则来进行目标识别。这样的方法当然在一些简单的案例中已经应用的很好，唯一的缺点是随着被识别物体的变动，所有的规则和算法都要重新设计和开发，即使是同样的产品，不同批次的变化都会造成不能重用的现实。

而随着机器学习、深度学习的发展，很多肉眼很难去直接量化的特征，深度学习可以自动学习这些特征，这就是深度学习带给我们的优点和前所未有的吸引力。很多特征我们通过传统算法无法量化，或者说很难去做到的，深度学习可以。特别是在图像分类、目标识别这些问题上有显著的提升。2014年R-CNN的提出，使得基于CNN的目标检测算法逐渐成为主流。深度学习的应用，使检测精度和检测速度都获得了改善。

目标检测主要是针对图像视觉的一种方法，根据学习到的目标，将目标区域进行位置定位和类别识别，同时需要给出目标的置信度。目标检测的主流手段是神经网络，其依赖于大数据量的训练，但在复杂战场应用场景中，面临计算资源受限、小样本等限制，且传统识别方法提取的特征又具有很强的易变性，分类效果不佳。

因此，如何提供一种跨域数据迁移方法，提高模型跨域迁移学习的能力和迁移效率，保证目标识别精度和泛化能力，是迫切需要本领域技术人员解决的技术问题。

发明内容

鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种跨域数据深度迁移方法、装置、设备及存储介质。

本发明提供了如下方案：

一种跨域数据深度迁移方法，包括：

构建目标检测识别深度模型；

获取源域数据集以及目标域数据集；

构建基于压缩激励的轻量级模型适配器的迁移学习架构，采用分割池方法和候选区域采样构造特征对机制；

在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离，利用所述基于压缩激励的轻量级模型适配器动态实现高维特征加权，完成跨域征筛选生成。

优选地：将所述源域数据集以及所述目标域数据集拆分为同构数据以及异构数据；

所述异构数据采用独立源域编码器与目标域编码器，所述同构数据共享编码器，构造域内差异损失和域间一致性损失。

优选地：所述基于压缩激励的轻量级模型适配器包括全局池化、全连接、RELU层。

优选地：在引入通道降维因子的基础上构造基于压缩激励的轻量级模型适配器组，在为每个数据域添加基于压缩激励的轻量级模型适配器分支和域间转换器，以使其能够选择关联域的适配器。

优选地：连接各域适配器输出形成通用表示空间。

优选地：所述通用表示空间用于信号处理的滤波器组的非线性泛化，每个非线性分支沿着特定域的统计信息匹配的子空间投影输出，利用注意力机制生成域敏感权重，实现多域特征激发。

一种跨域数据深度迁移装置，包括：

模型构建单元，用于构建目标检测识别深度模型；

数据获取单元，用于获取源域数据集以及目标域数据集；

特征对机制构造单元，用于构建基于压缩激励的轻量级模型适配器的迁移学习架构，采用分割池方法和候选区域采样构造特征对机制；

特征筛选生成单元，用于在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离，利用所述基于压缩激励的轻量级模型适配器动态实现高维特征加权，完成跨域征筛选生成。

一种跨域数据深度迁移设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述的跨域数据深度迁移方法。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的跨域数据深度迁移方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本申请实施例提供的一种跨域数据深度迁移方法、装置、设备及存储介质，可以在复杂应用场景中，计算资源受限、小样本等限制条件下，实现弱/半监督条件下轻量级小样本跨域迁移学习目标识别感知。提高了模型跨域迁移学习的能力和迁移效率，保证目标识别精度和泛化能力，同时可以保证特征迁移的高效性和稳定性，值得大面积推广使用。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种跨域数据深度迁移方法的流程图；

图2是本发明实施例提供的同构异构特征提取网络示意图；

图3是本发明实施例提供的神经元计算模型示意图；

图4是本发明实施例提供的SE适配器示意图；

图5是本发明实施例提供的SE适配器组示意图；

图6是本发明实施例提供的通用SE适配器示意图；

图7是本发明实施例提供的图像级与实例级迁移示意图；

图8是本发明实施例提供的跨域生成对抗学习网络架构示意图；

图9是本发明实施例提供的一种跨域数据深度迁移装置的示意图；

图10是本发明实施例提供的一种跨域数据深度迁移设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明实施例提供的一种跨域数据深度迁移方法，如图1所示，该方法可以包括：

S101:构建目标检测识别深度模型；

S102:获取源域数据集以及目标域数据集；

S103:构建基于压缩激励的轻量级模型适配器的迁移学习架构，采用分割池方法和候选区域采样构造特征对机制；

S104:在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离，利用所述基于压缩激励的轻量级模型适配器动态实现高维特征加权，完成跨域征筛选生成。

进一步的，将所述源域数据集以及所述目标域数据集拆分为同构数据以及异构数据；

所述基于压缩激励的轻量级模型适配器包括全局池化、全连接、RELU层。在引入通道降维因子的基础上构造基于压缩激励的轻量级模型适配器组，在为每个数据域添加基于压缩激励的轻量级模型适配器分支和域间转换器，以使其能够选择关联域的适配器。连接各域适配器输出形成通用表示空间。所述通用表示空间用于信号处理的滤波器组的非线性泛化，每个非线性分支沿着特定域的统计信息匹配的子空间投影输出，利用注意力机制生成域敏感权重，实现多域特征激发。

本申请实施例提供的跨域数据深度迁移方法，为实现对地侦察场景中目标快速识别，该方法首先构建目标检测识别深度模型，设计基于压缩激励的轻量级模型适配器(SE)迁移学习架构，采用分割池方法和候选区域采样，构造特征对机制，在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离，利用SE适配器动态实现高维特征加权，完成有效特征筛选生成，最终提高模型跨域迁移学习的能力和迁移效率，保证目标识别精度和泛化能力。

如图2所示，同构异构数据迁移网络特征提取。

战场场景中数据根据迁移范围，可分为同构数据(类内迁移)与异构数据(类间迁移)，该方法根据实际应用场景出发，充分考虑数据的同构异构类型，采用域分离网络架构，根据源域数据集X^S与目标域数据集X^T，将数据拆分为异构数据

与同构数据

异构数据采用独立源域编码器

与目标域编码器

同构数据共享编码器E_c，构造域内差异损失L_difference和域间一致性损失L_similarity。设计基于对抗的深度迁移学习算法。

模型首先初始化特征提取器Θ和分类回归器θ(分类器θ_cls、回归器θ_reg)，选取样本集

利用梯度下降进行模型优化：

其中α为学习率，经过训练得到Θ模型，固定该模型用于后续的元学习和元测试。图3表示

在神经元中的参数计算，包含

与

假设特征提取器Θ中第i层包含K个神经元，则有K对参数，分别为权重(weights)与偏置(bias)，利用{(W_i,k,b_i,k)}，则MTL模型学习的参数为K组

假设输入为X，则尺度缩放与偏移(SS)结果为：

基于压缩激励模型的特征迁移筛选

域分离网络架构能够根据源域与目标域数据实现异构同构数据分离特征提取，但同时，跨域特征提取会产生大量有效和无效特征，有效特征能够充分表征跨域图像和目标的信息，无效特征则会严重影响跨域迁移的精度和性能，该问题在异构数据域迁移时尤为突出。为保证特征迁移的高效性和稳定性，如图4、图5所示，该方法提出基于压缩激励的轻量级模型适配器(SE)，用于补偿域迁移，在基础架构Faster R-CNN中，候选区域提出网络RPN输出特定域信息，其余卷积层共享权值，该架构难以应对域偏移问题，采用的轻量级SE模块，能够极大程度减少域偏移带来的精度损失，解释了通道之间的相互依赖关系，调节通道响应，实现基于特征的注意力机制。

如图6所示，通用SE适配器由全局池化、全连接、RELU层组成

X_SE＝F_SE(F_avg(X))

其中，F_avg是全局平均池化，F_SE结合FC+RELU+FC层，引入通道降维因子，在此基础上构造SE适配器组，在为每个数据域添加SE适配器分支和域间转换器，使其能够选择关联域的适配器。

SE适配器组在先验已知域内进行特征筛选，需要主动设置域转换开关，为构造通用SE适配器架构，该方法通过连接各域适配器输出形成通用表示空间

其中，N是适配器个数，

为每个适配器输出，该适配器可被看作用于信号处理的滤波器组的非线性泛化，每个非线性分支沿着特定域的统计信息匹配的子空间投影输出，利用注意力机制生成域敏感权重，实现多域特征激发。

在域注意力模块首先对输入特征图进行全局池化，移除空域维度，使用线性加softmax构造输出

S_DA＝F_DA(X)＝softmax(W_DAF_avg(X))

其中，W_DA是softmax层权重矩阵，S_DA用于衡量通用SE适配器的输出X_USE，进而产生域激活响应，用于通道乘法F_scale(·)进行通道重调

X_DA＝X_USES_DA∈R^C×1

由此，通用SE适配器能够捕捉所有跨域特征子空间，利用域注意力机制柔性传递特征投影，采用无先验的数据驱动方式进行域间信息贡献，实现高效表达。

基于跨域生成对抗学习网络的目标识别

在基于跨域迁移学习提取的目标特征和压缩激励模块实现有效特征筛选的基础上，该方法构造轻量级深度模型进行目标检测识别，由于目标检测涉及定位与分类，加大了模型的适配难度，传统的迁移学习无法满足目标定位识别的需求，同时目标域数据严重不足，且容易出现过度适配和不稳定风险，影响检测性能。如图7、图8所示，该方法引入源域与目标域适配方法，采用双层模块，首先利用分割池的图像级自适应模块在不同尺度位置均匀提取和对齐局部块特征组，利用实例级适配模块对目标组的特性进行语义对齐，通过源模型特征正则化稳定两个模块的适配过程，进而保证跨域适配的一致性和目标定位精度。

该方法结合经典目标检测网络模型Faster R-CNN和迁移学习基本架构，选取多尺度锚框和缩放因子，构建多对候选区域框，采用ROI池化生成固定尺寸的特征，执行大中小三个尺度上分割池构建多局部特征组{sp_l(f(x)),sp_m(f(x)),sp_s(f(x))}，分别表示光照环境等图像级域的变化，之后利用图像级适配模型进行多尺度对齐，在多尺度中构建特征对，用于处理图像级别的移动。

g_s～sp_s(f(x_T)),g_t～sp_s(f(x_T)

其中，

由源域样本组成，

由源域和目标域的样本组成，该配对方法能够有效扩展有限目标域特征样本。

为适配检测模型，该方法采用跨域对抗学习目标对构建的两组特征进行对齐，利用生成对抗学习原理，通过特征发生器和域鉴别器上的对抗性目标，使其近似的领域差异距离最小化，域鉴别器试图将特征划分为源域和目标域，而特征生成器则试图混淆鉴别器，因此，小尺度判别器的学习目标是最小化

由此，鉴别器能够清楚地区分源-源特征对和源-目标特征对，生成器则能够最大限度增加上述损失，将两个域的特征转换为鉴别器，使其无法被区分，整体图像级鉴别器目标为最小化

特征生成器目标为最大化

为解决目标实例存在的域漂移问题，该方法提出实例级适配模块用于目标特征对进行语义对齐，对候选区域进行抽样，构建分类和回归器的训练数据，按照正负样本比例进行采样，保留较高IOU阈值的候选区域以确保其更加接近真实目标，进行分类回归，得到源域目标特征集O_is和目标域目标特征集O_it，将其进行配对，用于图像块特征N_i1＝{(n_is,n_is)}、N_i2＝{(n_is,n_it)}，其中n_is～O_is,n_it～O_it，多路实例鉴别器目标是最小化。

特征发生器目标是最小化

为解决对抗学习中训练不稳定以及过度适配等问题，该方法采用强正则化方法，通过强迫适配模型在l 2差分意义下对源输入产生的源模型一致的特征相应，避免有限目标样本过度更新导致的性能下降问题，源模型特征正则化项为：

其中，k为前景个数，使用可用的呈现信息对生成的前景区域施加惩罚，使用源模型初始化框架，整体框架用于优化

总之，本申请提供的跨域数据深度迁移方法，可以在复杂应用场景中，计算资源受限、小样本等限制条件下，实现弱/半监督条件下轻量级小样本跨域迁移学习目标识别感知。提高了模型跨域迁移学习的能力和迁移效率，保证目标识别精度和泛化能力，同时可以保证特征迁移的高效性和稳定性，值得大面积推广使用。

参见图9，本申请实施例还可以提供一种跨域数据深度迁移装置，如图9所示，该装置可以包括：

模型构建单元901，用于构建目标检测识别深度模型；

数据获取单元902，用于获取源域数据集以及目标域数据集；

特征对机制构造单元903，用于构建基于压缩激励的轻量级模型适配器的迁移学习架构，采用分割池方法和候选区域采样构造特征对机制；

特征筛选生成单元904，用于在源域模型训练过程中，构建域对抗网络，实现图像全局域迁移和目标类间特征隔离，利用所述基于压缩激励的轻量级模型适配器动态实现高维特征加权，完成跨域征筛选生成。

本申请实施例还可以提供一种跨域数据深度迁移设备，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行上述的跨域数据深度迁移方法的步骤。

如图10所示，本申请实施例提供的一种跨域数据深度迁移设备，该设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。

在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。

处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行跨域数据深度迁移方法的实施例中的操作。

存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：

构建目标检测识别深度模型；

获取源域数据集以及目标域数据集；

在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如文件创建功能、数据读写功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如初始化数据等。

此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图10所示的结构并不构成对本申请实施例中跨域数据深度迁移设备的限定，在实际应用中跨域数据深度迁移设备可以包括比图10所示的更多或更少的部件，或者组合某些部件。

本申请实施例还可以提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的跨域数据深度迁移方法的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种跨域数据深度迁移方法，其特征在于，包括：

构建目标检测识别深度模型；

获取源域数据集以及目标域数据集；

2.根据权利要求1所述的跨域数据深度迁移方法，其特征在于，将所述源域数据集以及所述目标域数据集拆分为同构数据以及异构数据；

3.根据权利要求1所述的跨域数据深度迁移方法，其特征在于，所述基于压缩激励的轻量级模型适配器包括全局池化、全连接、RELU层。

4.根据权利要求3所述的跨域数据深度迁移方法，其特征在于，在引入通道降维因子的基础上构造基于压缩激励的轻量级模型适配器组，在为每个数据域添加基于压缩激励的轻量级模型适配器分支和域间转换器，以使其能够选择关联域的适配器。

5.根据权利要求4所述的跨域数据深度迁移方法，其特征在于，连接各域适配器输出形成通用表示空间。

6.根据权利要求5所述的跨域数据深度迁移方法，其特征在于，所述通用表示空间用于信号处理的滤波器组的非线性泛化，每个非线性分支沿着特定域的统计信息匹配的子空间投影输出，利用注意力机制生成域敏感权重，实现多域特征激发。

7.一种跨域数据深度迁移装置，其特征在于，包括：

模型构建单元，用于构建目标检测识别深度模型；

数据获取单元，用于获取源域数据集以及目标域数据集；

8.一种跨域数据深度迁移设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的跨域数据深度迁移方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的跨域数据深度迁移方法。