CN114065852B - 基于动态权重的多源联合自适应和内聚性特征提取方法 - Google Patents

Abstract

本发明公开了一种基于动态权重的多源联合自适应和内聚性特征提取方法，是首先对多个源域的样本进行对齐，在对齐的过程中学习一种实时度量差异的动态权重；然后使用细粒度的度量指标使源域和目标域对齐；再利用多个分类器形成对抗，通过对抗的方式让目标域样本进行内聚性特征的学习；最后就可以得到能够提取源域和目标域的公共特征以及目标域中的内聚性特征的特征提取器。本发明能有效地提高源域和目标域对齐之后目标域样本的质量，从而使得提取出的轮廓特征与同类样本具有更多的相似性。

Description

基于动态权重的多源联合自适应和内聚性特征提取方法

技术领域

本发明属于图片识别领域，具体的说是一种用于图片的基于动态权重的多源领域自适应的联合对齐和内聚性特征学习方法。

背景技术

在多源领域自适应中，在数字图片识别这个中，通常先将所有的源域图片做对齐操作，从而尽可能多的提取出图片中的数字轮廓特征，减少背景、颜色等无用特征。然后再将对齐后的源域图片和目标域做对齐操作，从而提取出源域和目标域之间的公共特征。另外一种方法是将多个源域分别和目标域进行对齐，从而提取出每个源域和目标域图片中的各自的轮廓信息，然后针对提取出的不同的轮廓信息分别使用一个分类器求出分类结果，然后再将分类结果加权求和，从而得到最终的分类结果。但是这两种方法在提取图片轮廓信息的过程中，均未考虑对齐的样本之间是否存在相似性这一问题。如果两个样本之间不存在相似性，但是却做了对齐操作，则会导致图片最终提取的轮廓信息仅仅只是部分轮廓，分类器无法准确分类样本，从而影响对齐的效果。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种用于多源领域自适应的联合对齐和内聚性特征学习方法，以期能有效地提高源域和目标域对齐之后目标域样本的质量，从而使得提取出的轮廓特征与同类样本具有更多的相似性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于动态权重的多源联合自适应和内聚性特征提取方法的特点在于，包括如下步骤：

步骤一：对N个不同来源的包含数字的图片进行类别标注，从而得到N个源域组成的源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}，其中，D_j表示第j个源域，且第j个源域D_j包含|D_j|个数字图片样本，且第j个源域D_j中第i个数字图片样本由其特征X_ji及图片中包含的数字标签Y_ji组成；从而得到源域数字图片样本

获取包含|D_T|个数字图片样本的目标域D_T，且目标域D_T中第i个数字图片样本的特征记为X_Ti，从而得到目标域的数字图片样本

计算源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}中两两源域之间的边缘分布差异之和h₁以及条件分布差异之和h₂；

步骤二：构建动态权重学习网络，包括：输入模块、动态权重关系学习模块和输出模块；

步骤2.1：所述输入模块为一个串联操作层，用于将h₁和h₂串联成一个二维列向量h；

步骤2.2：所述动态权重关系学习模块由X层全连接层和X层Sigmoid激活函数层间隔串联组成；

所述二维列向量h经过动态权重关系学习模块的处理后，输出一个高维向量z；

步骤2.3：所述输出模块由一层全连接层，一层Relu激活函数层，一层softmax函数层和一个向量分割操作组成；

所述高维向量z经过所述输出模块后，得到一对动态权重值ω₁和ω₂；

步骤三：构建特征提取器F，包括：特征提取层，降维层和归一化层；

所述特征提取层由m₁个特征提取模块依次串联而成，每个特征提取模块依次包含一层卷积层，一层正则化层和一层Relu激活函数层；

所述降维层由m₂个降维模块依次串联而成，每个降维模块依次包含一层全连接层和一层正则化层间隔；

所述归一化层是由一层softmax层组成；

步骤四：将一对动态权重值ω₁和ω₂分别乘以h₁和h₂后再相加，得到源域集合D_S的差异之和l₁；并通过优化所述特征提取器F来最小化差异之和l₁，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}；进而得到对齐后的源域数字图片样本其中，D′_j表示对齐后的第j个源域；X′_ji表示对齐后的第j个源域中第i个数字图片样本的特征；

步骤五：将对齐后的所有源域数字图片样本与目标域数字图片样本输入到域分类器R中，并相应输出第j个源域D′_j和目标域D_T中的样本分别属于源域的概率p(X′_j)和p(X_T)，从而得到第j个源域D′_j和目标域D_T的图片相似性权重/>

求出对齐后的源域集合D′_S中的第j个源域D′_j与目标域D_T的条件分布差异h_jT，并与第j个源域D′_j和目标域D_T的相似性权重S_j相乘后得到第j个源域D′_j与目标域D_T的加权条件分布差异h_3j；

将每个源域与目标域D_T的加权条件分布差异相加得到加权条件分布差异之和l₂，并通过优化所述特征提取器F来最小化所述加权条件分布差异之和l₂之后，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}和目标域D_T的公共特征以及对齐后的目标域D′_T；

步骤六、设置M个分类器C₁,C₂,...,C_M，其中，C_M表示第M个分类器；

通过固定特征提取器F以及优化所有分类器中的参数来最小化M个分类器C₁,C₂,...,C_M的分类误差L₁，从而优化M个分类器C₁,C₂,...,C_M，并利用式(1)建立总的损失函数L，通过最小化总损失函数L来增加L₂的损失值，从而筛选出对齐后的目标域样本中和同类别中数字图片相似度小于阈值的样本；

式(1)中，L₂为M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和，并有：

式(2)中，X′_Ti为与源域对齐后的目标域D′_T中第i个数字图片样本，P_Ci(X′_Ti)和P_Cj(X′_Ti)是第i个分类器和第j个分类器在对第i个数字图片样本X′_Ti进行分类时的结果向量，|·|₂表示L2范数；

步骤七、固定M个分类器C₁,C₂,...,C_M，通过优化所述特征提取器F的参数来最小化M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和L₂，以提取对齐后的目标域D′_T中的数字图片样本的轮廓特征。

与现有技术相比，本发明的有益效果在于：

1.本发明由于考虑了样本间的相似性以及源域和源域在对齐的过程中，当前任务的重要性权重，从而有助于提高源域和源域对齐的效果，以及源域和目标域之间的对齐效果。同时通过提取内聚性特征提高了那些相似度低于某个阈值的目标域样本与同类样本之间的相似度。

2.本发明在多个源域之间两两对齐的过程中，充分考虑到样本之间的边缘分布差异和条件分布差异之间的关系，从而使每对源域在对齐的过程中能够自动的将任务的中心放在当前轮次中，更重要的对齐任务上。多个源域对齐之后，其特征X′_ji中会包含大量的数字信息也就是多个源域对齐之后的公共特征，同时只包含极少数的私有特征，从而能够将多个源域更好的融合成一个大的源域，为后面多个源域和目标域的对齐打下基础。

3.在源域和目标域对齐的过程中，本发明主要通过最小化对齐后的源域和目标域之间的条件分布差异来实现源域和目标域之间的对齐，但是由于源域和目标域之间可能并不存在相似性，如果强行进行对齐的话可能会破坏目标域样本中的原有特征，所以本发明在对齐的过程中，尽量考虑源域和目标域之间的相似性，使相似的样本尽可能多的对齐，不相似的样本尽量少的提取公共特征；从而能够在源域和目标域的对齐过程中更好的防止负迁移的发生。

4.当源域和目标域样本完成对齐后，本发明针对对齐后的目标域样本进行筛选，如果存在相似性低于某个阈值的目标域样本，则会对该样本做内聚性特征的提取，从而增加了该样本与同类样本之间的相似性程度。

附图说明

图1为本发明方法流程图；

图2为本发明中源域对齐处理的模型框架图。

图3为本发明中源域和目标域对齐处理以及内聚性特征提取的模型框架图。

具体实施方式

本实施例中，一种基于动态权重的多源联合自适应和内聚性特征提取方法，总流程如图1所示，包括如下步骤：

步骤一：计算源域的差异值；

步骤二：计算动态权重；

步骤三：最小化多源域之间的差异；

步骤四：计算源域和目标域之间的差异；

步骤五：最小化源域和目标域之间的差异；

步骤六：学习内聚性特征；

其中，多源域对齐的过程如图2所示，包括如下步骤：

步骤一：对N个不同来源的包含数字的图片进行类别标注，从而得到N个源域组成的源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}，其中，D_j表示第j个源域，且第j个源域D_j包含|D_j|个数字图片样本，且第j个源域D_j中第i个数字图片样本由其特征X_ji及图片中包含的数字标签Y_ji组成；从而得到源域数字图片样本

获取包含|D_T|个数字图片样本的目标域D_T，且目标域D_T中第i个数字图片样本的特征记为X_Ti，从而得到目标域的数字图片样本

计算源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}中两两源域之间的边缘分布差异之和h₁以及条件分布差异之和h₂；

步骤二：构建动态权重学习网络，包括：输入模块、动态权重关系学习模块和输出模块；

步骤2.1：输入模块为一个串联操作层，用于将h₁和h₂串联成一个二维列向量h；

步骤2.2：动态权重关系学习模块由X层全连接层和X层Sigmoid激活函数层间隔串联组成；

二维列向量h经过动态权重关系学习模块的处理后，输出一个高维向量z；

步骤2.3：输出模块由一层全连接层，一层Relu激活函数层，一层softmax函数层和一个向量分割操作组成；

高维向量z经过输出模块后，得到一对动态权重值ω₁和ω₂；

步骤三：构建特征提取器F，包括：特征提取层，降维层和归一化层；

特征提取层由m₁个特征提取模块依次串联而成，每个特征提取模块依次包含一层卷积层，一层正则化层和一层Relu激活函数层；

降维层由m₂个降维模块依次串联而成，每个降维模块依次包含一层全连接层和一层正则化层间隔；

归一化层是由一层softmax层组成；

步骤四：将一对动态权重值ω₁和ω₂分别乘以h₁和h₂后再相加，得到源域集合D_S的差异之和l₁；并通过优化特征提取器F来最小化差异之和l₁，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}；进而得到对齐后的源域数字图片样本其中，D′_j表示对齐后的第j个源域；X′_ji表示对齐后的第j个源域中第i个数字图片样本的特征；

对齐后的多源域与目标域的对齐过程以及内聚性特征提取过程如图3所示，包括如下步骤：

步骤一：将对齐后的所有源域数字图片样本与目标域数字图片样本输入到域分类器R中，并相应输出第j个源域D′_j和目标域D_T中的样本分别属于源域的概率p(X′_j)和p(X_T)，从而得到第j个源域D′_j和目标域D_T的图片相似性权重/>

求出对齐后的源域集合D′_S中的第j个源域D′_j与目标域D_T的条件分布差异h_jT，并与第j个源域D′_j和目标域D_T的相似性权重S_j相乘后得到第j个源域D′_j与目标域D_T的加权条件分布差异h_3j；

将每个源域与目标域D_T的加权条件分布差异相加得到加权条件分布差异之和l₂，并通过优化特征提取器F来最小化加权条件分布差异之和l₂之后，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}和目标域D_T的公共特征，同时得到对齐后的目标域D′_T；

步骤二、设置M个分类器C₁,C₂,...,C_M，其中，C_M表示第M个分类器；

通过固定特征提取器F以及优化所有分类器中的参数来最小化M个分类器C₁,C₂,...,C_M的分类误差L₁，从而优化M个分类器C₁,C₂,...,C_M，并利用式(1)建立总的损失函数L，通过最小化总损失函数L来增加L₂的损失值，从而筛选出对齐后的目标域样本中和同类别中数字图片相似度小于阈值的样本；

式(1)中，L₂为M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和；并有：

式(2)中，X′_Ti为与源域对齐后的目标域中第i个数字图片样本，P_Ci(D_T)和P_Cj(D_T)是第i个分类器和第j个分类器在分类X′_Ti时的结果向量，|·|₂表示L2范数；

步骤三、固定M个分类器C₁,C₂,...,C_M，通过优化特征提取器F的参数来最小化M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和L₂，使得对齐后的目标域D′_T中的数字图片样本具有内聚性，从而使对齐后的目标域D′_T中的数字图片样本提取出的轮廓特征与同类样本具有更多的相似性。最终会使那些容易识别错误的数字图片具有更容易识别的轮廓特征，保证了识别的准确性。

综上所述，本发明在源域图片样本和目标域图片样本在对齐的过程中，尽量考虑样本之间的相似性并且对低于某个相似性阈值的目标域样本做内聚性特征提取，从而能有效地防止不相似的源域和目标域样本之间发生对齐并且能够有效的提取出目标域样本中的内聚性特征，使得目标域中相似度低于某个阈值的样本能够拥有和同类样本更多的公共特征。

Claims (1)

1.一种基于动态权重的多源联合自适应和内聚性特征提取方法，其特征在于，包括如下步骤：

步骤一：对N个不同来源的包含数字的图片进行类别标注，从而得到N个源域组成的源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}，其中，D_j表示第j个源域，且第j个源域D_j包含|D_j|个数字图片样本，且第j个源域D_j中第i个数字图片样本由其特征X_ji及图片中包含的数字标签Y_ji组成；从而得到源域数字图片样本

获取包含|D_T|个数字图片样本的目标域D_T，且目标域D_T中第i个数字图片样本的特征记为X_Ti，从而得到目标域的数字图片样本

计算源域集合D_S＝{D₁,D₂,...,D_j,...,D_N}中两两源域之间的边缘分布差异之和h₁以及条件分布差异之和h₂；

步骤二：构建动态权重学习网络，包括：输入模块、动态权重关系学习模块和输出模块；

步骤2.1：所述输入模块为一个串联操作层，用于将h₁和h₂串联成一个二维列向量h；

步骤2.2：所述动态权重关系学习模块由X层全连接层和X层Sigmoid激活函数层间隔串联组成；

所述二维列向量h经过动态权重关系学习模块的处理后，输出一个高维向量z；

步骤2.3：所述输出模块由一层全连接层，一层Relu激活函数层，一层softmax函数层和一个向量分割操作组成；

所述高维向量z经过所述输出模块后，得到一对动态权重值ω₁和ω₂；

步骤三：构建特征提取器F，包括：特征提取层，降维层和归一化层；

所述特征提取层由m₁个特征提取模块依次串联而成，每个特征提取模块依次包含一层卷积层，一层正则化层和一层Relu激活函数层；

所述降维层由m₂个降维模块依次串联而成，每个降维模块依次包含一层全连接层和一层正则化层间隔；

所述归一化层是由一层softmax层组成；

步骤四：将一对动态权重值ω₁和ω₂分别乘以h₁和h₂后再相加，得到源域集合D_S的差异之和l₁；并通过优化所述特征提取器F来最小化差异之和l₁，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}；进而得到对齐后的源域数字图片样本其中，D′_j表示对齐后的第j个源域；X′_ji表示对齐后的第j个源域中第i个数字图片样本的特征；

步骤五：将对齐后的所有源域数字图片样本与目标域数字图片样本输入到域分类器R中，并相应输出第j个源域D′_j和目标域D_T中的样本分别属于源域的概率p(X′_j)和p(X_T)，从而得到第j个源域D′_j和目标域D_T的图片相似性权重/>

求出对齐后的源域集合D′_S中的第j个源域D′_j与目标域D_T的条件分布差异h_jT，并与第j个源域D′_j和目标域D_T的相似性权重S_j相乘后得到第j个源域D′_j与目标域D_T的加权条件分布差异h_3j；

将每个源域与目标域D_T的加权条件分布差异相加得到加权条件分布差异之和l₂，并通过优化所述特征提取器F来最小化所述加权条件分布差异之和l₂之后，得到对齐后的源域集合D′_S＝{D′₁,D′₂,...,D′_j,...,D′_N}和目标域D_T的公共特征以及对齐后的目标域D′_T；

步骤六、设置M个分类器C₁,C₂,...,C_M，其中，C_M表示第M个分类器；

通过固定特征提取器F以及优化所有分类器中的参数来最小化M个分类器C₁,C₂,...,C_M的分类误差L₁，从而优化M个分类器C₁,C₂,...,C_M，并利用式(1)建立总的损失函数L，通过最小化总损失函数L来增加L₂的损失值，从而筛选出对齐后的目标域样本中和同类别中数字图片相似度小于阈值的样本；

式(1)中，L₂为M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和，并有：

式(2)中，X′_Ti为与源域对齐后的目标域D′_T中第i个数字图片样本，P_Ci(X′_Ti)和P_Cj(X′_Ti)是第i个分类器和第j个分类器在对第i个数字图片样本X′_Ti进行分类时的结果向量，|·|₂表示L2范数；

步骤七、固定M个分类器C₁,C₂,...,C_M，通过优化所述特征提取器F的参数来最小化M个分类器C₁,C₂,...,C_M两两间的分类结果差异之和L₂，以提取对齐后的目标域D′_T中的数字图片样本的轮廓特征。