CN114783072A - 一种基于远域迁移学习的图像识别方法 - Google Patents

Abstract

本发明公开一种基于远域迁移学习的图像识别方法，包括如下步骤：将特定领域的小样本图像作为目标域，同时将与目标域相似度高的无标签图像作为辅助域，将自然场景图像作为源域，通过基于ResNet50的轻量级网络提取各自域的高级语义特征；利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合；通过卷积自动解码器重构各自域的高级语义特征；最后通过全连接层对目标域图像进行识别，整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性，有效提升了模型远域特征迁移能力，本发明可以用于不同任务的图像识别任务。

Description

一种基于远域迁移学习的图像识别方法

技术领域

本发明涉及计算机视觉和深度学习技术领域，尤其涉及一种基于远域迁移学习的图像识别方法。

背景技术

小样本图像识别技术，如医学图像超声技术在甲状腺、胎儿、乳腺和性腺组织的检测方面有广泛的应用。手动进行图像分析费时费力，同时还会受到分析者的经验、精神状态等主观因素的影响容易误判。自动图像分析技术可以有效地克服以上限制。在自动图像分析技术中，深度学习技术已成为图像分析和理解的主流方法。然而，小样本数据集采集和标注难度大、成本高，这给深度学习技术在小样本数据上的应用带来了巨大挑战。迁移学习技术是解决小样本学习的有效方法之一。迁移学习通过将具有大规模训练数据的源域中学到的知识转移到具有少量数据的目标域以构建一个健壮的模型。然而，使用自然图像的预训练模型进行微调可能对提高小样本图像分类的准确性没有帮助，源域和目标域之间相关性低甚至不相关会导致知识的负迁移，负迁移会使源域生成的知识对目标域产生负面影响。

远域迁移学习(DDTL)是一种新的迁移学习方法，DDTL旨在整合从几个看似独立的事物中获得的知识来学习新事物。具体的，DDTL通过使用辅助域来缩小源域和目标域之间的差异。目前DDTL的现有方法仅使用简单的自动编码器作为特征提取器，提取的特征仅能代表底层细节，缺乏不同域的表达能力，性能低且不稳定，易发生负迁移的问题。

发明内容

为了解决上述技术问题，本发明提出一种基于远域迁移学习的图像识别方法，采用辅助域作为桥梁，从不同域中提取高级语义特征并执行远域特征融合，以提升目标域分类精度。

为了达到上述目的，本发明的技术方案如下：

一种基于远域迁移学习的图像识别方法，包括如下步骤：

步骤S1，将特定领域的小样本图像作为目标域，同时将与目标域的领域相似度高的无标签图像作为辅助域，自然场景图像作为源域；

步骤S2、将源域、辅助域和目标域的数据集输入到Resnet50轻量级特征提取网络，分别提取表示源域、辅助域和目标域的高级语义特征；

步骤S3、将属于源域、辅助域和目标域的高级语义特征通过具有域距离度量的高级语义特征卷积自动编码器并通过辅助域作为桥梁最小化源域与辅助域、目标域与辅助域的域损失以进行高级语义特征融合；

步骤S4、利用卷积自动解码器重构融合后的高级语义特征，最小化内容损失以保持源域、辅助域和目标域特征的多样性和完整性；

步骤S5、使用全连接层对卷积自动解码器提取的目标域高级语义特征进行分类；

步骤S6、在多任务优化函数下对算法模型的参数进行调整，直到达到迭代次数或者精度需求。

优选地，所述源域、辅助域和目标域的数据集满足如下假设成立：p_S(x)≠p_T(x),p_T(x)≠p_A(x),

其中p_S(x)和p_A(x)分别为源域和辅助域的条件分布，p_T(x)和p_T(y|x)分别是目标域的条件分布和边缘分布。

优选地，所述Resnet50轻量级特征提取网络保留了Resnet50网络的前三层，即Resnet50 layer1、Resnet50 layer2和Resnet50 layer3，同时加载Resnet50 layer1、Resnet50 layer2和Resnet50 layer3在Imagenet数据集上的预训练权重到网络中。

优选地，所述卷积自动编码器包括两个池化层和两个卷积层，卷积层使用pad为1、stride为1的3x3卷积核，编码器的第一个卷积层的卷积核数量为1024，第二个卷积层卷积核数量为2048，使用2x2的最大池化进行下采样；所述卷积自动解码器由两个卷积层和两个上采样层组成，解码器的第一个卷积层的卷积核数量为1024，第二个卷积层卷积核数量为1024，采用2x2上采样以重建出相同大小的高级语义特征，解码和编码的标准过程表示为：

其中f是Resnet50轻量级特征提取网络输出的高级语义特征，f_abstract是f经过编码器后的更高层次的抽象特征，

是重构后的高级语义特征。

优选地，所述步骤S3，具体包括如下步骤：

最小化源域到目标域距离的衡量采用最大平均差异MMD，最大平均差异MMD计算公式如下：

其中s和t代表源域和目标域，

表示将原始数据映射到希尔伯特空间RKHS的核函数，MMD的经验估计定义为：

其中M和N代表源域和目标域的实例数，最小化源域与辅助域、目标域与辅助域之间距离的损失函数域损失L_domain如下：

其中

和

分别代表编码器提取源域、目标域和辅助域的高级语义抽象特征。

优选地，所述步骤S4，具体包括如下步骤：

计算输入特征和重建特征之间的差异，输入特征为Resnet50轻量级特征提取网络提取的高级语义特征f，重构的特征为高级语义特征f经编码器编码后再由解码器解码输出的重构特征

使用内容损失来衡量输入特征和重建高级语义特征之间的差异，内容损失L_content表示为：

其中

和

分布表示源域、目标域和辅助域样本的重构特征，n_S，n_T和n_A分别表示源域、目标域和辅助域中的样本数。

优选地，所述使用全连接层对卷积自动解码器提取的目标域高级语义特征进行分类，使用交叉熵作为分类损失L_{classification}，如下所示：

其中

是第i个目标域样本的预测结构，y_i是样本对应的类别标签。

优选地，所述多任务优化函数L为分类损失、域损失和内容损失的组合，如下所示：

其中θ_F、θ_E、θ_D和θ_C分别是高级语义特征提取器、编码器、解码器和分类器的参数，W_gammar是多任务损失的权重，W_gammar表示如下：

其中α为权重增长率，i为当前迭代次数，iteration为迭代的总轮数，W_gamma随着轮数增加而增加，最终到达1，最终通过不断利用反向梯度算法进行模型的参数优化目标函数L来优化网络中的所有参数。

基于上述技术方案，本发明的有益效果是：本发明利用混合方法进行迁移学习中的特征提取，使用预训练权重的子集并重新设计的Resnet50网络的顶层，使网络可以有效地提取不同域的信息，同时在训练时加速网络权重的收敛；使用辅助域作为知识迁移的桥梁，利用具有域距离度量的卷积自动编码器进行高级语义特征自适应学习，通过最小化源域和辅助域、目标域和辅助域的域损失进行高级语义特征融合，从而将源域学习的有价值信息迁移到目标域；利用卷积自动解码器以重构不同域的高级语义特征并通过最小化内容损失来保持各个域特征的完整和多样性。该方法解决了现有远域迁移学习无法有效地提取不同域的高级语义信息，训练出的模型缺乏不同域的表达能力，性能较差且不稳定的问题，同时有效地提升了网络在不同远域的情况下对目标域进行远域特征迁移的能力。

附图说明

图1是一个实施例中一种基于远域迁移学习的图像识别方法流程图；

图2是一个实施例中数据预处理过程的示意图；

图3是一个实施例中远域迁移学习模型整体的示意图；

图4是一个实施例中卷积自动编码器-解码器的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，对本实施方式进行说明，本实施方式给出一种基于远域迁移学习的图像识别方法，具体包括以下步骤：

步骤S1、根据专家划定图像分类的边界，从小样本图像中裁剪出包含识别区域的最小外接矩形，将统一裁剪出的图像尺寸作为目标域输入，具体实施原理示意图如图2所示，将裁剪出的图像设置统一的大小并将图像作为目标域数据集，目标域T表示为：

其中

和T_N代表第i个目标域样本和对应目标域样本数量，

是第i个目标域的第j个样本，

是对应的类别标签；对自然场景图像进行统一图像尺寸并将其作为源域S输入，源域S表示为：

其中

和S_N代表第i个源域样本和对应源域的样本数量；对目标域相似度高且易收集的无标签小样本图像进行数据增强并将其作为辅助域A进行输入，辅助域A表示为：

其中

和A_i代表第i个辅助域样本和对应辅助域的样本数量。对于DDTL问题，有以下假设：p_S(x)≠p_T(x),p_T(x)≠p_A(x),

其中p_S(x)和p_A(x)分别为源域和辅助域的条件分布，p_T(x)和p_T(y|x)分别是目标域的条件分布和边缘分布。

步骤S2、采用混合方法提取高级语义特征，具体的，保留Resnet50的前三层及其在ImageNet上的预训练权重，即Resnet50 layer1、Resnet50 layer2和Resnet50 layer3。Resnet50前三层既能很好的表示源域的特征又能有效的反映目标域的信息，防止在不同域数据集上训练时权重更新时波动过大同时可以加速模型的收敛，具体原理示意图如图3左侧所示。

步骤S3、通过辅助域作为桥梁，采用卷积自动编码器进行特征自适应学习，以实现不同域高级语义特征的融合，编码器示意图如图3所示。具体的，卷积自动编码器结构细节如图4所示，其中编码器包括两个池化层和两个卷积层，卷积层使用pad为1、stride为1的3x3卷积核，并使用2x2的最大池化进行下采样，解码器由两个卷积层和两个上采样层组成，采用2x2上采样以重建出相同大小的高级语义特征，解码和编码的标准过程表示为：

其中f是步骤S2中Resnet50轻量级特征提取网络输出的高级语义特征，f_abstract是f经过编码器后的更高层次的抽象特征，

是重构后的高级语义特征。步骤S3实施过程为：将高级语义特征提取器提取出的特征输入到编码器计算源域与辅助域、目标域与辅助域之间的域损失，通过最小化域损失可以有效缩小远域到目标域的距离以实现特征融合。不同域之间距离使用最大平均差异MMD来衡量，最大平均差异表示为：

其中s和t代表不同域，

表示将原始数据映射到希尔伯特空间RKHS的核函数，MMD的经验估计定义为：

其中M和N代表源域和目标域的实例数。最小化源域与辅助域、目标域与辅助域之间距离的损失函数域损失L_domain表示为：

其中

和

代表编码器提取不同域的高级语义特征。

步骤S4、利用卷积自动解码器对属于不同域的高级语义特征f进行重构以保持源域、辅助域和目标域特征的多样性和完整性，同时可以防止不同域之间高级语义特征的过度融合，解码器示意图如图2所示。具体的，将高级语义特征f经过编码器和解码器以输出重构后的高级语义特征

使用内容损失来衡量输入特征和重建高级语义特征之间的差异，内容损失L_content表示为：

其中

和

分布表示源域、目标域和辅助域样本的重构特征，n_S，n_T和n_A分别表示源域、目标域和辅助域中的样本数。

步骤S5、使用全连接层对目标域图像进行分类，具体的，在图2中的编码器后添加两个全连接层，以构建目标分类器。全连接层可以为目标域找到高级语义抽象特征f_abstract的最佳组合。使用的交叉熵作为分类损失L_{classification}，由于是二分类问题，分类损失L_{classification}表示为：

其中

是第i个目标域样本的预测结构，y_i是样本对应的类别标签。

步骤S6、在多任务优化函数下对算法模型参数不断的优化。将分类作为主任务，通过最小化分类损失L_{classification}提升网络对目标域的分类能力。将域损失和内容损失作为辅助任务，通过最小化域损失L_domain实现远域知识迁移，同时通过最小化内容损失L_content来缩小重构特征和输入特征的差异，从而保持各个域的完整性和网络的多样性。最后模型的整体损失L可以表示为：

其中θ_F、θ_E、θ_D和θ_c分别是高级语义特征提取器、编码器、解码器和分类器的参数，W_gam是多任务损失的权重，W_gamma表示如下：

其中α为权重增长率，i为当前迭代次数，iteration为迭代的总轮数，W_gam随着轮数增加而增加，最终到达1。最终通过最小化目标函数L来优化网络中的所有参数。

以上所述仅为本发明所公开的一种基于远域迁移学习的图像识别方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

Claims (8)

1.一种基于远域迁移学习的图像识别方法，其特征在于，包括如下步骤：

步骤S1，将特定领域的小样本图像作为目标域，同时将与目标域的领域相似度高的无标签图像作为辅助域，自然场景图像作为源域；

步骤S2、将源域、辅助域和目标域的数据集输入到Resnet50轻量级特征提取网络，分别提取表示源域、辅助域和目标域的高级语义特征；

步骤S3、将属于源域、辅助域和目标域的高级语义特征通过具有域距离度量的高级语义特征卷积自动编码器并通过辅助域作为桥梁最小化源域与辅助域、目标域与辅助域的域损失以进行高级语义特征融合；

步骤S4、利用卷积自动解码器重构融合后的高级语义特征，最小化内容损失以保持源域、辅助域和目标域特征的多样性和完整性；

步骤S5、使用全连接层对卷积自动解码器提取的目标域高级语义特征进行分类；

步骤S6、在多任务优化函数下对算法模型的参数进行调整，直到达到迭代次数或者精度需求。

2.根据权利要求1所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述源域、辅助域和目标域的数据集满足如下假设成立：p_S(x)≠p_T(x)，p_T(x)≠p_A(x)，

其中p_S(x)和p_A(x)分别为源域和辅助域的条件分布，p_T(x)和p_T(y|x)分别是目标域的条件分布和边缘分布。

3.根据权利要求1所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述Resnet50轻量级特征提取网络保留了Resnet50网络的前三层，即Resnet50 layer1、Resnet50 layer2和Resnet50 layer3，同时加载Resnet50 layer1、Resnet50 layer2和Resnet50 layer3在Imagenet数据集上的预训练权重到网络中。

4.根据权利要求1所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述卷积自动编码器包括两个池化层和两个卷积层，卷积层使用pad为1、stride为1的3x3卷积核，编码器的第一个卷积层的卷积核数量为1024，第二个卷积层卷积核数量为2048，使用2x2的最大池化进行下采样；所述卷积自动解码器由两个卷积层和两个上采样层组成，解码器的第一个卷积层的卷积核数量为1024，第二个卷积层卷积核数量为1024，采用2x2上采样以重建出相同大小的高级语义特征，解码和编码的标准过程表示为：

其中f是Resnet50轻量级特征提取网络输出的高级语义特征，f_abstract是f经过编码器后的更高层次的抽象特征，

是重构后的高级语义特征。

5.根据权利要求4所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述步骤S3，具体包括如下步骤：

最小化源域到目标域距离的衡量采用最大平均差异MMD，最大平均差异MMD计算公式如下：

其中s和t代表源域和目标域，

表示将原始数据映射到希尔伯特空间RKHS的核函数，MMD的经验估计定义为：

其中M和N代表源域和目标域的实例数，最小化源域与辅助域、目标域与辅助域之间距离的损失函数域损失L_domain如下：

其中

和

分别代表编码器提取源域、目标域和辅助域的高级语义抽象特征。

6.根据权利要求5所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述步骤S4，具体包括如下步骤：

计算输入特征和重建特征之间的差异，输入特征为Resnet50轻量级特征提取网络提取的高级语义特征f，重构的特征为高级语义特征f经编码器编码后再由解码器解码输出的重构特征

使用内容损失来衡量输入特征和重建高级语义特征之间的差异，内容损失L_content表示为：

其中

和

分布表示源域、目标域和辅助域样本的重构特征，n_S，n_T和n_A分别表示源域、目标域和辅助域中的样本数。

7.根据权利要求1所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述使用全连接层对卷积自动解码器提取的目标域高级语义特征进行分类，使用交叉熵作为分类损失L_{classification}，如下所示：

其中

是第i个目标域样本的预测结构，y_i是样本对应的类别标签。

8.根据权利要求7所述的一种基于远域迁移学习的图像识别方法，其特征在于，所述多任务优化函数L为分类损失、域损失和内容损失的组合，如下所示：

其中θ_F、θ_E、θ_D和θ_c分别是高级语义特征提取器、编码器、解码器和分类器的参数，W_gam是多任务损失的权重，W_gamm表示如下：

其中α为权重增长率，i为当前迭代次数，iteration为迭代的总轮数，W_gamma随着轮数增加而增加，最终到达1，最终通过不断利用反向梯度算法进行模型的参数优化目标函数L来优化网络中的所有参数。

Images