CN113128620A - 一种基于层次关系的半监督领域自适应图片分类方法 - Google Patents

Abstract

本发明涉及一种基于层次关系的半监督领域自适应图片分类方法，属于计算机视觉处理技术领域，能够准确对目标域上的图像进行分类。本发明引入类别之间的层次关系，利用所有源域和少量带标签的目的域数据的父类标签及子类标签信息来给原型提供层次关系信息，使得在原型空间中相同父类的原型距离较近，来帮助半监督领域自适应模型取得更好的分类效果。本发明通过使用梯度反转层来利用无监督数据对模型进行最大最小化熵的对抗学习，从而提取到对于类别而言具有分辨力的同时又不特定于某一领域的原型向量，提升了模型在目标域数据上的分类效果。本发明在领域偏移较大且类别数目较多的数据集上的效果比较理想，表明本发明能够解决较复杂的领域偏移问题。

Description

一种基于层次关系的半监督领域自适应图片分类方法

技术领域

本发明涉及一种基于层次关系的半监督领域自适应图片分类方法，具体涉及一种基于子类与父类之间的层次关系、运用对抗思想及多种损失函数来进行半监督领域自适应图片分类的方法，属于计算机视觉处理技术领域。

背景技术

近年来，深度学习网络在图像分类任务上取得巨大的成功，但深度网络的训练需要大量人工标注好的数据，然而，在实际应用场景中将所有收集的数据进行人工标注十分耗费时间和精力的，甚至一些针对特殊问题的数据标注只能由相关领域的专家来完成。

为了更好地应对未标注或只有少量标注的数据集，迁移学习应运而生。具体而言，可以在一个已标注的大型数据集即源域上对模型进行训练，然后将训练好的模型直接迁移到未标注或少量标注的数据集即目标域上执行相应任务。但是，当源域和目标域的数据分布不同时会导致领域偏移问题，直接进行模型的迁移效果往往会很差，而对迁移的模型进行微调仍需要在目标域上有大量标记的数据，不适用于目前的状况。

领域自适应是一种用来解决领域偏移问题的方法。目前，主流的领域自适应方法是在目标域上完全无标签的无监督领域自适应方法。然而，由于缺少类别标签的监督，这些方法在对源域和目标域的图像特征分布进行对齐后往往会使得类别间的界限模糊，在领域偏移较大的数据集上表现较差。例如，Saito等人在《Semi-supervised Domain Adaptationvia Minimax Entropy》中提出了一种最小最大熵半监督领域自适应方法用于解决在目标域上缺少监督信息的问题。但是，该方法没有考虑样本的父类标签与子类标签之间的层次关系，从而导致相同父类下的不同子类之间的区分性不高。

发明内容

本发明的目的是为了克服现有技术存在的不足，为解决现有的最小最大熵半监督领域自适应方法中缺少样本类别层次关系的技术问题，提出一种基于层次关系的半监督领域自适应图片分类方法。

本发明的创新在于：利用源域及目标域中有监督数据的父类与子类标签的监督信息，给特征向量提供层次关系信息，使在特征空间中相同父类的特征距离较近，帮助半监督领域自适应模型取得更好的分类效果，能够更为准确地对目标域上的图像进行分类。

本发明的目的是通过以下技术方案实现的。

一种基于层次关系的半监督领域自适应图片分类方法，包括以下步骤：

步骤1：预处理训练及测试数据。

首先，准备两个领域不同但类别空间相同的图像数据集(比如图像的风格、光照、分辨率等各种条件不同但包含的类别相同的数据集)。选择一个所有图像都带标签的领域作为源域，选择每个类别中只含有1个或3个带标签图像的领域作为目标域。

对于目标域数据，在每个类别中随机选择1个或3个带标签的数据作为带标签的目标域数据

在剩下数据中的每个类别里随机选择3个带标签的数据作为验证集，将剩余的图像数据作为无标签的目标域数据

对于源域数据，直接将该领域中所有带标签的数据作为源域数据

然后，将训练集和测试集中的所有图像统一缩放为m×n的固定尺寸，其中m和n为自然数。作为优选，m与n的值在特征提取模块使用Alexnet作为基础模型时，m＝n＝227；当使用VGG16或者ResNet作为基础模型时，m＝n＝224。

步骤2：设计网络结构模型。

网络结构模型包含3个模块：特征提取模块、原型学习模块和对抗自适应模块。整个模型由端到端训练的深度卷积神经网络构成。

其中，特征提取模块由预训练的深度卷积神经分类网络中的特征提取结构，以及L2正则化层组成。

原型学习模块由两个行并的网络支流组成，每个支流都有各自的全连接层和分类器。

对抗自适应模块由梯度反转层及全连接层组成。

首先，带标签的目标域数据D_tl和源域数据D_s经过特征提取模块提取出经L2正则化后的特征，作为每个图像的原型向量p。

然后，并行经过原型学习模块的上下两个支流，在上方支流经过全连接层FC_parent及其分类器C_parent后得到父类分类结果，在下方支流经过全连接层FC_child及其分类器C_child后得到子类分类的结果。使用交叉熵损失函数对这两部分进行训练，得到学习了父类和子类知识的层次知识的每个图像的原型向量p。同理，无标签的目标域数据D_tu同样适用特征提取模块提取出L2正则化后的每个图像的原型向量p，

之后，把原型向量p放到全连接层FC_child及后面的softmax层，得到所预测的分布，利用该分布计算D_tu的熵。

在特征提取模块及原型学习模块之间，加入梯度反转层。对抗自适应模块在进行正向传播时，最大化目标域中无标签数据D_tu的熵固定特征提取器的参数，更新FC_child和C_child的参数，从而使类别原型，即FC_child中的权重向量能够与未标记的目标域数据更加贴近。在进行反向传播的时候，使用梯度反转层来最小化数据D_tu的熵，固定FC_child和C_child的参数，更新特征提取器的参数，从而使得特征提取器所提取出来的D_tu数据的原型能够更加靠近类别原型，达到更好的分类的效果。

最后，使用训练好的模型，将待测试的图片从特征提取层输入，经过FC_child和C_child得到对该图片的预测。

步骤3:设计用于训练网络的损失函数。

本方法采用多种损失函数相结合的方法。网络的损失函数包含两部分：原型学习损失L_l和最大熵损失L_u。整体损失函数在正向传播的过程中为：

L_forward＝L_l+μL_u (1)

整体损失函数在反向传播的过程中为：

L_backword＝L_l-μL_u (2)

其中，μ为最大熵损失L_u的权重；L_u为针对无标签的目标域数据D_tu的最大熵损失：

其中，M是子类的数量；

表示子类分类器C_child对图像x的预测；E表示期望；x表示图像；p在FC_child层后的softmax层的输出，表示

属于类别i的概率；L_l为原型学习模块的损失函数：

L_l＝λL_p+(1-λ)L_c (4)

其中，λ和1-λ分别是原型学习模块中父类分类损失L_p和子类分类损失L_c的权重；L_p为原型学习模块中的父类分类损失：

其中，(x,z)∈D_s,D_tl表示来自源域D_s及目标域D_tl的图像数据x及其父类标签z；

表示父类分类器C_parent对图像x的预测；L_ce表示训练该分类器使用的交叉熵损失函数；L_c为原型学习模块中的子类分类损失：

其中，(x,y)∈D_s,D_tl表示来自源域D_s及目标域D_tl的图像x及其子类标签y；

表示子类分类器C_child对图像x的预测；L_ce表示训练该分类器使用的交叉熵损失函数。

步骤4：用步骤1的预处理训练及测试数据，以及步骤3的损失函数，训练步骤2的网络模型，得到基于层次关系的半监督领域自适应方法的网络。

具体地，包括以下步骤：

步骤4.1:初始化模型参数，将全连接层FC_parent和FC_child、分类器C_parent和C_child进行高斯分布初始化；特征提取模块使用在ImageNet数据集上预训练好的参数，然后使用预处理训练数据集开始训练；

步骤4.2:从D_s和D_tl中随机采样N个数据，从D_tu中采样2N个数据作为本轮迭代所用到的批数据；

步骤4.3:对D_s和D_tl计算原型学习模块损失L_l；

步骤4.4:更新特征提取模块的参数：

其中，θ′_FE表示更新后特征提取模块的参数，θ_FE表示更新前特征提取模块的参数，α₁表示学习率，

表示损失函数L_l的梯度；

步骤4.5:更新原型学习模块的参数：

其中，θ′_p表示更新后原型学习模块的参数，θ_p表示更新前原型学习模块的参数，α₂表示学习率，

表示损失函数L_l的梯度；

步骤4.6:对D_tu计算最大熵损失L_u；

步骤4.7:更新特征提取模块的参数：

其中，

表示损失函数L_u的梯度。

步骤4.8:更新原型学习模块的参数：

其中，

表示损失函数L_u的梯度。

步骤4.8:重复步骤4.2至4.8，直到达到设定的最大迭代次数。

针对所有数据集，采用半监督方式，经过上述端到端训练后，得到一个半监督领域自适应网络Ms。

步骤5:使用训练得到的基于层次关系的半监督领域自适应方法的网络Ms，将待分类的目标域图片输入到训练好的模型中，从而得到模型对该图片的分类预测结果。

有益效果

本发明方法，与现有技术相比，具有以下有益效果：

1.本发明引入了类别之间的层次关系，利用所有源域和少量带标签的目的域数据的父类标签及子类标签信息来给原型提供层次关系信息，使得在原型空间中相同父类的原型距离较近，来帮助半监督领域自适应模型取得更好的分类效果。

2.本发明通过使用梯度反转层来利用无监督数据对模型进行最大最小化熵的对抗学习，从而提取到对于类别而言具有分辨力的同时又不特定于某一领域的原型向量，提升了模型在目标域数据上的分类效果。

3.本发明在领域偏移较大且类别数目较多的数据集上的效果比较理想，表明本发明能够解决较复杂的领域偏移问题。

附图说明

图1为本发明方法的工作流程图。

图2为本发明方法的整体网络架构图。

图3为本发明方法的基于Alexnet的特征提取模块。

图4为本发明方法的基于VGG16的特征提取模块。

图5为本发明方法的基于ResNet50的特征提取模块。

具体实施方式

下面结合附图和具体实例对本发明方法做进一步进行详细说明。

实施例

本实施例为半监督领域自适应方法的整体流程和网络结构。

一种基于层次关系的半监督领域自适应图片分类方法，如图1所示，包括以下步骤：

步骤1:预处理训练及测试数据。准备两个领域不同但类别空间相同的图像数据集，即图像的风格、光照、分辨率等各种条件不同但包含的类别相同的数据集，选择一个所有图像都带标签的领域作为源域，只有少量标签的领域作为目标域。对于目标域数据，在每个类别中随机选择1个或3个带标签的数据作为带标签的目标域数据

然后在剩下的数据中的每个类别里随机选择3个带标签的数据作为验证集，剩余的图像数据作为无标签的目标数据

对于源域数据，本发明直接将该领域域中所有带标签的数据作为

数据集中包含多张不同尺寸的图片，为方便网络结构设计，减少计算量，首先忽略原图像的长宽比例，统一缩放为256×256的尺寸,为弥补训练数据量不足的问题，在特征提取模块使用Alexnet作为基础模型时,在缩放图像上随机裁剪出227×227的区域，在使用VGG16或者ResNet作为基础模型时，在缩放图像上随机裁剪出224×224的区域以实现数据增强；采用此一尺寸是为了方便模型运算时内部的多次下采样操作。

步骤2:设计网络结构模型。如图2所示，特征提取器模块由在ImageNet数据集上进行预训练的深度卷积神经分类网络中的部分结构以及L2正则化层组成。特征提取器的卷积层的输入是原始图像，输出该图像的特征f，然后将f放入L2正则化层中进行归一化处理后输出每个图像的原型向量p。该模块由两个行并的网络支流组成，每个支流都有各自的全连接层和分类器。该模块的输入包括源域数据D_s和带标签的目标域数据D_tl。原型学习模块上方的支流使用父类标签作为监督信息对原型向量p进行分类，使p学习到父类信息编码，在原型空间中属于相同父类的原型向量距离较近，属于不同父类的原型向量距离较远，其全连接层FC_parent的输入为p，输出为W^T·p。使用交叉熵损失函数训练父类分类器C_parent，中间的支流使用子类标签作为监督信息对原型向量p进行分类从而使得属于同一父类但不同子类的原型向量之间有更高的可分辨性，该支流与上面所描述的支流共同作用来提供给p父类与子类之间的层次关系，并同时完成了图像分类任务，在该支流中，全连接层FC_child的输入为p，输出为U^T·p，该全连接层的权重矩阵U中的向量是各个类别的类别原型。使用交叉熵损失函数训练子类分类器C_child。

图3、图4、图5分别展示了基于Alexnet的特征提取模块、基于VGG16的特征提取模块、基于ResNet50的特征提取模块的实现细节，主要包括卷积Conv、全连接层FC、最大池化max pool、平均池化average pool、L2正则化、激活函数relu。

表1、表2、表3分别展示了基于Alexnet的特征提取模块、基于VGG16的特征提取模块、基于ResNet50的特征提取模块的网络结构，主要包含卷积操作Conv，全连接操作FC，最大池化操作max pool，卷积操作组bottleneck，L2正则化操作，激活操作Relu，正则化操作dropout。特征提取模块由卷积神经网络及L2正则化部分组成，原型学习模块由全连接层FC_parent和FC_child、softmax层及分类器C_parent和C_child组成。K、M、N表示卷积核尺寸、输入通道数、输出通道数；H、W、C表示特征图高、宽、通道数。

表1基于Alexnet的特征提取模块网络结构

操作	卷积核(KKMN)	输入(HWC)	输出(HWC)
				Conv+max pool	11*11*3*96	227*227*3	27*27*96
Conv+max pool	11*11*96*256	27*27*96	13*13*256
				Conv	3*3*256*384	13*13*256	13*13*384
Conv	3*3*384*384	13*13*384	13*13*384
				Conv+max pool	3*3*384*256	13*13*384	6*6*256
FC+Relu+dropout	N/A	6*6*256	4096*1
				FC+Relu+dropout	N/A	4096*1	4096*1
L2正则化	N/A	4096*1	4096*1

表2基于VGG16的特征提取模块网络结构

表3基于ResNet50的特征提取模块的网络结构

步骤3:设计用于训练网络的损失函数。

本方法采用多种损失函数相结合的方法，网络的损失函数包含两部分：原型学习的损失L_l、最大熵损失L_u,整体损失函数在正向传播的过程中为：

L_forward＝L_l+μL_u

整体损失函数在反向传播的过程中为：

L_backword＝L_l-μL_u

其中，μ为最大熵损失L_u的权重；L_u为针对无标签的目标域数据D_tu的最大熵损失，L_l为原型学习模块的损失函数：

L_l＝λL_p+(1-λ)L_c

其中，L_p为原型学习模块中的父类分类损失，L_c为原型学习模块中的子类分类损失。

本发明使用随机梯度下降法对模型进行训练，并将超参数动量的值设置为0.9。在每次迭代中，模型的输入由两个mini-batch组成，其中一个mini-batch由带标签的数据组成，这些带标签的数据一半来自源域数据，一半来自带标签的目标域数据，另一个mini-batch由无标签的目标域数据组成，两个mini-batch分别进行正向传播和反向传播。

设有标签数据的mini-batch大小为N，则无标签数据的mini-batch大小为2N。当特征提取模块选用AlexNet作为基础模型时，N的大小为32。当特征提取模块选用VGG或ResNet作为基础模型时，由于模型本身的参数量较大，将N设置为24。

同时，本方法还使用了动量优化器来优化模型的训练，将全连接层的初始学习率设置为0.01，将卷积层和批正则化层的初始学习率设置为0.001。

步骤4:用步骤1的预处理训练及测试数据、步骤3的损失函数，训练步骤2的网络模型得到基于层次关系的半监督领域自适应方法的网络，参考步骤3中所述训练的过程如下：

Step1:初始化模型参数，将全连接层FC_parent和FC_child，分类器C_parent和C_child进行高斯分布初始化，特征提取模块使用在ImageNet数据集上预训练好的参数，然后使用与处理训练数据集开始训练；

Step2:从D_s和D_tl中随机采样N个数据，从D_tu中采样2N个数据作为mini-batch；

Step3:对D_s和D_tl计算原型学习模块损失L_l；

Step4:更新特征提取模块的参数：

Step5:更新原型学习模块的参数：

Step6:对D_tu计算最大熵损失L_u；

Step7:更新特征提取模块的参数：

Step8:更新原型学习模块的参数：

Step9:重复Step2-Step8，直到达到设定的最大迭代次数，损失函数趋于稳定。

针对所有数据集，采用半监督方式，经过上述端到端训练后，得到一个半监督领域自适应网络Ms；

步骤5:使用训练得到的基于层次关系的半监督领域自适应方法的网络Ms将待分类的目标域图片输入到训练好的模型中后，得到模型对该图片的分类预测结果。

本发明在DomainNet数据集的4个领域(Real，Clipart,Sketch,Painting)取得了良好的领域自适应效果。

Claims (5)

1.一种基于层次关系的半监督领域自适应图片分类方法，其特征在于，包括以下步骤：

步骤1：预处理训练及测试数据；

首先，准备两个领域不同但类别空间相同的图像数据集，选择一个所有图像都带标签的领域作为源域，选择每个类别中只含有1个或3个带标签图像的领域作为目标域；

对于目标域数据，在每个类别中随机选择1个或3个带标签的数据作为带标签的目标域数据

在剩下数据中的每个类别里随机选择3个带标签的数据作为验证集，将剩余的图像数据作为无标签的目标域数据

对于源域数据，直接将该领域中所有带标签的数据作为源域数据

然后，将训练集和测试集中的所有图像统一缩放为m×n的固定尺寸，其中m和n为自然数；

步骤2：设计网络结构模型；

网络结构模型包含3个模块：特征提取模块、原型学习模块和对抗自适应模块；整个模型由端到端训练的深度卷积神经网络构成；

其中，特征提取模块由预训练的深度卷积神经分类网络中的特征提取结构，以及L2正则化层组成；

原型学习模块由两个行并的网络支流组成，每个支流都有各自的全连接层和分类器；

对抗自适应模块由梯度反转层及全连接层组成；

首先，带标签的目标域数据D_tl和源域数据D_s经过特征提取模块提取出经L2正则化后的特征，作为每个图像的原型向量p；

然后，并行经过原型学习模块的上下两个支流，在上方支流经过全连接层FC_parent及其分类器C_parent后得到父类分类结果，在下方支流经过全连接层FC_child及其分类器C_child后得到子类分类的结果；使用交叉熵损失函数对这两部分进行训练，得到学习了父类和子类知识的层次知识的每个图像的原型向量p；同理，无标签的目标域数据D_tu同样适用特征提取模块提取出L2正则化后的每个图像的原型向量p；

之后，把原型向量p放到全连接层FC_child及后面的softmax层，得到所预测的分布，利用该分布计算D_tu的熵；

在特征提取模块及原型学习模块之间，加入梯度反转层；对抗自适应模块在进行正向传播时，最大化目标域中无标签数据D_tu的熵固定特征提取器的参数，更新FC_child和C_child的参数；在进行反向传播的时候，使用梯度反转层来最小化数据D_tu的熵，固定FC_child和C_child的参数，更新特征提取器的参数；

最后，使用训练好的模型，将待测试的图片从特征提取层输入，经过FC_child和C_child得到对该图片的预测；

步骤3:设计用于训练网络的损失函数；

网络的损失函数包含两部分：原型学习损失L_l和最大熵损失L_u；

整体损失函数在正向传播的过程中为：

L_forward＝L_l+μL_u (1)

整体损失函数在反向传播的过程中为：

L_backword＝L_l-μL_u (2)

其中，μ为最大熵损失L_u的权重；L_u为针对无标签的目标域数据D_tu的最大熵损失：

其中，M是子类的数量；

表示子类分类器C_child对图像x的预测；E表示期望；x表示图像；p在FC_child层后的softmax层的输出，表示

属于类别i的概率；L_l为原型学习模块的损失函数：

L_l＝λL_p+(1-λ)L_c (4)

其中，λ和1-λ分别是原型学习模块中父类分类损失L_p和子类分类损失L_c的权重；L_p为原型学习模块中的父类分类损失：

其中，(x,z)∈D_s,D_tl表示来自源域D_s及目标域D_tl的图像数据x及其父类标签z；

表示父类分类器C_parent对图像x的预测；L_ce表示训练该分类器使用的交叉熵损失函数；L_c为原型学习模块中的子类分类损失：

其中，(x,y)∈D_s,D_tl表示来自源域D_s及目标域D_tl的图像x及其子类标签y；

表示子类分类器C_child对图像x的预测；L_ce表示训练该分类器使用的交叉熵损失函数；

步骤4：用步骤1的预处理训练及测试数据，以及步骤3的损失函数，训练步骤2的网络模型，得到基于层次关系的半监督领域自适应方法的网络；

针对所有数据集，采用半监督方式，经过端到端训练后，得到一个半监督领域自适应网络Ms；

步骤5:使用训练得到的基于层次关系的半监督领域自适应方法的网络Ms，将待分类的目标域图片输入到训练好的模型中，从而得到模型对该图片的分类预测结果。

2.如权利要求1所述的一种基于层次关系的半监督领域自适应图片分类方法，其特征在于，步骤4包括以下步骤：

步骤4.1:初始化模型参数，将全连接层FC_parent和FC_child、分类器C_parent和C_child进行高斯分布初始化；特征提取模块使用在ImageNet数据集上预训练好的参数，然后使用预处理训练数据集开始训练；

步骤4.2:从D_s和D_tl中随机采样N个数据，从D_tu中采样2N个数据作为本轮迭代所用到的批数据；

步骤4.3:对D_s和D_tl计算原型学习模块损失L_l；

步骤4.4:更新特征提取模块的参数：

其中，θ′_FE表示更新后特征提取模块的参数，θ_FE表示更新前特征提取模块的参数，α₁表示学习率，

表示损失函数L_l的梯度；

步骤4.5:更新原型学习模块的参数：

其中，θ′_p表示更新后原型学习模块的参数，θ_p表示更新前原型学习模块的参数，α₂表示学习率，

表示损失函数L_l的梯度；

步骤4.6:对D_tu计算最大熵损失L_u；

步骤4.7:更新特征提取模块的参数：

其中，

表示损失函数L_u的梯度；

步骤4.8:更新原型学习模块的参数：

其中，

表示损失函数L_u的梯度；

步骤4.8:重复步骤4.2至4.8，直到达到设定的最大迭代次数。

3.如权利要求1所述的一种基于层次关系的半监督领域自适应图片分类方法，其特征在于，m与n的值在特征提取模块使用Alexnet作为基础模型时，m＝n＝227。

4.如权利要求1所述的一种基于层次关系的半监督领域自适应图片分类方法，其特征在于，m与n的值在特征提取模块使用VGG16作为基础模型时，m＝n＝224。

5.如权利要求1所述的一种基于层次关系的半监督领域自适应图片分类方法，其特征在于，m与n的值在特征提取模块使用ResNet作为基础模型时，m＝n＝224。

Images