CN111259941A - 基于细粒度领域自适应的跨领域图像分类方法及系统 - Google Patents

Abstract

本发明提出一种基于细粒度领域自适应的跨领域图像分类方法及系统，包括：依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，将源特征向量经过多层全连接层处理后送入分类器获得预测标签，预测标签结合预标记的类别标签得到交叉熵，交叉熵和特征差异作为分类损失函数；最小化分类损失函数，直到分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至图像特征提取网络，得到待分类图片的图像分类结果。

Description

基于细粒度领域自适应的跨领域图像分类方法及系统

技术领域

本发明涉及图像分类领域和机器学习领域，并特别涉及一种基于深度学习的细粒度领域自适应方法及系统。

背景技术

图像分类问题吸引了大量研究者的注意，训练一个图像分类的分类器往往需要大量带标签的数据，在现实的应用中，通常很难获得大量带标签的图像数据。同时我们通常很容易获得一些公有数据集，比如ImageNet数据有上百万的图片，一个直接的想法使用这些已有的数据集来帮助提升我们目标应用中的图像分类效果。这些已有的数据集成为源领域，目标应用上的数据称作目标领域。值得注意的是，源领域和目标领域的数据分布通常是不同的，不同领域的数据分布的不同通常称为领域偏移(domain shift)。跨领域图像分类旨在使用源领域数据来提升目标领域上的分类效果，通常需要解决领域偏移的问题。

跨领域图像分类问题已经研究了很多年，传统的方法包括调整样本的权重、进行特征的转换等等，近几年深度学习的方法在跨领域图像分类上取得了更好的效果，本发明属于基于深度学习的跨领域图像分类方法。

基于深度学习的跨领域图像分类方法主要包含两大类：基于度量学习的方法和基于对抗的方法：

基于度量学习的方法：

DAN：DAN是经典的基于度量学习的方法，使用MKMMD来对齐边缘概率分布，从而使得源领域和目标领域的特征大致满足相同的分布。网络结构如图1所示，基于Alexnet，针对后面三层全连接层，每一层都使用MKMMD来度量源领域和目标领域的特征差异，最小化该差异从而实现特征适配。

Deep-Coral：Deep-Coral提出了一种新的深度适配的方法，分别计算源领域和目标领域特征的协方差矩阵，定义Coral Loss等于两个协方差矩阵之间的差，最小化CoralLoss从而使得两个领域的特征接近，网络结构如图2所示。

CMD：这篇文章提出使用高阶统计信息来衡量两个领域的特征差异。

JAN：JAN提出只对齐边缘概率分布是不够的，应该对齐联合概率分布，文中的具体做法为同时适配特征和分类器的输出，提出了JMMD Loss，网络结构如图3所示。事实上这篇文章中的联合概率分布仅仅是同时对齐特征和分类器输出，并不是概率中的联合概率，也没有考虑细粒度的信息。

基于对抗的方法：

DANN：DANN借鉴GAN的思想，将对抗的方法引入领域自适应。网络结构如图4所示，新增加一个领域分辨器。特征提取器旨在学习领域不变的特征，而领域分辨器旨在分辨特征来源于源领域还是目标领域，这两部分的目的是相反的，也就是对抗的思想。特征提取器希望最大化域分类损失，而领域分辨器希望最小化该损失。这样最大最小化更新比较繁琐，作者提出了梯度翻转层，在特征提取器和领域分辨器之间加上梯度翻转层，使得网络只需要最小化域分类损失和类别分类损失即可。

PixelDA：以前的基于对抗的领域自适应方法，通常是学习领域不变的特征，而不改变图片的样子，而这片文章提出了一种像素级别的对抗的方法，具体方法如图5所示，源领域图片加上噪声生成新的图片，希望生成的新的图片和目标领域图片服从相同的分布，所以对新生成的图片和目标领域的图像进行对抗学习。

上面陈述了几个经典的深度领域自适应的方法，可以看到这些方法有一个共同的特点，他们都考虑学习领域不变的特征或者图像。换言之，他们希望源领域和目标领域的特征在整体上服从相同的分布。这样存在一个问题，整体的特征分布相近，也就是边缘概率分布相近，而边缘概率分布并没有考虑类别的信息。如图6所示。

对齐边缘概率分布也称作对齐全局分布，在对齐全局分布之后，两个领域边缘概率分布近似。但是可以看到具体的类别边界并不明显，这是因为在对齐特征分布时并没有考虑局部的类别信息。这样导致的结果就是虽然大致消除了domain shift，但是对于分类器来说还是很难进行判别。而跨领域图像分类任务的根本目标是提升分类的效果，这样全局的领域自适应的方法得到的提升是有限的。

发明内容

现有深度自适应的方法大多采用对齐全局分布(边缘概率分布)来学习领域不变的特征，但是这样没有考虑类别信息，对分类效果的提升是很有限的。为了解决上述问题，我们提出了子领域自适应(Subdomain Adaptation)，通过对齐属于同一类的子领域的分布(条件概率分布)，从而使得学习的领域不变的特征更加有利于分类效果的提升。

针对现有技术的不足，本发明提出一种基于细粒度领域自适应的跨领域图像分类方法，其中包括：

步骤1、获取源领域中具有类别标签的源领域图片以及待分类的目标领域图片，依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；

步骤2、依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，源特征向量经过多层全连接层处理后，得到源整合特征，将该源整合特征送入分类器获得预测标签，该预测标签结合预标记的类别标签得到交叉熵，该交叉熵和该特征差异作为分类损失函数；

步骤3、通过最小化该分类损失函数对该卷积神经网络进行训练，直到该分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至该图像特征提取网络，并将得到的特征向量输入至分类器，得到待分类图片的图像分类结果。

所述的基于细粒度领域自适应的跨领域图像分类方法，其中步骤2中该局部最大均值差异损失具体为：

公式中的w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空，φ表示到高维空间的映射。

所述的基于细粒度领域自适应的跨领域图像分类方法，其中步骤2中该局部最大均值差异损失具体为：

式中k表示核函数，w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，z表示通过卷积神经网络提取到的特征。

所述的基于细粒度领域自适应的跨领域图像分类方法，其中步骤2中该分类损失函数为：

式中第一项为该交叉熵，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为通过该局部最大均值差异损失求得的该特征差异。

所述的基于细粒度领域自适应的跨领域图像分类方法，其中该类别标签采用one-hot编码。

本发明还提供了一种基于细粒度领域自适应的跨领域图像分类系统，其中包括：

模块1、获取源领域中具有类别标签的源领域图片以及待分类的目标领域图片，依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；

模块2、依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，源特征向量经过多层全连接层处理后，得到源整合特征，将该源整合特征送入分类器获得预测标签，该预测标签结合预标记的类别标签得到交叉熵，该交叉熵和该特征差异作为分类损失函数；

模块3、通过最小化该分类损失函数对该卷积神经网络进行训练，直到该分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至该图像特征提取网络，并将得到的特征向量输入至分类器，得到待分类图片的图像分类结果。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该局部最大均值差异损失具体为：

公式中的w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空，φ表示到高维空间的映射。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该局部最大均值差异损失具体为：

式中k表示核函数，w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，z表示通过卷积神经网络提取到的特征。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该分类损失函数为：

式中第一项为该交叉熵，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为通过该局部最大均值差异损失求得的该特征差异。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中该类别标签采用one-hot编码。

由以上方案可知，本发明的优点在于：

本发明基于子领域自适应的思想提出了子领域自适应网络DSAN(Deep Subdomainpotationion Networks)。DSAN可广泛应用于不同的场景，我们在目标识别和手写体数字均测试了我们算法的效果，发现DSAN相比于现有的对齐整体分布的算法有较大提升。

附图说明

图1为现有技术DAN网络结构图；

图2为现有技术Deep-Coral网络结构图；

图3为现有技术JAN网络结构图；

图4为现有技术DANN网络结构图；

图5为现有技术PixelDA网络结构图；

图6为现有技术边缘概率分布示意图；

图7为本发明边缘概率分布示意图；

图8为本发明DSAN的结构图。

具体实施方式

本发明分析了大量跨领域图像分类的方法，包括大多数基于度量学习的方法以及基于对抗的方法，发现这些方法基本上都是对齐全局分布(边缘概率分布)，学习领域不变的特征表示，限制这些方法性能的是在对齐分布的同时没有考虑局部的类别信息。而跨领域分类问题本质上还是分类问题，目标是提升分类的准确率。如果在对齐特征分布的同时把类别信息加入进行，那么就有利于分类效果的提升。

所以本发明提出了子领域自适应(subdomain adaptation)，如图7所示。根据类别标签把源领域和目标领域划分为多个子领域，图7中源领域和目标领域各包含两个子领域(两个类)。在对齐分布的时候，本发明只对齐类别标签相同的子领域的分布。针对目标领域上有标签的情况，很容易给目标领域划分子领域。针对无监督的跨领域图像分类问题，目标领域没有标签，本发明提出使用软标签来划分子领域并对齐同类子领域的分布。

针对跨领域图像分类任务，比如源领域为真实图片，目标领域为卡通图片，如下所示，比如进行老虎和狮子的分类，假设有源领域的带标签的数据，但是没有目标领域的带标签数据，本发明希望使用源领域的带标签数据辅助目标领域数据的识别。

本发明包括以下两点发明点：关键点1、提出了子领域自适应(Subdomainadaptation)，对齐属于同一类的子领域的分布，从而达到更好的分类效果；关键点2、为了对齐子领域的分布，提出了LMMD(Local Maximum Mean Discrepancy)。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

图8是DSAN的结构，该结构可以配合任意深度学习神经网络结构使用，比如ResNet、VGG、AlexNet等等。具体的使用方法为在深度学习神经网络结构后面的全连接层加上Local Maximum Mean Discrepancy Loss，局部最大均值差异损失(LMMD Loss)来对齐不同领域的特征分布。LMMD Loss如下所示：

公式中的w_i ^sc表示源领域的样本x_i ^s和类别c相关联的程度，w_i ^tc同理，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空间，C表示总类别数。φ表示到高维空间的映射。该公式表示所有源领域样本在高维空间中的映射，根据每个样本与类别c相关联的程度，计算加权平均，表示源领域类别c的特征在高维空间的平均值，同理计算出目标领域的特征在高维空间中的加权平均值，两者之差即表示属于类别c的子领域的分布差异。对所有类别求和表示所有相关联的子领域的差异。在本发明中计算w_i ^tc如下所示：

j表示第j个样本和它的向量标签,粗体表示向量，不加粗表示标量。对于源领域数据，y_i表示真实标签的one-hot分布，比如对于三分类问题，样本属于第一个类，那么标签的one-hot分布为[1,0,0]，y_i0＝1，y_i1＝0，y_i2＝0。对于目标领域数据，没有真实的标签，本发明使用网络预测的概率分布来计算w。比如某个目标样本预测得到的概率分布为[0.7,0.2,0.1]，那么y_i0＝0.7，y_i1＝0.2，y_i2＝0.1。源领域的样本由于自带标签，因此非常确定他们属于某个类，所以用one-hot这样的硬标签不会导致对齐了错误的分布。而目标领域并不知道每个样本确切的标签，如果直接使用预测的软标签(将[0.7,0.2,0.1]变成one-hot标签[1,0,0])，可能导致负迁移。比如某个样本本来属于第二类，预测的概率分布为[0.7,0.2,0.1]，而使用变换后的one-hot标签[1,0,0]来对齐分布，那么完全把这个样本判断为第一个类，最小化LMMD会把该样本的特征向源领域的第一个类特征拉近，这样就远离了它本身的第二类特征，导致分类错误。使用概率分布，该样本还以0.2的概率属于第二类，那么他还有机会被纠正回正确的类。

上述LMMD公式中使用到了高维映射，计算每个样本的高维映射是一个很繁琐的事，这里使用核函数的技巧来回避计算高维映射的问题，将上述LMMD展开为如下公式：

该公式中l表示全连接层数，i和j表示第几个样本。n_s表示源领域样本总数，n_t表示目标领域样本总数。k(.,.)表示核函数，W为前面计算得到的函数，z表示通过神经网络提取到的特征。具体的算法流程为输入一个batch的源领域数据和一个batch的目标领域数据，分别得到他们在全连接处的特征，以及通过分类器后的目标领域数据预测的概率分布，使用LMMD计算该层两个领域特征之间的差异，计算源领域数据的分类Loss，分类Loss使用交叉熵，最终的损失函数为分类Loss加上LMMD，如下所示：

第一项为分类的损失函数，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为LMMD。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提供了一种基于细粒度领域自适应的跨领域图像分类系统，其中包括：

模块1、获取源领域中具有类别标签的源领域图片以及待分类的目标领域图片，依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；

模块2、依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，源特征向量经过多层全连接层处理后，得到源整合特征，将该源整合特征送入分类器获得预测标签，该预测标签结合预标记的类别标签得到交叉熵，该交叉熵和该特征差异作为分类损失函数；

模块3、通过最小化该分类损失函数对该卷积神经网络进行训练，直到该分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至该图像特征提取网络，并将得到的特征向量输入至分类器，得到待分类图片的图像分类结果。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该局部最大均值差异损失具体为：

公式中的w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空，φ表示到高维空间的映射。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该局部最大均值差异损失具体为：

式中k表示核函数，w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，z表示通过卷积神经网络提取到的特征。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中模块2中该分类损失函数为：

式中第一项为该交叉熵，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为通过该局部最大均值差异损失求得的该特征差异。

所述的基于细粒度领域自适应的跨领域图像分类系统，其中该类别标签采用one-hot编码。

Claims (10)

1.一种基于细粒度领域自适应的跨领域图像分类方法，其特征在于，包括：

步骤1、获取源领域中具有类别标签的源领域图片以及待分类的目标领域图片，依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；

步骤2、依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，源特征向量经过多层全连接层处理后，得到源整合特征，将该源整合特征送入分类器获得预测标签，该预测标签结合预标记的类别标签得到交叉熵，该交叉熵和该特征差异作为分类损失函数；

步骤3、通过最小化该分类损失函数对该卷积神经网络进行训练，直到该分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至该图像特征提取网络，并将得到的特征向量输入至分类器，得到待分类图片的图像分类结果。

2.如权利要求1所述的基于细粒度领域自适应的跨领域图像分类方法，其特征在于，步骤2中该局部最大均值差异损失具体为：

公式中的w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空，φ表示到高维空间的映射。

3.如权利要求1所述的基于细粒度领域自适应的跨领域图像分类方法，其特征在于，步骤2中该局部最大均值差异损失具体为：

式中k表示核函数，w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，z表示通过卷积神经网络提取到的特征。

4.如权利要求2所述的基于细粒度领域自适应的跨领域图像分类方法，其特征在于，步骤2中该分类损失函数为：

式中第一项为该交叉熵，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为通过该局部最大均值差异损失求得的该特征差异。

5.如权利要求1所述的基于细粒度领域自适应的跨领域图像分类方法，其特征在于，该类别标签采用one-hot编码。

6.一种基于细粒度领域自适应的跨领域图像分类系统，其特征在于，包括：

模块1、获取源领域中具有类别标签的源领域图片以及待分类的目标领域图片，依次输入源领域图片和目标领域图片至卷积神经网络，分别得到源领域图片的源特征向量和目标领域图片的目标特征向量；

模块2、依次输入源特征向量和目标特征向量至多层全连接层，在每个全连接层使用局部最大均值差异损失衡量源领域和目标领域的特征差异，源特征向量经过多层全连接层处理后，得到源整合特征，将该源整合特征送入分类器获得预测标签，该预测标签结合预标记的类别标签得到交叉熵，该交叉熵和该特征差异作为分类损失函数；

模块3、通过最小化该分类损失函数对该卷积神经网络进行训练，直到该分类损失函数收敛，保存当前卷积神经网络作为图像特征提取网络，将目标领域中待分类图片输入至该图像特征提取网络，并将得到的特征向量输入至分类器，得到待分类图片的图像分类结果。

7.如权利要求6所述的基于细粒度领域自适应的跨领域图像分类系统，其特征在于，模块2中该局部最大均值差异损失具体为：

公式中的w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，p和q分别表示源领域和目标领域的数据分布，D_s表示源领域集合，D_t表示目标领域集合，j是索引，H是希尔伯特空，φ表示到高维空间的映射。

8.如权利要求6所述的基于细粒度领域自适应的跨领域图像分类系统，其特征在于，模块2中该局部最大均值差异损失具体为：

式中k表示核函数，w_i ^sc表示源领域图片x_i ^s和类别c相关联的程度，w_i ^tc表示源目标域图片x_i ^s和类别c相关联的程度，z表示通过卷积神经网络提取到的特征。

9.如权利要求7所述的基于细粒度领域自适应的跨领域图像分类系统，其特征在于，模块2中该分类损失函数为：

式中第一项为该交叉熵，在源领域上的交叉熵f(x^s _i)表示网络预测的结果，y^s _i表示真实标签，第二项为通过该局部最大均值差异损失求得的该特征差异。

10.如权利要求6所述的基于细粒度领域自适应的跨领域图像分类系统，其特征在于，该类别标签采用one-hot编码。

Images