CN110555060A - 基于成对样本匹配的迁移学习方法 - Google Patents

Abstract

本发明属于图像分类和迁移学习技术领域，公开了一种基于成对样本匹配的迁移学习方法，实现了对基于不同域的样本内在关系的挖掘。具体包含以下步骤：（1）数据预处理，（2）基于迁移学习的双链模型构建，（3）实例归一化和批量归一化，（4）计算对比损失和最大均值距离损失。本发明的优点是通过结合实例归一化和批归一化同时进行学习，充分挖掘不同图像的风格和语义关联特性，实现在源域辅助下对少量目标域样本的高效识别。

Description

基于成对样本匹配的迁移学习方法

技术领域

本发明属于图像分类和迁移学习技术领域，涉及一种基于成对样本匹配的迁移学习方法，用于挖掘不同样本的内在的关联性，在图像分类领域，验证了成对样本匹配和迁移学习的有效性。

背景技术

深度卷积神经网络广泛应用于各种机器学习场景，如图像识别、目标检测和语义分割等。不幸的是，现有的许多方法通常只适用于特定的领域，依赖于具有大量标签的数据，如果目标领域的数据不可用或难以标注，传统的机器学习方法效果将显著下降。为了解决这一问题，常用的方法是利用迁移学习和域自适应来学习一个具有区分性和域不变的模型。迁移学习是计算机视觉和模式识别领域的一个极具挑战性的研究热点，并因其在图像识别、目标检测、视频分析等领域的潜在应用受到学术界和工业界的密切关注。

领域适应是迁移学习中最常见的问题之一——源域和目标域具有相同的任务，但分布不同。域适应可以分为三类：有监督域适应、无监督域适应和半监督域适应。无监督域适应不需要对目标数据进行标记，但它期望大量的目标数据达到高精度，尤其是在深度模型中。与此相反的是，有监督域适应需要有标记的目标数据。此外，在目标数据量相同的情况下，有监督域适应的性能一般优于无监督域适应。因此，在目标数据不足的情况下，同时有限的目标数据标注并不困难，有监督域适应是更好的域适应方法选项。在有监督域适应中，传统域自适应方法的主要技术问题是如何减少跨领域数据分布的变化。早期的研究提出了许多不同的算法，它们大体可以分为两类：1)传统方法，主要通过联合最小化区域差异的距离度量来学习浅特征。例如，迁移成分分析(TCA)、测地线核(GFK)、联合分布适应(JDA)、迁移联合匹配(TJM)、特征复制(FR)等；2)基于深度学习方法，主要通过卷积神经网络学习特征，例如，深度适配网络(DAN)，混合第二或更高阶知识迁移(So-Hot)，对抗性鉴别域适应(ADDA)、分类与语义对齐损失(CCSA)等。但是，以上方法都没有彻底消除两个域之间的差异，因为当将微调后的卷积神经网络应用到一个新的域时，精度会显著降低。

域泛化是一种特殊的域自适应技术，其目的是研究一种对任何不可见目标域都具有较强鲁棒性的分类器。在没有目标数据的情况下，域泛化从多个观察域训练一个模型，同时期望它在任何不可见域上都能很好地执行，取得良好的效果。目前成熟的域泛化方法大致可以分为两类。一是设计跨两个域的域不变特征，实现域泛化。例如域不变成分分析，多任务自动编码器，集中所有训练数据的支持向量机学习，对跨域变化具有健壮性的特性学习等。第二种方法通常从源域中的每个子域设计子分类器，然后将子分类器组合成融合分类器，实现域泛化。例如低秩样本支持向量机学习，基于范例的多视图域泛化，消除数据集偏差的判别框架等。

为了同时解决域自适应和域泛化问题，本发明提出了一种具有良好泛化能力的双链深度网络，不仅有效地完成了域自适应的任务，而且大大提高了模型的泛化能力。此外，这两个问题被统一到同一个网络体系结构中。这种方法在训练中每一类只需要很少的标记目标样本。此外，即使是只有一个有标记的样本，也能显著提高性能。

在深度神经网络训练中，归一化一直是常用的算法之一。批量归一化的通过减少训练过程中的内部协变量移位，提高了学习速度和收敛速度。在训练过程中的推理阶段利用小批量的均值和方差对每个特征通道进行归一化；实验表明，批量归一化能显著加快训练速度，同时提高最终效果。与批量归一化不同，实例归一化使用单个样本的统计数据进行归一化，而不是使用小批处理对特性进行归一化。实例归一化和批量归一化的另一个重要区别是实例归一化对训练和推理应用相同的归一化过程，而批量归一化则相反。实例归一化主要用于风格迁移，其原因是，这些任务试图在保留内容的同时改变图像外观，并允许从内容中过滤特定于实例的对比度信息。在本发明中，结合批量归一化和实例归一化过程，达到同时利用样本的外观信息和语义信息的目的。

发明内容

本发明的目的是解决针对基于双链的迁移学习中，常用方法在目标样本较少时效果下降的问题，提供一种高效的基于成对样本匹配的迁移学习方法，用于充分利用源域和目标域样本的关联，并在图像分类任务中进行验证。

本发明提供的基于成对样本匹配的迁移学习方法，用于挖掘源域和目标域样本的关联性，从而为高效的迁移学习提供帮助，该方法具体包含以下步骤：

第一步、数据预处理

为了更好的挖掘源域和目标域数据的关系，在进行迁移学习之前需要将源域和目标域数据配对。由于模型学习通常是随机进行的(例如使用随机梯度下降)，首先从源域中标记的训练数据中随机抽取一幅图像。然后计算所选样本与目标域中相同(不同)类别的所有样本之间的相似性。然后，将图像与另一个与目标域距离最近(最远)的相同(不同)类别的图像配对，形成一个正(负)训练实例。对于正的一对，其标签设置为1，对于负的一对，其标签设置为0。这样的设置不仅解决了训练数据不足的问题，而且大大提高了卷积神经网络模型的泛化能力。

第二步、基于成对样本匹配的双链迁移学习模型构建

将配对后的数据输入到两个权值共享的网络。对于每个网络，它包含三个卷积层、两个完全连接层和一个残差结构，每个卷积层和完全连接层之后都有批量归一化和实例归一化操作和线性整流函数激活。在卷积层和完全连接层之间设置一个2×2的最大池化层来将两者连接。使用对比损失函数和最大均值距离损失函数来连接这两个网络，从而处理样本之间的关系。

第三步、实例归一化和批量归一化

批量归一化使用全局统计数据对特征进行标准化。它能显著加快训练速度，同时提高最终效果。设置x是小批量上的变量，B为小批量m个变量的集合B＝{x_{1，2，……m}}，γ，β为学习的变量，∈是为保证数值稳定性的而添加的常数。小批量均值为η_B，方差为批量归一化以及其线性变换y_i公式为：

与批量归一化不同，实例归一化是基于单个图像的归一化操作。由于在图像归一化中，结果的生成主要依赖于图像实例，因此批量归一化不适用于图像归一化，需要添加实例归一化。它可以加速模型的收敛，并保持每个图像实例的独立性。设置有一个朱尔兹集合函数J:Ω→R³，其离散晶格Ω＝{1,…,H}×{1,…，W}，实例归一化y_tijk公式为：

其中x∈R，T×C×W×H为包含一批C维T图像的输入张量，其宽和高分别为W 和H，ε是为保证数值稳定性的而添加的常数。设x_tijk为其第tijk个元素，其中k和j张成空间维度，i为特征通道(如果输入为RGB图像，则为彩色通道)，t为图像批的索引。η_ti和分别为t索引和i特征通道上x的均值和方差。

第四步、计算对比损失和最大均值距离损失

由于所提出的网络分别是源域和目标域的双链结构，对比损失函数接收第二个全连接层输出的两个特征向量，通过计算两个特征向量之间的距离来计算损失函数的值。对比损失函数的目的是使来自不同领域但具有相同类别标签的样本之间的距离最小化，使来自不同领域的样本与类别标签之间的距离最大化。因此，对比损失L_E设计为:

其中，其中N为批次大小，y_n为第n对样本的目标标号(0或1)，margin为当前批次的最大距离边界，d_n为两对样本之间的欧式距离。选择分类交叉熵L_c作为分类损失函数。

其公式是:

其中p为归一化指数函数的预测，t为目标向量，C为类别数，x为目标样本，y为x 的标签。

此外，将最大均值距离L_MMD添加到的模型中:

其中m,n分别为数据集x,y的大小。φ(·)表示与内核相关的功能映射图，k(x,y)＝< φ(x)，φ(y)>。k(x,y)通常定义为l基核k_l(x,y)的凸组合，公式为：

其中β_l为l基核的参数,L为基核总数。

综上所述，模型的总损失函数为:

L＝αL_c+βL_E+γL_MMD \*ME

α，β，γ代表加权变量。L_c代表分类交叉熵损失函数,L_E为对比损失函数，L_MMD为最大均值距离损失函数。

本发明的优点和有益效果；

1)为了降低训练深度学习模型对大量标记样本的需求，本发明采用输入成对样本的方法，可以大大扩展训练数据的数量，使网络更加充分地训练；2)将实例归一化和批量归一化添加到建议网络的不同层，实例规范化可以过滤出不同风格图片中的风格信息，只保留内容信息，批量规范化增强了语义特征之间的差异，因此，本发明可以大大提高卷积神经网络模型的泛化能力；3)讨论了添加残差结构和最大均值距离的网络的性能，并证明它们可以提高网络的准确性。

附图说明

图1为本发明的深度网络模型图。

图2为MNIST数据集样例图。

图3为USPS数据集样例图。

图4为Office数据集样例图。

图5为本发明方法在数据集Office-31上对应的性能。

图6为本发明方法在数据集MNIST-USPS上对应的性能。

图7为本发明方法在数据集USPS-MNIST上对应的性能。

图8、图9，图10为本发明与其它算法在数据集MNIST-USPS和Office-31上性能的比较，其中图8、图9中对应的文献如下所示

[1]Long M,Cao Y,Wang J,et al.Learning transferable features with deepadaptation networks[C]//International Conference on Machine Learning.2015:97-105.

[2]P.Koniusz,Y.Tas,and F.Porikli.Domain adaptation by mixture ofalignments of second-or higher-order scatter tensors.In The IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR),July 2017.

[3]Saeid Motiian,Marco Piccirilli,Donald A.Adjeroh,GianfrancoDoretto,Unified Deep Supervised Domain Adaptation and Generalization,The IEEEInternational Conference on Computer Vision(ICCV),2017,pp.5715-5725.

[4]E.Tzeng,J.Hoffman,K.Saenko,and T.Darrell.Adversarialdiscriminative domain adaptation.In The IEEE Conference on Computer Visionand Pattern Recognition(CVPR), July 2017.

[5]M.-Y.Liu and O.Tuzel.Coupled generative adversarial networks.InAdvances in Neural Information Processing Systems,pages 469477,2016.

具体实施方式

下面结合附图对本发明作进一步的描述。

实施例1

如图1所示，该方法的操作步骤包括：

步骤10数据预处理

如图2和图3所示，混合国家标准与技术研究所数据集(MNIST)和美国邮政服务数据集(USPS)是迁移学习常用的数据集。它们包含从0到9的数字图像。考虑了MNIST→USPS和USPS→MNIST两个跨域任务，随机选取MNIST中的2000幅图像和USPS中的1800 幅图像。将每个图像看作一个样本，将它和其他样本配对，并分为正样本对和负样本对。当目标域每类样本数为n时，对于MNIST→USPS任务来说，共有2000*n个正样本和 18000*n个负样本；对于USPS→MNIST任务来说，共有1800*n个正样本和16200*n个负样本。每个任务重复10次取平均值。

如图4所示，Office-31数据集是一个标准的迁移学习数据集。它包含三个含31个类的图像数据集：亚马逊网站图像数据集(Amazon)、网络摄像头图像数据集(Webcam)和数码单反相机图像数据集(DSLR)，分别表示为A、W和D，总共有4,652张图像。进行了三个域的六种(A→W,A→D,W→A,W→D,D→A,D→W)迁移学习任务。训练时每个类别中随机选择20个来自Amazon的样本，8个来自DSLR和Webcam的样本作为源域。另外，每个类别随机选择3个带标记的样本作为目标域，其余的目标样本用于测试。同样的，将每个图像看作一个样本，将它和其他样本配对，并分为正样本对和负样本对。对于A→W,A →D任务来说，共有1860个正样本，55800个负样本；对于W→A,W→D,D→A,D→W 任务来说，共有744个正样本，22320个负样本。每个任务重复5次实验取平均值。

步骤20双链网络训练

由于源域和目标域样本之间存在较大的差异性，仅使用单一网络无法充分地对其进行描述，因此，本发明中使用了双链网络，每条链使用了3个3×3内核的卷积层和一个残差结构，其中过滤器通道数分别为6个和16个，卷积层之后连接实例归一化和批量归一化层，归一化层之后使用线性整流函数激活。在两个卷积层块之后的是最大池化层和2个通道数为120和84的全连接层。使用对比损失函数和最大均值距离损失函数处理第二个全连接层输出的特征信息，然后用一个10通道的全连接层处理源域特征并使用交叉熵损失计算分类损失，最后将分类损失、对比损失和最大均值距离损失回传优化网络直到收敛。

步骤30网络测试

在测试过程中，使用训练好的源域网络，将目标样本输入网络，经过网络处理和分类交叉熵计算后得到结果。

为了验证本发明的有效性，在公开的数据集MNIST-USPS和Office-31上进行了评测，为进一步评测本发明的效果，将实例归一化和批量归一化块放置在不同层后评测其效果。 Office-31数据集的性能如图5所示，MNIST-USPS数据集的性能如图6所示，USPS-MNIST的性能如图7所示，最后，本发明的性能与其它算法性能的比较如图8，图9，图10所示。其中IBN-x表示在第x卷积层之后添加实例归一化和批量归一化块，在其他卷积层之后添加批量归一化块，IBN-xy表示在第x层和第y层卷积层之后添加实例归一化和批量归一化块，在其他卷积层之后添加批量归一化块，以此类推。PGN代表只加入实例归一化和批量归一化的方法，PGN-R代表加入残差结构、实例归一化和批量归一化的方法， PGN-M代表加入最大均值距离、实例归一化和批量归一化的方法，PGN-RM代表加入最大均值距离、实例归一化和批量归一化的方法。BN表示在每个卷积层后面加上批量归一化块，不加实例归一化块。从这些图可以看出，本发明提出的基于成对样本匹配的迁移学习方法具有较好的性能。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于成对样本匹配的迁移学习方法，用于挖掘不同域样本的内在关联特性，以实现在源域样本辅助下高效率的分类少量目标域样本，其特征在于，包含以下步骤：

第一步、数据预处理

首先从源域中标记的训练数据中随机抽取一幅图像，然后计算所选样本与目标域中相同(不同)类别的所有样本之间的相似性，然后，将图像与另一个与目标域距离最近(最远)的相同(不同)类别的图像配对，形成一个正(负)训练实例；对于正的一对，其标签设置为1，对于负的一对，其标签设置为0；

第二步、基于成对样本匹配的双链迁移学习模型构建

将配对后的数据输入到两个权值共享的网络，对于每个网络，它包含一个残差结构，三个卷积层和两个完全连接层，每个卷积层和完全连接层之后都有批量归一化和实例归一化操作和线性整流函数激活，在卷积层和完全连接层之间设置一个2×2的最大池化层来将两者连接，使用对比损失函数和最大均值距离损失函数来连接这两个网络，从而处理样本之间的关系；

第三步、实例归一化和批量归一化

设置x为小批量上的变量，B为小批量m个变量的集合B＝{x_{1，2，……m}}，γ，β为学习的变量，∈是为保证数值稳定性的而添加的常数，小批量均值为η_B，方差为批量归一化以及其线性变换y_i公式为：

设置一个朱尔兹集合函数J:Ω→R³，其离散晶格Ω＝{1,…,H}×{1,…，W}，实例归一化y_tijk公式为：

其中x∈R，T×C×W×H为包含一批C维T图像的输入张量，其宽和高分别为W和H，ε是为保证数值稳定性的而添加的常数；设x_tijk为其第tijk个元素，其中k和j张成空间维度，i为特征通道(如果输入为RGB图像，则为彩色通道)，t为图像批的索引；η_ti和分别为t索引和i特征通道上x的均值和方差；

第四步、计算对比损失和最大均值距离损失

对比损失L_E设计为:

其中N为批次大小，y_n为第n对样本的目标标号(0或1)，margin为当前批次的最大距离边界，d_n为两对样本之间的欧式距离；选择分类交叉熵作为分类损失函数，其公式L_c是:

其中p为归一化指数函数的预测，t为目标向量，C为类别数，x为目标样本，y为x的标签；

此外，将最大均值距离L_MMD添加到模型中:

其中m,n分别为数据集x,y的大小,φ(·)表示与内核相关的功能映射图，k(x,y)＝<φ(x)，φ(y)>，k(x,y)通常定义为l基核k_l(x,y)的凸组合，公式为：

其中β_l为l基核的参数,L为基核总数；

综上所述，模型的总损失函数为:

L＝αL_c+βL_E+γL_MMD \*ME

α，β，γ代表加权变量，L_c代表分类交叉熵损失函数,L_E为对比损失函数，L_MMD为最大均值距离损失函数。