CN113449631A - 图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种图像分类方法及系统，将源域数据和目标域数据输入到共享权重的孪生网络，训练孪生网络；利用训练后的孪生网络，获得由源域数据和目标域数据组成的训练集在同一个特征空间的特征表示，得到训练集中每个样本的特征向量Vtrain；将由测试数据和源域数据组成的成对样本输入到训练后的孪生网络，提取测试数据中每个测试样本的特征向量Vtest；计算每个特征向量Vtrain的平均值，得到多个均值向量，计算特征向量Vtest与每个均值向量之间的距离，则最短距离对应的均值向量的类别即测试样本的类别。本发明减小了源域舰船数据和目标域舰船数据的分布差异，从而可以对目标域进行精确识别。

Description

图像分类方法及系统

技术领域

本发明涉及图像识别领域，特别是一种图像分类方法及系统。

背景技术

近年来，深度学习在很多任务上都取得了巨大的成功，如图像分类^[1,2,3]，目标识别^[4,5]等。然而，由于深度模型包含的参数很多，通常需要大量的有标签的数据才能进行模型训练，这点严重地限制了它的应用：在很多场景下，收集大量的有标签的数据是非常昂贵、困难、甚至不可能的，比如医疗数据、手机上用户手动标注的数据等。如何利用少量带标签的样本(小样本数据)或源领域数据，建立一个可靠的模型对目标领域数据进行预测，已经成为深度学习的发展中一个十分重要的课题，不论是学术界还是工业界都高度关注。目前，解决小样本问题的主流迁移学习方法是基于度量学习^[6,7]的方法，即通过学习一个强大的、具有良好迁移能力的特征提取器来直接应用到目标任务上。在此基础上，Koch等^[6]首次将孪生神经网络应用于两阶段的小样本图像识别，在第一阶段中训练孪生网络进行图像验证任务，目标是验证两个输入图像是否具有相同的类别，这样能够刺激网络学习有差别的特征，在第二阶段中模型面临新任务时，网络将利用其先前的学习经验。目前基于孪生网络的共用属性度量表征方法，主要包含共用属性空间样本度量^[8]和样本最近邻分类策略^[9]两类。共用属性空间样本度量，目标是将所有的训练集图像和测试集图像映射和表征到同一个属性空间，相似的图片在属性空间中靠近，即使数据集的不同类别样本，也被表征到相同维度的高维属性空间中。样本的属性代表了这个图像样本中与其类别最相关的内容，具有相同属性的样本是相似的。样本最近邻分类策略，是指利用图像表征到属性空间中的属性向量，根据分类策略，对测试样本的类别进行预测。现有的孪生网络研究^[11,12,13]，根据测试样本的属性向量与所有测试样本的属性向量进行距离计算，距离测试样本最近的类别为预测类别。这种方法对于每张测试样本都需要大量的计算，耗时较长。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种图像分类方法及系统，减小源域舰船数据和目标域舰船数据的分布差异，提高识别精度。

为解决上述技术问题，本发明所采用的技术方案是：一种图像分类方法，包括以下步骤：

S1、将源域数据和目标域数据输入到共享权重的孪生网络，训练所述孪生网络；所述孪生网络包括两个结构相同的子网络，两个子网络并联，两个所述子网络的学习参数相同，即共享权重；

S2、利用训练后的孪生网络，获得由源域数据和目标域数据组成的训练集在同一个特征空间的特征表示，得到训练集中每个样本的特征向量Vtrain；

将由测试数据和源域数据组成的成对样本输入到训练后的孪生网络，提取测试数据中每个测试样本的特征向量Vtest；

S3、计算每个特征向量Vtrain的平均值，得到多个均值向量，计算特征向量Vtest与每个均值向量之间的距离，则最短距离对应的均值向量的类别即测试样本的类别。

本发明通过构建孪生神经网络，使得源域和目标域嵌入到同一特征空间，同类数据靠近，异类数据远离，实现类内部距离最小化，类之间距离最大化，能够有效利用源域数据中的类别信息，学习到更泛化的距离表达。

所述子网络包括级联的多个卷积层；最后一个卷积层与至少一个全连接层连接。本发明在卷积层之后添加全连接层，将特征向量转换到5维空间，以更好的实现分类，提高分类精度。

步骤S1中，所述孪生网络的训练过程包括：

1)生成随机整数d1作为第一张图片的域，生成随机整数d2作为第二张图片的域；在d1对应的域里选取一张图片，即为第一张图片img1，记录下类别c1；随机生成参数s，若s＝1，则从d2所在的域中类别c1中随机选择一张图片；若s＝0，则从d2所在的域中随机选择除类别c1外的其他类别下的一张图片，即img2；

2)将img1和img2这输入到孪生网络中，获得输出X和Y；

3)利用下式计算损失函数loss：loss＝Lc+MMD(X,Y)；其中，Lc为Ln中的所有元素的算术平均值，L_n＝(1-label).d²+label.(|2-d|)²，label为图像的类别标签，

为图像X和Y之间的欧式距离，x_i和y_i分别表示图像X和Y中的第i和第j个像素点，MMD(X,Y)为X和Y之间的最大均值化差异；

4)将损失函数loss进行反向传播，优化孪生网络参数；

5)重复步骤1)～步骤4)M次，获得训练后的孪生网络。

通过共享权重的孪生网络进行特征提取，然后使用最大均值差异和对比损失函数优化孪生神经网络。最大均值差异减小了源域和目标域的分布差异，通过最小化对比损失函数度量成对样本的匹配程度，可以使源域中的不同类别舰船样本在特征空间中区分开，当输入两个图像相似时，如果被映射到特征空间的距离较大，则说明当前的模型不好，损失函数值很大。而当样本不相似时，如果被映射到特征空间的距离较小，损失值也会较大，因此孪生网络就起到了将不同类别的样本在特征空间分离的效果，进一步提高了识别精度。

步骤3)中，MMD(X,Y)的计算公式为：

其中，x_i和y_i分别表示图像X和Y中的第i和第j个像素点，n和m分别为X和Y的图像尺寸，n＝m；k(x_i,y_i)为高斯核函数,

将X和Y的像素矩阵按列方向合并(两个矩阵每一列相连接，合并后的大小为n×(n+m))得到t,将t扩展(n+m)份为t0，将t的每一行都扩展成(n+m)行为t1，t0和t1任意两个数据之间的和为L_d，

最大均值差异MMD反映了源域和目标域的分布差异,通过引入最大均值差异，有助于利用源域上获得的知识去有效构建适合目标域上数据的特征提取，减小了源域图像和目标域图像的特征分布的差异。

利用Adam优化器优化孪生网络参数。Adam优化器收敛速度快，容易调整参数。

步骤5)中，优化孪生网络的过程中，学习率设为0.0001，训练轮数M＝100。学习率设为0.0001是为了避免网络训练出现断崖式下跌然后不再能够恢复，较小的学习率会导致训练速度减慢，因此通过设置训练轮数M＝100使得网络得到充分训练并能够收敛。

本发明还提供了一种图像分类系统，其包括计算机设备；所述计算机设备被配置或编程为用于执行上述图像分类方法的步骤。

与现有技术相比，本发明所具有的有益效果为：本发明通过构建孪生神经网络，并在损失函数中加入最大均值差异，减小了源域舰船数据和目标域舰船数据的分布差异，从而可以对目标域进行精确识别。针对目标识别和分类等任务中目标的种类多，但是每种目标的目标域图像数量少的问题，为了充分利用小样本的目标域图像数据和源域图像数据，本发明通过构建孪生神经网络，并在损失函数中加入最大均值差异，以减小目标域图像数据和源域图像数据的分布差异，从而进行目标识别。首先，研究样本之间的距离建模方法，使得源域和目标域嵌入到同一特征空间，同类样本靠近，异类样本远离，类内距最小化，类间距最大化。其次，研究迁移学习下的度量学习的实现方法，通过综合学习目标域图像和源域图像的不同数据分布下的度量，使得度量更稳定，有效利用源域图像数据中的标签信息，学习到更泛化的距离表达。本发明使用的最近邻分类策略为，先计算训练集中每个类别的中心点，再计算测试样本与每个类别中心点的距离，从而进行分类，减少了计算时间，并且每个类别的中心点是可以表征该类别的核心属性的。

附图说明

图1为本发明实施例方法原理图。

图2为本发明实施例相同类别共同属性度量结果。

图3为本发明实施例不同类别共同属性度量结果。

具体实施方式

第一步：孪生网络子网络结构设计，设计一个包含3个卷积层和3个全连接层的孪生网络。每个卷积层后设置有激活函数ReLU，结构简单，容易训练。

第二步：网络训练。将源域数据和目标域数据输入到共享权重(孪生网络是由两个结构相同的子网络的组成，两个子网络的学习参数是相同的，称为共享权重)的孪生网络，使用最大均值差异和对比损失函数优化孪生神经网络进行训练，训练过程如下：

(1)训练数据选择。孪生网络每轮训练都需要选择两张图片，由于源域和目标域均有不同类别的图像，需要确定图像所在的域和图像所属类别。首先生成随机整数d1作为第一张图片的域，生成随机整数d2作为第二张图片的域。然后在d1对应的域里选取一张图片，即为第一张图片img1，记录下类别c1。然后随机生成参数s，如果s＝1就从d2所在的域中类别c1中随机选择一张图片；如果s＝0就从d2所在的域中除类别c1外的其他类别下随机选择一张图片，即img2。

(2)将img1和img2这两张图像输入到构建的孪生网络中，获得输出X和Y。

(3)根据X和Y计算损失函数。我们的损失函数包含对比损失和最大均值化差异损失两部分。使用对比损失突出每一个域下不同类别数据之间的差异，使用最大均值化差异损失消除源域和目标域之间的差异，损失函数的计算方法如下：

1)根据公式(1)计算X和Y之间的像素级欧氏距离d,i表示图像X和Y中的第i个像素，N表示图像X中像素点的总数，X_i表示图像X的第j个像素点。Y_i表示图像Y的第j个像素点。

2)根据1)计算的像素级欧氏距离d和图像的类别标签label计算计算公式(2),Ln中的所有元素的算术平均值即为对比损失Lc。

L_n＝(1-label).d²+label.(|2-d|)²， (2)

3)计算X(大小为n*n)和Y(大小为m*m)之间的最大均值化差异MMD(X,Y),n＝m。

其中k(x_i,y_i)函数为公式(4)所示的高斯核函数。σ计算方法为：将X和Y按列方向合并＝t,将t扩展(n+m)份为t0,将t的每一行都扩展成(n+m)行为t1，求t0和t1任意两个数据之间的和Ld，根据公式(5)和公式(6)计算高斯核函数的σ值。

4)网络的总损失函数loss为对比损失和最大均值化差异之和，即loss＝Lc+MMD(X,Y)。

(4)网络的总损失函数loss进行反向传播，使用Adam优化器优化网络参数，学习率设为0.0001，训练100轮，保存模型权重。

第三步：使用共享权重的孪生网络进行特征提取，训练完成得到源域数据和目标域数据在同一个特征空间的特征表示，即对训练集(源域数据和目标域数据)的每一个样本生成一个特征向量Vtrain(实验中生成的是5维向量)(源域数据是舰船的可见光图像，目标域数据红外舰船图像)。经过损失函数的优化，源域和目标域之间的差异很小，每个舰船类别之间的差异很大。

第四步：测试。将测试数据与源域数据组成的成对样本输入到训练好的孪生网络中，对每个测试样本提取特征向量Vtest。计算第三步获得的每个类别的样本对应的特征向量Vtrain的平均值，得到每个类别的一个均值向量Vmean，均值向量Vmean表征了这个类别。计算测试样本的特征向量Vtest与每个类别的均值向量Vmean之间的距离，距离最小的类别就是测试样本的预测类别。

本发明实施例以VAIS数据集中源域数据(可见光舰船图像)和目标域数据(红外舰船图像)为研究对象，设计了源域和目标域数据共同属性度量方法，通过学习一个属性度量的孪生网络，将样本数据表征为属性。目标数据集6个类别的舰船样本数据，每个类别提供了大量的数据。我们在测试集集上验证了成对图片的不相似程度得分，得分越小图片越相似。图2展示了2组同一类别的舰船(类别0-类别0和类别-10类别10)的不相似程度得分，图3展示了2组不同类别的舰船(类别2-类别8和类别-10类别6)的不相似程度得分，从图2和图3可以看出，同一类别的舰船的不相似程度得分(0.28,0.52)远小于不同类别的不相似程度得分(3.08,1.34)，说明了本发明方法的有效性，在图像舰船目标分类任务上的准确率有较大提升。

实验在Ubuntu Server 16.04x64系统上完成，训练使用NVIDIA Titan_Xp 12G的GPU。训练和测试过程均采用PyTorch深度学习框架，训练过程中采取Adam优化方法。

训练阶段：

(1)训练数据选择。孪生网络每轮选择两张图片，首先生成随机整数d1作为第一张图片的域，生成随机整数d2作为第二张图片的域。然后在d1对应的域里选取一张图片，即为第一张图片img1，记录下类别c1。然后随机生成参数s，如果s＝1就从d2所在的域中类别c1中随机选择一张图片；如果s＝0就从d2所在的域中除类别c1外的其他类别下随机选择一张图片，即img2。

(2)将img1和img2这两张图像输入到构建的孪生网络中，获得输出X和Y。

(3)根据X和Y计算损失函数。我们的损失函数包含对比损失和最大均值化差异损失两部分。使用对比损失突出每一个域下不同类别数据之间的差异，使用最大均值化差异损失消除源域和目标域之间的差异，网络的总损失函数loss进行反向传播，训练100轮，保存模型权重。

(4)对训练集(源域数据和目标域数据)的每一个样本生成一个5维特征向量Vtrain。

测试阶段：

将测试数据与源域数据组成的成对样本输入到训练好的孪生网络中，对每个测试样本提取特征向量Vtest。计算第三步获得的每个类别的样本对应的特征向量Vtrain的平均值，得到每个类别的一个均值向量Vmean,均值向量Vmean表征了这个类别。计算测试样本的特征向量Vtest与每个类别的均值向量Vmean之间的距离，距离最小的类别就是测试样本的预测类别。

Claims (7)

1.一种图像分类方法，其特征在于，包括以下步骤：

S1、将源域数据和目标域数据输入到共享权重的孪生网络，训练所述孪生网络；所述孪生网络包括两个结构相同的子网络，两个子网络并联，两个所述子网络的学习参数相同，即共享权重；

S2、利用训练后的孪生网络，获得由源域数据和目标域数据组成的训练集在同一个特征空间的特征表示，得到训练集中每个样本的特征向量Vtrain；

将由测试数据和源域数据组成的成对样本输入到训练后的孪生网络，提取测试数据中每个测试样本的特征向量Vtest；

S3、计算每个特征向量Vtrain的平均值，得到多个均值向量，计算特征向量Vtest与每个均值向量之间的距离，则最短距离对应的均值向量的类别即测试样本的类别。

2.根据权利要求1所述的图像分类方法，其特征在于，所述子网络包括级联的多个卷积层；最后一个卷积层与至少一个全连接层连接。

3.根据权利要求1所述的图像分类方法，其特征在于，步骤S1中，所述孪生网络的训练过程包括：

1)生成随机整数d1作为第一张图片的域，生成随机整数d2作为第二张图片的域；在d1对应的域里选取一张图片，即为第一张图片img1，记录下类别c1；随机生成参数s，若s＝1，则从d2所在的域中类别c1中随机选择一张图片；若s＝0，则从d2所在的域中随机选择除类别c1外的其他类别下的一张图片，即img2；

2)将img1和img2这输入到孪生网络中，获得输出X和Y；

3)利用下式计算损失函数loss：loss＝Lc+MMD(X,Y)；其中，Lc为Ln中的所有元素的算术平均值，L_n＝(1-label)·d²+label·(|2-d|)²，label为图像的类别标签，

为图像X和Y之间的欧式距离，x_i和y_i分别表示图像X和Y中的第i和第j个像素点，MMD(X,Y)为X和Y之间的最大均值化差异；

4)将损失函数loss进行反向传播，优化孪生网络参数；

5)重复步骤1)～步骤4)M次，获得训练后的孪生网络。

4.根据权利要求3所述的图像分类方法，其特征在于，步骤3)中，MMD(X,Y)的计算公式为：

其中，n和m分别为X和Y的图像尺寸，n＝m；k(x_i,y_i)为高斯核函数,

将X和Y的像素矩阵按列方向合并，得到t，将t扩展(n+m)份得到t0，将t的每一行都扩展成(n+m)行得到t1，t0和t1任意两个数据之间的和为L_d，

5.根据权利要求3所述的图像分类方法，其特征在于，步骤4)中，利用Adam优化器优化孪生网络参数。

6.根据权利要求3所述的图像分类方法，其特征在于，步骤5)中，优化孪生网络的过程中，学习率设为0.0001，M＝100。

7.一种图像分类系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～6之一所述方法的步骤。

Images