CN111428803A - 一种基于Wasserstein距离的深度域适应图像分类方法 - Google Patents

Abstract

本发明提出了一种基于Wasserstein距离的深度域适应图像分类方法、装置和计算机可读存储介质。首先，利用卷积结构提取特征。其次，采用全连接层逐层映射减少特征数量。再次，对源域特征进行类别判别的同时，利用Wasserstein距离度量源域与目标域特征之间的距离，从而促使本发明中的模型从源域任务逐步迁移到目标域任务。最后，本发明中的模型在保证准确率和稳定性的基础上完成在目标域上的分类任务。本发明在ADNI和OASIS数据集上进行了算法验证，我们的方法优于传统的方法，具有更好的分类效果。

Description

一种基于Wasserstein距离的深度域适应图像分类方法

技术领域

本发明属于图像处理与分析技术领域，具体涉及一种基于Wasserstein距离的深度域适应图像分类方法、装置和计算机可读存储介质。

背景技术

随着计算机科学的发展和计算机运行速度的不断加快，人工智能逐步发展起来并用来解决很多实际应用问题，尤其近些年深度学习方法得到了广泛应用。然而深度学习往往需要大量的数据和相应的标记来支撑。在现实生活中，大量的数据或标记往往难以获得导致我们无法顺利完成我们的任务也造成数据的浪费，因此，迁移学习应运而生。迁移学习技术，是将数据充足且有标记的源域数据上得到的信息迁移到数据不足或没有标记的目标域上，从而完成目标域上特定任务的技术。域适应则是迁移学习中用来解决源域与目标域特征空间和目标任务相同、特征分布不同的问题的技术。近年来，图片美化、图片风格迁移，物体识别、智能医疗等行业中域适应分类技术的应用日渐增多，越来越多的产品、装置需要更好的域适应分类技术作为支撑。

在针对数量少且没有标记的图像进行域适应分类时，传统的域适应方法通常先提取源域与目标域的特征，然后对两域特征进行域适应，最终采用传统分类器进行分类。上述传统算法运算效率较高，但是准确率比较有限，而且在整个过程中需要人为干预。以往的基于度量的深度域适应方法在准确率上通常优于传统算法，但是在性能上仍存在许多缺点。比如采用MMD距离的域适应方法，准确率波动较大，采用二阶统计特征对齐的方法针对差异较大的两域作用有限等。以往采用Wasserstein距离的深度域适应方法均是基于生成对抗网络进行的，除了特征提取器(取代生成器)外，它还需要一个分类器和一个判别器，模型参数较多，不适用于数据量少的数据集。此外，用生成对抗方式训练得到的模型结果波动较大，不够稳定。因此，以上方法都无法很好的在实际中应用。

发明内容

为了解决用于分类的数据集(目标域)数据量少、没有标记的问题，本发明提出了一种基于Wasserstein距离的深度域适应图像分类方法。该方法只需要一个特征提取器和分类器，模型参数减少很多，而且能够在数据量少、没有标记的数据集(目标域)上达到较高的分类准确率，结果稳定，因此更适合在实际中应用。该方法借助与目标域数据在特征空间、标记类别和标记空间上均相同且数量较多有标记的源域数据，通过基于Wasserstein距离的深度域适应方法来达到此目的。该方法能够有效度量源域与目标域之间的差距，即便源域和目标域之间差距较大，Wasserstein距离也能反映两个分布的远近，从而使适用于源域的模型迁移到目标域，更好的完成目标域图像的分类任务。

本发明采用的技术方案如下：

一种基于Wasserstein距离的深度域适应图像分类方法。该方法通过直接在分类模型的分类器部分加入基于Wasserstein距离的域适应层来度量源域与目标域特征之间的距离，促使深度网络模型在学习源域分类任务的同时不断减小域偏移，最终使深度网络模型从适用于源域的分类任务逐步过渡到适用于目标域的分类任务，提高在目标域上分类的准确率，具体步骤包括：

(一)数据预处理：首先将磁共振影像数据集中重复数据去除，然后对两域数据进行去脑壳处理，并配准到标准模板上，最后对数据进行进行归一化处理，得到最终数据；

(二)深度网络模型中的卷积部分分别对两域数据进行特征提取：卷积部分由卷积层、池化层和ReLU层组成，数据经过四层卷积层、池化层和ReLU层，图像尺度减小，通道数增多，模型提取到丰富的特征信息；

(三)深度网络模型中的全连接部分减少特征数：在卷积之后，得到来自源域和目标域的丰富的特征信息，将两域的特征信息分别展为一维特征后，通过线性层的逐层映射将特征数减少；

(四)通过Wasserstein距离度量两域间的特征距离：将源域与目标域得到的特征输入域适应层计算Wasserstein距离；Wasserstein度量是给定度量空间(M,ρ)上概率分布之间的距离度量，其中ρ(x,y)是实例x和y在集合M上的距离函数，p阶Wasserstein距离定义如下所示：

其中

是在有着有限p阶矩的M上的两个概率测度，

是在边际为

和

的M×M的所有概率测度的集合，μ(x,y)可以视为一种随机策略，即在满足边际约束

和

的条件下，将x移动到y的方法，本发明中采用p＝1的Wasserstein距离即W₁；

(五)计算总损失对参数进行调整：通过公式

来计算总损失；其中

y_S分别为源域的数据和标记，

为目标域的数据，l_C是将全连接层输出的源域特征输入分类层并利用交叉熵函数计算得到的损失，l_A是上一步计算得到的Wasserstein距离，λ是平衡两部分损失的权重参数；通过损失计算公式计算得到的损失来调整模型参数直至模型收敛，此时，模型由适用于源域任务迁移到适用于目标域任务；

(六)结果预测：去掉域适应层，将目标域样本输入模型进行分类得到准确率。

为了实现上述方法，本发明还提供一种图像处理装置，该装置包括数据采集部件、存储器和处理器，其中，

所述数据采集部件首先去除数据集中的重复数据，然后对数据进行自动去脑壳和配准处理，最后将数据进行归一化操作，得到最终数据；

所述存储器存储有计算机程序，所述程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(六)。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

在模型训练的数据预处理过程中，将源域数据和标记与目标域数据分别输入模型，在求得分类损失的同时计算Wasserstein距离，利用两部分的和对模型优化，再用目标域数据进行验证，得到最终分类结果。本发明与之前的深度域适应分类方法相对比，分类准确率更高，结果更稳定，具有更好的泛化能力。

附图说明

图1是基于Wasserstein距离的深度域适应分类方法的示意框图。

图2是本发明使用的域适应分类模型的示意框图。

图3是本发明的图像处理装置的示意框图。

具体实施方式

下面通过附图和实例对本发明技术方案进行详细说明。

如图1所示，本发明基于Wasserstein距离的深度域适应分类方法实施步骤如下文所示：

步骤一：训练阶段，使用数据量充足且有标记的源域数据和数据量较少的无标记的目标域数据进行训练。将两域的数据进行预处理并送入网络中，采用交叉熵损失函数计算源域数据的分类损失，同时计算源域特征与目标域特征间的Wasserstein距离，将两部分的值加权作为总的损失对模型参数进行调整。训练使用Adam优化器更新参数，一共迭代100次，将最后得到的模型保存。

步骤二：测试阶段，将目标域数据进行预处理，送入训练阶段得到的最终的模型中，经过模型分类，得到分类准确率。

如图2所示，本发明基于Wasserstein距离的域适应分类方法的网络结构与具体内容如下文所示：

(一)数据预处理：首先，去除磁共振影像数据集中的重复数据，然后，对数据进行去脑壳处理，并配准到标准模板上，最后，对数据进行归一化；

(二)特征提取：将预处理后的数据读取进来，得到的数据大小为N×C×D×H×W,其中N为图像数目，C为通道数，D为图像深度，H为图像高度，W为图像宽度。将源域和目标域数据分别输入卷积部分，通过四层卷积层、池化层和ReLU层对两域数据分别提取特征，最终得到通道数为32的输出；

(三)减小特征数：将源域与目标域数据卷积得到的输出展为一维特征，分别输入全连接部分，通过全连接层的逐层映射进一步缩小特征数；

(四)Wasserstein距离度量特征距离：将全连接部分输出的源域和目标域的特征向量输入域适应层计算Wasserstein距离，本发明采用p＝1的Wasserstein距离W₁，W₁距离也被称作Kantorovich-Rubinstein距离，Kantorovich-Rubinstein定理表明，当M是可分离的时，W₁距离的对偶表示可以写为积分概率度量的形式：

其中||f||_L＝sup|f(x)-f(y)|/ρ(x,y)，ρ(x,y)是实例x和y在集合M上的距离函数，

是在有着有限p阶矩的M上的两个概率测度，f(x)和f(y)分别为x和y的概率密度函数。

(五)计算损失并调整模型参数：通过公式

来计算总损失。其中

y_S分别为源域的数据和标记，

为目标域的数据，l_C是将全连接层输出的源域特征输入分类层并利用交叉熵函数计算得到的损失，l_A是上一步计算得到的Wasserstein距离，λ是平衡两部分损失的权重参数。通过损失计算公式计算得到的损失来调整模型参数直至模型收敛，模型由适用源域任务逐步迁移到适用于目标域任务；

(六)结果预测：将目标域的数据输入模型进行分类。

图3给出了本发明的图像处理装置示意框图。如图所示，该图像处理装置包括数据采集部件、存储器和处理器。其中，数据采集部件对数据进行预处理，数据去重，去脑壳，配准，然后归一化，得到所需数据。存储器用于存储计算机程序，其中程序被处理器执行，且能够实现如前所述方法的步骤(二)至步骤(六)。

本发明的效果可以通过准确率进一步说明：

本发明所用的数据集为ADNI和OASIS数据集。其中ADNI数据经过多步预处理，而且数据来自多中心，没有大量来自同一设备和序列的影像，而OASIS数据几乎未经预处理，数据却是在相同的平台以相同的序列采集得到的，因而数据分布有所不同，然而，两数据集特征空间与目标任务均相同，因此符合迁移中域适应分类方法应用要求，作为本发明验证数据集。表一为本发明的验证结果。其中未迁移方法代表直接用ADNI进行训练得到的网络对OASIS进行分类的结果，DDC、CORAL等是深度域适应分类的经典方法，EasyTL是传统域适应的方法，Wasserstein是本发明提出的方法。表中黑体数字为该列最大值，代表了最优结果。综上所述，本发明的方法比其他方法效果更好。

表1

Claims (3)

1.一种基于Wasserstein距离的深度域适应图像分类方法，该方法通过直接在分类模型的分类器部分加入基于Wasserstein距离的域适应层来度量源域与目标域特征之间的距离，促使深度网络模型在学习源域分类任务的同时不断减小域偏移，最终使深度网络模型从适用于源域的分类任务逐步过渡到适用于目标域的分类任务，提高在目标域上分类的准确率，具体步骤包括：

(一)数据预处理：首先将磁共振影像数据集中重复数据去除，然后对两域数据进行去脑壳处理，并配准到标准模板上，最后对数据进行进行归一化处理，得到最终数据；

(二)深度网络模型中的卷积部分分别对两域数据进行特征提取：卷积部分由卷积层、池化层和ReLU层组成，数据经过四层卷积层、池化层和ReLU层，图像尺度减小，通道数增多，模型提取到丰富的特征信息；

(三)深度网络模型中的全连接部分减少特征数：在卷积之后，得到来自源域和目标域的丰富的特征信息，将两域的特征信息分别展为一维特征后，通过线性层的逐层映射将特征数减少；

(四)通过Wasserstein距离度量两域间的特征距离：将源域与目标域得到的特征输入域适应层计算Wasserstein距离；Wasserstein度量是给定度量空间(M,ρ)上概率分布之间的距离度量，其中ρ(x,y)是实例x和y在集合M上的距离函数，p阶Wasserstein距离定义如下所示：

其中

是在有着有限p阶矩的M上的两个概率测度，

是在边际为

和

的M×M的所有概率测度的集合，μ(x,y)可以视为一种随机策略，即在满足边际约束

和

的条件下，将x移动到y的方法，本发明采用p＝1的Wasserstein距离即W₁；

(五)计算总损失对参数进行调整：通过公式

来计算总损失；其中

y_S分别为源域的数据和标记，

为目标域的数据，l_C是将全连接层输出的源域特征输入分类层并利用交叉熵函数计算得到的损失，l_A是上一步计算得到的Wasserstein距离，λ是平衡两部分损失的权重参数；通过损失计算公式计算得到的损失来调整模型参数直至模型收敛，此时，模型由适用于源域任务迁移到适用于目标域任务；

(六)结果预测：去掉域适应层，将目标域样本输入模型进行分类得到准确率。

2.一种图像处理装置，该装置包括数据采集部件、存储器和处理器；

所述数据采集部件首先去除数据集中的重复数据，然后对数据进行自动去脑壳和配准处理，最后将数据进行归一化操作，得到最终数据；

所述存储器存储有计算机程序，所述程序被处理器执行时能够实现如权利要求1所述方法的步骤(二)至步骤(六)。

3.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1所述方法的步骤。

Images