CN113420775A - 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法 - Google Patents

基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法 Download PDF

Info

Publication number
CN113420775A
CN113420775A CN202110346275.0A CN202110346275A CN113420775A CN 113420775 A CN113420775 A CN 113420775A CN 202110346275 A CN202110346275 A CN 202110346275A CN 113420775 A CN113420775 A CN 113420775A
Authority
CN
China
Prior art keywords
domain
network
layer
picture
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110346275.0A
Other languages
English (en)
Other versions
CN113420775B (zh
Inventor
潘杰
陈宁宁
邹筱瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110346275.0A priority Critical patent/CN113420775B/zh
Publication of CN113420775A publication Critical patent/CN113420775A/zh
Application granted granted Critical
Publication of CN113420775B publication Critical patent/CN113420775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，该方法从其它相关领域迁移知识到目标域，解决深度学习图片分类可训练标签样本少的问题。该方法综合考虑同类别分布差异和不同类别分布差异，领域适应过程中在减小同类别分布差异的基础上增大不同类别分布差异，既增加了源域和目标域同类别的可迁移性，又增加了源域和目标域不同类别间的可辨别性，并且应用最大均值差异缩小源域和目标域的边缘概率分布差异。该方法通过神经元非线性度可变的自适应寻找更适合任务的网络结构，优化了网络结构，提高领域适应能力和泛化能力，从而保证了最终的图片识别的分类精度。

Description

基于非线性度自适应子域领域适应的极少量训练样本下图片 分类方法
技术领域
本发明属于深度学习图片分类领域，特别是涉及了基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法。
背景技术
随着移动设备和计算机硬件的大幅度提升，以及互联网的普及。每天都有大量数据被收集。在利用大数据面前，机器学习取得很大进展，成为大数据挖掘信息的主要技术手段。在处理文本、图像、视频等非结构数据方面，一个至关重要的问题就是如何有效的利用来自不同领域的数据，对相关领域的数据迁移和复用。例如，人学会骑自行车之后，对于电动车和摩托车很容易掌握。如何迁移骑自行车的技术知识到电动车和摩托车上，以及如何学习到三种工具的不同之处，更快地掌握新工具。在互联网领域可以很容易得到大量有类别标签的高分辨率图像，但是在实际生活中所产生的图像像素低并且很难获取所有图像的类别，现有的机器学习方法很难取得很好的分类精度。将互联网领域所产生的大数据迁移到实际生活中的小领域数据，解决实际生活中数据标签获取难的问题，迁移学习为利用大数据解决小数据问题提供有效方法。
目前，依靠大规模训练样本和高性能硬件资源，卷积神经网络(ConvolutionalNeural Networks,CNN)在物体的识别与检测方面取得巨大成功。在机器学习的基本假设下，样本被用来训练分类器，以便对未知类别的样本进行分类，只有当测试样本与训练样本的分布相同时，学习器才能很好地工作。而在现实世界中，并不能保证语义相似的数据具有相同的特征分布。不同的采样环境，如分辨率、光照、背景等，会导致不同的分布，进而造成数据偏差与领域漂移。在训练和测试数据分布不同的情况下学习一个判别模型成为迁移学习。为了解决样本空间的特定分布，至少需要获取一些信息。通常可以从待分类目标域收集未标记数据，但是标签很难获得，或者仅有少量标签。但是，目标域数据可以学习到源域和目标域之间的不同之处，可以利用这些信息使分类器适应目标域，避免受域分布不同造成对结果的影响，以便更好的预测目标域标签。
基于以上理论，领域适应已经被广泛应用于很多现实问题中。在自然语言处理方面例如，由长文本数据学习处理短文本数据；由中文文档到英文文档等。在计算机视觉方面学习从公共数据集(Amazon、Dslr等)学习分类模型，并且迁移到生活中手机所拍摄的照片分类上。在医疗领域对，对数据的标记代价极其高，并且数据十分宝贵，例如应用多源医疗信息给出全面诊断等。
领域自适应分为浅层领域自适应和深度领域自适应。根据迁移学习的方法可以分为以下几种：基于实例的迁移是把源域中的有用样本挑选到目标域训练集中扩大样本训练集。基于特征表示迁移学习方法是把源域的实例通过特征变换映射到目标域，或者将源域和目标域的实例映射到一个子空间，目的是让源域和目标域之间的特征正分布尽量减少从而达到扩增目标域数据量的目的。基于参数的迁移学习方法是把源域模型训练的参数作为目标域模型训练的初始值从而可以训练出更好的模型。另外还有关系型知识的迁移学习方法和混合迁移学习方法等。
本专利中所提出的方法具体应用背景为存在其它领域标签图片辅助目标域少量训练样本下的图片分类问题，解决使用少量样本在避免网络过拟合的情况下学习图片分类网络。可训练样本的稀疏性，会导致传统的机器学习方法出现严重过的拟合过拟合问题，换而言之，就是学习到的分类网络只是在训练集上表现很好在测试集上结果很差。虽然一些传统的半监督学习、主动学习等也为数据的稀缺性提供了有效方法，但是他们都需要目标域有一定程度的标记数据。如果标记数据的获取代价太大，如何从不同领域中迁移知识将变得不可避免。
以前的深度领域自适应方法主要学习全局域偏移，比如DDC和D-CORAL通过在Alexnet网络的基础上加领域适应层和领域混淆损失，DAN在全连接层上使用MK-MMD减小领域分布差异，DANN通过加入域分类器增强网络的领域适应能力。MADA通过在每种类别上加入域分类器更好的提高领域适应能力。DSAN通过利用每次训练输出的伪标签减小源域和目标域每种类别的MMD损失提高领域适应效果。
但是上述方法没有综合考虑可迁移性与可辨别性以及全局和子域的互补来提高领域适应网络的能力，以及网络结构对结果的影响。目前的深度领域适应方法主要学习全局领域偏移，即对齐源域和目标域的全局分布，没有考虑领域间同一类别分布差异，无法捕获到类别信息。本发明解决了全局领域适应造成子域分布过于相近无法准确分类的问题。并且网络能够自适应调整选择更优的领域适应网络结构，从而直接或间接影响模型的分类精度和泛化能力。深入考虑子域领域适应的迁移性与可辨别性，以及领域适应网络结构的自适应变化。提出了一种新的基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法。
发明内容
本发明的目的在于解决图片标签获取难，待分类目标域仅存在极少量的带标签图片的图片分类问题，提供一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，能从其它相关领域的对应图片类别学习知识。
本发明通过以下技术方案来实现：一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，包括以下步骤：
(1)获取数据：读取源域和目标域图片，将图片分为源域样本、有标签目标域样本、待分类目标域样本；
(2)提取并处理步骤(1)所获取的图片样本的特征，得到源域图片特征和目标域图片特征X；有标签数据的标签信息Y；
(3)非线性度自适应子域领域适应网络搭建；包括神经元非线性度可变层和神经元非线性度固定层；其中，前三层为神经元非线性度可变层，第四层为神经元非线性度固定层，第五层为类别输出层；
(4)对步骤(3)搭建的非线性度自适应子域领域适应网络进行训练：
(4.1)初始化网络参数，输入步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y，通过领域适应网络数据的前向传播计算源域和目标域图片同类别和不同类别间的特征分布差异、源域和目标域图片特征的边缘概率分布差异以及有标签数据的交叉熵损失；
(4.2)根据领域适应网络神经元非线性度计算所有非线性可变神经元参数的和；
(4.3)计算领域适应网络的总损失函数；根据步骤(4.1)所得源域和目标域之间的特征分布差异以及步骤(4.2)所得神经元非线性度，对领域适应网络的第四层输出的图片特征计算最大均值差异，通过减小最大均值差异来减小源域和目标域之间的特征分布差异；
(4.4)领域适应网络的参数更新；
(4.5)重复步骤(4.1)、(4.2)、(4.3)、(4.4)直到网络迭代次数达到设定迭代次数，取最后一次迭代的网络参数θ(ω,b,g)；
(4.6)训练结束，网络参数θ(ω,b,g)固定不再更新；
(5)在训练好的非线性度自适应子域领域适应网络中输入待分类目标域图片样本的特征矩阵XTn，用该网络的第五层输出，利用softmax计算样本所属概率最大的类别即为图片的预测类别。
进一步的，所述步骤(1)包括以下步骤：
(1.1)将所有图片都转换为224×224尺寸；每张图片转换为RGB三通道，转换为v×h×o的三维矩阵，v和h分别为图像的宽和高，o为通道数；
(1.2)源域图片转换成nS×v×h×o的四维矩阵数据，nS表示源域样本数；目标域少量带标签数据转换成nTl×v×h×o的四维矩阵数据，nTl表示有标签目标域样本数；待分类目标域图片转换成nTn×v×h×o的四维矩阵数据，nTn表示目标域待分类样本数；
(1.3)图片类别用one-hot编码，图片共有N类，则第一类的标签表示[1,0,0,...,0]1×N,第二类的标签表示为[0,1,0,...,0]1×N，…，第N类图片的标签表示为[0,0,0,...,1]1×N。
进一步的，所述步骤(2)包括以下步骤：
(2.1)特征提取网络的训练：采用ImageNet对ResNet网络进行预训练，获得ResNet残差网络模型，再用步骤(1)所得源域数据训练ResNet残差网络模型，ResNet残差网络的输入为batch_size×v×h×o的矩阵，batch_size的大小取决于计算机内存；
(2.2)图片特征提取：ResNet残差网络训练完成后保留第一层全连接层和卷积层的所有参数，ResNet残差网络的第一层全连接层作为特征输出层，然后使用该网络提取源域和目标域的图片特征；提取的源域图片特征为
Figure BDA0003000807510000041
少量带标签目标域图片特征为
Figure BDA0003000807510000042
待分类目标域图片特征为
Figure BDA0003000807510000043
(2.3)图片特征标准化处理：在(2.2)步骤之后对提取的源域图片特征和目标域图片特征进行标准化处理：
设矩阵X内任意一点的变量为Xij，对该变量进行减均值除标准差处理，标准化的处理计算公式如下：
Figure BDA0003000807510000051
其中，Xj是矩阵X第j列的均值，σj是矩阵第j列的标准差，Xij'表示标准化处理后的特征矩阵；
其中，
Figure BDA0003000807510000052
Figure BDA0003000807510000053
其中，I表示矩阵总行数；
将特征矩阵X标准化之后，得到每列均值是0，方差为1的源域数据矩阵
Figure BDA0003000807510000054
少量带标签目标域数据矩阵为
Figure BDA0003000807510000055
待分类目标域数据矩阵为
Figure BDA0003000807510000056
分别把标准化后的有标签图片特征处理为
Figure BDA0003000807510000057
图片标签处理为
Figure BDA0003000807510000058
其中，上标1～N代表类别，下标S、Tl、Tn分别表示源域图片、目标域有标签图片、目标域待分类图片；然后将源域图片特征和目标域图片特征处理为
Figure BDA0003000807510000059
有标签数据标签为
Figure BDA00030008075100000510
进一步的，步骤(3)所述神经元非线性度可变层中，固定每层神经元个数为2048，为了使前三层网络能够自适应改变神经元非线性度寻找在当前任务下最优网络，为领域适应网络每个神经元设定一个参数g∈[0,1]，这个参数决定了这个神经元作非线性程度，以及它在不进行任何变换的情况下将输入直接作为输出的程度；前三层每层之间的计算公式为：
y(x)＝g*σ(ωTx+b)+(1-g)*x (4)
g作为一个权重参数表示神经元在恒等变换和非线性变换的选择；如果g＝0表示这个神经元完全复制输入到输出，如果g＝1表示这个神经元利用权重ω偏置b和激活函数σ对输入进行非线性变换；g初始化为0，如果在网络的学习过程中它的值变大则表示非线性单元发挥作用，网络也更加复杂，为避免网络过于复杂给g加一个正则化项；
第三层到第四层的计算公式为：
y(x)＝σ(ωTx+b) (5)
所述领域适应网络的第四层为神经元非线性度固定层，固定神经元个数为1000，第四层转换后每张图片的特征维度为1000，在第四层计算源域图片特征分布和目标域图片特征分布是否相同；在该层用MK-MMD计算源域图片特征分布和目标域图片同类别分布差异，以及源域图片特征分布和目标域图片特征分布不同类别间的差异，并且计算源域图片特征和目标域图片特征的边缘概率分布差异；第四层到第五层的计算公式为：
y(x)＝ωTx+b (6)
所述领域适应网络的第五层为类别输出层，神经元个数等于图片类别数，训练阶段用第五层输出，用softmax函数计算图片属于每种类别的概率，然后计算交叉熵分类损失；预测待分类样本阶段则用softmax函数计算所属类别。
进一步的，所述步骤(4.1)包括以下步骤：
网络参数初始化，将步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y输入网络，设第四层的网络输出为Z；
(4.1.1)计算源域和目标域图片同类别图片特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域的第c类计算MK-MMD，计算完所有类别相加然后除以类别数C；具体计算公式为：
Figure BDA0003000807510000061
式中C表示类别数，
Figure BDA0003000807510000062
表示源域c类别样本数目，
Figure BDA0003000807510000063
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure BDA0003000807510000071
表示源域特征经网络变换后第四层输出的c类第i个样本特征，
Figure BDA0003000807510000072
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure BDA0003000807510000073
表示第四层输出的源域的c类别样本特征，
Figure BDA0003000807510000074
表示第四层输出的有标签目标域的c类别样本特征；
第四层的输出为1000维，前四层对图片特征总体而言为特征降维操作，目标是通过减小同类图片的特征分布差异，学习源域和目标域同类图片的域不变特征；
(4.1.2)计算源域和目标域图片不同类别间的特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域除第c类以外的其它类别计算MK-MMD，计算完所有类别求和然后除以MK-MMD的计算次数，具体计算公式为：
Figure BDA0003000807510000075
其中式中C表示类别数，
Figure BDA0003000807510000076
表示源域
Figure BDA0003000807510000077
类别样本数目，
Figure BDA0003000807510000078
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure BDA0003000807510000079
表示源域特征经网络变换后第四层输出的
Figure BDA00030008075100000710
类第i个样本特征，
Figure BDA00030008075100000711
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure BDA00030008075100000712
表示第四层输出的源域的
Figure BDA00030008075100000713
类别样本特征，
Figure BDA00030008075100000714
表示第四层输出的有标签目标域的c类别样本特征；
在保证步骤(4.1.1)源域和目标域同类别图片特征分布差异较小的前提下，尽量增大源域和目标域图片不同类别间的特征分布差异，以保证在前四层学习同类域不变特征的同时不会丢失图片类别信息；
(4.1.3)计算源域和目标域图片特征的边缘概率分布差异：利用有标签目标域和待分类目标域分布相同的条件，通过步骤(4.1.1)和(4.1.2)学习到源域和目标域的域不变特征以及类别信息；因为最终是进行待分类目标域的标签预测，所以最大限度利用所有目标域信息非常重要，因此减小源域和目标域的边缘概率分布差异，具体计算公式为：
Figure BDA00030008075100000715
其中ns表示源域样本数，nt表示目标域样本数；H表示希尔伯特空间，
Figure BDA0003000807510000081
表示源域特征经网络变换后第四层输出的第i个样本特征，
Figure BDA0003000807510000082
表示目标域特征经网络变换后第四层输出的第j个样本特征；
(4.1.4)计算有标签数据的交叉熵损失：领域适应网络最终输出为该图片的属于每种类别概率，网络学习的目的就是让正确类别的概率最大；前四层的仅能学习到源域和目标域的域不变特征以及域类别信息，因此第五层网络的输出的经softmax函数计算出每种类别概率和真实标签one-hot编码的交叉熵损失尤为重要，具体计算公式为：
Figure BDA0003000807510000083
Figure BDA0003000807510000084
其中，y表示图片的真实类别one-hot编码，
Figure BDA0003000807510000085
表示网络预测图片属于每种类别的概率，S∪Tl表示源域和有标签目标域，
Figure BDA0003000807510000086
表示源域和有标签目标域第i个样本，
Figure BDA0003000807510000087
表示源域和有标签目标域第i个样本的标签，通过减小交叉熵损失让网络输出类别概率最大标签对应图片的真实标签。
进一步的，所述步骤(4.2)中神经元非线性度的取值为[0,1],计算所有非线性可变神经元参数的和，具体计算公式为：
Figure BDA0003000807510000088
其中m表示神经元可变层，k表示第m层的可变神经元，gl表示该神经元的非线性度，L表示神经元非线性度可变层层数，l表示第m层的神经元个数。
在完成领域适应任务的同时减小网络的非线性度防止过拟合，实现领域适应网络结构自适应，解决手动调节领域适应网络结构的问题。
进一步的，所述步骤(4.3)包括以下步骤：
(4.3.1)源域和有标签目标域样本之间的子域类内分布差异MK-MMD损失Linter不断减小；
(4.3.2)源域和有标签目标域的子域类间差异MK-MMD损失Lintra尽量增大；
(4.3.3)源域和待分类目标域样本之间的边缘概率分布MK-MMD损失Lmar差异不断减小；
非线性度参数实现网络结构自适应，也避免了领域适应网络过拟合；领域适应损失函数如下：
Figure BDA0003000807510000091
其中，S∪Tl表示源域和有标签目标域，
Figure BDA0003000807510000092
表示源域和有标签目标域第i个样本，
Figure BDA0003000807510000093
表示源域和有标签目标域第i个样本的标签；
Figure BDA0003000807510000094
其中，p,q表示两种不同的特征分布，f表示标签预测函数；λ、μ、γ、w都表示权重；
Figure BDA0003000807510000095
表示带标签目标域的c类别图片特征，
Figure BDA0003000807510000096
表示带标签目标域的
Figure BDA0003000807510000097
类别图片特征，
Figure BDA0003000807510000098
表示带标签目标域的c类别图片特征，
Figure BDA0003000807510000099
表示带标签目标域的
Figure BDA00030008075100000910
类别图片特征。
进一步的，所述步骤(4.4)中领域适应网络参数θ(ω,b,g)更新如下：
Figure BDA00030008075100000911
其中lr为学习率；由于网格搜索的计算成本高，所以学习率lr不是由网格搜索来选择的，而是设置学习率
Figure BDA0003000807510000101
其中E是随着整个过程从0到1的线性变换,设定参数η0＝0.01，α＝10以及β＝0.75。
与现有技术相比，本发明的有益效果是：本发明为待分类任务标签样本图片少，但是相关领域存在大量带标签图片提供了新的研究思路。所提出的非线性度自适应子域领域适应方法联合整体和局部子域领域适应网络，能够同时考虑领域的子域的迁移性与可判别性，在减小同类分布差异的前提下，尽量增大不同类别间的分布差异，而且考虑待分类目标域和源域的边缘分布差异，最大程度上挖掘目标域信息，进一步减小了源域和目标域分布差异。同时网络是在保证分类损失权重最大的前提下减小源域和目标域的差异，保证了不同类别间的可辨别性。并且使领域适应网络结构实现自适应，找到最适合当前任务领域适应网络结构，提高了模型分类精度，避免网络过拟合。提高源域知识的利用率，辅助目标域更好的训练分类网络，以便能够更准确地预测目标域待分类图片的所属类别。
附图说明
图1是本发明所述非线性度自适应子域领域适应网络结构图。
图2是本发明所述领域适应前后Office31数据集6个任务上的t-SNE可视化对比。
图3几种领域适应方法的A-distance对比。
图4领域适应网络神经元非线性度变化图。
具体实施方式
下面结合附图及具体实验，对本发明做进一步说明。
可训练图片少的深度学习图片分类问题是典型的领域适应问题，一般源域存在大量标记图片，但是源域和目标域存在分布差异。具体说就是图片的拍射角度、光照、遮挡以及模糊条件不同造成用于模型训练的源域标注数据和目标域数据的数据属性和分布截然不同。根本动机就是：待分类的目标域可用于训练的图片稀缺。
本发明的一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法包括以下步骤：
(1)获取数据：读取源域和目标域图片；源域和目标域图片分别是不同领域的图片，例如，不同相机在不同环境下拍摄的同类别物体图片，由于光照、拍射角度等不同；或者源域图片是来自于互联网的高清图片，而目标域是实际生活中手机拍摄照片，导致源域图片特征和目标域图片特征分布不同；由于图片特征提取网络需要固定输入图片大小，所以所有数据都转换为224×224尺寸；每张图片转换为RGB三通道，转换为v×h×o的三维矩阵，w和h分别为图像的宽和高，c为通道数；这样，源域图片就可以转换成nS×v×h×o的四维矩阵数据，nS表示源域样本数，目标域少量带标签数据转换成nTl×v×h×o的四维矩阵数据，nTl表示有标签目标域样本数，待分类目标域图片转换成nTn×v×h×o的四维矩阵数据，nTn表示目标域待分类样本数；图片类别则用one-hot编码，图片共有N类，则第一类的标签表示[1,0,0,...,0]1×N,第二类的标签表示为[0,1,0,...,0]1×N，…，第N类图片的标签表示为[0,0,0,...,1]1×N；
(2)提取并处理步骤(1)所获取的图片样本的特征，包括以下步骤：
(2.1)特征提取网络的训练：首先采用ImageNet对ResNet网络进行预训练，获得ResNet残差网络模型，再用步骤(1)所得源域数据训练ResNet残差网络模型，ResNet残差网络的输入为batch_size×v×h×o的矩阵，batch_size的大小取决于计算机内存；
(2.2)图片特征提取：ResNet残差网络训练完成后保留第一层全连接层和卷积层的所有参数，ResNet残差网络的第一层全连接层作为特征输出层，然后使用该网络提取源域和目标域的图片特征；提取的源域图片特征为
Figure BDA0003000807510000111
少量带标签目标域图片特征为
Figure BDA0003000807510000112
待分类目标域图片特征为
Figure BDA0003000807510000113
(2.3)图片特征标准化处理：在(2.2)步骤之后对提取的源域图片特征和目标域图片特征进行标准化处理：
设矩阵X内任意一点的变量为Xij，对该变量进行减均值除标准差处理，标准化的处理计算公式如下：
Figure BDA0003000807510000114
其中，
Figure BDA0003000807510000121
是矩阵X第j列的均值，σj是矩阵第j列的标准差，Xij'表示标准化处理后的特征矩阵；
其中，
Figure BDA0003000807510000122
Figure BDA0003000807510000123
其中，I表示矩阵总行数；
将特征矩阵X标准化之后，得到每列均值是0，方差为1的源域数据矩阵
Figure BDA0003000807510000124
少量带标签目标域数据矩阵为
Figure BDA0003000807510000125
待分类目标域数据矩阵为
Figure BDA0003000807510000126
分别把标准化后的有标签图片特征处理为
Figure BDA0003000807510000127
图片标签处理为
Figure BDA0003000807510000128
其中，上标1～N代表类别，下标S、Tl、Tn分别表示源域图片、目标域有标签图片、目标域待分类图片；然后将源域图片特征和目标域图片特征处理为
Figure BDA0003000807510000129
有标签数据标签为
Figure BDA00030008075100001210
(3)非线性度自适应子域领域适应网络搭建；该网络包括神经元非线性度可变层和神经元非线性度固定层；其中，前三层为神经元非线性度可变层，第四层为神经元非线性度固定层，第五层为类别输出层；
所述神经元非线性度可变层中，固定每层神经元个数为2048，为了使前三层网络能够自适应改变神经元非线性度寻找在当前任务下最优网络，为领域适应网络每个神经元设定一个参数g∈[0,1]，这个参数决定了这个神经元作非线性程度，以及它在不进行任何变换的情况下将输入直接作为输出的程度；
y(x)＝g*σ(ωTx+b)+(1-g)*x (4)
g作为一个权重参数表示神经元在恒等变换和非线性变换的选择；如果g＝0表示这个神经元完全复制输入到输出，如果g＝1表示这个神经元利用权重ω偏置b和激活函数σ对输入进行非线性变换；g初始化为0，如果在网络的学习过程中它的值变大则表示非线性单元发挥作用，网络也更加复杂，为避免网络过于复杂给g加一个正则化项；
第三层到第四层的计算公式为：
y(x)＝σ(ωTx+b) (5)
所述神经元非线性度固定层中，领域适应网络的第四层固定神经元个数为1000，第四层转换后每张图片的特征维度为1000，在第四层计算源域图片特征分布和目标域图片特征分布是否相同；在该层用MK-MMD计算源域图片特征分布和目标域图片同类别分布差异，以及源域图片特征分布和目标域图片特征分布不同类别间的差异，并且计算源域图片特征和目标域图片特征的边缘概率分布差异；第四层到第五层的计算公式为：
y(x)＝ωTx+b (6)
所述领域适应网络的第五层为类别输出层，神经元个数等于图片类别数，训练阶段用第五层输出，用softmax函数计算图片属于每种类别的概率，然后计算交叉熵分类损失；预测待分类样本阶段则用softmax函数计算所属类别。
(4)对步骤(3)搭建的非线性度自适应子域领域适应网络进行训练：
(4.1)网络参数初始化，将步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y输入网络，设第四层的网络输出为Z；
(4.1.1)计算源域和目标域图片同类别图片特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域的第c类计算MK-MMD，计算完所有类别相加然后除以类别数C；具体计算公式为：
Figure BDA0003000807510000131
式中C表示类别数，
Figure BDA0003000807510000132
表示源域c类别样本数目，
Figure BDA0003000807510000133
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure BDA0003000807510000141
表示源域特征经网络变换后第四层输出的c类第i个样本特征，
Figure BDA0003000807510000142
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure BDA0003000807510000143
表示第四层输出的源域的c类别样本特征，
Figure BDA0003000807510000144
表示第四层输出的有标签目标域的c类别样本特征；
第四层的输出为1000维，前四层对图片特征总体而言为特征降维操作，目标是通过减小同类图片的特征分布差异，学习源域和目标域同类图片的域不变特征；
(4.1.2)计算源域和目标域图片不同类别间的特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域除第c类以外的其它类别计算MK-MMD，计算完所有类别求和然后除以MK-MMD的计算次数，具体计算公式为：
Figure BDA0003000807510000145
其中式中C表示类别数，
Figure BDA0003000807510000146
表示源域
Figure BDA0003000807510000147
类别样本数目，
Figure BDA0003000807510000148
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure BDA0003000807510000149
表示源域特征经网络变换后第四层输出的
Figure BDA00030008075100001410
类第i个样本特征，
Figure BDA00030008075100001411
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure BDA00030008075100001412
表示第四层输出的源域的
Figure BDA00030008075100001413
类别样本特征，
Figure BDA00030008075100001414
表示第四层输出的有标签目标域的c类别样本特征；
在保证步骤(4.1.1)源域和目标域同类别图片特征分布差异较小的前提下，尽量增大源域和目标域图片不同类别间的特征分布差异，以保证在前四层学习同类域不变特征的同时不会丢失图片类别信息；
(4.1.3)计算源域和目标域图片特征的边缘概率分布差异：利用有标签目标域和待分类目标域分布相同的条件，通过步骤(4.1.1)和(4.1.2)学习到源域和目标域的域不变特征以及类别信息；因为最终是进行待分类目标域的标签预测，所以最大限度利用所有目标域信息非常重要，因此减小源域和目标域的边缘概率分布差异，具体计算公式为：
Figure BDA00030008075100001415
其中ns表示源域样本数，nt表示目标域样本数；H表示希尔伯特空间，
Figure BDA0003000807510000151
表示源域特征经网络变换后第四层输出的第i个样本特征，
Figure BDA0003000807510000152
表示目标域特征经网络变换后第四层输出的第j个样本特征；
(4.1.4)计算有标签数据的交叉熵损失：领域适应网络最终输出为该图片的属于每种类别概率，网络学习的目的就是让正确类别的概率最大；前四层的仅能学习到源域和目标域的域不变特征以及域类别信息，因此第五层网络的输出的经softmax函数计算出每种类别概率和真实标签one-hot编码的交叉熵损失尤为重要，具体计算公式为：
Figure BDA0003000807510000153
Figure BDA0003000807510000154
其中，y表示图片的真实类别one-hot编码，
Figure BDA0003000807510000155
表示网络预测图片属于每种类别的概率，S∪Tl表示源域和有标签目标域，
Figure BDA0003000807510000156
表示源域和有标签目标域第i个样本，
Figure BDA0003000807510000157
表示源域和有标签目标域第i个样本的标签，通过减小交叉熵损失让网络输出类别概率最大标签对应图片的真实标签。
(4.2)神经元非线性度的取值为[0,1],计算所有非线性可变神经元参数的和，具体计算公式为：
Figure BDA0003000807510000158
其中m表示神经元可变层，k表示第m层的可变神经元，gl表示该神经元的非线性度，L表示神经元非线性度可变层层数，l表示第m层的神经元个数。
在完成领域适应任务的同时减小网络的非线性度防止过拟合，实现领域适应网络结构自适应，解决手动调节领域适应网络结构的问题。
(4.3)计算领域适应网络的总损失函数；对网络的第四层输出计算最大均值差异，通过减小最大均值差异减小源域和目标域之间的特征分布差异；
(4.3.1)源域和有标签目标域样本之间的子域类内分布差异MK-MMD损失Linter不断减小；
(4.3.2)源域和有标签目标域的子域类间差异MK-MMD损失Lintra尽量增大；
(4.3.3)源域和待分类目标域样本之间的边缘概率分布MK-MMD损失Lmar差异不断减小；
非线性度参数实现网络结构自适应，也避免了领域适应网络过拟合；领域适应损失函数如下：
Figure BDA0003000807510000161
其中，S∪Tl表示源域和有标签目标域，
Figure BDA0003000807510000162
表示源域和有标签目标域第i个样本，
Figure BDA0003000807510000163
表示源域和有标签目标域第i个样本的标签；
Figure BDA0003000807510000164
其中，p,q表示两种不同的特征分布，f表示标签预测函数；λ、μ、γ、w都表示权重；
Figure BDA0003000807510000165
表示带标签目标域的c类别图片特征，
Figure BDA0003000807510000166
表示带标签目标域的
Figure BDA0003000807510000167
类别图片特征，
Figure BDA0003000807510000168
表示带标签目标域的c类别图片特征，
Figure BDA0003000807510000169
表示带标签目标域的
Figure BDA00030008075100001610
类别图片特征。
(4.4)领域适应网络参数θ(ω,b,g)更新如下：
Figure BDA00030008075100001611
其中lr为学习率；由于网格搜索的计算成本高，所以学习率lr不是由网格搜索来选择的，而是设置学习率
Figure BDA0003000807510000171
其中E是随着整个过程从0到1的线性变换，设定参数η0＝0.01，α＝10以及β＝0.75，这能在源域上加速收敛并减小误差。
(4.5)重复步骤(4.1)、(4.2)、(4.3)、(4.4)直到网络迭代次数达到设定迭代次数，取最后一次迭代的网络参数θ(ω,b,g)；
(4.6)训练结束，网络参数θ(ω,b,g)固定不再更新；
(5)在训练好的非线性度自适应子域领域适应网络中输入待分类目标域图片样本的特征矩阵XTn，用该网络的第五层输出，利用softmax计算样本所属概率最大的类别即为图片的预测类别。
本发明可通过以下实验进一步说明：
为了验证本发明的有效性，分别在Office31，ImageCLEF-DA，VisDA-2017上做了实验。
在Office31数据集上，Amazon作为源域时，每种类别选择20个样本，其它域作为源域每种类别选择8个样本作为源域。目标域每种类别随机选择3个样本作为目标域有标签样本，其余样本作为测试集。
在ImageCLEF-DA数据集上，每个域作为源域时每个类别选择8个样本作为源域，目标域每种类别选取3个样本作为目标域有标签样本，其余样本作为测试集。
在VisDA-2017数据集上，由于VisDA-2017较大，源域每种类别选取200个样本，同样目标域每种类别选取3个样本作为目标域有标签样本，其余样本作为测试集。
为了领域适应效果更加直观，我们在Office31数据集上6个任务，利用t-SNE嵌入技术特征提取网络提取的2048维特征领域适应前和领域适应后进行降维可视化。如图2所示左边是领域适应前，右边是领域适应后，领域适应之前样本的类别可辨别性较低，并且目标域和源域样本完全处于不同的分布。领域适应之后特征降到1000维，用t-SNE可视化可以看出同一类的不同域中分布非常接近，并且不同类的子域分布间距较大，在子空间中不同类别的区分度很明显。这一结果表明了我们所提方法能够学习到更多域不变信息和类别信息。通过所提方法较好的可视化结果表明，该方法能够学到样本整体和局部的可迁移特征。
用A-distance衡量跨领域间的差异，A-distance能够联合源域风险限制和目标域风险，A-distance定义为dA＝2(1-2ε)其中ε是分类器(如核方法SVM)在识别源域和目标域的双任务上的泛化误差。图3展示了在office31数据集上6个任务的ResNet，DAN，RevGrad和所提方法的dA。可以看出使用所提方法特征的dA比使用ResNet，DAN，RevGrad特征的dA要小得多，其中A→D和A→W的dA要比其它方法低很多，也和后面表格我们所的准确度相对应，很大的提高了这两个任务的准确性，这表明所提方法可以更有效地减少跨域差距。
如图4所示，在Office31数据集A→D任务上g1，g2，g3分别表示前三层领域适应网络的非线性度，从图中可以看出三层的变化曲线几乎一致，神经元非线性度的变化开始以很快的速度增加对特征做非线性变化达到领域分布对齐的目的，然后随着迭代次数的增加，在保证领域分布对齐的情况下网络非线性度开始降低；网络复杂度的降低也避免了网络过拟合，最后达到稳定状态。
为表明测试结果性能，我们选择高水准的领域适应方法进行对比，分类结果如表1，表2，表3所示。基于ResNet50在数据集Office-31上的分类结果如表1所示。虽然我们只是在A→D任务比CRTL提高了14.1％，但是我们在所有任务平均精度上高于最新方法。从所有子域领域适应方法MADA、CDAN和CRTL都在此任务上相对于全局领域适应方法有很大提高。
基于ResNet-50在数据集ImageCLEF-DA上的领域适应精度结果如表2所示。该数据集作为Office-31的补充与扩展，任务量和Office-31相当。该数据集实验可以看做在另一种环境下进行与表1同等难度的领域适应任务。从表2可以看出本文所提方法在6个领域适应任务中5个结果达到最优，在任务P→I上仅比最优方法低0.2％，但平均精度领先于其它方法。尤其对比DDC、DAN、D-CORAL这些只匹配整体数据特征分布距离，忽视子域类别间差异的方法，造成的子域领域混淆使其准确率不高。对比MADA子域对抗领域适应，本文所提方法加入子域间的可判别性，以及目标域和源域整体特征分布对齐，在一定程度上提高了分类精度。
基于ResNet-50和ResNet101在数据集VisDA-2017上的领域适应结果如表3所示，VisDA-2017非常具有挑战性的数据集，包含两个差距较大的领域。从结果可以看出基于ResNet101提取的图片特征比ResNet50提取的图片特征的结果在9个类别上更好，并且平均结果最优。验证更深度神经网络可以学习到更多的域不变特征。基于ResNet50上，本文所提方法在平均精度上达到了最优，验证了针对大数据且领域差异较大的领域适应任务本文所提方法表现很好。
表1：office31数据集上的识别精度
Figure BDA0003000807510000191
表2：ImageCLEF-DA上的识别精度
Figure BDA0003000807510000192
Figure BDA0003000807510000201
表3：VisDA-2017上的识别精度
Figure BDA0003000807510000202
本发明基于非线性度自适应子域领域适应方法。一方面通过衡量子域分布差异将源域和目标域的同类别分布对齐，学习到源域图片特征分布和目标域图片特征分布同类别间的域不变特征。另一方面扩大不同子域间的分布差异，学习到源域图片特征分布和目标域图片特征分布不同类别间的差异性。同时利用目标域待分类图片减小源域和目标域整体分布差异，使源域数据和目标域数据的边缘概率分布整体对齐。这种结构同时兼顾整体与子域的分布，能够实现更好的分类效果。同时领域适应网络加入了网络结构自适应参数能够寻找更适用于目标任务的网络非线性度，并且避免领域适应图片分类网络的过拟合问题，很大程度上提高了图像数据集的分类准确度。
应该理解，本发明并不局限于上述具体实例，在本发明开的基础上，凡是熟悉本领域的技术人员在不违背本发明精神的前提下还可做出等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围。

Claims (8)

1.一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，包括以下步骤：
(1)获取数据：读取源域和目标域图片，将图片分为源域样本、有标签目标域样本、待分类目标域样本；
(2)提取并处理步骤(1)所获取的图片样本的特征，得到源域图片特征和目标域图片特征X；有标签数据的标签信息Y；
(3)非线性度自适应子域领域适应网络搭建；包括神经元非线性度可变层和神经元非线性度固定层；其中，前三层为神经元非线性度可变层，第四层为神经元非线性度固定层，第五层为类别输出层；
(4)对步骤(3)搭建的非线性度自适应子域领域适应网络进行训练：
(4.1)初始化网络参数，输入步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y，通过领域适应网络数据的前向传播计算源域和目标域图片同类别和不同类别间的特征分布差异、源域和目标域图片特征的边缘概率分布差异以及有标签数据的交叉熵损失；
(4.2)根据领域适应网络神经元非线性度计算所有非线性可变神经元参数的和；
(4.3)计算领域适应网络的总损失函数；根据步骤(4.1)所得源域和目标域之间的特征分布差异以及步骤(4.2)所得神经元非线性度，对领域适应网络的第四层输出的图片特征计算最大均值差异，通过减小最大均值差异来减小源域和目标域之间的特征分布差异；
(4.4)领域适应网络的参数更新；
(4.5)重复步骤(4.1)、(4.2)、(4.3)、(4.4)直到网络迭代次数达到设定迭代次数，取最后一次迭代的网络参数θ(ω，b，g)；
(4.6)训练结束，网络参数θ(ω，b，g)固定不再更新；
(5)在训练好的非线性度自适应子域领域适应网络中输入待分类目标域图片样本的特征矩阵XTn，用该网络的第五层输出，利用softmax计算样本所属概率最大的类别即为图片的预测类别。
2.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(1)包括以下步骤：
(1.1)将所有图片都转换为224×224尺寸；每张图片转换为RGB三通道，转换为v×h×o的三维矩阵，v和h分别为图像的宽和高，o为通道数；
(1.2)源域图片转换成nS×v×h×o的四维矩阵数据，nS表示源域样本数；目标域少量带标签数据转换成nTl×v×h×o的四维矩阵数据，nTl表示有标签目标域样本数；待分类目标域图片转换成nTn×v×h×o的四维矩阵数据，nTn表示目标域待分类样本数；
(1.3)图片类别用one-hot编码，图片共有N类，则第一类的标签表示[1，0，0，...，0]1×N，第二类的标签表示为[0，1，0，...，0]1×N，...，第N类图片的标签表示为[0，0，0，...，1]1×N。
3.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(2)包括以下步骤：
(2.1)特征提取网络的训练：采用ImageNet对ResNet网络进行预训练，获得ResNet残差网络模型，再用步骤(1)所得源域数据训练ResNet残差网络模型，ResNet网络的输入为batch_size×v×h×o的矩阵，batch—size的大小取决于计算机内存；
(2.2)图片特征提取：ResNet残差网络训练完成后保留第一层全连接层和卷积层的所有参数，ResNet网络的第一层全连接层作为特征输出层，然后使用该网络提取源域和目标域的图片特征；提取的源域图片特征为
Figure RE-FDA0003230398350000021
少量带标签目标域图片特征为
Figure RE-FDA0003230398350000022
待分类目标域图片特征为
Figure RE-FDA0003230398350000023
(2.3)图片特征标准化处理：在(2.2)步骤之后对提取的源域图片特征和目标域图片特征进行标准化处理：
设矩阵X内任意一点的变量为Xij，对该变量进行减均值除标准差处理，标准化的处理计算公式如下：
Figure RE-FDA0003230398350000024
其中，
Figure RE-FDA0003230398350000025
是矩阵X第j列的均值，σj是矩阵第j列的标准差，Xij′表示标准化处理后的特征矩阵；
其中，
Figure RE-FDA0003230398350000031
Figure RE-FDA0003230398350000032
其中，I表示矩阵总行数；
将特征矩阵X标准化之后，得到每列均值是0，方差为1的源域数据矩阵
Figure RE-FDA0003230398350000033
少量带标签目标域数据矩阵为
Figure RE-FDA0003230398350000034
待分类目标域数据矩阵为
Figure RE-FDA0003230398350000035
分别把标准化后的有标签图片特征处理为
Figure RE-FDA0003230398350000036
图片标签处理为
Figure RE-FDA0003230398350000037
其中，上标1～N代表类别，下标S、Tl、Tn分别表示源域图片、目标域有标签图片、目标域待分类图片；然后将源域图片特征和目标域图片特征处理为
Figure RE-FDA0003230398350000038
有标签数据标签为
Figure RE-FDA0003230398350000039
4.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，
步骤(3)所述神经元非线性度可变层中，固定每层神经元个数为2048，为了使前三层网络能够自适应改变神经元非线性度寻找在当前任务下最优网络，为领域适应网络每个神经元设定一个参数g∈[0，1]，这个参数决定了这个神经元作非线性程度，以及它在不进行任何变换的情况下将输入直接作为输出的程度；前三层每层之间的计算公式为：
y(x)＝g*σ(ωTx+b)+(1-g)*x (4)
g作为一个权重参数表示神经元在恒等变换和非线性变换的选择；如果g＝0表示这个神经元完全复制输入到输出，如果g＝1表示这个神经元利用权重ω偏置b和激活函数σ对输入进行非线性变换；g初始化为0，如果在网络的学习过程中它的值变大则表示非线性单元发挥作用，网络也更加复杂，为避免网络过于复杂给g加一个正则化项；
第三层到第四层的计算公式为：
y(x)＝σ(ωTx+b) (5)
所述领域适应网络的第四层为神经元非线性度固定层，固定神经元个数为1000，第四层转换后每张图片的特征维度为1000，在第四层计算源域图片特征分布和目标域图片特征分布是否相同；在该层用MK-MMD计算源域图片特征分布和目标域图片同类别分布差异，以及源域图片特征分布和目标域图片特征分布不同类别间的差异，并且计算源域图片特征和目标域图片特征的边缘概率分布差异；第四层到第五层的计算公式为：
y(x)＝ωTx+b (6)
所述领域适应网络的第五层为类别输出层，神经元个数等于图片类别数，训练阶段用第五层输出，用softmax函数计算图片属于每种类别的概率，然后计算交叉熵分类损失；预测待分类样本阶段则用softmax函数计算所属类别。
5.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(4.1)包括以下步骤：
网络参数初始化，将步骤(2)处理所得的源域图片特征和目标域图片特征X和有标签数据的标签信息Y输入网络，设第四层的网络输出为Z；
(4.1.1)计算源域和目标域图片同类别图片特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域的第c类计算MK-MMD，计算完所有类别相加然后除以类别数C；具体计算公式为：
Figure RE-FDA0003230398350000041
式中C表示类别数，
Figure RE-FDA0003230398350000042
表示源域c类别样本数目，
Figure RE-FDA0003230398350000043
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure RE-FDA0003230398350000044
表示源域特征经网络变换后第四层输出的c类第i个样本特征，
Figure RE-FDA0003230398350000051
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure RE-FDA0003230398350000052
表示第四层输出的源域的c类别样本特征，
Figure RE-FDA0003230398350000053
表示第四层输出的有标签目标域的c类别样本特征；
第四层的输出为1000维，前四层对图片特征总体而言为特征降维操作，目标是通过减小同类图片的特征分布差异，学习源域和目标域同类图片的域不变特征；
(4.1.2)计算源域和目标域图片不同类别间的特征分布差异：对网络的第四层输出Z，选取源域的第c类和有标签目标域除第c类以外的其它类别计算MK-MMD，计算完所有类别求和然后除以MK-MMD的计算次数，具体计算公式为：
Figure RE-FDA0003230398350000054
其中式中C表示类别数，
Figure RE-FDA0003230398350000055
表示源域
Figure RE-FDA0003230398350000056
类别样本数目，
Figure RE-FDA0003230398350000057
表示有标签目标域c类别样本数；H表示希尔伯特空间，
Figure RE-FDA0003230398350000058
表示源域特征经网络变换后第四层输出的
Figure RE-FDA0003230398350000059
类第i个样本特征，
Figure RE-FDA00032303983500000510
表示有标签目标域特征经网络变换后第四层输出的c类第j个样本特征，
Figure RE-FDA00032303983500000511
表示第四层输出的源域的
Figure RE-FDA00032303983500000512
类别样本特征，
Figure RE-FDA00032303983500000513
表示第四层输出的有标签目标域的c类别样本特征；
在保证步骤(4.1.1)源域和目标域同类别图片特征分布差异较小的前提下，尽量增大源域和目标域图片不同类别间的特征分布差异，以保证在前四层学习同类域不变特征的同时不会丢失图片类别信息；
(4.1.3)计算源域和目标域图片特征的边缘概率分布差异：利用有标签目标域和待分类目标域分布相同的条件，通过步骤(4.1.1)和(4.1.2)学习到源域和目标域的域不变特征以及类别信息；因为最终是进行待分类目标域的标签预测，所以最大限度利用所有目标域信息非常重要，因此减小源域和目标域的边缘概率分布差异，具体计算公式为：
Figure RE-FDA00032303983500000514
其中ns表示源域样本数，nt表示目标域样本数；H表示希尔伯特空间，
Figure RE-FDA00032303983500000515
表示源域特征经网络变换后第四层输出的第i个样本特征，
Figure RE-FDA00032303983500000516
表示目标域特征经网络变换后第四层输出的第j个样本特征；
(4.1.4)计算有标签数据的交叉熵损失：领域适应网络最终输出为该图片的属于每种类别概率，网络学习的目的就是让正确类别的概率最大；前四层的仅能学习到源域和目标域的域不变特征以及域类别信息，因此第五层网络的输出的经softmax函数计算出每种类别概率和真实标签one-hot编码的交叉熵损失尤为重要，具体计算公式为：
Figure RE-FDA0003230398350000061
其中，y表示图片的真实类别one-hot编码，
Figure RE-FDA0003230398350000062
表示网络预测图片属于每种类别的概率，S∪Tl表示源域和有标签目标域，
Figure RE-FDA0003230398350000063
表示源域和有标签目标域第i个样本，
Figure RE-FDA0003230398350000064
表示源域和有标签目标域第i个样本的标签，通过减小交叉熵损失让网络输出类别概率最大标签对应图片的真实标签。
6.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(4.2)中神经元非线性度的取值为[0，1]，计算所有非线性可变神经元参数的和，具体计算公式为：
Figure RE-FDA0003230398350000065
其中m表示神经元可变层，k表示第m层的可变神经元，gl表示该神经元的非线性度，L表示神经元非线性度可变层层数，l表示第m层的神经元个数。
7.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(4.3)中总损失函数的计算方法为：
(4.3.1)源域和有标签目标域样本之间的子域类内分布差异MK-MMD损失Linter不断减小；
(4.3.2)源域和有标签目标域的子域类间差异MK-MMD损失Lintra尽量增大；
(4.3.3)源域和待分类目标域样本之间的边缘概率分布MK-MMD损失Lmar差异不断减小；
非线性度参数实现网络结构自适应，也避免了领域适应网络过拟合；领域适应损失函数如下：
Figure RE-FDA0003230398350000071
其中，S∪Tl表示源域和有标签目标域，
Figure RE-FDA0003230398350000072
表示源域和有标签目标域第i个样本，
Figure RE-FDA0003230398350000073
表示源域和有标签目标域第i个样本的标签；
Figure RE-FDA0003230398350000074
其中，p和q表示两种不同的特征分布，f表示标签预测函数；λ、μ、γ、w都表示权重；
Figure RE-FDA0003230398350000075
表示带标签目标域的c类别图片特征，
Figure RE-FDA0003230398350000076
表示带标签目标域的
Figure RE-FDA0003230398350000077
类别图片特征，
Figure RE-FDA0003230398350000078
表示带标签目标域的c类别图片特征，
Figure RE-FDA0003230398350000079
表示带标签目标域的
Figure RE-FDA00032303983500000710
类别图片特征。
8.根据权利要求1所述一种基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法，其特征在于，所述步骤(4.4)中领域适应网络参数θ(ω，b，g)更新如下：
Figure RE-FDA00032303983500000711
其中lr为学习率；由于网格搜索的计算成本高，所以学习率lr不是由网格搜索来选择的，而是设置学习率
Figure RE-FDA0003230398350000081
其中E是随着整个过程从0到1的线性变换，设定参数η0＝0.01，α＝10以及β＝0.75。
CN202110346275.0A 2021-03-31 2021-03-31 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法 Active CN113420775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110346275.0A CN113420775B (zh) 2021-03-31 2021-03-31 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110346275.0A CN113420775B (zh) 2021-03-31 2021-03-31 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法

Publications (2)

Publication Number Publication Date
CN113420775A true CN113420775A (zh) 2021-09-21
CN113420775B CN113420775B (zh) 2024-03-29

Family

ID=77711893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346275.0A Active CN113420775B (zh) 2021-03-31 2021-03-31 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法

Country Status (1)

Country Link
CN (1) CN113420775B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807371A (zh) * 2021-10-08 2021-12-17 中国人民解放军国防科技大学 一种类条件下的有益特征对齐的无监督域自适应方法
CN113920382A (zh) * 2021-12-15 2022-01-11 深圳大学 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN115186773A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种无源的主动领域自适应模型训练方法及装置
CN115661708A (zh) * 2022-10-24 2023-01-31 南京理工大学 基于主动连续学习的边缘视频分析方法
CN115719430A (zh) * 2022-10-28 2023-02-28 河北舒隽科技有限公司 一种太行鸡雏鸡雌雄鉴别的方法
CN116229080A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147944A1 (en) * 2015-11-24 2017-05-25 Xerox Corporation Adapted domain specific class means classifier
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
CN109284375A (zh) * 2018-09-03 2019-01-29 中山大学 一种基于原始数据信息保留的域自适应降维方法
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及系统
US20190325299A1 (en) * 2018-04-18 2019-10-24 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
CN110378366A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于耦合知识迁移的跨域图像分类方法
CN110533193A (zh) * 2019-08-20 2019-12-03 武汉理工大学 半监督场景下特征和实例联合迁移学习方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
US20200134442A1 (en) * 2018-10-29 2020-04-30 Microsoft Technology Licensing, Llc Task detection in communications using domain adaptation
CN111104509A (zh) * 2019-11-08 2020-05-05 武汉理工大学 一种基于概率分布自适应的实体关系分类方法
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN111259941A (zh) * 2020-01-10 2020-06-09 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及系统
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111597760A (zh) * 2020-05-18 2020-08-28 哈尔滨工业大学（威海） 一种实现小样本条件下获取气路参数偏差值的方法
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
CN111667000A (zh) * 2020-06-05 2020-09-15 成都理工大学 自适应领域深度神经网络的地震预警方法
CN111709315A (zh) * 2020-05-27 2020-09-25 西安交通大学 一种基于领域适配的水声目标辐射噪声识别方法
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
US20210012232A1 (en) * 2019-07-10 2021-01-14 Xi'an Jiaotong University Fault transfer diagnosis method for rolling element bearings based on polynomial kernel induced feature distribution adaptation
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法
WO2021028656A1 (en) * 2019-08-15 2021-02-18 Vision Semantics Limited Text based image search

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147944A1 (en) * 2015-11-24 2017-05-25 Xerox Corporation Adapted domain specific class means classifier
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
US20190325299A1 (en) * 2018-04-18 2019-10-24 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN109284375A (zh) * 2018-09-03 2019-01-29 中山大学 一种基于原始数据信息保留的域自适应降维方法
US20200134442A1 (en) * 2018-10-29 2020-04-30 Microsoft Technology Licensing, Llc Task detection in communications using domain adaptation
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及系统
CN110378366A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于耦合知识迁移的跨域图像分类方法
US20210012232A1 (en) * 2019-07-10 2021-01-14 Xi'an Jiaotong University Fault transfer diagnosis method for rolling element bearings based on polynomial kernel induced feature distribution adaptation
WO2021028656A1 (en) * 2019-08-15 2021-02-18 Vision Semantics Limited Text based image search
CN110533193A (zh) * 2019-08-20 2019-12-03 武汉理工大学 半监督场景下特征和实例联合迁移学习方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
CN111104509A (zh) * 2019-11-08 2020-05-05 武汉理工大学 一种基于概率分布自适应的实体关系分类方法
CN111259941A (zh) * 2020-01-10 2020-06-09 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及系统
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111597760A (zh) * 2020-05-18 2020-08-28 哈尔滨工业大学（威海） 一种实现小样本条件下获取气路参数偏差值的方法
CN111709448A (zh) * 2020-05-20 2020-09-25 西安交通大学 一种基于迁移关系网络的机械故障诊断方法
CN111709315A (zh) * 2020-05-27 2020-09-25 西安交通大学 一种基于领域适配的水声目标辐射噪声识别方法
CN111667000A (zh) * 2020-06-05 2020-09-15 成都理工大学 自适应领域深度神经网络的地震预警方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备
CN112183581A (zh) * 2020-09-07 2021-01-05 华南理工大学 基于自适应迁移神经网络的半监督机械故障诊断方法
CN112308158A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于部分特征对齐的多源领域自适应模型及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG, HUAILIANG等: "Cross-domain fault diagnosis using knowledge transfer strategy: A review", 《IEEE ACCESS》, pages 129260 - 129290 *
赵季娟: "基于极限学习机的无监督领域适应学习", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 9, pages 140 - 29 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807371A (zh) * 2021-10-08 2021-12-17 中国人民解放军国防科技大学 一种类条件下的有益特征对齐的无监督域自适应方法
CN113807371B (zh) * 2021-10-08 2024-03-29 中国人民解放军国防科技大学 一种类条件下的有益特征对齐的无监督域自适应方法
CN113920382A (zh) * 2021-12-15 2022-01-11 深圳大学 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN113920382B (zh) * 2021-12-15 2022-03-15 深圳大学 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN115186773A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种无源的主动领域自适应模型训练方法及装置
CN115661708A (zh) * 2022-10-24 2023-01-31 南京理工大学 基于主动连续学习的边缘视频分析方法
CN115661708B (zh) * 2022-10-24 2023-08-25 南京理工大学 基于主动连续学习的边缘视频分析方法
CN115719430A (zh) * 2022-10-28 2023-02-28 河北舒隽科技有限公司 一种太行鸡雏鸡雌雄鉴别的方法
CN116229080A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质
CN116229080B (zh) * 2023-05-08 2023-08-29 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113420775B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN113420775A (zh) 基于非线性度自适应子域领域适应的极少量训练样本下图片分类方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
Li et al. Traffic scene segmentation based on RGB-D image and deep learning
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN112446423B (zh) 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN111783521B (zh) 基于低秩先验引导的域不变信息分离的行人重识别方法
CN110647907B (zh) 利用多层分类和字典学习的多标签图像分类算法
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN108898138A (zh) 基于深度学习的场景文本识别方法
CN110555060A (zh) 基于成对样本匹配的迁移学习方法
CN110598018B (zh) 一种基于协同注意力的草图图像检索方法
CN112434628B (zh) 基于主动学习和协同表示的小样本图像分类方法
CN110705591A (zh) 一种基于最优子空间学习的异构迁移学习方法
CN111723812B (zh) 一种基于序列知识蒸馏的实时语义分割方法
CN113807214B (zh) 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN112464816A (zh) 基于二次迁移学习的地方手语识别方法、装置
CN113052017A (zh) 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
Ji et al. Teachers cooperation: team-knowledge distillation for multiple cross-domain few-shot learning
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN114863176A (zh) 基于目标域移动机制的多源域自适应方法
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant