CN114494804A - 一种基于域特有信息获取的无监督领域适应图像分类方法 - Google Patents

一种基于域特有信息获取的无监督领域适应图像分类方法 Download PDF

Info

Publication number
CN114494804A
CN114494804A CN202210404117.0A CN202210404117A CN114494804A CN 114494804 A CN114494804 A CN 114494804A CN 202210404117 A CN202210404117 A CN 202210404117A CN 114494804 A CN114494804 A CN 114494804A
Authority
CN
China
Prior art keywords
domain
source domain
image
loss function
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210404117.0A
Other languages
English (en)
Other versions
CN114494804B (zh
Inventor
斯小明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mingjie Technology Co ltd
Original Assignee
Wuhan Mingjie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mingjie Technology Co ltd filed Critical Wuhan Mingjie Technology Co ltd
Priority to CN202210404117.0A priority Critical patent/CN114494804B/zh
Publication of CN114494804A publication Critical patent/CN114494804A/zh
Application granted granted Critical
Publication of CN114494804B publication Critical patent/CN114494804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

本发明提供一种基于域特有信息获取的无监督领域适应图像分类方法，包括如下步骤，源域特有特征提取，域共享特征的提取，目标域特有特征提取，源域特征分离函数计算，目标域特征分离函数计算，源域分类损失函数计算，源域图像重建损失函数计算，源域鉴别器损失函数计算，目标域鉴别器损失函数计算，目标域图像重建损失函数计算，该基于域特有信息获取的无监督领域适应图像分类方法，能够分离域特有信息和域共享特征，并利用域共享特征实现信息迁移，能够降低域特有信息对图像分类结果的干扰。

Description

一种基于域特有信息获取的无监督领域适应图像分类方法
技术领域
本发明属于图像分类技术领域，特别涉及一种基于域特有信息获取的无监督领域适应图像分类方法。
背景技术
随着各种图像采集技术的发展，互联网上存在有大量的图像数据。然而，对这样大规模的数据进行标注代价十分昂贵，需要大量的人力物力。因此启发我们利用现有的标注数据，去辅助处理未标注数据的信息。无监督领域自适应图像分类方法，利用源域（有标注）数据训练网络模型，进而实现目标域（无标注）数据的无监督图像分类。例如利用打印数字，实现手写数字的识别，或者利用有标注的卡通画图像，实现无监督的真实图像分类等等。当然，无监督领域自适应方法不限于图像分类任务，其他计算机视觉任务，如目标分割，行人重识别等也可以作为无监督领域自适应学习的一个分支，为此，本发明提出一种基于域特有信息获取的无监督领域适应图像分类方法。
发明内容
为了解决现有技术存在的问题，本发明提供了一种基于域特有信息获取的无监督领域适应图像分类方法，该基于域特有信息获取的无监督领域适应图像分类方法，能够分离域特有信息和域共享特征，并利用域共享特征实现信息迁移，能够降低域特有信息对图像分类结果的干扰。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于域特有信息获取的无监督领域适应图像分类方法，具体步骤如下：
步骤一：源域特有特征提取，对于源域特有分支，使用带标注的源域数据作为该分支的输入，使用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为源域特征，以获得源域特有特征表示
Figure 100002_DEST_PATH_IMAGE001
；
步骤二：域共享特征的提取，对于共享网络分支，同时使用带标注的源域数据和无标注的目标域数据作为该分支的输入，用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为源域和目标域特征，以获得源域和目标域的公共特征表示
Figure 378975DEST_PATH_IMAGE002
和
Figure 100002_DEST_PATH_IMAGE003
；
步骤三：目标域特有特征提取，对于目标域特有分支，使用无标注的目标域数据作为该分支的输入，使用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为目标域特征，以获得目标域特有特征表示
Figure 609974DEST_PATH_IMAGE004
；
步骤四：源域特征分离函数计算，对于源域特有特征
Figure 117310DEST_PATH_IMAGE001
和公共特征表示
Figure 565609DEST_PATH_IMAGE002
，计算损失函数
Figure 100002_DEST_PATH_IMAGE005
，以确保共享网络和源域特有网络提取到的特征是不一致的；
步骤五：目标域特征分离函数计算，对于目标域特有特征
Figure 510125DEST_PATH_IMAGE004
和公共特征表示
Figure 718384DEST_PATH_IMAGE003
，计算损失函数
Figure 329494DEST_PATH_IMAGE005
，以确保共享网络和目标域特有网络提取到的特征是不一致的；
步骤六：源域分类损失函数计算，对于源域特有特征表示
Figure 620798DEST_PATH_IMAGE001
和公共特征
Figure 464995DEST_PATH_IMAGE002
，进行名为A的融合，并将结果输入到分类器中，依赖源域数据标注，计算损失函数；
步骤七：源域图像重建损失函数计算，对于源域特有特征表示
Figure 991791DEST_PATH_IMAGE001
和公共特征
Figure 942561DEST_PATH_IMAGE002
，进行名为B的融合，并将结果输入到共享解码器中，解码出源域图像，利用图像重建损失进行监督；
步骤八：源域鉴别器损失函数计算，对于源域特有特征表示
Figure 263821DEST_PATH_IMAGE001
和公共特征
Figure 329735DEST_PATH_IMAGE003
，进行名为C的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
步骤九：目标域鉴别器损失函数计算，对于目标域特有特征表示
Figure 394643DEST_PATH_IMAGE004
和公共特征
Figure 731077DEST_PATH_IMAGE002
，进行名为D的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
步骤十：目标域图像重建损失函数计算，对于目标特有特征表示
Figure 223238DEST_PATH_IMAGE004
和公共特征
Figure 776448DEST_PATH_IMAGE003
，进行名为E的融合，并将结果输入到共享解码器中，解码出目标域图像，利用图像重建损失进行监督。
进一步的，所述步骤一至三采用ResNet-50作为源域和目标域的特征提取网络，但不局限于此，源域和目标域的特征提取网络并不需要完全一致，如可选用LeNet和AlexNet作为源域和目标域的特征提取网络。
进一步的，特征提取时，图像的输入维度为N*N，ResNet-50网络包括conv1_x、conv2_x、conv3_x、conv4_x和conv5_x五个卷积模块，其中conv2_x由3组相同的卷积结构构成，每组卷积结构为：1*1*64、3*3*64、1*1*256；conv3_x由4组相同的卷积结构构成，每组卷积结构为：1*1*128、3*3*128、1*1*512；conv4_x由6组相同的卷积结构构成，每组卷积结构为：1*1*256、3*3*256、1*1*1024；conv5_x由3组相同的卷积结构构成，每组卷积结构为：1*1*512、3*3*512、1*1*2048。
进一步的，所述步骤四和步骤五中的特征分离损失函数
Figure 379468DEST_PATH_IMAGE005
的计算采用相似性度量，也可以利用F范数进行约束，即定义共享网络在源域和目标域上提取到的特征为
Figure 746907DEST_PATH_IMAGE002
和
Figure 160702DEST_PATH_IMAGE003
，每一行表示一个样本的特征，私有网络提取到的特征为
Figure 358465DEST_PATH_IMAGE001
和
Figure 765176DEST_PATH_IMAGE004
，则计算方式为：
Figure 100002_DEST_PATH_IMAGE007
通过这样的方式，函数取得最小值时，每一项为0，即两个网络提取到的特征不一致。
进一步的，所述步骤六中的源域分类损失函数的计算采用交叉熵损失函数，具体计算方式如下：
Figure 168213DEST_PATH_IMAGE008
其中，m表示源域样本数量；
Figure 100002_DEST_PATH_IMAGE009
表示真实标签，
Figure 221751DEST_PATH_IMAGE010
表示网络输出的预测标签分布，
Figure 100002_DEST_PATH_IMAGE011
表示融合A的输出。
进一步的，所述步骤七和步骤十中的图像重建损失函数的计算采用平均绝对误差（MAE）作为损失函数，具体计算方式如下：
Figure 100002_DEST_PATH_IMAGE013
其中
Figure 811870DEST_PATH_IMAGE014
表示原图像，
Figure 100002_DEST_PATH_IMAGE015
表示重建图像，
Figure 225534DEST_PATH_IMAGE016
表示图像中像素点个数。
进一步的，所述步骤八和步骤九中的对抗损失函数的计算采用传统生成对抗网络的优化目标函数，具体计算方式如下：
Figure 922226DEST_PATH_IMAGE018
其中
Figure 100002_DEST_PATH_IMAGE019
表示分布函数的期望值，
Figure 395932DEST_PATH_IMAGE020
表示域分类器，即鉴别器，G表示生成器，即特征提取器。
本发明的有益效果：
1、此基于域特有信息获取的无监督领域适应图像分类方法能够分离域特有信息和域共享特征，并利用域共享特征实现信息迁移，能够降低域特有信息对图像分类结果的干扰。
2、此基于域特有信息获取的无监督领域适应图像分类方法能够使用不同的源域和目标域特征提取网络，分别提取源域和目标域特征，能够实现更好地特征表示及提取。
3、此基于域特有信息获取的无监督领域适应图像分类方法通过引入重建损失和相似度损失，能够在保证提取到的特征有效性的基础上，有效分类域共有特征和域私有特征，从而将源域和目标域特征分布进行更好地对齐，实现更加鲁棒的特征迁移。
附图说明
图1为一种基于域特有信息获取的无监督领域适应图像分类方法的框架示意图；
图2为一种基于域特有信息获取的无监督领域适应图像分类方法的流程示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1至图2，本发明提供一种技术方案：一种基于域特有信息获取的无监督领域适应图像分类方法，具体步骤如下：
步骤一：源域特有特征提取，对于源域特有分支，输入为有标注的源域数据，遵循常用的空间学习方法来提取图像特征，源域和目标域标签空间是一致的，形式上，给定带标注数据，即源域
Figure DEST_PATH_IMAGE021
，其中
Figure 738927DEST_PATH_IMAGE022
分别表示源域中的数据和标签。其中，为方便计算，图像的维度放缩成N*N；
首先，将源域数据输入源域特有特征提取网络，为方便说明，采用ResNet-50作为源域和目标域的特征提取网络，但不局限于此，并且基于本发明的优势，源域和目标域的特征提取网络并不需要完全一致，如可选用LeNet、AlexNet等作为源域和目标域的特征提取网络，分别提取源域和目标域特征，可以实现更好地特征表示及提取；
图像的输入维度为N*N，本发明中，ResNet-50网络包括conv1_x、conv2_x、conv3_x、conv4_x和conv5_x五个卷积模块，其中conv2_x由3组相同的卷积结构构成，每组卷积结构为：1*1*64、3*3*64、1*1*256；conv3_x由4组相同的卷积结构构成，每组卷积结构为：1*1*128、3*3*128、1*1*512；conv4_x由6组相同的卷积结构构成，每组卷积结构为：1*1*256、3*3*256、1*1*1024；conv5_x由3组相同的卷积结构构成，每组卷积结构为：1*1*512、3*3*512、1*1*2048；
最终，得到维度为2048的源域特有特征
Figure 238172DEST_PATH_IMAGE001
；
步骤二：域共享特征的提取，对于共享网络分支，输入为源域和目标域数据，遵循常用的空间学习方法来提取图像特征，形式上，给定带标注数据，即源域
Figure 914004DEST_PATH_IMAGE021
，其中
Figure 355350DEST_PATH_IMAGE022
分别表示源域中的数据和标签，给定无标注数据，即目标域
Figure DEST_PATH_IMAGE023
。其中，为方便计算，图像的维度放缩成N*N；
为方便说明，仍使用ResNet-50作为源域及目标域共享特征提取网络。最终，得到维度为2048的源域和目标域公共特征表示
Figure 78585DEST_PATH_IMAGE002
和
Figure 630789DEST_PATH_IMAGE003
；
步骤三：目标域特有特征提取，对于目标域特有分支，输入为无标注的目标域数据，遵循常用的空间学习方法来提取图像特征，给定无标注数据，即目标域
Figure 36493DEST_PATH_IMAGE023
。其中，为方便计算，图像的维度放缩成N*N；
为方便说明，仍使用ResNet-50作为目标域特有特征提取网络。最终，本部分得到维度为2048的目标域特有特征表示
Figure 789686DEST_PATH_IMAGE004
；
通过分离域特有信息和域共享特征，并利用域共享特征实现信息迁移，能够降低域特有信息对图像分类结果的干扰；
步骤四：源域特征分离函数计算，对于源域特有特征
Figure 530109DEST_PATH_IMAGE001
和公共特征表示
Figure 869692DEST_PATH_IMAGE002
，计算损失函数
Figure 520116DEST_PATH_IMAGE005
，以确保共享网络和源域特有网络提取到的特征是不一致的；
步骤五：目标域特征分离函数计算，对于目标域特有特征
Figure 37685DEST_PATH_IMAGE004
和公共特征表示
Figure 281716DEST_PATH_IMAGE003
，计算损失函数
Figure 175723DEST_PATH_IMAGE005
，以确保共享网络和目标域特有网络提取到的特征是不一致的；
源域和目标域特征分离损失函数
Figure 680653DEST_PATH_IMAGE005
的计算采用相似性度量，也可以利用F范数进行约束，即定义共享网络在源域和目标域上提取到的特征为
Figure 618391DEST_PATH_IMAGE002
和
Figure 333406DEST_PATH_IMAGE003
，每一行表示一个样本的特征，私有网络提取到的特征为
Figure 516257DEST_PATH_IMAGE001
和
Figure 875694DEST_PATH_IMAGE004
，则计算方式为：
Figure 645DEST_PATH_IMAGE024
通过这样的方式，函数取得最小值时，每一项为0，即两个网络提取到的特征不一致；
步骤六：源域分类损失函数计算，对于源域特有特征表示
Figure 452224DEST_PATH_IMAGE001
和公共特征
Figure 422454DEST_PATH_IMAGE002
，进行名为A的融合，并将结果输入到分类器中，依赖源域数据标注，计算损失函数，源域分类损失函数的计算采用交叉熵损失函数，具体计算方式如下：
Figure 511764DEST_PATH_IMAGE008
其中，m表示源域样本数量；
Figure 682982DEST_PATH_IMAGE009
表示真实标签，
Figure 372589DEST_PATH_IMAGE010
表示网络输出的预测标签分布，
Figure 401637DEST_PATH_IMAGE011
表示融合A的输出；
步骤七：源域图像重建损失函数计算，对于源域特有特征表示
Figure 735667DEST_PATH_IMAGE001
和公共特征
Figure 202420DEST_PATH_IMAGE002
，进行名为B的融合，并将结果输入到共享解码器中，解码出源域图像，利用图像重建损失进行监督，图像重建损失函数的计算采用平均绝对误差（MAE）作为损失函数，具体计算方式如下：
Figure 130056DEST_PATH_IMAGE013
其中
Figure 583034DEST_PATH_IMAGE014
表示原图像，
Figure 896204DEST_PATH_IMAGE015
表示重建图像，
Figure 783126DEST_PATH_IMAGE016
表示图像中像素点个数；
以融合B为例，融合后，得到维度为4096的特征，经过一层全卷积层，得到维度为2048维的融合特征，然后经过五个卷积模块，conv5_y、conv4_y、conv3_y 、conv2_y和conv1_y。其中conv5_y由3组相同的卷积结构构成，每组卷积结构为：1*1*2048、3*3*512、1*1*512；conv4_y由6组相同的卷积结构构成，每组卷积结构为：1*1*1024、3*3*256、1*1*256；conv3_y由4组相同的卷积结构构成，每组卷积结构为：1*1*512、3*3*128、1*1*128；conv2_x由3组相同的卷积结构构成，每组卷积结构为：1*1*256、1*1*64、3*3*64。再经过conv1_y后，得到维度为N*N的图像；
步骤八：源域鉴别器损失函数计算，对于源域特有特征表示
Figure 385009DEST_PATH_IMAGE001
和公共特征
Figure 517044DEST_PATH_IMAGE003
，进行名为C的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
步骤九：目标域鉴别器损失函数计算，对于目标域特有特征表示
Figure 684720DEST_PATH_IMAGE004
和公共特征
Figure 634221DEST_PATH_IMAGE002
，进行名为D的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
对于融合C、D，采用传统生成对抗网络的优化目标函数，具体计算方式如下：
Figure 503826DEST_PATH_IMAGE018
其中
Figure 423241DEST_PATH_IMAGE019
表示分布函数的期望值，
Figure 664997DEST_PATH_IMAGE020
表示域分类器，即鉴别器，G表示生成器，即特征提取器；
在训练过程中，域分类器
Figure 378875DEST_PATH_IMAGE020
试图去在类级别中分辨不同的域，生成器G，即特征提取器，试图去产生域不变的特征来迷惑判别器
Figure 1355DEST_PATH_IMAGE020
，最终生成器G和判别器
Figure 990040DEST_PATH_IMAGE020
会达到一个平衡，从而可以从G中获得更好的域不变特征；
步骤十：目标域图像重建损失函数计算，对于目标特有特征表示
Figure 742095DEST_PATH_IMAGE004
和公共特征
Figure 908766DEST_PATH_IMAGE003
，进行名为E的融合，并将结果输入到共享解码器中，解码出目标域图像，利用图像重建损失进行监督，图像重建损失函数的计算采用平均绝对误差（MAE）作为损失函数，具体计算方式如下：
Figure DEST_PATH_IMAGE025
其中
Figure 972537DEST_PATH_IMAGE014
表示原图像，
Figure 477162DEST_PATH_IMAGE015
表示重建图像，
Figure 473937DEST_PATH_IMAGE016
表示图像中像素点个数；
通过引入重建损失和相似度损失，能够在保证提取到的特征有效性的基础上，有效分类域共有特征和域私有特征，从而将源域和目标域特征分布进行更好地对齐，实现更加鲁棒的特征迁移。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于，具体步骤如下：
步骤一：源域特有特征提取，对于源域特有分支，使用带标注的源域数据作为该分支的输入，使用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为源域特征，以获得源域特有特征表示
Figure DEST_PATH_IMAGE001
；
步骤二：域共享特征的提取，对于共享网络分支，同时使用带标注的源域数据和无标注的目标域数据作为该分支的输入，用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为源域和目标域特征，以获得源域和目标域的公共特征表示
Figure 75370DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
；
步骤三：目标域特有特征提取，对于目标域特有分支，使用无标注的目标域数据作为该分支的输入，使用ResNet-50网络作为该分支的特征提取网络，直接将最后一个卷积层的输出作为目标域特征，以获得目标域特有特征表示
Figure 141546DEST_PATH_IMAGE004
；
步骤四：源域特征分离函数计算，对于源域特有特征
Figure 569117DEST_PATH_IMAGE001
和公共特征表示
Figure 224089DEST_PATH_IMAGE002
，计算损失函数
Figure DEST_PATH_IMAGE005
，以确保共享网络和源域特有网络提取到的特征是不一致的；
步骤五：目标域特征分离函数计算，对于目标域特有特征
Figure 413499DEST_PATH_IMAGE004
和公共特征表示
Figure 29289DEST_PATH_IMAGE003
，计算损失函数
Figure 135916DEST_PATH_IMAGE005
，以确保共享网络和目标域特有网络提取到的特征是不一致的；
步骤六：源域分类损失函数计算，对于源域特有特征表示
Figure 645395DEST_PATH_IMAGE001
和公共特征
Figure 303909DEST_PATH_IMAGE002
，进行名为A的融合，并将结果输入到分类器中，依赖源域数据标注，计算损失函数；
步骤七：源域图像重建损失函数计算，对于源域特有特征表示
Figure 46475DEST_PATH_IMAGE001
和公共特征
Figure 940482DEST_PATH_IMAGE002
，进行名为B的融合，并将结果输入到共享解码器中，解码出源域图像，利用图像重建损失进行监督；
步骤八：源域鉴别器损失函数计算，对于源域特有特征表示
Figure 179833DEST_PATH_IMAGE001
和公共特征
Figure 150194DEST_PATH_IMAGE003
，进行名为C的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
步骤九：目标域鉴别器损失函数计算，对于目标域特有特征表示
Figure 599630DEST_PATH_IMAGE004
和公共特征
Figure 172694DEST_PATH_IMAGE002
，进行名为D的融合，并借助于鉴别器，鉴定特征融合后的结果是真还是假；
步骤十：目标域图像重建损失函数计算，对于目标特有特征表示
Figure 189190DEST_PATH_IMAGE004
和公共特征
Figure 314141DEST_PATH_IMAGE003
，进行名为E的融合，并将结果输入到共享解码器中，解码出目标域图像，利用图像重建损失进行监督。
2.根据权利要求1所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：所述步骤一至三采用ResNet-50作为源域和目标域的特征提取网络，但不局限于此，源域和目标域的特征提取网络并不需要完全一致，如可选用LeNet和AlexNet作为源域和目标域的特征提取网络。
3.根据权利要求2所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：特征提取时，图像的输入维度为N*N，ResNet-50网络包括conv1_x、conv2_x、conv3_x、conv4_x和conv5_x五个卷积模块，其中conv2_x由3组相同的卷积结构构成，每组卷积结构为：1*1*64、3*3*64、1*1*256；conv3_x由4组相同的卷积结构构成，每组卷积结构为：1*1*128、3*3*128、1*1*512；conv4_x由6组相同的卷积结构构成，每组卷积结构为：1*1*256、3*3*256、1*1*1024；conv5_x由3组相同的卷积结构构成，每组卷积结构为：1*1*512、3*3*512、1*1*2048。
4.根据权利要求1所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：所述步骤四和步骤五中的特征分离损失函数
Figure 126239DEST_PATH_IMAGE005
的计算采用相似性度量，也可以利用F范数进行约束，即定义共享网络在源域和目标域上提取到的特征为
Figure 378360DEST_PATH_IMAGE002
和
Figure 716937DEST_PATH_IMAGE003
，每一行表示一个样本的特征，私有网络提取到的特征为
Figure 888156DEST_PATH_IMAGE001
和
Figure 827030DEST_PATH_IMAGE004
，则计算方式为：
Figure DEST_PATH_IMAGE007
通过这样的方式，函数取得最小值时，每一项为0，即两个网络提取到的特征不一致。
5.根据权利要求1所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：所述步骤六中的源域分类损失函数的计算采用交叉熵损失函数，具体计算方式如下：
Figure 69793DEST_PATH_IMAGE008
其中，m表示源域样本数量；
Figure DEST_PATH_IMAGE009
表示真实标签，
Figure 872664DEST_PATH_IMAGE010
表示网络输出的预测标签分布，
Figure DEST_PATH_IMAGE011
表示融合A的输出。
6.根据权利要求1所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：所述步骤七和步骤十中的图像重建损失函数的计算采用平均绝对误差（MAE）作为损失函数，具体计算方式如下：
Figure DEST_PATH_IMAGE013
其中
Figure 119843DEST_PATH_IMAGE014
表示原图像，
Figure DEST_PATH_IMAGE015
表示重建图像，
Figure 719583DEST_PATH_IMAGE016
表示图像中像素点个数。
7.根据权利要求1所述的一种基于域特有信息获取的无监督领域适应图像分类方法，其特征在于：所述步骤八和步骤九中的对抗损失函数的计算采用传统生成对抗网络的优化目标函数，具体计算方式如下：
Figure 562774DEST_PATH_IMAGE018
其中
Figure DEST_PATH_IMAGE019
表示分布函数的期望值，
Figure 594053DEST_PATH_IMAGE020
表示域分类器，即鉴别器，G表示生成器，即特征提取器。
CN202210404117.0A 2022-04-18 2022-04-18 一种基于域特有信息获取的无监督领域适应图像分类方法 Active CN114494804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210404117.0A CN114494804B (zh) 2022-04-18 2022-04-18 一种基于域特有信息获取的无监督领域适应图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210404117.0A CN114494804B (zh) 2022-04-18 2022-04-18 一种基于域特有信息获取的无监督领域适应图像分类方法

Publications (2)

Publication Number Publication Date
CN114494804A true CN114494804A (zh) 2022-05-13
CN114494804B CN114494804B (zh) 2022-10-25

Family

ID=81489339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210404117.0A Active CN114494804B (zh) 2022-04-18 2022-04-18 一种基于域特有信息获取的无监督领域适应图像分类方法

Country Status (1)

Country Link
CN (1) CN114494804B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质
US20200342643A1 (en) * 2017-10-27 2020-10-29 Google Llc Semantically-consistent image style transfer
CN112183637A (zh) * 2020-09-29 2021-01-05 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN112967262A (zh) * 2021-03-18 2021-06-15 深圳市美侨医疗科技有限公司 一种基于形态学分割和深度学习的尿沉渣管型识别方法
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法
CN113283393A (zh) * 2021-06-28 2021-08-20 南京信息工程大学 基于图像组与两流网络的Deepfake视频检测方法
US20210279943A1 (en) * 2020-03-05 2021-09-09 Magic Leap, Inc. Systems and methods for end to end scene reconstruction from multiview images
CN113536972A (zh) * 2021-06-28 2021-10-22 华东师范大学 一种基于目标域伪标签的自监督跨域人群计数方法
CN113837366A (zh) * 2021-09-23 2021-12-24 中国计量大学 一种多风格字体生成方法
CN113962846A (zh) * 2021-09-09 2022-01-21 北京旷视科技有限公司 图像对齐方法及装置、计算机可读存储介质及电子设备
CN114048546A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342643A1 (en) * 2017-10-27 2020-10-29 Google Llc Semantically-consistent image style transfer
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
US20210279943A1 (en) * 2020-03-05 2021-09-09 Magic Leap, Inc. Systems and methods for end to end scene reconstruction from multiview images
CN111754446A (zh) * 2020-06-22 2020-10-09 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN112183637A (zh) * 2020-09-29 2021-01-05 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN113011487A (zh) * 2021-03-16 2021-06-22 华南理工大学 一种基于联合学习与知识迁移的开放集图像分类方法
CN112967262A (zh) * 2021-03-18 2021-06-15 深圳市美侨医疗科技有限公司 一种基于形态学分割和深度学习的尿沉渣管型识别方法
CN113283393A (zh) * 2021-06-28 2021-08-20 南京信息工程大学 基于图像组与两流网络的Deepfake视频检测方法
CN113536972A (zh) * 2021-06-28 2021-10-22 华东师范大学 一种基于目标域伪标签的自监督跨域人群计数方法
CN113962846A (zh) * 2021-09-09 2022-01-21 北京旷视科技有限公司 图像对齐方法及装置、计算机可读存储介质及电子设备
CN113837366A (zh) * 2021-09-23 2021-12-24 中国计量大学 一种多风格字体生成方法
CN114048546A (zh) * 2021-11-17 2022-02-15 大连理工大学 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NISHANJAN RAVIN等: "Mitigating domain shift in AI-based tuberculosis screening with unsupervised domain adaptation", 《IEEE ACCESS》 *
杨玉婵: "面向Hep-2细胞的分类算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 *

Also Published As

Publication number Publication date
CN114494804B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
Gao et al. A mutually supervised graph attention network for few-shot segmentation: the perspective of fully utilizing limited samples
Hao et al. A brief survey on semantic segmentation with deep learning
Zhou et al. Contextual ensemble network for semantic segmentation
Zhu et al. I can find you! boundary-guided separated attention network for camouflaged object detection
Kaur et al. Tools, techniques, datasets and application areas for object detection in an image: a review
Fu et al. Contextual deconvolution network for semantic segmentation
Liu et al. Open-world semantic segmentation via contrasting and clustering vision-language embedding
CN112966684A (zh) 一种注意力机制下的协同学习文字识别方法
CN112613502A (zh) 文字识别方法及装置、存储介质、计算机设备
CN112001939B (zh) 基于边缘知识转化的图像前景分割算法
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
Li et al. Towards photo-realistic visible watermark removal with conditional generative adversarial networks
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
Zhou et al. Sampling-attention deep learning network with transfer learning for large-scale urban point cloud semantic segmentation
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
Wang et al. Unsupervised structure-texture separation network for oracle character recognition
CN115393928A (zh) 基于深度可分离卷积与加性角度间隔损失的人脸识别方法及装置
Liu et al. Deep dual-stream network with scale context selection attention module for semantic segmentation
Robert The Role of Deep Learning in Computer Vision
Zhou et al. Depth-guided saliency detection via boundary information
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
CN114494804B (zh) 一种基于域特有信息获取的无监督领域适应图像分类方法
Abdullah et al. Official logo recognition based on multilayer convolutional neural network model
Gao et al. Segmentation-free vehicle license plate recognition using CNN
CN112884022B (zh) 一种基于图像平移的无监督深度表征学习方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant