CN111275092B - 一种基于无监督域适应的图像分类方法 - Google Patents
一种基于无监督域适应的图像分类方法 Download PDFInfo
- Publication number
- CN111275092B CN111275092B CN202010051470.6A CN202010051470A CN111275092B CN 111275092 B CN111275092 B CN 111275092B CN 202010051470 A CN202010051470 A CN 202010051470A CN 111275092 B CN111275092 B CN 111275092B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- image data
- data set
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于无监督域适应的图像分类方法,包括:选取有标签的源域图像数据集和无标签的目标域图像数据集,并进行数据增广;构造对抗迁移网络减少源域图像数据集和目标域图像数据集条件分布的差异性;构造时序集成网络正则化目标域图像数据集中图像标签的预测结果;将对抗迁移网络、时序集成网络进行联合,构造图像分类模型;将增广后的图像数据集做为训练集,采用元学习的方式对图像分类模型进行训练;用训练后的图像分类模型对待分类的目标图像进行识别,完成目标图像分类。本发明在面向网络上海量图像数据分类的过程中,极大减少了人力标注数据,且不影响图像分类的准确率,用户能快速准确地从海量图像数据中搜索到所需要的图像。
Description
技术领域
本发明涉及图像识别技术领域,特别是涉及一种基于无监督域适应的图像分类方法。
背景技术
随着数码产品极易智能移动终端设备的普及,存储设备以及计算机网络的发展,每天网络上面新增数以亿计的海量图像数据,这些图像数据中蕴含着大量宝贵的信息,不加以合理地利用明显是一种极大的浪费。然而面对浩瀚庞大的图像数据库,如何将图像进行快速准确地分类,得到用户要搜索的图像结果,成为了科研以及商业领域迫切需要解决的问题。当今许多人工智能技术在网络图像的分类识别领域取得了巨大成就,但是这些人工智能技术均依赖于大量的标注,而标注大量数据的过程对劳动者来说非常艰辛,且成本极为昂贵,甚至是不可行的。
鉴于以上原因,在面向海量网络图像数据的分类过程中,如何减少标注量,且在减少标注量的同时又不影响模型的分类准确率成为当下急需解决的一个问题。
发明内容
本发明的目的是提供一种基于无监督域适应的图像分类方法,以解决上述现有技术存在的问题,能够有效减少数据的标注量且不影响图像分类的准确率。
为实现上述目的,本发明提供了如下方案:本发明提供一种基于无监督域适应的图像分类方法,包括如下步骤:
S1、选取源域图像数据集和目标域图像数据集;所述源域图像数据集中的图像数据有标签,所述目标域图像数据集中的图像数据无标签;
S2、对所选取的源域图像数据集和目标域图像数据集进行数据增广;
S3、构造对抗迁移网络,通过对抗迁移网络减少源域图像数据集和目标域图像数据集条件分布的差异性;
S4、构造时序集成网络,通过时序集成网络来正则化目标域图像数据集中图像标签的预测结果;来正则化目标域图像数据集中图像标签的预测结果;
S5、将步骤S3所构造的对抗迁移网络、步骤S4所构造的时序集成网络进行联合,构造图像分类模型;将步骤S2增广后的图像数据集做为训练集,采用元学习的方式对图像分类模型进行训练;
S6、采用步骤S5训练后的图像分类模型对待分类的目标图像进行识别,完成目标图像的分类。
优选地,步骤S2中数据增广方式采用随机增广,包括:随机旋转、随机水平翻转、随机竖直翻转、随机仿射变换、高斯噪声。
其中,Ns表示源域图像数量,Nt表示目标域图像数量;表示源域的域标签,设为0;表示目标域的域标签,设为1;Gd(·)表示判别器网络;g(·)表示梯度反转层;Gf(·)表示生成器网络,生成器网络为普通的卷积神经网络CNN;h(·)为数据增广操作;θm为生成器网络的参数,并将Gf(·;θm)定义为学生网络;为源域图像的真实标签,为目标域图像的伪标签, 表示克罗内克积。
其中,α表示平滑系数,t表示第t个训练步骤。
优选地,步骤S5中,学生网络参数的更新方法如式4所示:
其中,和分别表示源域图像和目标域图像经过随机增广后得到的特征值;Ys表示源域图像的标签集;β表示元学习元训练过程学习率;λ表示可调节的超参数;表示对抗损失函数;表示源域图像的标签损失函数,具体表达方式如式5所示:
其中,η表示可调节的超参数。
本发明公开了以下技术效果:
(1)本发明通过域适应技术能够减少有标签的源域数据和无标签的目标域数据之间数据分布的差异,从而能够将借助于源域数据训练的模型应用在无标注信息的目标域上,因此,在面向网络上海量图像数据的分类过程中,极大减少了人力标注数据;
(2)本发明包含了两个主要的子网络:一个子网络在基于标注的条件分布特征上引入了对抗训练的过程;另一个子网络用一个时序集成网络作为正则项来约束不含标注信息的目标域图像数据集上标注信息的预测结果;因此,本发明一方面可以学习到源域图像数据集与目标域图像数据集之间数据分布的差异性,另一方面能够从有标签信息的源域图像数据集到无标签信息的目标域图像数据集,正则化约束标注信息预测结果的一致性;同时,本发明提出了一种基于元学习的训练方法来避免负迁移,从而能使图像分类模型朝着域迁移和标签映射的方向上进行稳定地训练,能够有效保证网络上海量图像数据分类的准确性,从而用户能够快速搜索到所需要的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于无监督域适应的图像分类模型结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示,本实施例提供一种基于无监督域适应的图像分类方法,包括如下步骤:
S1、从网络搜索引擎中选取源域图像数据集Xs和目标域图像数据集Xt;所述源域图像数据集Xs中的图像数据有标签,所述目标域图像数据集Xt中的图像数据无标签。
数据增广方式采用随机增广h(·),包括:随机旋转、随机水平翻转、随机竖直翻转、随机仿射变换、高斯噪声。
其中,Ns表示源域图像数量,Nt表示目标域图像数量;表示源域的域标签,设为0;表示目标域的域标签,设为1;Gd(·)表示判别器网络;g(·)表示梯度反转层;Gf(·)表示生成器网络,生成器网络为普通的卷积神经网络CNN;h(·)为数据增广操作;θm为生成器网络的参数,并将Gf(·;θm)定义为学生网络;为源域图像的真实标签,为目标域图像的伪标签, 表示克罗内克积。
其中,α表示平滑系数,t表示第t个训练步骤。
S5、将步骤S3所构造的对抗迁移网络、步骤S4所构造的时序集成网络进行联合,构造图像分类模型;将步骤S2增广后的图像数据集做为训练集,采用元学习的方式对图像分类模型进行训练;
学生网络参数的更新方法如式(4)所示:
其中,和分别表示源域图像和目标域图像经过随机增广后得到的特征值;Ys表示源域图像的标签集;β表示元学习元训练过程学习率;γ表示可调节的超参数;表示对抗损失函数;表示源域图像的标签损失函数,具体表达方式如式(5)所示:
为了使图像标签的预测信息从源域到目标域传递地更为稳定,保证每一个更新后的学生模型和时序集成后的老师模型预测结果一致,本发明对每一个更新后的神经网络参数θ′m都采用来作为正则项约束,优化后元学习的损失函数如式(6)所示:
其中,η表示可调节的超参数。
S6、采用步骤S5训练后的图像分类模型对待分类的目标图像进行识别,完成目标图像的分类。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (3)
1.一种基于无监督域适应的图像分类方法,其特征在于,包括如下步骤:
S1、选取源域图像数据集和目标域图像数据集;所述源域图像数据集中的图像数据有标签,所述目标域图像数据集中的图像数据无标签;
S2、对所选取的源域图像数据集和目标域图像数据集进行数据增广;
S3、构造对抗迁移网络,通过对抗迁移网络减少源域图像数据集和目标域图像数据集条件分布的差异性;
S4、构造时序集成网络,通过时序集成网络来正则化目标域图像数据集中图像标签的预测结果;来正则化目标域图像数据集中图像标签的预测结果;
S5、将步骤S3所构造的对抗迁移网络、步骤S4所构造的时序集成网络进行联合,构造图像分类模型;将步骤S2增广后的图像数据集做为训练集,采用元学习的方式对图像分类模型进行训练;
S6、采用步骤S5训练后的图像分类模型对待分类的目标图像进行识别,完成目标图像的分类;
其中,Ns表示源域图像数量,Nt表示目标域图像数量;表示源域的域标签,设为0;表示目标域的域标签,设为1;Gd(·)表示判别器网络;g(·)表示梯度反转层;Gf(·)表示生成器网络,生成器网络为普通的卷积神经网络CNN;h(·)为数据增广操作;θm为生成器网络的参数,并将Gf(·;θm)定义为学生网络;为源域图像的真实标签,为目标域图像的伪标签, 表示克罗内克积;
步骤S5中,学生网络参数的更新方法如式4所示:
其中,和分别表示源域图像和目标域图像经过随机增广后得到的特征值;YS表示源域图像的标签集;β表示元学习元训练过程学习率;λ表示可调节的超参数;表示对抗损失函数;表示源域图像的标签损失函数,具体表达方式如式5所示:
其中,η表示可调节的超参数。
2.根据权利要求1所述的基于无监督域适应的图像分类方法,其特征在于,步骤S2中数据增广方式采用随机增广,包括:随机旋转、随机水平翻转、随机竖直翻转、随机仿射变换、高斯噪声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051470.6A CN111275092B (zh) | 2020-01-17 | 2020-01-17 | 一种基于无监督域适应的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010051470.6A CN111275092B (zh) | 2020-01-17 | 2020-01-17 | 一种基于无监督域适应的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275092A CN111275092A (zh) | 2020-06-12 |
CN111275092B true CN111275092B (zh) | 2022-05-13 |
Family
ID=70997253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010051470.6A Active CN111275092B (zh) | 2020-01-17 | 2020-01-17 | 一种基于无监督域适应的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275092B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931814B (zh) * | 2020-07-03 | 2023-12-12 | 浙江大学 | 一种基于类内结构紧致约束的无监督对抗域适应方法 |
CN111626409B (zh) * | 2020-07-30 | 2020-11-24 | 江西高创保安服务技术有限公司 | 一种图像质量检测的数据生成方法 |
CN112183456B (zh) * | 2020-10-19 | 2021-07-02 | 北京深睿博联科技有限责任公司 | 基于样本生成和域适应的多场景运动目标检测方法及装置 |
CN112528109B (zh) * | 2020-12-01 | 2023-10-27 | 科大讯飞(北京)有限公司 | 一种数据分类方法、装置、设备及存储介质 |
CN113065633A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
CN112733970B (zh) * | 2021-03-31 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 图像分类模型处理方法、图像分类方法及装置 |
CN113240071B (zh) * | 2021-05-13 | 2023-07-28 | 平安科技(深圳)有限公司 | 图神经网络处理方法、装置、计算机设备及存储介质 |
CN113537307B (zh) * | 2021-06-29 | 2024-04-05 | 杭州电子科技大学 | 一种基于元学习的自监督域适应方法 |
CN113610105A (zh) * | 2021-07-01 | 2021-11-05 | 南京信息工程大学 | 基于动态加权学习和元学习的无监督域适应图像分类方法 |
CN115496972B (zh) * | 2022-11-15 | 2023-04-07 | 杭州涿溪脑与智能研究所 | 一种基于数据混合的工业领域自适应方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
CN109472360A (zh) * | 2018-10-30 | 2019-03-15 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
CN109948648A (zh) * | 2019-01-31 | 2019-06-28 | 中山大学 | 一种基于元对抗学习的多目标域适应迁移方法及系统 |
CN110321926A (zh) * | 2019-05-24 | 2019-10-11 | 北京理工大学 | 一种基于深度残差修正网络的迁移方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
US20190147854A1 (en) * | 2017-11-16 | 2019-05-16 | Microsoft Technology Licensing, Llc | Speech Recognition Source to Target Domain Adaptation |
CN109637546B (zh) * | 2018-12-29 | 2021-02-12 | 苏州思必驰信息科技有限公司 | 知识蒸馏方法和装置 |
CN110322446B (zh) * | 2019-07-01 | 2021-02-19 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
-
2020
- 2020-01-17 CN CN202010051470.6A patent/CN111275092B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256561A (zh) * | 2017-12-29 | 2018-07-06 | 中山大学 | 一种基于对抗学习的多源域适应迁移方法及系统 |
CN109472360A (zh) * | 2018-10-30 | 2019-03-15 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
CN109948648A (zh) * | 2019-01-31 | 2019-06-28 | 中山大学 | 一种基于元对抗学习的多目标域适应迁移方法及系统 |
CN110321926A (zh) * | 2019-05-24 | 2019-10-11 | 北京理工大学 | 一种基于深度残差修正网络的迁移方法及系统 |
Non-Patent Citations (1)
Title |
---|
结合对抗网络与辅助任务的遥感影像无监督域适应方法;许夙晖 等;《测绘学报》;20171231;第46卷(第12期);1969-1977 * |
Also Published As
Publication number | Publication date |
---|---|
CN111275092A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275092B (zh) | 一种基于无监督域适应的图像分类方法 | |
Bertinetto et al. | Learning feed-forward one-shot learners | |
CN111552807A (zh) | 一种短文本多标签分类方法 | |
Chen et al. | Learning linear regression via single-convolutional layer for visual object tracking | |
CN110443372B (zh) | 一种基于熵最小化的迁移学习方法及系统 | |
CN109034080A (zh) | 多源域自适应的人脸识别方法 | |
CN111832573B (zh) | 一种基于类激活映射和视觉显著性的图像情感分类方法 | |
Vallet et al. | A multi-label convolutional neural network for automatic image annotation | |
Hu et al. | Discriminative partial domain adversarial network | |
Li et al. | Domain adaptive person search | |
CN116051479A (zh) | 融合跨域迁移和异常检测的纺织品缺陷识别方法 | |
CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
Lei et al. | Cross-domain few-shot semantic segmentation | |
Baek et al. | Decomposed knowledge distillation for class-incremental semantic segmentation | |
Hsu et al. | Deep image category discovery using a transferred similarity function | |
CN113947725A (zh) | 一种基于卷积宽度迁移网络的高光谱图像分类方法 | |
Xing et al. | Transfer shape modeling towards high-throughput microscopy image segmentation | |
CN111506832B (zh) | 一种基于块矩阵补全的异构对象补全方法 | |
Guo et al. | Semantic image segmentation based on SegNetWithCRFs | |
CN112116063B (zh) | 一种基于元学习的特征偏移矫正方法 | |
McNeely-White et al. | Inception and ResNet: Same training, same features | |
Sun et al. | Robust ensembling network for unsupervised domain adaptation | |
Boudraa et al. | Combination of local features and deep learning to historical manuscripts dating | |
Liao et al. | Visualization of farm land use by classifying satellite images | |
Liu et al. | Graph-boosted convolutional neural networks for semantic segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |