CN108985378B - 一种基于混合交叉深度网络的域自适应方法 - Google Patents
一种基于混合交叉深度网络的域自适应方法 Download PDFInfo
- Publication number
- CN108985378B CN108985378B CN201810800430.XA CN201810800430A CN108985378B CN 108985378 B CN108985378 B CN 108985378B CN 201810800430 A CN201810800430 A CN 201810800430A CN 108985378 B CN108985378 B CN 108985378B
- Authority
- CN
- China
- Prior art keywords
- cross
- domain
- cloud picture
- foundation cloud
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于混合交叉深度网络的域自适应方法,所述方法包括:对来自源域和目标域的多幅输入地基云图进行预处理,得到训练地基云图;搭建混合交叉深度网络;将所述训练地基云图作为混合交叉深度网络的输入,并利用交叉正规化损失与交叉熵损失的和优化所述混合交叉深度网络的网络参数,得到训练完成的混合交叉深度网络;基于所述训练完成的混合交叉深度网络,获取来自源域和目标域的测试地基云图的特征向量;基于测试地基云图的特征向量,对所述测试地基云图进行交叉域分类,得到地基云图识别结果。本发明利用迁移学习得到的混合交叉深度网络进行特征提取,能够挖掘具有域不变性和判别性的特征,提高了交叉域地基云图分类的正确率。
Description
技术领域
本发明属于模式识别、人工智能技术领域,具体涉及一种基于混合交叉深度网络的域自适应方法。
背景技术
域自适应方法是当前机器学习的研究热点之一,在目标识别、自然语言处理、生物信息学和手写体识别等领域具有广泛应用。目前,国内外的专家利用卷积神经网络解决域自适应问题,并取得了不错的成绩。Long等人构造一个深度适应网络,将隐含的所有特定任务层的表示嵌入到再生核希尔伯特空间中,进行目标识别。Tzeng等人构造一个包含适应层和域混淆损失的卷积神经网络结构,学习有意义的语义特征和域不变特征。Sun和Saenko将相关对齐技术直接集成到一个深层网络中,通过构建可微差损失函数来最小化源域和目标域之间的差异,再利用已训练好的深层网络进行目标识别。
云是大气科学中的一个重要气象因素,对云的研究主要包含云量、云底和云状。其中,地基云图分类是云状分类的一种重要实现方式,对气候气象研究等具有重要意义。然而,有关地基云图分类的域自适应研究少之又少。Zhang等人在2017年首次提出地基云图分类的域自适应研究,他们挖掘局部区域中的最大响应值进行地基云图的特征表示,再利用样本对和地基云图类别之间的关系学习一个距离函数作为两幅地基云图相似度的度量。随后,Zhang等人训练一个卷积神经网络,然后基于卷积激活图得到局部求和图,在局部求和图中挖掘局部区域中的最大响应值进行地基云图的特征表示,最后学习一个加权测度来计算两幅地基云图的相似度。Zhang等人使用权重共享策略训练一个暹罗网络,将来自源域和目标域的地基云图映射到相同的特征空间中,学习域不变信息。之后对暹罗网络中的卷积激活图上的局部特征进行编码,改善了交叉域地基云分类的性能。在地基云图分类的域自适应研究方面,需要创新方法进一步提高交叉域地基云图分类的准确率。
发明内容
本发明的目的是要解决地基云图分类问题,为此,本发明提供一种基于混合交叉深度网络的域自适应方法。
为了实现所述目的,本发明提出一种基于混合交叉深度网络的域自适应方法,所述方法包括以下步骤:
步骤S1,对来自源域和目标域的多幅输入地基云图进行预处理,得到训练地基云图;
步骤S2,搭建混合交叉深度网络;
步骤S3,将所述训练地基云图作为所述混合交叉深度网络的输入,并利用交叉正规化损失与交叉熵损失和优化所述混合交叉深度网络的网络参数,得到训练完成的混合交叉深度网络;
步骤S4,基于所述训练完成的混合交叉深度网络,获取来自源域和目标域的测试地基云图的特征向量;
步骤S5,基于测试地基云图的特征向量,对于所述测试地基云图进行交叉域分类,得到地基云图识别结果。
可选地,所述步骤S1中的预处理包括:将所述输入地基云图的大小归一化为预设大小得到训练地基云图,并获取每幅训练地基云图的类别标签。
可选地,所述步骤S2包括以下步骤:
步骤S21,选择预训练网络模型,并对其进行初始化;
步骤S22,对所述预训练网络模型进行修改得到混合交叉深度网络。
可选地,所述步骤S22包括以下步骤:
步骤S222,利用交叉正规化损失函数构建所述网络模型的第一个损失函数;
步骤S223,增加一个含有K个神经元的全连接层,在全连接层之后利用交叉熵损失函数构建所述网络模型的第二个损失函数;
步骤S224,对交叉正规化损失和交叉熵损失求和得到所述网络模型最终的损失,进而得到混合交叉深度网络。
可选地,所述步骤S3包括以下步骤:
步骤S31,在所述训练地基云图中,随机选择来自源域的P幅地基云图和来自目标域的Q幅地基云图作为一个批次输入到所述混合交叉深度网络中,分别获得源域的输出向量集合和目标域的输出向量集合其中,上角标s和t分别表示源域和目标域,表示源域中第a张地基云图的输出向量,且 表示目标域中第b张地基云图的输出向量,且
步骤S33,在一个批次中,为每一幅来自源域的地基云图在目标域中找到与之具有相同云图类别但距离最大的一幅地基云图作为最不相似正样本组成正样本对同时在目标域中找到与之具有不同云图类别但距离最小的一幅地基云图作为最相似负样本组成负样本对
步骤S35,在一个批次中,根据所述三元组样本,使用交叉正规化损失函数计算损失值LR;
步骤S36,在一个批次中,将P+Q个训练地基云图的所述输出向量输入到含有K个神经元的全连接层中,得到P+Q个K维向量,每个K维向量表示为(w1,w2,...,wj,...,wK);
步骤S39,在训练过程中,利用交叉正规化损失和交叉熵损失和更新所述混合交叉深度网络的参数,得到训练完成的混合交叉深度网络。
可选地,所述步骤S35中,所述损失值LR表示为:
其中,[G]+=max(G,0),m是交叉熵损失的阈值,ε是一个很小的正数,σp和σn是校准参数。
可选地,所述步骤S38中,所述损失值LC表示为:
可选地,所述步骤S4包括以下步骤:
步骤S41,将源域和目标域剩下的N幅地基云图作为测试地基云图,并获取每幅测试地基云图的类别标签;
步骤S42,将所述N幅测试地基云图输入到所述训练完成的混合交叉深度网络中,得到N个特征向量。
可选地,所述步骤S5中,使用SVM分类器进行分类。
本发明的有益效果为:本发明利用迁移学习得到的混合交叉深度网络进行特征提取,能够挖掘具有域不变性和判别性的特征,提高了交叉域地基云图分类的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61501327、No.61711530240,天津市自然科学基金重点项目No.17JCZDJC30600,天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703,模式识别国家重点实验室开放课题基金No.201700001、No.201800002,中国国家留学基金No.201708120040、No.201708120039和天津高等学校创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例的一种基于混合交叉深度网络的域自适应方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于混合交叉深度网络的域自适应方法的流程图,下面以图1为例来说明本发明的一些具体实现流程。如图1所示,所述基于混合交叉深度网络的域自适应方法包括:
步骤S1,对来自源域和目标域的多幅输入地基云图进行预处理,得到训练地基云图;
其中,将所述输入地基云图的大小归一化为预设大小,比如224×224,得到训练地基云图,并获取每幅训练地基云图的类别标签。
步骤S2,搭建用于提取特征的混合交叉深度网络;
进一步地,所述步骤S2包括以下步骤:
步骤S21,选择预训练网络模型,并对其进行初始化;
比如,所述预训练网络模型可以选为ResNet-50。
步骤S22,对所述预训练网络模型进行修改得到混合交叉深度网络。
其中,所述步骤S22包括以下步骤:
步骤S222,利用交叉正规化损失函数构建所述网络模型的第一个损失函数;
步骤S223,增加一个含有K个神经元的全连接层,在全连接层之后利用交叉熵损失函数构建所述网络模型的第二个损失函数;
在本发明一实施例中,将对7类地基云图进行分类,故K=7。
步骤S224,对交叉正规化损失和交叉熵损失求和得到所述网络模型最终的损失,进而得到混合交叉深度网络。
步骤S3,将所述训练地基云图作为所述混合交叉深度网络的输入,并利用交叉正规化损失与交叉熵损失和优化所述混合交叉深度网络的网络参数,得到训练完成的混合交叉深度网络;
进一步地,所述步骤S3包括以下步骤:
步骤S31,在所述训练地基云图中,随机选择来自源域的P幅地基云图和来自目标域的Q幅地基云图作为一个批次输入到所述混合交叉深度网络中,分别获得源域的输出向量集合和目标域的输出向量集合其中,上角标s和t分别表示源域和目标域,表示源域中第a张地基云图的输出向量,且 表示目标域中第b张地基云图的输出向量,且
在本发明一实施例中,在一个批次中,P=36和Q=12。
其中,PgP2表示向量的二范数。
步骤S33,在一个批次中,为每一幅来自源域的地基云图在目标域中找到与之具有相同云图类别但距离最大的一幅地基云图作为最不相似正样本组成正样本对同时在目标域中找到与之具有不同云图类别但距离最小的一幅地基云图作为最相似负样本组成负样本对
步骤S35,在一个批次中,根据所述三元组样本,使用交叉正规化损失函数计算损失值LR:
其中,[G]+=max(G,0),m是交叉熵损失的阈值,ε是一个很小的正数,σp和σn是校准参数,表示为:
其中,
步骤S36,在一个批次中,将P+Q个训练地基云图的所述输出向量输入到含有K个神经元的全连接层中,得到P+Q个K维向量,每个K维向量表示为(w1,w2,...,wj,...,wK);
其中,当i是真实类别时,pi=1,反之,pi=0。
步骤S39,在训练过程中,利用交叉正规化损失和交叉熵损失和更新所述混合交叉深度网络的参数,得到训练完成的混合交叉深度网络。
其中,交叉正规化损失和交叉熵损失和表示为:
Loss=LR+αLC
其中,α是一个正数。
在本发明一实施例中,训练过程中,交叉熵损失的阈值m=0.2,迭代次数为60次,使用Adam优化器优化混合交叉深度网络,学习速率初始化为0.001,在第30到第60次迭代学习速率收缩0.1倍,直到达到收敛。
步骤S4,基于所述训练完成的混合交叉深度网络,获取来自源域和目标域的测试地基云图的特征向量;
进一步地,所述步骤S4包括以下步骤:
步骤S41,将源域和目标域剩下的N幅地基云图作为测试地基云图,并获取每幅测试地基云图的类别标签;
步骤S42,将所述N幅测试地基云图输入到所述训练完成的混合交叉深度网络中,得到N个2048维的特征向量。
步骤S5,基于测试地基云图的特征向量,对于所述测试地基云图进行交叉域分类,得到地基云图识别结果。
在本发明一实施例中,使用SVM分类器进行分类,更具体地,使用径向基函数核(Radial Basis Function,RBF)的SVM分类器进行分类。
以中国科学院物理研究所和中国气象科学研究院采集的地基云图数据库分别作为源域和目标域,地基云图识别的正确率为80.9%,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (5)
1.一种基于混合交叉深度网络的域自适应方法,其特征在于,该方法包括以下步骤:
步骤S1,对来自源域和目标域的多幅输入地基云图进行预处理,得到训练地基云图;
步骤S2,搭建混合交叉深度网络;
步骤S3,将所述训练地基云图作为所述混合交叉深度网络的输入,并利用交叉正规化损失与交叉熵损失和优化所述混合交叉深度网络的网络参数,得到训练完成的混合交叉深度网络;
步骤S4,基于所述训练完成的混合交叉深度网络,获取来自源域和目标域的测试地基云图的特征向量;
步骤S5,基于测试地基云图的特征向量,对于所述测试地基云图使用SVM分类器进行交叉域分类,得到地基云图识别结果;
所述步骤S2包括以下步骤:
步骤S21,选择ResNet-50作为预训练网络模型,并对其进行初始化;
步骤S22,对所述预训练网络模型进行修改得到混合交叉深度网络;
所述步骤S22包括以下步骤:
步骤S222,利用交叉正规化损失函数构建所述网络模型的第一个损失函数;
步骤S223,增加一个含有K个神经元的全连接层,在全连接层之后利用交叉熵损失函数构建所述网络模型的第二个损失函数;
步骤S224,对交叉正规化损失和交叉熵损失求和得到所述网络模型最终的损失,进而得到混合交叉深度网络;
所述步骤S3包括以下步骤:
步骤S31,在所述训练地基云图中,随机选择来自源域的P幅地基云图和来自目标域的Q幅地基云图作为一个批次输入到所述混合交叉深度网络中,分别获得源域的输出向量集合和目标域的输出向量集合其中,上角标s和t分别表示源域和目标域,表示源域中第a张地基云图的输出向量,且 表示目标域中第b张地基云图的输出向量,且
步骤S33,在一个批次中,为每一幅来自源域的地基云图在目标域中找到与之具有相同云图类别但距离最大的一幅地基云图作为最不相似正样本组成正样本对同时在目标域中找到与之具有不同云图类别但距离最小的一幅地基云图作为最相似负样本组成负样本对
步骤S35,在一个批次中,根据所述三元组样本,使用交叉正规化损失函数计算损失值LR,其中,所述损失值LR表示为:
其中,[G]+=max(G,0),m是交叉熵损失的阈值,ε是一个很小的正数,σp和σn是校准参数,表示为:
其中,
步骤S36,在一个批次中,将P+Q个训练地基云图的所述输出向量输入到含有K个神经元的全连接层中,得到P+Q个K维向量,每个K维向量表示为(w1,w2,...,wj,...,wK);
步骤S39,在训练过程中,利用交叉正规化损失和交叉熵损失和更新所述混合交叉深度网络的参数,得到训练完成的混合交叉深度网络。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1中的预处理包括:将所述输入地基云图的大小归一化为预设大小得到训练地基云图,并获取每幅训练地基云图的类别标签。
5.根据权利要求1所述的方法,其特征在于,所述步骤S4包括以下步骤:
步骤S41,将源域和目标域剩下的N幅地基云图作为测试地基云图,并获取每幅测试地基云图的类别标签;
步骤S42,将所述N幅测试地基云图输入到所述训练完成的混合交叉深度网络中,得到N个特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810800430.XA CN108985378B (zh) | 2018-07-20 | 2018-07-20 | 一种基于混合交叉深度网络的域自适应方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810800430.XA CN108985378B (zh) | 2018-07-20 | 2018-07-20 | 一种基于混合交叉深度网络的域自适应方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108985378A CN108985378A (zh) | 2018-12-11 |
CN108985378B true CN108985378B (zh) | 2022-10-21 |
Family
ID=64548967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810800430.XA Active CN108985378B (zh) | 2018-07-20 | 2018-07-20 | 一种基于混合交叉深度网络的域自适应方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108985378B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111803B (zh) * | 2019-05-09 | 2021-02-19 | 南京工程学院 | 基于自注意多核最大均值差异的迁移学习语音增强方法 |
CN113177482A (zh) * | 2021-04-30 | 2021-07-27 | 中国科学技术大学 | 一种基于最小类别混淆的跨个体脑电信号分类方法 |
CN113435539A (zh) * | 2021-07-21 | 2021-09-24 | 天津大学 | 基于深度学习的面向南极夜空云图的云量等级分类方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563452A (zh) * | 2017-09-18 | 2018-01-09 | 天津师范大学 | 一种基于判别测度学习的交叉域地基云图分类方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
CN107392237B (zh) * | 2017-07-10 | 2020-07-17 | 天津师范大学 | 一种基于迁移视觉信息的交叉域地基云图分类方法 |
CN108062753B (zh) * | 2017-12-29 | 2020-04-17 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
CN108229589B (zh) * | 2018-02-09 | 2021-10-15 | 天津师范大学 | 一种基于迁移学习的地基云图分类方法 |
-
2018
- 2018-07-20 CN CN201810800430.XA patent/CN108985378B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563452A (zh) * | 2017-09-18 | 2018-01-09 | 天津师范大学 | 一种基于判别测度学习的交叉域地基云图分类方法 |
Non-Patent Citations (1)
Title |
---|
Weihua Chen et al..A Multi-Task Deep Network for Person Re-Identification.《Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence》.2017, * |
Also Published As
Publication number | Publication date |
---|---|
CN108985378A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
CN103955702B (zh) | 基于深度rbf网络的sar图像地物分类方法 | |
CN108229589B (zh) | 一种基于迁移学习的地基云图分类方法 | |
CN110111340A (zh) | 基于多路割的弱监督实例分割方法 | |
CN114067160A (zh) | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 | |
CN108985378B (zh) | 一种基于混合交叉深度网络的域自适应方法 | |
CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
CN109299707A (zh) | 一种基于模糊深度聚类的无监督行人再识别方法 | |
CN110909820A (zh) | 基于自监督学习的图像分类方法及系统 | |
CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
CN110321862B (zh) | 一种基于紧致三元损失的行人再识别方法 | |
CN108345866B (zh) | 一种基于深度特征学习的行人再识别方法 | |
CN109784288B (zh) | 一种基于判别感知融合的行人再识别方法 | |
CN110516723B (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
CN108647682A (zh) | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 | |
CN111967325A (zh) | 一种基于增量优化的无监督跨域行人重识别方法 | |
CN115049841A (zh) | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 | |
CN113177612A (zh) | 一种基于cnn少样本的农业病虫害图像识别方法 | |
CN114972904B (zh) | 一种基于对抗三元组损失的零样本知识蒸馏方法及系统 | |
CN114742224A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
CN111695531A (zh) | 一种基于异构卷积网络的跨域行人再识别方法 | |
CN107729827A (zh) | 一种人脸特征点定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |