CN110569761B - 一种基于对抗学习的手绘草图检索遥感图像的方法 - Google Patents
一种基于对抗学习的手绘草图检索遥感图像的方法 Download PDFInfo
- Publication number
- CN110569761B CN110569761B CN201910796308.4A CN201910796308A CN110569761B CN 110569761 B CN110569761 B CN 110569761B CN 201910796308 A CN201910796308 A CN 201910796308A CN 110569761 B CN110569761 B CN 110569761B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- sketch
- hand
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
Abstract
本发明提供一种基于对抗学习的手绘草图检索遥感图像的方法,该方法利用了深度卷积神经网络提取手绘草图和遥感图像的高层语义特征,并利用对抗学习使深度卷积神经网络能够提取手绘草图域和遥感图像域之间不变的特征。网络的输入为手绘草图和遥感图像对,特征提取器分别提取手绘草图和遥感图像的特征;然后将提取到的特征分别作为域鉴别器和分类器的输入,根据提取到的特征判别输入的域及类别。本发明采用的基于对抗学习的手绘草图检索遥感图像方法,能够有效提取手绘草图和遥感图像的高层语义信息,弥合两个域之间的差距,得到更高的检索精度。
Description
技术领域
本发明属于图像处理技术领域,特别涉及基于草图的遥感图像检索方法。
背景技术
随着遥感图像数量的急剧增长,从大规模数据库中智能检索遥感图像成为大量研究工作的重点。传统的基于内容的图像检索技术是利用输入的查询图像在数据库中查找具有相似内容的遥感图像。然而感兴趣目标经常只存在于用户的脑海中,没有查询图像可用,例如感兴趣目标非常少见或者用户不认识感兴趣目标。与利用文字来描述感兴趣目标的方式相比,手绘草图是一种更直观、更简洁、更生动的描述方式,如图1所示。并且由于触屏设备的蓬勃发展,获取手绘草图十分便捷。目前基于草图的自然图像检索已经有了大量的工作,也取得了不错的成果。但基于草图的遥感图像检索还甚少有人研究。由于遥感图像几何结构和空间格局的高复杂性,在自然图像上发展起来的检索方法在遥感图像上不能取得满意的结果。总的来说,基于草图的遥感图像检索还尚未解决,存在以下两点挑战:(1)草图和遥感图像本质上属于两个完全不同的域,前者由稀疏的黑色线条和白色背景构成,后者由稠密的彩色像素点构成,遥感图像复杂的特性进一步扩大了两个域之间的差距;(2)现有的方法往往只将草图与训练样本中包含的类别相关联,对未知类别不具有泛化性。而现实场景中,草图往往是用来形容未知目标,模型只能利用从已知类别学习到的常识和度量准则来计算手绘草图和遥感图像之间的相似度。一种弥合草图和遥感图像之间的差距的泛化性模型,目前还未有人实现过。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于对抗学习的手绘草图检索遥感图像的方法,该方法能够更好地弥合草图和遥感图像之间的差距,对于未知目标具有更好的泛化性,以更高的精度实现基于草图的遥感图像检索。
本发明提供的基于对抗学习的手绘草图检索遥感图像方法,包括以下具体步骤:
步骤1,将手绘草图、遥感图像分别输入到两路完全相同、参数共享的特征提取器G(·)中,提取手绘草图和遥感图像的特征,即:将手绘草图s输入特征提取器得到手绘草图的特征将遥感图像r输入特征提取器得到遥感图像的特征其中θG为表示特征提取器的参数;
步骤2,将提取的手绘草图特征Fs和遥感图像特征Fr分别输入到鉴别器D(·)中,根据提取的特征判别网络的输入是手绘草图还是遥感图像,即:将手绘草图特征Fs输入鉴别器得到将遥感图像特征Fr输入鉴别器得到其中θD为表示鉴别器的参数;
步骤6,将提取的手绘草图特征Fs和遥感图像特征Fr分别输入到分类器C(·)中,根据提取的特征判别网络的输入属于哪一类别,即:将手绘草图特征Fs输入分类器得到将遥感图像特征Fr输入分类器得到其中θC为表示分类器的参数;
步骤7,计算损失函数Nc表示语义类别的总数目,该损失函数包含三项:第一项是对比损失函数,其中t表示手绘草图和遥感图像是否属于同一类别,若是,则t=1,否则t=0,m为设定的阈值;第二项为交叉熵损失函数,其中若j={cs,cr},则否则第三项表示更新参数后的鉴别器无法根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像,即弥合了草图和遥感图像之间的差距;α,β,γ分别是三项损失函数的权重;
步骤9,通过步骤8训练得到的特征提取器,将手绘草图映射为特征G(s),将遥感图像映射为特征G(r),分别计算手绘草图s与数据库中每幅遥感图像的欧式距离,即Dist(s,rj)=||G(s)-G(rj)||2,其中M表示数据库中遥感图像的总数目;
步骤10,对Dist(s,rj)进行从小到大排序,值越小,表示相似度越高,其对应的遥感图像即为检索结果。
进一步的,步骤1中所述特征提取器G(·)选择的是ResNet-50,参数的初始值使用Pytorch官网里提供的ResNet-50预训练模型。
进一步的,步骤2中所述鉴别器包括两个全连接层及一个Sigmoid函数,相当于一个二分类器,根据所得特征判别网络输入为手绘草图还是遥感图像。
进一步的,步骤6中所述分类器包括一个全连接层及一个Softmaxloss层,根据所得特征判别网络输入属于哪一类别。
与现有技术相比,本发明具有如下优点和有益效果:
本发明利用深度卷积神经网络提取手绘草图和遥感图像的高层特征,利用孪生学习和分类器使特征提取器的泛化性更强,提取的特征区分性更强,利用对抗学习使特征提取器获得域不变的特征。通过对比实验表明:本发明采用的基于对抗学习的手绘草图检索遥感图像方法,能够有效提取手绘草图和遥感图像的高层语义信息,弥合两个域之间的差距,得到更高的检索精度。
附图说明
图1为本发明实施例遥感图像检索示意图。
图2为本发明所用的深度卷积神经网络模型图。
图3为本发明手绘草图和遥感图像对部分图例。
图4为本发明实施例中已知类别目标的检索结果。
图5为本发明实施例中未知类别目标的检索结果。
图6为本发明实施例在大尺度遥感图像中检索已知类别目标的实验结果。
图7为本发明实施例在大尺度遥感图像中检索未知类别目标的实验结果。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图对本发明进一步详细说明。
本发明提供了一种基于对抗学习的手绘草图检索遥感图像的方法,如图1所示,具体包括如下步骤:
步骤1:如图2所示,将手绘草图s和遥感图像r分别缩放到224像素×224像素,再随机水平翻转,输入到两路结构完全相同、参数共享的特征提取器G(·)中,分别得到手绘草图的特征和遥感图像的特征其中特征提取器选择的是ResNet-50(ResidualNeural Network of50 layers),参数的初始值使用Pytorch官网里提供的ResNet-50预训练模型。θG为特征提取器的参数。
步骤2:将手绘草图特征Fs和遥感图像特征Fr输入到鉴别器D(·)中,得到输出和鉴别器包括两个全连接层及一个Sigmoid函数,相当于一个二分类器,根据所得特征判别网络输入为手绘草图还是遥感图像。θD为鉴别器的参数。
步骤4:产生手绘草图和遥感图像对(s,r),通过反向传播方法来训练鉴别器,采用Adam优化器,学习率设置为0.0002,得到步骤2中的参数本实施例中的手绘草图和遥感图像对(s,r)来自数据集Rsketch,该数据集由发明人自己收集,包含20类目标,每类目标包含200张遥感图像和45张手绘草图。其中遥感图像是从公开数据集PatternNet、WHU-RS19、AID和UCM中精心挑选的,其中感兴趣目标占整幅图像的大部分;手绘草图是志愿者画的。数据集的部分样本如图3所示,手绘草图和遥感图像对即一幅手绘草图和一幅遥感图像。
步骤7:由步骤1得到的Fs和Fr,步骤5得到的和步骤6得到的和计算损失函数Nc表示语义类别的总数目,该损失函数包含三项:第一项是对比损失函数,其中t表示手绘草图和遥感图像是否属于同一类别,若是,则t=1,否则t=0,m为设定的阈值,该项表示属于同一类的手绘草图和遥感图像在特征空间的欧氏距离较小,属于不同类别的手绘草图和遥感图像在特征空间的欧式距离较大;第二项为交叉熵损失函数,其中 若j={cs,cr},则否则第三项表示更新参数后的鉴别器无法根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像,即弥合了草图和遥感图像之间的差距;α,β,γ分别是三项损失函数的权重;
步骤9:通过步骤8训练得到的特征提取器,分别将手绘草图s与数据库中的每幅遥感图像映射到特征空间中,其中M表示数据库中遥感图像的总数目,并计算手绘草图与数据库中的每幅遥感图像在特征空间中的欧式距离,即Dist(s,rj)=||G(s)-G(rj)||2。
步骤10:对Dist(s,rj)进行从小到大排序,Dist(s,rj)值越小,表示其对应的遥感图像与手绘草图相似度越高,在返回的检索结果中排在越前面。
在实验过程中,首先选用RSketch数据集进行精度测试。RSketch数据集是专为基于草图的遥感图像检索任务收集的数据集,包含20类目标,每类目标包含200张遥感图像和45张手绘草图。对于每一类目标,随机选取100张遥感图像和40张手绘草图训练模型,剩余的数据用于测试基于草图的遥感图像检索精度。实验结果如图4和图5所示,包括对已知类别目标的检索和未知类别的检索。对检索精度的测量,本方法采用的分析指标为:平均绝对误差(MAE)和返回的前K个检索结果的平均精度(topK,K=10,50,100)。实验结果如表1所示。由检索精度的定量分析和定性分析可知,本方法对于已知类别的目标和未知类别的目标均有较好的检索精度。
表1基于草图的遥感图像检索精度分析
实验过程中,利用手绘草图检索大尺度遥感图像中的感兴趣目标,实验结果如图6和图7所示,包括对已知类别目标的检索和未知类别的检索。图6为在大尺度遥感图像中检索已知类别目标的实验结果,大尺度遥感图像中包含不止一个感兴趣目标。图7为在大尺度遥感图像中检索未知类别目标的实验结果,大尺度遥感图像中仅包含一个感兴趣目标。由检索精度分析可知,本方法能够有效地在大尺度遥感图像中检索已知类别目标和未知类别目标。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.一种基于对抗学习的手绘草图检索遥感图像的方法,其特征在于,包括以下步骤:
步骤1,将手绘草图、遥感图像分别输入到两路完全相同、参数共享的特征提取器G(·)中,提取手绘草图和遥感图像的特征,即:将手绘草图s输入特征提取器得到手绘草图的特征将遥感图像r输入特征提取器得到遥感图像的特征其中θG为表示特征提取器的参数;
步骤2,将提取的手绘草图特征Fs和遥感图像特征Fr分别输入到鉴别器D(·)中,根据提取的特征判别网络的输入是手绘草图还是遥感图像,即:将手绘草图特征Fs输入鉴别器得到将遥感图像特征Fr输入鉴别器得到其中θD为表示鉴别器的参数;
步骤6,将提取的手绘草图特征Fs和遥感图像特征Fr分别输入到分类器C(·)中,根据提取的特征判别网络的输入属于哪一类别,即:将手绘草图特征Fs输入分类器得到将遥感图像特征Fr输入分类器得到其中θC为表示分类器的参数;
步骤7,计算损失函数Nc表示语义类别的总数目,该损失函数包含三项:第一项是对比损失函数,其中t表示手绘草图和遥感图像是否属于同一类别,若是,则t=1,否则t=0,m为设定的阈值;第二项为交叉熵损失函数,其中 表示的第x个元素, 表示的第y个元素;若u=cs,则否则若v=cr,则否则第三项表示更新参数后的鉴别器无法根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像,即弥合了草图和遥感图像之间的差距;α,β,γ分别是三项损失函数的权重;
步骤9,通过步骤8训练得到的特征提取器,将手绘草图映射为特征G(s),将遥感图像映射为特征G(r),分别计算手绘草图s与数据库中每幅遥感图像的欧式距离,即Dist(s,rk)=||G(s)-G(rk)||2,其中M表示数据库中遥感图像的总数目;
步骤10,对Dist(s,rk)进行从小到大排序,值越小,表示相似度越高,其对应的遥感图像即为检索结果。
2.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法,其特征在于:步骤1中所述特征提取器G(·)选择的是ResNet-50,参数的初始值使用Pytorch官网里提供的ResNet-50预训练模型。
3.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法,其特征在于:步骤2中所述鉴别器包括两个全连接层及一个Sigmoid函数,相当于一个二分类器,根据所得特征判别网络输入为手绘草图还是遥感图像。
4.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法,其特征在于:步骤6中所述分类器包括一个全连接层及一个Softmaxloss层,根据所得特征判别网络输入属于哪一类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910796308.4A CN110569761B (zh) | 2019-08-27 | 2019-08-27 | 一种基于对抗学习的手绘草图检索遥感图像的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910796308.4A CN110569761B (zh) | 2019-08-27 | 2019-08-27 | 一种基于对抗学习的手绘草图检索遥感图像的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110569761A CN110569761A (zh) | 2019-12-13 |
CN110569761B true CN110569761B (zh) | 2021-04-02 |
Family
ID=68776268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910796308.4A Active CN110569761B (zh) | 2019-08-27 | 2019-08-27 | 一种基于对抗学习的手绘草图检索遥感图像的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110569761B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673635B (zh) * | 2020-05-15 | 2023-09-01 | 复旦大学 | 一种基于自监督学习任务的手绘草图理解深度学习方法 |
CN111862253B (zh) * | 2020-07-14 | 2023-09-15 | 华中师范大学 | 一种基于深度卷积生成对抗网络的草图着色方法及系统 |
CN111898663B (zh) * | 2020-07-20 | 2022-05-13 | 武汉大学 | 一种基于迁移学习的跨模态遥感图像的匹配方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
CN107220277A (zh) * | 2017-04-14 | 2017-09-29 | 西北大学 | 基于手绘草图的图像检索算法 |
CN109960738A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于深度对抗哈希学习的大规模遥感影像内容检索方法 |
CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592787B2 (en) * | 2017-11-08 | 2020-03-17 | Adobe Inc. | Font recognition using adversarial neural network training |
-
2019
- 2019-08-27 CN CN201910796308.4A patent/CN110569761B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
CN107220277A (zh) * | 2017-04-14 | 2017-09-29 | 西北大学 | 基于手绘草图的图像检索算法 |
CN109960738A (zh) * | 2019-03-15 | 2019-07-02 | 西安电子科技大学 | 基于深度对抗哈希学习的大规模遥感影像内容检索方法 |
CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
Non-Patent Citations (4)
Title |
---|
Retrieving aerial scene images with learned deep image-sketch features;T.-B. Jiang,et.al;《Jounal or Computer Science and Technology》;20170730;全文 * |
Semantically tied paired cycle consistency for zero-shot sketch-based image retrieval;Dutta, A., et.al;《In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20190620;全文 * |
Sketch-based image retrieval using generative adversarial networks;Guo, L.,et.al;《In Proceedings of the 25th ACM international conference on Multimedia》;20171031;全文 * |
基于深度学习的手绘草图图像检索;佘鹏;《中国优秀硕士学位论文全文数据集 信息科技辑》;20190115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110569761A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
CN109670528B (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
CN109241317B (zh) | 基于深度学习网络中度量损失的行人哈希检索方法 | |
CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
CN108595636A (zh) | 基于深度跨模态相关性学习的手绘草图的图像检索方法 | |
CN110569761B (zh) | 一种基于对抗学习的手绘草图检索遥感图像的方法 | |
CN104537252B (zh) | 用户状态单分类模型训练方法和装置 | |
CN107766933A (zh) | 一种解释卷积神经网络的可视化方法 | |
CN108052966A (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
WO2022160772A1 (zh) | 一种基于视角引导多重对抗注意力的行人重识别方法 | |
WO2024087639A1 (zh) | 基于内容理解的遥感影像推荐方法 | |
CN112733602B (zh) | 关系引导的行人属性识别方法 | |
CN114756686A (zh) | 一种基于知识图谱的知识推理和故障诊断方法 | |
CN113628059A (zh) | 一种基于多层图注意力网络的关联用户识别方法及装置 | |
CN108052680A (zh) | 基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法 | |
CN112182275A (zh) | 一种基于多维度特征融合的商标近似检索系统和方法 | |
Lin et al. | Rethinking crowdsourcing annotation: partial annotation with salient labels for multilabel aerial image classification | |
Akhlaghi et al. | Farsi handwritten phone number recognition using deep learning | |
CN115687760A (zh) | 一种基于图神经网络的用户学习兴趣标签预测方法 | |
CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
CN112818982B (zh) | 基于深度特征自相关性激活的农业害虫图像检测方法 | |
CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 | |
CN110941994B (zh) | 一种基于元类基学习器的行人重识别集成方法 | |
Yin et al. | Animal image retrieval algorithms based on deep neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |