CN106934455B - 基于cnn的遥感影像光学适配结构选取方法及系统 - Google Patents
基于cnn的遥感影像光学适配结构选取方法及系统 Download PDFInfo
- Publication number
- CN106934455B CN106934455B CN201710078795.1A CN201710078795A CN106934455B CN 106934455 B CN106934455 B CN 106934455B CN 201710078795 A CN201710078795 A CN 201710078795A CN 106934455 B CN106934455 B CN 106934455B
- Authority
- CN
- China
- Prior art keywords
- adapter structure
- patch
- optics adapter
- remote sensing
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于CNN的遥感影像光学适配结构选取方法及系统。其中,方法的实现包括:学习阶段,利用从遥感图像中选取的目标光学适配结构作为学习样本,设计出一种光学适配结构自动选取CNN模型;选取阶段,将待选取遥感影像切割成若干片元,经CNN分类模型,识别其中的适配结构,并用非极大值抑制滤掉低适配率的重复区域,最后通过基于相关峰的独特性分析(主次峰值比、最高锋锐度),确保识别的光学适配结构在遥感影像中没有重复模式。首次将CNN应用到光学适配结构自动选取上,考虑了光学适配结构的稳定性、独特性,能较好的选出光学适配结构,能适应多个尺度和旋转,具有较强的适应性。
Description
技术领域
本发明属于机器学习、深度学习、匹配模板技术领域,更具体地,涉及一种基于CNN的遥感影像光学适配结构选取方法及系统。
背景技术
光学适配结构选取技术是飞行器导航的关键技术,也是地面信息保障的核心技术之一,其好坏直接影响着匹配的性能和精度。如何利用卫星影像选取光学适配结构是当今精确匹配制导领域的工作重点和难点。然而,不同于普通的目标检测,由于光学适配结构形态千差万别、没有一个稳定结构,很难用一个规则去描述并量化的特点,使得光学适配结构的选取非常困难,选取效果普遍不佳。
迄今为止,光学适配结构的选择尚无成熟方案,国内外学者的方法中所提出的特征通常不能很好表达光学适配结构,并且不能较好的综合多个特征之间的相关性和权重,导致选取结果适应性差,抗干扰性不强。而且这些方法,只能适应某个特定的遥感影像场景,而在不同的场景上选出的匹配区并不能达到匹配要求,鲁棒性还有待提高,对于复杂遥感影像场景,其选取结果不太理想。因此目前大部分任务是通过人工完成的,但是在大量的遥感影像数据中,人工选择不仅工作量大,不仅浪费时间、耗费人力,而且由于受到操作人员的素质、知识水平、经验等因素的影响,人工所选光学适配结构的适配性能有时很难满足实际应用的要求。
卷积神经网络(Convolutional Neural Networks,CNN)作为深度学习里非常成功的一个模型,已经成为当前语音分析和图像识别领域的研究热点,它颠覆了语音、图像、自然语言、在线广告等众多领域的算法设计思路,并取得了突破性的进步和显著的成功,其效果远远超过先前相关技术。CNN对于图像平移、比例缩放、旋转及其他形式的变形都具有一定程度的不变性,现已成为众多科学领域的研究热点之一。
目前为止,国内外还没有人将CNN应用到遥感影像的光学适配结构选取的实际运用中。若能将二者结合,实现基于CNN的光学适配结构选取,填补光学适配结构选取在深度学习这一领域的空白,实现光学适配结构的自动选取,将具有重要的工程意义,并将产生深远的影响。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于CNN的遥感影像光学适配结构选取方法及系统,首次将CNN应用到光学适配结构自动选取上,考虑了光学适配结构的稳定性、独特性,能较好的选出光学适配结构,能适应多个尺度和旋转,具有较强的适应性。由此解决现有技术中光学适配结构的选取困难,选取效果普遍不佳的技术难题。
为实现上述目的,按照本发明的一个方面,提供了一种基于CNN的遥感影像光学适配结构选取方法,包括:
(1)获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从所述遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
(2)设计光学适配结构的卷积神经网络CNN分类模型;
(3)利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
(4)将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
(5)将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
(6)对所述多个光学适配结构Patch,根据所述每个光学适配结构Patch的适配率,进行非极大值抑制,以剔除重复度高、适配率低的光学适配结构Patch;
(7)对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
(8)将经过独特性分析后的光学适配结构Patch在所述待选取遥感影像场景图上的坐标标记在所述待选取遥感影像场景图上,即得到所述待选取遥感影像场景图的光学适配结构选取的结果图。
优选地,所述步骤(1)具体包括:
(1.1)获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集;
(1.2)将所述遥感影像场景数据集中的自然场景子图、人造单一场景子图、不显著性建筑子图、显著性人造建造物子图进行归一化处理;
(1.3)将归一化后的自然场景子图、人造单一场景子图、不显著性建筑子图制作为光学非适配结构负样本,并标记-1标签,将归一化后的显著性人造建筑子图作为光学适配结构正样本,并标记为+1标签,由所述负样本与所述正样本构成训练样本集。
优选地,所述步骤(5)具体包括:
将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,将识别出的标签为+1的Patch作为光学适配结构Patch,并得到每个光学适配结构Patch的适配率。
优选地,所述步骤(6)具体包括:
(6.1)将识别的标签为+1的光学适配结构Patch,按照各光学适配结构Patch的适配率从低到高进行排序;
(6.2)保留适配率最高的光学适配结构Patch;
(6.3)计算适配率最高的光学适配结构Patch与其余光学适配结构Patch的重叠面积;
(6.4)保留重叠面积小于第三预设阈值的光学适配结构Patch,将大于所述第三预设阈值的光学适配结构Patch滤掉;
(6.3)判断剩余的光学适配结构Patch数量是否大于第四预设阈值,若大于,则返回执行步骤(6.2),否则结束流程。
优选地,所述步骤(7)具体包括:
(7.1)对经过非极大值抑制后剩余的光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM;
(7.2)找出所述相关面RM上的极值点,设相关面图像为I,若相关面图像I中的像素点(i,j)的像素值满足:
I(i,j)>I(i,j+1)&&I(i,j)>I(i,j-1)&&I(i,j)>I(i+1,j)&&I(i,j)>I(i-1,j),则点I(i,j)为极值点,找出极值点中的最大值、次大值,即为所述相关面RM的最高峰和次高峰,设Vmax表示所述相关面RM的最高峰峰值,Vsub表示所述相关面RM的次高峰峰值,则主次峰值比为:
(7.3)由公式:计算RM的最高锋锐度,其中,Vmax_near=max{V0,V45,V90,V135}为0度、45度、90度、135度四个方向直径范围柱体内的高度均值的最大值;
(7.4)将所述主次峰值比SMR大于所述第一预设阈值以及所述最高锋锐度SM大于所述第二预设阈值的光学适配结构Patch输出。
优选地,所述最高锋锐度表示:在相关面区域,以相关面的最高峰峰值点为中心,d为直径,分别取0度、45度、90度、135度直径范围柱体内的所有高度的均值,相关面的最高峰峰值与四个邻域均值的最大值的比值即为最高锋锐度。
按照本发明的另一方面,提供了一种基于CNN的遥感影像光学适配结构选取系统,包括:
样本集获取模块,用于获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从所述遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
CNN设计模块,用于设计光学适配结构的卷积神经网络CNN分类模型;
目标CNN获取模块,用于利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
Patch切割模块,用于将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
分类识别模块,用于将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
非极大值抑制模块,用于对所述多个光学适配结构Patch,根据所述每个光学适配结构Patch的适配率,进行非极大值抑制,以剔除重复度高、适配率低的光学适配结构Patch;
独特性分析模块,用于对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
光学适配结构选取模块,用于将经过独特性分析后的光学适配结构Patch在所述待选取遥感影像场景图上的坐标标记在所述待选取遥感影像场景图上,即得到所述待选取遥感影像场景图的光学适配结构选取的结果图。
优选地,所述样本集获取模块包括:
遥感影像场景数据集制作模块,用于获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集;
归一化模块,用于将所述遥感影像场景数据集中的自然场景子图、人造单一场景子图、不显著性建筑子图、显著性人造建造物子图进行归一化处理;
正负样本获取模块,用于将归一化后的自然场景子图、人造单一场景子图、不显著性建筑子图制作为光学非适配结构负样本,并标记-1标签,将归一化后的显著性人造建筑子图作为光学适配结构正样本,并标记为+1标签,由所述负样本与所述正样本构成训练样本集。
优选地,所述分类识别模块,具体用于将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,将识别出的标签为+1的Patch作为光学适配结构Patch,并得到每个光学适配结构Patch的适配率。
优选地,所述非极大值抑制模块包括:
排序模块,用于将识别的标签为+1的光学适配结构Patch,按照各光学适配结构Patch的适配率从低到高进行排序;
保留模块,用于保留适配率最高的光学适配结构Patch;
计算模块,用于计算适配率最高的光学适配结构Patch与其余光学适配结构Patch的重叠面积;
过滤模块,用于保留重叠面积小于第三预设阈值的光学适配结构Patch,将大于所述第三预设阈值的光学适配结构Patch滤掉;
判断模块,用于判断剩余的光学适配结构Patch数量是否大于第四预设阈值,若大于,则返回执行所述保留模块,直到剩余的光学适配结构Patch数量不大于第四预设阈值。
优选地,所述独特性分析模块包括:
相关面获取模块,用于对经过非极大值抑制后剩余的光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM;
主次峰值计算模块,用于找出所述相关面RM上的极值点,设相关面图像为I,若相关面图像I中的像素点(i,j)的像素值满足:
I(i,j)>I(i,j+1)&&I(i,j)>I(i,j-1)&&I(i,j)>I(i+1,j)&&I(i,j)>I(i-1,j),则点I(i,j)为极值点,找出极值点中的最大值、次大值,即为所述相关面RM的最高峰和次高峰,设Vmax表示所述相关面RM的最高峰峰值,Vsub表示所述相关面RM的次高峰峰值,则主次峰值比为:
最高锋锐度计算模块,用于由公式:计算RM的最高锋锐度,其中,Vmax_near=max{V0,V45,V90,V135}为0度、45度、90度、135度四个方向直径范围柱体内的高度均值的最大值;
目标确定模块,用于将所述主次峰值比SMR大于所述第一预设阈值以及所述最高锋锐度SM大于所述第二预设阈值的光学适配结构Patch输出。
优选地,所述最高锋锐度表示:在相关面区域,以相关面的最高峰峰值点为中心,d为直径,分别取0度、45度、90度、135度直径范围柱体内的所有高度的均值,相关面的最高峰峰值与四个邻域均值的最大值的比值即为最高锋锐度。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要有以下的技术优点:在现有技术中,关于遥感影像光学适配结构选取的问题尚未形成成熟的解决方案,大部分任务是通过人工完成的,通常难以进行科学的分析,人工估计所选光学适配结构的匹配性能,很难满足实际应用的需求。本发明创新性的首次将CNN应用到光学适配结构自动选取上,在Caffe(Convolution Architecture For Feature Embedding)深度学习开源框架的基础上,设计了遥感影像光学适配结构选取的CNN模型,其能自动有效地学习出光学适配结构的特征,并预测出每个光学适配结构的适配性能,然后引入非极大值抑制技术对CNN模型的选取结果进行处理以去除重复,最后结合基于相关峰的独特性分析方法,使得结果更加精确,并具有较强的鲁棒性。该方法相比于人工主观评估选取,提高了稳定性,改善了选取的光学适配结构的质量;相比于其他选取方法抗干扰性更强,鲁棒性更好。
附图说明
图1为本发明实施例公开的一种基于CNN的遥感影像光学适配结构选取方法的总体流程示意图;
图2为本发明实施例中部分光学适配结构与非适配结构图像;
图3为本发明实施例中遥感影像场景图对比度变换前后的对比图;
图4为本发明实施例中一种可选的待选取遥感影像场景图;
图5为本发明实施例中切割后的部分Patch图;
图6为本发明实施例中经过CNN模型光学适配结构初选取后的结果图;
图7为本发明实施例中经过非极大值抑制处理后的结果图;
图8为本发明实施例中经过独特性分析后的结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,为本发明实施例公开的一种基于CNN的遥感影像光学适配结构选取方法的总体流程示意图,在图1所示的方法中,具体包括以下步骤:
学习阶段:
(1)获取若干个目标正下视遥感影像场景图,并对上述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
其中,目标正下视遥感影像场景图可以是独特性强、匹配性能好、特征明显的正下视遥感影像场景图。
其中,对上述若干个目标正下视遥感影像场景图进行对比度变换处理,包括:
将精选的目标正下视遥感影像场景图预处理统计灰度值,考虑不同时相条件,对遥感影像场景图进行对比度变换,再将其归一化并拉伸至0-255。具体算法如下:
1、将选取的遥感影像场景图对比度变换,设图像灰度值为I(i,j),对比度变换后为I(i,j)γ,优选地,γ取0.5~1.5;
2、将变换后的图像灰度值归一化后拉伸至0-255,即
其中Imin为对比度变换后的最小值,Imax为对比度变换后的最大值。如图3所示为本发明实施例中遥感影像场景图对比度变换前后的对比图,其中,图3(a)表示原始遥感影像场景图,图3(b)表示对比度增强图(如γ=1.4),图3(c)表示原始遥感影像场景图,图3(d)表示对比度减弱图(如γ=0.6)。
其中,步骤(1)具体包括以下操作:
(1.1)获取若干个目标正下视遥感影像场景图,对上述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集;
(1.2)将上述遥感影像场景数据集中的自然场景子图、人造单一场景子图、不显著性建筑子图、显著性人造建造物子图进行归一化成s*s大小的子图,其中,s为预设的值;
(1.3)将归一化后的自然场景子图、人造单一场景子图、不显著性建筑子图制作为光学非适配结构负样本,并标记-1标签,将归一化后的显著性人造建筑子图作为光学适配结构正样本,并标记为+1标签,由负样本与正样本构成训练样本集。可以参照图2所示为本发明实施例中部分光学适配结构与非适配结构图像,其中,图2(a)表示显著性人造建筑子图-适配区,图2(b)表示不显著性建筑子图-非适配区,图2(c)表示自然场景子图-非适配区,图2(d)表示人造单一场景子图-非适配区。
也就是说,道路交叉口、显著建筑等可以作为光学适配结构正样本、非适配建筑、建筑背景、自然背景等可以作为非适配结构负样本。
其中,在步骤(1)中有效地利用了实际图像的灰度信息,针对基准图光学适配结构在不同时相条件下的差异性,设计了一种训练样本集生成方法,有效地提高了光学适配结构选取的适应性。
(2)设计光学适配结构的卷积神经网络CNN分类模型;
其中,CNN模型共有8层:5C-2S-7C-2S-5C-2S-NN,其中n(5、2、7等)表示卷积层或池化层核尺寸n*n,C、S分别表示卷积层和池化层,NN表示两个全连接层,设输入图像尺寸大小为64*64,则卷积层结构参数可以表示为如下表1所示:
表1
层名 | 类型名 | 特征图数目 | 特征图尺寸 | 核尺寸 |
I | 输入 | 1 | 64*64 | - |
C1 | 卷积层1 | 32 | 60*60 | 5*5 |
S1 | 池化层1 | 32 | 30*30 | 2*2 |
C2 | 卷积层2 | 64 | 24*24 | 7*7 |
S2 | 池化层2 | 64 | 12*12 | 2*2 |
C3 | 卷积层3 | 128 | 8*8 | 5*5 |
S3 | 池化层3 | 128 | 4*4 | 2*2 |
(3)利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
其中,在Caffe深度学习开源框架的基础上,设计了遥感影像光学适配结构选取的CNN模型网络结构参数。之后,用步骤(1)中的训练样本集及其对应的标签,训练CNN模型,训练完成后,将得到各层参数及层间权重参数确定的CNN模型,即目标CNN分类模型。
选取阶段:
(4)将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
其中,步骤(4)具体包括:将待选取的遥感影像场景图按预设步长进行切割,得到一张张固定大小的像素块Patch,并记录每个Patch在待选取的遥感影像场景图上的坐标、大小,并将所有patch归一化到s*s大小,如图4所示为本发明实施例中一种可选的待选取遥感影像场景图,如图5所示为本发明实施例中切割后的部分Patch图。
(5)将上述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
其中,步骤(5)具体包括:将上述若干固定大小的像素块Patch输入到目标CNN分类模型中进行分类,将识别出的标签为+1的Patch作为光学适配结构Patch,并得到每个光学适配结构Patch的适配率,如图6所示为本发明实施例中经过CNN模型光学适配结构初选取后的结果图。
(6)对上述多个光学适配结构Patch,根据每个光学适配结构Patch的适配率,进行非极大值抑制,以剔除重复度高、适配率低的光学适配结构Patch;
在遥感影像光学适配结构选取中,虽然好几个光学适配结构都选取到同一个显著性建筑或道路交叉口,但只需找到最能体现该显著性建筑或道路交叉口的光学适配结构,而不需要多余的光学适配结构。所谓非极大值抑制,就是把非极大值(适配率)滤掉,具体包括以下操作:
(6.1)将识别的标签为+1的光学适配结构Patch,按照各光学适配结构Patch的适配率从低到高进行排序;
(6.2)保留适配率最高的光学适配结构Patch;
(6.3)计算适配率最高的光学适配结构Patch与其余光学适配结构Patch的重叠面积;
(6.4)保留重叠面积小于第三预设阈值的光学适配结构Patch,将大于第三预设阈值的光学适配结构Patch滤掉;
(6.3)判断剩余的光学适配结构Patch数量是否大于第四预设阈值,若大于,则返回执行步骤(6.2),否则结束流程。
如图7所示为本发明实施例中经过非极大值抑制处理后的结果图。
其中,步骤(6)中有效地利用了CNN模型输出的每个Patch的适配率,首次将非极大值抑制方法运用在光学适配结构选取方法上,剔除了重叠区域内低适配率的多余光学适配结构Patch,有效地提高了光学适配结构自动选取的准确性。
(7)对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
其中,对每一个经过非极大值抑制处理后的光学适配结构Patch分别进行独特性分析,具体步骤如下:
所述步骤(7)具体包括:
(7.1)对经过非极大值抑制后剩余的光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM;
(7.2)计算RM的主次峰值比SMR;
通过相关面RM,找出相关面RM上的极值点,设相关面图像为I,若相关面图像I中的像素点(i,j)的像素值满足:I(i,j)>I(i,j+1)&&I(i,j)>I(i,j-1)&&I(i,j)>I(i+1,j)&&I(i,j)>I(i-1,j),则点I(i,j)为极值点,找出极值点中的最大值、次大值,即为相关面RM的最高峰和次高峰,设Vmax表示相关面RM的最高峰峰值,Vsub表示相关面RM的次高峰峰值,则主次峰值比为:
(7.3)计算RM的最高锋锐度SM;
本发明提出了一种新的最高锋锐度定义:在相关面区域,以最高峰值点为中心,d为直径,其中,d为预设值,分别取0度、45度、90度、135度直径范围柱体内的所有高度均值,最高峰值与四个邻域均值的最大值的比值即为最高锋锐度SM。具体计算公式如下:
Vmax_near=max{V0,V45,V90,V135}
其中,Vmax_near为四个方向直径范围柱体内的高度均值的最大值,Vmax为最高峰峰值。
(7.4)将主次峰值比SMR大于第一预设阈值以及最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出。如图8所示为本发明实施例中经过独特性分析后的结果图。
其中,步骤(7)中有效地利用遥感影像中光学适配结构的独特性,设计了一种基于相关峰的独特性分析方法,有效区分没有重复模式的道路交叉口和具有多个重复的笔直道路,有效地提高了光学适配结构自动选取的稳定性。
其中,“最高锋锐度”的定义能有效区分“点型”的相关峰和“长条形”的相关峰,有效地提高了光学适配结构自动选取的稳定性。
(8)将经过独特性分析后的光学适配结构Patch在待选取遥感影像场景图上的坐标标记在待选取遥感影像场景图上,即得到待选取遥感影像场景图的光学适配结构选取的结果图。
在本发明的一个实施例中,公开了一种基于CNN的遥感影像光学适配结构选取系统,其中,该系统包括:
样本集获取模块,用于获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从所述遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
CNN设计模块,用于设计光学适配结构的卷积神经网络CNN分类模型;
目标CNN获取模块,用于利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
Patch切割模块,用于将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
分类识别模块,用于将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
非极大值抑制模块,用于对所述多个光学适配结构Patch,根据所述每个光学适配结构Patch的适配率,进行非极大值抑制,以剔除重复度高、适配率低的光学适配结构Patch;
独特性分析模块,用于对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
光学适配结构选取模块,用于将经过独特性分析后的光学适配结构Patch在所述待选取遥感影像场景图上的坐标标记在所述待选取遥感影像场景图上,即得到所述待选取遥感影像场景图的光学适配结构选取的结果图。
其中,各模块的具体实施方式可以参考方法实施例中的描述,本发明实施例将不做复述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于CNN的遥感影像光学适配结构选取方法,其特征在于,包括:
(1)获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从所述遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
(2)设计光学适配结构的卷积神经网络CNN分类模型;
(3)利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
(4)将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
(5)将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
(6)对所述多个光学适配结构Patch,根据所述每个光学适配结构Patch的适配率,进行非极大值抑制;
(7)对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
(8)将经过独特性分析后的光学适配结构Patch在所述待选取遥感影像场景图上的坐标标记在所述待选取遥感影像场景图上,即得到所述待选取遥感影像场景图的光学适配结构选取的结果图。
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)具体包括:
(1.1)获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集;
(1.2)将所述遥感影像场景数据集中的自然场景子图、人造单一场景子图、不显著性建筑子图、显著性人造建造物子图进行归一化处理;
(1.3)将归一化后的自然场景子图、人造单一场景子图、不显著性建筑子图制作为光学非适配结构负样本,并标记-1标签,将归一化后的显著性人造建筑子图作为光学适配结构正样本,并标记为+1标签,由所述负样本与所述正样本构成训练样本集。
3.根据权利要求2所述的方法,其特征在于,所述步骤(5)具体包括:
将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,将识别出的标签为+1的Patch作为光学适配结构Patch,并得到每个光学适配结构Patch的适配率。
4.根据权利要求3所述的方法,其特征在于,所述步骤(6)具体包括:
(6.1)将识别的标签为+1的光学适配结构Patch,按照各光学适配结构Patch的适配率从低到高进行排序;
(6.2)保留适配率最高的光学适配结构Patch;
(6.3)计算适配率最高的光学适配结构Patch与其余光学适配结构Patch的重叠面积;
(6.4)保留重叠面积小于第三预设阈值的光学适配结构Patch,将大于所述第三预设阈值的光学适配结构Patch滤掉;
(6.3)判断剩余的光学适配结构Patch数量是否大于第四预设阈值,若大于,则返回执行步骤(6.2),否则结束流程。
5.根据权利要求4所述的方法,其特征在于,所述步骤(7)具体包括:
(7.1)对经过非极大值抑制后剩余的光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM;
(7.2)找出所述相关面RM上的极值点,设相关面图像为I,若相关面图像I中的像素点(i,j)的像素值满足:
I(i,j)>I(i,j+1)&&I(i,j)>I(i,j-1)&&I(i,j)>I(i+1,j)&&I(i,j)>I(i-1,j),则点I(i,j)为极值点,找出极值点中的最大值、次大值,即为所述相关面RM的最高峰和次高峰,设Vmax表示所述相关面RM的最高峰峰值,Vsub表示所述相关面RM的次高峰峰值,则主次峰值比为:
(7.3)由公式:计算RM的最高锋锐度,其中,Vmax_near=max{V0,V45,V90,V135}为0度、45度、90度、135度四个方向直径范围柱体内的高度均值的最大值,其中,所述最高锋锐度表示:在相关面区域,以相关面的最高峰峰值点为中心,d为直径,分别取0度、45度、90度、135度直径范围柱体内的所有高度的均值,相关面的最高峰峰值与四个邻域均值的最大值的比值即为最高锋锐度;
(7.4)将所述主次峰值比SMR大于所述第一预设阈值以及所述最高锋锐度SM大于所述第二预设阈值的光学适配结构Patch输出。
6.一种基于CNN的遥感影像光学适配结构选取系统,其特征在于,包括:
样本集获取模块,用于获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集,从所述遥感影像场景数据集中选取若干个光学适配结构正样本,若干个光学非适配结构负样本,所有正样本和负样本构成学习样本集;
CNN设计模块,用于设计光学适配结构的卷积神经网络CNN分类模型;
目标CNN获取模块,用于利用所述学习样本集训练所述CNN分类模型,确定所述CNN分类模型的参数得到目标CNN分类模型;
Patch切割模块,用于将待选取遥感影像场景图按预设步长进行切割,得到若干固定大小的像素块Patch,并记录每个Patch在所述待选取遥感影像场景图上的坐标;
分类识别模块,用于将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,得到多个光学适配结构Patch,以及每个光学适配结构Patch的适配率;
非极大值抑制模块,用于对所述多个光学适配结构Patch,根据所述每个光学适配结构Patch的适配率,进行非极大值抑制;
独特性分析模块,用于对进行非极大值抑制后剩余的每个光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM、所述相关面RM的主次峰值比SMR及所述相关面RM的最高锋锐度SM,将所述主次峰值比SMR大于第一预设阈值以及所述最高锋锐度SM大于第二预设阈值的光学适配结构Patch输出;
光学适配结构选取模块,用于将经过独特性分析后的光学适配结构Patch在所述待选取遥感影像场景图上的坐标标记在所述待选取遥感影像场景图上,即得到所述待选取遥感影像场景图的光学适配结构选取的结果图。
7.根据权利要求6所述的系统,其特征在于,所述样本集获取模块包括:
遥感影像场景数据集制作模块,用于获取若干个目标正下视遥感影像场景图,对所述若干个目标正下视遥感影像场景图进行对比度变换处理得到遥感影像场景数据集;
归一化模块,用于将所述遥感影像场景数据集中的自然场景子图、人造单一场景子图、不显著性建筑子图、显著性人造建造物子图进行归一化处理;
正负样本获取模块,用于将归一化后的自然场景子图、人造单一场景子图、不显著性建筑子图制作为光学非适配结构负样本,并标记-1标签,将归一化后的显著性人造建筑子图作为光学适配结构正样本,并标记为+1标签,由所述负样本与所述正样本构成训练样本集。
8.根据权利要求7所述的系统,其特征在于,所述分类识别模块,具体用于将所述若干固定大小的像素块Patch输入到所述目标CNN分类模型中进行分类,将识别出的标签为+1的Patch作为光学适配结构Patch,并得到每个光学适配结构Patch的适配率。
9.根据权利要求8所述的系统,其特征在于,所述非极大值抑制模块包括:
排序模块,用于将识别的标签为+1的光学适配结构Patch,按照各光学适配结构Patch的适配率从低到高进行排序;
保留模块,用于保留适配率最高的光学适配结构Patch;
计算模块,用于计算适配率最高的光学适配结构Patch与其余光学适配结构Patch的重叠面积;
过滤模块,用于保留重叠面积小于第三预设阈值的光学适配结构Patch,将大于所述第三预设阈值的光学适配结构Patch滤掉;
判断模块,用于判断剩余的光学适配结构Patch数量是否大于第四预设阈值,若大于,则返回执行所述保留模块,直到剩余的光学适配结构Patch数量不大于第四预设阈值。
10.根据权利要求9所述的系统,其特征在于,所述独特性分析模块包括:
相关面获取模块,用于对经过非极大值抑制后剩余的光学适配结构Patch进行独特性分析,计算各光学适配结构Patch在所述待选取遥感影像场景图的相关面RM;
主次峰值计算模块,用于找出所述相关面RM上的极值点,设相关面图像为I,若相关面图像I中的像素点(i,j)的像素值满足:
I(i,j)>I(i,j+1)&&I(i,j)>I(i,j-1)&&I(i,j)>I(i+1,j)&&I(i,j)>I(i-1,j),则点I(i,j)为极值点,找出极值点中的最大值、次大值,即为所述相关面RM的最高峰和次高峰,设Vmax表示所述相关面RM的最高峰峰值,Vsub表示所述相关面RM的次高峰峰值,则主次峰值比为:
最高锋锐度计算模块,用于由公式:计算RM的最高锋锐度,其中,Vmax_near=max{V0,V45,V90,V135}为0度、45度、90度、135度四个方向直径范围柱体内的高度均值的最大值,其中,所述最高锋锐度表示:在相关面区域,以相关面的最高峰峰值点为中心,d为直径,分别取0度、45度、90度、135度直径范围柱体内的所有高度的均值,相关面的最高峰峰值与四个邻域均值的最大值的比值即为最高锋锐度;
目标确定模块,用于将所述主次峰值比SMR大于所述第一预设阈值以及所述最高锋锐度SM大于所述第二预设阈值的光学适配结构Patch输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710078795.1A CN106934455B (zh) | 2017-02-14 | 2017-02-14 | 基于cnn的遥感影像光学适配结构选取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710078795.1A CN106934455B (zh) | 2017-02-14 | 2017-02-14 | 基于cnn的遥感影像光学适配结构选取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106934455A CN106934455A (zh) | 2017-07-07 |
CN106934455B true CN106934455B (zh) | 2019-09-06 |
Family
ID=59424007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710078795.1A Active CN106934455B (zh) | 2017-02-14 | 2017-02-14 | 基于cnn的遥感影像光学适配结构选取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106934455B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358260B (zh) * | 2017-07-13 | 2020-09-29 | 西安电子科技大学 | 一种基于表面波cnn的多光谱图像分类方法 |
CN107392925B (zh) * | 2017-08-01 | 2020-07-07 | 西安电子科技大学 | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 |
US10628919B2 (en) * | 2017-08-31 | 2020-04-21 | Htc Corporation | Image segmentation method and apparatus |
CN107730488A (zh) * | 2017-09-21 | 2018-02-23 | 滨州学院 | 一种利用无人机低空遥感图像自动检测罂粟种植的方法 |
CN108983412A (zh) * | 2018-07-09 | 2018-12-11 | 北京邮电大学 | 一种无波前检测自适应光学系统及光束相位调整方法 |
CN109031654B (zh) * | 2018-09-11 | 2021-02-12 | 安徽农业大学 | 一种基于卷积神经网络的自适应光学校正方法及系统 |
CN112712500A (zh) * | 2020-12-28 | 2021-04-27 | 同济大学 | 一种基于深度神经网络的遥感图像目标提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164853A (zh) * | 2013-02-06 | 2013-06-19 | 中国人民解放军第二炮兵装备研究院第三研究所 | 成像匹配辅助导航的可匹配性评估方法 |
CN105139028A (zh) * | 2015-08-13 | 2015-12-09 | 西安电子科技大学 | 基于分层稀疏滤波卷积神经网络的sar图像分类方法 |
CN105825207A (zh) * | 2016-04-20 | 2016-08-03 | 北京航空航天大学 | 片段化的高压线探测方法和装置 |
-
2017
- 2017-02-14 CN CN201710078795.1A patent/CN106934455B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164853A (zh) * | 2013-02-06 | 2013-06-19 | 中国人民解放军第二炮兵装备研究院第三研究所 | 成像匹配辅助导航的可匹配性评估方法 |
CN105139028A (zh) * | 2015-08-13 | 2015-12-09 | 西安电子科技大学 | 基于分层稀疏滤波卷积神经网络的sar图像分类方法 |
CN105825207A (zh) * | 2016-04-20 | 2016-08-03 | 北京航空航天大学 | 片段化的高压线探测方法和装置 |
Non-Patent Citations (2)
Title |
---|
SAR 辅助导航中的控制点选择方法研究;陆微微 等;《红外与激光工程》;20100531;第 39 卷;全文 |
层次景象匹配区选取准则;江标初 等;《同济大学学报(自然科学版)》;20070630;第35卷(第6期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN106934455A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106934455B (zh) | 基于cnn的遥感影像光学适配结构选取方法及系统 | |
Zhu et al. | Autoassign: Differentiable label assignment for dense object detection | |
CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
CN104700099B (zh) | 识别交通标志的方法和装置 | |
CN104766046B (zh) | 一种利用交通标识颜色及形状特征进行检测与识别方法 | |
CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN106022232A (zh) | 基于深度学习的车牌检测方法 | |
CN110807422A (zh) | 一种基于深度学习的自然场景文本检测方法 | |
CN107480730A (zh) | 电力设备识别模型构建方法和系统、电力设备的识别方法 | |
CN104156693B (zh) | 一种基于多模态序列融合的动作识别方法 | |
CN106778835A (zh) | 融合场景信息和深度特征的遥感图像机场目标识别方法 | |
CN106022273A (zh) | 基于动态样本选择策略的bp神经网络手写体识别系统 | |
CN104504365A (zh) | 视频序列中的笑脸识别系统及方法 | |
CN103824090B (zh) | 一种自适应的人脸低层特征选择方法及人脸属性识别方法 | |
CN109543777A (zh) | 手写汉字书写质量评价方法及系统 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN103186894B (zh) | 一种自适应分块的多聚焦图像融合方法 | |
CN104598885A (zh) | 街景图像中的文字标牌检测与定位方法 | |
CN106971185A (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
CN113409267B (zh) | 一种基于深度学习的路面裂缝检测与分割方法 | |
CN109543753B (zh) | 基于自适应模糊修复机制的车牌识别方法 | |
CN110909741A (zh) | 一种基于背景分割的车辆再识别方法 | |
CN106339984A (zh) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 | |
CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |