CN111582218A - 一种基于深度学习的遥感影像岛礁提取方法 - Google Patents
一种基于深度学习的遥感影像岛礁提取方法 Download PDFInfo
- Publication number
- CN111582218A CN111582218A CN202010417762.7A CN202010417762A CN111582218A CN 111582218 A CN111582218 A CN 111582218A CN 202010417762 A CN202010417762 A CN 202010417762A CN 111582218 A CN111582218 A CN 111582218A
- Authority
- CN
- China
- Prior art keywords
- island
- feature map
- remote sensing
- image
- reef
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 35
- 238000012216 screening Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000001133 acceleration Effects 0.000 abstract description 6
- 238000000638 solvent extraction Methods 0.000 abstract description 4
- 238000001228 spectrum Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本发明涉及一种基于深度学习的遥感影像岛礁提取方法，该方法首先收集不同场景、不同时相下的岛礁卫星遥感影像，再通过对岛礁影像进行标注、影像分块与影像增强等操作制作岛礁实例分割训练数据集；基于该数据集利用Mask R‑CNN算法，利用GPU加速的技术进行岛礁实例分割模型训练，待模型收敛后，得到训练好的岛礁实例分割模型，该模型即可用来识别遥感影像中的岛礁。由于参与模型训练的岛礁实例分割训练数据集涵盖了典型场景下的各类型的岛礁形状与纹理信息，且模型训练过程中用到了多GPU加速技术，因此训练好的岛礁实例分割模型可以准确、高效的提取出高分辨率遥感影像中的岛礁信息，提高了遥感影像岛礁提取的自动化程度和时效性。
Description
技术领域
本发明涉及遥感影像处理及基于深度学习的遥感影像数据挖掘技术领域，特别是涉及一种基于深度学习的遥感影像岛礁提取方法。
背景技术
我国是世界上海洋大国之一，大陆海岸线长达1.8万多公里，并且港湾众多，岛屿岸线约1.42万公里。在当前陆地资源已大部分勘察清楚的背景下，海洋中的各种生物、矿产及化工等资源已引起诸多国家的重视。我国拥有海岛将近7000个，可管辖海域面积(含经济专属区)约300万平方公里，是世界上海岛最多的国家之一。岛礁的合理开发与利用，既关系着我国的国家主权，也是维护与保证我国海洋权益的重要方面。另一方面我国有大小天然河流五千八百多条，可通航大小湖泊九百多个。内河航运和海上运输同属于水路运输业。我国海洋权益的保障亦离不开安全高效的水路运输。
近年来随着航天科技、计算机技术等领域的进步，航天遥感影像在空间分辨率、时间分辨率及光谱分辨率上得到极大的提升，已逐渐形成了准实时的高光谱、高空间分辨率的对地观测能力。通过对遥感影像中的岛礁进行提取与精确定位，既可以获取岛礁资源的分布情况，又可在水路运输中精确避障、增强导航精度，为水路运输保驾护航。
在常规的岛礁提取应用中，传统方法虽然有诸多研究成果，但仍然存在一些问题亟待解决：1、由于遥感影像时间、空间分辨率的提升，导致遥感影像数据量过大，传统图像处理算法产生性能瓶颈；2、遥感影像中存在“同物异谱”、“同谱异物”等现象，且往往地物种类信息丰富，传统的目标提取算法自动化程度较低。由于以上问题，岛礁的解译往往需要较高的专业水平，并且在水运导航等对时效性要求较高的应用场景中很难发挥应有的作用。
发明内容
基于此，有必要针对传统岛礁提取算法性能的瓶颈以及自动化程度较低的问题，基于实例分割的思想，利用深度学习算法，提供一种精确、高效的高分辨率遥感影像岛礁提取方法。
为解决上述问题，本发明采取如下的技术方案：
一种基于深度学习的遥感影像岛礁提取方法，该方法包括以下步骤：
步骤一、制作多尺度岛礁实例分割训练数据集
获取不同场景、不同时相下包含岛礁的若干幅卫星遥感影像；
在保证岛礁的完整性的前提下，对每一幅所述卫星遥感影像进行分块裁剪，得到分块影像；
利用实例分割标注工具对每一幅分块影像中的岛礁进行标注，得到对应的标注信息文件；
对所有分块影像及其对应的标注信息文件进行数据增强处理，得到增强后的数据；
对增强后的数据进行训练集、验证集与测试集的划分；
将不同数据集下的所有分块影像对应的标注信息文件按照Microsoft COCO实例分割标准进行格式转换，转换后得到多尺度岛礁实例分割训练数据集；
步骤二、岛礁实例分割模型训练
通过ResNet50网络对所述多尺度岛礁实例分割训练数据集中的图像进行特征提取，得到五个层次的特征图，分别为C1特征图、C2特征图、C3特征图、C4特征图和C5特征图；
利用C2特征图、C3特征图、C4特征图和C5特征图建立特征金字塔网络，得到五个特征图，分别为P2特征图、P3特征图、P4特征图、P5特征图和P6特征图；
以P2特征图、P3特征图、P4特征图、P5特征图和P6特征图上的每个像素点生成锚框；
对全部锚框进行正负样本划分，并计算每一个锚框与真实框之间的偏移量，生成RPN网络数据集；
基于所述RPN网络数据集计算岛礁实例分割模型的损失函数，所述损失函数由RPN目标框回归损失函数、RPN前景/背景分类损失函数、RoI对应的分类损失函数、RoI对应的边框回归损失函数、像素分割二分类交叉熵损失函数相加组成；
采用随机梯度下降算法进行网络优化，学习率采用Warm up策略，利用多尺度岛礁实例分割训练数据集对岛礁实例分割模型进行训练；
待模型收敛后，输出训练好的岛礁实例分割模型；
步骤三、遥感影像岛礁信息自动化提取
对待提取遥感影像进行图像预处理操作，得到预处理后的图像；
将预处理后的图像输入训练好的岛礁实例分割模型，得到岛礁信息提取结果，所述岛礁信息提取结果包括每一个岛礁实例对应的一组多边形的点集及其置信度；
根据每幅裁剪影像的偏移信息和所述岛礁信息提取结果得到每个多边形相对于待提取遥感影像左上角顶点的精确坐标，将所有裁剪影像中岛礁的多边形信息汇总后，得到整幅待提取遥感影像的岛礁提取初步结果；
通过非极大值抑制操作对所述岛礁提取初步结果进行第一轮筛选，通过置信度阈值对第一轮筛选后的结果进行第二轮筛选，得到岛礁提取精确结果；
根据待提取遥感影像的地理信息，将岛礁提取精确结果中每个多边形对应的图像坐标转换为地理坐标，得到待提取遥感影像的岛礁提取结果文件。
与现有技术相比，本发明具有以下有益效果：
本发明首先通过收集不同场景、不同时相下的岛礁卫星遥感影像，随后通过对岛礁影像进行标注、影像分块与影像增强等操作，制作岛礁实例分割训练数据集；基于该数据集利用Mask R-CNN算法，利用GPU加速的技术进行岛礁实例分割模型训练，待模型收敛后，即可用来识别遥感影像中的岛礁信息。由于参与模型训练的岛礁实例分割训练数据集涵盖了典型场景下的各类型的岛礁形状与纹理信息，并且在模型训练过程中用到了多GPU加速技术，因此训练好的岛礁实例分割模型可以准确、高效的提取出高分辨率遥感影像中的岛礁信息，提高了遥感影像岛礁提取的自动化程度和时效性。
附图说明
图1为本发明一种基于深度学习的遥感影像岛礁提取方法的流程图；
图2为标注后的分块影像示意图；
图3为部分岛礁提取结果示意图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中，本发明提出一种基于深度学习的遥感影像岛礁提取方法，参见图1，该方法包括以下步骤：
步骤一(S100)、制作多尺度岛礁实例分割训练数据集
在此步骤中，首先获取内河航道、海岸、海港、湖泊等包含岛礁的卫星遥感影像，这些卫星遥感影像尽可能涵盖不同场景、不同时相下的岛礁。
然后将图幅较大的原始卫星遥感影像进行分块裁剪，裁剪时需要保证分块后影像中岛礁的完整性，得到若干幅分块影像。为保证后续模型训练及测试过程中GPU的性能，可选地，分块影像的尺寸在512×512至1024×1024之间，分块影像的重叠度在0.2至0.4之间。
随后利用实例分割标注工具对每一幅分块影像中的岛礁进行标注，标注后的分块影像如图2所示，对每一幅分块影像中的岛礁进行标注后得到对应的标注信息文件。各分块影像的标注信息文件的格式采用.json格式，标注信息文件记录了分块影像对应的分块影像尺寸、岛礁个数、岛礁类型以及岛礁多边形点位坐标等信息。
为了保证后续算法的鲁棒性，待所有分块影像的岛礁标注完毕后，需要对分块影像及其对应的标注信息文件进行数据增强处理，以得到增强后的数据。可选地，采用数据增强方法对分块影像及其对应的标注信息文件进行数据增强处理时，数据增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换等方式中的任意两种以上的随机组合。
在完成数据增强之后，按照一定比例对增强后的数据进行训练集、验证集与测试集的划分。
最后，将不同数据集下的所有分块影像对应的标注信息文件按照Microsoft COCO实例分割标准进行格式转换，转换后得到多尺度岛礁实例分割训练数据集，至此多尺度岛礁实例分割训练数据集制作完毕。
在多尺度岛礁实例分割训练数据集制作完毕后，即可基于Mask R-CNN算法进行岛礁实例分割模型训练。
步骤二(S200)、岛礁实例分割模型训练
首先通过ResNet50网络对多尺度岛礁实例分割训练数据集中的图像进行特征提取，得到五个层次的特征图，分别为C1特征图、C2特征图、C3特征图、C4特征图和C5特征图。以1024×1024的训练图像为例进行网络结构说明，经ResNet50网络的卷积、池化、ReLu等操作后，得到C1、C2、C3、C4、C5五个层次的特征图，其中C1特征图的尺寸为256×256×64，C2特征图的尺寸为256×256×256，C3特征图的尺寸为128×128×512，C4特征图的尺寸为64×64×1024，C5特征图的尺寸为32×32×2048。
随后利用C2特征图、C3特征图、C4特征图、C5特征图建立特征金字塔网络(FeaturePyramidNetworks，简称FPN)，得到P2、P3、P4、P5、P6五个特征图，各特征图的构建方式如下：
(1)C5特征图经256个1×1卷积得到P5特征图，尺寸为32×32×256；
(2)P5特征图经上采样，C4特征图经256个1×1卷积，二者相加得到P4特征图，尺寸为64×64×256；
(3)P4特征图经上采样，C3特征图经过的256个1×1卷积，二者相加得到P3特征图，尺寸为128×128×256；
(4)P3特征图经上采样，C2特征图经过的256个1×1卷积，二者相加得到P2特征图，尺寸为256×256×256；
(5)P5特征图经步长为2的最大池化操作得到P6特征图，尺寸为：16×16×256。
然后以特征图上的每个像素点生成锚框，遍历P2、P3、P4、P5、P6五个特征图，得到全部锚框。例如，针对每个像素点在保证对应面积不变的情况下，以长宽比三种类型变换为例，P2特征图可以生成256×256×3即193308个锚框，以此类推P2特征图至P6特征图共可以生成261888个锚框。
在获取了全部的锚框后，对全部锚框进行正负样本划分，并计算每一个锚框与真实框(Ground Truth)之间的偏移量，生成RPN网络数据集。可选地，在对全部锚框进行正负样本划分时，以每一个锚框与对应的图像上标注的真实框的交并比(Intersection-over-Union，IoU)作为划分标准，将IoU大于0.7的锚框标记为正样本，将IoU小于0.3的锚框标记为负样本，剩余锚框不用于训练。在样本划分的同时，需计算锚框与真实框之间的偏移量，最终生成RPN网络数据集。
基于RPN网络数据集计算岛礁实例分割模型的损失函数，该损失函数为RPN目标框回归损失函数、RPN前景/背景分类损失函数、RoI对应的分类损失函数、边框回归损失函数和像素分割二分类交叉熵损失函数之和。
根据通过RPN前向传播得到的预测偏移量与正样本锚框和真实框之间的偏移量计算smooth L1 Loss，即RPN目标框回归损失函数，记为Loss1，其计算公式如下：
其中：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,tw＝log(w/wa),th＝log(h/ha),
上式中(x,y)为前向传播计算得到的预测框坐标值，(xa,ya)为锚框对应的坐标值，(x*,y*)为真实框对应的坐标值，wa为锚框的宽度，ha为锚框的高度。
通过RPN前向传播得到锚框背景与前景softmax概率值，可以计算交叉熵损失函数，即RPN前景/背景分类损失函数，记为Loss2，其计算公式如下：
其中，T为RPN网络数据集中正负样本锚框总数，
表示真实标签概率，yj为预测概率，yj即为Softmax函数值Sj，Softmax函数为：
其中，aj表示类别j经RPN前向传播计算得到的概率值。
按照锚框经RPN网络前向传播得出的正样本的得分由高到低排序，取前预设数量个(例如前2000个)得分最高的锚框作非极大值抑制(Non-Maximum Suppression,NMS)操作，经NMS操作后的锚框作为感兴趣区域(Regions of Interest，RoI)，将其中与GroundTruth的IoU大于0.5的RoI标记为正样本，与GroundTruth的IoU小于0.5的RoI标记为负样本。将RoI映射回特征图上，通过RoI对齐操作并经过MaskRCNN网络可以得到对应的矩形框坐标值(相对于原始遥感影像)、所属类别及mask掩码(相对于原始遥感影像，尺寸可以设置，一般设为28)。每个RoI和特征图的对应关系为：
其中，w和h分别为RoI的宽度、高度，k为RoI所属特征图的级别，k0为均为224时的级别，k0的取值一般为4，对应P4特征图。
与RPN目标框回归损失函数Loss1计算步骤类似，可以计算RoI对应的边框回归损失函数Loss4，与RPN前景/背景分类损失函数Loss2计算步骤类似，可以计算RoI对应的分类损失函数Loss3。由于多了mask掩码，因此岛礁实例分割模型的损失函数还包括像素分割二分类交叉熵损失，记为Loss5，其计算公式如下：
其中，
表示真实标签概率，yj为预测概率，由于是二分类问题，所以
的取值集合为{0,1}。
本实施例中岛礁实例分割模型的整体的损失函数由Loss1、Loss2、Loss3、Loss4、Loss5相加组成，模型的训练过程即最小化该整体的损失函数的过程。
在岛礁实例分割模型训练过程中采用随机梯度下降算法(Stochastic gradientdescent，SGD)进行网络优化，学习率采用Warmup策略，利用多尺度岛礁实例分割训练数据集对岛礁实例分割模型进行训练；待模型收敛之后，将训练好的岛礁实例分割模型输出，至此完成了整个模型的训练过程。
步骤三(S300)、遥感影像岛礁信息自动化提取
由于待预测的原始遥感影像图幅往往较大，参照多尺度岛礁实例分割训练数据集构建的过程，在提取前需要进行图像预处理操作。
首先获取待提取遥感影像，并对待提取遥感影像进行图像预处理操作，得到预处理后的图像，其中图像预处理操作包括以下步骤：
对待提取遥感影像进行分块裁剪，且裁剪影像的尺寸不小于岛礁实例分割模型的训练图像尺寸，裁剪影像的重叠度可在0.2至0.8之间；
针对每幅裁剪后的影像，记录裁剪影像相对于原始的待提取遥感影像左上角顶点的坐标偏移信息；
在将裁剪影像送入岛礁实例分割模型进行岛礁提取之前，将每幅裁剪影像的尺寸缩放至岛礁实例分割模型的训练图像尺寸，并进行像素值归一化处理。
将预处理后的图像输入训练好的岛礁实例分割模型后，即可得到经过图像预处理操作后的每一幅裁剪影像对应的岛礁信息提取结果，岛礁信息提取结果中每一个岛礁实例均对应一组多边形的点集及其置信度。
然后根据每幅裁剪影像的偏移信息和对应的岛礁信息提取结果即可得到每个多边形相对原始的待提取遥感影像左上角顶点的精确坐标，在将所有裁剪影像中岛礁的多边形信息汇总后，即可得到整幅待提取遥感影像的岛礁提取初步结果。
随后通过非极大值抑制操作对岛礁提取初步结果进行第一轮筛选，然后通过置信度阈值对第一轮筛选后的结果进行第二轮筛选，经过两轮筛选，剩下的多边形即为岛礁提取精确结果。
最后根据待提取遥感影像的地理信息，可以将岛礁提取精确结果中每个多边形对应的图像坐标转换为地理坐标，得到待提取遥感影像的岛礁提取结果文件，最终将岛礁提取结果文件转换为.json格式、.xlsx格式或者.shp格式的文件并输出，至此完成了整幅待提取遥感影像中岛礁的提取。图3(a)-图3(f)为利用本发明所提出的基于深度学习的遥感影像岛礁提取方法对不同遥感影像进行岛礁提取后得到的部分岛礁提取结果示意图，其中方框内即为提取到的岛礁范围及轮廓，由图3可知，本发明对于不同场景下的遥感影像均可实现岛礁的准确提取。
本发明首先通过收集不同场景、不同时相下的岛礁卫星遥感影像，随后通过对岛礁影像进行标注、影像分块与影像增强等操作，制作岛礁实例分割训练数据集；基于该数据集利用Mask R-CNN算法，利用GPU加速的技术进行岛礁实例分割模型训练，待模型收敛后，即可用来识别遥感影像中的岛礁信息。由于参与模型训练的岛礁实例分割训练数据集涵盖了典型场景下的各类型的岛礁形状与纹理信息，并且在模型训练过程中用到了多GPU加速技术，因此训练好的岛礁实例分割模型可以准确、高效的提取出高分辨率遥感影像中的岛礁信息，提高了遥感影像岛礁提取的自动化程度和时效性。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于深度学习的遥感影像岛礁提取方法，其特征在于，包括以下步骤：
步骤一、制作多尺度岛礁实例分割训练数据集
获取不同场景、不同时相下包含岛礁的若干幅卫星遥感影像；
在保证岛礁的完整性的前提下，对每一幅所述卫星遥感影像进行分块裁剪，得到分块影像；
利用实例分割标注工具对每一幅分块影像中的岛礁进行标注，得到对应的标注信息文件；
对所有分块影像及其对应的标注信息文件进行数据增强处理，得到增强后的数据；
对增强后的数据进行训练集、验证集与测试集的划分；
将不同数据集下的所有分块影像对应的标注信息文件按照Microsoft COCO实例分割标准进行格式转换，转换后得到多尺度岛礁实例分割训练数据集；
步骤二、岛礁实例分割模型训练
通过ResNet50网络对所述多尺度岛礁实例分割训练数据集中的图像进行特征提取，得到五个层次的特征图，分别为C1特征图、C2特征图、C3特征图、C4特征图和C5特征图；
利用C2特征图、C3特征图、C4特征图和C5特征图建立特征金字塔网络，得到五个特征图，分别为P2特征图、P3特征图、P4特征图、P5特征图和P6特征图；
以P2特征图、P3特征图、P4特征图、P5特征图和P6特征图上的每个像素点生成锚框；
对全部锚框进行正负样本划分，并计算每一个锚框与真实框之间的偏移量，生成RPN网络数据集；
基于所述RPN网络数据集计算岛礁实例分割模型的损失函数，所述损失函数由RPN目标框回归损失函数、RPN前景/背景分类损失函数、RoI对应的分类损失函数、RoI对应的边框回归损失函数、像素分割二分类交叉熵损失函数相加组成；
采用随机梯度下降算法进行网络优化，学习率采用Warm up策略，利用多尺度岛礁实例分割训练数据集对岛礁实例分割模型进行训练；
待模型收敛后，输出训练好的岛礁实例分割模型；
步骤三、遥感影像岛礁信息自动化提取
对待提取遥感影像进行图像预处理操作，得到预处理后的图像；
将预处理后的图像输入训练好的岛礁实例分割模型，得到岛礁信息提取结果，所述岛礁信息提取结果包括每一个岛礁实例对应的一组多边形的点集及其置信度；
根据每幅裁剪影像的偏移信息和所述岛礁信息提取结果得到每个多边形相对于待提取遥感影像左上角顶点的精确坐标，将所有裁剪影像中岛礁的多边形信息汇总后，得到整幅待提取遥感影像的岛礁提取初步结果；
通过非极大值抑制操作对所述岛礁提取初步结果进行第一轮筛选，通过置信度阈值对第一轮筛选后的结果进行第二轮筛选，得到岛礁提取精确结果；
根据待提取遥感影像的地理信息，将岛礁提取精确结果中每个多边形对应的图像坐标转换为地理坐标，得到待提取遥感影像的岛礁提取结果文件。
2.根据权利要求1所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，根据通过RPN前向传播计算得到的预测偏移量与正样本锚框与真实框之间的偏移量计算所述RPN目标框回归损失函数，所述RPN目标框回归损失函数的计算公式如下：
其中：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,tw＝log(w/wa),th＝log(h/ha),
上式中(x,y)为RPN前向传播计算得到的预测框坐标值，(xa,ya)为锚框对应的坐标值，(x*,y*)为真实框对应的坐标值，wa为锚框的宽度，ha为锚框的高度。
3.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，所述RPN前景/背景分类损失函数的计算公式如下：
其中，T为RPN网络数据集中正负样本锚框总数，
为真实标签概率，yj为预测概率，yj即为Softmax函数值Sj，Softmax函数为：
其中，aj表示类别j经RPN前向传播计算得到的概率值。
4.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，所述像素分割二分类交叉熵损失函数的计算公式如下：
其中，yj为预测概率，
为真实标签概率，
的取值集合为{0,1}。
5.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，
当训练图像的大小为1024×1024时，C1特征图的尺寸为256×256×64，C2特征图的尺寸为256×256×256，C3特征图的尺寸为128×128×512，C4特征图的尺寸为64×64×1024，C5特征图的尺寸为32×32×2048；
利用C2特征图、C3特征图、C4特征图和C5特征图建立特征金字塔网络，得到P2特征图、P3特征图、P4特征图、P5特征图和P6特征图，P2特征图～P6特征图的构建方式如下：
(1)C5特征图经256个1×1卷积得到P5特征图，尺寸为32×32×256；
(2)P5特征图经上采样，C4特征图经256个1×1卷积，二者相加得到P4特征图，尺寸为64×64×256；
(3)P4特征图经上采样，C3特征图经过的256个1×1卷积，二者相加得到P3特征图，尺寸为128×128×256；
(4)P3特征图经上采样，C2特征图经过的256个1×1卷积，二者相加得到P2特征图，尺寸为256×256×256；
(5)P5特征图经步长为2的最大池化操作得到P6特征图，尺寸为：16×16×256。
6.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，
采用数据增强方法对所述分块影像及其对应的标注信息文件进行数据增强处理，所述数据增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换中的任意两种以上的随机组合。
7.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，对全部锚框进行正负样本划分的过程包括以下步骤：
以每一个锚框与对应的图像上标注的真实框的交并比作为划分标准，将交并比大于0.7的锚框标记为正样本，将交并比小于0.3的锚框标记为负样本。
8.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，所述图像预处理操作包括以下步骤：
对待提取遥感影像进行分块裁剪，且裁剪影像的尺寸不小于岛礁实例分割模型的训练图像尺寸；
记录每幅裁剪影像相对于待提取遥感影像左上角顶点的坐标偏移信息；
将每幅裁剪影像的尺寸缩放至训练图像尺寸并进行像素值归一化处理。
9.根据权利要求1或2所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，
所述标注信息文件记录了分块影像对应的分块影像的尺寸、岛礁个数、岛礁类型以及岛礁多边形点位坐标；
所述标注信息文件的格式为.json格式，所述岛礁提取结果文件的格式为.json格式、.xlsx格式或者.shp格式。
10.根据权利要求1所述的基于深度学习的遥感影像岛礁提取方法，其特征在于，
步骤一中分块影像的尺寸在512×512至1024×1024之间，分块影像的重叠度在0.2至0.4之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417762.7A CN111582218A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的遥感影像岛礁提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010417762.7A CN111582218A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的遥感影像岛礁提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582218A true CN111582218A (zh) | 2020-08-25 |
Family
ID=72110916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010417762.7A Pending CN111582218A (zh) | 2020-05-18 | 2020-05-18 | 一种基于深度学习的遥感影像岛礁提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582218A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766144A (zh) * | 2021-01-15 | 2021-05-07 | 雾实(福建)科技有限公司 | 岛礁基础设施巡检细节差异判别方法、装置、设备和介质 |
| CN113033701A (zh) * | 2021-04-20 | 2021-06-25 | 北部湾大学 | 基于gis空间数据制作遥感影像深度学习样本的优化方法 |
| CN113129248A (zh) * | 2021-04-29 | 2021-07-16 | 中山大学 | 一种海岛遥感影像集获得方法、装置、设备及介质 |
| CN113361465A (zh) * | 2021-06-30 | 2021-09-07 | 长光卫星技术有限公司 | 一种基于深度学习的高分辨率遥感影像农业大棚提取方法 |
| CN113378912A (zh) * | 2021-06-08 | 2021-09-10 | 长光卫星技术有限公司 | 一种基于深度学习目标检测的林区非法开垦地块检测方法 |
| CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
| CN114708513A (zh) * | 2022-03-04 | 2022-07-05 | 深圳市规划和自然资源数据管理中心 | 一种顾及角点特征的边缘建筑物提取方法及系统 |
| CN116088542A (zh) * | 2023-04-12 | 2023-05-09 | 中国水产科学研究院南海水产研究所 | 一种基于遥感技术的渔船作业安全预警方法及系统 |
| CN117351359A (zh) * | 2023-10-24 | 2024-01-05 | 中国矿业大学(北京) | 基于改进Mask R-CNN的矿区无人机影像沙棘识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
| US20190156210A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-Learning Models Based on Non-local Neural Networks |
| US20190171870A1 (en) * | 2017-12-03 | 2019-06-06 | Facebook, Inc. | Optimizations for Dynamic Object Instance Detection, Segmentation, and Structure Mapping |
| CN110751075A (zh) * | 2019-10-12 | 2020-02-04 | 海南长光卫星信息技术有限公司 | 一种基于实例分割的遥感影像养殖塘检测方法 |
| CN110807422A (zh) * | 2019-10-31 | 2020-02-18 | 华南理工大学 | 一种基于深度学习的自然场景文本检测方法 |
| US20200117937A1 (en) * | 2018-10-16 | 2020-04-16 | Samsung Electronics Co., Ltd. | Convolutional neural network for object detection |
-
2020
- 2020-05-18 CN CN202010417762.7A patent/CN111582218A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190156210A1 (en) * | 2017-11-17 | 2019-05-23 | Facebook, Inc. | Machine-Learning Models Based on Non-local Neural Networks |
| US20190171870A1 (en) * | 2017-12-03 | 2019-06-06 | Facebook, Inc. | Optimizations for Dynamic Object Instance Detection, Segmentation, and Structure Mapping |
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
| US20200117937A1 (en) * | 2018-10-16 | 2020-04-16 | Samsung Electronics Co., Ltd. | Convolutional neural network for object detection |
| CN110751075A (zh) * | 2019-10-12 | 2020-02-04 | 海南长光卫星信息技术有限公司 | 一种基于实例分割的遥感影像养殖塘检测方法 |
| CN110807422A (zh) * | 2019-10-31 | 2020-02-18 | 华南理工大学 | 一种基于深度学习的自然场景文本检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| KAIMING HE等: "《Mask_R-CNN》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 王振华 等: "改进Deeplab网络的遥感影像海岛岸线分割", 《中国图象图形学报》 * |
| 郝楠: "基于深度学习的公路障碍物检测的研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766144A (zh) * | 2021-01-15 | 2021-05-07 | 雾实(福建)科技有限公司 | 岛礁基础设施巡检细节差异判别方法、装置、设备和介质 |
| CN113033701A (zh) * | 2021-04-20 | 2021-06-25 | 北部湾大学 | 基于gis空间数据制作遥感影像深度学习样本的优化方法 |
| CN113129248A (zh) * | 2021-04-29 | 2021-07-16 | 中山大学 | 一种海岛遥感影像集获得方法、装置、设备及介质 |
| CN113129248B (zh) * | 2021-04-29 | 2023-09-12 | 中山大学 | 一种海岛遥感影像集获得方法、装置、设备及介质 |
| CN113378912A (zh) * | 2021-06-08 | 2021-09-10 | 长光卫星技术有限公司 | 一种基于深度学习目标检测的林区非法开垦地块检测方法 |
| CN113361465A (zh) * | 2021-06-30 | 2021-09-07 | 长光卫星技术有限公司 | 一种基于深度学习的高分辨率遥感影像农业大棚提取方法 |
| CN114708513A (zh) * | 2022-03-04 | 2022-07-05 | 深圳市规划和自然资源数据管理中心 | 一种顾及角点特征的边缘建筑物提取方法及系统 |
| CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
| CN116088542A (zh) * | 2023-04-12 | 2023-05-09 | 中国水产科学研究院南海水产研究所 | 一种基于遥感技术的渔船作业安全预警方法及系统 |
| CN116088542B (zh) * | 2023-04-12 | 2023-08-18 | 中国水产科学研究院南海水产研究所 | 一种基于遥感技术的渔船作业安全预警方法及系统 |
| CN117351359A (zh) * | 2023-10-24 | 2024-01-05 | 中国矿业大学(北京) | 基于改进Mask R-CNN的矿区无人机影像沙棘识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582218A (zh) | 一种基于深度学习的遥感影像岛礁提取方法 | |
| CN112633277B (zh) | 基于深度学习的航道船牌检测、定位及识别方法 | |
| CN108510504B (zh) | 图像分割方法和装置 | |
| CN112560671B (zh) | 基于旋转卷积神经网络的船舶检测方法 | |
| WO2023039959A1 (zh) | 一种基于金字塔机制的遥感影像海洋与非海区域分割方法 | |
| CN108121991A (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
| CN112418165B (zh) | 基于改进型级联神经网络的小尺寸目标检测方法与装置 | |
| CN115452759B (zh) | 一种基于卫星遥感数据的河湖健康指标评价方法及系统 | |
| US11804025B2 (en) | Methods and systems for identifying topographic features | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN110414509A (zh) | 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN114677596A (zh) | 一种基于注意力模型的遥感图像船舶检测方法和装置 | |
| Chen et al. | Object detection of optical remote sensing image based on improved faster RCNN | |
| Zhang et al. | Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image | |
| CN112037244A (zh) | 联合指数和轮廓指示器SLIC的Landsat-8图像养殖池提取方法 | |
| US20230306730A1 (en) | Information extraction method of offshore raft culture based on multi-temporal optical remote sensing images | |
| CN110598702A (zh) | 一种船舰目标检测数据集的制备方法、系统、设备及介质 | |
| CN113780117B (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 | |
| Jiao et al. | A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps | |
| CN115496998A (zh) | 一种遥感影像码头目标检测方法 | |
| Yang et al. | Cadnet: top-down contextual saliency detection network for high spatial resolution remote sensing image shadow detection | |
| Mao et al. | A method to extract essential information from meteorological facsimile charts | |
| Hao et al. | A subpixel mapping method for urban land use by reducing shadow effects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |