CN108681692B - 一种基于深度学习的遥感图像内新增建筑识别方法 - Google Patents

一种基于深度学习的遥感图像内新增建筑识别方法 Download PDF

Info

Publication number
CN108681692B
CN108681692B CN201810314895.4A CN201810314895A CN108681692B CN 108681692 B CN108681692 B CN 108681692B CN 201810314895 A CN201810314895 A CN 201810314895A CN 108681692 B CN108681692 B CN 108681692B
Authority
CN
China
Prior art keywords
image
remote sensing
layer
newly added
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810314895.4A
Other languages
English (en)
Other versions
CN108681692A (zh
Inventor
陈佳
余卫宇
王珂尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810314895.4A priority Critical patent/CN108681692B/zh
Publication of CN108681692A publication Critical patent/CN108681692A/zh
Application granted granted Critical
Publication of CN108681692B publication Critical patent/CN108681692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的遥感图像内新增建筑识别方法，包括下述步骤：获取样本图像：两时间段遥感图像和新增建筑背景图像；将具有原始尺寸的样本图像分别进行裁剪切割，得到小尺寸图像；对所有小尺寸图像进行数据增强处理；再将增强后的小尺寸两时间段遥感图像进行中心化及全局对比归一化，完成后再一一对应相减，得到遥感差异图；将遥感差异图和小尺寸新增建筑背景图像输入修改后的两种深度神经网络进行网络参数训练；再将待测遥感图像输入训练所得的两种深度神经网络，在网络的softmax输出层处进行模型融合，再对输出的初步结果进行修饰处理，得到最终的新增建筑识别图像。本发明方法具有遥感图像内新增建筑识别准确率高以及适用性广的优点。

Description

一种基于深度学习的遥感图像内新增建筑识别方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于深度学习的遥感图像内新增建筑识别方法。
背景技术
基于深度学习的遥感图像内新增建筑识别依赖图像分割技术完成，其目的是寻找某特定国土区域内两时间段间的新增建筑，以辅助完成国土监察业务。
现有的传统图像分割算法包括：基于颜色和亮度的分割方法、基于区域的分割方法、基于图论的分割方法和基于能量泛函的分割方法。基于颜色和亮度的分割方法是通过图像的颜色或亮度对每个像素点进行划分，如K-Means算法即是将图像看作是由RGB三维特征组成的点集，对图像的所有像素点进行聚类实现分割目的；基于区域的分割方法，包含区域生长法和分水岭法，是按照相似性准则将图像分割为多个区域。基于图论的分割方法将图像映射为带权无向图，移除特定的边，将图划分为若干个子图实现图像分割；基于能量泛函的分割方法主要包括活动轮廓模型以及其衍生方法。上述方法通常需要先验条件进行初始化，如K-means算法在分割图像前需指定分割区域的数量、分水岭方法必须指定分割部分的关键点、活动轮廓模型需设置初始化轮廓，这些先验条件要求都局限了图像分割研究的发展。
实现遥感图像内的新增建筑识别业务非常具有挑战性。因拍摄天气、高度、云层遮挡等外界干扰，使得可获取的遥感图像清晰度和完整度均低于其他类别图像。除去数据特点，本业务需要学习图像内的新增建筑特征信息并完成尽可能多的新增建筑识别任务，本方法引用修改后的深层卷积神经网络完成新增建筑识别业务。
发明内容
本发明的目的在于克服现有技术中的缺点与不足，提供一种基于深度学习的遥感图像内新增建筑的识别方法，通过对样本图像(两时间段的遥感图像和新增建筑背景图像)做预处理，然后将训练样本输入修改的深度卷积神经网络进行训练，再将待测遥感图像输入训练所得的两种深度神经网络，在网络的 softmax输出层处进行模型融合，获取最佳图像分割模型，并对识别结果进行后端处理，能够较准确的获得遥感图像内新增建筑识别图像。
为实现以上目的，本发明采取如下技术方案：
一种基于深度学习的遥感图像内新增建筑识别方法，包括下述步骤：
S1、首先人工在两个不同时间段内对某特定区域采集两张遥感图像，对其中部分新增建筑进行标记，以获得对应的新增建筑背景图像；
S2、利用所设计的图像滑动切割算法，将具有原始尺寸的两张遥感图像及对应的新增建筑背景图像进行切割裁剪，得到若干张小尺寸图像；所述小尺寸图像大小为256x256；
S3、对两个时间段的小尺寸遥感图像及对应的小尺寸新增建筑背景图像进行数据增强处理，分别进行旋转、镜像、以及尺度缩放的操作；将经过数据增强处理的小尺寸新增建筑背景图像作为第一训练样本；
S4、对步骤S3中经过数据增强处理的所有小尺寸遥感图像分别进行中心化及全局对比度归一化的操作；接着，将处理后的两个时间段的小尺寸遥感图像进行一一对应相减，得到遥感差异图；将遥感差异图作为第二训练样本，辅助网络参数训练；
S5、分别将基础的VGG-19及ResNet-50卷积神经网络修改为图像分割模型，即DeepLab网络结构；再将第一训练样本和第二训练样本，均分别输入修改后的两种DeepLab网络结构进行网络参数训练；
S6、将待测遥感图像输入步骤S5中训练所得的两种DeepLab网络结构进行新增建筑识别测试，在两种DeepLab网络结构的softmax输出层处进行模型融合，使最终所得的图像分割模型结合两种DeepLab网络结构的学习能力，得到初步的新增建筑识别结果图像；
S7、针对步骤S6中得到的新增建筑识别结果图像，首先进行全连接CRF 处理；然后进行形态学膨胀处理，将结果图像汇总中由于网络分割不细致导致的黑点置白，得到最终的新增建筑识别结果图像。
作为优选的技术方案，步骤S1中对于两个时间段的两张遥感图像，根据先验知识通过人工标记部分新增建筑，新增建筑像素值设置为1，其余设置为0。
作为优选的技术方案，步骤S2中，所述图像滑动切割算法：将裁剪坐标框同时应用在两张遥感图像及一张新增建筑背景图像上，使三张原始尺寸图像剪裁后所得的小尺寸图像仍然一一对应，且每一张裁剪所得的小尺寸新增建筑背景图像中，至少含有一个非0像素点。
作为优选的技术方案，步骤S3的具体过程如下：
S31、首先对所有小尺寸图像进行旋转增强处理；
S32、然后将旋转增强处理后的小尺寸图像进行上下、左右、以及上下左右镜像处理；
S33、最后对镜像处理后的小尺寸图像进行多尺度缩放处理。
作为优选的技术方案，步骤S31中小尺寸图像进行旋转增强处理，旋转角度为：90度、180度、270度，使得小尺寸图像数据扩大至4倍；
步骤S32中将旋转增强处理后的小尺寸图像进行上下、左右、上下左右镜像处理，使得旋转增强处理后的小尺寸图像数据扩大至16倍；
步骤S33中针对镜像处理后的小尺寸图进行多尺度缩放操作，缩放比例为：0.8、1.2、1.4，使得镜像处理后的小尺寸图像数据扩大至64倍。
作为优选的技术方案，步骤S4中，对经过数据增强处理的两个时间段的小尺寸遥感图像分别进行中心化及全局对比度归一化的操作，具体利用如下公式：
x′＝(x-mean)/var
其中mean为整张遥感图像的均值，var为整张遥感图像的方差，x为遥感图像像素值。
作为优选的技术方案，步骤S5中，将VGG-19网络修改为DeepLab网络结构的具体方法如下：
从输入层至输出层依次连接为：卷积层conv1、卷积层conv2、池化层 maxpool1、卷积层conv3、卷积层conv4、池化层maxpool2、卷积层conv5、卷积层conv6、卷积层conv7、卷积层conv8、池化层maxpool3、卷积层conv9、卷积层conv10、卷积层conv11、卷积层conv12、池化层maxpool4、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、以及池化层maxpool5；
将池化层maxpool4、池化层maxpool5的池化步长stride修改为1；将卷积层conv13、卷积层conv14、卷积层conv15、以及卷积层conv16中的卷积核修改为孔径系数为2的带孔卷积核；在池化层maxpool5后，连接空间金字塔ASPP 结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise层合并空间金字塔 ASPP结构的计算结果；其中，所述空间金字塔ASPP结构是在网络的最末池化 pool层后连接4个包含三层全连接层的分支结构，每个分支结构的第一层是带孔卷积层，孔径系数分别为：6、12、18、24；最后，在Eltwise层后连接softmax 层，得到网络输出结果；每次卷积操作后通过ReLu函数激活图像特征得到特征映射图。
作为优选的技术方案，步骤S5中，将ResNet-50网络修改为DeepLab结构的具体方法如下：
从输入层至输出层依次连接为：池化层maxpool1、池化层maxpool2、包含3 个Block模块的残差结构Block1、包含4个Block模块的残差结构Block2、包含6个 Block模块的残差结构Block3、以及包含3个Block模块的残差结构Block4；
其中，残差结构Block1～Block4存在四种不同的配置，但其中所有Block模块均由三层卷积层组合得到，且第一层卷积层可直接连接至第三卷积层；将残差结构Block2的第一个Block模块的第一层卷积层的卷积滑动步长stride修改为2；将残差结构Block3的所有6个Block模块的第二层卷积层的卷积核修改为孔径系数为2的带孔卷积；将残差结构Block4的所有3个Block模块的第二层卷积层的卷积核修改为孔径系数为4的带孔卷积；在所有Block模块连接完成后，连接空间金字塔ASPP结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise层合并空间金字塔ASPP结构的计算结果；最后，在Eltwise层后连接softmax层，得到网络输出结果；每次卷积操作后通过ReLu函数激活图像特征得到特征映射图，每一卷积层前均连接BN层进行数据分布调整。
作为优选的技术方案，步骤S6中，对两种DeepLab网络结构的softmax输出层进行模型融合操作，具体步骤如下：
S61、将待测遥感图像分别输入两种图像分割模型进行新增建筑识别测试，将测试所得的softmax层输出数据保存为.npy矩阵数据格式；矩阵数据保存的内容是经图像分割模型计算后，每个像素点属于0或1类别的概率值；
S62、计算步骤S61获得的两个.npy矩阵的均值矩阵，得到新的softmax矩阵数据；利用argmax函数处理所述的softmax矩阵数据，获得每个像素点的最终所属类别，实现了两种模型的融合，得到图像分割模型的分割结果图像，即初步的新增建筑识别结果图像。
作为优选的技术方案，步骤S7中，所述全连接CRF处理，具体是利用待测遥感图像的RGB及空间位置x、y信息，对分割结果图像进行惩罚学习并重新分配部分像素点的所属类别，实现图像边缘的修饰。
本发明相对于现有技术具有如下的优点和效果：
(1)本发明遥感图像内的新增建筑识别方法中，首先对比所获取的某特定国土区域两时间段遥感图像，对部分新增建筑进行人工标记，得到新增建筑的对应label图像；然后利用图像滑动切割算法，将整张的大尺寸两时间段遥感图像及新增建筑label图像进行裁剪切割，得到若干张256x256小尺寸图像；对已获取的所有图像进行数据增强处理，分别进行旋转、镜像、尺寸缩放等操作扩大图像数据；将增强后的两时间段遥感图像分别进行中心化及全局对比度归一化，完成后再一一对应相减，得到差异图；将基础的VGG-19及ResNet-50卷积神经网络修改为图像分割网络结构：DeepLab结构，输入差异图及对应label图像进行网络参数训练得到分割模型；将待识别遥感图像输入以上所得分割模型，在两种DeepLab网络结构的softmax输出层处进行模型融合，获得融合后的新增建筑识别图像；最后对所得结果图像进行全连接CRF及形态学膨胀处理，修饰图像边缘并去除图像内的小片空洞区域，得到最终的新增建筑识别结果。可见，本发明基于深度学习理论，通过对大量遥感图像进行网络训练及网络后端处理，得到一套最佳的遥感图像新增建筑识别算法，从而完成待测遥感图像内新增建筑识别任务；本发明方法不需要先验条件进行初始化且不受先验条件限制，具有遥感图像内新增建筑识别准确率高的优点，针对遥感图像内的新增建筑识别问题具有较强的适用性，可辅助国土监测工作。
(2)本发明遥感图像内新增建筑识别方法中，使用由VGG-19及ResNet-50 这两种深层卷积神经网络修改得到的DeepLab网络结构进行图像分割；对两种网络的softmax输出层进行模型融合操作，使所得分割网络模型结合两种卷积神经网络的学习能力，得到最佳的分割模型。
附图说明
图1是本实施例的基于深度学习的遥感图像内新增建筑识别方法流程图；
图2(a)和图2(b)是本实施例的两个不同时间段的两张原始遥感图像；
图3(a1)～图3(a4)、图3(b1)～图3(b4)、图3(c1)～图3(c4) 分别是本实施例的第一个时间段的小尺寸遥感图像、第二个时间段的小尺寸遥感图像、以及小尺寸新增建筑背景图像进行旋转操作的结果图像；其中，图3 (a1)、图3(b1)和图3(c1)分别是相应小尺寸图像的原图；图3(a2)、图3(b2)和图3(c2))分别是相应小尺寸图像做旋转90度增强处理；图3(a3)、图3(b3)和图3(c3)分别是相应小尺寸图像做旋转180度增强处理；图3(a4)、图3(b4)和图3(c4)分别是相应小尺寸图像做旋转270度增强处理；
图4(a1)～图4(a4)、图4(b1)～图4(b4)、图4(c1)～图4(c4) 分别是本实施例的第一个时间段的小尺寸遥感图像、第二个时间段的小尺寸遥感图像、以及小尺寸新增建筑背景图像进行镜像操作的结果图像；其中，图4 (a1)、图4(b1)和图4(c1)分别是相应小尺寸图像的原图；图4(a2)、图4(b2)和图4(c2))分别是相应小尺寸图像做左右镜像操作；图4(a3)、图4(b3)和图4(c3)分别是相应小尺寸图像做上下镜像操作；图4(a4)、图4(b4)和图4(c4)分别是相应小尺寸图像做上下左右镜像操作；
图5(a1)～图5(a4)、图5(b1)～图5(b4)、图5(c1)～图5(c4) 分别是本实施例的第一个时间段的小尺寸遥感图像、第二个时间段的小尺寸遥感图像、以及小尺寸新增建筑背景图像进行多尺度缩放操作的结果图像；其中，图5(a1)、图5(b1)和图5(c1)分别是相应小尺寸图像的原图；图5(a2)、图5(b2)和图5(c2))分别是相应小尺寸图像做0.8倍缩小操作；图5(a3)、图5(b3)和图5(c3)分别是相应小尺寸图像做1.2倍放大操作；图5(a4)、图5(b4)和图5(c4)分别是相应小尺寸图像做1.4倍放大操作；
图6是本实施例的ResNet残差结构Block模块结构图；
图7(a)和图7(b)是本实施例的DeepLab网络结构中的不同孔径系数的带孔卷积核结构图；
图8是本实施例的DeepLab网络结构的空间金字塔ASPP结构图；
图9是本实施的全连接CRF结构图。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不限于本发明。
实施例
如图1所示，一种基于深度学习的遥感图像内新增建筑识别方法，包括下述步骤：
S1、首先人工在两个不同时间段内对某特定区域采集两张遥感图像，对其中部分新增建筑进行标记，以获得对应的新增建筑背景(label)图像；
对于两个时间段的两张遥感图像，根据先验知识通过人工标记部分新增建筑，新增建筑像素值设置为1，其余设置为0。
S2、如图2(a)和图2(b)所示为两时间段原始遥感图像，利用所设计的图像滑动切割算法，将具有原始尺寸的两张遥感图像及对应的新增建筑背景图像进行切割裁剪，得到若干张小尺寸图像；所述小尺寸图像大小为256x256；所述图像滑动切割算法的思路为：将裁剪坐标框同时应用在两张遥感图像及一张新增建筑背景图像上，使三张原始尺寸图像剪裁后所得的小尺寸图像仍然一一对应，且每一张裁剪所得的小尺寸新增建筑背景图像中，至少含有一个非0像素点。
S3、对两个时间段的小尺寸遥感图像及对应的小尺寸新增建筑背景图像进行数据增强处理，分别进行旋转、镜像、以及尺度缩放的操作；将经过数据增强处理的小尺寸新增建筑背景图像作为第一训练样本；数据增强处理的具体过程如下：
S31、首先对所有小尺寸图像进行旋转增强处理，旋转角度为：90度、180 度、270度，使得小尺寸图像数据扩大至4倍；如图3(a1)～图3(a4)、图3 (b1)～图3(b4)、图3(c1)～图3(c4)所示；
S32、然后将旋转增强处理后的小尺寸图像进行上下、左右、以及上下左右镜像处理，使得旋转增强处理后的小尺寸图像数据扩大至16倍；图4(a1)～图4(a4)、图4(b1)～图4(b4)、图4(c1)～图4(c4)所示
S33、最后对镜像处理后的小尺寸图像进行多尺度缩放处理，缩放比例为： 0.8、1.2、1.4，使得镜像处理后的小尺寸图像数据扩大至64倍；图5(a1)～图5(a4)、图5(b1)～图5(b4)、图5(c1)～图5(c4)；
S4、对步骤S3中经过数据增强处理的所有小尺寸遥感图像分别进行中心化及全局对比度归一化的操作；具体利用如下公式：
x′＝(x-mean)/var
其中mean表示中心化的整张遥感图像的均值，var表示全局对比度归一化的整张遥感图像的方差，x为遥感图像像素值。
接着，将处理后的两个时间段的小尺寸遥感图像进行一一对应相减，得到遥感差异图；将遥感差异图作为第二训练样本，辅助网络参数训练；
S5、分别将基础的VGG-19及ResNet-50卷积神经网络修改为图像分割模型，即DeepLab网络结构；再将第一训练样本和第二训练样本，均分别输入修改后的两种DeepLab网络结构进行网络参数训练；如表1所示为基础VGG-19卷积神经网络结构；如表2所示为基础ResNet-50卷积神经网络结构：
表1
Figure BDA0001623450880000101
表2
Figure BDA0001623450880000111
将VGG-19网络修改为DeepLab网络结构的具体方法如下：
从输入层至输出层依次连接为：卷积层conv1、卷积层conv2、池化层 maxpool1、卷积层conv3、卷积层conv4、池化层maxpool2、卷积层conv5、卷积层conv6、卷积层conv7、卷积层conv8、池化层maxpool3、卷积层conv9、卷积层conv10、卷积层conv11、卷积层conv12、池化层maxpool4、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、以及池化层maxpool5；
将池化层maxpool4、池化层maxpool5的池化步长stride修改为1，防止池化缩小feature map尺寸；将如图7(a)所示的卷积层conv13、卷积层conv14、卷积层 conv15、以及卷积层conv16中的孔径系数rate＝1的普通卷积核，修改为如图7(b) 所示的孔径系数为2的带孔卷积核；在池化层maxpool5后，连接空间金字塔ASPP 结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise层合并空间金字塔ASPP 结构的计算结果；其中，如图8所示，所述空间金字塔ASPP结构是在网络的最末池化pool层后连接4个包含三层全连接层的分支结构，每个分支结构的第一层是带孔卷积层，孔径系数分别为：6、12、18、24；本实施例的空间金字塔结构使得网络更充分的学习新增建筑特征并进行多尺度融合，使网络学习到的特征具有更好的可分性，对于每个像素点的类别判断更准确，从而得到最佳的图像分割结果；其中，带孔卷积不增加所需训练的参数，可扩大当前featuremap的感受野，使得网络可使用更少量的池化pool层，从而保护feature map的尺寸大小；最后，在Eltwise层后连接softmax层，得到网络输出结果；每次卷积操作后通过ReLu 函数激活图像特征得到特征映射图。
将ResNet-50网络修改为DeepLab结构的具体方法如下：
从输入层至输出层依次连接为：池化层maxpool1、池化层maxpool2、包含3 个Block模块的残差结构Block1、包含4个Block模块的残差结构Block2、包含6个Block模块的残差结构Block3、以及包含3个Block模块的残差结构Block4；
其中，残差结构Block1～Block4存在四种不同的配置，但其中所有Block 模块均由三层卷积层组合得到，且第一层卷积层可直接连接至第三卷积层，如图6所示；使得残差结构的参数学习更加容易，只需要学习最优与当前的残差即可；另外该结构还有较少训练参数量的作用，在第一卷积层处首先降纬处理，减少feature map数量，然后在第三层卷积层处进行升纬处理，将feature map张数恢复至所需的数值；
将残差结构Block2的第一个Block模块的第一层卷积层的卷积滑动步长 stride修改为2；将残差结构Block3的所有6个Block模块的第二层卷积层的卷积核修改为孔径系数为2的带孔卷积，以此保证feature map的感受野；将残差结构Block4的所有3个Block模块的第二层卷积层的卷积核修改为孔径系数为 4的带孔卷积，以此保证feature map的感受野；在所有Block模块连接完成后，连接空间金字塔ASPP结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise 层合并空间金字塔ASPP结构的计算结果；最后，在Eltwise层后连接softmax 层，得到网络输出结果；每次卷积操作后通过ReLu函数激活图像特征得到特征映射图，每一卷积层前均连接BN层进行数据分布调整，防止网络出现剃度弥散及爆炸等问题，且同时加快网络训练速度。
S6、将待测遥感图像输入步骤S5中训练所得的两种DeepLab网络结构进行新增建筑识别测试，在两种DeepLab网络结构的softmax输出层处进行模型融合，使最终所得的图像分割模型结合两种DeepLab网络结构的学习能力，得到初步的新增建筑识别结果图像；
对两种DeepLab网络结构的softmax输出层进行模型融合操作，具体步骤如下：
S61、将待测遥感图像分别输入两种图像分割模型进行新增建筑识别测试，将测试所得的softmax输出层输出数据保存为.npy矩阵数据格式；矩阵数据保存的内容是经图像分割模型计算后，每个像素点属于0或1类别的概率值；所述 softmax输出层为指数操作；
S62、计算步骤S61获得的两个.npy矩阵的均值矩阵，得到新的softmax矩阵数据；利用argmax函数处理所述的softmax矩阵数据，获得每个像素点的最终所属类别，实现了两种模型的融合，得到图像分割模型的分割结果图像，即初步的新增建筑识别结果图像。
S7、针对步骤S6中得到的新增建筑识别结果图像，首先进行全连接CRF 处理；具体是利用待测遥感图像的RGB及空间位置x、y信息，对分割结果图像进行惩罚学习并重新分配部分像素点的所属类别，实现图像边缘的修饰；如图9所示为全连接CRF结构图；
然后进行形态学膨胀处理，将经过全连接CRF处理的分割结果图像汇总中由于网络分割不细致导致的黑点置白，得到最终的新增建筑识别结果图像；因为考虑实际业务，在被检测出一大块的新增建筑中，其中含有一小部分的黑点(白色新增建筑，黑色为其他)是可以认为是由于网络分割结果不“细致”导致的，所以使用形态学的膨胀操作，把黑点置白，这更符合实际的业务。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于深度学习的遥感图像内新增建筑识别方法，其特征在于，包括下述步骤：
S1、首先人工在两个不同时间段内对某特定区域采集两张遥感图像，对其中部分新增建筑进行标记，以获得对应的新增建筑背景图像；
S2、利用所设计的图像滑动切割算法，将具有原始尺寸的两张遥感图像及对应的新增建筑背景图像进行切割裁剪，得到若干张小尺寸图像；所述小尺寸图像大小为256x256；
S3、对两个时间段的小尺寸遥感图像及对应的小尺寸新增建筑背景图像进行数据增强处理，分别进行旋转、镜像、以及尺度缩放的操作；将经过数据增强处理的小尺寸新增建筑背景图像作为第一训练样本；
S4、对步骤S3中经过数据增强处理的所有小尺寸遥感图像分别进行中心化及全局对比度归一化的操作；接着，将处理后的两个时间段的小尺寸遥感图像进行一一对应相减，得到遥感差异图；将遥感差异图作为第二训练样本，辅助网络参数训练；
S5、分别将基础的VGG-19及ResNet-50卷积神经网络修改为图像分割模型，即DeepLab网络结构；再将第一训练样本和第二训练样本，均分别输入修改后的两种DeepLab网络结构进行网络参数训练；
S6、将待测遥感图像输入步骤S5中训练所得的两种DeepLab网络结构进行新增建筑识别测试，在两种DeepLab网络结构的softmax输出层处进行模型融合，使最终所得的图像分割模型结合两种DeepLab网络结构的学习能力，得到初步的新增建筑识别结果图像；
S7、针对步骤S6中得到的新增建筑识别结果图像，首先进行全连接CRF处理；然后进行形态学膨胀处理，将经过全连接CRF处理的结果图像汇总中由于网络分割不细致导致的黑点置白，得到最终的新增建筑识别结果图像。
2.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S1中对于两个时间段的两张遥感图像，根据先验知识通过人工标记部分新增建筑，新增建筑像素值设置为1，其余设置为0。
3.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S2中，所述图像滑动切割算法：将裁剪坐标框同时应用在两张遥感图像及一张新增建筑背景图像上，使三张原始尺寸图像剪裁后所得的小尺寸图像仍然一一对应，且每一张裁剪所得的小尺寸新增建筑背景图像中，至少含有一个非0像素点。
4.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S3的具体过程如下：
S31、首先对所有小尺寸图像进行旋转增强处理；
S32、然后将旋转增强处理后的小尺寸图像进行上下、左右、以及上下左右镜像处理；
S33、最后对镜像处理后的小尺寸图像进行多尺度缩放处理。
5.根据权利要求4所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S31中小尺寸图像进行旋转增强处理，旋转角度为：90度、180度、270度，使得小尺寸图像数据扩大至4倍；
步骤S32中将旋转增强处理后的小尺寸图像进行上下、左右、上下左右镜像处理，使得旋转增强处理后的小尺寸图像数据扩大至16倍；
步骤S33中针对镜像处理后的小尺寸图进行多尺度缩放操作，缩放比例为：0.8、1.2、1.4，使得镜像处理后的小尺寸图像数据扩大至64倍。
6.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S4中，对经过数据增强处理的两个时间段的小尺寸遥感图像分别进行中心化及全局对比度归一化的操作，具体利用如下公式：
x′＝(x-mean)/var
其中mean为整张遥感图像的均值，var为整张遥感图像的方差，x为遥感图像像素值。
7.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S5中，将VGG-19网络修改为DeepLab网络结构的具体方法如下：
从输入层至输出层依次连接为：卷积层conv1、卷积层conv2、池化层maxpool1、卷积层conv3、卷积层conv4、池化层maxpool2、卷积层conv5、卷积层conv6、卷积层conv7、卷积层conv8、池化层maxpool3、卷积层conv9、卷积层conv10、卷积层conv11、卷积层conv12、池化层maxpool4、卷积层conv13、卷积层conv14、卷积层conv15、卷积层conv16、以及池化层maxpool5；
将池化层maxpool4、池化层maxpool5的池化步长stride修改为1；将卷积层conv13、卷积层conv14、卷积层conv15、以及卷积层conv16中的卷积核修改为孔径系数为2的带孔卷积核；在池化层maxpool5后，连接空间金字塔ASPP结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise层合并空间金字塔ASPP结构的计算结果；其中，所述空间金字塔ASPP结构是在网络的最末池化pool层后连接4个包含三层全连接层的分支结构，每个分支结构的第一层是带孔卷积层，孔径系数分别为：6、12、18、24；最后，在Eltwise层后连接softmax层，得到网络输出结果；每次卷积操作后通过ReLu函数激活图像特征得到特征映射图。
8.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S5中，将ResNet-50网络修改为DeepLab结构的具体方法如下：
从输入层至输出层依次连接为：池化层maxpool1、池化层maxpool2、包含3个Block模块的残差结构Block1、包含4个Block模块的残差结构Block2、包含6个Block模块的残差结构Block3、以及包含3个Block模块的残差结构Block4；
其中，残差结构Block1～Block4存在四种不同的配置，但其中所有Block模块均由三层卷积层组合得到，且第一层卷积层可直接连接至第三卷积层；将残差结构Block2的第一个Block模块的第一层卷积层的卷积滑动步长stride修改为2；将残差结构Block3的所有6个Block模块的第二层卷积层的卷积核修改为孔径系数为2的带孔卷积；将残差结构Block4的所有3个Block模块的第二层卷积层的卷积核修改为孔径系数为4的带孔卷积；在所有Block模块连接完成后，连接空间金字塔ASPP结构；在空间金字塔ASPP结构后连接Eltwise层，Eltwise层合并空间金字塔ASPP结构的计算结果；最后，在Eltwise层后连接softmax层，得到网络输出结果；每次卷积操作后通过ReLu函数激活图像特征得到特征映射图，每一卷积层前均连接BN层进行数据分布调整。
9.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S6中，对两种DeepLab网络结构的softmax输出层进行模型融合操作，具体步骤如下：
S61、将待测遥感图像分别输入两种图像分割模型进行新增建筑识别测试，将测试所得的softmax层输出数据保存为.npy矩阵数据格式；矩阵数据保存的内容是经图像分割模型计算后，每个像素点属于0或1类别的概率值；
S62、计算步骤S61获得的两个.npy矩阵的均值矩阵，得到新的softmax矩阵数据；利用argmax函数处理所述的softmax矩阵数据，获得每个像素点的最终所属类别，实现了两种模型的融合，得到图像分割模型的分割结果图像，即初步的新增建筑识别结果图像。
10.根据权利要求1所述的基于深度学习的遥感图像内新增建筑识别方法，其特征在于，步骤S7中，所述全连接CRF处理，具体是利用待测遥感图像的RGB及空间位置x、y信息，对分割结果图像进行惩罚学习并重新分配部分像素点的所属类别，实现图像边缘的修饰。
CN201810314895.4A 2018-04-10 2018-04-10 一种基于深度学习的遥感图像内新增建筑识别方法 Active CN108681692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810314895.4A CN108681692B (zh) 2018-04-10 2018-04-10 一种基于深度学习的遥感图像内新增建筑识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810314895.4A CN108681692B (zh) 2018-04-10 2018-04-10 一种基于深度学习的遥感图像内新增建筑识别方法

Publications (2)

Publication Number Publication Date
CN108681692A CN108681692A (zh) 2018-10-19
CN108681692B true CN108681692B (zh) 2022-03-25

Family

ID=63800829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810314895.4A Active CN108681692B (zh) 2018-04-10 2018-04-10 一种基于深度学习的遥感图像内新增建筑识别方法

Country Status (1)

Country Link
CN (1) CN108681692B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460815B (zh) * 2018-10-25 2021-12-10 浙江科技学院 一种单目视觉深度估计方法
CN111145178A (zh) * 2018-11-06 2020-05-12 电子科技大学 高分辨率遥感图像多尺度分割方法
CN109584246B (zh) * 2018-11-16 2022-12-16 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN109711448A (zh) * 2018-12-19 2019-05-03 华东理工大学 基于判别关键域和深度学习的植物图像细粒度分类方法
CN109740237B (zh) * 2018-12-28 2020-04-17 乔丽莉 一种基于蒙特卡洛的建筑机电点位布置方法
CN109615024A (zh) * 2018-12-28 2019-04-12 东北大学 一种岩石种类智能区分识别及定位方法
CN111738972B (zh) * 2019-03-19 2024-05-28 阿里巴巴集团控股有限公司 建筑检测系统、方法和装置
CN110110679A (zh) * 2019-05-13 2019-08-09 成都图必优科技有限公司 基于全卷积网络和条件随机场的地物覆盖率计算方法
CN110334719B (zh) * 2019-07-11 2020-07-28 兰州交通大学 一种提取遥感影像中建筑物图像的方法及系统
CN110619304A (zh) * 2019-09-17 2019-12-27 中控智慧科技股份有限公司 一种车型识别方法、系统、装置及计算机可读介质
CN111104850B (zh) * 2019-10-30 2023-09-26 中国四维测绘技术有限公司 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN110807485B (zh) * 2019-10-31 2022-05-03 电子科技大学 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111144335A (zh) * 2019-12-30 2020-05-12 自然资源部国土卫星遥感应用中心 一种构建建筑物深度学习模型的方法及装置
CN111680667B (zh) * 2020-07-13 2022-06-24 北京理工大学重庆创新中心 一种基于深度神经网络的遥感图像地物分类方法
CN112365501B (zh) * 2021-01-13 2021-05-28 南京理工大学 一种基于卷积神经网络的焊件轮廓检测算法
CN112818840A (zh) * 2021-01-29 2021-05-18 中国科学院微小卫星创新研究院 无人机在线检测系统和方法
CN113566704A (zh) * 2021-07-16 2021-10-29 哈尔滨理工大学 一种基于机器视觉的轴承总成滚珠尺寸检测方法
CN116069436B (zh) * 2023-03-17 2023-07-21 阿里巴巴达摩院(杭州)科技有限公司 遥感图像的处理方法、电子设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766341A (zh) * 2015-05-04 2015-07-08 福建师范大学 一种基于dsm和核密度估计的遥感影像建筑物变化检测方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766341A (zh) * 2015-05-04 2015-07-08 福建师范大学 一种基于dsm和核密度估计的遥感影像建筑物变化检测方法
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BUILDINGS CHANGE DETECTION BASED ON SHAPE MATCHING FOR MULTI-RESOLUTION REMOTE SENSING IMAGERY;Medbouh Abdessetar 等;《The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》;20170922;第102-112页 *
结合像元级和目标级的高分辨率遥感影像建筑物变化检测;张志强 等;《测绘学报》;20180131;第47卷(第1期);第683-687页 *

Also Published As

Publication number Publication date
CN108681692A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108681692B (zh) 一种基于深度学习的遥感图像内新增建筑识别方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN105528589A (zh) 基于多列卷积神经网络的单张图像人群计数算法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN108345843B (zh) 一种基于混合深度回归网络的头部姿态估计方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN107506792B (zh) 一种半监督的显著对象检测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant