CN112200029B - 基于改进型UNet++网络的遥感图像建筑物提取方法 - Google Patents

基于改进型UNet++网络的遥感图像建筑物提取方法 Download PDF

Info

Publication number
CN112200029B
CN112200029B CN202011032221.9A CN202011032221A CN112200029B CN 112200029 B CN112200029 B CN 112200029B CN 202011032221 A CN202011032221 A CN 202011032221A CN 112200029 B CN112200029 B CN 112200029B
Authority
CN
China
Prior art keywords
image
network
remote sensing
unet
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011032221.9A
Other languages
English (en)
Other versions
CN112200029A (zh
Inventor
童忠贵
李玉霞
范琨龙
司宇
袁浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Guangdong Electronic Information Engineering Research Institute of UESTC
Original Assignee
University of Electronic Science and Technology of China
Guangdong Electronic Information Engineering Research Institute of UESTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, Guangdong Electronic Information Engineering Research Institute of UESTC filed Critical University of Electronic Science and Technology of China
Priority to CN202011032221.9A priority Critical patent/CN112200029B/zh
Publication of CN112200029A publication Critical patent/CN112200029A/zh
Application granted granted Critical
Publication of CN112200029B publication Critical patent/CN112200029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进型UNet++网络的遥感图像建筑物提取方法，利用图形可视化标记工具读取已知建筑物的遥感图像制作出语义分割数据集，再利用数据增强技术对语义分割数据集进行扩充，然后以分割网络UNet++网络作为主体构建改进型UNet++网络模型并完成训练，最后利用训练好的改进型UNet++网络模型实现遥感图像建筑物的可视化提取，具有非常好的扩展性和灵活性，能够适应当今计算机视觉领域的发展趋势。

Description

基于改进型UNet++网络的遥感图像建筑物提取方法
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种基于改进型UNet++网络的遥感图像建筑物提取方法。
背景技术
遥感图像作为一种常见且重要的数字影像，是20世纪60年代空间测量技术、地球科学理论、计算机技术、传感器技术与航空航天技术快速发展的产物。从20世纪70年代开始，一些外国学者和机构开始利用图像处理等方法从遥感图像提取地面真实信息。随着遥感技术发展，遥感图像开始由低分辨率向高分辨率过渡，形成了高空间分辨率、高光谱分辨率、高时间分辨率为特征的发展趋势。由于遥感技术的发展，遥感图像数据量急剧扩增，且在此期间计算机技术也在不断发展，遥感图像信息提取的研究重心逐渐转向半自动、全自动的提取方法。在光学遥感图像当中，道路作为一种重要的基础设施，在军事战略、空间制图、城市建设、交通管理、通行导航中具有重要的意义，特别是在军事领域中，对于陆战场景无接触快速获取道路分布、道路材质、道路起伏、道路通行能力等信息是至关重要的，通过遥感图像提取道路信息为制定作战计划、行动部署提供快速有效的数据和技术支持。
深度学习作为人工智能领域的新兴技术，在提出之初受到科研机构和工业界广泛关注，如今深度学习在自然语言处理、大数据特征提取等方面获得广泛的应用，特别在图像分类、目标检测和语义分割等图像处理方面已经取得了突破性的进展。深度学习通过其深度多层次的结构，能够自动从海量的图像、文字以及声音等数据中学习出特定对象的特征表示，从而准确理解这些数据内容，其识别精度远远高于传统的处理方法，甚至已经超过了大部分人类的识别精度。随着遥感技术不断展现出的海量数据和高分辨率的特征，可以将深度学习强大的学习表达能力和具有数据量大分辨率高特点的遥感技术结合起来从而提高信息提取的精度。语义分割作为当今计算机视觉领域研究关键技术之一，采用最常见的结构是卷积神经网络，经典的图像分类网络如AlexNet，VGG16，ResNet等结构被作为语义分割网路结构的基础，语义分割网络结构通常由一个编码过程和一个解码过程构成，其中编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于改进型UNet++网络的遥感图像建筑物提取方法，从卫星遥感图像数据中自动学习建筑物特征，进而实现了对遥感图像建筑物区域的密集分割，且提取精度较高。
为实现上述发明目的，本发明为一种基于改进型UNet++网络的遥感图像建筑物提取方法，其特征在于，包括以下步骤：
(1)、制作语义分割数据集
利用图形可视化标记工具LabelImgPlus读取已知建筑物的遥感图像Ii，i＝1,2,…,n，n为遥感图像的总帧数；并将每一帧遥感图像中建筑物区域用曲线进行框选，框选区域的标签设置为建筑，对应像素点的像素值设置为1，未被框选区域设置为背景，对应像素点的像素值设置为0，从而生成一系列png格式且分辨率大小与Ii相同的标签图像Gi，最后再由Ii与Gi共同构成语义分割数据集D＝{I1,I2,…,In,G1,G2,…,Gn}；
(2)、利用数据增强技术对语义分割数据集D进行扩充
(2.1)、HSV对比度转换
设置HSV颜色空间中H通道、S通道和V通道的改变值；然后根据各改变值，先将每一帧遥感图像Ii由RGB颜色空间转换到HSV颜色空间，再将改变后的每一帧图像还原到RGB颜色空间，HSV对比度转换后的每一帧遥感图像记为
Figure BDA0002704075700000021
(2.2)、空间几何变换
(2.2.1)、水平翻转：使用图像处理库OpenCV中的函数cv2.flip(image,1)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000022
和Gi进行水平翻转，各自形成一组图像对；
(2.2.2)、垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,0)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000023
和Gi进行垂直翻转，各自形成一组图像对；
(2.2.3)、水平垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,-1)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000024
和Gi先水平翻转再垂直翻转，各自形成一组图像对；
(2.2.4)、将上述形成的所有图像对保存在训练数据集
Figure BDA0002704075700000038
中；
(3)、构建改进型UNet++网络模型
选择分割网络UNet++网络作为主体，然后在UNet++网络的编码器部分，增加一层bottleneck层作为网络的输入层，将UNet++网络的backbone替换为DenseNet，同时改使用Batch Normalization代替dropout；在UNet++网络的解码器部分，在每个解码模块的最后添加一个卷积核大小为1*1的卷积模块；
(4)、改进型UNet++网络模型的训练
(4.1)、设置迭代次数k，初始化k＝1；
(4.2)、在第k轮训练时，从训练集
Figure BDA0002704075700000037
中随机选择一组图像对，记为“I*_G*”；
(4.3)、利用图像处理库OpenCV中的函数imread()读入“I*_G*”，然后以矩阵形式输出
Figure BDA0002704075700000031
和
Figure BDA0002704075700000032
其中，w和h为图像对中图像的宽度和高度，c*表示图片对中图像I*的通道数，cg为图像对中标签图像的通道数；
(4.4)、将矩阵
Figure BDA0002704075700000033
输入至改进型UNet++网络模型，通过网络模型预测输出
Figure BDA0002704075700000034
(4.5)、计算第k轮训练后的二元交叉熵损失值；
Figure BDA0002704075700000035
(4.6)、比较第k轮训练后的二元交叉熵损失值是否小于前一轮训练后的二元交叉熵损失值，如果小于，则根据第k轮训练后的二元交叉熵损失值，通过反向传播更新当前权重，然后进入步骤(4.7)；否则，保持前一轮训练后的网络权重，直接进入步骤(4.7)；
(4.7)、令k＝k+1，然后重复步骤(4.2)-(4.6)，通过对改进型UNet++网络进行反复迭代训练，直到步骤(4.5)中计算的二元交叉熵损失值收敛，则停止迭代，得到最终训练完成的改进型UNet++网络模型；
(5)、遥感图像建筑物的可视化提取
将待提取的遥感图像的分辨率调整至训练数据集
Figure BDA0002704075700000036
中一致；再将调整后的遥感图像输入至训练完成的改进型UNet++网络模型，通过网络模型输出矩阵
Figure BDA0002704075700000041
将矩阵
Figure BDA0002704075700000042
中每个元素的值乘以255后保存，得到输出图像，其中，在输出图像中黑色像素部分为建筑物区域，白色像素部分背景区域。
本发明的发明目的是这样实现的：
本发明基于改进型UNet++网络的遥感图像建筑物提取方法，利用图形可视化标记工具读取已知建筑物的遥感图像制作出语义分割数据集，再利用数据增强技术对语义分割数据集进行扩充，然后以分割网络UNet++网络作为主体构建改进型UNet++网络模型并完成训练，最后利用训练好的改进型UNet++网络模型实现遥感图像建筑物的可视化提取，具有非常好的扩展性和灵活性，能够适应当今计算机视觉领域的发展趋势。
同时，本发明基于改进型UNet++网络的遥感图像建筑物提取方法还具有以下有益效果：
(1)、本发明以分割网络UNet++网络作为主体，在UNet++网络的编码器部分，增加一层bottleneck层作为网络的输入层,通过连续的1x1卷积运算非线性压缩特征图的维度,减少网络初始输入的参数量,减少计算量，提高运算效率。同时在其中加入3x3卷积运算，能利用卷积的可学习性更好的融合压缩特征，提高分割的精度；
(2)、改进的Unet++采用的将特征图全连接的Dense Block结构；未改进的Unet++所采用的Res Block具有比较明显的冗余性，网络中的每一层都只提取了很少的特征(即所谓的残差)，而Dense Block通过每一层都与之前的层直接相连，实现特征的重复利用；同时Dense Block结构更多的连接通路，能够将低层次和高层次特征整合从而对于特征有更好的提取能力，也由于链接通路这一结构，使得Dense Block模块对于参数的利用更有效率，达到降低计算冗余性和减小网络规模的目的；在实现特征的重复利用，减小参数规模的同时，链接通路能为梯度的反向传播提供通路，解决梯度消失的问题，这些特点使得编码结构采用的DenseNet在参数和计算成本更少的情况下，实现比未改进的Unet++所采用的ResNet更优的性能，从而实现更高的建筑物提取精度；
(3)、本发明通过改进的UNet++学习高分辨遥感图像中的建筑物特征，针对建筑物图像特征较小，部分建筑物区域存在阴影遮挡，影响特征类似背景的复杂情况，本发明都能很好的提取到建筑物区域，减小网络参数规模同时提高了高分辨率遥感图像中建筑物区域分割精度；
(4)、本发明使用基于Unet++模型改进并构建的卷积神经网络来进行建筑物信息提取能够建立一个快速的端到端的建筑物语义分割模型，通过密集卷积块、长跨层连接和短跨层连接来使用并融合深层特征和浅层特征的好处，提高了识别准确率，识别结果分辨率高，抗噪性好。
附图说明
图1是本发明基于改进型UNet++网络的遥感图像建筑物提取方法流程图；
图2是已知建筑物的遥感图像示意图；
图3是语义分割样本标签数据示意图；
图4是HSV图像变换后的示意图；
图5是水平翻转后的图像对；
图6是垂直翻转后的图像对；
图7是先水平翻转再垂直翻转后的图像对；
图8是改进型UNet++网络模型的架构图；
图9是待提取遥感图像与本发明中使用的改进UNet++网络对应的输出图像示意图；
图10是使用不同网络对待提取遥感图像的建筑物提取结果对比图,(a)是待提取建筑物的遥感图像Ii，(b)是我们制作好的标签图像Gi，(c)是本发明中使用的改进UNet++网络的提取结果，(d)是UNet卷积神经网络的提取结果，(e)是UNet++卷积神经网络的提取结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
LabelImgPlus：图像可视化标记工具；
HSV(Hue,Saturation,Value)：色相、饱和度、明度，此处指计算机图像中规定的一种色彩空间；
RGB(Red，Green，Blue)：红色绿色蓝色三原色，此处指计算机图像中规定的一种色彩空间；
OpenCV(Open Source Computer Vision Library)：跨平台的开源计算机视觉库；
Batch Normalization:批量归一化，解决了反向传播过程中的梯度问题(梯度消失和爆炸)，同时使得不同scale的w整体更新步调更一致；
dropout:随机关闭神经元，是一种正则化技术；
ReLU:整流线性单位函数，是一种人工神经网络中常用的激励函数；
3x3 convolution:卷积核大小为3x3的卷积运算；
MaxPooling:最大池化，一种非线性形式的降采样，它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值；
Transposed Convolution:转置卷积,在卷积神经网络中,转置卷积是一种上采样方法。
图1是本发明基于改进型UNet++网络的遥感图像建筑物提取方法流程图。
在本实施例中，如图1所示，本发明一种基于改进型UNet++网络的遥感图像建筑物提取方法，包括以下步骤：
S1、制作语义分割数据集
在本实施例中，如图2所示，利用图形可视化标记工具LabelImgPlus读取待提取建筑物的遥感图片Ii，i＝1,2,…,n，n为遥感图片的总帧数；并将每一帧遥感图片中建筑物区域用曲线进行框选，框选区域的标签设置为建筑，对应像素点的像素值设置为1，未被框选区域设置为背景，对应像素点的像素值设置为0，如图3所示，从而生成一系列png格式且分辨率大小与Ii相同的标签图片Gi，最后再由Ii与Gi共同构成语义分割数据集D＝{I1,I2,…,In,G1,G2,…,Gn}；
S2、利用数据增强技术对语义分割数据集D进行扩充
S2.1、HSV对比度转换
设置HSV颜色空间中H通道、S通道和V通道的改变值；然后根据各改变值，先将每一帧遥感图片Ii由RGB颜色空间转换到HSV颜色空间，再将改变后的每一帧图像还原到RGB颜色空间，HSV对比度转换后的每一帧遥感图片记为
Figure BDA0002704075700000071
变换后的图像如图4所示；
S2.2、空间几何变换
S2.2.1、水平翻转：使用图像处理库OpenCV中的函数cv2.flip(image,1)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000072
和Gi进行水平翻转，各自形成一组图片对，其中，某一帧图像Ii和Gi水平翻转后形成的图片对如图5所示；
S2.2.2、垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,0)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000073
和Gi进行垂直翻转，各自形成一组图片对，其中，某一帧图像Ii和Gi垂直翻转后形成的图片对如图6所示；
S2.2.3、水平垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,-1)分别对每一帧图像Ii和Gi，以及
Figure BDA0002704075700000074
和Gi先水平翻转再垂直翻转，各自形成一组图片对，其中，某一帧图像Ii和Gi先水平翻转再垂直翻转后形成的图片对如图7所示；
S2.2.4、将上述形成的所有图片对保存在训练数据集
Figure BDA0002704075700000075
中；
S3、构建改进型UNet++网络模型
选择分割网络UNet++网络作为主体，然后在UNet++网络的编码器部分，增加一层bottleneck层作为网络的输入层，将UNet++网络的backbone替换为DenseNet，同时改使用Batch Normalization代替dropout；在UNet++网络的解码器部分，在每个解码模块的最后添加一个卷积核大小为1*1的卷积模块。在本实施例中，改进改进型UNet++网络模型的架构如图8所示；
S4、改进型UNet++网络模型的训练
S4.1、设置迭代次数k，初始化k＝1；
S4.2、在第k轮训练时，从训练集
Figure BDA0002704075700000076
中随机选择一组图片对，记为“I*_G*”；
S4.3、利用图像处理库OpenCV中的函数imread()读入“I*_G*”，然后以矩阵形式输出
Figure BDA0002704075700000077
和
Figure BDA0002704075700000078
其中，w和h为图片对中图像的宽度和高度，c*表示图片对中图像I*的通道数，cg为图片对中标签图像的通道数；
S4.4、将矩阵
Figure BDA0002704075700000079
输入至改进型UNet++网络模型，通过网络模型预测输出
Figure BDA0002704075700000081
S4.5、计算第k轮训练后的二元交叉熵损失值；
Figure BDA0002704075700000082
在本实施例中，需要对公式中每个矩阵中的每个元素值作求和符号中的运算，然后再去求平均值，从而得到二元交叉熵损失值
S4.6、比较第k轮训练后的二元交叉熵损失值是否小于前一轮训练后的二元交叉熵损失值，如果小于，则根据第k轮训练后的二元交叉熵损失值，通过反向传播更新当前权重，然后进入步骤S4.7；否则，保持前一轮训练后的网络权重，直接进入步骤S4.7；
S4.7、令k＝k+1，然后重复步骤S4.2-S4.6，通过对改进型UNet++网络进行反复迭代训练，直到步骤S4.5中计算的二元交叉熵损失值收敛，则停止迭代，得到最终训练完成的改进型UNet++网络模型；
S5、遥感图像建筑物的可视化提取
将待提取的遥感图像的分辨率调整至训练数据集
Figure BDA0002704075700000083
中一致；再将调整后的遥感图像输入至训练完成的改进型UNet++网络模型，通过网络模型输出矩阵
Figure BDA0002704075700000084
将矩阵
Figure BDA0002704075700000085
中每个元素的值乘以255后保存，得到输出图像，如图9所示，其中，左边为遥感图像，右边为输出图像，在输出图像中黑色像素部分为建筑物区域，白色像素部分背景区域。
如图10所示，通过对输出图像的分析，可以看出本发明切实提升了对高分辨率遥感影像中建筑物区域的分割精度。
其中，在图10中，(a)是待提取建筑物的遥感图片Ii，(b)是我们制作好的标签图片Gi，(c)是本发明中使用的改进UNet++网络的提取结果，(d)是UNet卷积神经网络的提取结果，(e)是UNet++卷积神经网络的提取结果。从分割结果图可以看出，经过本发明方法改进后的卷积神经网络在对于建筑物的提取结果上更为准确和平滑，相对于UNet和UNet++卷积神经网络能得到更好的语义分割结果。同时从图中第一行和第五行也可以看出本发明采用的模型对于小物体实现了更好的辨识和提取能力。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于改进型UNet++网络的遥感图像建筑物提取方法，其特征在于，包括以下步骤：
(1)、制作语义分割数据集
利用图形可视化标记工具LabelImgPlus读取已知建筑物的遥感图像Ii，i＝1,2,…,n，n为遥感图像的总帧数；并将每一帧遥感图像中建筑物区域用曲线进行框选，框选区域的标签设置为建筑，对应像素点的像素值设置为1，未被框选区域设置为背景，对应像素点的像素值设置为0，从而生成一系列png格式且分辨率大小与Ii相同的标签图像Gi，最后再由Ii与Gi共同构成语义分割数据集D＝{I1,I2,…,In,G1,G2,…,Gn}；
(2)、利用数据增强技术对语义分割数据集D进行扩充
(2.1)、HSV对比度转换
设置HSV颜色空间中H通道、S通道和V通道的改变值；然后根据各改变值，先将每一帧遥感图像Ii由RGB颜色空间转换到HSV颜色空间，再将改变后的每一帧图像还原到RGB颜色空间，HSV对比度转换后的每一帧遥感图像记为
Figure FDA0002704075690000011
(2.2)、空间几何变换
(2.2.1)、水平翻转：使用图像处理库OpenCV中的函数cv2.flip(image,1)分别对每一帧图像Ii和Gi，以及
Figure FDA0002704075690000012
和Gi进行水平翻转，各自形成一组图像对；
(2.2.2)、垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,0)分别对每一帧图像Ii和Gi，以及
Figure FDA0002704075690000013
和Gi进行垂直翻转，各自形成一组图像对；
(2.2.3)、水平垂直翻转：使用图像处理库OpenCV中的函数cv2.flip(image,-1)分别对每一帧图像Ii和Gi，以及
Figure FDA0002704075690000014
和Gi先水平翻转再垂直翻转，各自形成一组图像对；
(2.2.4)、将上述形成的所有图像对保存在训练数据集
Figure FDA0002704075690000015
中；
(3)、构建改进型UNet++网络模型
选择分割网络UNet++网络作为主体，然后在UNet++网络的编码器部分，增加一层bottleneck层作为网络的输入层，将UNet++网络的backbone替换为DenseNet，同时改使用Batch Normalization代替dropout；在UNet++网络的解码器部分，在每个解码模块的最后添加一个卷积核大小为1*1的卷积模块；
(4)、改进型UNet++网络模型的训练
(4.1)、设置迭代次数k，初始化k＝1；
(4.2)、在第k轮训练时，从训练集
Figure FDA0002704075690000021
中随机选择一组图像对，记为“I*_G*”；
(4.3)、利用图像处理库OpenCV中的函数imread()读入“I*_G*”，然后以矩阵形式输出
Figure FDA0002704075690000022
和
Figure FDA0002704075690000023
其中，w和h为图像对中图像的宽度和高度，c*表示图像对中图像I*的通道数，cg为图像对中标签图像的通道数；
(4.4)、将矩阵
Figure FDA0002704075690000024
输入至改进型UNet++网络模型，通过网络模型预测输出
Figure FDA0002704075690000025
(4.5)、计算第k轮训练后的二元交叉熵损失值；
Figure FDA0002704075690000026
(4.6)、比较第k轮训练后的二元交叉熵损失值是否小于前一轮训练后的二元交叉熵损失值，如果小于，则根据第k轮训练后的二元交叉熵损失值，通过反向传播更新当前权重，然后进入步骤(4.7)；否则，保持前一轮训练后的网络权重，直接进入步骤(4.7)；
(4.7)、令k＝k+1，然后重复步骤(4.2)-(4.6)，通过对改进型UNet++网络进行反复迭代训练，直到步骤(4.5)中计算的二元交叉熵损失值收敛，则停止迭代，得到最终训练完成的改进型UNet++网络模型；
(5)、遥感图像建筑物的可视化提取
将待提取的遥感图像的分辨率调整至训练数据集
Figure FDA0002704075690000029
中一致；再将调整后的遥感图像输入至训练完成的改进型UNet++网络模型，通过网络模型输出矩阵
Figure FDA0002704075690000027
将矩阵
Figure FDA0002704075690000028
中每个元素的值乘以255后保存，得到输出图像，其中，在输出图像中黑色像素部分为建筑物区域，白色像素部分背景区域。
CN202011032221.9A 2020-09-27 2020-09-27 基于改进型UNet++网络的遥感图像建筑物提取方法 Active CN112200029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011032221.9A CN112200029B (zh) 2020-09-27 2020-09-27 基于改进型UNet++网络的遥感图像建筑物提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011032221.9A CN112200029B (zh) 2020-09-27 2020-09-27 基于改进型UNet++网络的遥感图像建筑物提取方法

Publications (2)

Publication Number Publication Date
CN112200029A CN112200029A (zh) 2021-01-08
CN112200029B true CN112200029B (zh) 2022-03-25

Family

ID=74008392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011032221.9A Active CN112200029B (zh) 2020-09-27 2020-09-27 基于改进型UNet++网络的遥感图像建筑物提取方法

Country Status (1)

Country Link
CN (1) CN112200029B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516084B (zh) * 2021-07-20 2023-04-25 海南长光卫星信息技术有限公司 高分辨率遥感影像半监督分类方法、装置、设备及介质
CN114419430A (zh) * 2021-12-09 2022-04-29 华南农业大学 一种基于SE-U-Net++模型的耕地地块提取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN110956196A (zh) * 2019-10-11 2020-04-03 东南大学 一种城市建筑物窗墙比自动识别方法
CN111291608A (zh) * 2019-11-12 2020-06-16 广东融合通信股份有限公司 一种基于深度学习的遥感图像非建筑区域过滤方法
CN111489387A (zh) * 2020-04-09 2020-08-04 湖南盛鼎科技发展有限责任公司 遥感图像建筑物面积计算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164067B2 (en) * 2018-08-29 2021-11-02 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956196A (zh) * 2019-10-11 2020-04-03 东南大学 一种城市建筑物窗墙比自动识别方法
CN111291608A (zh) * 2019-11-12 2020-06-16 广东融合通信股份有限公司 一种基于深度学习的遥感图像非建筑区域过滤方法
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111489387A (zh) * 2020-04-09 2020-08-04 湖南盛鼎科技发展有限责任公司 遥感图像建筑物面积计算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Residual Learning for Image Recognition;Kaiming He等;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;第770-778页 *
End-to-End Change Detection for High Resolution Satellite Images Using Improved UNet++;Daifeng Peng等;《remote sensing>;20190610;第1-23页 *
基于不变矩的高分辨率遥感图像建筑物提取方法;高薇等;《计算机应用研究》;20130910;第31卷(第2期);第622-624页 *
基于深度学习模型的遥感图像分割方法;许玥等;《计算机应用》;20190621;第39卷(第10期);第2905-2914页 *

Also Published As

Publication number Publication date
CN112200029A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111612066B (zh) 基于深度融合的卷积神经网络的遥感图像分类方法
CN110443842B (zh) 基于视角融合的深度图预测方法
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN115601549B (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN109711413A (zh) 基于深度学习的图像语义分割方法
CN112183258A (zh) 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112200029B (zh) 基于改进型UNet++网络的遥感图像建筑物提取方法
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
CN106886785A (zh) 一种基于多特征哈希学习的航拍图像快速匹配算法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN113486894A (zh) 一种卫星图像特征部件语义分割方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN116543227A (zh) 基于图卷积网络的遥感图像场景分类方法
CN116740121A (zh) 一种基于专用神经网络和图像预处理的秸秆图像分割方法
CN111695436B (zh) 一种基于目标增强的高空间分辨率遥感图像场景分类方法
CN113705538A (zh) 基于深度学习的高分遥感影像道路变化检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant