CN115393733B - 一种基于深度学习的水体自动识别方法及系统 - Google Patents
一种基于深度学习的水体自动识别方法及系统 Download PDFInfo
- Publication number
- CN115393733B CN115393733B CN202211009422.6A CN202211009422A CN115393733B CN 115393733 B CN115393733 B CN 115393733B CN 202211009422 A CN202211009422 A CN 202211009422A CN 115393733 B CN115393733 B CN 115393733B
- Authority
- CN
- China
- Prior art keywords
- unit
- remote sensing
- water body
- satellite remote
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的水体自动识别方法,包括:获取当前采集的卫星遥感图像;将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取;所述训练好的水体语义分割模型是基于Bottleneck‑Unet网络和样本数据集确定的;所述Bottleneck‑Unet网络为将U‑net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U‑net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络。本发明能够保证遥感影像水体识别精度的同时极大缩减了模型的预测时间和占用空间。
Description
技术领域
本发明涉及遥感影像语义分割技术领域,特别是涉及一种基于深度学习的水体自动识别方法及系统。
背景技术
作为在自然界中分布最为广泛的物质,水是陆地生态系统中的重要一环,水体的动态变化与人类生活息息相关,因此,对于水体信息的快速准确识别一直都是一个研究热点。得益于卫星遥感技术的飞速发展,让大范围的水体动态监测成为可能,其迅速高效的特点也让基于遥感影像的水体识别成为了水体监测的主流方式。
目前,国内外学者都提出了多种利用遥感技术提取水体信息的方法,其中,水体指数法由于简单易用且能够很好的抑制背景地物而突出水体特征,因此,受到了广泛地研究和应用。McFeeters提出了归一化植被系数(NDWI)的方法,但是,此方法提高了水体区域的对比度的同时也放大了土壤和建筑物的影响;随后,徐涵秋在此基础上通过将NIR波段用MIR波段代替的方式提出了 MNDWI指数,能够在很大程度上解决上述问题,但由于MNDWI的构成采用了中红外波段,这使得其应用范围受到了很大限制,一部分遥感卫星如 SPOT1-3系列、IKONOS、GF1和GF2等均未携带中红外波段的传感器。总的来说,传统的水体提取方法极度依赖手工选择的特征,需要使用者具有大量的专业知识背景,对于不同影像的适用度也是极低。
近年来,深度学习为海量遥感影像数据的分类识别等工作提供了有效的框架,正逐步推动遥感影像处理领域的发展。深度学习能够从海量的训练数据中自动获取对象的特征信息,通过这些权重系数进行分析和预测,这些特点也使得它成为遥感影像自动语义分割的关键技术。但目前大多数学者都将研究重心放在了提高遥感影像水体识别网络的精度上,通过增加网络模型的参数,深度学习模型可以获得更细微的识别能力,也是一种广泛使用的提高精度的方法。参数的增加意味着使用者往往需要更多的空间和更长的时间去配置模型。此外,结构复杂的网络往往需要较大的存储空间和训练样本,网络传输占用大量带宽和时间,极大地限制了一些算法在智能终端上的应用。遥感影像有着一些与常规拍摄影像不同的特质:低分辨率和大尺寸。这些特质使得将现有的网络结构模型直接应用至遥感影像中进行语义分割时,有很多用于精细识别的参数是无法被利用起来的。所以,对于遥感影像来说常规语义分割网络中有很多参数是冗余的。
因此,亟需一种兼顾高精度和轻量级的网络模型,能够保证遥感影像水体识别精度的同时极大缩减了模型的预测时间和占用空间。
发明内容
本发明的目的是提供一种基于深度学习的水体自动识别方法及系统,采用改进轻量级卷积神经网络,保证遥感影像水体识别精度的同时极大缩减了模型的预测时间和占用空间。
为实现上述目的,本发明提供了如下方案:
第一方面,本发明提供的一种基于深度学习的水体自动识别方法,包括:
获取当前采集的卫星遥感图像;
将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取;
所述训练好的水体语义分割模型是基于Bottleneck-Unet网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息;
所述Bottleneck-Unet网络为将U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络。
可选地,所述Bottleneck-Unet网络包括:4层卷积网络;
其中,第1层卷积网络包括第一编码模块和输出模块,所述第一编码模块通过拼接结构与所述输出模块连接;第2层卷积网络和第3层卷积网络均包括第二编码模块和第一解码模块,且所述第二编码模块通过拼接结构与所述第一解码模块连接;第4层卷积网络包括第二解码模块;
所述第一编码模块和所述第二编码模块均包括UpBottleneck单元和下采样单元,所述UpBottleneck单元和所述下采样单元连接;所述UpBottleneck单元包括2个1×1卷积子单元和设置在两个所述1×1卷积子单元之间的3×3卷积子单元;
所述第一编码模块和所述输出模块均包括DownBottleneck单元,所述DownBottleneck单元包括2个1×1反卷积子单元和设置在两个所述1×1反卷积子单元之间的3×3反卷积子单元;所述第一编码模块还包括上采样单元,所述UpBottleneck单元和所述上采样单元连接;
所述第一编码模块包括依次连接的第一1×1卷积单元、3×3卷积单元、第二1×1卷积单元、3×3反卷积单元和1×1反卷积单元。
可选地,所述样本数据集的确定过程为:
获取多张尺寸相同的卫星遥感图像;
将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像;
在所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;并将多张所述尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
可选地,所述训练好的水体语义分割模型的确定过程为:
将所述样本数据集按照一定比例划分为训练集和测试集;
构建基于Bottleneck-Unet网络的水体语义分割模型;
将所述训练集输入到所述基于Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比;
将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
可选地,所述将所张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像样本数据集,具体包括:
将多张尺寸相同的二分类标签图进行随机裁剪处理,得到多张小尺寸卫星遥感图像,之后根据设定阈值将水体分布占比≥10%的小尺寸卫星遥感图像筛选出来,得到多张卫星遥感图像的样本数据集。
可选地,所述输出模块还包括一个卷积子单元,所述卷积子单元与所述DownBottleneck单元连接;所述卷积子单元的滤波器数量为2,激活函数为 softmax激活函数。
可选地,所述目标Bottleneck-U-net网络中的每个卷积层经过卷积之后均采用批标准化的操作,以加快目标函数的收敛速度。
第二方面,本发明提供的一种基于深度学习的水体自动识别系统,包括:
卫星遥感图像获取模块,用于获取当前采集的卫星遥感图像;
水体分布信息提取模块,用于获取模块将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取;
所述训练好的水体语义分割模型是基于Bottleneck-U-net网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息;
所述Bottleneck-Unet网络为将U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络。
可选地,还包括:样本数据集确定模块;
所述样本数据集确定模块,包括:
卫星遥感图像获取单元,用于获取多张尺寸相同的卫星遥感图像;
卫星遥感图像标注单元,用于将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像;
卫星遥感图像换色单元,用于将所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;
卫星遥感图像裁剪单元,用于将所张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
可选地,还包括:水体语义分割模型训练模块;
所述水体语义分割模型训练模块,包括:
样本数据集划分单元,用于将所述样本数据集按照一定比例划分为训练集和测试集;
水体语义分割模型构建单元,用于构建基于Bottleneck-Unet网络的水体语义分割模型;
水体语义分割模型训练单元,用于将所述训练集输入到所述基于 Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比;
水体语义分割模型测试单元,用于将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明针对传统遥感影像水体识别网路为了追求精度而忽略模型量级大小,且存在参数利用率低、模型尺寸大、预测时间长等问题,提供了一种基于改进轻量级卷积神经网络的水体自动识别方法,在分别对U-Net神经网络和 Bottleneck模块进行改进的基础上将其融合,将原始U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元,形成了最终的Bottleneck-Unet网络模型,同时在模型参数利用率上进行了优化,使在识别精度以及模型占比上更具优势。在保证识别精度的情况下,模型预测时间和模型参数量有明显缩减,适用于遥感影像信息动态识别的应用场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习的水体自动识别方法流程图;
图2为本发明Bottleneck-Unet网络结构图;
图3为本发明UpBottleneck单元和DownBottleneck单元结构图;
图4为本发明基于深度学习的水体自动识别系统结构图;
图5为本发明利用U-net、SegNet、ResNet、DenseNet、PSPNet网络模型以及Bottleneck-Unet网络模型对水体信息分布提取结果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习的水体自动识别方法及系统,采用改进轻量级卷积神经网络,保证遥感影像水体识别精度的同时极大缩减了模型的预测时间和占用空间。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明实施例提供了一种基于深度学习的水体自动识别方法,包括:
步骤100:获取当前采集的卫星遥感图像。
步骤200:将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取。
所述训练好的水体语义分割模型是基于Bottleneck-Unet网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息。
所述Bottleneck-Unet网络为将U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络。
进一步地,如图2所示,所述Bottleneck-Unet网络包括:4层卷积网络。
其中,第1层卷积网络包括第一编码模块和输出模块,所述第一编码模块通过拼接结构与所述输出模块连接;第2层卷积网络和第3层卷积网络均包括第二编码模块和第一解码模块,且所述第二编码模块通过拼接结构与所述第一解码模块连接;第4层卷积网络包括第二解码模块。
所述第一编码模块和所述第二编码模块均包括UpBottleneck单元和下采样单元,所述UpBottleneck单元和所述下采样单元连接;所述UpBottleneck单元包括2个1×1卷积子单元和设置在两个所述1×1卷积子单元之间的3×3卷积子单元。
所述第一编码模块和所述输出模块均包括DownBottleneck单元,所述DownBottleneck单元包括2个1×1反卷积子单元和设置在两个所述1×1反卷积子单元之间的3×3反卷积子单元;所述第一编码模块还包括上采样单元,所述UpBottleneck单元和所述上采样单元连接。
所述第一编码模块包括依次连接的第一1×1卷积单元、3×3卷积单元、第二1×1卷积单元、3×3反卷积单元和1×1反卷积单元。
本发明Bottleneck-Unet网络是对ResNet50中使用的Bottleneck模块进行改进,得到UpBottleneck模块和DownBottleneck模块,并用它们分别替换原始U-net网络神经网络中的编码端和解码端的连续卷积层。此外,批标准化将添加在每个卷积层之后,通过将上述改进进行融合,得到水体语义分割模型,经过一定样本的训练后使用该水体语义分割模型对遥感图像进行水体分布信息提取。下面将对Bottleneck-Unet网络结构进行详细说明:
首先,原始U-net神经网络是一种隶属于Encoder-Decoder框架下的神经网络结构,在计算机视觉领域被广泛用于图像语义分割,虽然目前在常规图像上也有较好的应用,但U-net神经网络却起源于医学影像分割。它的编码过程分为四个部分,均由两个3×3的卷积层和一个2×2的池化层组成。解码过程同样也分为四个部分,由一个2×2的反卷积层和两个3×3的卷积层组成。
改进后的U-Net神经网络在编码和解码过程都只有三个部分,即删除了原网络中的第四部分。考虑到医学影像和遥感影像在特征上有很多相似之处,选用U-net神经网络作为基本网络结构对于充分提取遥感影像的特征信息有很大的帮助。而降层的措施则是考虑到了多数遥感影像与常规影像以及医学影像相比分辨率较低的情况,即遥感影像在分辨率上已经等同于池化一至两次左右的常规影像或医学影像,因此原U-net神经网络中的四层降采样结构被应用至遥感影像上就显得有些冗余了。
其次,如图2-3所示,本发明还对ResNet50中使用的Bottleneck模块进行了改进。具体包括:
在编码过程中,将原始Bottleneck模块中使用的残差结构取消,其内包括的前两个卷积层滤波器数量减半,最后一个卷积层滤波器数量降为原来的四分之一。在解码过程中,也将原Bottleneck模块中使用的残差结构取消,其内包括的第一、第二、第三个卷积层滤波器数量分别与解码过程中的第三、第二、第一个卷积层滤波器数量一致。由此便可得到在编码过程中使用的 DownBottleneck模块以及在解码过程中使用的UpBottleneck模块。另外,DownBottleneck模块和UpBottleneck模块中的每一次卷积操作后也会紧跟一次批标准化操作,以此来提高神经网络的训练效率。
然后以三层降采样结构的改进的U-net神经网络结构为基本框架,保留原结构中的阶跃连接,将每一编码解码过程中均要进行的两次卷积操作用改进后相对应的DownBottleneck模块和UpBottleneck模块代替。在网络的最后,添加一个滤波器数量为2的卷积层并使用softmax作为激活函数,得到改进轻量级的Bottleneck-Unet网络模型。
本发明是采用了ResNet50的构建思想,将频繁出现的连续3×3卷积块用Bottleneck结构替换。以64维的输入数据为例,连续使用两次滤波器数目为64 的3×3卷积操作所需要的参数数目为:(3×3×64×64)×2=73728。换做是 Bottleneck结构则只需要1×1×64×64+3×3×64×64+1×1×64×256=57344,直接将计算量简化为原有的78%。由于ResNet最初应用的领域是图像分类,在构建模型时会关注更多深层次的语义信息,因此每个Bottleneck中会在末尾使用一个具有大数目滤波器的1×1卷积层去重新组合这些高维度的特征。但低层次的语义信息在语义分割中同样重要,当一个64维的信息数据经过Bottleneck结构后直接变成了256维的深层语义信息而忽略了中间过程,这在一定程度上就导致了语义鸿沟(semantic gap)的问题。本发明将Bottleneck结构中末尾1×1卷积层的滤波器数目缩减为原来的二分之一,形成了一个连贯的低维信息重组-高维信息抽取-高维信息整合通道,以此提高Bottleneck结构在语义分割领域的适用性。
由于Bottleneck结构起初并不是为了语义分割而设计的,所以在数据的提取方面只考虑了低语义信息向高语义信息的流通。而在Encoder-Decoder架构中的解码部分,需要根据高语义信息解码还原出低语义信息,直接使用 Bottleneck结构是行不通的。为此,本发明设计了一种与Bottleneck结构相对应的模块,实现了在解码部分中由高语义信息向低语义信息的流通,并将其命名为UpBottleneck。同时,为了与其对应,本发明还将编码部分中的Bottleneck 结构重新命名为DownBottleneck,两种结构共同作用,实现遥感影像从编码到解码的整个过程。
进一步地,所述样本数据集的确定过程为:
步骤a:获取多张尺寸相同的卫星遥感图像。
步骤b:将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像。
步骤c:在所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;并将多张所述尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
进一步地,所述训练好的脊柱医学图像分割模型的确定过程为:
步骤A:将所述样本数据集按照一定比例划分为训练集和测试集。其中,划分比例可以按实际需求设定。
步骤B:构建基于Bottleneck-Unet网络的水体语义分割模型。
步骤C:将所述训练集输入到所述基于Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比。
步骤D:将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
进一步地,所述将所张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像样本数据集,具体包括:
将多张尺寸相同的二分类标签图进行随机裁剪处理,得到多张小尺寸卫星遥感图像,之后根据设定阈值将水体分布占比≥10%的小尺寸卫星遥感图像筛选出来,得到多张卫星遥感图像的样本数据集。
进一步地,所述输出模块还包括一个卷积子单元,所述卷积子单元与所述DownBottleneck单元连接;所述卷积子单元的滤波器数量为2,激活函数为 softmax激活函数。即,在网络的最后需要根据任务需求添加一个卷积层并采用softmax作为激活函数以得到最终的语义分割结果。
进一步地,所述目标Bottleneck-U-net网络中的每个卷积层经过卷积之后均采用批标准化的操作,以加快目标函数的收敛速度。
具体地,在卷积层后加上批标准化操作是为了在每次计算后将分散的数据统一,让卷积神经网络更容易学习到数据之中的规律。实质上,就是将每次计算输出的数值拉回标准正态分布中。当数值分布于标准的正态分布时,其进入激活函数后所产生的非线性变换就更加灵敏,使得激活函数发挥出更大的非线性能力,可以有效的避免梯度消失,同时也可以加快目标函数的收敛速度,加速训练。
如图4所示,本发明提供一种基于深度学习的水体自动识别系统,包括:
卫星遥感图像获取模块401,用于获取当前采集的卫星遥感图像。
水体分布信息提取模块402,用于获取模块将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取。
所述训练好的水体语义分割模型是基于Bottleneck-U-net网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息。
所述Bottleneck-Unet网络为将U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络。
进一步地,所述基于深度学习的水体自动识别系统还包括:样本数据集确定模块。
所述样本数据集确定模块,包括:
卫星遥感图像获取单元,用于获取多张尺寸相同的卫星遥感图像。
卫星遥感图像标注单元,用于将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像。
卫星遥感图像换色单元,用于将所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;
卫星遥感图像裁剪单元,用于将所张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
进一步地,所述基于深度学习的水体自动识别系统还包括:水体语义分割模型训练模块。
所述水体语义分割模型训练模块,包括:
样本数据集划分单元,用于将所述样本数据集按照一定比例划分为训练集和测试集。
水体语义分割模型构建单元,用于构建基于Bottleneck-Unet网络的水体语义分割模型。
水体语义分割模型训练单元,用于将所述训练集输入到所述基于 Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比。
水体语义分割模型测试单元,用于将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
为了验证本发明的技术效果,本实施例采用卫星影像即标签数据为武汉大学测绘遥感信息工程国家重点实验室于2018年发布的GID数据集。
软硬件环境:为了验证本发明的适用性,此次仿真选择普通配置的计算机进行实验,硬件环境方面,显卡型号为Nvidia GeForce RTX 2080Ti,显存为 11.0GB。软件环境方面,编程语言Python的版本为3.6,使用的深度学习框架是Keras,并选择了Tensorflow作为后端。最后,采用CUDA10.0和 cuDNN7.4作为深度学习的GPU加速库。
仿真实验
数据处理:为了确保标签制作的准确性和效率,在本次实验中使用的是武汉大学团队制作的GID数据集。该数据集由150张带有五分类标签图的 GF-2遥感影像组成,每张图像的尺寸都统一为6800×7200,它们分布于中国六十座不同的城市,覆盖区域面积超50000km2。如此庞大的样本数目让该数据集具有很强的代表性,训练出的权重系数也将更具适应性。本实施例从中筛选出了50张水系分布均匀的遥感影像,对其标签图像进行换色处理后获得了水系分布的二分类标签图,同时按照4:1的比例将其中的40张影像用于训练,其余10张用于预测。由于计算机的内存无法满足一次性输入整张遥感影像,因此还需要对40张用于训练的遥感影像做随机裁剪处理,最终将获得的2万张256×256小尺寸图像送入本发明改进的网络中进行训练。还在随机裁剪时设置了判定条件,保证每张裁剪出来的图像中水系的占比不少于10%,这样就可以在一定程度减轻样本分布不均匀对训练造成的影响,同时加强网络对于不同尺度下水系的学习。
对比实验:为了更加全面地分析评估Bottleneck-Unet网络在水体识别中的表现,本发明还使用Python搭建了U-net,SegNet,ResNet,DenseNet,PSPNet 五种网络结构,对比它们的分类效果。图5为六种网络在相同遥感影像语义分割任务下的对比结果,参照图5所示,U-net和DenseNet是所有网络中表现较差的两种,它们只能识别一些较为明显的水体,对于暗色、水质混浊或者与临近区域对比度较低的水体基本不具有识别能力。PSPNet和SegNet基本可以识别出图像中水体的大致轮廓,但诸如细小河流、水体轮廓等细节信息处理地仍然较为模糊。ResNet和本发明提出的网络在水体识别中的表现十分优秀,预测图像和标签图像几乎没有差别,但是一些与水体相似的建筑、植被像元还是会被错误分类,从而形成了很多的孤立像元。
表1中详细展示了本发明提出的水体语义分割网络与其他神经网络的分割质量评价,通过OA、F1-Score、IoU、参数量、预测时间定量分析实验效果。从表1中可以看到,虽然ResNet、SegNet具有很高的预测精度,但庞大的参数数目决定了它们并不高的参数利用率,在实际生产生活中,训练这样一个参数如此庞大的模型所花费的成本是难以估计的。DenseNet在模型大小方面把控得很好,这得益于它独特的跨通道连接操作,缩减了巨量的参数成本,但却会因此带来计算空间的增加。因此,如果使用者想训练出一个深层次的DenseNet模型,那么所需要花费的硬件成本是十分巨大的,这个问题限制了 DenseNet的普及应用。本发明虽然在预测效果方面不及ResNet,在模型大小上也不如DenseNet迷你,但却有效解决了两者在普及应用中的缺陷,用极高的参数利用率去弥补参数不足对预测精度的影响,具有很大的实践价值和意义。表1为遥感影像语义分割质量评价:
表1
综上所述,快速准确地识别水体信息对水资源规划管理及灾害评估等都有重要意义。高时空分辨率的遥感影像为水体信息的识别提供了数据基础,作为一种有效的方法,深度学习被越来越多地被应用至遥感影像水体自动提取领域,然而如何在保证水体识别精度的前提下缩减模型庞大的尺寸也成为目前亟待解决的问题。本发明在U-Net神经网络的基础上,结合改进Bottleneck模块,提出了一种改进轻量级卷积神经网络的水体自动识别方法。通过验证,改进后的水体识别神经网络在保证遥感影像水体识别高精度的前提下,大幅度地降低了网络模型的预测时间和尺寸,适用于遥感影像水体信息动态需求量极大的应用场景。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于深度学习的水体自动识别方法,其特征在于,包括:
获取当前采集的卫星遥感图像;
将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取;
所述训练好的水体语义分割模型是基于Bottleneck-Unet网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息;
所述Bottleneck-Unet网络为将U-net网络中的四层降采样结构简化为三层降采样结构,并将简化后的U-net网络中的每层降采样结构中的连续卷积层替换为UpBottleneck单元或DownBottleneck单元后形成的网络;
所述Bottleneck-Unet网络包括:4层卷积网络;
其中,第1层卷积网络包括第一编码模块和输出模块,所述第一编码模块通过拼接结构与所述输出模块连接;第2层卷积网络和第3层卷积网络均包括第二编码模块和第一解码模块,且所述第二编码模块通过拼接结构与所述第一解码模块连接;第4层卷积网络包括第二解码模块;
所述第一编码模块和所述第二编码模块均包括UpBottleneck单元和下采样单元,所述UpBottleneck单元和所述下采样单元连接;所述UpBottleneck单元包括2个1×1卷积子单元和设置在两个所述1×1卷积子单元之间的3×3卷积子单元;
所述第一编码模块和所述输出模块均包括DownBottleneck单元,所述DownBottleneck单元包括2个1×1反卷积子单元和设置在两个所述1×1反卷积子单元之间的3×3反卷积子单元;所述第一编码模块还包括上采样单元,所述UpBottleneck单元和所述上采样单元连接;
所述第一编码模块包括依次连接的第一1×1卷积单元、3×3卷积单元、第二1×1卷积单元、3×3反卷积单元和1×1反卷积单元。
2.根据权利要求1所述的基于深度学习的水体自动识别方法,其特征在于,所述样本数据集的确定过程为:
获取多张尺寸相同的卫星遥感图像;
将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像;
在所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;并将多张所述尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
3.根据权利要求1所述的基于深度学习的水体自动识别方法,其特征在于,所述训练好的水体语义分割模型的确定过程为:
将所述样本数据集按照一定比例划分为训练集和测试集;
构建基于Bottleneck-Unet网络的水体语义分割模型;
将所述训练集输入到所述基于Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比;
将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
4.根据权利要求2所述的基于深度学习的水体自动识别方法,其特征在于,将所述多张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像样本数据集,具体包括:
将多张尺寸相同的二分类标签图进行随机裁剪处理,得到多张小尺寸卫星遥感图像,之后根据设定阈值将水体分布占比≥10%的小尺寸卫星遥感图像筛选出来,得到多张卫星遥感图像的样本数据集。
5.根据权利要求1所述的基于深度学习的水体自动识别方法,其特征在于,可选地所述输出模块还包括一个卷积子单元,所述卷积子单元与所述DownBottleneck单元连接;所述卷积子单元的滤波器数量为2,激活函数为softmax激活函数。
6.根据权利要求1所述的基于深度学习的水体自动识别方法,其特征在于,所述Bottleneck-Unet网络中的每个卷积层经过卷积之后均采用批标准化的操作,以加快目标函数的收敛速度。
7.一种基于深度学习的水体自动识别系统,其特征在于,包括:
卫星遥感图像获取模块,用于获取当前采集的卫星遥感图像;
水体分布信息提取模块,用于获取模块将当前采集的所述卫星遥感图像输入到训练好的水体语义分割模型中,以对当前采集的所述卫星遥感图像中的水体分布信息进行提取;
所述训练好的水体语义分割模型是基于Bottleneck-Unet网络和样本数据集确定的;所述样本数据集包括卫星遥感样本图像以及相应的标注信息;所述标注信息包括:表征地物类别的信息;
所述Bottleneck-Unet网络包括:4层卷积网络;
其中,第1层卷积网络包括第一编码模块和输出模块,所述第一编码模块通过拼接结构与所述输出模块连接;第2层卷积网络和第3层卷积网络均包括第二编码模块和第一解码模块,且所述第二编码模块通过拼接结构与所述第一解码模块连接;第4层卷积网络包括第二解码模块;
所述第一编码模块和所述第二编码模块均包括UpBottleneck单元和下采样单元,所述UpBottleneck单元和所述下采样单元连接;所述UpBottleneck单元包括2个1×1卷积子单元和设置在两个所述1×1卷积子单元之间的3×3卷积子单元;
所述第一编码模块和所述输出模块均包括DownBottleneck单元,所述DownBottleneck单元包括2个1×1反卷积子单元和设置在两个所述1×1反卷积子单元之间的3×3反卷积子单元;所述第一编码模块还包括上采样单元,所述UpBottleneck单元和所述上采样单元连接;
所述第一编码模块包括依次连接的第一1×1卷积单元、3×3卷积单元、第二1×1卷积单元、3×3反卷积单元和1×1反卷积单元。
8.根据权利要求7所述的基于深度学习的水体自动识别系统,其特征在于,还包括:样本数据集确定模块;
所述样本数据集确定模块,包括:
卫星遥感图像获取单元,用于获取多张尺寸相同的卫星遥感图像;
卫星遥感图像标注单元,用于将每张卫星遥感图像中的每种地物类别分别进行标注,得到标注后的多张尺寸相同的卫星遥感图像;
卫星遥感图像换色单元,用于将所述标注后的多张尺寸相同的卫星遥感图像中选出水体均匀的图像进行换色处理,得到多张尺寸相同的二分类标签图;
卫星遥感图像裁剪单元,用于将所张尺寸相同的二分类标签图进行随机裁剪处理,得到多张卫星遥感图像的样本数据集。
9.根据权利要求7所述的基于深度学习的水体自动识别系统,其特征在于,还包括:水体语义分割模型训练模块;
所述水体语义分割模型训练模块,包括:
样本数据集划分单元,用于将所述样本数据集按照一定比例划分为训练集和测试集;
水体语义分割模型构建单元,用于构建基于Bottleneck-Unet网络的水体语义分割模型;
水体语义分割模型训练单元,用于将所述训练集输入到所述基于Bottleneck-Unet网络的水体语义分割模型中进行训练,当损失函数值和预测准确率达到期望水平时,训练结束,得到训练好的水体语义分割模型;所述预测准确率为水体分布的像素占总像素的百分比;
水体语义分割模型测试单元,用于将所述测试集输入到所述训练好的水体语义分割模型中,并采用语义分割评价指标对所述水体语义分割模型的预测准确性进行评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211009422.6A CN115393733B (zh) | 2022-08-22 | 2022-08-22 | 一种基于深度学习的水体自动识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211009422.6A CN115393733B (zh) | 2022-08-22 | 2022-08-22 | 一种基于深度学习的水体自动识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115393733A CN115393733A (zh) | 2022-11-25 |
CN115393733B true CN115393733B (zh) | 2023-08-18 |
Family
ID=84119705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211009422.6A Active CN115393733B (zh) | 2022-08-22 | 2022-08-22 | 一种基于深度学习的水体自动识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393733B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132902B (zh) * | 2023-10-24 | 2024-02-02 | 四川省水利科学研究院 | 基于自监督学习算法的卫星遥感影像水体识别方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
CN110059538A (zh) * | 2019-02-27 | 2019-07-26 | 成都数之联科技有限公司 | 一种基于深度密集神经网络的水体识别方法 |
CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN112418049A (zh) * | 2020-11-17 | 2021-02-26 | 浙江大学德清先进技术与产业研究院 | 一种基于高分遥感影像的水体变化检测方法 |
CN112991354A (zh) * | 2021-03-11 | 2021-06-18 | 东北大学 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
CN113610035A (zh) * | 2021-08-16 | 2021-11-05 | 华南农业大学 | 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法 |
CN114120102A (zh) * | 2021-11-03 | 2022-03-01 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
CN114549338A (zh) * | 2021-12-27 | 2022-05-27 | 浙江大华技术股份有限公司 | 一种电子地图的生成方法、装置和计算机可读存储介质 |
CN114913430A (zh) * | 2022-05-12 | 2022-08-16 | 中国自然资源航空物探遥感中心 | 一种基于高分影像和Unet阴影检测的物体高度识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11651032B2 (en) * | 2019-05-03 | 2023-05-16 | Servicenow, Inc. | Determining semantic content of textual clusters |
-
2022
- 2022-08-22 CN CN202211009422.6A patent/CN115393733B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679502A (zh) * | 2017-10-12 | 2018-02-09 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像语义分割的人数估计方法 |
CN110059538A (zh) * | 2019-02-27 | 2019-07-26 | 成都数之联科技有限公司 | 一种基于深度密集神经网络的水体识别方法 |
CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN112418049A (zh) * | 2020-11-17 | 2021-02-26 | 浙江大学德清先进技术与产业研究院 | 一种基于高分遥感影像的水体变化检测方法 |
CN112991354A (zh) * | 2021-03-11 | 2021-06-18 | 东北大学 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
CN113610035A (zh) * | 2021-08-16 | 2021-11-05 | 华南农业大学 | 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法 |
CN114120102A (zh) * | 2021-11-03 | 2022-03-01 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
CN114549338A (zh) * | 2021-12-27 | 2022-05-27 | 浙江大华技术股份有限公司 | 一种电子地图的生成方法、装置和计算机可读存储介质 |
CN114913430A (zh) * | 2022-05-12 | 2022-08-16 | 中国自然资源航空物探遥感中心 | 一种基于高分影像和Unet阴影检测的物体高度识别方法 |
Non-Patent Citations (1)
Title |
---|
Improved Unet Combining Dropout and ACNET for Remote Sensing Image Change Detection;J. Ren 等;《2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS》;4380-4383 * |
Also Published As
Publication number | Publication date |
---|---|
CN115393733A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
CN111899249A (zh) | 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN113781510B (zh) | 边缘检测方法、装置及电子设备 | |
CN111145145B (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
CN114973011A (zh) | 一种基于深度学习的高分辨率遥感影像建筑物提取方法 | |
CN115393733B (zh) | 一种基于深度学习的水体自动识别方法及系统 | |
CN115937707A (zh) | 基于多尺度残差注意力模型的sar影像水体提取方法 | |
Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
CN116309485A (zh) | 一种改进UNet网络结构的路面裂缝检测方法 | |
CN116206214A (zh) | 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质 | |
CN115546671A (zh) | 一种基于多任务学习的无人机变化检测方法及其系统 | |
CN116092034A (zh) | 一种基于改进的DeeplabV3+模型的车道线检测方法 | |
CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
CN114170519A (zh) | 基于深度学习与多维注意力的高分辨率遥感道路提取方法 | |
CN117392499B (zh) | 一种显著性目标的检测方法及装置 | |
CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
CN116630302A (zh) | 细胞图像分割方法、装置以及电子设备 | |
CN114581780A (zh) | 一种改进U-Net网络结构的隧道表面裂缝检测方法 | |
CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |