CN110781775A - 一种多尺度特征支持的遥感影像水体信息精确分割方法 - Google Patents

一种多尺度特征支持的遥感影像水体信息精确分割方法 Download PDF

Info

Publication number
CN110781775A
CN110781775A CN201910959201.7A CN201910959201A CN110781775A CN 110781775 A CN110781775 A CN 110781775A CN 201910959201 A CN201910959201 A CN 201910959201A CN 110781775 A CN110781775 A CN 110781775A
Authority
CN
China
Prior art keywords
scale
image
water body
model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910959201.7A
Other languages
English (en)
Other versions
CN110781775B (zh
Inventor
孟令奎
王锐
李紫瑶
张文
胡凤敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910959201.7A priority Critical patent/CN110781775B/zh
Publication of CN110781775A publication Critical patent/CN110781775A/zh
Application granted granted Critical
Publication of CN110781775B publication Critical patent/CN110781775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度特征支持的遥感影像水体信息精确分割方法,以高分辨率卫星影像水体信息提取为目标,对输入的遥感影像按照提出的方法进行分级多尺度裁切;并输入在DeeplabV3+模型上优化改进的模型进行训练和多尺度联合预测,这一步控制模型训练的样本数据尺度和模型使用过程中图像数据的输入输出尺度,同时在网络结构中加入多尺度特征权重变量用于提升细节信息分类精度;最后将提取结果输入全连接条件随机场的后加优化模块得到精确水体提取结果。实现了一种多尺度水体提取模型应用方案,大大提高深度学习应用于遥感图像水体提取的精确度,满足了模型对高分辨率影像水体精确提取在宏观和细节两方面的精度要求。

Description

一种多尺度特征支持的遥感影像水体信息精确分割方法
技术领域
本发明属于遥感图像分析领域,涉及到高分辨率遥感影像水体信息精确提取流程,尤其涉及一种基于支持多尺度特征融合的语义分割模型DeeplabV3+的优化方法和概率图后端优化模型。
背景技术
遥感影像水体信息精确提取,一直以来都是遥感图像分析领域的重要研究内容,对国家陆地水资源监测、水环境保护都起到了至关重要的作用。传统遥感影像水体提取的方法主要分为两种,一种是基于水体光谱特征,通过对水体指数设定不同的阈值来进行分类提取;另一种是基于数学形态学方法对水体边缘进行分割,从而提取水体地物。两种方法虽然都取得了不错的效果,但都存在局限性:指数法对于全局适用性的阈值选取研究一直都是研究的难点;数学形态学方法需要对影像进行复杂的预处理工作和一系列开闭运算,影响结果精度和计算速度。
随着深度学习在计算机视觉领域的发展和更新,基于影像空间特征的智能模式识别方法被广泛应用到遥感图像目标检测和像素语义分割任务中。相比于传统方法,基于深度学习的语义分割方法可以建立像素到语义之间的映射,可以挖掘传统方法不能发现的深层遥感影像光谱特征。
随着复杂神经网络模型的不断优化,对于目标特征的挖掘学习更加深入,影像分类精度也在不断的提高。与此同时,在遥感领域伴随影像分辨率的不断提高,地表地物的纹理细节也被展现出来,对水体提取的精度要求也不断提高,但随之而来的是水体背景信息复杂化和复杂的同物异谱现象的干扰。因此利用深度学习中复杂网络对高分辨率影像中的地物空间特征进行特征学习和识别具有重要意义。
相比常见的语义分割图像,高分辨率卫星影像在光谱波段数量、图像范围大小和地物目标感受尺度上都有很大的不同。尤其水体地物的目标范围和形状都具有不确定性,较大面积的水体可以覆盖整个影像切块,而细小的水体在影像上的表达只有一到两个像素。尺度的选择和处理成为困扰深度学习水体提取过程的主要问题,如何设计合理的模型使之不仅可以感知遥感图像水体背景信息并完整提取宏观大面积水体,又能保持细小水体的提取精度成为困扰研究人员的难题。
发明内容
本发明的目的在于解决上述问题,提供一种多尺度特征支持的深度学习遥感影像水体信息精确分割方法。该方法包括3个技术细节(1)一种包含不同上下文特征的分层多尺度影像裁剪处理方法;(2)在DeeplabV3+语义分割模型的基础上进行改进,以适应多尺度特征的提取,并对模型最后一层输出的多尺度特征进行加权融合,从而得到多尺度特征联合预测结果;(3)在深度学习模型后端,结合全连接条件随机场进行水体边界细节优化,优化高分辨率遥感影像水体信息的精确提取。
本发明采用如下技术方案:一种多尺度特征支持的深度学习遥感影像水体信息精确分割方法,包括对影像分级多尺度分割,分尺度深度学习网络模型优化及训练联合预测,以及结合条件随机场的后处理优化;具体包括如下步骤:
(1)对输入影像进行预处理,利用分级分尺度分割方法制作样本集;
(2)利用预处理后的不同尺度样本集进行深度学习网络模型的训练和联合预测,其中深度学习网络模型的结构分为编码器模块和解码器模块两部分,编码器模块用于获得初级卷积特征low-level-featur映射图,以及与low-level-feature映射图一样尺度的特征映射结果,解码器模块用于获得不同尺度的模型特征映射图像;
分别把不同尺度的特征映射图像进行拼接操作,得到与原始影像尺寸一致的遥感影像特征图,然后将不同尺度的遥感影像特征图进行加权融合为一个特征映射后,使用标准化指数概率函数Softmax得到深度学习网络模型粗提取结果;
(3)将深度学习网络模型的预测结果作为先验概率,输入到全连接条件随机场模型中进行边缘和细节整合优化,输出最终遥感影像水体信息精确提取结果。
进一步的,步骤(1)的具体实现方式如下,
(1.1)对影像分级分尺度分割是指原始图像矩阵被分解为不同像素宽度的子矩阵,然后采用分级扩张裁剪方法对影像进行分尺度多次裁块;
假设初级最小的背景域S0(x,y)设置为n*n个像素,当执行第m次扩张k倍的裁剪时,场景感知域扩大了k2m倍,也就是说扩张裁剪后的影像块提供了最小尺度裁块的k2m-1倍的邻域场景信息,其中扩张后的场景感知域大小S与扩张次数m和扩大倍数k的关系式如下:
S(x,y)=k2m·S0(x,y)k∈(0,+∞)
继而得到富含不同尺度的影像裁块集合;
(1.2)设定一个最适尺度作为基准尺度,将其他尺度的影像裁块按照遥感影像尺度空间集合变化的方法进行相应的升降尺度操作至标准尺度,得到统一尺寸的影像样本集。
进一步的,步骤(2)中编码器模块的结构是以ResNet-50模型作为主体网络,其中ResNet-50网络包含5个卷积块,分别为con1.x,con2.x,con3.x,con4.x,con5.x,将第5个卷积块con5.x中将卷积方式改为空洞卷积,并在第5个卷积块con5.x之后连接ASPP计算模块,具体实现如下,
将第1层卷积池化结果作为low level feature 1,而第2个卷积块con2.x中第一个bottleneck building block的计算结果作为low level feature 2,将第二层低层特征映射插值拉伸至第1层尺寸大小,统一两个尺度的特征以使低层次的特征图像会拥有更多的全局信息;然后通过一层1*1、通道为64的卷积滤波器,作为最终的low-level feature映射图;con3.x和con4.x保持Resnet50中的结构,在第5个卷积块con5.x中将卷积方式改为空洞卷积,在这一卷积块计算结果后连接ASPP计算模块,对第1-4卷积块计算后得到的特征使用不同扩张率的空洞池化卷积来并行计算得到特征中的不同尺度语义信息;其中ASPP计算模块包含1个1*1卷积层和3个3*3空洞卷积层和一个全局平均池化层,将ASPP计算模块中5层计算的特征进行特征连接为一个特征映射后输入到1个1*1卷积滤波器中,再将计算结果进行上采样计算得到与之前计算的最终low-level-feature映射图一样尺度的特征映射结果。
进一步的,步骤(2)中解码器模块将初级卷积特征low-level-feature映射图与编码器模块中输出的特征映射结果进行concatenation,对连接后的特征进行3次卷积计算,得到维度为2的预测特征,最后采用双线性上采样方法得到不同尺度的模型特征映射图像。
进一步的,步骤(2)中使用加权融合的方法对不同尺度的遥感影像特征图赋予不同权值,进行特征融合,融合公式为:
式中Fk(P;k)表示融合后的特征映射,k表示分类的数量,此模型为二分类模型k=2,S表示尺度的数量,ωs表示每个尺度的预测特征映射所分配的权重,且
Figure BDA0002228362130000052
D(Ps)表示第s个尺度的遥感影像特征图,是二维矩阵;
最后对融合后的特征映射矩阵使用标准化指数概率函数Softmax来得到当前像素点的标签概率值,并对概率图在每个像素处进行分类,水体概率大的像素则被标记为水体。
进一步的,步骤(3)的具体实现方式如下,
步骤(3.1)将深度学习网络模型进行尺度融合后得到的像素初预测分类图作为先验概率,添加全连接条件随机场模型,简称CRF模型,以此来求解分类的最大后验概率,具体为:
设X为CRF模型输入的遥感影像,xi∈X,Y为深度学习网络模型的预测标签yi∈Y,yi与xi节点一一对应,构成CRF图模型中每个结点,故整幅图像的联合分布概率表示为:
Figure BDA0002228362130000061
其中Z为配分函数,Z=∑Yexp{-E(y,x)},E(y,x)是全连接条件随机场的能量函数,在此公式中在全连接条件下的能量函数定义为一元项∑iΨμ(yi),和二元项∑i≠jΨp(yi,yj,xij)的和;
Figure BDA0002228362130000062
式中一元项是所有一元位势的集合,其中Ψμ(yi)为一元位势函数二元项是所有成对势能的集合;
(3.2)通过最小化条件似然与联合分布概率之间的K-L散度,通过不断迭代更新各项独立似然函数,从而计算CRF模型的最优解;
(3.3)然后采用分段训练的方法分步对CRF模型中的各个参数进行迭代学习,直至似然函数值最大化;
(3.4)通过计算每个像素点的各个标签的概率值,水体概率高的被标记为水体,从而得到水体地物目标精确提取结果。
与现有技术相比,本发明的优点和有益效果:
本发明以高分辨率卫星影像水体信息提取为目标,将改进后的DeeplabV3+模型应用于遥感影像信息提取的优化方案,改进的模型更适合不同尺度影像块的信息提取,并且通过控制模型训练的样本数据尺度和模型使用过程中图像数据的输入输出尺度,同时在网络结构中加入多尺度特征权重变量用于提升细节信息分类精度,并结合全连接条件随机场作为后加优化模块实现了一种多尺度水体提取模型应用方案,满足了模型对高分辨率影像水体精确提取在宏观和细节两方面的精度要求提升了模型的泛化能力。多尺度训练预测代替传统的单尺度训练预测提取出的深层特征,可在识别不同尺度的水体地物方面取得了令人满意的效果。而全连接CRF的引入更加优化了水体提取边界,降低噪声斑点,这种CNN+CRF的训练模式在遥感领域的语义分割非常适合。
附图说明
图1为本发明流程图;
图2为本发明影像考虑不同上下文信息的分级裁剪方法的示意图;
图3为本发明影像分尺度拉伸构造遥感影像尺度空间集合示意图,也是样本制作流程图;
图4为本发明分尺度深度学习网络模型训练联合预测的示意图;
图5为本发明的结合条件随机场的后处理优化的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合技术方案(和附图)详细叙述本发明的具体实施方式。
如图1所示,本文多尺度特征支持的深度学习遥感影像水体信息精确分割方法,包括:(1)对影像分级多尺度分割,(2)分尺度深度学习网络模型训练联合预测,以及(3)结合条件随机场的后处理优化,各部分的具体设计描述如下:
其中,对影像分级多尺度分割的具体实现方式如下:
(1.1)如图2所示,对影像分级分尺度分割是指原始图像矩阵被分解为不同像素宽度的子矩阵,然后采用分级扩张裁剪方法对影像进行分尺度多次裁块。假设初级最小的背景域(裁剪尺寸)S0(x,y)设置为n*n个像素,当执行第m次扩张k倍的裁剪时,场景感知域扩大了k2m倍,也就是说扩张裁剪后的影像块提供了最小尺度裁块的k2m-1倍的邻域场景信息。其中扩张后的场景感知域大小S与扩张次数m和扩大倍数k的关系式如下:
S(x,y)=k2m·S0(x,y)k∈(0,+∞)
继而得到富含不同场景信息丰富度的影像裁片集合。利用这种样本所训练出的模型,可以同时掌握同一区域在不同尺度分辨率状态下的特征结构,从而获得更好的预测能力。
本实施例中对GF1/GF2遥感影像按照分级多尺度裁切方法进行影像裁剪,设置3级,放大倍数为2倍,最小尺度为128像素,故裁剪尺度为(128×128,256×256,512×512),得到多尺度遥感影像块集合。
(1.2)如图3所示,为了得到一个兼顾场景域丰富度和增强多尺度的细节特征的方案,在本实施例中我们对原始影像进行3级裁剪,获得不同背景上下文的影像切片集合。并把其中一个最适尺度作为基准尺度,将其他尺度的影像切片按照遥感影像尺度空间集合变化的方法进行相应的升降尺度操作至标准尺度。小于基准尺度的裁片进行降尺度操作至基准尺度,大于基准尺度的影像切片进行升尺度操作至基准尺度,得到统一尺寸的影像集合。本实施例中设定512尺度为基准尺度,将遥感影像集合中的其他尺度块进行降尺度插值拉伸(Lanczos插值)至基准尺度大小。
不仅在模型的训练过程中保证了训练样本的尺度多样性,同时在模型的应用过程中,对输入模型的目标影像同样进行了多尺度分割,让模型对同一区域在不同尺度下的特征结构进行分析,再通过不同尺度预测结果的融合确保模型最终预测结果的准确度。其次将除基准尺度外的样本图像通过多尺度拉伸来统一缩放至基准尺度,其中小尺度的样本图像放大至基准尺度,放大细节特征,与此同时保留部分原始尺度样本来提升模型对宏观特征的认知能力。
小尺度128*128裁块在经过拉伸放大后,信息的细节部分表达将变得清晰;大尺度512*512裁块富含丰富的上下文背景信息,有利于深度学习模型对影像粗尺度特征的提取,很好的弥补了细小尺度分类带来的局部背景特征模糊而导致的分类“颠覆”错误。小尺度裁块的细小特征(如两个像素宽度的河流)被过度拉伸会引起的特征畸变,这种特征变化的会造成的模型的认知错误,为防止这种情况的发生,我们加入了中等尺度256*256裁块作为模型的认知过度尺度。
如图4所示,分尺度深度学习网络模型训练联合预测,采用Encoder—Decoder模式,具体实现方式如下:
(2.1)Encoder模块使用ResNet-50模型来作为主体网络,ResNet网络可以高效的训练深度卷积网络。ResNet网络包含5个卷积运算块(con1.x,con2.x,con3.x,con4.x,con5.x),每个卷积块包含不同数量的bottleneck building blocks。将第1层卷积池化结果作为low level feature 1,而第2个卷积块con2.x中第一个bottleneck buildingblock的计算结果作为low level feature 2,将第二层低层特征映射插值拉伸至第1层尺寸大小,统一两个尺度的特征以使低层次的特征图像会拥有更多的全局信息;然后通过一层1*1、通道为64的卷积滤波器,作为最终的low-level feature映射图。低层次的特征图像会拥有更多的全局信息,且这一层输出特征的通道是64,不会超过后来经过ASPP模块计算得到的编码特征。con3.x,con4.x保持Resnet50中的结构,在第5个卷积块con5.x中将卷积方式改为空洞卷积atrous convolution。在这一卷积块计算结果后连接ASPP计算模块,对第1-4个卷积块计算后得到的特征使用不同扩张率的空洞池化卷积来并行计算得到特征中的不同尺度语义信息。其中ASPP包含1个1*1卷积层和3个3*3空洞卷积层(其中扩张率对应6/12/18)和一个全局平均池化层。将ASPP中5层计算的特征进行特征连接为一个特征映射后输入到1个1*1卷积滤波器中,再将计算结果进行上采样计算得到与之前计算的最终low-level-feature映射图一样尺度的特征映射结果。
(2.2)在decoder模块中,将low-level-feature映射图与编码块中输出的特征映射结果进行concatenation;对连接后的特征进行3次卷积计算,得到维度为2的预测特征;最后采用双线性上采样方法得到不同尺度的特征映射图像。这一步是在调整图像分割逻辑大小,对卷积后特征图像进行放大映射到输入影像裁块大小,可以保持图像细节特征。
(2.3)通过深度学习网络模型的计算,得到3个不同尺度所有裁块2维特的征映射图像,分别把不同尺度的特征映射图像进行拼接操作,得到了3幅与原始影像尺寸一致的遥感影像特征图。
(2.4)为了得到更精确的联合预测效果,将3幅与原始影像尺寸一致的遥感影像特征图进行特征融合,形成一个新的特征映射。根据不同尺度的特征对最终预测结果作用的不同,我们使用加权融合的方法给不同尺度特征赋予不同权值,进行特征融合。这种方法可以调整不同尺度的特征的影响因子,来调整水体提取的精细化程度和提取效果,融合公式为:
Figure BDA0002228362130000111
式中Fk(P;k)表示融合后的特征映射,P表示为不同尺度的分类结果预测特征映射,k表示分类的数量,此模型为二分类模型k=2,S表示尺度的数量,本模型中S=3,ωs表示每个尺度的预测特征映射所分配的权重,且
Figure BDA0002228362130000112
D(Ps)表示第s个尺度预测的特征矩阵,是二维矩阵。
(2.5)最后对融合后的特征映射矩阵使用标准化指数概率函数Softmax来得到当前像素点的标签概率值,并对概率图在每个像素处进行分类,水体概率大的像素则被标记为水体。
对于权重ωs的设置,通过大量实验得出当512/256/128的权值设置为0.4/0.3/0.3时,提取结果精度最高,IOU值高达94%。
结合条件随机场的后处理优化过程如下:
(3.1)如图5所示,将深度学习网络模型进行尺度融合后得到的像素初预测分类图作为先验概率,添加全连接条件随机场Fully connected CRF模型(简称CRF模型),以此来求解分类的最大后验概率。
使用深度学习网络得到像素级分类结果之后,再使用条件随机场综合图像的空间信息,能够得到更加精细且具有空间一致性的结果。全连接条件随机场可以建立影像中所有像素对上建立点对势能从而实现极大化的精细分割。
定义X为CRF模型输入的遥感影像,xi∈X,Y为深度学习网络模型的预测标签yi∈Y。yi与xi节点一一对应,构成CRF图模型中每个结点,故整幅图像的联合分布概率表示为:
Figure BDA0002228362130000121
其中Z为配分函数,Z=∑Yexp{-E(y,x)},E(y,x)是全连接条件随机场的能量函数,在此公式中在全连接条件下的能量函数定义为一元项∑iΨμ(yi),和二元项Σi≠jΨp(yi,yj,xij)的和。
Figure BDA0002228362130000122
式中一元项是所有一元位势的集合,其中Ψμ(yi)为一元位势函数,主要源自深度学习网络的预测分类标签。二元项是所有成对势能的集合,主要用来计算像素节点之间的影响关系,二元势能主要与输入原始遥感影像各波段数值和像素点之间的实际距离相关。通过将全连接的节点间每条边的特征输入到一个全联通网络(pairwise-net)中计算一对节点可能匹配的标签组合的概率,从而可以将相似的影像像素分割为相同的标签。
(3.2)然后使用平均场近似理论进行模型的有效推理。条件似然可以被分解为不同势位上的若干独立似然的乘积,通过最小化条件似然与实际概率之间的K-L散度,通过不断迭代更新各项独立似然函数,从而计算CRF模型的最优解。
(3.3)然后采用分段训练(piecewise training)的方法分步对后处理CRF模型中可以学习的各个参数进行迭代学习,直至似然函数值最大化;
(3.4)通过计算每个像素点的各个标签的概率值,水体概率高的被标记为水体,从而得到水体地物目标精确提取结果。
本发明以高分辨率卫星影像水体信息提取为目标,将改进后的DeeplabV3+模型应用于遥感影像信息提取的优化方案,改进的模型更适合不同尺度影像块的信息提取,并且通过控制模型训练的样本数据尺度和模型使用过程中图像数据的输入输出尺度,同时在网络结构中加入多尺度特征权重变量用于提升细节信息分类精度,并结合全连接条件随机场作为后加优化模块实现了一种多尺度水体提取模型应用方案,满足了模型对高分辨率影像水体精确提取在宏观和细节两方面的精度要求提升了模型的泛化能力。多尺度训练预测代替传统的单尺度训练预测提取出的深层特征,可在识别不同尺度的水体地物方面取得了令人满意的效果。而全连接CRF的引入更加优化了水体提取边界,降低噪声斑点,这种CNN+CRF的训练模式在遥感领域的语义分割非常适合。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。

Claims (6)

1.一种多尺度特征支持的遥感影像水体信息精确分割方法,其特征在于,包括以下步骤:
(1)对输入影像进行预处理,利用分级分尺度分割方法制作样本集;
(2)利用预处理后的不同尺度样本集进行深度学习网络模型的训练和联合预测,其中深度学习网络模型的结构分为编码器模块和解码器模块两部分,编码器模块用于获得初级卷积特征low-level-feature映射图,以及与low-level-feature映射图一样尺度的特征映射结果,解码器模块用于获得不同尺度的特征映射图像;
分别把不同尺度的特征映射图像进行拼接操作,得到与原始影像尺寸一致的遥感影像特征图,然后将不同尺度的遥感影像特征图进行加权融合为一个特征映射后,使用标准化指数概率函数Softmax得到深度学习网络模型粗提取结果;
(3)将深度学习网络模型的预测结果作为先验概率,输入到全连接条件随机场模型中进行边缘和细节整合优化,输出最终遥感影像水体信息精确提取结果。
2.根据权利要求1所述的一种多尺度特征支持的遥感影像水体信息精确分割方法,其特征在于:步骤(1)的具体实现方式如下,
(1.1)对影像分级分尺度分割是指原始图像矩阵被分解为不同像素宽度的子矩阵,然后采用分级扩张裁剪方法对影像进行分尺度多次裁块;
假设初级最小的背景域S0(x,y)设置为n*n个像素,当执行第m次扩张k倍的裁剪时,场景感知域扩大了k2m倍,也就是说扩张裁剪后的影像块提供了最小尺度裁块的k2m-1倍的邻域场景信息,其中扩张后的场景感知域大小S与扩张次数m和扩大倍数k的关系式如下:
S(x,y)=k2m·S0(x,y)k∈(0,+∞)
继而得到富含不同尺度的影像裁块集合;
(1.2)设定一个最适尺度作为基准尺度,将其他尺度的影像裁块按照遥感影像尺度空间集合变化的方法进行相应的升降尺度操作至标准尺度,得到统一尺寸的影像样本集。
3.根据权利要求1所述的一种多尺度特征支持的遥感影像水体信息精确分割方法,其特征在于:步骤(2)中编码器模块的结构是以ResNet-50模型作为主体网络,其中ResNet-50网络包含5个卷积块,分别为con1.x,con2.x,con3.x,con4.x,con5.x,将第5个卷积块con5.x中将卷积方式改为空洞卷积,并在第5个卷积块con5.x之后连接ASPP计算模块,具体实现如下,
将第1层卷积池化结果作为low level feature 1,而第2个卷积块con2.x中第一个bottleneck building block的计算结果作为low level feature 2,将第二层低层特征映射插值拉伸至第1层尺寸大小,统一两个尺度的特征以使低层次的特征图像会拥有更多的全局信息;然后通过一层1*1、通道为64的卷积滤波器,作为最终的low-level feature映射图;con3.x和con4.x保持Resnet50中的结构,在第5个卷积块con5.x中将卷积方式改为空洞卷积atrous convolution,在这一卷积块计算结果后连接ASPP计算模块,对第1-4卷积块计算后得到的特征使用不同扩张率的空洞池化卷积来并行计算得到特征中的不同尺度语义信息;其中ASPP计算模块包含1个1*1卷积层和3个3*3空洞卷积层和一个全局平均池化层,将ASPP计算模块中5层计算的特征进行特征连接为一个特征映射后输入到1个1*1卷积滤波器中,再将计算结果进行上采样计算得到与之前计算的最终low-level-feature映射图一样尺度的特征映射结果。
4.根据权利要求3所述的一种多尺度特征支持的遥感影像水体信息精确分割方法,其特征在于:步骤(2)中解码器模块将初级卷积特征low-level-feature映射图与编码器模块中输出的特征映射结果进行连接,对连接后的特征进行3次卷积计算,得到维度为2的预测特征,最后采用双线性上采样方法得到不同尺度的模型特征映射图像。
5.根据权利要求1所述的一种多尺度特征支持的遥感影像水体信息精确分割方法,其特征在于:步骤(2)中使用加权融合的方法对不同尺度的遥感影像特征图赋予不同权值,进行特征融合,融合公式为:
Figure FDA0002228362120000031
式中Fk(P;k)表示融合后的特征映射,k表示分类的数量,此模型为二分类模型k=2,S表示尺度的数量,ωs表示每个尺度的预测特征映射所分配的权重,且
Figure FDA0002228362120000032
D(Ps)表示第s个尺度的遥感影像特征图,是二维矩阵;
最后对融合后的特征映射矩阵使用标准化指数概率函数Softmax来得到当前像素点的标签概率值,并对概率图在每个像素处进行分类,水体概率大的像素则被标记为水体。
6.根据权利要求1所述的一种多尺度特征支持的深度学习遥感影像水体信息精确分割方法,其特征在于:步骤(3)的具体实现方式如下,
步骤(3.1)将深度学习网络模型进行尺度融合后得到的像素初预测分类图作为先验概率,添加全连接条件随机场模型,简称CRF模型,以此来求解分类的最大后验概率,具体为:
设X为CRF模型输入的遥感影像,xi∈X,Y为深度学习网络模型的预测标签yi∈Y,yi与xi节点一一对应,构成CRF图模型中每个结点,故整幅图像的联合分布概率表示为:
其中Z为配分函数,Z=∑Yexp{-E(y,x)},E(y,x)是全连接条件随机场的能量函数,在此公式中在全连接条件下的能量函数定义为一元项∑iΨμ(yi),和二元项∑i≠jΨp(yi,yj,xij)的和;
Figure FDA0002228362120000042
式中一元项是所有一元位势的集合,其中Ψμ(yi)为一元位势函数二元项是所有成对势能的集合;
(3.2)通过最小化条件似然与联合分布概率之间的K-L散度,通过不断迭代更新各项独立似然函数,从而计算CRF模型的最优解;
(3.3)然后采用分段训练的方法分步对CRF模型中的各个参数进行迭代学习,直至似然函数值最大化;
(3.4)通过计算每个像素点的各个标签的概率值,水体概率高的被标记为水体,从而得到水体地物目标精确提取结果。
CN201910959201.7A 2019-10-10 2019-10-10 一种多尺度特征支持的遥感影像水体信息精确分割方法 Active CN110781775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910959201.7A CN110781775B (zh) 2019-10-10 2019-10-10 一种多尺度特征支持的遥感影像水体信息精确分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910959201.7A CN110781775B (zh) 2019-10-10 2019-10-10 一种多尺度特征支持的遥感影像水体信息精确分割方法

Publications (2)

Publication Number Publication Date
CN110781775A true CN110781775A (zh) 2020-02-11
CN110781775B CN110781775B (zh) 2022-06-14

Family

ID=69384976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910959201.7A Active CN110781775B (zh) 2019-10-10 2019-10-10 一种多尺度特征支持的遥感影像水体信息精确分割方法

Country Status (1)

Country Link
CN (1) CN110781775B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462124A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于DeepLabV3+的遥感卫星云检测方法
CN111582102A (zh) * 2020-04-28 2020-08-25 中国科学院空天信息创新研究院 一种遥感数据地物要素精细化分类方法及装置
CN111680702A (zh) * 2020-05-28 2020-09-18 杭州电子科技大学 一种使用检测框实现弱监督图像显著性检测的方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
CN112001214A (zh) * 2020-05-18 2020-11-27 天津大学 一种基于高分辨率遥感图像的土地分类方法
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112435271A (zh) * 2020-12-02 2021-03-02 电子科技大学中山学院 一种应用于激光光斑质量测量的灼烧轮廓分割方法
CN112560716A (zh) * 2020-12-21 2021-03-26 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN112560719A (zh) * 2020-12-21 2021-03-26 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN112857268A (zh) * 2021-01-21 2021-05-28 北京百度网讯科技有限公司 对象面积测量方法、装置、电子设备和存储介质
CN112949416A (zh) * 2021-02-04 2021-06-11 东华理工大学 一种监督的高光谱多尺度图卷积分类方法
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113312993A (zh) * 2021-05-17 2021-08-27 北京大学 一种基于PSPNet的遥感数据土地覆盖分类方法
CN113567981A (zh) * 2021-06-28 2021-10-29 中国电建集团华东勘测设计研究院有限公司 一种基于sar影像的洪涝风险区自动提取方法
CN113903007A (zh) * 2021-12-10 2022-01-07 宁波弘泰水利信息科技有限公司 一种用于水利行业的智能场景分析系统
CN116486086A (zh) * 2023-04-28 2023-07-25 安徽星太宇科技有限公司 一种基于热红外遥感影像的目标检测方法
CN116486273A (zh) * 2023-06-20 2023-07-25 南昌工程学院 一种小样本遥感图像水体信息提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052966A (zh) * 2017-12-08 2018-05-18 重庆邮电大学 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110070552A (zh) * 2019-05-07 2019-07-30 西南石油大学 一种基于语义分割的岩石图像孔隙类型识别方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052966A (zh) * 2017-12-08 2018-05-18 重庆邮电大学 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN110059758A (zh) * 2019-04-24 2019-07-26 海南长光卫星信息技术有限公司 一种基于语义分割的遥感影像养殖塘检测方法
CN110070552A (zh) * 2019-05-07 2019-07-30 西南石油大学 一种基于语义分割的岩石图像孔隙类型识别方法
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANJUN LI等: "A Novel Semantic Segmentation Algorithm Using a Hierarchical Adjacency Dependent Network", 《IEEE ACCESS》 *
LIANG-CHIEH CHEN等: "Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
张鑫禄 等: "基于DeepLabv3架构的高分辨率遥感图像分类", 《海洋测绘》 *
王恩德等: "基于神经网络的遥感图像语义分割方法", 《光学学报》 *
胡美玉 等: "基于深度卷积神经网络的语义地图构建", 《机器人》 *
陈前等: "基于深度学习的高分遥感影像水体提取模型研究", 《地理与地理信息科学》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462124A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于DeepLabV3+的遥感卫星云检测方法
CN111582102A (zh) * 2020-04-28 2020-08-25 中国科学院空天信息创新研究院 一种遥感数据地物要素精细化分类方法及装置
CN111582102B (zh) * 2020-04-28 2020-12-29 中国科学院空天信息创新研究院 基于多模态端到端网络的遥感数据精细化分类方法及装置
CN112001214A (zh) * 2020-05-18 2020-11-27 天津大学 一种基于高分辨率遥感图像的土地分类方法
CN111680702B (zh) * 2020-05-28 2022-04-01 杭州电子科技大学 一种使用检测框实现弱监督图像显著性检测的方法
CN111680702A (zh) * 2020-05-28 2020-09-18 杭州电子科技大学 一种使用检测框实现弱监督图像显著性检测的方法
CN111767801A (zh) * 2020-06-03 2020-10-13 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111767801B (zh) * 2020-06-03 2023-06-16 中国地质大学(武汉) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112419333B (zh) * 2020-11-17 2022-04-29 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112435271B (zh) * 2020-12-02 2023-06-20 电子科技大学中山学院 一种应用于激光光斑质量测量的灼烧轮廓分割方法
CN112435271A (zh) * 2020-12-02 2021-03-02 电子科技大学中山学院 一种应用于激光光斑质量测量的灼烧轮廓分割方法
CN112560716B (zh) * 2020-12-21 2024-05-28 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN112560719A (zh) * 2020-12-21 2021-03-26 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112560719B (zh) * 2020-12-21 2023-07-04 南京信息工程大学 基于多尺度卷积-多核池化的高分辨率影像水体提取方法
CN112560716A (zh) * 2020-12-21 2021-03-26 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN112857268A (zh) * 2021-01-21 2021-05-28 北京百度网讯科技有限公司 对象面积测量方法、装置、电子设备和存储介质
US11669990B2 (en) 2021-01-21 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Object area measurement method, electronic device and storage medium
CN112837320B (zh) * 2021-01-29 2023-10-27 华中科技大学 一种基于并行空洞卷积的遥感影像语义分割方法
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN112949416A (zh) * 2021-02-04 2021-06-11 东华理工大学 一种监督的高光谱多尺度图卷积分类方法
CN112949416B (zh) * 2021-02-04 2022-10-04 东华理工大学 一种监督的高光谱多尺度图卷积分类方法
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113312993B (zh) * 2021-05-17 2022-07-26 北京大学 一种基于PSPNet的遥感数据土地覆盖分类方法
CN113312993A (zh) * 2021-05-17 2021-08-27 北京大学 一种基于PSPNet的遥感数据土地覆盖分类方法
CN113567981B (zh) * 2021-06-28 2023-08-08 中国电建集团华东勘测设计研究院有限公司 一种基于sar影像的洪涝风险区自动提取方法
CN113567981A (zh) * 2021-06-28 2021-10-29 中国电建集团华东勘测设计研究院有限公司 一种基于sar影像的洪涝风险区自动提取方法
CN113903007A (zh) * 2021-12-10 2022-01-07 宁波弘泰水利信息科技有限公司 一种用于水利行业的智能场景分析系统
CN116486086B (zh) * 2023-04-28 2023-10-03 安徽星太宇科技有限公司 一种基于热红外遥感影像的目标检测方法
CN116486086A (zh) * 2023-04-28 2023-07-25 安徽星太宇科技有限公司 一种基于热红外遥感影像的目标检测方法
CN116486273B (zh) * 2023-06-20 2023-09-01 南昌工程学院 一种小样本遥感图像水体信息提取方法
CN116486273A (zh) * 2023-06-20 2023-07-25 南昌工程学院 一种小样本遥感图像水体信息提取方法

Also Published As

Publication number Publication date
CN110781775B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110781775B (zh) 一种多尺度特征支持的遥感影像水体信息精确分割方法
Chen et al. Research of improving semantic image segmentation based on a feature fusion model
CN111563902B (zh) 一种基于三维卷积神经网络的肺叶分割方法及系统
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN110276402B (zh) 一种基于深度学习语义边界增强的盐体识别方法
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
CN112001218A (zh) 一种基于卷积神经网络的三维颗粒类别检测方法及系统
CN114694038A (zh) 基于深度学习的高分辨率遥感影像分类方法及系统
CN110363178B (zh) 基于局部和全局深度特征嵌入的机载激光点云分类方法
CN110796667A (zh) 基于改进小波聚类的彩色图像分割方法
CN114283162A (zh) 基于对比自监督学习的现实场景图像分割方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
Wang et al. A comprehensive survey of optical remote sensing image segmentation methods
CN111401380A (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法
CN103578107A (zh) 一种交互式图像分割方法
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN117115563A (zh) 基于区域语义感知的遥感土地覆盖分类方法及系统
Zheng et al. Dcu-net: Self-supervised monocular depth estimation based on densely connected u-shaped convolutional neural networks
CN115018864B (zh) 基于自适应预处理的三阶段肝脏肿瘤图像分割方法
CN116385720A (zh) 一种乳腺癌病灶超声波图像分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant