CN112149547B - 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 - Google Patents

基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 Download PDF

Info

Publication number
CN112149547B
CN112149547B CN202010979542.3A CN202010979542A CN112149547B CN 112149547 B CN112149547 B CN 112149547B CN 202010979542 A CN202010979542 A CN 202010979542A CN 112149547 B CN112149547 B CN 112149547B
Authority
CN
China
Prior art keywords
image
remote sensing
water body
pyramid
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010979542.3A
Other languages
English (en)
Other versions
CN112149547A (zh
Inventor
陈苏婷
刘瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010979542.3A priority Critical patent/CN112149547B/zh
Publication of CN112149547A publication Critical patent/CN112149547A/zh
Application granted granted Critical
Publication of CN112149547B publication Critical patent/CN112149547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于图像金字塔引导和像素对匹配的遥感影像水体识别方法。通过图像尺度金字塔输入保证图像浅层特征被保留和传递，然后结合不同层次卷积神经网络输出特征，得到图像特征金字塔，通过双线性插值将各层输出的特征图恢复到原图大小，基于单像素点构建融合浅层纹理特征与深层语义信息的多尺度特征向量，随后送入全连接层以获得初始预测结果。对于全连接层输出，首先，基于扩张卷积引入扩张率来衡量目标像素与限定区域内一组像素的相似性，通过构建基于匹配度的相似性损失函数，再结合基于语义分割的相似性损失函数构建网络整体损失函数，训练神经网络，完成水体识别模型的构建，从而在输入目标遥感影像时，精准完成水体识别。

Description

基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
技术领域
本发明涉及基于图像金字塔引导和像素对匹配的遥感影像水体识别方法，属于电子、通讯、信息工程领域。
背景技术
水体识别，在军事侦察、环境保护、测绘、地理等领域，都是一个重要的研究课题。遥感技术的发展使得人们提取水体信息不再通过实地测量，而是对遥感影像进行解析。遥感影像与普通影像相比，具有更加丰富的特征信息，其在地物可分性方面要强于普通影像。如何从背景复杂、地物信息丰富的遥感影像中对水体特征进行准确表达是水体识别的关键。
遥感数据不仅包含了地物的光谱信息，还含有地物的空间分布信息，所含信息量复杂，给水体识别带来了挑战，传统的水体识别算法基于人工设计特征来完成水陆分割。但是一般来说，人工设计特征的方法，其特征提取能力和特征描述能力是有限的，不能充分利用上下文信息进行水体提取。深度卷积神经网络具有强大的特征表达能力，因此在图像解译中非常具有优越性，利用深度卷积神经网络对遥感影像中的水体特征进行表征，避免了人为提取特征没有充分利用上下文信息的不足。本发明利用深度卷积神经网络来对水体特征进行学习，提出一种基于图像金字塔引导和像素对匹配的遥感影像水体识别方法。该方法首先利用多尺度图像来引导骨干网进行更好的特征学习，在获得深层语义特征的同时保留图像浅层细节，然后构建了单像素点一维特征向量送入全连接层来获得标签预测，最后通过像素对匹配方法构建了基于匹配度的损失函数，结合提出的语义分割损失函数进行联合训练，提高像素分类精度，针对复杂的自然水体边缘也有较好的分割效果。
发明内容
本发明于提出了基于图像金字塔引导和像素对匹配的遥感影像水体识别方法。首先执行如下步骤A至步骤D，获得水体识别模型；然后执行步骤i至步骤ii，应用水体识别模型，针对目标遥感影像进行识别；
步骤A.收集各幅样本遥感影像，并分别针对各幅样本遥感影像，通过下采样构建样本遥感影像所对应的图像尺度金字塔，且进一步构建该图像尺度金字塔中各层尺度特征图分别对应的线性残差块，然后进入步骤B；
步骤B.分别针对各幅样本遥感影像，利用预设的神经网络算法，结合样本遥感影像所对应图像尺度金字塔中各层尺度特征图分别对应的线性残差块，构建该样本遥感影像所对应的图像特征金字塔；进而获得各幅样本遥感影像分别所对应的图像特征金字塔,然后进入步骤C；
步骤C.分别针对各幅样本遥感影像，针对样本遥感影像中每个像素点，通过图像特征金字塔构建一维特征向量，获得该样本遥感影像所对应的像素特征向量矩阵；进而获得各幅样本遥感影像分别所对应的像素特征向量矩阵,然后进入步骤D；
步骤D.以各幅样本遥感影像分别所对应的图像特征金字塔作为网络源头输入，样本遥感影像所对应的像素特征向量矩阵作为网络全连接层输入，样本遥感影像是否为水体作为输出，结合预设网络总体损失函数，应用各幅样本遥感影像，针对目标神经网络进行训练，获得水体识别模型；
步骤i.按照步骤A至步骤C的方法，针对目标遥感影像进行处理，获得目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵；
步骤ii.根据目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵，应用水体识别模型，获得对目标遥感影像的识别结果。
作为本发明的一种优选方案：步骤C首先通过双线性插值算法将图像特征金字塔的对应于不同尺度的各层特征图恢复至图像原始尺寸，再针对图像的每个像素点构建一维特征向量。
作为本发明的一种优选方案：步骤A中的线性残差块通过如下算法计算：
设定样本水体的遥感影像对应的图像尺寸为3×H×W，H为图像的高，W为图像的宽，通过下采样构建图像尺度金字塔：
Figure GDA0004191399250000021
其中，
Figure GDA0004191399250000022
表示图像尺度金字塔的第i层；
分别针对图像尺度金字塔的每一层尺度特征图，依次经过1×1卷积、3×3卷积、1×1卷积计算之后，再叠加该层尺度特征图经过1×1卷积得到的图像特征，得到对应于该层尺度特征图的线性残差块。
作为本发明的一种优选方案：通过步骤B1到步骤B2得到步骤B中的图像特征金字塔：
步骤B1.利用预设的神经网络算法对样本水体的遥感影像进行水体特征提取，级联步骤A中的第一层尺度特征图对应的线性残差块，得到图像特征金字塔的第一层特征图；
步骤B2.将步骤B1中获取的图像特征金字塔的第一层特征图作为第二层神经网络算法的输入，得到第二层神经网络算法的输出，级联步骤A中的第二层尺度特征图对应的线性残差块，得到图像特征金字塔的第二层特征图，依次类推，得到了图像特征金字塔全部层次的特征图。
作为本发明的一种优选方案：步骤D中用于训练水体识别模型的神经网络的总体损失函数按照如下公式计算得到：
Ltotal＝αLPPM+βLSeg
α+β＝1
其中，Ltotal表示网络的总体损失函数，LPPM表示基于匹配度的相似性损失函数，LSeg表示基于语义分割的相似性损失函数，α为基于匹配度的相似性损失函数的权重，0≤α≤1，β为基于语义分割的相似性损失函数的权重，0≤β≤1。
作为本发明的一种优选方案：通过步骤D1至步骤D2来构建基于匹配度的相似性损失函数:
步骤D1.选定样本水体的遥感影像的一个像素点作为目标像素点，通过步骤D1-1至步骤D1-2计算该目标像素点的相似性损失函数值：
步骤D1-1.针对目标像素点的每个选定的扩张率r，通过如下步骤D1-1-1至D1-1-3计算该目标像素点在该扩张率下的相似性损失函数值：
步骤D1-1-1.根据选定扩张率r来确定目标像素点x(i,j)的邻域像素点集合，邻域像素集合取值如下公式所示：
Figure GDA0004191399250000032
其中，Ir(i,j)表示选定扩张率r(r1,r2)的邻域像素集合，r1表示扩张率r(r1,r2)在水平方向的速率，r2表示扩张率r(r1,r2)在垂直方向的速率；
步骤D1-1-2.根据语义标签按照如下公式计算目标像素点x(i,j)与邻域像素点I(i,j)的相似性真值：
Figure GDA0004191399250000031
其中，lx(i,j)和lI(i,j)是像素x(i,j)和I(i,j)的语义标签，s(x(i,j),I(i,j))、s(I(i,j),x(i,j))表示目标像素点x(i,j)与邻域像素点I(i,j)的相似性，当两个像素语义标签相同时，赋值为1，否则为0；
步骤D1-1-3.用匹配度来定义目标像素点x(i,j)与选定扩张率r(r1,r2)的N个邻域像素的相似性情况，并分为N+1个等级，即m0至mN,mn表示对于目标像素点x(i,j)相似性真值为1的领域像素数量,其中0≤n≤N，遍历整幅图像获取在该扩张率下m0至mN的频率，则目标像素点在该扩张率下的相似性损失函数Lr按照如下公式计算：
Figure GDA0004191399250000041
Figure GDA0004191399250000042
其中，freq(mN,r)表示在扩张率r(r1,r2)下匹配度mN的频率，sum(y′＝1)表示与目标像素的相似性真值y′为1的邻域像素数量，freq(msum(y′＝1),r)表示在扩张率r(r1,r2)下目标像素点的匹配度msum(y′＝1)的频率，γ为聚焦参数，ps∈[0,1]表示预估的相似性真值为1的概率；
步骤D1-2.目标像素点的相似性损失函数Lpr通过累加各个扩张率下的相似性损失函数得到，具体按照如下公式计算得到：
Figure GDA0004191399250000043
其中，r代表选定的不同的扩张率的集合；
步骤D2.针对样本水体的遥感影像图像的每一个像素点，按照上述步骤D1-1至步骤D1-2获得该像素点的相似性损失函数，累加各个像素点的相似性损失函数，得到该样本水体的遥感影像的相似性损失函数LPPM，如下公式所示：
Figure GDA0004191399250000044
/>
其中，p为所训练的样本水体的遥感影像图像的像素索引。
作为本发明的一种优选方案：基于语义分割的相似性损失函数通过以下公式来计算：
Lseg＝-∑pΣcgp(1-sp,c)2log(sp,c)
其中，p为所训练的样本水体的遥感影像图像，c∈[0,1]表示训练集图像像素类别，sp,c为像素p预测为类别c的概率，gp∈[0,1]为其样本标签。
作为本发明的一种优选方案：步骤B中的神经网络算法为deeplabv3+编码阶段算法。
本发明所述的基于图像金字塔引导和像素对匹配的遥感影像水体识别的方法，采用以上技术方案与现有技术相比，具有以下技术效果：提出了一种基于图像金字塔引导和像素对匹配的遥感影像水体识别方法。该网络结构以假彩色模式下的遥感影像作为网络输入，同时通过图像金字塔来引导深层卷积神经网络学习更好的特征用于分割，并构建了单像素点多尺度特征融合向量保留了像素位置信息，有效分割边缘。最后通过像素对匹配方法来进一步提高分割精度。
附图说明
图1为基于图像金字塔引导和像素对匹配的水体识别算法框图；
图2为构建图像特征金字塔的流程图；
图3为构建单像素点一维特征向量的流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
由于目前的水体识别算法对于形状不规则的复杂自然水体识别效果差，细小水体在特征学习阶段被忽略，水体边界易出现误分现象。这就需要一种可以保留多尺度空间信息和提高边界像素分类精确度的方法。深度卷积神经网络具有强大的特征表达能力，因此在图像解译中非常具有优越性，其可以对不同层次的特征进行提取。本发明基于深度卷积神经网络提出一种图像金字塔引导和像素对匹配的遥感影像水体识别框架。该框架以标准假彩色遥感影像作为输入，经过逐层抽象和表示，逐步将输入数据转换为一组具备较高描述能力的特征。深度卷积神经网络的各层输出同样具有描述能力，每个网络层次都是数据在不同层次的抽象和描述，对于图像语义分割，浅层网络输出的是图像的纹理细节信息，深层网络则输出图像的高层语义信息，由浅至深自动建立输入图像到标签图像的关联与映射。本发明的创新点在于提出了一种图像金字塔引导和像素对匹配的水体识别方法。深层网络难以保留图像细节，因此本发明首先将不同网络层次的输出特征融合，构建同时保留深层语义信息与浅层空间信息的一维特征向量送入全连接层。然后基于扩张卷积的概念提出一种像素对匹配方法，对目标像素与所限定范围内的一组像素，根据地面真值进行相似度衡量并调整，进一步细化边缘。
如图1所示，为本发明所提出的一种基于图像金字塔引导和像素对匹配的水体识别算法框图，首先，使用遥感影像的尺度金字塔作为算法输入。同时，骨干网采用deeplabv3+编码阶段进行水体特征提取，图像金字塔结构提取各尺度下原始图像的空间结构信息对应骨干网层次输入，确保每一层输出的特征图都具有丰富的细节纹理信息与语义信息。然后，提取每一层输出的特征图，进行双线性插值来恢复图像分辨率同时保留位置信息，级联之后构建单像素点特征向量，避免了特征错位和信息不平衡问题。最后利用像素对匹配方法来进一步提高分割准确度。
具体实施方式如下：首先执行如下步骤A至步骤D，获得水体识别模型；然后执行步骤i至步骤ii，应用水体识别模型，针对目标遥感影像进行识别；
步骤A.与通常情况下在训练阶段直接使用深度神经网络获得多尺度特征的方式不同，本发明先采用图像金字塔来引导网络学习更好的特征用于分割，这意味着不同尺度的特征都具有丰富的空间信息和足够的语义信息。首先收集各幅样本遥感影像，并分别针对各幅样本遥感影像，通过下采样(downsampling)构建样本遥感影像所对应的图像尺度金字塔，且进一步构建该图像尺度金字塔中各层尺度特征图分别对应的线性残差块，线性残差块的构建方法通过如下算法获取：
设定样本水体的遥感影像对应的图像尺寸为3×H×W，H为图像的高，W为图像的宽，通过下采样构建图像尺度金字塔：
Figure GDA0004191399250000061
其中，
Figure GDA0004191399250000062
表示图像尺度金字塔的第i层；
如图2所示，分别针对图像尺度金字塔的每一层尺度特征图，依次经过1×1卷积、3×3卷积、1×1卷积计算之后，再叠加该层尺度特征图经过1×1卷积得到的图像特征，得到对应于该层尺度特征图的线性残差块，使用浅层网络提取图像多尺度特征有两个原因：一方面，可以获取空间或细节信息，深度卷积会丢失这些信息。另一方面，轻量化设计不会使计算复杂度增加太多，如下步骤B所示，通过对这两类特征进行级联输送至下一层，增强细小水体或背景的识别效果；
步骤B.分别针对各幅样本遥感影像，利用deeplabv3+编码阶段算法，结合样本遥感影像所对应图像尺度金字塔中各层尺度特征图分别对应的线性残差块，通过步骤B1到步骤B2构建该样本遥感影像所对应的图像特征金字塔，确保每一层输出的特征图都具有丰富的细节纹理信息与语义信息：
步骤B1.利用deeplabv3+编码阶段算法对样本水体的遥感影像进行水体特征提取，级联步骤A中的第一层尺度特征图对应的线性残差块，得到图像特征金字塔的第一层特征图；
步骤B2.将步骤B1中获取的图像特征金字塔的第一层特征图作为第二层deeplabv3+编码阶段算法的输入，得到第二层deeplabv3+编码阶段算法的输出，级联步骤A中的第二层尺度特征图对应的线性残差块，得到图像特征金字塔的第二层特征图，依次类推，得到了图像特征金字塔全部层次的特征图,图像金字塔引导模块F的输出可表示为：
Figure GDA0004191399250000071
Figure GDA0004191399250000072
/>
其中f(·)表示图像金字塔引导结构，r(·)表示线性残差块，
Figure GDA0004191399250000073
表示第i级的特征，不同层次的图像特征图构成图像特征金字塔F，获得图像特征金字塔F之后进入步骤C；
步骤C.通常情况下，利用特征金字塔的方式是将其首先转移到上采样层，通过重复叠加卷积层与上采样层逐渐恢复图像分辨率进行分类。然而，这种传统方式不适合于水体分割，水体形状大小在图像上的差异巨大，重复卷积层与上采样层的操作极易产生特征错位，混淆水体区域和背景区域，不利于精准分割。因此，本发明以不同的方式融合多尺度特征。如图3所示，本发明分别针对各幅样本遥感影像，对所得到的图像特征金字塔F，采用双线性插值补充图像尺寸，将各级图像特征图均恢复至原图大小，如下式所示：
Figure GDA0004191399250000074
恢复至原图大小之后，对每个像素位置都构建对应的一维特征向量，进而获得了该样本遥感影像所对应的像素特征向量矩阵；进而获得了各幅样本遥感影像分别所对应的像素特征向量矩阵,最后送入全连接层，利于信息定位的同时，避免预测阶段周围像素对中心像素的干扰，然后进入步骤D；
步骤D.以各幅样本遥感影像分别所对应的图像特征金字塔作为网络源头输入，样本遥感影像所对应的像素特征向量矩阵作为网络全连接层(Full connection layer)输入，样本遥感影像是否为水体作为输出，结合总体的网络损失函数，应用各幅样本遥感影像，针对目标神经网络进行训练，获得水体识别模型，本发明采用像素对匹配(Pixel pairmatching)的方法在结构预测中引入显式约束来提高分割模型性能的有效途径。通过直接监督来开发结构信息，而只需少量的额外计算。具体来说，方法明确地要求网络预测像素的语义标签和限定区域内周围像素之间的关系。因而，引入总体的网络损失函数，如下公式所示：
Ltotal＝αLPPM+βLSeg
α+β＝1
其中，Ltotal表示网络的总体损失函数，LPPM表示基于匹配度的相似性损失函数，LSeg表示基于语义分割的相似性损失函数，α为基于匹配度的相似性损失函数的权重，0≤α≤1，β为基于语义分割的相似性损失函数的权重，0≤β≤1。
基于匹配度的相似性损失函数LPPM通过步骤D1至步骤D2来构建：
步骤D1.选定样本水体的遥感影像的一个像素点作为目标像素点，通过步骤D1-1至步骤D1-2计算该目标像素点的相似性损失函数值：
步骤D1-1.针对目标像素点的每个选定的扩张率r，通过如下步骤D1-1-1至D1-1-3计算该目标像素点在该扩张率下的相似性损失函数值：
步骤D1-1-1.由于对全图像素点进行相似性度量会导致计算量巨大、模型训练困难，本发明提出的算法只考虑限制区域内的像素，采取与扩张卷积相同的方式，从具有合理距离的像素进行稀疏采样，从而大大降低了计算复杂度。因此，首先根据选定扩张率r来确定目标像素点x(i,j)的邻域像素点集合，邻域像素集合取值如下公式所示：
Figure GDA0004191399250000081
/>
其中，Ir(i,j)表示选定扩张率r(r1,r2)的邻域像素集合，r1表示扩张率r(r1,r2)在水平方向的速率，r2表示扩张率r(r1,r2)在垂直方向的速率；
步骤D1-1-2.在水体识别中，通常用二值信号来表示一对像素的相似性，用像素相似性来衡量成对像素关系，本发明根据语义标签按照如下公式计算目标像素点x(i,j)与邻域像素点I(i,j)的相似性真值：
Figure GDA0004191399250000082
其中，lx(i,j)和lI(i,j)是像素x(i,j)和I(i,j)的语义标签，s(x(i,j),I(i,j))、s(I(i,j),x(i,j))表示目标像素点x(i,j)与邻域像素点I(i,j)的相似性，当两个像素语义标签相同时，赋值为1，否则为0；
步骤D1-1-3.用匹配度来定义目标像素点x(i,j)与选定扩张率r(r1,r2)的8个邻域像素的相似性情况，并分为9个等级，即m0至m8,mn表示对于目标像素点x(i,j)相似性真值为1的领域像素数量,其中0≤n≤8，遍历整幅图像获取在该扩张率下m0至m8的频率，则目标像素点在该扩张率下的相似性损失函数Lr按照如下公式计算：
Figure GDA0004191399250000091
Figure GDA0004191399250000092
其中，freq(m8,r)表示在扩张率r(r1,r2)下匹配度m8的频率，sum(y′＝1)表示与目标像素的相似性真值y′为1的邻域像素数量，freq(msum(y′＝1),r)表示在扩张率r(r1,r2)下目标像素点的匹配度msum(y′＝1)的频率，采用Focal loss来输出除语义预测外的其他信息是为了减轻所提出的像素对匹配由于考虑计算开销成为一个局部结构信息捕获方法而带来的信号失衡，γ为聚焦参数，本实施例中设置为2，ps∈[0,1]表示预估的相似性真值为1的概率；
步骤D1-2.目标像素点的相似性损失函数Lpr通过累加各个扩张率下的相似性损失函数得到，具体按照如下公式计算得到：
Figure GDA0004191399250000093
其中，r代表选定的不同的扩张率的集合；
步骤D2.针对样本水体的遥感影像图像的每一个像素点，按照上述步骤D1-1至步骤D1-2获得该像素点的相似性损失函数，累加各个像素点的相似性损失函数，得到该样本水体的遥感影像的相似性损失函数LPPM，如下公式所示：
Figure GDA0004191399250000094
其中，p为所训练的样本水体的遥感影像图像的像素索引。
与基于匹配度的损失函数LPPM相似，基于语义分割的相似性损失函数LSeg通过以下公式来计算：
Lseg＝-∑p∑cgp(1-sp,c)2log(sp,c)
其中，p为所训练的样本水体的遥感影像图像的像素索引，c∈[0,1]表示训练集图像像素类别，sp,c为像素p预测为类别c的概率，gp∈[0,1]为其样本标签。
步骤i.按照步骤A至步骤C的方法，针对目标遥感影像进行处理，获得目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵；
步骤ii.根据目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵，应用水体识别模型，获得对目标遥感影像的识别结果。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.基于图像金字塔引导和像素对匹配的遥感影像水体识别方法,其特征在于，首先执行如下步骤A至步骤D，获得水体识别模型；然后执行步骤i至步骤ii，应用水体识别模型，针对目标遥感影像进行识别；
步骤A.收集各幅样本遥感影像，并分别针对各幅样本遥感影像，通过下采样构建样本遥感影像所对应的图像尺度金字塔，且进一步构建该图像尺度金字塔中各层尺度特征图分别对应的线性残差块，然后进入步骤B；
步骤A中的线性残差块通过如下算法计算：
设定样本水体的遥感影像对应的图像尺寸为3×H×W，H为图像的高，W为图像的宽，通过下采样构建图像尺度金字塔：
Figure FDA0004191399220000011
其中，
Figure FDA0004191399220000012
表示图像尺度金字塔的第i层；
分别针对图像尺度金字塔的每一层尺度特征图，依次经过1×1卷积、3×3卷积、1×1卷积计算之后，再叠加该层尺度特征图经过1×1卷积得到的图像特征，得到对应于该层尺度特征图的线性残差块；
步骤B.分别针对各幅样本遥感影像，利用预设的神经网络算法，结合样本遥感影像所对应图像尺度金字塔中各层尺度特征图分别对应的线性残差块，构建该样本遥感影像所对应的图像特征金字塔；进而获得各幅样本遥感影像分别所对应的图像特征金字塔,然后进入步骤C；
通过步骤B1到步骤B2得到步骤B中的图像特征金字塔：
步骤B1.利用预设的神经网络算法对样本水体的遥感影像进行水体特征提取，级联步骤A中的第一层尺度特征图对应的线性残差块，得到图像特征金字塔的第一层特征图；
步骤B2.将步骤B1中获取的图像特征金字塔的第一层特征图作为第二层神经网络算法的输入，得到第二层神经网络算法的输出，级联步骤A中的第二层尺度特征图对应的线性残差块，得到图像特征金字塔的第二层特征图，依次类推，得到了图像特征金字塔全部层次的特征图；
步骤C.分别针对各幅样本遥感影像，针对样本遥感影像中每个像素点，通过图像特征金字塔构建一维特征向量，获得该样本遥感影像所对应的像素特征向量矩阵；进而获得各幅样本遥感影像分别所对应的像素特征向量矩阵,然后进入步骤D；
步骤D.以各幅样本遥感影像分别所对应的图像特征金字塔作为网络源头输入，样本遥感影像所对应的像素特征向量矩阵作为网络全连接层输入，样本遥感影像是否为水体作为输出，结合预设网络总体损失函数，应用各幅样本遥感影像，针对目标神经网络进行训练，获得水体识别模型；
步骤D中用于训练水体识别模型的神经网络的总体损失函数按照如下公式计算得到：
Ltotal＝αLPPM+βLSeg
α+β＝1
其中，Ltotal表示网络的总体损失函数，LPPM表示基于匹配度的相似性损失函数，LSeg表示基于语义分割的相似性损失函数，α为基于匹配度的相似性损失函数的权重，0≤α≤1，β为基于语义分割的相似性损失函数的权重，0≤β≤1；
基于语义分割的相似性损失函数通过以下公式来计算：
Lseg＝-Σp∑cgp(1-sp,c)2log(sp,c)
其中，p为所训练的样本水体的遥感影像图像的像素索引，c∈[0,1]表示训练集图像像素类别，sp,c为像素p预测为类别c的概率，gp∈[0,1]为其样本标签；
通过步骤D1至步骤D2来构建基于匹配度的相似性损失函数:
步骤D1.选定样本水体的遥感影像的一个像素点作为目标像素点，通过步骤D1-1至步骤D1-2计算该目标像素点的相似性损失函数值：
步骤D1-1.针对目标像素点的每个选定的扩张率r，通过如下步骤D1-1-1至D1-1-3计算该目标像素点在该扩张率下的相似性损失函数值：
步骤D1-1-1.根据选定扩张率r来确定目标像素点x(i,j)的邻域像素点集合，邻域像素集合取值如下公式所示：
Figure FDA0004191399220000021
其中，Ir(i,j)表示选定扩张率r(r1,r2)的邻域像素集合，r1表示扩张率r(r1,r2)在水平方向的速率，r2表示扩张率r(r1,r2)在垂直方向的速率；
步骤D1-1-2.根据语义标签按照如下公式计算目标像素点x(i,j)与邻域像素点I(i,j)的相似性真值：
Figure FDA0004191399220000022
其中，lx(i,j)和lI(i,j)是像素x(i,j)和I(i,j)的语义标签，s(x(i,j),I(i,j))、s(I(i,j),x(i,j))表示目标像素点x(i,j)与邻域像素点I(i,j)的相似性，当两个像素语义标签相同时，赋值为1，否则为0；
步骤D1-1-3.用匹配度来定义目标像素点x(i,j)与选定扩张率r(r1,r2)的N个邻域像素的相似性情况，并分为N+1个等级，即m0至mN,mn表示对于目标像素点x(i,j)相似性真值为1的领域像素数量,其中0≤n≤N，遍历整幅图像获取在该扩张率下m0至mN的频率，则目标像素点在该扩张率下的相似性损失函数Lr按照如下公式计算：
Figure FDA0004191399220000031
FL(pt)＝-(1-pt)γlog(pt)where
Figure FDA0004191399220000032
其中，freq(mN,r)表示在扩张率r(r1,r2)下匹配度mN的频率，sum(y′＝1)表示与目标像素的相似性真值y′为1的邻域像素数量，freq(msum(y′＝1),r)表示在扩张率r(r1,r2)下目标像素点的匹配度msum(y′＝1)的频率，γ为聚焦参数，ps∈[0,1]表示预估的相似性真值为1的概率；
步骤D1-2.目标像素点的相似性损失函数Lpr通过累加各个扩张率下的相似性损失函数得到，具体按照如下公式计算得到：
Figure FDA0004191399220000033
其中，r代表选定的不同的扩张率的集合；
步骤D2.针对样本水体的遥感影像图像的每一个像素点，按照上述步骤D1-1至步骤D1-2获得该像素点的相似性损失函数，累加各个像素点的相似性损失函数，得到该样本水体的遥感影像的相似性损失函数LPPM，如下公式所示：
Figure FDA0004191399220000034
其中，p为所训练的样本水体的遥感影像图像的像素索引；
步骤i.按照步骤A至步骤C的方法，针对目标遥感影像进行处理，获得目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵；
步骤ii.根据目标遥感影像所对应的图像特征金字塔、以及像素特征向量矩阵，应用水体识别模型，获得对目标遥感影像的识别结果。
2.根据权利要求1所述的基于图像金字塔引导和像素对匹配的遥感影像水体识别方法，其特征在于，步骤C首先通过双线性插值算法将图像特征金字塔的对应于不同尺度的各层特征图恢复至图像原始尺寸，再针对图像的每个像素点构建一维特征向量。
3.根据权利要求1所述的基于图像金字塔引导和像素对匹配的遥感影像水体识别方法，其特征在于，步骤B中的神经网络算法为deeplabv3+编码阶段算法。
CN202010979542.3A 2020-09-17 2020-09-17 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 Active CN112149547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010979542.3A CN112149547B (zh) 2020-09-17 2020-09-17 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979542.3A CN112149547B (zh) 2020-09-17 2020-09-17 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法

Publications (2)

Publication Number Publication Date
CN112149547A CN112149547A (zh) 2020-12-29
CN112149547B true CN112149547B (zh) 2023-06-02

Family

ID=73892499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979542.3A Active CN112149547B (zh) 2020-09-17 2020-09-17 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法

Country Status (1)

Country Link
CN (1) CN112149547B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112450A (zh) * 2021-03-05 2021-07-13 浙江工业大学 一种图像金字塔引导的遥感影像小目标检测方法
CN113313669B (zh) * 2021-04-23 2022-06-03 石家庄铁道大学 一种地铁隧道表面病害图像顶层语义特征增强方法
CN113076926B (zh) * 2021-04-25 2022-11-18 华南理工大学 一种带语义引导的多尺度目标检测方法及系统
CN113159051B (zh) * 2021-04-27 2022-11-25 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN113140005B (zh) * 2021-04-29 2024-04-16 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质
CN114445379B (zh) * 2022-01-28 2023-04-07 江苏海辉塑胶制品有限公司 基于图像处理的注塑件分类方法与系统
CN116129278B (zh) * 2023-04-10 2023-06-30 牧马人(山东)勘察测绘集团有限公司 一种基于遥感影像的土地利用分类识别系统
CN116863352B (zh) * 2023-09-05 2024-01-02 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法
CN117036962B (zh) * 2023-10-08 2024-02-06 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110443805A (zh) * 2019-07-09 2019-11-12 浙江大学 一种基于像素密切度的语义分割方法
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111126308A (zh) * 2019-12-26 2020-05-08 西南交通大学 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法
CN111178149A (zh) * 2019-12-09 2020-05-19 中国资源卫星应用中心 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN111368882A (zh) * 2020-02-20 2020-07-03 南京信息工程大学 一种基于简化独立成分分析和局部相似性的立体匹配方法
CN111368846A (zh) * 2020-03-19 2020-07-03 中国人民解放军国防科技大学 一种基于边界语义分割的道路积水识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN109934154A (zh) * 2019-03-08 2019-06-25 北京科技大学 一种遥感影像变化检测方法及检测装置
CN109934200A (zh) * 2019-03-22 2019-06-25 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110443805A (zh) * 2019-07-09 2019-11-12 浙江大学 一种基于像素密切度的语义分割方法
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111178149A (zh) * 2019-12-09 2020-05-19 中国资源卫星应用中心 一种基于残差金字塔网络的遥感影像水体自动提取方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111126308A (zh) * 2019-12-26 2020-05-08 西南交通大学 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法
CN111368882A (zh) * 2020-02-20 2020-07-03 南京信息工程大学 一种基于简化独立成分分析和局部相似性的立体匹配方法
CN111368846A (zh) * 2020-03-19 2020-07-03 中国人民解放军国防科技大学 一种基于边界语义分割的道路积水识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion;Pingping Zhang等;《ICCV》;第7801-7810页 *
Water Body Semantic Information Description and Recognition Based on Multimodal Models;Lv Yalong等;《International Journal of Computational Intelligence and Applications》;第18卷(第2期);第1-17页 *
Water-Body Segmentation for Multi-Spectral Remote Sensing Images by Feature Pyramid Enhancement and Pixel Pair Matching;Suting Chen等;《International Journal of Remote Sensing》;第42卷(第13期);第5025–5043页 *
基于深度学习的多光谱遥感影像水体识别;刘瑶;《中国优秀硕士学位论文全文数据库 工程科技II辑》(第（2022）01期);C028-240 *
基于深度学习的寒旱区遥感影像河流提取;沈瑜等;《农业机械学报》;第51卷(第7期);第192-201页 *
基于稠密金字塔网络的遥感影像建筑物提取;韩彬彬等;《国外电子测量技术》;第39卷(第5期);第5-10页 *
基于编解码的图像语义分割方法研究及应用;刘文;《中国优秀硕士学位论文全文数据库 信息科技辑》(第（2020）04期);I138-323 *

Also Published As

Publication number Publication date
CN112149547A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN113807210A (zh) 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN111368846B (zh) 一种基于边界语义分割的道路积水识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113256649A (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
Liu et al. Building footprint extraction from unmanned aerial vehicle images via PRU-Net: Application to change detection
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN114863348A (zh) 基于自监督的视频目标分割方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN115527103A (zh) 无人艇感知实验平台系统
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN113657414A (zh) 一种物体识别方法
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
CN113936034A (zh) 一种结合帧间光流的表观运动联合弱小运动目标检测方法
CN111598140A (zh) 一种基于胶囊网络的遥感图像分类方法
CN116977866A (zh) 一种轻量级滑坡检测方法
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant