CN113496221A - 基于深度双边滤波的点监督遥感图像语义分割方法及系统 - Google Patents

基于深度双边滤波的点监督遥感图像语义分割方法及系统 Download PDF

Info

Publication number
CN113496221A
CN113496221A CN202111051427.0A CN202111051427A CN113496221A CN 113496221 A CN113496221 A CN 113496221A CN 202111051427 A CN202111051427 A CN 202111051427A CN 113496221 A CN113496221 A CN 113496221A
Authority
CN
China
Prior art keywords
remote sensing
semantic segmentation
sensing image
point
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111051427.0A
Other languages
English (en)
Other versions
CN113496221B (zh
Inventor
方乐缘
吴林山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111051427.0A priority Critical patent/CN113496221B/zh
Publication of CN113496221A publication Critical patent/CN113496221A/zh
Application granted granted Critical
Publication of CN113496221B publication Critical patent/CN113496221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度双边滤波的点监督遥感图像语义分割方法及系统，所述方法结合双边滤波算法和深度学习特征，将遥感影像进行多层次特征提取后并进行双边滤波，然后构建特征金字塔对滤波后的特征进行融合，最后输出语义分割结果。本发明提出的点监督遥感图像语义分割方法，减少了人工标注标签成本，且能准确分割出遥感图像的地物，在利用点标签进行监督的基础上，可将遥感图像中相似区域的深度特征进行平滑从而缩小特征的类内距离，有效解决了点标签在弱监督学习中所存在的监督信息稀疏的问题。此外，还能保持遥感图像中地物边缘的高频信息，锐化地物边缘信息，进而解决点标签在弱监督学习中所存在的边缘信息缺失的问题。

Description

基于深度双边滤波的点监督遥感图像语义分割方法及系统
技术领域
本发明涉及到遥感图像处理技术领域，尤其涉及一种基于深度双边滤波的点监督遥感图像语义分割方法及系统。
背景技术
语义分割是遥感图像解译中的一项基本任务和挑战，其目的在于对遥感影像中的每一个像素都分配一个语义类别标签，在城市规划，智慧农业和资源利用中具有重大的意义。近年来，随着人工智能和计算机技术的发展，深度学习算法在特征提取，目标检测，语义分割等任务中展现了远超传统算法的优越性能，在遥感图像解译技术中也发挥了重要的作用。
深度学习算法通常需要大量人工标注的标签来进行监督，耗时耗力。因此我们希望仅用标注代价较小的弱标签来进行弱监督学习。弱标签存在图像级标签，点标签，涂鸦标签，bounding box标签（边界框标签）等，针对遥感影像语义分割的场景，利用点标签来监督语义分割任务是最为可行的方式。但是点标签存在两个问题，一是仅能提供稀疏的监督信息，即一幅大场景的遥感图像中仅有少数的一些像素点具有监督信息；二是不能提供地物的边缘信息，即仅有点标签不能体现出遥感图像中各种地物类别的边界和形态。
发明内容
本发明要解决的技术问题为：针对现有技术的上述问题，提供一种基于深度双边滤波的点监督遥感图像语义分割方法及系统，其旨在解决点标签存在的问题，以提高遥感图像弱监督语义分割的精确度以及性能。
为了解决上述技术问题，本发明提供一种基于深度双边滤波的点监督遥感图像语义分割方法，所述方法包括以下步骤：
S1、利用由卷积神经网络构成的编码器对遥感图像进行多层次的特征提取，得到多个层次的特征f i ，其中特征f i 为遥感图像在第i层所提取得到的特征；
S2、将每一个特征f i 均输入深度双边滤波模块中进行深度双边滤波，得到滤波后的特征p i ；
S3、构建特征金字塔以对滤波后的特征p i 进行融合，然后将融合后的结果输入基于点标签弱监督训练的语义分割网络和分类器中，进而输出最终的语义分割结果。
可选地，所述编码器包括对遥感图像进行多层次特征提取的
Figure 628308DEST_PATH_IMAGE001
个编码模块，每一个编码模块中均包含卷积层、批归一化层和修正线性单元，且每一个编码模块均通过步长为2的1×1卷积层对遥感图像中的特征进行两倍下采样，从而得到不同层次的特征f i 。
可选地，所述的卷积神经网络为深度残差神经网络。
可选地，所述步骤S2的具体实现方式包括：
S21、针对多个特征f i 设置不同尺度的滤波核，并针对每个特征f i 中的每个特征点与其邻近的特征点进行相似度计算，进而得到对应的深度双边滤波权重值，其中相似度
Figure 607765DEST_PATH_IMAGE002
计算公式为：
Figure 449819DEST_PATH_IMAGE003
（1）
式（1）中，
Figure 313870DEST_PATH_IMAGE004
表示特征f i 在
Figure 456138DEST_PATH_IMAGE005
，
Figure 872076DEST_PATH_IMAGE006
维度上的特征点，
Figure 201426DEST_PATH_IMAGE007
表示特征点
Figure 603589DEST_PATH_IMAGE004
的邻近特征点，H表示高度，W表示宽度，
Figure 865943DEST_PATH_IMAGE008
表示坐标；
S22、利用所得到的深度双边滤波权重值对对应特征f i 进行滤波；最后，将滤波后的结果通过一个1×1卷积层、批归一化层和修正线性单元，从而得到对应特征f i 滤波后的特征p i ，其中深度双边滤波的计算公式为：
Figure 593727DEST_PATH_IMAGE009
（2）
式（2）中，
Figure 941532DEST_PATH_IMAGE010
表示对特征点
Figure 147385DEST_PATH_IMAGE004
进行深度双边滤波后得到新的特征。
可选地，所述步骤S3的具体实现方式包括：
S31、从滤波后的特征p i 上采样使其采样结果的尺度大小与滤波后的特征p i-1 相同，再将采样结果与滤波后的特征p i-1 相加得到特征
Figure 264246DEST_PATH_IMAGE011
，以此类推，对后面i-1个滤波后的特征p i-1 ，p i-2 ， …… ，p 1 进行相同的操作，进而得到特征
Figure 162932DEST_PATH_IMAGE012
，
Figure 138978DEST_PATH_IMAGE013
，……，
Figure 7577DEST_PATH_IMAGE014
；
S32、将步骤S31中得到特征
Figure 119889DEST_PATH_IMAGE011
，
Figure 48531DEST_PATH_IMAGE012
，
Figure 246294DEST_PATH_IMAGE013
，……，
Figure 918584DEST_PATH_IMAGE014
进行叠加，然后将叠加后的结果经过一个1×1卷积层、批归一化层和修正线性单元，进而得到融合后的结果；
S33、将融合后的结果输入到基于点标签弱监督训练的语义分割网络和softmax分类器中进行语义分割，得到语义分割结果，然后将所述语义分割结果经过argmax为不同的类别。
可选地，所述步骤S33中所采用的语义分割网络通过弱监督方式进行训练，其具体实现方式为：首先，将包含每一张遥感图像所有类别信息的弱标签生成为点标签，其中输入的每一张遥感图像对应生成的点标签中只有几个像素点具有监督信息，其余的像素点都视为背景不提供监督信息；然后，通过所生成的点标签计算输出的语义分割结果的交叉熵损失L ce ，其中视为背景不提供监督信息的像素点不进行交叉熵损失L ce 的计算，同时计算一个惩罚项L penal 作为损失函数；最后，将交叉熵损失L ce 和惩罚项L penal 相加作为总训练损失L total 后并反向传播，重复迭代直至迭代次数达到预设阈值时即可判定完成训练。
可选地，所述惩罚项L penal 用公式表示为：
Figure 885403DEST_PATH_IMAGE015
（3）
式（3）中，
Figure 250525DEST_PATH_IMAGE016
表示遥感图像中的第
Figure 670005DEST_PATH_IMAGE016
个像素，
Figure 411565DEST_PATH_IMAGE017
表示遥感图像中像素的总数，
Figure 232891DEST_PATH_IMAGE018
表示第
Figure 768914DEST_PATH_IMAGE018
个类别，
Figure 675690DEST_PATH_IMAGE019
表示类别总数，
Figure 830728DEST_PATH_IMAGE020
表示语义分割标签，
Figure 896773DEST_PATH_IMAGE021
表示语义分割结果。
可选地，所述交叉熵损失L ce 的计算公式为：
Figure 479064DEST_PATH_IMAGE022
（4）
式（4）中，L ce 表示交叉熵损失。
可选地，所述总训练损失L total 的计算公式为：
Figure 997770DEST_PATH_IMAGE023
（5）
式（5）中，L ce 表示交叉熵损失，L penal 表示惩罚项。
此外，本发明还提供一种基于深度双边滤波的点监督遥感图像语义分割系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行上述所述的基于深度双边滤波的点监督遥感图像语义分割方法的步骤。
与现有技术比较，本发明主要具有以下优点：
第一，本发明提出一种基于点标签的弱监督学习遥感图像语义分割方法，可以在减少人工标注标签成本的基础上，能准确地分割出遥感影像的地物，得到接近全监督学习的语义分割精度。
第二，本发明的深度双边滤波在深度卷积神经网络的基础上，能将遥感图像中相似的区域的深度特征进行平滑从而缩小特征的类内距离，解决点标签在弱监督学习中所存在的监督信息稀疏的问题。
第三，本发明的深度双边滤波在深度卷积神经网络的基础上，能保持遥感图像中地物边缘的高频信息，起到了边缘锐化的作用，从而解决点标签在弱监督学习中所存在的边缘信息缺失的问题。
附图说明
图1是本发明中基于深度双边滤波的点监督遥感图像语义分割方法的流程图，
图2是本发明中基于深度双边滤波的点监督遥感图像语义分割示意图，
图3是本发明中的深度双边滤波模块模型示意图，
图4是本发明与其它现有方法的第一组遥感图像语义分割结果对比示意图，
图5是本发明与其它现有方法的第二组遥感图像语义分割结果对比示意图，
图6是本发明与其它现有方法的第三组遥感图像语义分割结果对比示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
如图1-图6所示所示，本实施例提供了一种基于深度双边滤波的点监督遥感图像语义分割方法，所述方法包括以下步骤：
S1、利用由卷积神经网络构成的编码器对遥感图像进行多层次的特征提取，得到多个层次的特征f i ，其中特征f i 为遥感图像在第i层所提取得到的特征；
S2、将每一个特征f i 均输入深度双边滤波模块中进行深度双边滤波，得到滤波后的特征p i ；
S3、构建特征金字塔以对滤波后的特征p i 进行融合，然后将融合后的结果输入基于点标签弱监督训练的语义分割网络和分类器中，进而输出最终的语义分割结果。
本实施例中，所述卷积神经网络为深度神经网络（简称DBFNet）。下文将结合DBFNet的结构，对分割方法的执行过程进行进一步的详细说明。
作为一种可选的实施方式，本实施例中，利用由卷积神经网络构成的编码器对遥感图像进行
Figure 690920DEST_PATH_IMAGE024
个层次的特征提取，这里
Figure 345892DEST_PATH_IMAGE024
取值为4，即对遥感图像进行4个层次的特征提取，得到4个层次的特征f i ，
Figure 364664DEST_PATH_IMAGE024
∈{1,2,3,4 }。
参见图2，所述编码器包含对遥感图像进行多层次特征提取的
Figure 370666DEST_PATH_IMAGE025
个编码模块，每个编码模块都包含卷积层、批归一化层和修正线性单元，每个编码模块都有步长为2的1×1卷积层会对特征进行两倍下采样，从而得到不同尺度的特征。例如，图1中的左侧对遥感图像进行特征提取的卷积神经网络共包含4个编码模块，进而对遥感图像进行4个层次的特征提取，得到4个不同尺度的特征f 1， f 2， f 3， f 4 ，其中特征f 1 为原图1/4大小，特征f 2 为原图1/8大小，特征f 3 为原图1/16大小，特征f 4 为原图1/32大小。
作为一种可选的实施方式，本实施例中的深度神经网络为深度残差神经网络（ResNet）。深度残差神经网络由多个残差模块组成，残差模块即是在多个卷积层、批归一化层和修正线性单元的前后加入跳跃连接（Shortcut Connection），缓解了在深度神经网络中增加深度带来的梯度消失问题。本实施例中使用的深度残差网络可分为5个构建层，第一个构建层由一个7×7卷积层、一个修正线性单元和一个最大池化层组成，第二个构建层由一个降采样残差模块开始，紧接着1个残差模块，同样的第三、第四和第五个构建层都是由一个降采样残差模块紧接一个残差模块所组成。所述步骤S1中4个层次的特征f 1， f 2， f 3， f 4 分别由深度残差神经网络第二、第三、第四和第五个构建层所输出。
参见图3，图3示出了本发明中深度双边滤波模块模型。所述步骤S2的具体实现方式包括：
S21、针对多个特征f i 设置不同尺度的滤波核，并针对每个特征f i 中的每个特征点与其邻近的特征点进行相似度计算，进而得到对应的滤波核，其中相似度
Figure 867506DEST_PATH_IMAGE026
计算公式为：
Figure 642564DEST_PATH_IMAGE027
（1）
式（1）中，
Figure 301079DEST_PATH_IMAGE028
表示特征f i 在H，W维度上的特征点，
Figure 794377DEST_PATH_IMAGE029
表示特征点
Figure 829329DEST_PATH_IMAGE028
的邻近特征点，H表示高度，W表示宽度，
Figure 865418DEST_PATH_IMAGE030
表示坐标；
S22、利用所得到的滤波核对特征f i 进行滤波；最后，将滤波后的结果通过一个1×1卷积层、批归一化层和修正线性单元，从而得到滤波后的特征p i ，其中深度双边滤波的计算公式为：
Figure 819468DEST_PATH_IMAGE031
（2）
式（2）中，
Figure 675428DEST_PATH_IMAGE032
表示对特征点
Figure 638705DEST_PATH_IMAGE028
进行深度双边滤波后得到新的特征。
本实施例中，对各个特征f i 进行深度双边滤波的步骤包括：首先，针对不同尺度的特征f i 设置不同尺度的滤波核，并将每个特征f i 的特征点都会与其邻近的特征点进行相似度计算，从而得到对应的滤波核；然后，利用所得到的滤波核对对应特征f i 进行深度双标滤波；最后将滤波后的结果通过一个1×1卷积层、批归一化层和修正线性单元，从而得到滤波后的特征p i 。
如图3所示，输入的特征f i 的大小为
Figure 998142DEST_PATH_IMAGE033
，其中
Figure 388672DEST_PATH_IMAGE034
为特征f i 的通道数，
Figure 466350DEST_PATH_IMAGE035
和
Figure 233317DEST_PATH_IMAGE036
分别为特征f i 的长和宽。例如，对输入的特征f i 设置尺度大小为d的深度双边滤波核，以特征f i 在
Figure 712840DEST_PATH_IMAGE035
、
Figure 539851DEST_PATH_IMAGE036
维度上的p(i, j)特征点为例，分别计算特征点
Figure 104824DEST_PATH_IMAGE037
与其邻近的8个特征点q(m-d, n-d), q(m-d, n), q(m-d, n+d), q(m, n-d), q(m, n+d), q(m+d, n-d), q(m+d, n), q(m+d, n+d)的相似度s(m-d, n-d), s(m-d, n), s(m-d, n+d), s(m, n-d), s(m, n+d), s(m+d, n-d), s(m+d, n), s(m+d, n+d)，进而得到深度双边滤波核的权重，其中，相似度
Figure 409904DEST_PATH_IMAGE038
的范围为0-1，将相似度
Figure 743933DEST_PATH_IMAGE038
作为深度双边滤波核的权重对特征点
Figure 476266DEST_PATH_IMAGE039
进行深度双边滤波后得到新的特征
Figure 528535DEST_PATH_IMAGE040
，对特征f i 在
Figure 371727DEST_PATH_IMAGE041
、
Figure 825842DEST_PATH_IMAGE042
维度上的每一个特征点都进行相同的深度双边滤波计算，则可以得到滤波后的特征p i 。本实施例中，对不同层次不同尺度的特征f i 可以设置不同尺度大小d的深度双边滤波核。作为一种可选的实施方式，对于f 1 设置了尺度大小为1，3，5，7的深度双边滤波核，对于f 2 设置了尺度大小为1，3，5的深度双边滤波核，对于f 3 设置了尺度大小为1，3的深度双边滤波核，对于f 4 设置了尺度大小为1的深度双边滤波核。
参见图2，图2示出了本发明中点监督遥感图像语义分割模型。所述步骤S3的具体实现方式包括：
S31、从滤波后的特征p i 上采样使其采样结果的尺度大小与滤波后的特征p i-1 相同，再将采样结果与滤波后的特征p i-1 相加得到特征
Figure 870021DEST_PATH_IMAGE043
，以此类推，对后面i-1个滤波后的特征p i-1 ，p i-2 ， …… ，p 1 进行相同的操作，进而得到特征
Figure 534221DEST_PATH_IMAGE044
，
Figure 56469DEST_PATH_IMAGE045
，……，
Figure 489724DEST_PATH_IMAGE046
；
S32、将步骤S31中得到特征
Figure 439226DEST_PATH_IMAGE043
，
Figure 325142DEST_PATH_IMAGE044
，
Figure 916660DEST_PATH_IMAGE045
，……，
Figure 938843DEST_PATH_IMAGE046
进行叠加，然后将叠加后的结果经过一个1×1卷积层、批归一化层和修正线性单元，进而得到融合后的结果；
S33、将融合后的结果输入到基于点标签弱监督训练的语义分割网络和softmax（多分类逻辑回归）分类器中进行语义分割，得到语义分割结果，然后将所述语义分割结果经过argmax（最大值自变量点集）为不同的类别。
本实施例中，首先，从滤波后的特征p i 上采样使其采样结果的尺度大小与滤波后的特征p i-1 相同，再将采样结果与滤波后的特征p i-1 相加得到特征
Figure 324825DEST_PATH_IMAGE043
，以此类推，对后面i-1个滤波后的特征p i-1 、p i-2…… p 1 进行相同的操作，进而得到特征
Figure 963617DEST_PATH_IMAGE044
，
Figure 827667DEST_PATH_IMAGE045
，……，
Figure 969936DEST_PATH_IMAGE046
；例如，对p 4 上采样两倍到p 3 同样大小，并与p 3 相加，同理对p 3 上采样两倍到p 2 同样大小，并与p 2 相加，对p 2 上采样两倍到p 1 同样大小，并与p 1 相加。然后，将所得到特征
Figure 792398DEST_PATH_IMAGE043
，
Figure 528273DEST_PATH_IMAGE044
，
Figure 320649DEST_PATH_IMAGE045
，……，
Figure 192790DEST_PATH_IMAGE046
进行叠加，再将叠加后的结果经过一个1×1卷积层、批归一化层和修正线性单元，进而得到融合后的结果；最后，将融合后的结果输入到基于点标签弱监督训练的语义分割网络和softmax分类器中进行语义分割，得到语义分割结果，再将所述语义分割结果经过argmax为不同的类别。
其中，所述步骤S33中的语义分割网络为DBFNet语义分割网络，所述DBFNet语义分割网络通过弱监督方式进行训练，训练步骤包括：首先，将包含每一张遥感图像所有类别信息的弱标签生成为点标签，其中输入的每一张遥感图像对应生成的点标签中只有几个像素点具有监督信息，其余的像素点都视为背景不提供监督信息；然后，通过所生成的点标签计算输出的语义分割结果的交叉熵损失L ce ，其中视为背景不提供监督信息的像素点不进行交叉熵损失L ce 的计算，同时计算一个惩罚项L penal 作为损失函数；最后，将交叉熵损失L ce 和惩罚项L penal 相加作为总训练损失L total 后并反向传播，重复迭代直至迭代次数达到预设阈值时即可判定完成训练。
本实施例中，迭代次数的预设阈值为50轮，当迭代次数达到50轮后即停止训练，其中，每一轮迭代训练使用的训练数据需要使用遥感图像以及与所述遥感图像相对应的点标签，由于遥感图像训练数据的采集方法为现有技术，此处不再赘述，点标签通过opencv开源库算法在原有数据集中的全标签中采样所得（即，在原有的数据集中，逐像素全标签中随机取几个点保留，其余像素都视为不提供监督信息的背景），在点标签的生成过程中，需要保证每一张遥感图像中的每一个实例都拥有一个点标签。首先，将包含每一张遥感图像所有类别信息的弱标签生成为点标签，其中输入的每一张遥感图像对应生成的点标签中只有几个像素点具有监督信息，其余的像素点都视为背景不提供监督信息；然后，计算softmax分类器输出的语义分割结果的交叉熵损失L ce 和惩罚项L penal ，其中视为背景不提供监督信息的像素点不进行交叉熵损失L ce 的计算；最后，将交叉熵损失L ce 和惩罚项L penal 相加作为总训练损失L total 后并反向传播，重复迭代50轮即判定完成训练。既能够减少了人工标注标签成本，又能够准确地分割出遥感影像的地物；在利用点标签进行监督的基础上，将遥感图像中相似的区域的深度特征进行平滑从而缩小特征的类内距离，有效解决了点标签在弱监督学习中所存在的监督信息稀疏的问题。此外，还能够保持遥感图像中地物边缘的高频信息，锐化地物边缘信息，进而解决点标签在弱监督学习中所存在的边缘信息缺失的问题。
其中，所述惩罚项L penal 用于使所生成的点标签所对应输出的语义分割结果中不存在该标签不包含的类别，即：当所生成的点标签存在类别A和类别B时，则通过计算惩罚项L penal 使得该点标签对应输出的语义分割结果中不包含除了类别A和类别B的其他类别；当所生成的点标签中只存在一个类别时，则计算惩罚项L penal 使得该点标签对应输出的语义分割结果也只包含该一个类别。
其中，所述惩罚项L penal 用公式表示为：
Figure 45208DEST_PATH_IMAGE047
（3）
式（3）中，
Figure 268379DEST_PATH_IMAGE048
表示遥感图像中的第
Figure 333287DEST_PATH_IMAGE048
个像素，
Figure 591093DEST_PATH_IMAGE049
表示遥感图像中像素的总数，
Figure 614413DEST_PATH_IMAGE050
表示第
Figure 59300DEST_PATH_IMAGE050
个类别，
Figure 193479DEST_PATH_IMAGE051
表示类别总数，
Figure 305791DEST_PATH_IMAGE052
表示语义分割标签，
Figure 234433DEST_PATH_IMAGE053
表示语义分割结果。
其中，所述交叉熵损失L ce 的计算公式为：
Figure 697775DEST_PATH_IMAGE054
（4）
式（4）中，L ce 表示交叉熵损失。
参见前述描述可知，所述总训练损失L total 的计算公式为：
Figure 370065DEST_PATH_IMAGE055
（5）
式（5）中，L ce 表示交叉熵损失，L penal 表示惩罚项。
而在测试阶段中，将测试遥感图像输入到训练好的softmax分类器中，从而输出得到语义分割结果，最后将分割结果经过argmax为不同的类别。
为了验证DBFNet网络的有效性，本实施例使用公开数据集Postdam数据集（Postdam semantic labeling dataset）进行了网络框架的训练和测试，并且与其他方法进行了对比。
其中，所述Postdam数据集包含38张航拍遥感图像，共有R，G，B和NIR（近红外）四个波段，在实验中仅取R，G，B三个波段，每张遥感图像的大小为6000×6000，其中24张分为训练集和验证集，14张分为测试集，所有遥感图像分为6个类别，分别为不渗透表面、建筑物、低矮植被、树木、汽车和杂波，在实验中去掉杂波类别只对其余5个类别进行分类。由于原遥感图像的尺寸较大，所述Postdam数据集中的每一张大图均被不重叠地裁剪为256×256大小的图像，本实验中所用到的点标签是通过opencv开源库算法在原有数据集中的全标签中采样所得。
本发明提出的方法和基线方法（baseline）的点标签监督方法与全监督的语义分割方法FCN（全卷积神经网络）, UNet（U型卷积神经网络）和Deeplabv3+（深度可分离卷积神经网络）进行对比，其中，基线方法与本发明中的DBFNet方法均为仅使用点标签进行点监督（point），基线方法指的是仅用点标签直接对一个普通的Deeplabv3+语义分割网络进行监督，而对比的全监督方法FCN, UNet和Deeplabv3+是使用全标签对语义分割网络进行全监督（full）。
如表1所示，表1示出了本发明中的分割方法与其它现有方法的测试结果对比情况，表1中的评价指标为五个类别的F1分数以及五个类别F1分数的平均值，其中，五个类别分别为不渗透表面、建筑物、低矮植被、树木和汽车，最后一列F1分数的平均值代表五个类别F1分数的平均值，从不渗透表面、建筑物的F1分数看出，本发明中的方法可以达到0.9067和0.9513，接近于全监督方法；汽车类别的F1分数0.8619远高于(Baseline)基线方法的0.7443，由此可知，本发明（DBFNet）中的方法对小目标物体的识别效果有明显提升，即，本发明中的方法在评价指标中远远高于基线方法的点标签监督方法，并且在仅利用点标签的基础上，精度已经接近了利用全标签进行监督的Deeplab方法，甚至比全监督的基线方法FCN和UNet的精度还要略高。
表1 本发明中的分割方法与其它现有方法的测试结果对比表
Figure 336884DEST_PATH_IMAGE056
如图4、图5和图6所示，图4、图5和图6分别示出了本发明中的分割方法和其他现有方法的三组遥感图像语义分割结果对比示意图（其中，a为输入的遥感图像，b为真实标签（即正确的全标签），c为FCN（全卷积神经网络）分割方法分割结果，d为UNET（U型卷积神经网络）分割方法分割结果，e为deeplabv3+（深度可分离卷积神经网络）分割方法分割结果，f为Baseline（基线方法）点标签监督方法风格结果，g为本发明中的DBFNet（深度神经网络）点监督分割方法分割结果），结合图4、图5和图6也可以看出，在本发明中的方法的检测结果中，相较于基线方法的点标签监督方法，本发明中的语义分割结果边界清晰，在仅用点标签监督的条件下，能够准确地分割出地物，其精度与全标签监督的语义分割结果相差无几。
综上所述，本发明中的分割方法在减少了人工标注标签成本的同时，能准确地分割出遥感影像的地物；在利用点标签进行监督的基础上，能够将遥感图像中相似区域的深度特征进行平滑从而缩小特征的类内距离，有效解决了点标签在弱监督学习中所存在的监督信息稀疏的问题。此外，还能保持遥感图像中地物边缘的高频信息，锐化地物边缘信息，进而解决点标签在弱监督学习中所存在的边缘信息缺失的问题。因此，本发明仅用点标签进行监督，便能得到接近全监督学习的语义分割精度。
此外，本实施例还提供一种基于深度双边滤波的点监督遥感图像语义分割系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于深度双边滤波的点监督遥感图像语义分割方法的步骤。
以上对本发明所提供的一种基于深度双边滤波的点监督遥感图像语义分割方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述方法包括以下步骤：
S1、利用由卷积神经网络构成的编码器对遥感图像进行多层次的特征提取，得到多个层次的特征f i ，其中特征f i 为遥感图像在第i层所提取得到的特征；
S2、将每一个特征f i 均输入深度双边滤波模块中进行深度双边滤波，得到滤波后的特征p i ；
S3、构建特征金字塔以对滤波后的特征p i 进行融合，然后将融合后的结果输入基于点标签弱监督训练的语义分割网络和分类器中，进而输出最终的语义分割结果。
2.如权利要求1所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述编码器包括对遥感图像进行多层次特征提取的
Figure 180391DEST_PATH_IMAGE001
个编码模块，每一个编码模块中均包含卷积层、批归一化层和修正线性单元，且每一个编码模块均通过步长为2的1×1卷积层对遥感图像中的特征进行两倍下采样，从而得到不同层次的特征f i 。
3.如权利要求2所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述卷积神经网络为深度残差神经网络。
4.如权利要求3所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述步骤S2的具体实现方式包括：
S21、针对多个特征f i 设置不同尺度的滤波核，并针对每个特征f i 中的每个特征点与其邻近的特征点进行相似度计算，进而得到对应的深度双边滤波权重值，其中相似度
Figure 754461DEST_PATH_IMAGE002
计算公式为：
Figure 327525DEST_PATH_IMAGE003
（1）
式（1）中，
Figure 686962DEST_PATH_IMAGE004
表示特征f i 在H，W维度上的特征点，
Figure 202126DEST_PATH_IMAGE005
表示特征点
Figure 14224DEST_PATH_IMAGE004
的邻近特征点，H表示高度，W表示宽度，
Figure 390979DEST_PATH_IMAGE006
表示坐标；
S22、利用所得到的深度双边滤波权重值对对应特征f i 进行深度双边滤波；最后，将滤波后的结果通过一个1×1卷积层、批归一化层和修正线性单元，从而得到对应特征f i 滤波后的特征p i ，其中深度双边滤波的计算公式为：
Figure 874698DEST_PATH_IMAGE007
（2）
式（2）中，
Figure 780337DEST_PATH_IMAGE008
表示对特征点
Figure 63420DEST_PATH_IMAGE009
进行深度双边滤波后得到新的特征。
5.如权利要求4所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述步骤S3的具体实现方式包括：
S31、从滤波后的特征p i 上采样使其采样结果的尺度大小与滤波后的特征p i-1 相同，再将采样结果与滤波后的特征p i-1 相加得到特征
Figure 978286DEST_PATH_IMAGE010
，以此类推，对后面i-1个滤波后的特征p i-1 ，p i-2 ， …… ，p 1 进行相同的操作，进而得到特征
Figure 312315DEST_PATH_IMAGE011
，
Figure 903703DEST_PATH_IMAGE012
，……，
Figure 424814DEST_PATH_IMAGE013
；
S32、将步骤S31中得到特征
Figure 392639DEST_PATH_IMAGE010
，
Figure 846754DEST_PATH_IMAGE011
，
Figure 359775DEST_PATH_IMAGE012
，……，
Figure 620379DEST_PATH_IMAGE013
进行叠加，然后将叠加后的结果经过一个1×1卷积层、批归一化层和修正线性单元，进而得到融合后的结果；
S33、将融合后的结果输入到基于点标签弱监督训练的语义分割网络和softmax分类器中进行语义分割，得到语义分割结果，然后将所述语义分割结果经过argmax为不同的类别。
6.如权利要求5所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述步骤S33中所采用的语义分割网络通过弱监督方式进行训练，其具体实现方式为：首先，将包含每一张遥感图像所有类别信息的弱标签生成为点标签，其中输入的每一张遥感图像对应生成的点标签中只有几个像素点具有监督信息，其余的像素点都视为背景不提供监督信息；然后，通过所生成的点标签计算输出的语义分割结果的交叉熵损失L ce ，其中视为背景不提供监督信息的像素点不进行交叉熵损失L ce 的计算，同时计算一个惩罚项L penal 作为损失函数；最后，将交叉熵损失L ce 和惩罚项L penal 相加作为总训练损失L total 后并反向传播，重复迭代直至迭代次数达到预设阈值时即可判定完成训练。
7.如权利要求6所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述惩罚项L penal 用公式表示为：
Figure 877048DEST_PATH_IMAGE014
（3）
式（3）中，
Figure 185670DEST_PATH_IMAGE015
表示遥感图像中的第
Figure 118860DEST_PATH_IMAGE015
个像素，
Figure 880142DEST_PATH_IMAGE016
表示遥感图像中像素的总数，
Figure 674923DEST_PATH_IMAGE017
表示第
Figure 352898DEST_PATH_IMAGE017
个类别，
Figure 207721DEST_PATH_IMAGE018
表示类别总数，
Figure 190721DEST_PATH_IMAGE019
表示语义分割标签，
Figure 38460DEST_PATH_IMAGE020
表示语义分割结果。
8.如权利要求7所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述交叉熵损失L ce 的计算公式为：
Figure 56095DEST_PATH_IMAGE021
（4）
式（4）中，L ce 表示交叉熵损失。
9.如权利要求8所述的基于深度双边滤波的点监督遥感图像语义分割方法，其特征在于，所述总训练损失L total 的计算公式为：
Figure 81819DEST_PATH_IMAGE022
（5）
式（5）中，L ce 表示交叉熵损失，L penal 表示惩罚项。
10.基于深度双边滤波的点监督遥感图像语义分割系统，其特征在于，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行权利要求1～9中任意一项所述基于深度双边滤波的点监督遥感图像语义分割方法的步骤。
CN202111051427.0A 2021-09-08 2021-09-08 基于深度双边滤波的点监督遥感图像语义分割方法及系统 Active CN113496221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111051427.0A CN113496221B (zh) 2021-09-08 2021-09-08 基于深度双边滤波的点监督遥感图像语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111051427.0A CN113496221B (zh) 2021-09-08 2021-09-08 基于深度双边滤波的点监督遥感图像语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113496221A true CN113496221A (zh) 2021-10-12
CN113496221B CN113496221B (zh) 2022-02-01

Family

ID=77997105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111051427.0A Active CN113496221B (zh) 2021-09-08 2021-09-08 基于深度双边滤波的点监督遥感图像语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113496221B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998738A (zh) * 2022-06-10 2022-09-02 湖南大学 一种基于置信度滤波的水体图像提取方法及其系统
CN115049817A (zh) * 2022-06-10 2022-09-13 湖南大学 一种基于跨图像一致性的图像语义分割方法及其系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147714A (zh) * 2019-03-28 2019-08-20 中国矿业大学 基于无人机的煤矿采空区裂缝识别方法及检测系统
CN110705634A (zh) * 2019-09-29 2020-01-17 五邑大学 一种鞋跟型号识别方法、装置及存储介质
WO2020020445A1 (en) * 2018-07-24 2020-01-30 Toyota Motor Europe A method and a system for processing images to obtain foggy images
CN111078174A (zh) * 2019-12-13 2020-04-28 电子科技大学中山学院 一种计算电子纸彩色转换时间系统及其应用
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
US10650531B2 (en) * 2018-03-16 2020-05-12 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
US10916013B2 (en) * 2018-03-14 2021-02-09 Volvo Car Corporation Method of segmentation and annotation of images
CN112489054A (zh) * 2020-11-27 2021-03-12 中北大学 一种基于深度学习的遥感图像语义分割方法
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113362306A (zh) * 2021-06-07 2021-09-07 中山大学 一种基于深度学习的封装芯片缺陷检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916013B2 (en) * 2018-03-14 2021-02-09 Volvo Car Corporation Method of segmentation and annotation of images
US10650531B2 (en) * 2018-03-16 2020-05-12 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings
WO2020020445A1 (en) * 2018-07-24 2020-01-30 Toyota Motor Europe A method and a system for processing images to obtain foggy images
CN110147714A (zh) * 2019-03-28 2019-08-20 中国矿业大学 基于无人机的煤矿采空区裂缝识别方法及检测系统
CN110705634A (zh) * 2019-09-29 2020-01-17 五邑大学 一种鞋跟型号识别方法、装置及存储介质
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111078174A (zh) * 2019-12-13 2020-04-28 电子科技大学中山学院 一种计算电子纸彩色转换时间系统及其应用
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统
CN112489054A (zh) * 2020-11-27 2021-03-12 中北大学 一种基于深度学习的遥感图像语义分割方法
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113362306A (zh) * 2021-06-07 2021-09-07 中山大学 一种基于深度学习的封装芯片缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIE GENG等: "Multi-scale deep feature learning network with bilateral filtering for SAR image classification", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
夏开建: "基于深度特征的腹部CT影像肝脏占位性病变辅助诊断研究", 《中国优秀博硕士学位论文全文数据库(博士)医药卫生科技辑》 *
李宇宏: "基于深度学习的路面病害自动检测及评估方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998738A (zh) * 2022-06-10 2022-09-02 湖南大学 一种基于置信度滤波的水体图像提取方法及其系统
CN115049817A (zh) * 2022-06-10 2022-09-13 湖南大学 一种基于跨图像一致性的图像语义分割方法及其系统

Also Published As

Publication number Publication date
CN113496221B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
Chen et al. Hyperspectral classification based on spectral–spatial convolutional neural networks
Kang et al. Deep learning-based weather image recognition
Holder et al. From on-road to off: Transfer learning within a deep convolutional neural network for segmentation and classification of off-road scenes
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN114332621B (zh) 一种基于多模型特征融合的病虫害识别方法及系统
CN105981008A (zh) 学习深度人脸表示
CN113496221B (zh) 基于深度双边滤波的点监督遥感图像语义分割方法及系统
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN111783884B (zh) 基于深度学习的无监督高光谱图像分类方法
Agarwal et al. Image understanding using decision tree based machine learning
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
Nguyen et al. Satellite image classification using convolutional learning
CN114332544B (zh) 一种基于图像块评分的细粒度图像分类方法和装置
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN111191626B (zh) 一种多类别交通工具的精细识别方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Chen et al. Research on fast recognition method of complex sorting images based on deep learning
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
Dai et al. Research on hyper-spectral remote sensing image classification by applying stacked de-noising auto-encoders neural network
Naiemi et al. Scene text detection using enhanced extremal region and convolutional neural network
CN112329647A (zh) 基于U-Net神经网络的土地利用类型识别方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant