CN112132006A - 一种面向耕地保护的林地和建筑物智能提取方法 - Google Patents

一种面向耕地保护的林地和建筑物智能提取方法 Download PDF

Info

Publication number
CN112132006A
CN112132006A CN202010996260.4A CN202010996260A CN112132006A CN 112132006 A CN112132006 A CN 112132006A CN 202010996260 A CN202010996260 A CN 202010996260A CN 112132006 A CN112132006 A CN 112132006A
Authority
CN
China
Prior art keywords
layer
land
building
convolution layer
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010996260.4A
Other languages
English (en)
Other versions
CN112132006B (zh
Inventor
李闯农
朱军
朱庆
张荞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010996260.4A priority Critical patent/CN112132006B/zh
Publication of CN112132006A publication Critical patent/CN112132006A/zh
Application granted granted Critical
Publication of CN112132006B publication Critical patent/CN112132006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种面向耕地保护的林地和建筑物智能提取方法，属于识别技术领域，将同名点与多模态遥感影像进行匹配；利用注意力增强语义分割方法，提取林地和建筑物的粗略地类边界；分别利用图像形态学滤波方法和概率图模型对所述建筑物和林地要素进行多边形边界优化，得到精确的地类边界。本发明对多模态遥感影像进行精确配准，解决单一来源遥感影像因云遮挡带来信息丢失问题，以及多模态遥感影像间显著非线性几何畸变和辐射差异所造成的配准困难问题；基于注意力增强的林地及建筑物语义分割方法，解决目视判别土地利用效率低的问题；基于图像形态与矢量拓扑规则的地类边界精确提取方法，优化地物的边界，解决林地和建筑物精准智能提取难题。

Description

一种面向耕地保护的林地和建筑物智能提取方法
技术领域
本发明属于识别技术领域，尤其涉及一种面向耕地保护的林地和建筑物智能提取方法。
背景技术
面向国家自然资源调查监测和集约开发利用重大需求，显著提升对自然资源的精细化与自动化监管能力成为紧迫的挑战性任务。其中，充分利用多模态遥感影像进行自动化、智能化的林地和建筑物提取，从而对耕地进行有效保护是国际前沿难题。特别是在我国西南地区，由于终年多云多雨，单一来源遥感影像因云遮挡造成信息丢失，多模态遥感影像存在显著的几何变形和辐射差异，已有特征匹配方法失效。此外，植被多样性导致“同物异谱、同谱异物”的现象更为突出，这使得在进行林地和建筑物提取的传统模式面临巨大挑战。
随着耕地保护过程中对林地和建筑物精准、快速提取的迫切需求，传统以遥感影像目视判别(主要包括变更地类提取、建立解译标志、制作工作底图等)和外业核查(主要包括图斑调绘和外业核实)为主的监管方法一定程度上降低了对人工投入的要求，缩短了调查周期，但仍需要大量人力投入，且在“查得快”和“查得准”两个方面局限性十分突出。随着高分二号、高分三号等卫星影像分辨率提高，为林地和建筑物的快速、精准提取奠定了数据基础。此外，随着计算机硬件性能的快速提升，注意力增强的深度卷积网络在遥感影像语义分割方面取得明显突破，为林地和建筑物的智能提取提供了可行的技术支撑。
综上所述，本发明拟开展面向耕地保护的林地和建筑物智能提取方法研究。研究结构特征约束的多模态遥感影像精确配准方法，解决单一来源遥感影像因云遮挡带来信息丢失问题，以及多模态遥感影像间显著非线性几何畸变和辐射差异所造成的配准困难问题；研究注意力增强的林地及建筑物语义分割方法，解决目视判别土地利用效率低的问题；研究基于图像形态与矢量拓扑规则的地类边界精确提取方法，优化地物的边界，解决林地和建筑物精准智能提取难题。
发明内容
针对现有技术中的上述不足，本发明提供的一种面向耕地保护的林地和建筑物智能提取方法，解决上述所述的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种面向耕地保护的林地和建筑物智能提取方法，包括以下步骤：
S1、识别多模态遥感影像的同名点，并根据同名点对多模态遥感影像进行匹配；
S2、根据所述匹配结果结合已有的建筑物和林地的矢量边界数据，建立遥感影像语义分割数据集，并利用注意力增强语义分割方法，提取林地和建筑物的粗略地类边界；
S3、根据所述林地和建筑物的粗略地类边界，利用图像形态学滤波方法去除融合自动分类图斑中的细碎图斑，得到建筑物和林地图斑，并将建筑物和林地图斑转化为矢量数据得到建筑物和林地要素的矢量边界；
S4、利用概率图模型对所述建筑物和林地要素的矢量边界进行多边形边界优化，得到精确的地类边界，完成对面向耕地保护的林地和建筑物的提取。
本发明的有益效果是：本发明中基于结构特征约束的多模态遥感影像精确配准方法，解决单一来源遥感影像因云遮挡带来信息丢失问题，以及多模态遥感影像间显著非线性几何畸变和辐射差异所造成的配准困难问题；基于注意力增强的林地及建筑物语义分割方法，解决目视判别土地利用效率低的问题；基于图像形态与矢量拓扑规则的地类边界精确提取方法，优化地物的边界，解决林地和建筑物精准智能提取难题，本发明通过以上设计为林地和建筑物的智能提取提供了可行的技术支撑。
进一步地，所述步骤S1包括以下步骤：
S101、根据多模态遥感影像建立遥感影像的高斯尺度空间，并通过高斯尺度空间的相邻两层影像之差得到高斯差分尺度空间；
S102、在所述高斯差分尺度空间中进行极值检测，提取具有尺度不变性的特征点；
S103、根据所述具有尺度不变的特征点，构建具有几何和辐射不变性的点特征描述符；
S104、利用欧氏距离作为匹配测度，并通过点特征描述符之间最近邻和次近邻的距离之比识别多模态遥感影像的同名点；
S105、根据同名点对多模态遥感影像进行匹配。
上述进一步方案的有益效果是：本发明顾及结构特征的多模态遥感影像精确配准方法，利用结构特征有效描述多模态影像间的共有属性，设计由粗到精的配准策略，实现多模态遥感影像的精确配准和林地及建筑物语义分割所需数据的优选。
再进一步地，所述步骤S102包括以下步骤：
S1021、将所述高斯差分尺度空间中中间层的每个像素点分别与同一层的相邻8个像素以及上下两层的18个相邻像素点进行比较；
S1022、将比较结果中最大或最小的高斯差分尺度空间值作为候选的特征点；
S1023、根据所述候选的特征点，除对比度最低且位于边缘上的点得到具有尺度不变性的特征点。
上述进一步方案的有益效果是：能够在影像间提取具有尺度(分辨率)不变性的特征点。
再进一步地，所述步骤S103包括以下步骤：
S1031、以具有尺度不变性的特征点为中心取固定大小的领域，并计算得到领域内的相位一致性特征值和相位一致性特征方向，形成相位一致性方向的直方图；
S1032、将所述直方图划分为36等份，每一等份为10°，并统一每一等份的相位一致性特征值；
S1033、利用高斯权重圆窗口对所述相位一致性特征值进行距离加权处理，并根据加权结果选取直方图的峰值方向作为特征点的主方向；
S1034、根据所述特征点的主方向构建坐标系，并以坐标系中任一特征点为中心取20σ×20σ像素的邻域，其中，σ表示特征点的尺度；
S1035、将所述领域划分为2×2个块，其中，每个块由2×2个元胞构成，每个元胞包含了若干个像素点；
S1036、在每个元胞内以像素点的相位一致特征方向进行方向直方图统计，并以像素点的相位一致性特征值进行权重分配，得到元胞向量；
S1037、组合每个元胞向量，形成描述块的特征向量，并对每个描述块的特征向量进行归一化处理；
S1038、连接所有经归一化处理后的描述块特征向量，得到具有几何和辐射不变性的点特征描述符。
再进一步地，所述步骤S1031中相位一致性特征值的表达式如下：
Figure BDA0002692618340000051
Figure BDA0002692618340000052
Figure BDA0002692618340000053
其中，PC(x,y)表示相位一致性特征值，(x,y)表示多模态遥感影像的坐标，Wo(x,y)表示频率扩展的权重因子，Ano(x,y)表示(x,y)在LogGabor滤波器尺度n和方向o上的振幅，T表示噪声阈值，ε表示避免分母为零的常数，Ano(x,y)ΔΦno(x,y)表示通过Log Gabor滤波器的偶对称滤波器响应值eno(x,y)和奇对称滤波器响应值Ono(x,y)进行计算，E(x,y)表示能量函数，ΔΦno(x,y)表示相位偏差函数；
所述相位一致性特征方向的表达式如下：
Figure BDA0002692618340000054
其中，φ表示相位一致性特征方向，a表示水平方向的能量，b表示垂直方向的能量，Ono(θ)表示在方向θ上的奇对称滤波器卷积结果，arctan(·)表示反正切函数。
上述进一步方案的有益效果是：相位一致性是一种基于频率域的特征检测方法，相比于梯度信息，相位一致性具有光照和对比度不变性，能较好地抵抗影像间的辐射差异。
再进一步地，所述步骤S2包括以下步骤：
S201、将所述匹配结果和已有建筑物和林地的矢量边界数据在统一坐标系下进行配准；
S202、根据配准结果对所述匹配结果进行裁剪，建立林地和建筑物的粗标注集，并通过人工核查剔除错误标记，建立精标注集；
S203、建立注意力增强的语义分割神经网络模型；
S204、利用所述精标注集对所述语义分割神经网络模型进行训练，并确定语义分割神经网络模型的权重；
S205、利用已训练完成的语义分割神经网络模型对遥感影像中的建筑物和林地进行语义分割，得到林地和建筑物的粗略地类边界。
上述进一步方案的有益效果是：本申请通过注意力算法模块，通过自学习的方式探索和聚合全局上下文信息，提取优势特征，抑制干扰特征，克服林地和建筑物要素类别混淆和边界模糊的问题。
再进一步地，所述语义分割神经网络模型包括依次连接的输入层、下采样层、上采样层以及输出层；
所述下采样层包括依次连接的第一卷积层、第二卷积层、第一注意力模块、第一最大池化层、第三卷积层、第四卷积层、第二注意力模块、第二最大池化层、第五卷积层、第六卷积层、第三注意力模块、第三最大池化层、第七卷积层、第八卷积层、第九卷积层、第四注意力模块、第四最大池化层、第十卷积层、第十一卷积层、第十二卷积层、第五注意力模块、第五最大池化层以及与上采样层连接的第十三卷积层；
所述上采样层包括依次连接的第一反卷积层、第十四卷积层、第二反卷积层、第十五卷积层、第三反卷积层、第十六卷积层、第四反卷积层、第十七卷积层、第五反卷积层、第十八卷积层以及第十九卷积层，所述第一反卷积层与第十三卷积层连接；
所述第一注意力模块与第五反卷积层连接，所述第二注意力模块与所述第四反卷积层连接，所述第三注意力模块与所述第三反卷积层连接，所述第四注意力模块与所述第二反卷积层连接，所述第五注意力模块与所述第一反卷积层连接。
上述进一步方案的有益效果是：本发明通过语义分割神经网络模型，在每一步池化操作前引入注意力机制，为每一个像素提供全局信息，增强有用信息的表达；为进一步提升网络对不同场景下多尺度目标，尤其是小目标以及目标边缘信息的获取，通过多级注意力进行特征融合，恢复目标分割物体的更多细节，从而得到更好的分割结果。
再进一步地，所述第一注意力模块、第二注意力模块、第三注意力模块、第四注意力模块以及第五注意力模块均包括依次连接的全局平均池化层、第一全连接层、Relu激活函数层、第二全连接层以及Sigmoid层；
所述全局平均池化层与相邻卷积层的输出端连接，所述Sigmoid层与相邻的最大池化层的输入端连接。
上述进一步方案的有益效果是：本发明利用注意力模块得到注意力增强的特征图。
再进一步地，所述步骤S3中利用图像形态学滤波方法去除融合自动分类图斑中的细碎图斑的表达式如下：
Figure BDA0002692618340000071
Figure BDA0002692618340000072
Figure BDA0002692618340000081
Figure BDA0002692618340000082
其中，F表示待处理的输入灰度图像，S表示结构元素，
Figure BDA0002692618340000083
表示开运算，⊙表示腐蚀运算，
Figure BDA0002692618340000084
表示膨胀运算，·表示闭运算，(x,y)表示该像素点在多模态遥感影像中的位置坐标，(x',y')表示该像素点在结构元素中的位置坐标，DF表示F(x,y)的定义域，F(x,y)表示待处理的输入灰度图像函数，DS表示S(x',y')的定义域，S(x',y')表示结构元素函数。
上述进一步方案的有益效果是：由于形态学操作是利用图像的几何形态对图像进行处理的，所以形态学滤波不仅能够达到滤波的目的，同时也能保持图像结构不被钝化，优于经典滤波器。
再进一步地，所述步骤S4包括以下步骤：
S401、分别设图像随机区域X＝{X1,X2,...,Xk}、类别标签位于集合L＝{l1,l2,...,ln}以及另一图像随机区域Y＝{Y1,Y2,...,Yk}，其中，k表示区域像素的数量，Xk和Yk均表示像素k的类别标签，n表示类别总数，ln表示第n个类别的标签；
S402、根据所述图像随机区域X、Y以及类别标签集合L计算得到条件随机场；
S403、根据所述条件随机场，利用最小化能量函数计算得到最优的林地和建筑物要素边界，完成对面向耕地保护的林地和建筑物的提取。
上述进一步方案的有益效果是：本申请采用概率图模型中的条件随机场方法对建筑物和林地要素边界进行优化，实现自动分类图斑的后处理提升。
再进一步地，所述步骤S402中随机场的表达式如下：
Figure BDA0002692618340000085
E(X|Y)＝∑iψu(xi)+∑i<jψp(xi,yi)
ψu(xi)＝-logP(xi)
Figure BDA0002692618340000091
其中，P(X|Y)表示随机场，Z(Y)表示归一化因子，E(X|Y)表示能量函数，ψu(xi)表示一元项，ψp(xi,yi)表示二元项，i,j∈{1,2,...,k}，k表示区域像素的数量，P(xi)表示像素点i属于某一标注类别的概率值，μ(xi,yi)表示兼容函数，ω1和ω2分别为权重参数与平滑权重参数，pi和pj均表示像素的位置向量，Ii和Ij均表示像素的颜色向量，θa表示用于控制位置向量的邻接程度与相似程度，θβ表示用于控制颜色向量的邻接程度和相似程度，θY表示空间相似程度。
上述进一步方案的有益效果是：本申请利用平均场近似的方法不断进行迭代，可以最小化能量函数，从而得到最优的建筑物和林地要素边界。
附图说明
图1为本发明的方法流程图。
图2为本发明中语义分割神经网络模型的结构示意图。
图3为本实施例中注意力模块的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了一种面向耕地保护的林地和建筑物智能提取方法，其实现方法如下：
S1、识别多模态遥感影像的同名点，并根据同名点对多模态遥感影像进行匹配，其实现方法如下：
S101、根据多模态遥感影像建立遥感影像的高斯尺度空间，并通过高斯尺度空间的相邻两层影像之差得到高斯差分尺度空间；
S102、在所述高斯差分尺度空间中进行极值检测，提取具有尺度不变性的特征点，其实现方法如下：
S1021、将所述高斯差分尺度空间中中间层的每个像素点分别与同一层的相邻8个像素以及上下两层的18个相邻像素点进行比较；
S1022、将比较结果中最大或最小的高斯差分尺度空间值作为候选的特征点；
S1023、根据所述候选的特征点，除对比度最低且位于边缘上的点得到具有尺度不变性的特征点；
S103、根据所述具有尺度不变的特征点，构建具有几何和辐射不变性的点特征描述符，其实现方法如下：
S1031、以具有尺度不变性的特征点为中心取固定大小的领域，并计算得到领域内的相位一致性特征值和相位一致性特征方向，形成相位一致性方向的直方图；
S1032、将所述直方图划分为36等份，每一等份为10°，并统一每一等份的相位一致性特征值；
S1033、利用高斯权重圆窗口对所述相位一致性特征值进行距离加权处理，并根据加权结果选取直方图的峰值方向作为特征点的主方向；
S1034、根据所述特征点的主方向构建坐标系，并以坐标系中任一特征点为中心取20σ×20σ像素的邻域，其中，σ表示特征点的尺度；
S1035、将所述领域划分为2×2个块，其中，每个块由2×2个元胞构成，每个元胞包含了若干个像素点；
S1036、在每个元胞内以像素点的相位一致特征方向进行方向直方图统计，并以像素点的相位一致性特征值进行权重分配，得到元胞向量；
S1037、组合每个元胞向量，形成描述块的特征向量，并对每个描述块的特征向量进行归一化处理；
S1038、连接所有经归一化处理后的描述块特征向量，得到具有几何和辐射不变性的点特征描述符
S104、利用欧氏距离作为匹配测度，并通过点特征描述符之间最近邻和次近邻的距离之比识别多模态遥感影像的同名点；
S105、根据同名点对多模态遥感影像进行匹配；
S2、根据所述匹配结果结合已有的建筑物和林地的矢量边界数据，建立遥感影像语义分割数据集，并利用注意力增强语义分割方法，提取林地和建筑物的粗略地类边界，其实现方法如下：
S201、将所述匹配结果和已有建筑物和林地的矢量边界数据在统一坐标系下进行配准；
S202、根据配准结果对所述匹配结果进行裁剪，建立林地和建筑物的粗标注集，并通过人工核查剔除错误标记，建立精标注集；
S203、建立注意力增强的语义分割神经网络模型；
如图2所示，语义分割神经网络模型包括依次连接的输入层、下采样层、上采样层以及输出层；下采样层包括依次连接的第一卷积层、第二卷积层、第一注意力模块、第一最大池化层、第三卷积层、第四卷积层、第二注意力模块、第二最大池化层、第五卷积层、第六卷积层、第三注意力模块、第三最大池化层、第七卷积层、第八卷积层、第九卷积层、第四注意力模块、第四最大池化层、第十卷积层、第十一卷积层、第十二卷积层、第五注意力模块、第五最大池化层以及与上采样层连接的第十三卷积层；上采样层包括依次连接的第一反卷积层、第十四卷积层、第二反卷积层、第十五卷积层、第三反卷积层、第十六卷积层、第四反卷积层、第十七卷积层、第五反卷积层、第十八卷积层以及第十九卷积层，所述第一反卷积层与第十三卷积层连接；第一注意力模块与第五反卷积层连接，所述第二注意力模块与所述第四反卷积层连接，所述第三注意力模块与所述第三反卷积层连接，所述第四注意力模块与所述第二反卷积层连接，所述第五注意力模块与所述第一反卷积层连接。
如图3所示，所述第一注意力模块、第二注意力模块、第三注意力模块、第四注意力模块以及第五注意力模块均包括依次连接的全局平均池化层、第一全连接层、Relu激活函数层、第二全连接层以及Sigmoid层；全局平均池化层与相邻卷积层的输出端连接，所述Sigmoid层与相邻的最大池化层的输入端连接；
本实施例中，由于特征图的各通道能够表达不同的特征，这些特征对于目标分割的影响存在差异，现有卷积神经网络通常采用相加或者拼接的方式融合不同卷积层的特征，卷积核对特征图各通道采用相同的权重进行处理，这种方式不利于增强目标的有用特征信息。针对该问题，本专利设计注意力算法模块，在每一步池化操作前引入注意力机制，为每一个像素提供全局信息，增强有用信息的表达；为进一步提升网络对不同场景下多尺度目标，尤其是小目标以及目标边缘信息的获取，通过多级注意力进行特征融合，恢复目标分割物体的更多细节，从而得到更好的分割结果。
本实施例中，注意力增强的语义分割模型包括下采样和上采样两个阶段。下采样阶段通过卷积神经网络进行特征提取，随着深度的增加，特征图尺寸逐步减小，有利于提取高层次信息，但是在语义分割中常常会导致分类精度的下降。为适应遥感图像分割的任务需求，对特征图通过反卷积操作进行重建，逐步扩大特征图尺寸，同时减小特征图深度，直至输出图像的尺寸恢复到输入大小。具体过程如下：例如，输入256*256大小的三通道图像。首先，图像经过第一卷积层和第二卷积层卷积操作(卷积核尺寸为3*3，步长为1)，尺寸变为64*256*256；再经过一层注意力模块，图像尺寸不变；最后经过最大池化操作(核尺寸为2*2，步长为2)，图像通道数不变，尺寸变为原来的一半(64*128*128)，按以上规则重复下采样操作。在下采样操作完成后，通过五层反卷积层(卷积核尺寸为2*2，步长为2)，逐步增大特征图尺寸，减小特征图深度；图中加号表示采用特征拼接方法，结合下采样阶段包含的注意力特征与上采样阶段中相同尺度的信息；在每一次拼接后，使用3*3卷积层融合特征信息。按以上规则重复上采样操作，得到64*256*256大小的特征图(第十八卷积层的输出)，通过卷积核大小为1*1的卷积层映射成特定数量的类别进行像素类别预测。
本实施例中，各注意力模块的具体操作为：先对经过相邻卷积层的输出端得到的特征图进行全局平均池化操作，得到每一个通道的权重，这相当于每个通道的全局信息；再依次经过第一全连接层、ReLU激活函数层、第二全连接层和Sigmoid层得到学习后的权重，两个全连接层相当于融合各通道的特征信息，从而建立通道之间的依赖关系；最后把学习到的通道权重点乘到输入的特征图上，得到注意力增强的特征图。
S204、利用所述精标注集对所述语义分割神经网络模型进行训练，并确定语义分割神经网络模型的权重；
S205、利用已训练完成的语义分割神经网络模型及其权重对遥感影像中的建筑物和林地进行语义分割，得到林地和建筑物的粗略地类边界；
S3、根据所述林地和建筑物的粗略地类边界，利用图像形态学滤波方法去除融合自动分类图斑中的细碎图斑，得到建筑物和林地图斑，并将建筑物和林地图斑转化为矢量数据得到建筑物和林地要素的矢量边界；
S4、利用概率图模型对所述建筑物和林地要素的矢量边界进行多边形边界优化，得到精确的地类边界，完成对面向耕地保护的林地和建筑物的提取，其实现方法如下：
S401、分别设图像随机区域X＝{X1,X2,...,Xk}、类别标签位于集合L＝{l1,l2,...,ln}以及另一图像随机区域Y＝{Y1,Y2,...,Yk}，其中，k表示区域像素的数量，Xk和Yk均表示像素k的类别标签，n表示类别总数，ln表示第n个类别的标签；
S402、根据所述图像随机区域X、Y以及类别标签集合L计算得到条件随机场；
S403、根据所述条件随机场，利用最小化能量函数计算得到最优的林地和建筑物要素边界，完成对面向耕地保护的林地和建筑物的提取。
如图1所示，本申请主要包括结构特征约束的多模态遥感影像精确配准、注意力增强的林地和建筑物语义分割方法、图像形态与概率图的地类边界精确提取方法三个方面。
本实施例中，关于结构特征约束的多模态遥感影像精确配准：针对单一来源遥感影像因云遮挡造成信息丢失以及传统基于灰度特征方法难以解决模态遥感影像间(光学、SAR等)存在显著的非线性几何畸变和辐射差异的问题，本专利研究顾及结构特征的多模态遥感影像精确配准方法，利用结构特征有效描述多模态影像间的共有属性，设计由粗到精的配准策略，实现多模态遥感影像的精确配准和林地及建筑物语义分割所需数据的优选。
结构特征约束的多模态遥感影像精确配准方法主要包括三个步骤，首先，进行特征点检测，建立影像的高斯差分(DOG)尺度空间，并在DOG尺度空间中进行极值检测，提取出具有尺度不变性的特征点；然后，进行具有几何和辐射不变性的点特征描述符构建，扩展相位一致性计算模型，构建相位一致性特征方向，借助于梯度方向直方图(HOG)的模板结构，建立局部相位一致性方向直方图(LHOPC)；最后，特征点匹配，采用欧氏距离作为匹配测度，通过LHOPC描述符之间的最近邻和次近邻距离之比进行同点名识别。
本实施例中，关于尺度不变性的结构特征点检测：为了在影像间提取具有尺度不变性的特征点，首先剖析多模态、多期遥感影像结构特征，建立影像的高斯尺度空间，并通过高斯尺度空间的相邻两层影像相减得到DoG尺度空间；然后，在该空间中，将中间层的每个像素点与同一层的相邻8个像素以及上下两层的18个相邻像素，总共26个像素点进行比较，若该点的DoG值最大或最小，则被认为是候选的特征点；最后，去除对比度较低且位于边缘上的点，得到最终的特征点。
(一)具有几何和辐射不变性的点特征描述符构建
目前著名的局部特征描述符是尺度不变特征变换(SIFT)算子，虽然SIFT描述符具有尺度和旋转不变性，但它是基于影像局部邻域的梯度值和梯度方向，对于影像间的辐射差异较为敏感，难以适用于辐射差异较大的多源影像。相位一致性是一种基于频率域的特征检测方法，相比于梯度信息，相位一致性具有光照和对比度不变性，能较好地抵抗影像间的辐射差异。因此，本专利利用相位一致性模型并对其进行扩展，构建一种具有尺度、旋转和辐射不变性的局部特征描述符LHOPC。LHOPC的构建过程主要包括特征点主方向和特征描述向量两部分。
(1)特征点主方向
以特征点为中心取一定大小的邻域，计算邻域内的相位一致性特征值和特征方向，形成相位一致性方向直方图。把这个直方图均匀的划分为36等份，每一等份为10°，统计每一等份的相位一致性特征值，并利用高斯权重圆窗口进行距离加权，使邻域中心附近的像素所占的比重更大。然后选择直方图的峰值方向作为特征点的主方向。
(2)特征描述向量
在获取特征点主方向之后，根据主方向建立坐标系，并以特征点为中心取20σ×20σ像素的邻域，σ表示特征点的尺度。然后把邻域划分为2×2个块，每个块由2×2个元胞构成，每个元胞包含了若干个像素，并且被划分为9个方向块，从而形成LHOPC的基本结构。
在元胞内，以像素点的相位一致特征方向进行方向直方图统计，并以像素点的相位一致性特征值进行权重分配，构成描述cell的向量，同时将每个元胞的向量组合起来，形成描述块的特征向量。为了进一步消除光照和对比度所造成的影响，对每个块的特征向量进行归一化处理。最后将所有块的特征向量连接在一起，形成描述整个邻域的LHOPC特征描述符。
本实施例中，相位一致性是一种基于频率域的特征检测方法，它的主要依据是角点、边缘等特征出现在图像傅里叶谐波分量叠合最大的相位处。相位一致性定义为局部能量函数和傅里叶谐波分量幅度和的比值。它是一个相对量，与信号特征幅值的大小无关。这一性质保证了相位一致性对于影像的光照和对比度具有很好的不变性。为了更好地利用相位一致对图像进行特征提取，Kovesi利用Log Gabor小波改进了进行相位一致性的计算模型，并将相位一致性扩展到二维空间，其计算式为：
Figure BDA0002692618340000171
其中，PC(x,y)表示相位一致性特征值，(x,y)表示多模态遥感影像的坐标，Wo(x,y)表示频率扩展的权重因子，Ano(x,y)表示(x,y)在LogGabor滤波器尺度n和方向o上的振幅，T表示噪声阈值，ε表示避免分母为零的常数，Ano(x,y)ΔΦno(x,y)表示通过Log Gabor滤波器的偶对称滤波器响应值eno(x,y)和奇对称滤波器响应值Ono(x,y)进行计算，E(x,y)表示能量函数，ΔΦno(x,y)表示相位偏差函数：
Figure BDA0002692618340000172
E(x,y)是局部能量函数，定义为：
Figure BDA0002692618340000173
在传统的相位一致性计算过程中，只能获得相位一致性特征值，而特征值的描述性能不够稳健。鉴于此，这里对相位一致性的计算模型进行扩展，利用Log Gabor函数的奇对称滤波器Ono(x,y)构建相位一致性的特征方向，特征方向表示影像特征变化最剧烈的方向(类似于梯度方向)，对于局部特征描述符的构建非常重要。Log Gabor函数的奇对称滤波器Ono(x,y)近似于一种导数(或梯度)模板。该滤波器的卷积结果表示影像在某个方向的能量变化。由于在计算相位一致性的时候，使用了多个方向的Log Gabor奇对称滤波器，因此这里将多个方向的奇对称滤波器结果分别投影到水平方向(X轴)和垂直方向(Y轴)，可分别获得水平方向的能量a和垂直方向的能量b，然后它们之间的反正切值，即获得相位一致性特征方向Φ，计算公式为：
Figure BDA0002692618340000181
式中，Ono(θ)表示在方向θ上的奇对称滤波器卷积结果，arctan(·)表示反正切函数。
(二)基于主体结构特征的匹配相似性测度的同名点识别
首先，进一步剖析多模态遥感影像中地物主体结构特征，利用LHOPC对影像间检测的每个特征点进行特征描述；其次，联合尺度不变性的结构特征点检测与具有几何和辐射不变性的点特征描述符构建，计算描述符间的欧式距离；最后，根据LHOPC描述符之间欧氏距离的最近邻和次近邻距离之比d进行同点名识别，当d小于或等于给定的阈值时，该点则被视为匹配点，实现影像的精配准。
本实施例中，关于注意力增强的林地和建筑物语义分割方法：针对传统遥感影像目视判别提取进行耕地保护过程中地类要素“查不快”的问题，本专利研究自动化提取林地和建筑物的深度学习语义分割方法。现有遥感影像语义分割的深度学习模型都依赖于卷积神经网络(CNN)获取的特征图，针对CNN结构的局部感受野造成“查不准”的问题，本发明通过设计注意力算法模块，通过自学习的方式探索和聚合全局上下文信息，提取优势特征，抑制干扰特征，克服林地和建筑物要素类别混淆和边界模糊的问题。注意力增强的林地和建筑物语义分割方法包括融合多特征的深度学习训练集标注、注意力增强下的林地和建筑物上下文语义信息融合、地物复杂度驱动的深度神经网络训练三部分。
(一)深度学习训练集标注
首先，将遥感影像匹配结果和已有建筑物和林地的矢量边界数据在统一坐标系下进行配准；其次，根据配准结果对所述匹配结果进行裁剪，建立林地和建筑物的粗标注集，并通过人工核查剔除错误标记，建立建筑物和林地的精标注集，为后续神经网络模型训练提供数据支撑。
(二)注意力增强下的林地和建筑物上下文语义信息融合
注意力机制源于认知心理学中人脑注意力机制，当人在看某个物体时，会选择性地将注意力集中于某一处，而忽略其他位置的信息。在图像语义分割领域中，注意力机制为计算机将赋予被关注区域较大权重，对于不感兴趣的区域权重值较小，这样可以提取优势特征，抑制干扰特征，提高网络学习性能。因此，本专利引入注意力机制，通过分析大规模样本库中研究区林地和建筑物的深度特征信息，研究不同类别下对象特征与深度特征之间的关系，探索和聚合全局上下文信息，设计注意力算法模块，充分利用网络中的低层级细节信息和高层级语义信息，增强有用信息的表达，恢复目标分割物体的更多细节，实现林地和建筑物的高精度语义分割。
深度学习中得到的特征图是具有丰富物理意义的特征和模式。因此在本专利中，首先分析每层特征图的统计特征，将地物特性反映在特征图上所蕴含的潜在物理意义，及其特征和模式理解为多尺度下的图像局部统计特性，通过这种统计特征模型发现地物和地物空间分布特征之间的耦合关系，使得更好地洞察面向遥感影像地物识别的深度卷积网络从底层特征到高层次特征抽象递进过程，挖掘更丰富的、潜在的地物目标的特征信息。
由于特征图的各通道能够表达不同的特征，这些特征对于目标分割的影响存在差异，现有卷积神经网络通常采用相加或者拼接的方式融合不同卷积层的特征，卷积核对特征图各通道采用相同的权重进行处理，这种方式不利于增强目标的有用特征信息。针对该问题，本专利设计注意力算法模块，在每一步池化操作前引入注意力机制，为每一个像素提供全局信息，增强有用信息的表达；为进一步提升网络对不同场景下多尺度目标，尤其是小目标以及目标边缘信息的获取，通过多级注意力进行特征融合，恢复目标分割物体的更多细节，从而得到更好的分割结果。
(三)深度神经网络训练
首先，利用精标注集对所述语义分割神经网络模型进行训练，并确定语义分割神经网络模型的权重；其次，利用已训练完成的语义分割神经网络模型及其权重对遥感影像中的建筑物和林地进行语义分割，得到林地和建筑物的粗略地类边界。
本实施例中，关于图像形态与概率图的地类边界精确提取方法：针对语义分割图斑存在细碎图斑、地类矢量边界不清晰及错分类等问题，本专利研究基于图像形态与概率图模型的地类边界精确提取，利用图像形态学方法去除和融合自动分类图斑数据中的细碎图斑，规整图斑边界，并转化为地类矢量数据，通过概率图模型对矢量数据进行多边形边界优化，完成对自动分类图斑的后处理，满足耕地保护过程中所需林地及建筑物边界的高精度提取要求。
(一)基于图像形态学的语义分割结果滤波
林地和建筑物像素级语义分割结果中存在各种噪声干扰，为了去除图像中的各种噪声干扰，提高图像的质量和对比度，有必要对图像进行滤波处理。经典的滤波器在增强图像的同时会造成图像中部分目标信息被腐蚀掉，不能保持在提高图像质量的同时提取目标信息不变。形态学滤波(morphological filter，MF)是近几年研究的一种重要的非线性滤波器，其着重使用形态学的开运算、闭运算达到滤波处理的目的，在形态识别、图像增强以及边缘检测等领域的应用十分广泛。由于形态学操作是利用图像的几何形态对图像进行处理的，所以形态学滤波不仅能够达到滤波的目的，同时也能保持图像结构不被钝化，优于经典滤波器。因此，本专利研究分割图斑中存在的细碎图斑与空洞区域特征，采用图像形态学滤波方法去除和融合自动分类图斑数据中的细碎图斑，规整图斑边界。
膨胀和腐蚀运算是图像形态学处理的基础，膨胀运算可以用来填补目标对象洞，使目标对象形成连通区域及填补目标对象边缘上的不平滑的凹陷部分；腐蚀运算可以用来去除孤立的噪声点和消除图像中的边界上不平滑的凸点。在灰度图像中，利用结构元素S(x',y')对图像F(x,y)做膨胀运算的定义：
Figure BDA0002692618340000211
做腐蚀运算的定义：(F⊙S)(x,y)＝min{F(x+x',y+y')-S(x'-y')|(x+x',y+y')∈DF,(x',y')∈DS}
其中，(x,y)表示该像素点在图像中的位置坐标，(x',y')表示该像素点在结构元素中的位置坐标，DF表示F(x,y)的定义域，DS表示S(x',y')的定义域。
开运算和闭运算是通过对膨胀和腐蚀运算的组合而产生的，开运算用来删除不能包含结构元素的对象区域，平滑对象的轮廓，断开狭窄的连接和去掉细小的突出部分；闭运算用来将狭窄的缺口连接起来形成细长的弯口，填充空洞区域。利用结构元素S对图像F做开运算定义：
Figure BDA0002692618340000212
做闭运算定义：
Figure BDA0002692618340000221
(二)基于概率图模型的地类边界优化
虽然通过图像形态学滤波已经去除和融合了自动分类图斑数据中的细碎图斑，但仍然存在影像边界不清晰和边界错分类的情况，因此有必要对图像形态学滤波结果进行后处理。概率图模型(probabilistic graphical model，PGM)是指概率相关关系的模型的总称，它通常用图的形式来进行表达，利用概率图模型可以从数学的角度很好地解释影像中的事物间关系。进一步地，概率图模型可细分为有向图模型和无向图模型，其中无向图模型表示随机变量之间的一种互相依赖关系和空间关系，在图像分割领域中，无向图模型中的条件随机场(conditional random fields，CRF)通常作为一种后处理的方法。因此，本专利采用概率图模型中的条件随机场方法对建筑物和林地要素边界进行优化，实现自动分类图斑的后处理提升。CRF的计算过程如下：
设存在一块图像随机区域X＝{X1,X2,...,Xk}，k表示区域像素的数量，Xk表示像素k的类别标签，类别标签位于集合L＝{l1,l2,...,ln}中，n表示类别总数。设存在另外一块随即区域Y，如果X于Y满足：
Figure BDA0002692618340000222
则称(Y,X)为条件随机场。其中，Z(Y)为归一化因子，E(X|Y)表示能量函数，由一元项和二元项构成：
E(X|Y)＝∑iψu(xi)+∑i<jψp(xi,yi)
其中，ψu(xi)为一元项，ψp(xi,yi)为二元项，i,j∈{1,2,...,k}，其中k表示区域像素总数。通过最小化能量函数就可以得到最优的建筑物和林地要素边界。
ψu(xi)＝-logP(xi)
其中，P(xi)表示i像素点属于某一标注类别的概率值。
Figure BDA0002692618340000231
其中，μ(xi,yi)为兼容函数，当xi与yi相等时，其函数值为1，否则为0。ω1和ω2分别为权重参数与平滑权重参数，pi和pj均表示像素的位置向量，Ii和Ij均表示像素的颜色向量，θa表示用于控制位置向量的邻接程度与相似程度，θβ表示用于控制颜色向量的邻接程度和相似程度，θY表示空间相似程度。
利用平均场近似的方法不断进行迭代，可以最小化能量函数，从而得到最优的的建筑物和林地要素边界。

Claims (11)

1.一种面向耕地保护的林地和建筑物智能提取方法，其特征在于，包括以下步骤：
S1、识别多模态遥感影像的同名点，并根据同名点对多模态遥感影像进行匹配；
S2、根据所述匹配结果结合已有的建筑物和林地的矢量边界数据，建立遥感影像语义分割数据集，并利用注意力增强语义分割方法，提取林地和建筑物的粗略地类边界；
S3、根据所述林地和建筑物的粗略地类边界，利用图像形态学滤波方法去除融合自动分类图斑中的细碎图斑，得到建筑物和林地图斑，并将建筑物和林地图斑转化为矢量数据得到建筑物和林地要素的矢量边界；
S4、利用概率图模型对所述建筑物和林地要素的矢量边界进行多边形边界优化，得到精确的地类边界，完成对面向耕地保护的林地和建筑物的提取。
2.根据权利要求1所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S1包括以下步骤：
S101、根据多模态遥感影像建立遥感影像的高斯尺度空间，并通过高斯尺度空间的相邻两层影像之差得到高斯差分尺度空间；
S102、在所述高斯差分尺度空间中进行极值检测，提取具有尺度不变性的特征点；
S103、根据所述具有尺度不变的特征点，构建具有几何和辐射不变性的点特征描述符；
S104、利用欧氏距离作为匹配测度，并通过点特征描述符之间最近邻和次近邻的距离之比识别多模态遥感影像的同名点；
S105、根据同名点对多模态遥感影像进行匹配。
3.根据权利要求2所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S102包括以下步骤：
S1021、将所述高斯差分尺度空间中中间层的每个像素点分别与同一层的相邻8个像素以及上下两层的18个相邻像素点进行比较；
S1022、将比较结果中最大或最小的高斯差分尺度空间值作为候选的特征点；
S1023、根据所述候选的特征点，除对比度最低且位于边缘上的点得到具有尺度不变性的特征点。
4.根据权利要求2所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S103包括以下步骤：
S1031、以具有尺度不变性的特征点为中心取固定大小的领域，并计算得到领域内的相位一致性特征值和相位一致性特征方向，形成相位一致性方向的直方图；
S1032、将所述直方图划分为36等份，每一等份为10°，并统一每一等份的相位一致性特征值；
S1033、利用高斯权重圆窗口对所述相位一致性特征值进行距离加权处理，并根据加权结果选取直方图的峰值方向作为特征点的主方向；
S1034、根据所述特征点的主方向构建坐标系，并以坐标系中任一特征点为中心取20σ×20σ像素的邻域，其中，σ表示特征点的尺度；
S1035、将所述领域划分为2×2个块，其中，每个块由2×2个元胞构成，每个元胞包含了若干个像素点；
S1036、在每个元胞内以像素点的相位一致特征方向进行方向直方图统计，并以像素点的相位一致性特征值进行权重分配，得到元胞向量；
S1037、组合每个元胞向量，形成描述块的特征向量，并对每个描述块的特征向量进行归一化处理；
S1038、连接所有经归一化处理后的描述块特征向量，得到具有几何和辐射不变性的点特征描述符。
5.根据权利要求4所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S1031中相位一致性特征值的表达式如下：
Figure RE-FDA0002727244500000031
Figure RE-FDA0002727244500000032
Figure RE-FDA0002727244500000033
其中，PC(x,y)表示相位一致性特征值，(x,y)表示多模态遥感影像的坐标，Wo(x,y)表示频率扩展的权重因子，Ano(x,y)表示(x,y)在LogGabor滤波器尺度n和方向o上的振幅，T表示噪声阈值，ε表示避免分母为零的常数，Ano(x,y)ΔΦno(x,y)表示通过Log Gabor滤波器的偶对称滤波器响应值eno(x,y)和奇对称滤波器响应值Ono(x,y)进行计算，E(x,y)表示能量函数，ΔΦno(x,y)表示相位偏差函数；
所述相位一致性特征方向的表达式如下：
Figure RE-FDA0002727244500000041
其中，φ表示相位一致性特征方向，a表示水平方向的能量，b表示垂直方向的能量，Ono(θ)表示在方向θ上的奇对称滤波器卷积结果，arctan(·)表示反正切函数。
6.根据权利要求1所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S2包括以下步骤：
S201、将所述匹配结果和已有建筑物和林地的矢量边界数据在统一坐标系下进行配准；
S202、根据配准结果对所述匹配结果进行裁剪，建立林地和建筑物的粗标注集，并通过人工核查剔除错误标记，建立精标注集；
S203、建立注意力增强的语义分割神经网络模型；
S204、利用所述精标注集对所述语义分割神经网络模型进行训练，并确定语义分割神经网络模型的权重；
S205、利用已训练完成的语义分割神经网络模型对遥感影像中的建筑物和林地进行语义分割，得到林地和建筑物的粗略地类边界。
7.根据权利要求6所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述语义分割神经网络模型包括依次连接的输入层、下采样层、上采样层以及输出层；
所述下采样层包括依次连接的第一卷积层、第二卷积层、第一注意力模块、第一最大池化层、第三卷积层、第四卷积层、第二注意力模块、第二最大池化层、第五卷积层、第六卷积层、第三注意力模块、第三最大池化层、第七卷积层、第八卷积层、第九卷积层、第四注意力模块、第四最大池化层、第十卷积层、第十一卷积层、第十二卷积层、第五注意力模块、第五最大池化层以及与上采样层连接的第十三卷积层；
所述上采样层包括依次连接的第一反卷积层、第十四卷积层、第二反卷积层、第十五卷积层、第三反卷积层、第十六卷积层、第四反卷积层、第十七卷积层、第五反卷积层、第十八卷积层以及第十九卷积层，所述第一反卷积层与第十三卷积层连接；
所述第一注意力模块与第五反卷积层连接，所述第二注意力模块与所述第四反卷积层连接，所述第三注意力模块与所述第三反卷积层连接，所述第四注意力模块与所述第二反卷积层连接，所述第五注意力模块与所述第一反卷积层连接。
8.根据权利要求7所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述第一注意力模块、第二注意力模块、第三注意力模块、第四注意力模块以及第五注意力模块均包括依次连接的全局平均池化层、第一全连接层、Relu激活函数层、第二全连接层以及Sigmoid层；
所述全局平均池化层与相邻卷积层的输出端连接，所述Sigmoid层与相邻的最大池化层的输入端连接。
9.根据权利要求1所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S3中利用图像形态学滤波方法去除融合自动分类图斑中的细碎图斑的表达式如下：
Figure RE-FDA0002727244500000051
Figure RE-FDA0002727244500000052
(F⊙S)(x,y)＝min{F(x+x',y+y')-S(x'-y')|(x+x',y+y')∈DF,(x',y')∈DS}
Figure RE-FDA0002727244500000061
其中，F表示待处理的输入灰度图像，S表示结构元素，
Figure RE-FDA0002727244500000062
表示开运算，⊙表示腐蚀运算，
Figure RE-FDA0002727244500000063
表示膨胀运算，·表示闭运算，(x,y)表示该像素点在多模态遥感影像中的位置坐标，(x',y')表示该像素点在结构元素中的位置坐标，DF表示F(x,y)的定义域，F(x,y)表示待处理的输入灰度图像函数，DS表示S(x',y')的定义域，S(x',y')表示结构元素函数。
10.根据权利要求1所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S4包括以下步骤：
S401、分别设图像随机区域X＝{X1,X2,...,Xk}、类别标签位于集合L＝{l1,l2,...,ln}以及另一图像随机区域Y＝{Y1,Y2,...,Yk}，其中，k表示区域像素的数量，Xk和Yk均表示像素k的类别标签，n表示类别总数，ln表示第n个类别的标签；
S402、根据所述图像随机区域X、Y以及类别标签集合L计算得到条件随机场；
S403、根据所述条件随机场，利用最小化能量函数计算得到最优的林地和建筑物要素边界，完成对面向耕地保护的林地和建筑物的提取。
11.根据权利要求1所述的面向耕地保护的林地和建筑物智能提取方法，其特征在于，所述步骤S402中随机场的表达式如下：
Figure RE-FDA0002727244500000064
E(X|Y)＝∑iψu(xi)+∑i＜jψp(xi,yi)
ψu(xi)＝-logP(xi)
Figure RE-FDA0002727244500000071
其中，P(X|Y)表示随机场，Z(Y)表示归一化因子，E(X|Y)表示能量函数，ψu(xi)表示一元项，ψp(xi,yi)表示二元项，i,j∈{1,2,...,k}，k表示区域像素的数量，P(xi)表示像素点i属于某一标注类别的概率值，μ(xi,yi)表示兼容函数，ω1和ω2分别为权重参数与平滑权重参数，pi和pj均表示像素的位置向量，Ii和Ij均表示像素的颜色向量，θa表示用于控制位置向量的邻接程度与相似程度，θβ表示用于控制颜色向量的邻接程度和相似程度，θY表示空间相似程度。
CN202010996260.4A 2020-09-21 2020-09-21 一种面向耕地保护的林地和建筑物智能提取方法 Active CN112132006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996260.4A CN112132006B (zh) 2020-09-21 2020-09-21 一种面向耕地保护的林地和建筑物智能提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996260.4A CN112132006B (zh) 2020-09-21 2020-09-21 一种面向耕地保护的林地和建筑物智能提取方法

Publications (2)

Publication Number Publication Date
CN112132006A true CN112132006A (zh) 2020-12-25
CN112132006B CN112132006B (zh) 2022-08-26

Family

ID=73842093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996260.4A Active CN112132006B (zh) 2020-09-21 2020-09-21 一种面向耕地保护的林地和建筑物智能提取方法

Country Status (1)

Country Link
CN (1) CN112132006B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767413A (zh) * 2021-01-06 2021-05-07 武汉大学 综合区域连通和共生知识约束的遥感影像深度语义分割方法
CN112837225A (zh) * 2021-04-15 2021-05-25 浙江卡易智慧医疗科技有限公司 一种立位全脊柱图像自动无缝拼接的方法及装置
CN112910583A (zh) * 2021-02-01 2021-06-04 清华大学 干扰能量的确定方法和装置
CN113177456A (zh) * 2021-04-23 2021-07-27 西安电子科技大学 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN113283435A (zh) * 2021-05-14 2021-08-20 陕西科技大学 一种基于多尺度注意力融合的遥感图像语义分割方法
CN113409369A (zh) * 2021-05-25 2021-09-17 西安电子科技大学 基于改进rift的多模遥感图像配准方法
CN113486840A (zh) * 2021-07-21 2021-10-08 武昌理工学院 一种基于复合网络修正的建筑物快速提取方法
CN113537240A (zh) * 2021-07-09 2021-10-22 北方工业大学 一种基于雷达序列图像的形变区智能提取方法及系统
CN114792115A (zh) * 2022-05-17 2022-07-26 哈尔滨工业大学 基于反卷积重建网络的遥测信号野值去除方法、装置及介质
CN114821056A (zh) * 2022-04-24 2022-07-29 国家林业和草原局华东调查规划院 一种遥感影像中基于ai技术的林草资源变化自动判读方法
CN115272848A (zh) * 2022-07-18 2022-11-01 西南交通大学 多云多雾耕地保护区内建筑物智能变化检测方法
CN116416530A (zh) * 2023-03-08 2023-07-11 自然资源部国土卫星遥感应用中心 一种新增建设图斑影像核实的方法
CN116580320A (zh) * 2023-05-25 2023-08-11 中国水利水电科学研究院 一种大尺度人为水土流失扰动范围遥感智能提取方法
CN117011555A (zh) * 2023-10-07 2023-11-07 广东海洋大学 一种基于遥感图像识别的红树林生态检测方法
CN118230192A (zh) * 2024-05-27 2024-06-21 环天智慧科技股份有限公司 基于实例分割模型耕地影像中耕地图斑共线的处理方法
CN118675064A (zh) * 2024-08-26 2024-09-20 自然资源部第三地理信息制图院 一种基于深度学习的遥感影像极值检查方法、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法
CN106355143A (zh) * 2016-08-25 2017-01-25 中国农业大学 多源多时相高分遥感影像的制种玉米田识别方法及系统
CN107993238A (zh) * 2017-12-19 2018-05-04 中科视拓（北京）科技有限公司 一种基于注意力模型的头肩部分图像分割方法及装置
CN110570440A (zh) * 2019-07-19 2019-12-13 武汉珈和科技有限公司 一种基于深度学习边缘检测的图像自动分割方法及装置
CN110929696A (zh) * 2019-12-16 2020-03-27 中国矿业大学 一种基于多模态注意与自适应融合的遥感图像语义分割方法
CN110956632A (zh) * 2020-01-02 2020-04-03 广州柏视医疗科技有限公司 钼靶图像中胸大肌区域自动检测方法及装置
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111582194A (zh) * 2020-05-12 2020-08-25 吉林大学 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法
CN111652892A (zh) * 2020-05-02 2020-09-11 王磊 一种基于深度学习的遥感影像建筑物矢量提取及优化方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法
CN106355143A (zh) * 2016-08-25 2017-01-25 中国农业大学 多源多时相高分遥感影像的制种玉米田识别方法及系统
CN107993238A (zh) * 2017-12-19 2018-05-04 中科视拓（北京）科技有限公司 一种基于注意力模型的头肩部分图像分割方法及装置
CN110570440A (zh) * 2019-07-19 2019-12-13 武汉珈和科技有限公司 一种基于深度学习边缘检测的图像自动分割方法及装置
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN110929696A (zh) * 2019-12-16 2020-03-27 中国矿业大学 一种基于多模态注意与自适应融合的遥感图像语义分割方法
CN110956632A (zh) * 2020-01-02 2020-04-03 广州柏视医疗科技有限公司 钼靶图像中胸大肌区域自动检测方法及装置
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111652892A (zh) * 2020-05-02 2020-09-11 王磊 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN111582194A (zh) * 2020-05-12 2020-08-25 吉林大学 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHIHAO SUN ET AL.: "Feature Fusion Through Multitask CNN for Large-scale Remote Sensing Image Segmentation", 《 2018 10TH IAPR WORKSHOP ON PATTERN RECOGNITION IN REMOTE SENSING (PRRS)》 *
余帅等: "基于多级通道注意力的遥感图像分割方法", 《激光与光电子学进展》 *
叶沅鑫等: "局部相位特征描述的多源遥感影像自动匹配", 《武汉大学学报(信息科学版)》 *
田雯等: "基于频域映射与多尺度Top-Hat变换的红外弱小目标检测算法", 《光学技术》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767413A (zh) * 2021-01-06 2021-05-07 武汉大学 综合区域连通和共生知识约束的遥感影像深度语义分割方法
CN112910583A (zh) * 2021-02-01 2021-06-04 清华大学 干扰能量的确定方法和装置
CN112837225A (zh) * 2021-04-15 2021-05-25 浙江卡易智慧医疗科技有限公司 一种立位全脊柱图像自动无缝拼接的方法及装置
CN112837225B (zh) * 2021-04-15 2024-01-23 浙江卡易智慧医疗科技有限公司 一种立位全脊柱图像自动无缝拼接的方法及装置
CN113177456B (zh) * 2021-04-23 2023-04-07 西安电子科技大学 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN113177456A (zh) * 2021-04-23 2021-07-27 西安电子科技大学 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN113283435A (zh) * 2021-05-14 2021-08-20 陕西科技大学 一种基于多尺度注意力融合的遥感图像语义分割方法
CN113283435B (zh) * 2021-05-14 2023-08-22 陕西科技大学 一种基于多尺度注意力融合的遥感图像语义分割方法
CN113409369A (zh) * 2021-05-25 2021-09-17 西安电子科技大学 基于改进rift的多模遥感图像配准方法
CN113537240A (zh) * 2021-07-09 2021-10-22 北方工业大学 一种基于雷达序列图像的形变区智能提取方法及系统
CN113537240B (zh) * 2021-07-09 2023-09-05 北方工业大学 一种基于雷达序列图像的形变区智能提取方法及系统
CN113486840A (zh) * 2021-07-21 2021-10-08 武昌理工学院 一种基于复合网络修正的建筑物快速提取方法
CN114821056A (zh) * 2022-04-24 2022-07-29 国家林业和草原局华东调查规划院 一种遥感影像中基于ai技术的林草资源变化自动判读方法
CN114792115B (zh) * 2022-05-17 2023-04-07 哈尔滨工业大学 基于反卷积重建网络的遥测信号野值去除方法、装置及介质
CN114792115A (zh) * 2022-05-17 2022-07-26 哈尔滨工业大学 基于反卷积重建网络的遥测信号野值去除方法、装置及介质
CN115272848A (zh) * 2022-07-18 2022-11-01 西南交通大学 多云多雾耕地保护区内建筑物智能变化检测方法
CN116416530A (zh) * 2023-03-08 2023-07-11 自然资源部国土卫星遥感应用中心 一种新增建设图斑影像核实的方法
CN116416530B (zh) * 2023-03-08 2023-11-03 自然资源部国土卫星遥感应用中心 一种新增建设图斑影像核实的方法
CN116580320A (zh) * 2023-05-25 2023-08-11 中国水利水电科学研究院 一种大尺度人为水土流失扰动范围遥感智能提取方法
CN116580320B (zh) * 2023-05-25 2023-10-13 中国水利水电科学研究院 一种大尺度人为水土流失扰动范围遥感智能提取方法
CN117011555A (zh) * 2023-10-07 2023-11-07 广东海洋大学 一种基于遥感图像识别的红树林生态检测方法
CN117011555B (zh) * 2023-10-07 2023-12-01 广东海洋大学 一种基于遥感图像识别的红树林生态检测方法
CN118230192A (zh) * 2024-05-27 2024-06-21 环天智慧科技股份有限公司 基于实例分割模型耕地影像中耕地图斑共线的处理方法
CN118675064A (zh) * 2024-08-26 2024-09-20 自然资源部第三地理信息制图院 一种基于深度学习的遥感影像极值检查方法、设备及介质

Also Published As

Publication number Publication date
CN112132006B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112132006B (zh) 一种面向耕地保护的林地和建筑物智能提取方法
CN106778605B (zh) 导航数据辅助下的遥感影像道路网自动提取方法
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
Zhou et al. BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery
CN103020605B (zh) 基于决策层融合的桥梁识别方法
Zhang et al. Road recognition from remote sensing imagery using incremental learning
Huang et al. Local binary patterns and superpixel-based multiple kernels for hyperspectral image classification
Hoang et al. A novel approach for detection of pavement crack and sealed crack using image processing and salp swarm algorithm optimized machine learning
US11847811B1 (en) Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
CN109829426B (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
Sun et al. Roads and Intersections Extraction from High‐Resolution Remote Sensing Imagery Based on Tensor Voting under Big Data Environment
Lim et al. Text segmentation in color images using tensor voting
Ding et al. Efficient vanishing point detection method in unstructured road environments based on dark channel prior
CN115937698A (zh) 一种自适应的尾矿库遥感深度学习检测方法
Sutha Object based classification of high resolution remote sensing image using HRSVM-CNN classifier
CN113435479A (zh) 基于区域特征表达约束的特征点匹配方法与系统
Wu et al. Instant water body variation detection via analysis on remote sensing imagery
CN116129280B (zh) 一种遥感影像雪检测的方法
CN116630610A (zh) 基于语义分割模型和条件随机场的roi区域提取方法
CN107798286B (zh) 基于标记样本位置的高光谱图像进化分类方法
Kakooei et al. VHR semantic labeling by random forest classification and fusion of spectral and spatial features on Google Earth Engine
Distante et al. Image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant