CN116310826A - 一种基于图神经网络的高分遥感影像林地二级分类方法 - Google Patents
一种基于图神经网络的高分遥感影像林地二级分类方法 Download PDFInfo
- Publication number
- CN116310826A CN116310826A CN202310269948.6A CN202310269948A CN116310826A CN 116310826 A CN116310826 A CN 116310826A CN 202310269948 A CN202310269948 A CN 202310269948A CN 116310826 A CN116310826 A CN 116310826A
- Authority
- CN
- China
- Prior art keywords
- woodland
- stage
- image
- forest land
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 238000012216 screening Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 2
- 235000017491 Bambusa tulda Nutrition 0.000 description 2
- 244000082204 Phyllostachys viridis Species 0.000 description 2
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 2
- 239000011425 bamboo Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001133760 Acoelorraphe Species 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 244000166124 Eucalyptus globulus Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图神经网络的高分遥感影像林地二级分类方法，包括：读取需要进行林地二级分类的高分遥感影像；将高分遥感影像按设定重叠率裁剪为多张影像小图BlkImage；在每张影像小图BlkImage中，识别出i个最终林地检测框Box"及其对应的i个林地类别Cls"；将所有影像小图BlkImage中的最终林地检测框Box"及其对应的林地类别Cls"合并，从而得到高分遥感影像中所有林地检测框和对应的林地类别，完成林地二级分类。本发明设计了一种基于图神经网络的高分遥感影像林地二级分类方法，本发明对林地二级分类具有更强的适用性，能更深入的挖掘林地类别间的弱小差异、结构关系，达到更精准的分类效果。
Description
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于图神经网络的高分遥感影像林地二级分类方法。
背景技术
林地二级分类有助于森林和林地资源更精细的清查与管理，相较于传统区分林地与非林地的一级分类方法，二级分类能够更精准的检测林地变化，对林地的蓄积量、生物量、碳储量、生物多样性等进行评估。但由于林地的树木种类、种植地域的差异性，存在着二级林地类别间颜色对比度小、纹理特征相似等问题，易造成林地二级类别间种类难以区分、分割边界模糊、类别分割错误或漏分的情况。
在以往的林地分类任务中，主要依靠人工目视判读或人工外业抽样调查等方式进行林地分类。由于林地范围分布广泛，单靠人工目视判读的方法存在着周期长、人力物力成本大、空间覆盖低等问题。
随着航空航天技术的发展，遥感技术成为一种高效获取地表目标信息的手段，具有覆盖范围广、观测面积大、信息量丰富和时效性强等特点，被广泛应用于林地二级分类调查中。结合遥感技术和计算机技术的机器学习方法成为林地二级分类的主要方法。机器学习利用目标对象的数据特点构建专家知识，设计相对应的特征提取核心算子进行分类，主要方法包括支持向量机法、决策树法、最大似然法等。如任冲等(2016)通过计算NDVI、NDWI等指数，使用优化的支持向量机方法对林地类型分类。但这类基于人工辅助的计算机自动分类方法，存在人工构建的特征提取算子无法全面提取特征等问题，存在一定的误判现象。
深度学习的出现超越了传统的机器学习分类算法，分类方法开始从人为构建特征分类向计算机智能提取特征分类方向变化。深度学习可以更深层次的挖掘数据的特征，从而达到分类精度高于机器学习的效果。如Wang等(2019)在巴西地区使用U-net进行特征提取和林地分类，识别出天然林与桉树林；Ferreira等(2020)使用全卷积神经网络提取到亚马逊地区棕桐树的分布；Zhao等(2017)提出基于多光谱与全色影像的线性迭代聚类分割算法生成超级像元，并建立特征提取网络进行林地分类；张劳模等(2020)使用堆栈式稀疏自编码网络对林地分类；颜铭靖等利用Mobilenetv3为主干网络综合光谱、纹理与地学知识进行林地精细分类。深度学习卷积网络虽然可以更深层次的挖掘数据的特征，但基于卷积网络的林地二级分类方法很少能充分捕获对象间的空间结构信息。
面对林地二级精细分类的需求，基于深度学习的方法存在林地树木种类及种植地域间分割模糊、错分和漏分等问题，其原因为不同林地间具有以下特点：①表观特征相似：包括林地树种颜色、形状及纹理特征相似度高，难以辨别。例如竹林地和灌木林地颜色相近且形状特征不规则，使得这两类林地遥感影像上难以进行二级区分。②光谱特征相似：一般不同地物间光谱差异较为明显，可以通过光谱差异辨别地物的类别。尤其对于林地植被等具有独特的红外波段光谱特性的对象，光谱信息是区分林地植被与非林地植被的重要手段。但林地、树种间光谱差异较小，且更易出现“同物异谱”、“异谱同物”现象，削减了影像的光谱可分性，这对林地二级精确分类造成极大影响。
由此，如何实现林地二级精细分类，是目前急需解决的问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于图神经网络的高分遥感影像林地二级分类方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于图神经网络的高分遥感影像林地二级分类方法，包括以下步骤：
步骤1，读取需要进行林地二级分类的高分遥感影像；
步骤2，为适应网络输入需求，将所述高分遥感影像按设定重叠率裁剪为多张影像小图BlkImage；
步骤3，在每张所述影像小图BlkImage中，识别出i个最终林地检测框Box"及其对应的i个林地类别Cls"；其中，i≥0；
对于每张影像小图BlkImage，处理方法具体包括：
步骤3.1，第一阶段目标群体检测和筛选：
步骤3.1.1，将影像小图BlkImage输入到第一阶段目标检测网络Faster R-CNN中，得到影像小图BlkImage的第一阶段检测结果，包含m个第一阶段林地检测框Box及其对应的m个林地类别Cls，其中，m≥0，并记录输出每个第一阶段林地检测框Box的RoI特征；
步骤3.1.2，对所述第一阶段检测结果进行目标群体筛选，得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征；其中，n≥0；
步骤3.2，第二阶段目标精细分类：
步骤3.2.1，采用n个经过目标群体筛选后的林地检测框Box’的RoI特征，构造邻接图G(V,E)，其中V代表邻接图G(V,E)的顶点，E代表邻接图G(V,E)的边；
步骤3.2.2，预先构造先验知识特征图；
步骤3.2.3，将先验知识特征图和邻接图G(V,E)进行拼接，将邻接图G(V,E)中的所有顶点与先验知识特征图中的所有顶点相连形成边，边的权重为α，得到拼接后的邻接图G’(V,E)：
步骤3.2.4，将拼接后的邻接图G’(V,E)输入到第二阶段目标分类网络中，进行林地目标分类，识别出影像小图BlkImage中的i个最终林地检测框Box"及其对应的林地类别Cls"；
步骤4，将步骤3得到的所有影像小图BlkImage中的最终林地检测框Box"及其对应的林地类别Cls"合并，得到步骤1中所述高分遥感影像中所有林地检测框及对应的林地类别，输出高分遥感影像的林地二级分类图，从而完成对所述高分遥感影像的林地二级分类。
优选的，步骤2具体为：
以所述高分遥感影像的左上角为起点，按从左到右从上到下的方向，按重叠率p裁剪得到多张相等尺寸的影像小图BlkImage；其中，在所述高分遥感影像的边缘位置，如果直接裁剪得到的影像小图的尺寸小于设定尺寸，则填充灰度值为0的像素点，以使得到的影像小图BlkImage的尺寸满足网络输入需求。
优选的，步骤3.1.2中，采用以下方法，对所述第一阶段检测结果进行目标群体筛选：
预设置阈值T；
判断所述第一阶段林地检测框Box覆盖区域的像素点数量是否大于阈值T，如果大于，则所述第一阶段林地检测框Box为目标群体，保留所述第一阶段林地检测框Box；如果不大于，则所述第一阶段林地检测框Box为目标个体，舍弃所述第一阶段林地检测框Box。
优选的，步骤3.2.1具体为：
经过目标群体筛选后得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征，将每个经过目标群体筛选后的林地检测框Box’的RoI特征作为邻接图G(V,E)的顶点，相邻两个顶点的连线作为邻接图G(V,E)的边，边的长度为相邻两个经过目标群体筛选后的林地检测框Box’中心点之间的距离，由此构造得到具有n个顶点的邻接图G(V,E)。
优选的，所述第二阶段目标分类网络为图卷积神经网络。
优选的，步骤3.2.2中，采用以下方法构造先验知识特征图：
1)设林地二级分类共包括v个类别c，分别为c1,c2,c3,…cv，将训练集中的全部影像小图BlkImage输入第一阶段目标检测网络训练后，每张影像小图BlkImage分别得到多个林地检测框及其对应的多个林地类别、RoI特征，然后分别对每一类的RoI特征取平均，其均值作为v个类别的先验特征，记为f1,f2,…,fv；
2)采用专家知识得到任意两个类别cI,cJ之间的误分类别的概率pI,J；其中，I≠J，I＝1,2,3…v，J＝1,2,3…v；
pI,J通过以下公式得到：
其中：
3)以每种类别的先验特征作为顶点，以两个类别cI,cJ之间的误分类别的概率作为边，构造得到先验知识特征图。
本发明提供的一种基于图神经网络的高分遥感影像林地二级分类方法具有以下优点：
本发明设计了一种基于图神经网络的高分遥感影像林地二级分类方法，本发明方法对林地二级分类具有更强的适用性，能更深入的挖掘林地类别间的弱小差异、结构关系，达到更精准的分类效果。
附图说明
图1为本发明提供的基于图神经网络的高分遥感影像林地二级分类方法的流程示意图。
图2为本发明提供的基于图神经网络的高分遥感影像林地二级分类方法的原理框图；
图3为本发明提供的高分遥感影像预处理的结构图；
图4为本发明提供的高分遥感影像裁剪原理图；
图5为本发明提供的先验知识特征图的构造原理图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
林地二级分类对森林和林地资源更精细的清查与管理起到十分关键的作用。但现有研究方法易出现林地二级类别间种类难以区分、分割边界模糊、分割错误或漏分的情况，难以满足社会对林地二级精确分类的需求。本发明设计了一种基于图神经网络的高分遥感影像林地二级分类方法，本发明方法对林地二级分类具有更强的适用性，能更深入的挖掘林地类别间的弱小差异、结构关系，达到更精准的分类效果。
参考图1和图2，本发明提供一种基于图神经网络的高分遥感影像林地二级分类方法，包括以下步骤：
步骤1，读取需要进行林地二级分类的高分遥感影像；
本步骤中，可以对高分遥感影像进行预处理，具体的，高分遥感影像是由成像仪的感光元件接收辐射而得到的，而光线在由地表到达相机时会受大气吸收及其折射等各种影响，产生图像几何变形、影像不清晰、失真等现象。故在影像使用前需进行辐射定标、几何校正、大气校正等操作，消除光学误差带来的影响，具体过程如图3所示。
步骤2，为适应网络输入需求，将所述高分遥感影像按设定重叠率裁剪为多张影像小图BlkImage；
本步骤具体为：
以所述高分遥感影像的左上角为起点，按从左到右从上到下的方向，按重叠率p裁剪得到多张相等尺寸的影像小图BlkImage；其中，在所述高分遥感影像的边缘位置，如果直接裁剪得到的影像小图的尺寸小于设定尺寸，则填充灰度值为0的像素点，以使得到的影像小图BlkImage的尺寸满足网络输入需求。
具体的，由于深度学习模型输入图像大小为224*224，为了适应网络输入要求，需对高分遥感影像进行裁剪处理。作为一个具体实施例，在按重叠率p裁剪高分遥感影像时，可以设置重叠率p为6％，使得裁剪得到的影像小图BlkImage之间具有一定的重合度，避免对裁剪边缘目标分割造成影响。具体如图4所示，为高分遥感影像裁剪原理图。
步骤3，在每张所述影像小图BlkImage中，识别出i个最终林地检测框Box"及其对应的i个林地类别Cls"；其中，i≥0；
对于每张影像小图BlkImage，处理方法具体包括：
步骤3.1，第一阶段目标群体检测和筛选：
步骤3.1.1，将影像小图BlkImage输入到第一阶段目标检测网络Faster R-CNN中，得到影像小图BlkImage的第一阶段检测结果，包含m个第一阶段林地检测框Box及其对应的m个林地类别Cls，其中，m≥0，并记录输出每个第一阶段林地检测框Box的RoI特征；
作为一个具体实施例，在进行第一阶段目标群体检测时，考虑到林地类别间的表观特征相似，在多层网络卷积后更易损失表观特征，因此，第一阶段目标检测网络FasterR-CNN可以采用卷积层数较少的VGG-16网络进行特征提取。
具体的，在使用VGG-16网络进行特征提取时，VGG-16网络要求输入影像大小为224*224*3，提取特征生成特征图后，使用RPN生成建议窗口并映射至特征图上获得RoI特征，再经过全连接层最终得到第一阶段检测结果，包含m个第一阶段林地检测框Box及其对应的m个林地类别Cls。
本实施例中，将林地划分为乔木林地、灌木林地、竹林地、疏林地、未成林造林地、苗圃及迹地共七个类别。林地二级分类标准如表1所示：
表1：林地二级分类标准
步骤3.1.2，对所述第一阶段检测结果进行目标群体筛选，得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征；其中，n≥0；
具体的，林地是一种具有大面积的面状地物，是连续分布而非零散分布的地物。因此在对林地二级分类时，分类的图斑应是块状连续分布的群体地物，而非零散的单独个体地物。本发明通过设置阈值T判断第一阶段检测结果的第一阶段林地检测框Box是否为目标群体。
本步骤中，具体采用以下方法，对所述第一阶段检测结果进行目标群体筛选：
预设置阈值T；
判断所述第一阶段林地检测框Box覆盖区域的像素点数量是否大于阈值T，如果大于，则所述第一阶段林地检测框Box为目标群体，保留所述第一阶段林地检测框Box；如果不大于，则所述第一阶段林地检测框Box为目标个体，舍弃所述第一阶段林地检测框Box。
具体的，第一阶段林地检测框Box为矩形框，使用矩形框的左上角像点坐标(x左上，y左上)与右下角像点坐标(x右下，y右下)确定矩形框的位置及大小，矩形框覆盖区域的像素点数量计算公式如下NBox＝(x右下-x左上)*(y左上-y右下)*像素分辨率。通过比较NBox和阈值T的大小关系，确定第一阶段林地检测框Box为目标个体或目标群体。
本发明中，阈值T可初始化，并根据检测结果精度评价自适应调整达到最佳阈值T。
步骤3.2，第二阶段目标精细分类：
步骤3.2.1，采用n个经过目标群体筛选后的林地检测框Box’的RoI特征，构造邻接图G(V,E)，其中V代表邻接图G(V,E)的顶点，E代表邻接图G(V,E)的边；
本步骤具体为：
经过目标群体筛选后得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征，将每个经过目标群体筛选后的林地检测框Box’的RoI特征作为邻接图G(V,E)的顶点，相邻两个顶点的连线作为邻接图G(V,E)的边，边的长度为相邻两个经过目标群体筛选后的林地检测框Box’中心点之间的距离，由此构造得到具有n个顶点的邻接图G(V,E)。
具体的，第一阶段目标检测依赖于像素间灰度值的变化，并没有充分挖掘目标的空间结构信息。而图神经网络可以提取丰富的信息，它可以在学习目标自身特征的同时，通过聚合邻接图中的节点信息，充分挖掘目标间复杂的结构信息。本发明通过特征图构建图结构，节点与相邻节点之间通过相互传递信息来不断迭代自身的节点特征，达到更林地精确分类的目的。
步骤3.2.2，预先构造先验知识特征图；
本步骤中，具体采用以下方法构造先验知识特征图：
1)设林地二级分类共包括v个类别c，分别为c1,c2,c3,…cv，将训练集中的全部影像小图BlkImage输入第一阶段目标检测网络训练后，每张影像小图BlkImage分别得到多个林地检测框及其对应的多个林地类别、RoI特征，分别对每一类的RoI特征取平均，作为v个类别的先验特征，记为f1,f2,…,fv；
2)采用专家知识得到任意两个类别cI,cJ之间的误分类别的概率pI,J；其中，I≠J，I＝1,2,3…v，J＝1,2,3…v；
pI,J通过以下公式得到：
其中：
3)以每种类别的先验特征作为顶点，以两个类别cI,cJ之间的误分类别的概率作为边，构造得到先验知识特征图。
作为一个具体实施例，林地二级分类共包括7个类别，以节点、边构造先验知识特征图时，用节点表示不同类别c1,c2,c3,…c7的先验特征，用节点间的边表示误分类别的概率，如图5所示，为先验知识特征图的构造原理图。
由于“错误分类”是双向的。例如c1可能被错分为c2，错分概率记为
c2也可能被错分为c1，错分概率记为/>
与/>
往往是不相同的。考虑此问题，本发明为
赋相同权重并求和，计算公式如下：
本发明中，先验知识特征图通过边的值表示误分类别的概率，反映类别间的相似度。如果一个类别经常在检测过程中被错误识别为另一个类别，则认为这两个类别具有很高的相似性。误分类别的概率越高，类别间相似度越高越难区分，此外，先验知识特征图的节点表示不同类别的RoI特征。构建先验知识特征图的目的是在邻接图原有特征的基础上增加更多类别特征。
步骤3.2.3，将先验知识特征图和邻接图G(V,E)进行拼接，将邻接图G(V,E)中的所有顶点与先验知识特征图中的所有顶点相连形成边，边的权重为α，得到拼接后的邻接图G’(V,E)：
步骤3.2.4，将拼接后的邻接图G’(V,E)输入到第二阶段目标分类网络中进行林地目标分类，识别出影像小图BlkImage中的i个最终林地检测框Box"及其对应的林地类别Cls"；
作为一个具体实施例，第二阶段目标分类网络采用图卷积神经网络。
步骤4，将步骤3得到的所有影像小图BlkImage中的最终林地检测框Box"及其对应的林地类别Cls"合并，从而得到步骤1中所述高分遥感影像中所有林地检测框和对应的林地类别，完成对所述高分遥感影像的林地二级分类。
本发明创新点共有三点：
①提出两阶段分类网络模型作为算法框架。第一阶段目标群体检测和筛选，第二阶段为目标精细分类。第一阶段目标群体检测为第二阶段目标精细分类提供基础。首先，第一阶段目标群体检测得到第一阶段林地检测框Box及其对应的m个林地类别Cls、RoI特征，其中第一阶段林地检测框Box和RoI特征为第二阶段目标精细分类中图神经网络的构建提供基础；其次，第一阶段目标群体检测结果处理后生成先验知识用以辅助第二阶段目标精细分类。
②在现有的图神经网络构建的研究中，大多利用影像的拓扑结构或超像素分割图构建邻接图，本发明提出利用检测框的RoI特征构建邻接图。
③构建先验知识用以辅助网络进行学习。考虑到不同林地间不易区分，通过分析第一阶段目标群体检测结果，利用“误判结果”推导类别间的相似性并构建成邻接图作为先验知识。
本发明相较于其他利用高分遥感影像进行林地二级分类的方法，具有以下优点：
(1)首先，本发明通过使用对林地进行目标群体检测后再精细分类的两阶段分类方法，达到更好的目标定位和分割效果。
(2)其次，考虑到林地二级分类特性，采用类别间的误分概率和RoI特征构建先验知识特征图，将邻接图与先验知识特征图拼接，在邻接图原有特征的基础上对其进行特征丰富，达到增大类间距，有利于类别区分，优化网络的学习效果。
(3)最后，使用图神经网络挖掘目标间深层的结构信息，更好的学习上下文关系，弥补卷积神经网络没有充分拟合空间结构信息的不足，达到更好的定位效果。
(4)在现有的研究中大多利用高光谱遥感影像对林地进行二级分类，虽然高光谱影像有丰富的光谱信息，对林地精细分类起到辅助作用，但是高光谱影像价格昂贵，若对大面积区域进行林地二级分类，其成本非常高。而本发明采用高分遥感影像中的全色与多光谱影像进行林地二级分类，避免了高昂的影像成本，具有更高的经济适用性，并通过设计改进分类方法达到精确分类效果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (6)
1.一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，包括以下步骤：
步骤1，读取需要进行林地二级分类的高分遥感影像；
步骤2，为适应网络输入需求，将所述高分遥感影像按设定重叠率裁剪为多张影像小图BlkImage；
步骤3，在每张所述影像小图BlkImage中，识别出i个最终林地检测框Box"及其对应的i个林地类别Cls"；其中，i≥0；
对于每张影像小图BlkImage，处理方法具体包括：
步骤3.1，第一阶段目标群体检测和筛选：
步骤3.1.1，将影像小图BlkImage输入到第一阶段目标检测网络Faster R-CNN中，得到影像小图BlkImage的第一阶段检测结果，包含m个第一阶段林地检测框Box及其对应的m个林地类别Cls，其中，m≥0，并记录输出每个第一阶段林地检测框Box的RoI特征；
步骤3.1.2，对所述第一阶段检测结果进行目标群体筛选，得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征；其中，n≥0；
步骤3.2，第二阶段目标精细分类：
步骤3.2.1，采用n个经过目标群体筛选后的林地检测框Box’的RoI特征，构造邻接图G(V,E)，其中V代表邻接图G(V,E)的顶点，E代表邻接图G(V,E)的边；
步骤3.2.2，预先构造先验知识特征图；
步骤3.2.3，将先验知识特征图和邻接图G(V,E)进行拼接，将邻接图G(V,E)中的所有顶点与先验知识特征图中的所有顶点相连，形成邻接图G(V,E)的边，边的权重为α，得到拼接后的邻接图G’(V,E)：
步骤3.2.4，将拼接后的邻接图G’(V,E)输入到第二阶段目标分类网络中，进行林地目标分类，识别出影像小图BlkImage中的i个最终林地检测框Box"及其对应的林地类别Cls"；
步骤4，将步骤3得到的所有影像小图BlkImage中的最终林地检测框Box"及其对应的林地类别Cls"合并，得到步骤1中所述高分遥感影像中所有林地检测框及对应的林地类别，输出高分遥感影像的林地二级分类图，从而完成对所述高分遥感影像的林地二级分类。
2.根据权利要求1所述的一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，步骤2具体为：
以所述高分遥感影像的左上角为起点，按从左到右从上到下的方向，按重叠率p裁剪得到多张相等尺寸的影像小图BlkImage；其中，在所述高分遥感影像的边缘位置，如果直接裁剪得到的影像小图的尺寸小于设定尺寸，则填充灰度值为0的像素点，以使得到的影像小图BlkImage的尺寸满足网络输入需求。
3.根据权利要求1所述的一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，步骤3.1.2中，采用以下方法，对所述第一阶段检测结果进行目标群体筛选：
预设置阈值T；
判断所述第一阶段林地检测框Box覆盖区域的像素点数量是否大于阈值T，如果大于，则所述第一阶段林地检测框Box为目标群体，保留所述第一阶段林地检测框Box；如果不大于，则所述第一阶段林地检测框Box为目标个体，舍弃所述第一阶段林地检测框Box。
4.根据权利要求1所述的一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，步骤3.2.1具体为：
经过目标群体筛选后得到n个经过目标群体筛选后的林地检测框Box’及其对应的n个林地类别Cls’、RoI特征，将每个经过目标群体筛选后的林地检测框Box’的RoI特征作为邻接图G(V,E)的顶点，相邻两个顶点的连线作为邻接图G(V,E)的边，边的长度为相邻两个经过目标群体筛选后的林地检测框Box’中心点之间的距离，由此构造得到具有n个顶点的邻接图G(V,E)。
5.根据权利要求1所述的一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，所述第二阶段目标分类网络为图卷积神经网络。
6.根据权利要求1所述的一种基于图神经网络的高分遥感影像林地二级分类方法，其特征在于，步骤3.2.2中，采用以下方法构造先验知识特征图：
1)设林地二级分类共包括v个类别c，分别为c1,c2,c3,…cv，将训练集中的全部影像小图BlkImage输入第一阶段目标检测网络训练后，每张影像小图BlkImage分别得到多个林地检测框及其对应的多个林地类别、RoI特征，然后分别对每一类的RoI特征取平均，其均值作为v个类别的先验特征，记为f1,f2,…,fv；
2)采用专家知识得到任意两个类别cI,cJ之间的误分类别的概率pI,J；其中，I≠J，I＝1,2,3…v，J＝1,2,3…v；
pI,J通过以下公式得到：
其中：
3)以每种类别的先验特征作为顶点，以两个类别cI,cJ之间的误分类别的概率作为边，构造得到先验知识特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310269948.6A CN116310826B (zh) | 2023-03-20 | 2023-03-20 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310269948.6A CN116310826B (zh) | 2023-03-20 | 2023-03-20 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310826A true CN116310826A (zh) | 2023-06-23 |
| CN116310826B CN116310826B (zh) | 2023-09-22 |
Family
ID=86825342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310269948.6A Active CN116310826B (zh) | 2023-03-20 | 2023-03-20 | 一种基于图神经网络的高分遥感影像林地二级分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310826B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912692A (zh) * | 2023-07-24 | 2023-10-20 | 杭州万林数链科技服务有限公司 | 一种基于光谱分析的林业碳储量检测方法 |
| CN117437234A (zh) * | 2023-12-21 | 2024-01-23 | 四川云实信息技术有限公司 | 基于图神经网络的航片地物分类与变化检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160117587A1 (en) * | 2014-10-27 | 2016-04-28 | Zhicheng Yan | Hierarchical deep convolutional neural network for image classification |
| CN111461258A (zh) * | 2020-04-26 | 2020-07-28 | 武汉大学 | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 |
| CN111951285A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 基于级联深度卷积神经网络的光学遥感影像林地分类方法 |
| CN113361533A (zh) * | 2021-05-19 | 2021-09-07 | 山东师范大学 | 重叠遮挡的目标物的分割识别方法及系统 |
-
2023
- 2023-03-20 CN CN202310269948.6A patent/CN116310826B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160117587A1 (en) * | 2014-10-27 | 2016-04-28 | Zhicheng Yan | Hierarchical deep convolutional neural network for image classification |
| CN111461258A (zh) * | 2020-04-26 | 2020-07-28 | 武汉大学 | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 |
| CN111951285A (zh) * | 2020-08-12 | 2020-11-17 | 湖南神帆科技有限公司 | 基于级联深度卷积神经网络的光学遥感影像林地分类方法 |
| CN113361533A (zh) * | 2021-05-19 | 2021-09-07 | 山东师范大学 | 重叠遮挡的目标物的分割识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 任冲;鞠洪波;张怀清;黄建文;郑应选;: "多源数据林地类型的精细分类方法", 林业科学, no. 06, pages 54 - 64 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912692A (zh) * | 2023-07-24 | 2023-10-20 | 杭州万林数链科技服务有限公司 | 一种基于光谱分析的林业碳储量检测方法 |
| CN117437234A (zh) * | 2023-12-21 | 2024-01-23 | 四川云实信息技术有限公司 | 基于图神经网络的航片地物分类与变化检测方法 |
| CN117437234B (zh) * | 2023-12-21 | 2024-02-23 | 四川云实信息技术有限公司 | 基于图神经网络的航片地物分类与变化检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310826B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及系统 | |
| CN110119728B (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| CN116310826B (zh) | 一种基于图神经网络的高分遥感影像林地二级分类方法 | |
| Lu et al. | Object-oriented change detection for landslide rapid mapping | |
| Lee et al. | Fusion of lidar and imagery for reliable building extraction | |
| Cihlar et al. | Classification by progressive generalization: A new automated methodology for remote sensing multichannel data | |
| Erikson | Species classification of individually segmented tree crowns in high-resolution aerial images using radiometric and morphologic image measures | |
| JP4559437B2 (ja) | デジタルカラー画像における空の検出 | |
| KR102109917B1 (ko) | 초분광 원격 탐사 영상을 이용한 담수역 물-육상 경계 자동 추출 방법 | |
| Grigillo et al. | Urban object extraction from digital surface model and digital aerial images | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN111652213A (zh) | 一种基于深度学习的船舶水尺读数识别方法 | |
| Moriondo et al. | Use of digital images to disclose canopy architecture in olive tree | |
| CN103077515A (zh) | 一种多光谱图像建筑物变化检测方法 | |
| CN107992856A (zh) | 城市场景下的高分遥感建筑物阴影检测方法 | |
| CN114842262A (zh) | 融合线路通道正射影像的激光点云地物自动识别方法 | |
| CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
| CN116091937A (zh) | 基于深度学习的高分辨率遥感影像地物识别模型计算方法 | |
| CN117058557A (zh) | 基于物理特征与深度学习模型的云和云阴影联合检测方法 | |
| CN113657377B (zh) | 一种机打票据图像结构化识别方法 | |
| CN111291818A (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
| Xiao et al. | Individual tree detection and crown delineation with 3D information from multi-view satellite images | |
| CN106169086B (zh) | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 | |
| Dos Santos et al. | K-means clustering based on omnivariance attribute for building detection from airborne LiDAR data | |
| JP4285644B2 (ja) | オブジェクト識別方法および装置ならびにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |