CN116188774B - 高光谱图像实例分割方法及建筑实例分割方法 - Google Patents

高光谱图像实例分割方法及建筑实例分割方法 Download PDF

Info

Publication number
CN116188774B
CN116188774B CN202211604458.9A CN202211604458A CN116188774B CN 116188774 B CN116188774 B CN 116188774B CN 202211604458 A CN202211604458 A CN 202211604458A CN 116188774 B CN116188774 B CN 116188774B
Authority
CN
China
Prior art keywords
network
hyperspectral image
convolution
feature map
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211604458.9A
Other languages
English (en)
Other versions
CN116188774A (zh
Inventor
方乐缘
蒋一帆
岳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202211604458.9A priority Critical patent/CN116188774B/zh
Publication of CN116188774A publication Critical patent/CN116188774A/zh
Application granted granted Critical
Publication of CN116188774B publication Critical patent/CN116188774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种高光谱图像实例分割方法，包括获取实例标注后的高光谱图像数据集并处理得到训练数据集；构建高光谱图像实例分割初始模型并采用训练数据集进行训练得到高光谱图像实例分割模型；采用高光谱图像实例分割模型对实际获取的高光谱图像进行实例分割。本发明还公开了一种包括所述高光谱图像实例分割方法的建筑实例分割方法。本发明通过卷积注意力模块和光谱‑空间特征金字塔网络实现多尺度的空谱特征融合，使得网络模型具有同时利用光谱特征和空间特征的优势，提高模型的分割结果；而且本发明方法的计算过程不会占用过多的计算资源，可靠性高、准确性好且适用范围广。

Description

高光谱图像实例分割方法及建筑实例分割方法
技术领域
本发明属于人工智能技术领域，具体涉及一种高光谱图像实例分割方法及建筑实例分割方法。
背景技术
高光谱图像具有很高的分辨率，包含丰富的光谱信息和空间信息，具有强大的研究空间和应用价值。随着高光谱图像智能解译技术的发展，高光谱图像解译技术已应用到城市规划、环境监测、资源勘查等多个领域，给人们的生产和生活带来了无尽的便利。
高光谱图像的实例分割，能够通过高光谱图像为属于同一类的对象的单独实例提供不同的标签，从而辅助高光谱图像的具体应用。在当前高光谱图像的智能解译研究中，尚未有实例分割领域的相关研究。
目前的实例分割模型，一般都是采用基于单通道的灰度图像或三通道的RGB的彩色图像数据集进行训练和预测的。但是，这种训练过程往往更关注图像的空间信息，对于高光谱图像而言，则缺少了对其光谱维度信息的关注；这使得训练得到的模型在进行高光谱图像实例分割时，适用性不强，严重制约了高光谱图像的应用。
发明内容
本发明的目的之一在于提供一种可靠性高、准确性好且适用范围广的高光谱图像实例分割方法。
本发明的目的之二在于提供一种包括了所述高光谱图像实例分割方法的建筑实例分割方法。
本发明提供的这种高光谱图像实例分割方法，包括如下步骤：
S1.获取已经进行了实例标注的高光谱图像数据集；
S2.对步骤S1获取的数据集进行处理，得到训练数据集；
S3.基于Cascade Mask R-CNN网络模型、卷积注意力模块和光谱-空间特征金字塔网络，构建高光谱图像实例分割初始模型；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的高光谱图像实例分割初始模型进行训练，得到高光谱图像实例分割模型；
S5.采用步骤S4得到的高光谱图像实例分割模型，对实际获取的高光谱图像进行实例分割。
步骤S2所述的对步骤S1获取的数据集进行处理，得到训练数据集，具体包括如下步骤：
提取步骤S1获取的数据集中的高光谱图像；
采用双线性插值算法将高光谱图像的大小调整到设定值；
将统一大小后的高光谱图像，按照设定的概率进行随机翻转；
将得到的所有高光谱图像按照设定的均值和方差进行图像归一化操作，得到最终的训练数据集。
步骤S3所述的基于Cascade Mask R-CNN网络模型、卷积注意力模块和光谱-空间特征金字塔网络，构建高光谱图像实例分割初始模型，具体包括如下步骤：
A.选取Resnet50网络作为主干网络；Resnet50网络包括四个依次串联的残差模块；
B.在每个残差模块后，增加一个串接的卷积注意力模块，进行光谱信息和空间信息的特征融合；四个卷积注意力模块输出的特征图依次为C2、C3、C4和C5；
C.构建光谱-空间特征金字塔网络：
将特征图C5经过1*1的卷积处理后得到特征图P5；将特征图C4通过1×1的卷积处理，将特征图P5通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P4；将特征图C3通过1×1的卷积处理，将特征图P4通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P3；将特征图C2通过1×1的卷积处理，将特征图P3通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P2；所述的上采样为采用最近邻插值法的上采样；
将特征图P2通过复制后得到特征图N2；将特征图N2通过下采样后，与特征图P3进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N3；将特征图N3通过下采样后，与特征图P4进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N4；将特征图N4通过下采样后，与特征图P5进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N5；将特征图N5进行最大池化处理后得到特征图N6；所述的下采样为采用步长为2的3*3的卷积进行下采样；
D.将步骤C得到的特征图N2～N6，输入到RPN网络，对特征图N2～N6，分别生成5种不同面积的锚点框，并设定每种锚点框的尺寸；提取可能存在的目标区域；将提取的区域经过非极大值抑制处理，滤除不符合设定预制的区域，然后再将结果输入到RCNN级联网络进行正负样本筛选，得到建议框；
E.将步骤C得到的特征图N2～N6和步骤D得到的建议框，一同输入到ROI Align网络，在特征图的不同点采样，并通过双线性插值法获得坐标为浮点数的像素点上的图像数值，从而得到ROI特征；
F.将步骤E得到的ROI特征输入到预测网络进行预测：预测网络包括Class Head网络和Mask Head网络；将大小为7*7的ROI特征输入到Class Head网络，采用一次通道数为1024的7*7的卷积和一次通道数为1024的1*1的卷积进行类别预测和框的回归；将大小为14*14的ROI特征输入到Mask Head网络，采用通道数为256的3*3的卷积进行四次卷积操作，然后进行一次反卷积操作，最后采用1*1的卷积进行掩膜预测；
对于每一个ROI特征，采用如下算式计算损失函数L：
L＝Lcls+Lbox+Lmask
式中Lcls为分类损失，Lbox为回归框损失，Lmask为掩膜损失。
步骤B所述的卷积注意力模块，具体包括如下内容：
卷积注意力模块包括通道注意力网络和空间注意力网络；
通道注意力网络包括最大池化层、平均池化层和共享全连接层；通道注意力网络的计算公式为其中F为通道注意力网络的输入特征；F'为通道注意力网络的输出特征；AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；MLP()为共享全连接层处理函数；σ()为sigmoid函数；/>为逐元素相乘；
空间注意力网络包括最大池化层、平均池化层和卷积层；空间注意力网络的计算公式为其中F″为空间注意力网络的输出特征，即卷积注意力模块的最终输出特征；AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；f7*7()为7*7的卷积处理函数。
步骤D所述的将结果输入到RCNN级联网络进行正负样本筛选，得到建议框，具体包括如下步骤：
采用如下算式计算交并比IoU：
式中Intersection为真实框与建议框重叠的交集部分的面积；Union为真实框与建议框重叠的并集部分的面积；
当交并比大于设定阈值时，样本视为正样本；当交并比小于或等于设定阈值时，样本视为负样本；
采用三层RCNN级联网络，基于不同的阈值进行级联，优化建议框的正负样本筛选过程；设定阈值时，三层RCNN级联网络的阈值依次增大。
本发明还提供了一种包括了所述高光谱图像实例分割方法的建筑实例分割方法，具体包括如下步骤：
A.获取进行了建筑实例标注的高光谱图像建筑数据集，并作为高光谱图像数据集；
B.采用所述的高光谱图像实例分割方法得到最终的高光谱图像建筑实例分割模型；
C.采用步骤B得到的高光谱图像建筑实例分割模型，在实际的高光谱图像上，进行建筑实例的分割。
本发明提供的这种高光谱图像实例分割方法及建筑实例分割方法，首次提出将实例分割的思想引入高光谱图像处理领域，扩充了当前已有的高光谱图像处理方式；而且本发明克服了传统实例分割网络模型不能充分利用光谱维度信息，在高光谱图像上适用性不强的问题，通过卷积注意力模块和光谱-空间特征金字塔网络实现多尺度的空谱特征融合，使得网络模型具有同时利用光谱特征和空间特征的优势，提高模型的分割结果；而且本发明方法的计算过程不会占用过多的计算资源，可靠性高、准确性好且适用范围广。
附图说明
图1为本发明的高光谱图像实例分割方法的方法流程示意图。
图2为本发明的高光谱图像实例分割方法中的卷积注意力模块的结构示意图。
图3为本发明的高光谱图像实例分割方法中的Resnet50网络+卷积注意力模块+光谱-空间特征金字塔网络的网络结构示意图。
图4为本发明的高光谱图像实例分割方法与现有实例分割方法在高光谱实例分割数据集上的测试结果对比示意图。
图5为本发明的建筑实例分割方法的方法流程示意图。
具体实施方式
如图1所示为本发明的高光谱图像实例分割方法的方法流程示意图：本发明提供的这种高光谱图像实例分割方法，包括如下步骤：
S1.获取已经进行了实例标注的高光谱图像数据集；
S2.对步骤S1获取的数据集进行处理，得到训练数据集；具体包括如下步骤：
提取步骤S1获取的数据集中的高光谱图像；
采用双线性插值算法将高光谱图像的大小调整到设定值；
将统一大小后的高光谱图像，按照设定的概率进行随机翻转；
将得到的所有高光谱图像按照设定的均值和方差进行图像归一化操作，得到最终的训练数据集；
S3.基于Cascade Mask R-CNN网络模型、卷积注意力模块和光谱-空间特征金字塔网络，构建高光谱图像实例分割初始模型；具体包括如下步骤：
A.选取Resnet50网络作为主干网络；Resnet50网络包括四个依次串联的残差模块；
B.在每个残差模块后，增加一个串接的卷积注意力模块，进行光谱信息和空间信息的特征融合；四个卷积注意力模块输出的特征图依次为C2、C3、C4和C5；其中，特征图的大小分别为和/>其中输入的高光谱图像为XH*W*B，H为高光谱图像的长度，W为高光谱图像的宽度，B为高光谱图像汇总光谱维度的通道数；卷积注意力模块(结构如图2所示)，具体包括如下内容：
卷积注意力模块包括通道注意力网络和空间注意力网络；
通道注意力网络包括最大池化层、平均池化层和共享全连接层；通道注意力网络的计算公式为其中F为通道注意力网络的输入特征；F'为通道注意力网络的输出特征；AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；MLP()为共享全连接层处理函数；σ()为sigmoid函数；/>为逐元素相乘；
空间注意力网络包括最大池化层、平均池化层和卷积层；空间注意力网络的计算公式为其中F″为空间注意力网络的输出特征，即卷积注意力模块的最终输出特征；AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；f7*7()为7*7的卷积处理函数；
C.构建空间特征金字塔网络(结构如图3所示)：
将特征图C5经过1*1的卷积处理后得到特征图P5；将特征图C4通过1×1的卷积处理，将特征图P5通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P4；将特征图C3通过1×1的卷积处理，将特征图P4通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P3；将特征图C2通过1×1的卷积处理，将特征图P3通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P2；所述的上采样为采用最近邻插值法的上采样；
将特征图P2通过复制后得到特征图N2；将特征图N2通过下采样后，与特征图P3进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N3；将特征图N3通过下采样后，与特征图P4进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N4；将特征图N4通过下采样后，与特征图P5进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N5；将特征图N5进行最大池化处理后得到特征图N6；所述的下采样为采用步长为2的3*3的卷积进行下采样；
D.将步骤C得到的特征图N2～N6，输入到RPN网络，对特征图N2～N6，分别生成5种不同面积的锚点框，并设定每种锚点框的尺寸(每种锚点框共设定3种尺寸，1:1、1:2和2:1)；提取可能存在的目标区域；将提取的区域经过非极大值抑制处理，滤除不符合设定预制的区域，然后再将结果输入到RCNN级联网络进行正负样本筛选，得到建议框；具体包括如下步骤：
采用如下算式计算交并比IoU：
式中Intersection为真实框与建议框重叠的交集部分的面积；Union为真实框与建议框重叠的并集部分的面积；
当交并比大于设定阈值时，样本视为正样本；当交并比小于或等于设定阈值时，样本视为负样本；
采用三层RCNN级联网络，基于不同的阈值进行级联，优化建议框的正负样本筛选过程；设定阈值时，三层RCNN级联网络的阈值依次增大，优选为0.5、0.6和0.7；每个阶段设定的阈值不断增大，将会不断优化筛选的结果；
E.将步骤C得到的特征图N2～N6和步骤D得到的建议框，一同输入到ROI Align网络，在特征图的不同点采样，并通过双线性插值法获得坐标为浮点数的像素点上的图像数值，从而得到ROI特征；
F.将步骤E得到的ROI特征输入到预测网络进行预测：预测网络包括Class Head网络和Mask Head网络；将大小为7*7的ROI特征输入到Class Head网络，采用一次通道数为1024的7*7的卷积和一次通道数为1024的1*1的卷积进行类别预测和框的回归；将大小为14*14的ROI特征输入到Mask Head网络，采用通道数为256的3*3的卷积进行四次卷积操作，然后进行一次反卷积操作，最后采用1*1的卷积进行掩膜预测；
对于每一个ROI特征，采用如下算式计算损失函数L：
L＝Lcls+Lbox+Lmask
式中Lcls为分类损失，Lbox为回归框损失，Lmask为掩膜损失；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的高光谱图像实例分割初始模型进行训练，得到高光谱图像实例分割模型；
S5.采用步骤S4得到的高光谱图像实例分割模型，对实际获取的高光谱图像进行实例分割。
以下结合一个实施例，对本发明方法进行进一步说明：
使用的高光谱实例分割数据集是在DFC2018 Houston数据集的基础上进行图片切割后再标注的，数据集包括56张图像，每张图像尺寸大小为298×301，通道数为48。在标注中每个建筑都被标记为单独的结构，共标注了1085个建筑实例。
将本发明方法与现有三种方法进行对比，包括Mask rcnn，Mask scoring rcnn与Cascade mask rcnn。处理结果如表1所示。
表1不同方法在高光谱实例分割数据集上的测试结果对比示意表
方法 box map50 mask map50
Mask rcnn 54.7 53.3
Mask scoring rcnn 56.4 50.8
Cascade mask rcnn 58.5 57.1
本发明方法 60.4 58.2
本发明方法与现有三种方法的可视化实例分割结果如图4所示。图4中(a)为高分辨率原始图像，(b)为Mask rcnn方法的结果，(c)为Mask scoring rcnn方法的结果，(d)为Cascade mask rcnn方法的结果，(e)为本发明方法的结果。
由表1和图4可以看出，本发明方法表现出比其他方法更好的实例分割性能。本发明方法能够有效提高评价指标的结果精度，实现更良好的高光谱图像的实例分割。
如图5所示为本发明的建筑实例分割方法的方法流程示意图：本发明提供的这种包括了所述高光谱图像实例分割方法的建筑实例分割方法，具体包括如下步骤：
A.获取进行了建筑实例标注的高光谱图像建筑数据集，并作为高光谱图像数据集；以不同的建筑实例为标注对象，共标注了1005个建筑实例；每个建筑都被标记为单独的结构，建筑类型包括教学楼，住宅建筑，商业建筑，工厂等；
B.采用所述的高光谱图像实例分割方法得到最终的高光谱图像建筑实例分割模型；
C.采用步骤B得到的高光谱图像建筑实例分割模型，在实际的高光谱图像上，进行建筑实例的分割。

Claims (3)

1.一种高光谱图像实例分割方法，包括如下步骤：
S1.获取已经进行了实例标注的高光谱图像数据集；
S2.对步骤S1获取的数据集进行处理，得到训练数据集；
S3.基于Cascade Mask R-CNN网络模型、卷积注意力模块和光谱-空间特征金字塔网络，构建高光谱图像实例分割初始模型；具体包括如下步骤：
A.选取Resnet50网络作为主干网络；Resnet50网络包括四个依次串联的残差模块；
B.在每个残差模块后，增加一个串接的卷积注意力模块，进行光谱信息和空间信息的特征融合；四个卷积注意力模块输出的特征图依次为C2、C3、C4和C5；所述的卷积注意力模块，具体包括如下内容：
卷积注意力模块包括通道注意力网络和空间注意力网络；
通道注意力网络包括最大池化层、平均池化层和共享全连接层；通道注意力网络的计算公式为其中F为通道注意力网络的输入特征；F'为通道注意力网络的输出特征；AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；MLP()为共享全连接层处理函数；σ()为sigmoid函数；/>为逐元素相乘；
空间注意力网络包括最大池化层、平均池化层和卷积层；空间注意力网络的计算公式为其中F”为空间注意力网络的输出特征，AvgPool()为平均池化层处理函数；MaxPool()为最大池化层处理函数；f7*7()为7*7的卷积处理函数；
C.构建空间特征金字塔网络：
将特征图C5经过1*1的卷积处理后得到特征图P5；将特征图C4通过1×1的卷积处理，将特征图P5通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P4；将特征图C3通过1×1的卷积处理，将特征图P4通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P3；将特征图C2通过1×1的卷积处理，将特征图P3通过上采样，然后将卷积处理结果与上采样结果进行对应元素的相加，得到特征图P2；所述的上采样为采用最近邻插值法的上采样；
将特征图P2通过复制后得到特征图N2；将特征图N2通过下采样后，与特征图P3进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N3；将特征图N3通过下采样后，与特征图P4进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N4；将特征图N4通过下采样后，与特征图P5进行对应元素的相加，再采用一个3*3的卷积进行处理，得到特征图N5；将特征图N5进行最大池化处理后得到特征图N6；所述的下采样为采用步长为2的3*3的卷积进行下采样；
D.将步骤C得到的特征图N2～N6，输入到RPN网络，对特征图N2～N6，分别生成5种不同面积的锚点框，并设定每种锚点框的尺寸；提取可能存在的目标区域；将提取的区域经过非极大值抑制处理，滤除不符合设定预制的区域，然后再将结果输入到RCNN级联网络进行正负样本筛选，得到建议框；所述的将结果输入到RCNN级联网络进行正负样本筛选，得到建议框，具体包括如下步骤：
采用如下算式计算交并比IoU：
式中Intersection为真实框与建议框重叠的交集部分的面积；Union为真实框与建议框重叠的并集部分的面积；
当交并比大于设定阈值时，样本视为正样本；当交并比小于或等于设定阈值时，样本视为负样本；
采用三层RCNN级联网络，基于不同的阈值进行级联，优化建议框的正负样本筛选过程；设定阈值时，三层RCNN级联网络的阈值依次增大；
E.将步骤C得到的特征图N2～N6和步骤D得到的建议框，一同输入到ROI Align网络，在特征图的不同点采样，并通过双线性插值法获得坐标为浮点数的像素点上的图像数值，从而得到ROI特征；
F.将步骤E得到的ROI特征输入到预测网络进行预测：预测网络包括Class Head网络和Mask Head网络；将大小为7*7的ROI特征输入到Class Head网络，采用一次通道数为1024的7*7的卷积和一次通道数为1024的1*1的卷积进行类别预测和框的回归；将大小为14*14的ROI特征输入到Mask Head网络，采用通道数为256的3*3的卷积进行四次卷积操作，然后进行一次反卷积操作，最后采用1*1的卷积进行掩膜预测；
对于每一个ROI特征，采用如下算式计算损失函数L：
L＝Lcls+Lbox+Lmask
式中Lcls为分类损失，Lbox为回归框损失，Lmask为掩膜损失；
S4.采用步骤S2得到的训练数据集，对步骤S3构建的高光谱图像实例分割初始模型进行训练，得到高光谱图像实例分割模型；
S5.采用步骤S4得到的高光谱图像实例分割模型，对实际获取的高光谱图像进行实例分割。
2.根据权利要求1所述的高光谱图像实例分割方法，其特征在于步骤S2所述的对步骤S1获取的数据集进行处理，得到训练数据集，具体包括如下步骤：
提取步骤S1获取的数据集中的高光谱图像；
采用双线性插值算法将高光谱图像的大小调整到设定值；
将统一大小后的高光谱图像，按照设定的概率进行随机翻转；
将得到的所有高光谱图像按照设定的均值和方差进行图像归一化操作，得到最终的训练数据集。
3.一种包括了权利要求1或2所述的高光谱图像实例分割方法的建筑实例分割方法，具体包括如下步骤：
A.获取进行了建筑实例标注的高光谱图像建筑数据集，并作为高光谱图像数据集；
B.采用权利要求1或2所述的高光谱图像实例分割方法，得到最终的高光谱图像建筑实例分割模型；
C.采用步骤B得到的高光谱图像建筑实例分割模型，在实际的高光谱图像上，进行建筑实例的分割。
CN202211604458.9A 2022-12-13 2022-12-13 高光谱图像实例分割方法及建筑实例分割方法 Active CN116188774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211604458.9A CN116188774B (zh) 2022-12-13 2022-12-13 高光谱图像实例分割方法及建筑实例分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211604458.9A CN116188774B (zh) 2022-12-13 2022-12-13 高光谱图像实例分割方法及建筑实例分割方法

Publications (2)

Publication Number Publication Date
CN116188774A CN116188774A (zh) 2023-05-30
CN116188774B true CN116188774B (zh) 2024-03-22

Family

ID=86439264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211604458.9A Active CN116188774B (zh) 2022-12-13 2022-12-13 高光谱图像实例分割方法及建筑实例分割方法

Country Status (1)

Country Link
CN (1) CN116188774B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111862115A (zh) * 2020-07-10 2020-10-30 武汉善睐科技有限公司 一种基于Mask RCNN遥感影像分割方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113222823A (zh) * 2021-06-02 2021-08-06 国网湖南省电力有限公司 基于混合注意力网络融合的高光谱图像超分辨率方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN115100075A (zh) * 2022-07-24 2022-09-23 西安电子科技大学 基于光谱约束和残差注意力网络的高光谱全色锐化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694319B2 (en) * 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111862115A (zh) * 2020-07-10 2020-10-30 武汉善睐科技有限公司 一种基于Mask RCNN遥感影像分割方法
CN113222823A (zh) * 2021-06-02 2021-08-06 国网湖南省电力有限公司 基于混合注意力网络融合的高光谱图像超分辨率方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN115100075A (zh) * 2022-07-24 2022-09-23 西安电子科技大学 基于光谱约束和残差注意力网络的高光谱全色锐化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Leyuan Fang等.Context Enhancing Representation for Semantic Segmentation in Remote Sensing Images.IEEE Transactions on Neural Networks and Learning Systems.2022,全文. *
张顺.基于深度学习的高光谱图像目标检测及场景分类.中国优秀硕士学位论文全文数据库（电子期刊）.2021,全文. *
李竺强 ; 朱瑞飞 ; 马经宇 ; 孟祥玉 ; 王栋 ; 刘思言 ; .联合连续学习的残差网络遥感影像机场目标检测方法.光学学报.2020,(16),全文. *
王翀等.基于联合决策卷积神经网络的光学相干断层扫描图像自动分类.中国生物医学工程学报.2018,全文. *

Also Published As

Publication number Publication date
CN116188774A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111882002B (zh) 一种基于msf-am的低照度目标检测方法
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
US20200210773A1 (en) Neural network for image multi-label identification, related method, medium and device
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN111881714A (zh) 一种无监督跨域行人再识别方法
CN112906720B (zh) 基于图注意力网络的多标签图像识别方法
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
CN111898439A (zh) 基于深度学习的交通场景联合目标检测和语义分割方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112750129A (zh) 一种基于特征增强位置注意力机制的图像语义分割模型
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN115631369A (zh) 一种基于卷积神经网络的细粒度图像分类方法
CN114155474A (zh) 基于视频语义分割算法的损伤识别技术
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN116188774B (zh) 高光谱图像实例分割方法及建筑实例分割方法
CN116433980A (zh) 脉冲神经网络结构的图像分类方法、装置、设备及介质
CN115410059A (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN115700737A (zh) 一种基于视频监控的溢油检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant