CN111144502A - 高光谱图像分类方法及其装置 - Google Patents

Abstract

本发明涉及高光谱图像分类技术领域，特别涉及一种高光谱图像分类方法及其装置，其方法采用SPA算法，可以有效去除高光谱图像的相关性，仅保留若干特征波长的图像数据进行高光谱图像处理，可有效提高高光谱图像处理速度。同时构建了一种基于连续投影算法与Mask RCNN架构的高光谱图像分类系统，本系统通过神经网络的进行对特征波段图像的分类识别，识别速度快、精度高。采用该方法的装置也具有相同的技术效果。

Description

高光谱图像分类方法及其装置

技术领域

本发明涉及高光谱图像分类技术领域，特别涉及一种高光谱图像分类方法及其装置。

背景技术

高光谱图像具备目标区域丰富的特征信息，被广泛用用在农业、环境检测、地物目标探测等等领域。然而丰富的特征信息也带来了对处理系统的庞大内存消耗，同时造成高光谱图像相关性强、信息冗余多，给高光谱图像的处理带来极大不便，严重影响了高光谱图像的处理速度。现有技术存在不足。

发明内容

本发明的目的在于提供一种高光谱图像分类方法及其装置，旨在解决高光谱图像因为相关性强且信息冗余多造成对处理系统较大的内存消耗，给处理系统带来过大压力的技术问题。

一方面，本发明提供了一种高光谱图像分类方法，所述方法包括下述步骤：

S1.使用SPA算法对高光谱图像进行特征波段图像提取；

S2.将所述特征波段图像进行掩膜标定；

S3.基于Mask RCNN神经网络完成对高光谱图像的像素级识别分类。

优选的，所述Mask RCNN神经网络的训练包括以下步骤：

A1.根据掩膜标定结果以及结合后的3张所述特征波段图像，制作高光谱图像数据集；

A2.利用所述数据集训练Mask RCNN架构神经网络，整合掩膜信息、类别信息以及位置信息分别对3张所述特征波段图像进行像素级分割；

A3.整合3张所述特征波段图像的分割结果，完成基于Mask RCNN架构的高光谱图像分类模型的训练。

另一方面，本发明还提供一种高光谱图像分类装置，所述装置包括：

特征波段图像提取单元，使用SPA算法对高光谱图像进行特征波段图像提取；

掩膜标定单元，与所述特征波段图像提取单元电连接，对得到的所述特征波段图像进行掩膜标定；

识别分类单元，分别与特征波段图像提取单元和所述掩膜标定单元电连接，基于所述掩膜标定单元的输出完成对Mask RCNN神经网络的训练；基于特征波段图像提取单元的输出通过Mask RCNN神经网络完成对高光谱图像的像素级识别分类。

本发明在采用SPA算法，可以有效去除高光谱图像的相关性，仅保留若干特征波长的图像数据进行高光谱图像处理，可有效提高高光谱图像处理速度。同时构建了一种基于连续投影算法与Mask RCNN架构的高光谱图像分类系统，本系统通过神经网络的进行对特征波段图像的分类识别，识别速度快、精度高。

附图说明

图1是本发明实施例一提供的高光谱图像分类方法的概括流程示意图；

图2是本发明实施例二提供的高光谱图像分类装置的框架示意图；

图3是本发明实施例一提供的高光谱图像分类方法的详细流程示意图；

图4是本发明实施例一提供的高光谱图像分类方法的基于高光谱图像的MaskRCNN网络架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1和图3示出了本发明实施例一提供的一种高光谱图像分类方法，方法包括下述步骤：

S1.使用SPA算法对高光谱图像进行特征波段图像提取；

S2.将特征波段图像进行掩膜标定；

S3.基于Mask RCNN神经网络完成对高光谱图像的像素级识别分类。

优选的，步骤S1包括以下步骤：

S11.利用标准反射率板对高光谱图像进行反射率反演；

S12.利用TSG滤波算法对高光谱图像进行空谱维滤波；

S13.利用SPA算法，获取高光谱图像中相关性最小的9个特征波长作为图像的特征波段，将这9个特征波段的图像结合成3张特征波段图像。

优选的，步骤S13中9个特征波段的图片通过三三结合的方式合成3张特征波段图像。

采用SPA算法进行高光谱图像特征波段提取，去除高光谱图像中的相关性，提高高光谱图像处理速度。不同于PCA算法，SPA算法通过不同波长对应图像信息的相关性获取高光谱图像的特征波长，并没有对图像进行任何改变。SPA算法保留9个特征波长的高光谱图像，并合并成3个特征波段图像(彩色图像)其图像与原图标签信息挂钩，从而方便输入MaskRCNN构架进行图像像素级分割。

优选的，步骤S2包括以下步骤：

S21.利用阈值分割分别获取三张特征波段图像对应的标签信息；

S22.根据标签信息对特征波段图像进行布尔运算，获得掩膜标定结果。

优选的，步骤S22中还包括：对特征波段图像进行开闭运算。

具体的，对3个掩膜标定后的标签信息图像进行布尔运算，获得准确度最高的掩膜标定结果。相较于采用1张图像进行掩膜分割的方法，通过合理的布尔运算，能够极大的提高掩膜准确度，为高光谱图像训练集的制作提供了技术保障。

优选的，步骤S3包括以下步骤：

S31.通过残差神经网络层提取图像特征并压缩图像尺寸；

S32.通过RPN层框选图像中的各种目标并判断被框选的图像区域是否为背景图像；

S33.采用全连接神经网络识别被框选的图像，得到类别信息；

S34.采用全连接神经网络对图像框位置进行微调并输出最佳的图像框位置，得到位置信息；

S35.采用卷积神经网络对图像框中像素点进行掩膜标记，得到掩膜信息；

S36.通过整合掩膜信息、类别信息以及位置信息实现对图像的像素级识别分类。

如图3至4所示，Mask RCNN构架包括:一个公用50层残差卷积神经网络用于得到图像feature maps(特征地图)、一个RPN网络得到图像的proposals(对图像中目标进行框选)、一个全链接神经网络得到图像类别信息和位置信息以及一个卷积神经网络得到图像的掩膜信息。最后整合3张特征波段图像的图像类别信息、位置信息于掩膜信息作为最终的图像分类结果，有效利用高光谱图像信息量大的特定，提高了系统分类精度。

优选的，Mask RCNN神经网络的训练包括以下步骤：

A1.根据掩膜标定结果以及结合后的3张特征波段图像，制作高光谱图像数据集；

A2.利用数据集训练Mask RCNN架构神经网络，整合掩膜信息、类别信息以及位置信息分别对3张特征波段图像进行像素级分割；

A3.整合3张特征波段图像的分割结果，完成基于Mask RCNN架构的高光谱图像分类模型的训练。

优选的，步骤A1至A3中,每个标签信息对应3张特征波段图像，3个标签先后对3张特征波段图像进行Mask RCNN分类，选取其中得分最高的分类结果作为最终分类结果。

如图4所示，其为基于高光谱图像的Mask RCNN网络架构图。Mask RCNN网络包含一个共用的残差神经网络层，用于提取图像特征并压缩图像尺寸；包含一个RPN层，用于框选图像中的各种目标所在的位置并判断所框选的图像区域是否为背景图像；包含三个识别管道，一个管道采用全连接神经网络用于识别前面框选的图像，输出类别信息。一个管道依然采用全连接神经网络对前面的图像框位置进行微调并输出最加的图像框位置，即输出位置信息。一个管道采用卷积神经网络实现对图像框中像素点的掩膜标记，输出掩膜信息。通过整合这三个管道输出的信息，可以实现对图像的像素级识别分类。该训练步骤可以如上预先完成训练，也可以在预测识别过程中依次进行。

实施例二：

图2示出了本发明实施例二提供的一种高光谱图像分类装置，装置包括：

特征波段图像提取单元，使用SPA算法对高光谱图像进行特征波段图像提取；

掩膜标定单元，与特征波段图像提取单元电连接，对得到的特征波段图像进行掩膜标定；

识别分类单元，分别与特征波段图像提取单元和掩膜标定单元电连接，基于掩膜标定单元的输出完成对Mask RCNN神经网络的训练；基于特征波段图像提取单元的输出通过Mask RCNN神经网络完成对高光谱图像的像素级识别分类。

实施例三；

本发明所提供的高光谱图像分类方法中，为了灵活安排计算资源，其训练集的构建及其训练模型的建立可以独立预先完成，也可以在实际分类预测时按顺序完成训练。以下实施例提供的一种在分类预测过程中一并完成训练集的构建及其训练模型的建立的实施步骤：

D1、特征波段提取。使用SPA算法对高光谱图像进行特征波段图像提取，并制作成三张相互关联的特征波段图像。

D2、掩膜。使用阈值分割算法分别对三张特征波段图像进行掩膜标定，并通过布尔运算，结合三个掩膜结果制作标签信息。

D3、构建训练集。根据提取到了三张特征波段图像以及掩膜得到的标签信息构建训练集，每张高光谱图像再训练集终对应三张特征波段图像和一张标签。

D4、训练模型。分别输入三张特征波段图像到MASK RCNN网络，得到三个结果，经过投票机制，合成成最终的预测结果。

D5、预测。用SPA算法将高光谱图像制作成三张特征波段照片，输入到MASK RCNN网络，经过投票机制，显示预测结果。

本发明的具体实施例将SPA算法提取得到的3张特征波段图像输入到训练好的Mask RCNN神经网络中，即降低了高光谱图像的相关度和冗余性，减轻了处理系统的资源负担，又完成对高光谱图像的像素级识别分类，提高了分类精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种高光谱图像分类方法，其特征在于，所述方法包括下述步骤：

S1.使用SPA算法对高光谱图像进行特征波段图像提取；

S2.将所述特征波段图像进行掩膜标定；

S3.将所述特征波段图像输入Mask RCNN神经网络，完成对高光谱图像的像素级识别分类。

2.如权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

S11.利用标准反射率板对高光谱图像进行反射率反演；

S12.利用TSG滤波算法对高光谱图像进行空谱维滤波；

S13.利用SPA算法，获取高光谱图像中相关性最小的9个特征波长作为图像的特征波段，将这9个特征波段的图像结合成3张所述特征波段图像。

3.如权利要求2所述的方法，其特征在于，所述步骤S13中9个所述特征波段的图片通过三三结合的方式合成3张所述特征波段图像。

4.如权利要求3所述的方法，其特征在于，所述步骤S2包括以下步骤：

S21.利用阈值分割分别获取三张所述特征波段图像对应的标签信息；

S22.根据所述标签信息对所述特征波段图像进行布尔运算，获得掩膜标定结果。

5.如权利要求4所述的方法，其特征在于，所述步骤S22中还包括：对所述特征波段图像进行开闭运算。

6.如权利要求5所述的方法，其特征在于，所述步骤S3包括以下步骤：

S31.通过残差神经网络层提取图像特征并压缩图像尺寸；

S32.通过RPN层框选图像中的各种目标并判断被框选的图像区域是否为背景图像；

S33.采用全连接神经网络识别所述被框选的图像，得到类别信息；

S34.采用全连接神经网络对图像框位置进行微调并输出最佳的图像框位置，得到位置信息；

S35.采用卷积神经网络对所述图像框中像素点进行掩膜标记，得到掩膜信息；

S36.通过整合所述掩膜信息、所述类别信息以及所述位置信息实现对图像的像素级识别分类。

7.如权利要求6所述的方法，其特征在于，所述Mask RCNN神经网络的训练包括以下步骤：

A1.根据掩膜标定结果以及结合后的3张所述特征波段图像，制作高光谱图像数据集；

A2.利用所述数据集训练Mask RCNN架构神经网络，整合掩膜信息、类别信息以及位置信息分别对3张所述特征波段图像进行像素级分割；

A3.整合3张所述特征波段图像的分割结果，完成基于Mask RCNN架构的高光谱图像分类模型的训练。

8.如权利要求7所述的方法，其特征在于，所述步骤A1至A3中,每个所述标签信息对应3张所述特征波段图像，3个所述标签先后对3张所述特征波段图像进行Mask RCNN分类，选取其中得分最高的分类结果作为最终分类结果。

9.一种高光谱图像分类装置，其特征在于，所述装置包括：

特征波段图像提取单元，使用SPA算法对高光谱图像进行特征波段图像提取；

掩膜标定单元，与所述特征波段图像提取单元电连接，对得到的所述特征波段图像进行掩膜标定；

识别分类单元，分别与特征波段图像提取单元和所述掩膜标定单元电连接，基于所述掩膜标定单元的输出完成对Mask RCNN神经网络的训练；基于特征波段图像提取单元的输出通过Mask RCNN神经网络完成对高光谱图像的像素级识别分类。

Images