CN113052216B - 基于双路图u-net卷积网络的溢油高光谱图像检测方法 - Google Patents

Abstract

本发明公开了一种基于双路图U‑NET卷积网络的溢油高光谱图像检测方法，包括以下步骤：步骤1、对需要检测溢油的高光谱图像的数据进行图结构化，得到光谱图结构信息和空间图结构信息；步骤2、将所述光谱图结构信息和空间图结构信息分别送入双路图U‑NET卷积网络中的一路，分别得到所述高光谱图像的光谱图特征和空间图特征；步骤3、对所述光谱图特征和所述空间图特征进行融合，得到空‑谱图特征；步骤4、将所述空‑谱图特征送入分类器，以得到所述高光谱图像的分类结果。本发明能够将欧式图像数据映射为非欧数据，更有效地表示光谱信息和空间信息，进一步提取到溢油高光谱图像的空‑谱图特征，提高了溢油高光谱图像的检测准确率。

Description

基于双路图U-NET卷积网络的溢油高光谱图像检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及机器学习和高光谱图像分类技术领域，更具体地，涉及一种基于双路图(Dual Graph)U-NET卷积网络的高光谱图像检测方法，其可用于溢油高光谱图像的检测。

背景技术

高光谱成像是指利用成像光谱仪将各种地物的光谱特性记录下来，对各个波段分别成像，将不同波段的图像形成数据立方体作为高光谱图像。高光谱图像在二维空间信息的基础上增加了光谱信息，每个像素都有一条反射光谱曲线与其对应。高光谱遥感由于其连续的光谱分辨能力和对物质表面特性的鉴别能力，使其具有有效定位和区分海水与油膜的能力。

近年来，基于深度学习的高光谱分类方法展示了巨大潜力。特别是图卷积网络，它为图数据结构的处理提供了一个崭新的思路，将深度学习中常用于图像的卷积神经网络应用到图数据上，通过图卷积网络对高光谱图像进行分类，大大提高了高光谱图像的分类精度。

王刚在论文“基于SVM的高光谱遥感图像海面溢油图像分类方法研究”中实现了基于SVM模型的高光谱溢油分类算法，设计了一种面向多时相数据油污带提取的SVM分类处理流程。然而，在有足够数据量的情况下，基于深度学习的溢油高光谱图像分类算法优于这类传统的机器学习算法。

华南理工大学在其专利申请“一种基于多图结构的图卷积网络的高光谱图像分类方法”(CN111160396A)中提出了一种基于多图结构的图卷积网络的高光谱图像分类方法，高光谱数据重排列得到像素数据矩阵；根据像素数据矩阵，进行强制最近邻连接矩阵及空间近邻连接矩阵的构建；利用图卷积网络分别对强制最近邻连接矩阵及空间近邻权重矩阵和像素数据矩阵进行卷积，得到特征矩阵；特征矩阵进行拼接，使用softmax分类器对像素的特征矩阵进行分类。但没有对图卷积过程中产生的高空间分辨率的局部信息进行充分利用。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中建立了溢油高光谱数据的图结构信息，使用图卷积网络从图结构信息中提取光谱和空间图特征进行溢油检测。具体地，分别利用原始图像中的光谱信息与空间物理相邻的信息建立光谱图结构信息和空间图结构信息，之后，分别将光谱图结构信息和空间图结构信息送入一路图U-NET卷积网络，通过U-NET结构获取光谱图特征和空间图特征，接下来将光谱图特征和空间图特征融合，从而得到溢油高光谱图像的空-谱图特征；最后，利用上述空-谱图特征进行溢油高光谱图像检测。

根据本发明的实施例，提供了一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法，包括以下步骤：

步骤1、对需要检测溢油的高光谱图像的数据进行图结构化，得到光谱图结构信息和空间图结构信息，

其中，所述光谱图结构信息包括以下信息：所述高光谱图像中的具有光谱相似性的多个像素的各自的光谱特征；以及所述具有光谱相似性的多个像素彼此之间的光谱相似性，

其中，所述空间图结构信息包括以下信息：所述高光谱图像中的具有空间相似性的多个像素的各自的光谱特征；以及所述具有空间相似性的多个像素彼此之间的光谱相似性；

步骤2、将所述光谱图结构信息和空间图结构信息分别送入双路图U-NET卷积网络中的一路，分别得到所述高光谱图像的光谱图特征和空间图特征；

步骤3、对所述光谱图特征和所述空间图特征进行融合，得到空-谱图特征；

步骤4、将所述空-谱图特征送入分类器，以得到所述高光谱图像的分类结果。

由此，本发明的有益效果包括：

1、提出了一种将溢油高光谱数据图结构化的方法，能够将欧式图像数据映射为非欧数据，更有效地表示光谱信息和空间信息；

2、提出了一种双路图U-NET卷积网络应用在溢油高光谱图像的分类中，能够提取到溢油高光谱图像的空-谱图特征，提高了溢油高光谱图像的检测准确率。

附图说明

图1为根据本发明的实施例的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的图卷积神经网络(DGU-HSI)的架构示意图；

图2为根据本发明的实施例的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的原理示意图；

图3为根据本发明的实施例的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的流程示意图；

图4为根据本发明的实施例的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的双路图卷积网络的原理示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下面结合附图对具体实施方案进行详细描述。

图1为根据本发明的实施例的实现一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的卷积神经网络(DGU-HSI)的架构示意图。

如图1所示，为便于理解本发明的原理，可将所述图像检测方法概述为如下阶段：

1、对从溢油高光谱图像中提取的样本数据(图1左侧示出的图像数据块)，进行图结构化(例如，通过PCA(主成分分析))，得到样本数据的光谱图结构信息和空间图结构信息(图结构数据)；

2、将所述光谱图结构信息与空间图结构信息分别送入双路图U-NET卷积网络中的一路，分别得到溢油高光谱图像的光谱图特征与空间图特征；

3、融合光谱图特征与空间图特征(例如，通过Additive(叠加)和/或Concatenation(拼接))，再将融合后的空-谱图特征通过分类器得到所述溢油高光谱图像的分类结果(逐像素的分类结果)，以此检测是否存在溢油区域。

上述阶段2至3是基于图卷积神经网络实现的，上述图结构数据可分别作为训练集和测试集使用。

图2为根据本发明的实施例的基于双路图U-NET卷积网络的溢油高光谱图像检测方法的原理示意图。图2在图1的基础上，对溢油高光谱图像检测方法的实现做了进一步细化展示。

如图2所示，所述基于双路图U-NET卷积网络的溢油高光谱图像检测方法主要涉及以下功能部分：数据预处理部分、数据分割部分、图结构数据建立部分、模型训练和测试部分和预测分类部分。其中，所述模型训练和测试部分和预测分类部分是通过图卷积神经网络(GCN)实现的，其包括特征提取模块、注意力模块、特征融合模块、分类模块。

数据预处理部分用于对溢油高光谱图像数据进行预处理，包括数据的归一化和数据的降维。其中，溢油高光谱图像数据可为样本图像数据或测试图像数据。

数据分割部分用于将预处理后的数据分割为固定窗口大小(w*w)的图像块，作为样本数据。

图结构数据建立部分用于对每个图像块建立光谱图结构数据与空间图结构数据，并以此构建训练样本集和测试样本集，以满足后续神经网络模型的输入需要。

模型训练和测试部分包括特征提取模块、注意力模块、特征融合模块和分类模块，在训练阶段和测试阶段均使用该部分。

在训练阶段，将光谱图结构数据和空间图结构数据(训练样本集)分别送入双路图U-NET卷积网络(即，特征提取模块)中的一路，经过U-NET网络架构分别得到多尺度的光谱图特征与空间图特征；注意力模块用于对所述光谱图特征与空间图特征进行筛选，智能选择更有效的特征波段；特征融合模块用于将经过注意力模块筛选的光谱图特征与空间图特征进行融合，得到溢油高光谱图像的空-谱图特征；最后，分类模块利用空-谱图特征，经分类函数(如Softmax函数)得到(每个图像块的)溢油检测结果，其中使用交叉损失熵函数与自适应梯度下降优化算法训练模型(参数优化)。

在测试阶段，类似地，将测试样本集输入至特征提取模块，得到光谱和空间图特征，经注意力模块和特征融合模块，最终形成溢油高光谱图像的空-谱图特征，使用空-谱图特征，经过分类模块，利用Softmax函数进行分类，得到模型最优的溢油检测结果。

图3为根据本发明的实施例的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法的流程示意图，其示出了所述溢油高光谱图像检测方法的具体实现过程。

具体地，如图3所示，根据本发明的实施例，基于高低阶信息融合的高光谱图像分类方法主要包括以下步骤：

步骤S100，对溢油高光谱图像数据进行数据预处理，包括数据归一化和数据降维，其中，数据归一化将溢油高光谱数据映射至[0,1]区间，使其符合正态分布，容易收敛；数据降维可采用主成分分析法，筛选溢油高光谱数据的主要波段，降低光谱冗余的影响。

步骤S200，利用固定大小的窗口(w*w)对步骤S100所得的降维后的图像数据进行分割，将图像数据分割为w*w的图像作为样本数据(例如，取w为11，则样本数据为11×11的图像块的集合)，如下：

X＝{X₁,X₂,…X_i,…,X_n}∈R^w×w×d

其中，X_i表示图像块，d表示降维后的图像光谱维度，n为图像块的数量(样本数，即，具有标签的样本数)，样本标签可为图像块的中心像素的标签；

其中，窗口的分割步长可为1，也就是说，相邻的图像块是部分重叠的，图像块的总数与像素的总数相同，即，所有像素均可作为图像块的中心像素(位于图像边缘的像素仍可作为中心像素，这可通过对图像之外的像素进行补0处理来实现)；

步骤S300，利用每个中心像素的相邻8个像素空间相似性建立空间图结构数据，利用中心像素与所在窗口内的所有像素的光谱相似性建立光谱图结构数据，其中光谱相似性的度量定义如下：

其中，x_i,x_j为需度量的两个像素的光谱特征值，λ为宽度参数。

最终得到光谱图结构数据和空间图结构数据的特征矩阵和邻接矩阵，同时获得训练样本集和测试样本集。

光谱图结构数据的特征矩阵为(r+1)×d的矩阵，其中，将中心像素与图像块内的所有像素(w×w个)分别计算光谱相似性，筛选出的光谱相似性最高的r个像素，加上中心像素组成上述(r+1)×d特征矩阵的每一行，即，特征矩阵的每一行为r个像素中的某个像素降维后的光谱特征值；邻接矩阵为(r+1)×(r+1)的方阵，各个元素值由E_ij(r+1个像素彼此之间的光谱相似性)构成；

空间图结构数据的特征矩阵为9*d的方阵，每一行为上述的9个像素的光谱特征值，邻接矩阵为3×3的方阵，各个元素同样由E_ij构成；

作为示例，训练样本集是从全部光谱图结构数据和空间图结构数据中随机抽取的部分图结构数据，测试样本集是其余图结构数据；

步骤S400，将光谱图结构数据的特征矩阵和邻接矩阵、以及空间图结构数据的特征矩阵和邻接矩阵分别送入双路图U-NET卷积网络中的一路；

其中，所述双路图U-NET卷积网络中的一路的具体架构如图4所示，经过四层图卷积与图池化后，得到四种尺度的特征{s₁,s₂,s₃,s₄}，之后进行四层图反卷积，在反卷积的同时，将四种尺度的特征组合，最后得到多尺度的光谱图特征与空间图特征S＝{s₁；s₂；s₃；s₄}，S为四种尺度进行组合(拼接)后的多尺度特征。

后经注意力模块，从所述多尺度特征筛选出更有效的特征波段。

之后，通过特征融合模块，对筛选后的光谱图特征与空间图特征进行拼接，得到溢油高光谱图像的空-谱图特征s_空+谱＝{s_空；s_谱}，其中，注意力模块的筛选函数定义如下：

其中，W_θ,

W_g,W分别代表Conv_θ,

Conv_g，Conv，且为1×1的卷积核。

步骤S500，将所得到的空-谱图特征送入分类模块，经全连接网络输出后，接Softmax函数产生最终分类结果，用于检测海水溢油。

其中，上述步骤S400至步骤S500通过卷积神经网络实现，并且是对于每个图像块(每个中心像素)而多次执行的，以产生对应于图像块(每个中心像素)的数目的多个分类结果。

在训练阶段，所述分类模块使用主损失函数，其采用交叉损失熵，定义如下：

其中，p＝{p₁,p₂,…,p_n}是使用空-谱图特征分类所得到的概率分布，p_k是类别k的概率，m是像素标签的种类的数目，

是像素地面真值(ground truth)的独热编码(One-Hot Encoding)表示。

其中，对于每个图像块，可以利用自适应梯度下降优化算法优化交叉损失熵，重复进行步骤S400到步骤S500。

为验证本方法，以溢油事故的高光谱数据为例进行分类和测试，溢油事故高光谱数据集是空间尺寸为236×260，包含258个光谱波段。我们将其分为海水区和溢油区两类，每类选择200个进行训练，其余样本作为测试，详细设置见表1。

表1——溢油数据集训练、测试样本数量

序号	类别	训练	测试
				1	海水	200	33138
2	溢油	200	27822
				总计		400	60960

在上述样本条件下，将本发明的方法与1DCNN、2DCNN两种方法进行对比实验，并记录平均分类精度(AA)，总体分类精度(OA)和Kappa系数。实验结果如表2所示。

表2——分类性能对比

由表2可以得出，本发明提出的方法具有较好的分类结果，分类效果有不同程度的提升，总体精度与平均精度都优于对比方法。

综上所述，本发明的一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法，通过构建图结构数据，利用双路图U-NET网络提取油、水特征，后进行光谱空间特征融合，充分利用了各尺度的图特征信息，增加了溢油检测的准确性。

以上所述，仅涉及本发明的示例性实施例。本领域的技术人员能够理解，基于本发明的原理以及此说明书中的教导，对本发明的上述实施例能够做出各种修改、变型、以及替换，其均落入如本发明的保护范围。

Claims (8)

1.一种基于双路图U-NET卷积网络的溢油高光谱图像检测方法，包括以下步骤：

步骤0、通过w×w的窗口，将需要检测溢油的高光谱图像分割为多个大小为w×w的图像块，作为样本数据，其中w为奇数；

步骤1、对所述高光谱图像的数据进行图结构化，得到光谱图结构信息和空间图结构信息，

其中，所述光谱图结构信息包括以下信息：所述高光谱图像中的具有光谱相似性的多个像素的各自的光谱特征；以及所述具有光谱相似性的多个像素彼此之间的光谱相似性，

其中，所述空间图结构信息包括以下信息：所述高光谱图像中的具有空间相似性的多个像素的各自的光谱特征；以及所述具有空间相似性的多个像素彼此之间的光谱相似性；

步骤2、将所述光谱图结构信息和空间图结构信息分别送入双路图U-NET卷积网络中的一路，分别得到所述高光谱图像的光谱图特征和空间图特征；

步骤3、对所述光谱图特征和所述空间图特征进行融合，得到空-谱图特征；

步骤4、将所述空-谱图特征送入分类器，以得到所述高光谱图像的分类结果，

其中，步骤1包括：

步骤1-1、以所述高光谱图像的每个像素作为中心像素，分别建立所述空间图结构信息，

其中，所述空间图结构信息由特征矩阵和邻接矩阵构成，

所述空间图结构信息的特征矩阵的元素值为中心像素及其相邻像素的光谱特征值，所述空间图结构信息的邻接矩阵的元素值为中心像素与其相邻像素的光谱相似性；

步骤1-2、对所述高光谱图像的每个图像块，分别建立所述光谱图结构信息，

其中，所述光谱图结构信息由特征矩阵和邻接矩阵构成，

所述光谱图结构信息的特征矩阵的元素值为图像块中的中心像素以及与所述中心像素的光谱最相似的r个像素的光谱特征值，所述光谱图结构信息的邻接矩阵的元素值为所述中心像素与所述r个像素组成的r+1个像素彼此之间的光谱相似性。

2.根据权利要求1所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，在步骤1之前，还包括以下步骤：

步骤0-1、对所述高光谱图像的数据进行预处理，包括数据归一化和数据降维。

3.根据权利要求1或2所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，所述光谱相似性的度量定义如下：

其中，x_i,x_j为需度量的两个像素的光谱特征值，λ为宽度参数。

4.根据权利要求1或2所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，对于每个图像块而重复执行所述步骤2至4，以产生与每个图像块相对应的多个分类结果。

5.根据权利要求4所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，所述步骤2至4是基于图卷积神经网络实现的，所述样本数据作为训练集或测试集，

其中，在训练阶段，使用主损失函数，其采用交叉损失熵，定义如下：

其中，p＝{p₁,p₂,…,p_n}是使用空-谱图特征分类所得到的概率分布，p_k是类别k的概率，m是像素标签的种类的数目，

是像素地面真值的独热编码表示。

6.根据权利要求5所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，对于每个图像块，利用自适应梯度下降优化算法优化交叉损失熵，重复进行步骤2至4。

7.根据权利要求1所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，所述w×w的窗口的分割步长为1，所述图像块的总数与高光谱图像的像素总数相同。

8.根据权利要求1所述的基于双路图U-NET卷积网络的溢油高光谱图像检测方法，其中，在所述双路图U-NET卷积网络中的一路中，经过四层图卷积与图池化后，得到四种尺度的特征{s₁,s₂,s₃,s₄}，之后进行四层图反卷积，在反卷积的同时，将四种尺度的特征组合，最后得到多尺度的光谱图特征与空间图特征S＝{s₁；s₂；s₃；s₄}，S为四种尺度进行组合后的多尺度特征；

所述步骤2包括：

步骤2-1、通过注意力模块，从所述光谱图特征和空间图特征中筛选出有效特征波段，

其中，所述注意力模块的筛选函数定义如下：

其中，W_θ,

W_g,W分别代表卷积核参数Conv_θ,

Conv_g，Conv，并且，卷积核为1×1的卷积核。

Images