CN112241937B - 一种基于神经网络的高光谱图像重构方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的高光谱图像重构方法，包括：采集高光谱图像数据集；对采集的高光谱图像数据集进行预处理：将高光谱图像数据集中每张高光谱图像进行裁剪，将裁剪后的每张高光谱图像一部分存储于训练数据文件、另一部分存储于测试数据文件；利用训练数据文件训练神经网络模型；利用训练完成的神经网络模型重构测试数据文件。本发明的重构方法，通过将训练集和测试集存储于训练数据、测试数据文件，在训练或是测试中分别从训练数据、测试数据文件中取用数据，提高了数据处理速度，节省了时间，且通过神经网络模型可以有效的提高了高光谱图像重构的精准度。

Description

一种基于神经网络的高光谱图像重构方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于神经网络的高光谱图像重构方法。

背景技术

光谱成像是光学成像技术中的一个重要分支，同时被广泛的应用在光学遥感领域。遥感技术经过几十年的发展，在应用技术和实际理论上都取得了重大突破，其中，高光谱图像技术的发展是其中较突出的一点。

高光谱图像在包含物体图像信息的同时，也包含了物体几十个到上百个光谱段信息，从而具有强大的物体识别与分类的能力，并已经运用到了农林牧渔、医疗卫生、航天航空和地质勘探等多个领域中。而压缩感知理论提出一种新的信息采集方法，在获取地物信息的同时，与压缩信息深度融合，降低了数据采集的采样率。通过压缩感知获取到的数据需要进行信号重构以恢复原始数据，需要从较少的物体图像信息中恢复出原来完整的数据。这些年来产生了许多重构算法，但是大多数都是通过理论对获取到的数据进行重构，这些方法计算量大，且因为获取物体图像时存在噪声因素，导致原始信号中一些物体细节信息较难恢复，难以获得较好的重构结果。近些年来，随着人工智能领域不断发展以及电脑显卡设备与传输存储技术的提升，神经网络技术有了突破性进展。通过神经网络不断地训练数据模型、优化模型，以得到理想的输出结果。越来越多的利用神经网络处理图像的技术不断涌现，如图像识别、图像优化和图像转化等，这些技术通过对原始问题建立数学模型，结合特定神经网络如卷积神经网络、生成对抗网络等，对输入数据进行处理，进行有监督的训练神经网络模型，利用损失函数以及激活函数不断的调整模型的准确度。

但是，目前通过神经网络模型进行高光谱图像重构的方法，处理速度慢，且重构效果不理想，如高光谱重构图像细节不清晰。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于神经网络的高光谱图像重构方法。

本发明的一个实施例提供了一种基于神经网络的高光谱图像重构方法，该基于神经网络的高光谱图像重构方法包括：

S1、采集高光谱图像数据集：通过高光谱成像仪采集不同目标下的光谱混叠图像以及原始高光谱图像，其中，每个目标的光谱混叠图由各个谱段的原始光谱图像通过棱镜色散后，在所述高光谱成像仪采集形成谱段间原始高光谱图像的相对偏移叠加所形成。

S2、对采集的所述高光谱图像数据集进行预处理：将所述高光谱图像数据集中每张光谱混叠图像、原始高光谱图像裁剪成同样预设尺寸的若干子光谱混叠图像、若干子原始高光谱图像，将所述若干子光谱混叠图像的一部分作为神经网络模型的第一训练集、另一部分作为神经网络模型的测试集，将所述若干子原始高光谱图像作为神经网络模型的第二训练集，并将所述第一训练集存储于第一训练数据文件中、所述第二训练集存储于第二训练数据文件中、所述测试集存储于测试数据文件中；

S3、将所述第一训练数据文件、所述第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型；

S4、将所述测试数据文件输入到所述训练完成的神经网络模型中进行图像重构得到重构高光谱图像。

在本发明的一个实施例中，所述第一训练数据文件、所述测试数据文件中光谱混叠图像的模型公式为：

其中，Y为第一训练数据文件、测试数据文件中光谱混叠图像且为二维矩阵R^M×N，A为采样矩阵{A₁,A₂,…,A_L}组合起来的三维矩阵R^L×M×N，L为总谱段的数量，X_i为第i个谱段的原始高光谱图像且为三维矩阵R^L×M×N，。为哈达玛积(Hadamard product)。通过对所述光谱混叠图像的模型公式变形，并添加神经网络模型需要训练的权重参数，得到所述重构高光谱图像的模型公式为：

其中，W^j为神经网络模型训练中第j层的权重参数且为三维矩阵R^L×M×N，B^j为神经网络模型中第j层的偏置参数，为重构高光谱图像/>组合起来的三维矩阵R^L×M×N，/>第i个谱段的重构高光谱图像。

在本发明的一个实施例中，所述神经网络模型包括三层神经网络层，每一层神经网络层包括隐藏层、激活层，每一层神经网络层中所述隐藏层的权重参数分别为W¹、W²、W³和偏置参数分别为B¹、B²、B³，每一层神经网络层中所述激活函数为ReLU函数：f(x)＝max(0,x)，其中，x为上一层神经网络层的输出，且第一层神经网络层的输出为：第二层神经网络的输出为/>其中，f(·)为激活函数ReLU函数，第三层神经网络层输出为/>

在本发明的一个实施例中，将所述第一训练数据文件、所述第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型包括：

将所述第一训练数据文件中光谱混叠图像输入到神经网络模型中进行正向训练得到正向训练结果；

通过预设损失函数计算所述正向训练结果和所述第二训练数据文件中原始高光谱图像之间的损失误差；

根据所述损失误差对神经网络模型进行逆向训练更新每一层神经网络层中所述隐藏层的权重参数；

根据更新的每一层神经网络层中所述隐藏层的权重参数再次进行正向训练更新正向训练结果，通过更新的正向训练结果更新损失误差，直到更新的损失误差达到预设损失阈值得到所述训练完成的神经网络模型。

在本发明的一个实施例中，所述预设损失函数模型为：

其中，Loss为预设损失函数，SSIM(·)为结构相似度函数。

与现有技术相比，本发明的有益效果：

本发明提供的基于神经网络的高光谱图像重构方法，通过将训练集和测试集的存储于训练数据文件、测试数据文件中，在训练或是测试过程从训练数据文件、测试数据文件中取用数据，提高了数据处理速度，节省了时间，且通过神经网络模型可以有效的提高高光谱图像重构的精准度，得到的高光谱图像的重构结果与原始高光谱图像的结构相似度较高，可以有效重构出原始高光谱图像。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1为本发明实施例提供的一种基于神经网络的高光谱图像重构方法的流程示意图；

图2为本发明实施例提供的一种基于神经网络的高光谱图像重构方法中神经网络模型的结构示意图；

图3为本发明实施例提供的一幅光谱混叠图的示意图；

图4为本发明实施例提供的原始高光谱图像的第62谱段图像的示意图；

图5为本发明实施例提供的通过本申请重构方法得到的重构高光谱图像的第62谱段图像的示意图；

图6为本发明实施例提供的通过本申请重构方法得到的重构高光谱图像与原始高光谱图像之间的各谱段的结构相似度示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

为了能够更好的利用高光谱图像各谱段信息，并更加精准的重构出原始高光谱图像，请参见图1，图1为本发明实施例提供的一种基于神经网络的高光谱图像重构方法的流程示意图。本发明实施例提供了一种基于神经网络的高光谱图像重构方法，该基于神经网络的高光谱图像重构方法包括以下步骤：

S1、采集高光谱图像数据集。

具体而言，本实施例通过高光谱成像仪采集不同目标下的光谱混叠图像以及原始高光谱图像，原始高光谱图像用于神经网络模型训练，一部分光谱混叠图像用于神经网络模型训练，一部分光谱混叠图像用于重构高光谱图像测试。具体地，在采集数据开始之前，通过高光谱成像仪采集并存储不同谱段下的编码孔径二维图像。之后，利用高光谱成像仪针对同一目标采集光谱混叠图，通过变化目标的位置，使得目标在编码孔径的不同位置上进行成像，获取到不同目标的光谱混叠图，记录下目标的位置与目标光谱混叠图的一一对应关系。最后，将高光谱成像仪中的编码孔径进行移除，利用高光谱成像仪对同一目标采集不同光谱下的原始光谱图像。对多组不同目标执行上述采集过程，采集到多组不同目标的相同谱段的原始高光图像、相同编码孔径下的多组光谱混叠图，采集光谱混叠图时，需要保持不同目标的相同组的光谱混叠图在编码孔径上的成像位置不变。本实例中高光谱图像数据集包括不同目标的原始高光谱图像和光谱混叠图，每个目标的光谱混叠图由各个谱段的原始光谱图像通过棱镜色散后，在高光谱成像仪采集形成谱段间原始高光谱图像的相对偏移叠加所形成，原始高光谱图像为各目标样本对应的真实高光谱图像。

S2、对采集的高光谱图像数据集进行预处理。

具体而言，本实施例首先对步骤1采集的高光谱图像数据集中每张光谱混叠图像、每张原始高光谱图像进行裁剪，具体地，按照高光谱成像特点，计算出需要的预设尺寸，然后将高光谱图像数据集中每张光谱混叠图像、每张原始高光谱图像裁剪成同样预设尺寸的若干子光谱混叠图像、若干子原始高光谱图像，并将若干子光谱混叠图像、若干子原始高光谱图像均分别转为灰度图像，将若干子光谱混叠图像的一部分，比如所有子光谱混叠图像中70％的子光谱混叠图像作为神经网络模型的第一训练集，将若干子光谱混叠图像的另一部分，比如所有子光谱混叠图像中30％的子光谱混叠图像作为神经网络模型的测试集，将所有子原始高光谱图像作为神经网络模型的第二训练集。

由于一个目标的光谱混叠图对应的原始高光谱图像拥有多张不同谱段的图像，所以为了方便训练和测试时数据的读取，本实施例将第一训练集存储于第一训练数据文件中、第二训练集存储于第二训练数据文件中、测试集存储于测试数据文件中。其中，第二训练数据文件里面的数据格式为四维数组，第一维为推扫次数，第二维为谱段个数，第三维、第四维为文件中每张子原始高光谱图像的尺寸大小，比如第二训练数据文件中存储了一组数据为50x71x100x170，其中，50代表推扫次数为50次，71代表每个目标有71个谱段，100x170为每次推扫时原始高光谱图片像尺寸大小；第一训练数据文件、测试数据文件中子光谱混叠图像分别则按照原始高光谱图像中目标顺序存储，即光谱混叠图像与前面原始高光谱图像文件存储顺序相同，两个文件里面的数据格式均为三维数组，第一维为推扫次数，第二维、第三维为文件中每张光谱混叠图像的尺寸大小，比如第一训练数据文件或测试数据文件中存储了一组数据为50x100x170，其中，50代表推扫次数为50次，100x170为每次推扫时光谱混叠图像尺寸大小。这样，在后续读取数据中，都只需要按数据的第一维进行读取即可得到同一目标的光谱混叠图与包含多张不同谱段图像的原始高光谱图像。

需要说明的是，本实施例可以将第一训练数据文件中的每一子光谱混叠图像均转化为.mat文件存储形成第一.mat训练数据文件、将第二训练数据文件中的每一子原始高光谱图像均转化为.mat文件存储形成第二.mat训练数据文件、测试数据文件中的每一子光谱混叠图像均转化为.mat文件存储形成一.mat测试数据文件，即本实施例将步骤S2中每个文件夹里面的图像分别转化为.mat文件存储。第一训练数据文件、第二训练数据文件和测试数据文件中的数据存储格式也不限于.mat，根据实际需要，可以存储为其他格式数据。

S3、将第一训练数据文件、第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型。

具体而言，通过步骤2得到第一训练数据文件、第二训练数据文件，第一训练数据文件中存储的是光谱混叠图像，第二训练数据文件中存储的是原始高光谱图像，各个目标的光谱混叠图像记为Y＝{Y₁,Y₂,…Y_s,…Y₅₀}，各目标的原始高光谱图像记为X＝{{X_1,1,X_1,2,…X_1,i,…X_1,62},…{X_s,1,X_s,2,…X_s,i,…X_s,62},…}，s表示第s个目标，总共50个目标，i表示目标第i个谱段，谱段总数L为62，将步骤S1中采集到的编码孔径数据作为采样矩阵A，将第一训练数据文件、第二训练数据文件中的训练数据按批次读取并输入到本申请设计的神经网络模型中，进行训练得到神经网络模型。具体地：

本实施例首先构建神经网络模型，通过TensorFlow系统进行神经网络的搭建，请参见图2，图2为本发明实施例提供的一种基于神经网络的高光谱图像重构方法中神经网络模型的结构示意图，本实施例神经网络模型包括三层神经网络层，每一层神经网络层包括隐藏层、激活层，每一层神经网络层中隐藏层的权重参数分别为W¹、W²、W³和偏置参数分别为B¹、B²、B³，每一层神经网络层中激活函数为ReLU函数：f(x)＝max(0,x)，其中，x为上一层神经网络层的输出。神经网络模型还包括输入层和输出层，输入层是将训练数据输入的地方，输出层是将计算完成后的数据进行输出。

与传统的全连接网络不同的是，本实施例使用的神经网络模型中层与层之间采用的是对应哈达玛积的方式。由于高光谱图像形成过程为哈达玛积的形式，为了更好的适应高光谱成像过程，本实施例对神经网络模型进行了修改，将传统的二维数据相乘转变为了二维数据哈达玛积。

进一步地，本实施例第一训练数据文件、测试数据文件中光谱混叠图像采集形成模型可以描述为：

其中，Y为第一训练数据文件、测试数据文件中光谱混叠图像且为二维矩阵R^M×N，A为采样矩阵{A₁,A₂,…,A_L}组合起来的三维矩阵R^L×M×N，A_i表示第i个谱段的采样矩阵，L为总谱段的数量，X_i为第i个谱段的原始高光谱图像且为三维矩阵R^L×M×N，。为哈达玛积(Hadamard product)，由公式(1)可以看到，光谱混叠图像采集可以理解为一基于压缩感知拍摄的光谱混叠图像采集过程，A为采样矩阵可以理解为一稀疏矩阵，以实现通过更少的采样数据重构原始高光谱图像。通过对光谱混叠图像的模型公式(1)变形，并添加神经网络模型需要训练的权重参数，得到本实施例重构高光谱图像的模型公式为：

其中，W^j为神经网络模型训练中第j层的权重参数且为三维矩阵R^L×M×N，B^j为神经网络模型中第j层的偏置参数，为重构高光谱图像/>组合起来的三维矩阵R^L×M×N，/>第i个谱段的重构高光谱图像。对于光谱混叠图重构是由一张光谱混叠图重构出多张不同谱段的高光谱图像，输入数据Y为二维矩阵R^M×N，输出数据/>为三维矩阵R^L×M×N，W^j设计为三维矩阵R^L×M×N，将公式中Y与W^j中后两维进行哈达玛积形成三维矩阵。

请再参见图2，本实施例神经网络模型的第一层神经网络层的输出为：第二层神经网络的输出为/>其中，f(·)为激活函数ReLU函数，第三层神经网络层输出为/>

进一步地，本实施例将第一训练数据文件、第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型，具体包括：

首先，将第一训练数据文件中光谱混叠图像输入到神经网络模型中进行正向训练得到正向训练结果，该正向训练结果为第三层神经网络层输出

然后，通过预设损失函数计算正向训练结果和第二训练数据文件中原始高光谱图像之间的损失误差，本实施例预设损失函数模型为：

其中，Loss为预设损失函数，SSIM(·)为结构相似度函数。本实施例通过在预设损失函数(loss function)中引入图像的结构相似度(Structural Similarity，简称SSIM)，预设损失函数定义为：欧几里得距离函数乘以正向训练结果和第二训练数据文件中原始高光谱图像之间的结构相似度与1的差值。在预设损失函数中添加正向训练结果、原始高光谱图像结构相似度的差值，以此更好的获取到两组图像精准的差值。

接着，根据损失误差对神经网络模型进行逆向训练更新每一层神经网络层中隐藏层的权重参数，具体地，采用随机梯度下降(Stochastic Gradient Descent，简称SGD)将损失差值按神经网络模型正向训练的原过程进行逆向计算，经过神经网络模型中全部隐藏层直至输出层，在逆向过程计算中依据梯度下降计算各个隐藏层的损失误差，根据该损失误差更新每一隐藏层的权重参数W^j以使损失值减小。

最后，利用更新的每一层神经网络层中隐藏层的权重参数W^j再次进行正向训练更新正向训练结果，通过更新的正向训练结果更新损失误差，经过多次的正向训练输出正向训练结果与逆向训练修改隐藏层的权重参数W^j，直到更新的损失误差达到预设损失阈值得到训练完成的神经网络模型，过程中，当损失函数值达到预设损失阈值时，则训练完成，得到训练完成的神经网络模型。其中，预设损失阈值根据实际设计需要进行设置。

本实施例在神经网络模型训练过程中先进行正向训练，得到神经网络模型的正向过程输出后，将神经网络模型的正向训练结果与对应原始高光谱图像通过预设损失函数模型求差值得到损失误差，再开始逆向训练过程，使得损失误差减小。经过多次这样的正向、逆向训练后得到训练完成的神经网络模型。

需要说明的是，本实施例训练完成的神经网络模型可以存储于模型文件夹，需要做高光谱图像重构时，从模型文件中读取该训练完成的神经网络模型，用于后续高光谱图像重构。

S4、将测试数据文件输入到训练完成的神经网络模型中进行图像重构得到重构高光谱图像。

具体而言，本实施例将步骤S2得到的测试数据文件输入到步骤3得到的训练完成的神经网络模型中，经过训练完成的神经网络模型计算之后，得到重构高光谱图像。

为了验证本申请提出的基于神经网络的高光谱图像重构方法，请参见图3、图4、图5、图6，图3为本发明实施例提供的一幅光谱混叠图的示意图，图4为本发明实施例提供的原始高光谱图像的第62谱段图像的示意图，图5为本发明实施例提供的通过本申请重构方法得到的重构高光谱图像的第62谱段图像的示意图，图6为本发明实施例提供的通过本申请重构方法得到的重构高光谱图像与原始高光谱图像之间的各谱段的结构相似度示意图，可见，本实施例通过图3所示的光谱混叠图重构得到图4所示的重构高光谱图像，与图5所示的原始高光谱图像相比，本实施例重构的高光谱图像基本保持了原始高光谱图像的细节信息，更具体地，由图6所示，本实施例提供的重构方法在1～62谱段图像的重构中SSIM均不低于0.986，结构相似度较高，图6中横坐标表示谱段数目，纵坐标表示SSIM值。其中，SSIM是一种衡量两幅图像相似度的指标，SSIM值的范围为0～1，值越大这两张图像越相似。

综上所述，本实施例提供的基于神经网络的高光谱图像重构方法，通过将训练集和测试集的存储于训练数据文件、测试数据文件中，在训练或是测试过程从训练数据文件、测试数据文件中取用数据，提高了数据处理速度，节省了时间，且通过神经网络模型可以有效的提高了高光谱图像重构的精准度，得到的高光谱图像的重构结果与原始高光谱图像的结构相似度较高，可以有效重构出原始高光谱图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于神经网络的高光谱图像重构方法，其特征在于，包括以下步骤：

S1、采集高光谱图像数据集：通过高光谱成像仪采集不同目标下的光谱混叠图像以及原始高光谱图像，其中，每个目标的光谱混叠图由各个谱段的原始光谱图像通过棱镜色散后，通过所述高光谱成像仪采集形成谱段间原始高光谱图像的相对偏移叠加所形成；

S2、对采集的所述高光谱图像数据集进行预处理：将所述高光谱图像数据集中每张光谱混叠图像、原始高光谱图像裁剪成同样预设尺寸的若干子光谱混叠图像、若干子原始高光谱图像，将所述若干子光谱混叠图像的一部分作为神经网络模型的第一训练集、另一部分作为神经网络模型的测试集，将所述若干子原始高光谱图像作为神经网络模型的第二训练集，并将所述第一训练集存储于第一训练数据文件中、所述第二训练集存储于第二训练数据文件中、所述测试集存储于测试数据文件中；

S3、将所述第一训练数据文件、所述第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型；

S4、将所述测试数据文件输入到所述训练完成的神经网络模型中进行图像重构得到重构高光谱图像；

所述第一训练数据文件、所述测试数据文件中光谱混叠图像的模型公式为：

其中，Y为第一训练数据文件、测试数据文件中光谱混叠图像且为二维矩阵R^M×N，A为采样矩阵{A₁,A₂,…,A_L}组合起来的三维矩阵R^L×M×N，L为总谱段的数量，X_i为第i个谱段的原始高光谱图像且为三维矩阵R^L×M×N，为哈达玛积(Hadamard product)；通过对所述光谱混叠图像的模型公式变形，并添加神经网络模型需要训练的权重参数，得到所述重构高光谱图像的模型公式为：

其中，W^j为神经网络模型训练中第j层的权重参数且为三维矩阵R^L×M×N，B^j为神经网络模型中第j层的偏置参数，为重构高光谱图像/>组合起来的三维矩阵R^{L ×M×N}，/>第i个谱段的重构高光谱图像；

所述神经网络模型包括三层神经网络层，每一层神经网络层包括隐藏层、激活层；

将所述第一训练数据文件、所述第二训练数据文件输入到神经网络模型中进行模型训练得到训练完成的神经网络模型包括：

将所述第一训练数据文件中光谱混叠图像输入到神经网络模型中进行正向训练得到正向训练结果；

通过预设损失函数计算所述正向训练结果和所述第二训练数据文件中原始高光谱图像之间的损失误差；

根据所述损失误差对神经网络模型进行逆向训练更新每一层神经网络层中所述隐藏层的权重参数；

根据更新的每一层神经网络层中所述隐藏层的权重参数再次进行正向训练更新正向训练结果，通过更新的正向训练结果更新损失误差，直到更新的损失误差达到预设损失阈值得到所述训练完成的神经网络模型。

2.根据权利要求1所述的基于神经网络的高光谱图像重构方法，其特征在于，每一层神经网络层中所述隐藏层的权重参数分别为W¹、W²、W³和偏置参数分别为B¹、B²、B³，每一层神经网络层中所述激活函数为ReLU函数：f(x)＝max(0,x)，其中，x为上一层神经网络层的输出，且第一层神经网络层的输出为：第二层神经网络的输出为其中，f(·)为激活函数ReLU函数，第三层神经网络层输出为

3.根据权利要求1所述的基于神经网络的高光谱图像重构方法，其特征在于，所述预设损失函数模型为：

其中，Loss为预设损失函数，SSIM(·)为结构相似度函数。