CN109886898B - 基于优化启发的神经网络的光谱成像系统的成像方法 - Google Patents

Abstract

本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，属于计算摄像学领域。本发明实现方法为：建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络；配置联合网络训练所需参数；训练联合网络；取出训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像到二维压缩图像的调制；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

Description

基于优化启发的神经网络的光谱成像系统的成像方法

技术领域

本发明涉及用于光谱成像系统的高光谱图像成像方法，尤其涉及能够获取高质量高光谱图像的方法，属于计算摄像学领域。

背景技术

不同于传统的RGB成像或全色成像，光谱成像将场景捕获为三维张量，其在光谱维对场景每个像素位置处的光谱信息进行更精细的采样。光谱成像获得的高光谱图像中富含丰富的光谱信息，这一特点使其在遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等领域相比于传统成像技术更具有优势，因此正在被越来越广泛地投入应用。

由于高光谱图像是三维张量，而目前使用的成像传感器是二维的，因此必须逐点或逐行扫描光谱信息。但是这种高光谱成像过程是非常耗时的并且仅限于静态场景。为了捕获动态场景，已经提出各种快照高光谱成像系统设计和算法。在这些系统中，由AshwinWagadarikar等人提出的基于压缩感测理论的编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)作为一种有前景的解决方案脱颖而出。CASSI将入射光编码到快照成像传感器上，得到三维高光谱数据的二维压缩图像。再使用优化算法将二维压缩图像重建为三维张量。

但是，由二维压缩图像重建为三维张量是一个严重欠定的问题，且CASSI系统的压缩采样性对重建过程有很大影响。因此，为了提升CASSI系统的精确度，需同时考虑成像过程和计算重建过程。但是，目前的方法主要是分开考虑成像过程和计算重建过程。

在成像过程中，为了更加有效地采集高光谱图像信息，已经提出不同的编码孔径优化方法。对于CASSI系统，在探测器和色散介质确定的情况下，观测矩阵被实体的编码孔径唯一确定。编码孔径初始采用随机二进制的设计方法，但是这种设计方案并没有充分利用CASSI系统感知机制的结构，这导致重建的结果是次优的。Arguello等人基于分析观测矩阵的等距特性优化编码孔径，提出将编码孔径优化问题转化为秩最小问题，并采用通用算法求解。但是此方法侧重于光谱的选择，只适用于多帧系统。

随着微光刻技术和涂层技术的发展，彩色编码孔径被引入到CASSI系统中。Parada-Mayorga分析观测矩阵的相干性，并提出彩色编码孔径图的优化等价于相干最小化问题。Ramirez和Arguello提出观测矩阵的Gram矩阵的实体分布模型，设计彩色编码孔径使矩阵的方差最小。然而对于这些方法，在优化开始之前需要一个确定的稀疏基。最近的研究表明，固定稀疏矩阵会产生超优重建结果。相反，盲压缩感知和在线字典学习方法显示出了更高质量的性能，因为这些方法可以根据场景特征自适应地学习稀疏基。从这个意义上说，在成像前是没有稀疏基的，因此不能用来设计编码孔径。

在计算重建过程中，由二维压缩图像重建为三维张量是一个严重欠定的问题。为了解决严重欠定的重建问题，已经提出各种正则化器来引入图像先验，如总变差(TV)、稀疏性和非局部相似度(NLS)。并且在求解数据项时，为了限制解空间，对引入的图像先验进行解析表示。然而，这些手工制作的图像先验通常不足以模拟现实世界的各种光谱信息。此外，为了处理目标场景的各种特征，基于这些手工制作的先验的优化需要手动调整其权重参数。

而且，重建高光谱图像的优化问题不能通过封闭式的解决方案来解决。因此，一般使用迭代优化技术，但是迭代收敛往往是一个非常耗时的过程。最近，一些工作已经提出用训练有素的神经网络来替代基于迭代优化的解决方案，如LISTA、ADMM-Net和ISTA-Net。基于自然图像统计的迭代优化解决方案，这些工作将截断的迭代展开到网络中，并通过深度学习进行端到端的学习。然而，这些网络在训练时，仍然继承稀疏性，明确地将特征限制在某几层中稀疏，这与手工制作的图像先验有相同的缺点。此外，这些基于神经网络的方法着重考虑空间维度内的压缩感知重建，但忽略了光谱维度。最近的一项工作(详见I.Choi,D.S.Jeon,G.Nam,D.Gutierrez,and M.H.Kim,“High-quality hyperspectralreconstruction using a spectral prior,”ACM Transactions on Graphics(SIGGRAPHAsia),vol.36,no.6,p.218,2017.2,5,6,7)考虑通过自动编码器网络预先学习图像先验，然后再将学习的先验作为正则化器加入到迭代优化的解决方案中，但是仍然存在手动调参及收敛耗时的问题。

发明内容

针对现有成像方法没有同时考虑成像过程和计算重建过程，且计算重建过程中无法同时兼顾高光谱图像的空间先验和光谱先验，以及重构效率低的问题。本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法主要解决的技术问题是：通过优化编码孔径提升编码孔径快照光谱成像仪(Coded Aperture Snapshot Spectral Imager,CASSI)对高光谱图像的压缩采样性能，在保证重建结果具备高空间分辨率和高光谱保真性的同时，提升高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。

为达到以上的目的，本发明采用以下技术方案。

本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络；配置联合网络训练所需参数；训练联合网络；取出训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像到二维压缩图像的调制；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，包括如下步骤：

步骤101：建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络。

步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着一个空间维度发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。F(m,n,λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤Λ)表示光谱维数。编码孔径通过其透射函数C(m,n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿一个空间维度产生光谱偏移。根据CASSI系统的前向传播模型，二维压缩图像G(m,n)表示为在所有波长λ上的积分：

公式(1)中的偏移沿垂直方向，同样也适用于水平偏移。将公式(1)写成矩阵形式：

g＝Φf (2)

其中g∈R^(M-Λ+1)N和f∈R^MNΛ分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵。

将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练。对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有Λ个偏移光谱带的平行六面体。通过二维压缩图像块到高光谱图像平行六面体，基于块的映射避免不同映射之间的串扰。所述二维压缩图像块g_i到高光谱图像平行六面体f_i，基于块的映射用矩阵形式表示为：

g_i＝Φ_if_i (3)

其中下标i表明所选块的编号，Φ_i是由高光谱图像平行六面体块f_i到二维压缩图像块g_i的观测矩阵。公式(3)是公式(2)基于块的前向传播模型。为了简化公式，去掉公式(3)中的下标。

用网络实现公式(3)所述前向传播模型，构建编码孔径优化网络。

步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射。

采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题。从贝叶斯的角度，通过求解最小化问题获得潜在的高光谱图像：

其中τ是平衡参数。数据项‖g-Φf‖²保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间。

引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项。引入辅助变量h，公式(4)重写为：

然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题:

其中η是惩罚参数。将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：

公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解。由于高光谱图像的三维特性，以及手工制作的先验在描述高光谱图像相关性方面的不足，因此采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：

h^(k+1)＝S(f^(k+1)) (9)

因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习。而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性。

在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练。高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的。空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担。而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的。光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样实现了简化重构网络训练的目的。

在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：

f^(k+1)＝(Φ^TΦ+ηI)^-1(Φ^Tg+ηh^(k)) (10)

但是，由于高光谱成像系统的观测矩阵非常大，计算逆矩阵非常困难。此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：

其中∈是梯度下降的步长，f⁽⁰⁾＝Φ^Tg，

将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f^(k+1)：

使用神经网络设计公式(12)描述的统一框架f^(k+1)的求解模块，然后将K个这样的求解模块，即f⁽⁰⁾,f⁽¹⁾,…,f^(k),f^(k+1),…,f^(K)，串联，得到由K个相似模块组成的重构网络。得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解。

重构网络是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验。给定高光谱图像的二维压缩图像块g和观测矩阵Φ，重构网络以前馈的方式连接起来，实现高光谱图像块重构。

步骤103：制作训练集。将每张训练图像划分为多个p×p×Λ的平行六面体块，设置步长保证块与块之间有重叠部分。

步骤104：配置高光谱图像重构网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。

步骤105：训练高光谱图像重构网络。

使用步骤103制作的训练集在使用随机编码模板的情况下训练步骤102构建的高光谱图像重构网络，得到重构精确度较高的重构网络。给定一组平行六面体立方体块f_(i)作为训练样本，根据公式(2)得到g_(i)，基于均方误差MSE的损失函数训练网络。损失函数表示为：

其中

表示网络的输出。

步骤106：建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络。

编码孔径优化网络模拟了CASSI系统的前向传播模型，通过编码孔径优化网络能够得到观测矩阵φ和二维压缩图像块g，而观测矩阵φ和二维压缩图像块g是高光谱图像重构网络的输入。因此将步骤101构建编码孔径优化网络的输出：观测矩阵φ和二维压缩图像块g，作为步骤105得到的高光谱图像重构网络的输入，即建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络。

步骤107：配置联合网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。

步骤108：训练联合网络。

使用步骤103制作的训练集训练步骤106构建的编码孔径优化网络和高光谱图像重构网络的联合网络，联合优化编码孔径和高光谱图像重构网络，提高重构准确度。给定一组平行六面体立方体f_(i)作为训练样本，基于均方误差MSE的损失函数训练网络。损失函数表示为：

其中

表示网络的输出。

步骤109：取出步骤108训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像f到二维压缩图像g的调制。

步骤110：使用步骤108训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

将二维压缩图像g分成若干P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将划分得到的若干块逐块输入重构网络，得到高质量的高光谱图像平行六面体块，并将得到高质量的高光谱图像平行六面体块逐块拼接，最终得到目标高光谱图像。

有益效果：

1、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，用网络模拟CASSI系统基于块的前向传播过程，实现编码孔径优化，提升CASSI系统的重构精确度。

2、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，同时考虑成像过程和计算重建过程，分别设计编码孔径优化网络和高光谱图像重构网络，并通过成像系统观测矩阵和二维压缩图像将编码孔径优化网络和高光谱图像重构网络连接起来。在网络训练过程中，首先针对随机模板训练得到重构精确度较高的重构网络，然后联合训练模板优化过程和重构过程，避免成像过程和重构过程都完全初始化的情况下难以同时训练到最佳的情况，实现优化编码模板，提升高光谱图像重构准确性的目的。

3、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，使用卷积神经网络描述高光谱图像的先验知识，综合利用高光谱图像的空间相关性和光谱相关性，且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性，提高高光谱图像的空间分辨率和光谱保真度。

4、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，用卷积神经网络搭建的高光谱图像先验的求解器替代优化模型中的正则化器。与传统的将观测模型与图像先验拆分并迭代的方式不同，本发明将观测模型与图像先验桥接形成统一的框架，并构建统一框架的求解模块，然后将求解模块串联，得到多个相似模块组成的重构网络，使得高光谱图像在重构过程中既遵循观测模型，又能充分利用图像先验，提升高光谱图像的重建质量。并且与迭代优化技术相比，本发明利用神经网络的建模能力构建由多个相似模块组成的重构网络，极大减少迭代次数，加快收敛速度，进而提升重建高光谱图像的效率。

5、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，使用GPU计算网络，能够提升重建高光谱图像的效率。

6、本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法，重建质量高且速度较快，进而能够扩展高光谱图像的应用范围，适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。

附图说明

图1是本发明中提到的编码孔径快照成像光谱仪(Coded Aperture SnapshotSpectral Imager,CASSI)的系统结构图以及本发明所搭建的实际硬件实验；

图2是本发明公开的基于优化启发的神经网络的光谱成像系统的成像方法的流程图；

图3是本发明中CASSI光谱成像系统基于块的前向模型；

图4是本发明中使用的编码孔径优化网络；

图5是本发明所搭建的用于实现高光谱图像重构的网络。

具体实施方式

为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

实施例1：

本实施例公开的基于优化启发的神经网络的光谱成像系统的成像方法，应用于编码孔径快照成像光谱仪(Coded Aperture Snapshot Spectral Imager,CASSI)，将编码孔径优化和高光谱图像重构一起加入到网络设计中，同时考虑系统压缩采样过程和重建过程对高光谱图像重构结果的影响。本实例用网络模拟CASSI系统成像过程，实现编码孔径优化；在重构网络中用卷积神经网络替代手工制作的先验；基于优化模型，将观测模型与图像先验桥接形成统一的框架，并构建统一框架的求解模块，然后将求解模块串联，得到由多个相似模块组成的重构网络。本实施例的流程图如图2所示。

本实施例公开的基于优化启发的神经网络的光谱成像系统的成像方法，包含以下步骤：

步骤101：建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络。

步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。如图1所示，CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着垂直方向发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。F(m,n,λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤Λ)表示光谱维数。编码孔径通过其透射函数C(m,n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿垂直方向产生光谱偏移。根据CASSI系统的前向传播模型，二维压缩图像G(m,n)表示为在所有波长λ上的积分：

公式(1)写成矩阵形式：

g＝Φf (2)

其中g∈R^(M-Λ+1)N和f∈R^MNΛ分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵。

将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练。如图3所示，对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有Λ个偏移光谱带的平行六面体。通过二维压缩图像块到高光谱图像平行六面体这样基于块的映射，避免不同映射之间的串扰。所述二维压缩图像块g_i到高光谱图像平行六面体f_i这样基于块的映射用矩阵形式表示为：

g_i＝Φ_if_i (3)

其中下标i表明所选块的编号，φ_i是由高光谱图像平行六面体块f_i到二维压缩图像块g_i的观测矩阵。公式(3)是公式(2)基于块的前向传播模型。为了简化公式，去掉公式(3)中的下标。

用网络实现公式(3)所述前向传播模型，构建编码孔径优化网络，如图4所示。令M_ij表示编码模板第i行第j列处的值，为了保证编码模板的0-1特性，采用如下机制：

取出编码模板M，基于前向传播模型将其转化得到观测矩阵φ。

步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射。

采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题。从贝叶斯的角度，通过求解最小化问题获得潜在的高光谱图像：

其中τ是平衡参数。数据项‖g-Φf‖²保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间。

引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项。引入辅助变量h，公式(4)重写为：

然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题:

其中η是惩罚参数。将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：

公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解。由于高光谱图像的三维特性，以及手工制作的先验在描述高光谱图像相关性方面的不足，因此采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：

h^(k+1)＝S(f^(k+1)) (9)

因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习。而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性。

在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练。高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的。空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担。而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的。光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样实现了简化重构网络训练的目的。S(·)的具体结构设计，如图5所示。

在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：

f^(k+1)＝(Φ^TΦ+ηI)^-1(Φ^Tg+ηh^(k)) (10)

但是，由于高光谱成像系统的观测矩阵非常大，计算逆矩阵非常困难。此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：

其中∈是梯度下降的步长，f⁽⁰⁾＝Φ^Tg，

将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f^(k+1)：

使用神经网络设计公式(12)描述的统一框架f^(k+1)的求解模块，然后将7个这样的求解模块，即f⁽⁰⁾,f⁽¹⁾,…,f⁽⁴⁾,f⁽⁵⁾,…,f⁽⁷⁾，串联，得到由7个相似模块组成的重构网络，如图5所示。得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解。

重构网络是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验。给定高光谱图像的二维压缩图像块g和观测矩阵Φ，重构网络以前馈的方式连接起来，实现高光谱图像块重构。

步骤103：制作训练集。将每张训练图像划分为多个p×p×Λ的平行六面体块，设置步长保证块与块之间有重叠部分。

步骤104：配置高光谱图像重构网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。

步骤105：训练高光谱图像重构网络。

使用步骤103制作的训练集在使用随机编码模板的情况下训练步骤102构建的高光谱图像重构网络，得到重构精确度较高的重构网络。给定一组平行六面体立方体块f_(i)作为训练样本，根据公式(2)得到g_(i)，基于均方误差MSE的损失函数训练网络。损失函数表示为：

其中

表示网络的输出。

步骤106：建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络。

编码孔径优化网络模拟了CASSI系统的前向传播模型，通过编码孔径优化网络能够得到观测矩阵φ和二维压缩图像块g，而观测矩阵φ和二维压缩图像块g是高光谱图像重构网络的输入。因此将步骤101构建编码孔径优化网络的输出：观测矩阵φ和二维压缩图像块g，作为步骤105得到的高光谱图像重构网络的输入，即建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络。

步骤107：配置联合网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。

步骤108：训练联合网络。

使用步骤103制作的训练集训练步骤106构建的编码孔径优化网络和高光谱图像重构网络的联合网络，联合优化编码孔径和高光谱图像重构网络，提高重构准确度。给定一组平行六面体立方体f_(i)作为训练样本，基于均方误差MSE的损失函数训练网络。损失函数表示为：

其中

表示网络的输出。

步骤109：取出步骤108训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像f到二维压缩图像g的调制。

步骤110：使用步骤108训练得到的高光谱图像重构网络逐块重构目标高光谱图像。

将二维压缩图像g分成若干P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将划分得到的若干块逐块输入重构网络，得到高质量的高光谱图像平行六面体块，并将得到高质量的高光谱图像平行六面体块逐块拼接，最终得到目标高光谱图像。

本实施例将从两方面说明本发明的效果，一是高光谱图像重构的准确性，二是重构速度。

1.实验条件

本实验的硬件测试条件为：Inter i76800K，内存64G。GPU为Titan X，显存12G，CUDA 8.0。测试所用高光谱图片来自于Harvard数据集。输入的CASSI压缩光谱采样图像大小为542×512；重构以后得到的高光谱图像大小为512×512×31。

2.实验结果

为了验证高光谱图像重构的准确性，在Harvard数据集上，将本发明的重建结果与将八种方法的重建结果进行对比。为了定量地衡量重建结果的质量，使用峰值信噪比(Peaksignal to noise ratio，PSNR)和结构相似性(Structural similarity,SSIM)衡量重建结果的空间质量和视觉效果；使用光谱角制图(Spectral angle mapping，SAM)(详见Kruse FA,Lefkoff A B,Boardman J W,et al.The spectral image processing system(SIPS)—interactive visualization and analysis of imaging spectrometer data[J].Remotesensing of environment,1993,44(2-3):145-163.)衡量重建结果的光谱保真度。

Harvard数据集上的重建结果如表1所示。

表1 Harvard数据集上重建结果

方法	PSNR	SSIM	SAM
				TwIST	27.16	0.924	0.119
GPSR	24.96	0.907	0.196
				AMP	26.67	0.935	0.155
3DNSR	28.51	0.94	0.132
				SSLR	29.68	0.952	0.101
HSCNN	28.55	0.944	0.118
				ISTA-Net	31.13	0.967	0.114
Autoencoder	30.30	0.952	0.098
				本发明随机模板	<u>32.44</u>	<u>0.976</u>	<u>0.093</u>
本发明固定模板	32.84	0.979	0.089
				本发明优化模板	34.02	0.984	0.089

统计不同方法单张图的重构时间，结果如表2所示。

表2单张图重构时间

从表1看出，无论是随机模板、固定模板还是优化模板，本发明的重建结果在空间质量和视觉效果，以及光谱保真度上明显优于其他方法。本发明的三种情况中，优化模板的结果最优，固定模板的结果次之，随机模板的结果最差。

从表2看出，本发明相比于其他方法能够更加快速实现高光谱图像重构。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于优化启发的神经网络的光谱成像系统的成像方法，其特征在于：包括如下步骤，

步骤101：建立光谱成像系统的前向传播模型，用网络实现所述前向传播模型，构建编码孔径优化网络；

步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射；

步骤103：制作训练集；

步骤104：配置高光谱图像重构网络训练所需参数；设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；

步骤105：训练高光谱图像重构网络；

步骤106：建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络；

步骤107：配置联合网络训练所需参数；设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；

步骤108：训练联合网络；

步骤109：取出步骤108训练后得到的编码模板，并基于CASSI系统成像过程完成由高光谱图像f到二维压缩图像g的调制；

步骤110：使用步骤108训练得到的高光谱图像重构网络逐块重构目标高光谱图像；

步骤101实现方法为，

步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪CASSI；CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器构成；入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着一个空间维度发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；F(m，n，λ)表示入射光的强度，其中1≤m≤M，1≤n≤N；m和n表示空间维数，1≤λ≤Λ，λ表示光谱维数；编码孔径通过其透射函数C(m，n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿一个空间维度产生光谱偏移；根据CASSI系统的前向传播模型，二维压缩图像G(m，n)表示为在所有波长λ上的积分：

公式(1)中的偏移沿垂直方向，同样也适用于水平偏移；将公式(1)写成矩阵形式：

g＝Φf (2)

其中g∈R^(M-Λ+1)N和f∈R^MNA分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵；

将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练；对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有Λ个偏移光谱带的平行六面体；通过二维压缩图像块到高光谱图像平行六面体，基于块的映射避免不同映射之间的串扰；所述二维压缩图像块g_i到高光谱图像平行六面体f_i，基于块的映射用矩阵形式表示为：

g_i＝Φ_if_i (3)

其中下标i表明所选块的编号，φ_i是由高光谱图像平行六面体块f_i到二维压缩图像块g_i的观测矩阵；公式(3)是公式(2)基于块的前向传播模型；为了简化公式，去掉公式(3)中的下标；

用网络实现公式(3)所述前向传播模型，构建编码孔径优化网络

步骤102实现方法为，

采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题；从贝叶斯的角度，通过求解最小化问题获得潜在的高光谱图像：

其中τ是平衡参数；数据项||g-Φf||²保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间；

引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项；引入辅助变量h，公式(4)重写为：

然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题：

其中η是惩罚参数；将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：

公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解；采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：

h^(k+1)＝S(f^(k+1)) (9)

因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习；而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性；

在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练；高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的；空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担；而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的；光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样实现了简化重构网络训练的目的；

在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：

f^(k+1)＝(Φ^TΦ+ηI)^-1(Φ^Tg+ηh^(k)) (10)

此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：

其中∈是梯度下降的步长，f⁽⁰⁾＝Φ^Tg，

将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f^(k+1)：

使用神经网络设计公式(12)描述的统一框架f^(k+1)的求解模块，然后将K个这样的求解模块，即f⁽⁰⁾，f⁽¹⁾，...，f^(k)，f^(k+1)，...，f^(K)，串联，得到由K个相似模块组成的重构网络；得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解；

重构网络是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验；给定高光谱图像的二维压缩图像块g和观测矩阵Φ，重构网络以前馈的方式连接起来，实现高光谱图像块重构。

2.如权利要求1所述的基于优化启发的神经网络的光谱成像系统的成像方法，其特征在于：步骤103实现方法为，

将每张训练图像划分为多个p×p×Λ的平行六面体块，设置步长保证块与块之间有重叠部分，完成制作训练集。

3.如权利要求2所述的基于优化启发的神经网络的光谱成像系统的成像方法，其特征在于：步骤105实现方法为，

使用步骤103制作的训练集在使用随机编码模板的情况下训练步骤102构建的高光谱图像重构网络，得到重构精确度较高的重构网络；给定一组平行六面体立方体块f_(i)作为训练样本，根据公式(2)得到g_(i)，基于均方误差MSE的损失函数训练网络；损失函数表示为：

其中

表示网络的输出。

4.如权利要求3所述的基于优化启发的神经网络的光谱成像系统的成像方法，其特征在于：步骤106实现方法为，

编码孔径优化网络模拟了CASSI系统的前向传播模型，通过编码孔径优化网络能够得到观测矩阵φ和二维压缩图像块g，而观测矩阵φ和二维压缩图像块g是高光谱图像重构网络的输入；因此将步骤101构建编码孔径优化网络的输出：观测矩阵φ和二维压缩图像块g，作为步骤105得到的高光谱图像重构网络的输入，即建立编码孔径优化网络与高光谱图像重构网络之间的连接，构建联合网络。

5.如权利要求4所述的基于优化启发的神经网络的光谱成像系统的成像方法，其特征在于：步骤108实现方法为，

使用步骤103制作的训练集训练步骤106构建的编码孔径优化网络和高光谱图像重构网络的联合网络，联合优化编码孔径和高光谱图像重构网络，提高重构准确度；给定一组平行六面体立方体f_(i)作为训练样本，基于均方误差MSE的损失函数训练网络；损失函数表示为：

其中

表示网络的输出。

Images