CN109447891A - 一种基于卷积神经网络的光谱成像系统的高质量成像方法 - Google Patents

一种基于卷积神经网络的光谱成像系统的高质量成像方法 Download PDF

Info

Publication number
CN109447891A
CN109447891A CN201910018035.0A CN201910018035A CN109447891A CN 109447891 A CN109447891 A CN 109447891A CN 201910018035 A CN201910018035 A CN 201910018035A CN 109447891 A CN109447891 A CN 109447891A
Authority
CN
China
Prior art keywords
spectrum
network
image
block
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910018035.0A
Other languages
English (en)
Inventor
王立志
张涛
付莹
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910018035.0A priority Critical patent/CN109447891A/zh
Publication of CN109447891A publication Critical patent/CN109447891A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image

Abstract

本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，属于计算摄像学领域。本发明将高光谱图像成像过程与重建过程一起考虑，重建过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速度，优化重建网络的同时优化编码网络，使用GPU完成对整个网络的优化求解：使用cuDNN库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于载人航天、地质勘测、农业生产和生物医学等多个领域。

Description

一种基于卷积神经网络的光谱成像系统的高质量成像方法
技术领域
本发明专利涉及一种用于光谱成像的高光谱图像高质量成像方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。采集得到的高光谱图像被称为数据立方体，包含场景的大量光照和材料信息。该技术已经被应用于遥感、计算机视觉、医疗诊断等多个领域。目前存在的二维成像传感器不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。
近年来，随着计算成像技术的飞速发展，基于多种光学设计和精细重建算法的计算光谱成像技术得到广泛应用。与传统光谱成像系统相比，计算光谱成像能够获得更高时间分辨率、空间分辨率和光谱分辨率的高光谱图像。基于压缩感知理论，AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(Coded Aperture Snapshot SpectralImager,CASSI)利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。
由于重建问题是一个不确定问题，这限制了重建结果的精确度。为了提升CASSI系统的精确度，目前的方法主要分别考虑成像过程和重建过程。在成像过程中，为了更加有效地编码高光谱图像信息，不同的编码孔径模式被提出。在重建过程中，随着压缩感知理论的发展，各种精心设计的重建算法被提出。由于没有对成像过程和重建过程一起考虑，而这两个过程一起决定了重建结果的精确度，所以目前的方法在一定程度上限制了重建精确度的提升。
根据压缩感知理论，将高光谱数据映射到压缩图像的观测矩阵在CASSI系统中扮演着重要的角色，影响着重建高光谱图像的质量。在探测器和色散介质确定的情况下，观测矩阵被实体的编码孔径唯一确定。编码孔径的初始设计采用了随机二进制实体，然而随机的编码孔径并没有充分利用CASSI系统感知机制的结构，这导致重建的结果是次优的。Arguello等人从分析观测矩阵的等距特性开始优化编码孔径，提出将编码孔径优化问题转化为秩最小问题，并采用通用算法求解。但是此方法侧重于光谱的选择，这就需要不止一次的拍摄，因为需要对不同镜头的多次拍摄进行操作，才能得到一个新的包含且仅包含所需光谱波段信息的测量结果。所以此应该只适用于多帧系统。
随着微光刻技术和涂层技术的发展，使得彩色编码孔径的设计成为可能，这也被引入到CASSI系统中。Parada-Mayorga转而分析观测矩阵的相干性而不是等距特性，并提出了彩色编码孔径图的优化等价于相干最小化问题。Ramirez和Arguello提出了观测矩阵的Gram矩阵的实体分布模型，设计彩色编码孔径使矩阵的方差最小。然而对于这些方法，在优化开始之前需要确定一个确定的稀疏矩阵。最近的研究表明，固定稀疏矩阵会产生超优重建结果。相反，盲压缩感知和在线字典学习方法显示出了更高质量的性能，由于这些方法可以根据场景特征自适应地学习稀疏基。从这个意义上说，在成像前是没有稀疏基的，因此不能用来设计编码孔径。
计算重建算法在压缩高光谱成像系统中占有重要地位。后续的重建问题是如何从二维压缩测量中得到底层的三维高光谱图像。这种推导是病态的，图像先验对重建起着至关重要的作用。在CASSI的早期开发中，采用了稀疏重建(GPSR)算法的梯度投影，将整个三维高光谱图像的稀疏性约束强加于正交基之上。随后，采用两步迭代收缩/阈值(TwIST)算法，结合总变差分(TV)先验，提供更高的重建保真度。TV先验在保持边界和恢复平滑区域方面已经被证明是有效的，但是由于局部平滑的假设，它往往会抹掉图像细节。最近，Tan通过对近似消息传递(Approximate Message Passing,AMP)框架的集成，提出在每次迭代中使用自适应维纳滤波器作为图像去噪器。与TwIST和GPSR相比，AMP具有更好的性能，同时具有无需参数整定的优点。提出了盲压缩感知(BCS)和在线字典学习来解决CASSI系统的高光谱图像重建问题。BCS努力从压缩测量中共同推断出目标图像，并学习图像的模型(如字典或稀疏基)。第一次尝试将BCS应用到多帧CASSI中，使用贝叶斯实现，强制每个小的三维高光谱立方体是字典原子的稀疏组合。在此基础上，提出了一种新的基于全局局部收缩的BCS模型。进一步利用非局部相似性，提出了具有改进性能的三维非局部稀疏表示模型。在改进重建算法的同时，研究人员也在努力利用并行性降低重建的复杂度，加快重建的速度。利用系统成像机制的性质，将基于图像的重建分解为基于块的重建是目前比较突出的策略。
基于卷积神经网络的方法可以有效地学习复杂特征并已经广泛应用于高光谱图像处理。Xiong首先将RGB图像通过简单的插值或者CASSI图像通过重建算法得到初始的高光谱图像，然后采用基于卷积神经网络的方法对初始化的结果进行增强，得到高质量的高光谱图像。Choi通过构建卷积自编码器而不是字典学习来表示非线性光谱表示，并与空间域中梯度稀疏性共同正则化，从而从压缩图像重建高光谱图像。这两种方法都可以用于从CASSI系统重建高光谱图像，但都借用传统的压缩感知重建算法。
发明内容
针对现有算法存在的没有考虑成像过程、重建图像质量低等问题。本发明的一种基于卷积神经网络的光谱成像系统的高质量成像方法要解决的技术问题是：基于卷积神经网络实现光谱成像系统的编码优化，基于优化后的编码快速完成编码孔径快照成像系统的重建，进而提高光谱成像系统的重建图像的精度，实现基于卷积神经网络实现光谱成像系统的高质量成像，具有重建速度快，成像质量高等优点。
为达到以上目的，本发明采用以下技术方案。
本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，应用于基于编码孔径快照光谱成像系统，将高光谱图像成像过程与重建过程一起考虑，在重建过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速度，优化重建网络的同时优化编码网络，并使用GPU完成对整个网络的优化求解：使用cuDNN库加速网络运行速度；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于载人航天、地质勘测、农业生产和生物医学等多个领域。
本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，包括以下步骤：
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m,n,k)，1≤m≤M,1≤n≤N,1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，T(m,n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P<M,P<N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0or1(p＝1,…,P2)，且B1矩阵中的值会在网络中被学习。其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络。
步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积。第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素。因此，第p行的输出为：
公式(6)中W1,p和c1,p分别表示卷积和偏置。W1,p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同。使用ReLU函数作为网络的激活函数。又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3。为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层。
在空间网络中，考虑图像的空间相关性，从二维压缩图像重建得到初步的平行六面体。所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重建质量。光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)。表示ai中第k个光谱。因此输出的第k个光谱表示为：
公式(9)中cat(·,·)表示拼接相邻的光谱。对于第一个和最后一个光谱相邻的两个光谱被用来辅助重建，对于其他光谱则使用相邻的三个光谱辅助重建。V1,k和d1,k分别表示第k个光谱的卷积和偏置。
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图。至此，分别使用相邻光谱重建中间光谱，即实现对每一个光谱的重建，将所有光谱汇合生成整个高光谱图像表示为：
为了增快收敛速率和训练速度，使用残差学习，网络的最终输出表示为：
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(13)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(14)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
作为优选，使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
有益效果：
1、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络，将高光谱图像的成像过程中的编码模板放入网络中优化，而不再是使用随机的编码模板，因此能够得到最优的编码模板，并且重建效率得到有效提升。
2、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，将高光谱图像重建的成像过程和重建过程同时考虑，联合训练编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板，而不再是单独考虑成像过程或者重建过程，能够提高空间分辨率和光谱保真度。
3、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，分别使用空间网络和光谱网络挖掘压缩图像与目标高光谱图像之间的空间相关性和光谱相关性，能够提高空间分辨率和光谱保真度。
4、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，先利用空间相关性重构高光谱图像，能够得到质量不错的初解，保证重构的整体质量，对空间网络得到的初解再使用光谱网络继续优化得到最终高光谱图像，并使用残差学习加速网络的收敛速度。
5、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，使用GPU完成高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络，大幅度降低CASSI系统的重建时间。
6、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，采用逐块处理的方式，计算所需的显存小，对GPU要求相对比较低，使用中端显卡就能够完成高光谱图像的重建。
附图说明
图1是本发明公开的基于卷积神经网络的光谱成像系统的高质量成像方法的总流程图；
图2是本发明中用于CASSI光谱成像的系统结构图；
图3是本发明中CASSI光谱成像系统基于块的前向模型，其中：图3-a为正立方体的前向模型，图3-b为平行六面体的前向模型。
图4是本发明中所使用的编码网络。
图5是本发明中所使用的重建网络，包含空间网络和光谱网络两个子网络。
图6是本发明和其他对比算法在600nm处的重构结果图，其中图6-a为GPSR算法的重构结果，图6-b为AMP算法的重构结果，图6-c为TwIST算法的重构结果，图6-d为C-SALSA算法的重构结果，图6-e为ADMM算法的重构结果，图6-f为3DNSR算法的重构结果，图6-g为HSCNN算法的重构结果，图6-h为本发明随机编码的重构结果，图6-i为本发明优化编码的重构结果。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，应用于编码孔径快照光谱成像系统，即CASSI系统，最早由Ashwin Wagadarikar等人提出(详见Wagadarikar A,John R,Willett R,Brady D.Single disperser design for codedaperture snapshot spectral imaging[J].Applied optics.2008,47(10):B44-B51.)。CASSI系统利用二值化的编码孔径和色散介质对目标场景进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重建潜在的三维高光谱图像。
如图1所示，本实施例公开的一种基于卷积神经网络的光谱成像系统的高质量成像方法，具体实现步骤如下：
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络。
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成，如图2所示。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m,n,k)，1≤m≤M,1≤n≤N,1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m,n)表示二维压缩光谱采样图像，s(m,n,k)表示目标场景的三维高光谱图像，T(m,n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P<M,P<N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块，如图3-a所示。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。于是采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体，如图3-b所示。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0or1(p＝1,…,P2)，且B1矩阵中的值会在网络中被学习。其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分。即实现构建编码网络，如图4所示。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络。
步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积。第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素。因此，第p行的输出为：
公式(6)中W1,p和c1,p分别表示卷积和偏置。W1,p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同。使用ReLU函数作为网络的激活函数。又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3。为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层。
在空间网络中，考虑图像的空间相关性，从二维压缩图像重建得到初步的平行六面体。所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重建质量。光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)。表示ai中第k个光谱。因此输出的第k个光谱表示为：
公式(9)中cat(·,·)表示拼接相邻的光谱。对于第一个和最后一个光谱相邻的两个光谱被用来辅助重建，对于其他光谱则使用相邻的三个光谱辅助重建。V1,k和d1,k分别表示第k个光谱的卷积和偏置。
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图。至此，分别使用相邻光谱重建中间光谱，即实现对每一个光谱的重建，将所有光谱汇合生成整个高光谱图像表示为：
为了增快收敛速率和训练速度，使用残差学习，网络的最终输出表示为：
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建，如图5所示。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长为0.5P,保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤104所述学习率初始化为10-4，在训练数据集上每训练10个轮次下降为原来的0.1倍。
步骤104所述批处理大小设置为128，表示单次迭代优化所处理的图像块数量。
步骤104所述权值初始化方式设置为xavier初始化方法，权值衰减系数设置为5×10-4。
步骤104所述优化方法设置为带冲量的随机梯度下降，冲量设置为0.9。
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板。
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(13)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(14)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值。在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
为说明本发明的效果，本实施例将在实验条件相同的情况下对十种方法进行对比。
1.实验条件
本实验的硬件测试条件为：Inter i7 6800K，内存64G。GPU为Titan X，显存12G，CUDA 8.0。测试所用高光谱图片来自于ICVL和Harvard数据集。输入的CASSI分支压缩光谱采样图像大小为512×542；重建以后得到的高光谱图像大小为512×512×31。
2.实验结果
为了验证本发明的有效性，在ICVL和Harvard数据集上，本发明公开的方法和对比方法的重建性能。为了定量的衡量重建结果的质量，使用峰值信噪比(Peak signal tonoise ratio，PSNR)和结构相似性(Structural similarity,SSIM)衡量重建结果的空间质量和视觉效果；使用光谱角制图(Spectral angle mapping，SAM)(详见Kruse F A,LefkoffA B,Boardman J W,et al.The spectral image processing system(SIPS)—interactive visualization and analysis of imaging spectrometer data[J].Remotesensing of environment,1993,44(2-3):145-163.)衡量重建结果的光谱保真度。
首先是几种算法的重构PSNR，单位为dB，结果如表1所示：
表1PSNR/dB
方法 ICVL Harvard
GPSR 24.56 24.96
AMP 26.77 26.67
TwIST 26.15 27.16
C-SALSA 25.96 26.40
ADMM 26.47 27.35
3DNSR 27.95 28.51
HSCNN 29.48 28.55
本发明随机编码 32.36 30.34
本发明优化编码 33.63 31.36
从表1的结果可以看出，本发明公开的算法能够达到非常好的重构效果，在不同数据库下其PSNR均高于其他算法。
图6-a、图6-b、图6-c、图6-d、图6-e、图6-f、图6-g、图6-h、图6-i分别为测试图片使用GPSR、AMP、TwIST、C-SALSA、ASMM、3DNSR、HSCNN、本发明随机编码和本发明优化编码仿真重构后，波长为600nm时的结果。可以看出，本发明公开的方法重构的高光谱图像更加清楚，在视觉上的效果优于其他算法。
为了对比几种算法的光谱保真度，其SAM结果如表2所示：
表2SAM
从表2的结果可以看出，本发明公开的方法得到的SAM误差更小，表明其在频谱维上的保真度更高，其谱线更接近于真实材料的谱线。
为了对比几种算法的结构相似性，其SSIM结果如表3所示：
表3SSIM
方法 ICVL Harvard
GPSR 0.909 0.897
AMP 0.947 0.935
TwIST 0.936 0.924
C-SALSA 0.924 0.909
ADMM 0.941 0.924
3DNSR 0.958 0.940
HSCNN 0.973 0.944
本发明随机编码 0.986 0.964
本发明优化编码 0.990 0.973
从表3的结果可以看出，本发明公开的方法得到的SSIM误差更小，表明其在空间维上结构相似性更高，其结构更接近于真实材料的结构。
为比较几种基于块计算的算法的运行时间，其计算复杂度、迭代次数、运行时间结果如表4所示：
表4计算复杂度
GPSR ADMM 本发明
计算复杂度 O(P<sup>2</sup>K) O(P<sup>4</sup>K<sup>2</sup>) O(P<sup>3</sup>K<sup>2</sup>)
迭代次数 200 10 1
运行时间(秒) 1.26 0.72 0.12
从表4的结果可以看出，本发明公开的方法的计算复杂度较低，迭代次数少，运行速度快。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：包括以下步骤，
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码网络；
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重建网络；
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；
步骤105：将高光谱图像重建的成像过程和重建过程同时考虑，使用步骤103制作完成的训练集联合训练步骤104设置后的编码网络和重建网络，在训练优化重建网络参数的同时优化编码网络的参数，实现优化编码模板；
步骤106：取出步骤105优化完成后编码模板，调制高光谱数据生成压缩二维图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像。
2.如权利要求1所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager，CASSI)；编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板；
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的高光谱图像；
将使用基于块计算代替基于整张图计算；将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块；采用P×P的压缩图像块，反推能够得K个偏移光谱的平行六面体；将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0or1(p＝1，…，P2)，且B1矩阵中的值会在网络中被学习；
其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；根据公式(5)搭建用于学习编码的网络，为了去除块效应，在块与块之间需要有重叠部分，于是将编码模板分为重复的大小为的四部分；即实现构建编码网络。
3.如权利要求2所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积；第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素；因此，第p行的输出为：
公式(6)中W1，p和c1，p分别表示卷积和偏置；W1，p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同；使用ReLU函数作为网络的激活函数；又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3；为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层；
在空间网络中，考虑图像的空间相关性，从二维压缩图像重建得到初步的平行六面体；所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
4.如权利要求3所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重建质量；光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)；表示ai中第k个光谱；因此输出的第k个光谱表示为：
公式(9)中cat(·，·)表示拼接相邻的光谱；对于第一个和最后一个光谱相邻的两个光谱被用来辅助重建，对于其他光谱则使用相邻的三个光谱辅助重建；V1，k和d1，k分别表示第k个光谱的卷积和偏置；
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图；至此，分别使用相邻光谱重建中间光谱，即实现对每一个光谱的重建，将所有光谱汇合生成整个高光谱图像表示为：
为了增快收敛速率和训练速度，使用残差学习，网络的最终输出表示为：
5.如权利要求4所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤105具体实现方法为，
将高光谱图像重建的成像过程和重建过程同时考虑，联合训练步骤104设置后的编码网络和重建网络，目标函数表示为：
公式(13)中表示网络的第1个输出，sl表示与其相关的真值，L表示训练的数据量；
为保证B1中的值是0或者1，采用如下方式学习bb：
公式(14)中br表示B1中将更新的实数值，bb表示B1中进行编码的实际值；在网络的正向传播过程中根据br更新bb并使用bb对输入图像编码，在网络的反向传播过程中利用回传的梯度更新br从而优化编码模板。
6.如权利要求5所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：步骤106具体实现方法为，
取出步骤105优化完成后编码模板，调制高光谱数据生成二维压缩图像，使用步骤105优化完成后重建网络逐块重建目标高光谱图像，即将二维压缩图像Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半；将所述若干个块逐个输入重建网络重建生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重建。
7.如权利要求1或2所述的一种基于卷积神经网络的光谱成像系统的高质量成像方法，其特征在于：使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
CN201910018035.0A 2019-01-09 2019-01-09 一种基于卷积神经网络的光谱成像系统的高质量成像方法 Pending CN109447891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910018035.0A CN109447891A (zh) 2019-01-09 2019-01-09 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910018035.0A CN109447891A (zh) 2019-01-09 2019-01-09 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Publications (1)

Publication Number Publication Date
CN109447891A true CN109447891A (zh) 2019-03-08

Family

ID=65544057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910018035.0A Pending CN109447891A (zh) 2019-01-09 2019-01-09 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Country Status (1)

Country Link
CN (1) CN109447891A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880162A (zh) * 2019-11-22 2020-03-13 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统
CN111192197A (zh) * 2019-12-26 2020-05-22 西安电子科技大学 基于涡旋光源波长转换的中波红外多光谱成像方法及装置
CN111551252A (zh) * 2020-04-24 2020-08-18 浙江大学 一种基于神经网络的光谱响应设计方法
CN111724450A (zh) * 2019-03-20 2020-09-29 上海科技大学 基于深度学习的医学图像重构系统、方法、终端、及介质
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN114663544A (zh) * 2022-05-26 2022-06-24 中国科学技术大学 一种基于深度图像先验的电阻抗图像重建方法
CN115496819A (zh) * 2022-11-18 2022-12-20 南京理工大学 一种基于能量集中特性的快速编码光谱成像方法
CN116228912A (zh) * 2023-05-06 2023-06-06 南京信息工程大学 基于U-Net多尺度神经网络的图像压缩感知重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326899A (zh) * 2016-08-18 2017-01-11 郑州大学 一种基于高光谱图像和深度学习算法的烟叶分级方法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN107451956A (zh) * 2017-07-19 2017-12-08 北京理工大学 一种编码孔径光谱成像系统的重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326899A (zh) * 2016-08-18 2017-01-11 郑州大学 一种基于高光谱图像和深度学习算法的烟叶分级方法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法
CN106997581A (zh) * 2017-03-01 2017-08-01 杭州电子科技大学 一种利用深度学习重建高光谱图像的方法
CN107451956A (zh) * 2017-07-19 2017-12-08 北京理工大学 一种编码孔径光谱成像系统的重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIZHI WANG 等: ""HyperReconNet Joint Coded Aperture Optimization and Image Reconstruction for Compressive Hyperspectral Imaging"", 《IEEE》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724450A (zh) * 2019-03-20 2020-09-29 上海科技大学 基于深度学习的医学图像重构系统、方法、终端、及介质
CN110880162A (zh) * 2019-11-22 2020-03-13 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统
CN110880162B (zh) * 2019-11-22 2023-03-10 中国科学技术大学 基于深度学习的快照光谱深度联合成像方法及系统
CN111192197A (zh) * 2019-12-26 2020-05-22 西安电子科技大学 基于涡旋光源波长转换的中波红外多光谱成像方法及装置
CN111551252A (zh) * 2020-04-24 2020-08-18 浙江大学 一种基于神经网络的光谱响应设计方法
CN111551252B (zh) * 2020-04-24 2021-08-17 浙江大学 一种基于神经网络的光谱响应设计方法
CN112990230A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN112990230B (zh) * 2021-03-12 2023-05-09 西安电子科技大学 基于二阶段分组注意力残差机制的光谱图像压缩重建方法
CN114663544A (zh) * 2022-05-26 2022-06-24 中国科学技术大学 一种基于深度图像先验的电阻抗图像重建方法
CN115496819A (zh) * 2022-11-18 2022-12-20 南京理工大学 一种基于能量集中特性的快速编码光谱成像方法
CN115496819B (zh) * 2022-11-18 2023-03-21 南京理工大学 一种基于能量集中特性的快速编码光谱成像方法
CN116228912A (zh) * 2023-05-06 2023-06-06 南京信息工程大学 基于U-Net多尺度神经网络的图像压缩感知重建方法

Similar Documents

Publication Publication Date Title
CN109447891A (zh) 一种基于卷积神经网络的光谱成像系统的高质量成像方法
Yuan et al. Snapshot compressive imaging: Theory, algorithms, and applications
CN109741407A (zh) 一种基于卷积神经网络的光谱成像系统的高质量重构方法
Yuan et al. Plug-and-play algorithms for video snapshot compressive imaging
Wang et al. Hyperspectral image reconstruction using a deep spatial-spectral prior
Meng et al. Gap-net for snapshot compressive imaging
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN109697697B (zh) 基于优化启发的神经网络的光谱成像系统的重构方法
CN109883548B (zh) 基于优化启发的神经网络的光谱成像系统的编码优化方法
CN109978786B (zh) 一种基于卷积神经网络的Kinect深度图修复方法
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN109886898B (zh) 基于优化启发的神经网络的光谱成像系统的成像方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN107451956A (zh) 一种编码孔径光谱成像系统的重构方法
CN112102163B (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN109447890A (zh) 一种基于卷积神经网络的光谱成像系统的编码优化方法
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN110717947B (zh) 一种基于外部和内部训练的高质量光谱重构方法
CN111028302B (zh) 一种基于深度学习的压缩对象成像方法及系统
CN116957931A (zh) 一种基于神经辐射场的相机图像画质提升方法
CN114353946A (zh) 一种衍射快照光谱成像方法
CN116797676A (zh) 一种适用于编码孔径压缩光谱偏振成像重建的方法
Shin et al. LoGSRN: Deep super resolution network for digital elevation model
Chen et al. Prior image guided snapshot compressive spectral imaging
Wang et al. A simple and efficient reconstruction backbone for snapshot compressive imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190308