CN109741407A - 一种基于卷积神经网络的光谱成像系统的高质量重构方法 - Google Patents
一种基于卷积神经网络的光谱成像系统的高质量重构方法 Download PDFInfo
- Publication number
- CN109741407A CN109741407A CN201910018073.6A CN201910018073A CN109741407A CN 109741407 A CN109741407 A CN 109741407A CN 201910018073 A CN201910018073 A CN 201910018073A CN 109741407 A CN109741407 A CN 109741407A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- image
- network
- block
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，属于计算摄像学领域。本发明应用于基于编码孔径快照光谱成像系统，在高光谱图像的重构过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速率，并使用GPU完成对整个网络的优化求解；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于地质勘探、农业生产和生物医学等多个领域。
Description
技术领域
本发明专利涉及一种用于光谱成像的高光谱图像高质量重构方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。该技术采集得到的数据立方体即为高光谱图像，包含目标场景的二维空间信息和一维光谱信息。该技术已经被应用于地质勘探、农业生产和生物医学等多个领域。由于目前存在的二维成像传感器的限制，不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。
目前，基于多种光学设计和精细重构算法的计算光谱成像技术已经成为该领域的研究热点并有广泛应用。基于压缩感知理论，Ashwin Wagadarikar等人提出的编码孔径快照光谱成像仪(Coded Aperture Snapshot Spectral Imager,CASSI)利用二值化的编码孔径和色散介质对三维高光谱图像进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重构潜在的三维高光谱图像。
计算重建算法在压缩高光谱成像系统中占有重要地位。后续的重构问题是如何从二维压缩测量中得到底层的三维高光谱图像。这种推导是病态的，图像先验对重建起着至关重要的作用。在CASSI的早期开发中，采用了稀疏重建(GPSR)算法的梯度投影，将整个三维高光谱图像的稀疏性约束强加于正交基之上。随后，采用两步迭代收缩/阈值(TwIST)算法，结合总变差分(TV)先验，提供更高的重构保真度。TV先验在保持边界和恢复平滑区域方面已经被证明是有效的，但是由于局部平滑的假设，它往往会抹掉图像细节。最近，Tan通过对近似消息传递(approximate message passing,AMP)框架的集成，提出在每次迭代中使用自适应维纳滤波器作为图像去噪器。与TwIST和GPSR相比，AMP具有更好的性能，同时具有无需参数整定的优点。提出了盲压缩感知(BCS)和在线字典学习来解决CASSI系统的高光谱图像重构问题。BCS努力从压缩测量中共同推断出目标图像，并学习图像的模型(如字典或稀疏基)。第一次尝试将BCS应用到多帧CASSI中，使用贝叶斯实现，强制每个小的三维高光谱立方体是字典原子的稀疏组合。在此基础上，提出了一种新的基于全局局部收缩的BCS模型。进一步利用非局部相似性，提出了具有改进性能的三维非局部稀疏表示模型。在改进重构算法的同时，研究人员也在努力利用并行性降低重构的复杂度，加快重构的速度。利用系统成像机制的性质，将基于图像的重构分解为基于块的重构是目前比较突出的策略。
基于卷积神经网络的方法可以有效地学习复杂特征并已经广泛应用于高光谱图像处理。Xiong首先将RGB图像通过简单的插值或者CASSI图像通过重构算法得到初始的高光谱图像，然后采用基于卷积神经网络的方法对初始化的结果进行增强，得到高质量的高光谱图像。Choi通过构建卷积自编码器而不是字典学习来表示非线性光谱表示，并与空间域中梯度稀疏性共同正则化，从而从压缩图像重构高光谱图像。这两种方法都可以用于从CASSI系统重构高光谱图像，但都借用传统的压缩感知重构算法。
发明内容
针对现有算法存在的没有考虑成像过程、重构图像质量低等问题。本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法要解决的技术问题是：快速完成编码孔径快照成像系统的重构，具有重构速度快，成像质量高等优点。
为达到以上目的，本发明采用以下技术方案。
本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，应用于基于编码孔径快照光谱成像系统，在高光谱图像的重构过程中分别考虑图像间的空间相关性和光谱相关性，使用残差学习加速网络的训练速度和收敛速率，并使用GPU完成对整个网络的优化求解；使用随机梯度下降法更新网络参数；逐块处理完成高光谱图像的重建。本发明能够高质量地完成CASSI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于地质勘探、农业生产和生物医学等多个领域。
本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，包括以下步骤：
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的三维高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。将压缩图像分为若干个P×P大小的图像块，反推可得K个偏移光谱的平行六面体。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元可表示为：
在B1中的每个bp＝0 or 1(p＝1，…，P2)。其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
通过编码公式(5)构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络。
步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积。第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素。因此，第p行的输出为：
公式(6)中W1，p和c1，p分别表示卷积和偏置。W1，p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同。使用ReLU函数作为网络的激活函数。又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3。为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层。
在空间网络中，考虑图像的空间相关性，从二维压缩图像重构得到初步的平行六面体。所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重构质量。光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)。表示ai中第k个光谱。因此输出的第k个光谱表示为：
公式(9)中cat(·，·)表示拼接相邻的光谱。对于第一个和最后一个光谱相邻的两个光谱被用来辅助重构，对于其他光谱则使用相邻的三个光谱辅助重构。V1，k和d1，k分别表示第k个光谱的卷积和偏置。
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图。至此，分别使用相邻光谱重构中间光谱，即实现对每一个光谱的重构，将所有光谱汇合生成整个高光谱图像表示为：
为了增快收敛速率和训练速度，使用残差学习，网络的最终输出可表示为：
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤105：使用步骤103制作完成的训练集联合训练步骤104设置后的重建网络。
步骤105所述的训练步骤104设置后的重建网络，目标函数表示为：
公式(13)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
步骤106：利用编码模板，调制高光谱数据生成压缩二维图像，使用重构网络逐块重构目标高光谱图像。
步骤106所述编码模板为公式(3)所述的B1，被调制的高光谱数据为S，生成的二维压缩图像为Y。
步骤106所述逐块重构目标高光谱图像为将Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将若干个块逐个输入重构网络重构生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重构。
作为优选，使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
有益效果：
1、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，分别使用空间网络和光谱网络挖掘压缩图像与目标高光谱图像之间的空间相关性和光谱相关性，能够提高空间分辨率和光谱保真度。
2、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，先利用空间相关性重构高光谱图像，能够得到质量不错的初解，保证重构的整体质量，对空间网络得到的初解再使用光谱网络继续优化得到最终高光谱图像，并使用残差学习加速网络的收敛速度。
3、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，使用GPU进行计算空间网络和光谱网络，能够提升重建高光谱图像的效率。
4、本发明公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，重建质量高且速度较快，适用于地质勘探、农业生产和生物医学等多个领域。
附图说明
图1是本发明公开的基于卷积神经网络的光谱成像系统的高质量重构方法的总流程图；
图2是本发明中用于CASSI光谱成像的系统结构图；
图3是本发明中CASSI光谱成像系统基于块的前向模型，其中：图3-a为正立方体的前向模型，图3-b为平行六面体的前向模型。
图4是本发明中所使用的重构网络，包含空间网络和光谱网络两个子网络。
图5是本发明和其他对比算法在600nm处的重构结果图，其中图5-a为GPSR算法的重构结果，图5-b为AMP算法的重构结果，图5-c为TwIST算法的重构结果，图5-d为C-SALSA算法的重构结果，图5-e为ADMM算法的重构结果，图5-f为3DNSR算法的重构结果，图5-g为HSCNN算法的重构结果，图5-h为本发明使的重构结果。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，应用于编码孔径快照光谱成像系统，即CASSI系统，最早由Ashwin Wagadarikar等人提出(详见Wagadarikar A,John R,Willett R,Brady D.Single disperser design for codedaperture snapshot spectral imaging[J].Applied optics.2008,47(10):B44-B51.)。CASSI系统利用二值化的编码孔径和色散介质对三维高光谱图像进行调制，使用探测器获取三维高光谱数据的二维压缩图像。再使用优化算法从二维的图像重构潜在的三维高光谱图像。
如图1所示，本实施例公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，包含以下步骤：
步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成，如图2所示。目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K。其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板。
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的三维高光谱图像。
将使用基于块计算代替基于整张图计算。将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块，如图3-a所示。但是所述二维的图像块无法获取周围图像块的信息，也无法映射成为一个单独的三维高光谱图像块。将压缩图像分为若干个P×P大小的图像块，反推可得K个偏移光谱的平行六面体，如图3-b所示。将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元可表示为：
在B1中的每个bp＝0 or 1(p＝1，…，P2)。其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
通过编码公式(5)构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络。
步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积。第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素。因此，第p行的输出为：
公式(6)中W1，p和c1，p分别表示卷积和偏置。W1，p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同。使用ReLU函数作为网络的激活函数。又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3。为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层。
在空间网络中，考虑图像的空间相关性，从二维压缩图像重构得到初步的平行六面体。所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重构质量。光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)。表示ai中第k个光谱。因此输出的第k个光谱表示为：
公式(9)中cat(·，·)表示拼接相邻的光谱。对于第一个和最后一个光谱相邻的两个光谱被用来辅助重构，对于其他光谱则使用相邻的三个光谱辅助重构。V1，k和d1，k分别表示第k个光谱的卷积和偏置。
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图。至此，分别使用相邻光谱重构中间光谱，即实现对每一个光谱的重构，将所有光谱汇合生成整个高光谱图像表示为：
为增快收敛速率和训练速度，使用残差学习，网络的最终输出可表示为：
至此，完成光谱网络的构建，联合空间网络和光谱网络完成重建网络的构建，如图4所示。
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长为0.5P,保证块与块之间有重叠部分。将所有图像块汇总成训练所需的数据集，即实现制作训练集。
步骤104：对步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤104所述学习率初始化为10-4，在训练数据集上每训练10个轮次下降为原来的0.1倍。
步骤104所述批处理大小设置为128，表示单次迭代优化所处理的图像块数量。
步骤104所述权值初始化方式设置为xavier初始化方法，权值衰减系数设置为5×10-4。
步骤104所述优化方法设置为带冲量的随机梯度下降，冲量设置为0.9。
步骤105：使用步骤103制作完成的训练集联合训练步骤104设置后的重建网络。
步骤105所述的训练重构网络，目标函数表示为：
公式(13)中表示网络的第l个输出，sl表示与其相关的真值，L表示训练的数据量。
步骤106：利用编码模板，调制高光谱数据生成压缩二维图像，使用重构网络逐块重构目标高光谱图像。
步骤106所述编码模板为公式(3)所述的B1，被调制的高光谱数据为S，生成的二维压缩图像为Y。
步骤106所述逐块重构目标高光谱图像为将Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将若干个块逐个输入重构网络重构生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重构。
为说明本发明的效果，本实施例将在实验条件相同的情况下对九种方法进行对比。
1.实验条件
本实验的硬件测试条件为：Inter i7 6800K，内存64G。GPU为Titan X，显存12G，CUDA8.0。测试所用高光谱图片来自于ICVL和Harvard数据集。输入的CASSI压缩光谱采样图像大小为512×542；重构以后得到的高光谱图像大小为512×512×31。
2.实验结果
首先是几种算法的重构PSNR，单位为dB，结果如表1所示：
表1 PSNR/dB
| 方法 | ICVL | Harvard |
| GPSR | 24.56 | 24.96 |
| AMP | 26.77 | 26.67 |
| TwIST | 26.15 | 27.16 |
| C-SALSA | 25.96 | 26.40 |
| ADMM | 26.47 | 27.35 |
| 3DNSR | 27.95 | 28.51 |
| HSCNN | 29.48 | 28.55 |
| 本发明 | 32.36 | 30.34 |
从表1的结果可以看出，本发明公开的算法能够达到非常好的重构效果，在不同数据库下其PSNR均高于其他算法。
图5-a、图5-b、图5-c、图5-d、图5-e、图5-f、图5-g、图5-h分别为测试图片使用GPSR、AMP、TwIST、C-SALSA、ASMM、3DNSR、HSCNN和本发明仿真重构后，波长为600nm时的结果。可以看出，本发明公开的方法重构的高光谱图像更加清楚，在视觉上的效果优于其他算法。
为了对比几种算法的光谱保真度，其SAM结果如表2所示：
表2 SAM
| 方法 | ICVL | Harvard |
| GPSR | 0.09 | 0.196 |
| AMP | 0.052 | 0.155 |
| TwIST | 0.053 | 0.119 |
| C-SALSA | 0.062 | 0.139 |
| ADMM | 0.052 | 0.125 |
| 3DNSR | 0.051 | 0.132 |
| HSCNN | 0.043 | 0.118 |
| 本发明 | 0.037 | 0.115 |
从表2的结果可以看出，本发明公开的方法得到的SAM误差更小，表明其在频谱维上的保真度更高，其谱线更接近于真实材料的谱线。
为了对比几种算法的结构相似性，其SSIM结果如表3所示：
表3 SSIM
| 方法 | ICVL | Harvard |
| GPSR | 0.909 | 0.897 |
| AMP | 0.947 | 0.935 |
| TwIST | 0.936 | 0.924 |
| C-SALSA | 0.924 | 0.909 |
| ADMM | 0.941 | 0.924 |
| 3DNSR | 0.958 | 0.940 |
| HSCNN | 0.973 | 0.944 |
| 本发明 | 0.986 | 0.964 |
从表3的结果可以看出，本发明公开的方法得到的SSIM误差更小，表明其在空间维上结构相似性更高，其结构更接近于真实材料的结构。
为比较几种基于块计算的算法的运行时间，其计算复杂度、迭代次数、运行时间结果如表4所示：
表4计算复杂度
| GPSR | ADMM | 本发明 | |
| 计算复杂度 | O(P<sup>2</sup>K) | O(P<sup>4</sup>K<sup>2</sup>) | O(P<sup>3</sup>K<sup>2</sup>) |
| 迭代次数 | 200 | 10 | 1 |
| 运行时间(秒) | 1.26 | 0.72 | 0.12 |
从表4的结果可以看出，本发明公开的方法的计算复杂度较低，迭代次数少，运行速度快。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：包括以下步骤，
步骤101：建立光谱成像仪的前向传播模型，基于块计算将整张高光谱图像S分块，依据光谱成像仪中光路的前向传播过程对所述高光谱图像块进行调制编码，构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像；
步骤102：考虑垂直和水平方向的空间相关性构建空间网络，考虑光谱间的光谱相关性构建光谱网络，通过构建的空间网络和光谱网络构建重构网络；
步骤103：将每张训练图像划分为多个P×P的平行六面体块，设置步长保证块与块之间有重叠部分；将所有图像块汇总成训练所需的数据集，即实现制作训练集；
步骤104：对步骤101构建的编码网络和步骤102构建的重建网络，设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；
步骤105：使用步骤103制作完成的训练集联合训练步骤104设置后的重建网络；
步骤106：利用编码模板，调制高光谱数据生成压缩二维图像，使用重构网络逐块重构目标高光谱图像。
2.如权利要求1所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤101中所述光谱成像仪为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager，CASSI)；编码孔径光谱成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像S大小为M×N×K，高光谱图像S上任意一点的像素值为s(m，n，k)，1≤m≤M，1≤n≤N，1≤k≤K；其中，M×N表示高光谱图像的空间分辨率，K表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的数学模型为：
公式(1)中y(m，n)表示二维压缩光谱采样图像，s(m，n，k)表示目标场景的三维高光谱图像，T(m，n)表示0-1编码模板；
将公式(1)写成矩阵形式为：
Y＝ΦS (2)
公式(2)中Y表示二维压缩光谱采样图像，Φ表示CASSI系统的观测矩阵，S表示目标场景的三维高光谱图像；
将使用基于块计算代替基于整张图计算；将整张高光谱图像S划分为多个P×P×K(P＜M，P＜N)的块，在高光谱图像块通过编码模板和色散棱镜调制后将得到大小为(P+K-1)×P的图像块；将压缩图像分为若干个P×P大小的图像块，反推可得K个偏移光谱的平行六面体；将P×P的实体作为模板的基本单元，其余为该基本单元的复制，基本单元表示为：
在B1中的每个bp＝0or1(p＝1，…，P2)；其余的Bk为B1的循环偏移，表示为：
针对每个平行六面体si，将下面部分移至上面形成立方体编码公式为：
通过编码公式(5)构建编码模板，将编码后的立方体还原成平行六面体，在将其沿着光谱维相加得到二维的压缩图像。
3.如权利要求2所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤102所述空间网络为了同时考虑垂直和水平方向的空间相关性，对同一行中的所有像素使用相同的滤波器，对每一层每个滤波器与同一列中的所有像素进行卷积；第一层的输入是压缩图像yi，表示输入压缩图像yi第p行中的所有像素；因此，第p行的输出为：
公式(6)中W1，p和c1，p分别表示卷积和偏置；W1，p表示K个大小为1×P×3的卷积，每个卷积在P×3大小的空间区域上计算，因此输出包含K个特征图，与光谱通道数相同；使用ReLU函数作为网络的激活函数；又对相同的行使用相同数量但权值不同的卷积，整个层的输出为：
又增加两个类似的计算层，表示为：
对于后两个计算层，卷积的大小为K×P×3；为了保持输出的大小不变，所有卷积层的步长为1，并且没有池化层；
在空间网络中，考虑图像的空间相关性，从二维压缩图像重构得到初步的平行六面体；所述的初步的平行六面体将在光谱网络进一步优化，得到最终重建的平行六面体。
4.如权利要求3所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤102所述光谱网络用于学习光谱间的光谱相关性，从而提升高光谱图像的重构质量；光谱网络第一层的输入为空间网络的输出，表示为ai＝h3(yi)；表示ai中第k个光谱；因此输出的第k个光谱表示为：
公式(9)中cat(·，·)表示拼接相邻的光谱；对于第一个和最后一个光谱相邻的两个光谱被用来辅助重构，对于其他光谱则使用相邻的三个光谱辅助重构；V1，k和d1，k分别表示第k个光谱的卷积和偏置；
又增加两个类似的计算层，表示为：
第一个计算层使用9×9大小的卷积并生成64个特征图，第二个计算层使用1×1大小的卷积并生成32个特征图，第三个计算层使用5×5大小的卷积并生成1个特征图；至此，分别使用相邻光谱重构中间光谱，即实现对每一个光谱的重构，将所有光谱汇合生成整个高光谱图像表示为：
为了增快收敛速率和训练速度，使用残差学习，网络的最终输出可表示为：
。
5.如权利要求3所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤105所述的训练步骤104设置后的重建网络，目标函数表示为：
公式(13)中表示网络的第1个输出，sl表示与其相关的真值，L表示训练的数据量。
6.如权利要求5所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤106所述编码模板为公式(3)所述的B1，被调制的高光谱数据为S，生成的二维压缩图像为Y。
7.如权利要求6所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：步骤106所述逐块重构目标高光谱图像为将Y分成若干个P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半；将若干个块逐个输入重构网络重构生成平行六面体块并拼接成整张目标高光谱图像，重叠部分取平均，从而完成高光谱图像的重构。
8.如权利要求7所述的一种基于卷积神经网络的光谱成像系统的高质量重构方法，其特征在于：使用GPU完成步骤105网络的训练过程和步骤106高光谱图像的重建过程，并利用cuDNN库来加速卷积神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910018073.6A CN109741407A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910018073.6A CN109741407A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109741407A true CN109741407A (zh) | 2019-05-10 |
Family
ID=66364033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910018073.6A Pending CN109741407A (zh) | 2019-01-09 | 2019-01-09 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109741407A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349237A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的快速体成像方法 |
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111507918A (zh) * | 2020-04-16 | 2020-08-07 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111652815A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于深度学习的掩膜板相机图像复原方法 |
| CN112734867A (zh) * | 2020-12-17 | 2021-04-30 | 南京航空航天大学 | 一种基于空谱特征分离提取的多光谱图像压缩方法及系统 |
| CN112927149A (zh) * | 2021-02-18 | 2021-06-08 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
| CN114387258A (zh) * | 2022-01-14 | 2022-04-22 | 北京理工大学重庆创新中心 | 基于区域动态深度展开神经网络的高光谱图像重构方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107239781A (zh) * | 2017-05-03 | 2017-10-10 | 北京理工大学 | 一种基于rgb图像的超光谱反射率重建方法 |
| CN107451956A (zh) * | 2017-07-19 | 2017-12-08 | 北京理工大学 | 一种编码孔径光谱成像系统的重构方法 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像系统的快速重构方法 |
| EP3339998A1 (en) * | 2016-12-21 | 2018-06-27 | G.D. S.p.A | System and method of inspection of a wrapping material |
| CN108830796A (zh) * | 2018-06-20 | 2018-11-16 | 重庆大学 | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
-
2019
- 2019-01-09 CN CN201910018073.6A patent/CN109741407A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3339998A1 (en) * | 2016-12-21 | 2018-06-27 | G.D. S.p.A | System and method of inspection of a wrapping material |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107239781A (zh) * | 2017-05-03 | 2017-10-10 | 北京理工大学 | 一种基于rgb图像的超光谱反射率重建方法 |
| CN107451956A (zh) * | 2017-07-19 | 2017-12-08 | 北京理工大学 | 一种编码孔径光谱成像系统的重构方法 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像系统的快速重构方法 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN108830796A (zh) * | 2018-06-20 | 2018-11-16 | 重庆大学 | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIZHI WANG 等: "HyperReconNet Joint Coded Aperture Optimization and Image Reconstruction for Compressive Hyperspectral Imaging-", 《HTTPS://IEEEXPLORE.IEEE.ORG/XPLORE/HOME.JSP》 * |
| 赵阳: "基于字典学习及压缩感知的高光谱图像重构算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349237A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的快速体成像方法 |
| CN110349237B (zh) * | 2019-07-18 | 2021-06-18 | 华中科技大学 | 基于卷积神经网络的快速体成像方法 |
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN110717947B (zh) * | 2019-09-25 | 2021-04-27 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111080555B (zh) * | 2019-12-22 | 2023-08-11 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111507918A (zh) * | 2020-04-16 | 2020-08-07 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111507918B (zh) * | 2020-04-16 | 2020-12-08 | 上海全景云医学影像诊断有限公司 | 一种基于深度学习技术的医学图像增强方法 |
| CN111652815A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大学 | 一种基于深度学习的掩膜板相机图像复原方法 |
| CN111652815B (zh) * | 2020-05-26 | 2023-05-05 | 浙江大学 | 一种基于深度学习的掩膜板相机图像复原方法 |
| CN112734867A (zh) * | 2020-12-17 | 2021-04-30 | 南京航空航天大学 | 一种基于空谱特征分离提取的多光谱图像压缩方法及系统 |
| CN112734867B (zh) * | 2020-12-17 | 2023-10-27 | 南京航空航天大学 | 一种基于空谱特征分离提取的多光谱图像压缩方法及系统 |
| CN112927149A (zh) * | 2021-02-18 | 2021-06-08 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
| CN114387258A (zh) * | 2022-01-14 | 2022-04-22 | 北京理工大学重庆创新中心 | 基于区域动态深度展开神经网络的高光谱图像重构方法 |
| CN114387258B (zh) * | 2022-01-14 | 2024-03-22 | 北京理工大学重庆创新中心 | 基于区域动态深度展开神经网络的高光谱图像重构方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116579966B (zh) * | 2023-07-11 | 2023-11-17 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 | |
| Yuan et al. | Snapshot compressive imaging: Theory, algorithms, and applications | |
| CN109447891A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 | |
| Yuan et al. | Plug-and-play algorithms for video snapshot compressive imaging | |
| Zhang et al. | Image restoration: From sparse and low-rank priors to deep priors [lecture notes] | |
| Iliadis et al. | Deepbinarymask: Learning a binary mask for video compressive sensing | |
| CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
| Cheng et al. | Recurrent neural networks for snapshot compressive imaging | |
| CN109883548B (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| CN107525588B (zh) | 一种基于gpu的双相机光谱成像系统的快速重构方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| Sun et al. | Improved direct voxel grid optimization for radiance fields reconstruction | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
| CN112116065A (zh) | 一种rgb图像光谱重建方法、系统、存储介质及应用 | |
| Han et al. | Tensor FISTA-Net for real-time snapshot compressive imaging | |
| AU2020281143B1 (en) | Creating super-resolution images | |
| CN107451956A (zh) | 一种编码孔径光谱成像系统的重构方法 | |
| CN109146787A (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| CN110717947B (zh) | 一种基于外部和内部训练的高质量光谱重构方法 | |
| CN109447890A (zh) | 一种基于卷积神经网络的光谱成像系统的编码优化方法 | |
| CN116579966B (zh) | 一种图像重建方法、装置、电子设备及存储介质 | |
| CN111882512B (zh) | 基于深度学习的图像融合方法、装置、设备和存储介质 | |
| Chen et al. | Prior image guided snapshot compressive spectral imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190510 |
|
| WD01 | Invention patent application deemed withdrawn after publication |