CN110717947A - 一种基于外部和内部训练的高质量光谱重构方法 - Google Patents
一种基于外部和内部训练的高质量光谱重构方法 Download PDFInfo
- Publication number
- CN110717947A CN110717947A CN201910911701.3A CN201910911701A CN110717947A CN 110717947 A CN110717947 A CN 110717947A CN 201910911701 A CN201910911701 A CN 201910911701A CN 110717947 A CN110717947 A CN 110717947A
- Authority
- CN
- China
- Prior art keywords
- cassi
- network
- reconstruction
- image
- dcchi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001228 spectrum Methods 0.000 title claims abstract description 32
- 238000000701 chemical imaging Methods 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 73
- 230000006870 function Effects 0.000 claims description 56
- 230000003595 spectral effect Effects 0.000 claims description 52
- 238000013507 mapping Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012271 agricultural production Methods 0.000 abstract description 4
- 235000001466 Ribes nigrum Nutrition 0.000 abstract 1
- 241001312569 Ribes nigrum Species 0.000 abstract 1
- 238000001530 Raman microscopy Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002612 dispersion medium Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/284—Spectral construction
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于外部和内部训练的高质量光谱重构方法，属于计算摄像学领域。本发明应用于基于编码孔径快照光谱成像系统和基于全色相机的双相机光谱成像系统，在高光谱图像的重构过程中充分利用外部高光谱数据库的信息和内部输入图像及成像模型的信息；使用外部训练和内部训练更新网络参数；并使用GPU完成对整个网络的优化求解。本发明能够高质量地完成CASSI和DCCHI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明可用于地质勘探、农业生产和生物医学等多个领域。
Description
技术领域
本发明专利涉及一种用于光谱成像的高光谱图像高质量重构方法，尤其涉及能够获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。该技术采集得到的数据立方体即为高光谱图像，包含目标场景的二维空间信息和一维光谱信息，丰富的光谱细节能够反映场景的光照和材料信息。该技术已经被应用于地质勘探、农业生产和生物医学等多个领域。由于目前存在的二维成像传感器的限制，不能简单的通过一次曝光获取三维的高光谱图像。传统的高光谱成像技术选择牺牲时间维，沿着空间维或者光谱维扫描采集整张高光谱图像，所以基于扫描的技术不能够用于采集动态的场景。
目前，基于多种光学设计和精细重构算法的计算光谱成像技术已经成为该领域的研究热点并有广泛应用。基于压缩感知理论，Ashwin Wagadarikar等人提出的编码孔径快照光谱成像仪(Coded Aperture Snapshot Spectral Imager,CASSI)利用二值化的编码孔径和色散介质对三维高光谱图像进行调制，使用探测器获取三维高光谱数据的二维压缩图像。基于全色相机的双相机光谱成像系统(Panchromatic camera based dual cameracompressive hyperspectral imaging,DCCHI)则是在获取目标场景的二维压缩图像的同时使用一个全色相机获取目标场景的二维灰度图像。
通过精细的光学设计，这些基于编码的成像技术能够将三维的高光谱图像编码成二维的压缩图像，而该技术的瓶颈在于如何高效地从二维压缩图像恢复目标三维高光谱图像。由于这个问题是欠定的，需要使用未知高光谱图像的先验信息对重构进行正则化。目前众所周知的基于模型的算法使用总变差分(Total Variation,TV)、稀疏性(Sparsity)和低秩性(Low-rankness)。Kittle和Wang将TV先验加入两步迭代收缩阈值算法(TwIST)，TV先验能够有效建模平滑的空间结构，但是会让重建的高光谱图像过于模糊。稀疏先验相较于TV先验有更好的重构效果。Wagadarikar使用梯度投影的稀疏重构算法，Tan将维纳滤波作为去噪器插入近似消息传递算法，Wang将非局部相似性结合稀疏表示的算法提升重构精度。除此之外，Fu将光谱空间相关性结合低秩性和非局部相似性提升重构精度。然而这些手工设计的先验无法准确表示真实世界不同场景的光谱数据。
不同于基于模型的算法需要精心设计的先验，基于学习的算法能够借助外部数据库隐式地学习得到先验信息。Xiong先使用已有的基于模型的算法计算得到初解，再使用卷积神经网络学习得到先验去增强初解以得到最终解。Choi训练一个自编码器学习非线性的光谱表示作为先验，然后将其联合TV先验作为优化算法的正则化项。Wang使用一个端到端的考虑了相邻空间间的空间相似性和相邻谱代间的光谱相似性的卷积神经网络重构高光谱图像。但是基于学习的算法通常暴力学习压缩图像与高光谱图像间的映射关系而不考虑内在的成像模型。因此，学习到的映射关系很容易失效即使成像模型发生细微改变。最近，基于自编码器的算法是使用一个预训练的自编码器挖掘图像先验然后将其插入基于模型的算法中，但是缺点是自编码器的参数不能跟其他参数不能联合优化。此外，所有基于学习的算法都依赖于训练和测试数据所需的先验有很强的相似性的假设。事实上，不同的高光谱成像设备能够采集各种各样的高光谱图像，如完全不同的波长和光谱响应。所以基于学习的算法经常会受限于过拟合和缺少泛化性的问题。
发明内容
针对现有算法存在的没有考虑成像模型、重构图像质量低等问题。本发明公开的一种基于外部和内部训练的高质量光谱重构方法要解决的技术问题是：在外部训练过程中建立压缩图像与高光谱图像间的映射关系，在内部训练过程中利用光谱成像模型优化所述映射关系，进而实现编码孔径快照成像系统和基于全色相机的双相机光谱成像系统的重构，提高成像质量。
为达到以上目的，本发明采用以下技术方案。
本发明公开的一种基于外部和内部训练的高质量光谱重构方法，应用于基于编码孔径快照光谱成像系统和基于全色相机的双相机光谱成像系统，在高光谱图像的重构过程中充分利用外部高光谱数据库的信息和内部输入图像及成像模型的信息；使用外部训练和内部训练更新网络参数；并使用GPU完成对整个网络的优化求解。本发明能够高质量地完成CASSI和DCCHI光谱成像系统的高光谱图像重建，在保证重建结果具备高空间分辨率和高光谱保真性的同时，大幅度提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明能够用于地质勘探、农业生产和生物医学等多个领域。
本发明公开的一种基于外部和内部训练的高质量光谱重构方法，包括以下步骤：
步骤101：输入光谱成像系统标定后的前向响应矩阵Φ、高光谱图像数据集，根据前向响应矩阵生成由二维压缩图像和三维高光谱图像对构成的外部训练数据集。
步骤101中所述光谱成像系统为编码孔径快照成像系统(Coded ApertureSnapshot Spectral Imager,CASSI)和基于全色相机的双相机光谱成像系统(Panchromatic camera based dual camera compressive hyperspectral imaging，DCCHI)。编码孔径快照成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像X大小为M×N×Λ，高光谱图像X上任意一点的像素值为x(m,n,λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ。其中，M×N表示高光谱图像的空间分辨率，Λ表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的模型为：
公式(1)中yc(m,n)表示CASSI系统的二维压缩光谱采样图像,
表示编码孔径的传递函数，ψ(λ)表示色散棱镜的波段偏移函数，x(m,n,λ)表示目标场景的三维高光谱图像，ω(λ)表示探测器的响应函数。
将公式(1)写成矩阵形式为：
Yc＝ΦcX (2)
公式(2)中Yc表示CASSI系统的二维压缩光谱采样图像，Φc表示CASSI系统的观测矩阵，X表示目标场景的三维高光谱图像。
基于全色相机的双相机光谱成像系统主要由CASSI系统和分光镜、全色相机等部件构成。入射光首先到达分光镜被一分为二，一半进入CASSI系统，一半进入全色相机分支。进入CASSI系统的模型如公式(2)所示，进入全色相机分支的入射光会直接到达灰度相机得到目标场景的二维灰度图像，模型为：
公式(3)表示为矩阵形式：
Yp＝ΦpX (4)
其中Yp表示全色图像，Φp表示全色相机的映射矩阵。
最终DCCHI系统表示为：
Yd＝ΦdX (5)
其中Yd＝[Yc；Yp]，Φd＝[Φc；Φp]。
根据公式(2)和公式(5)将高光谱图像数据集映射成对应的二维压缩图像，从而构建由二维压缩图像和对应三维高光谱图像对构成的外部训练数据集。
步骤102：考虑空间光谱相关性和CASSI与DCCHI系统的相关性，分别构建适用于CASSI系统、DCCHI系统的重构网络。
步骤102所述重构网络分别针对CASSI系统和DCCHI系统。为了更好地挖掘高光谱图像的空间光谱相关性，使用多个含有密集连接和通道注意力机制的非线性变换层构建卷积神经网络。对于CASSI系统，使用含有L个密集连接块(Dense Block)的两个卷积层构成的卷积神经网络，L个密集连接块置于两个卷积层之间。使用
表示第一个卷积层，
表示最后一个卷积层。对于第l个密集连接块，输入为
到
输出为：
其中
表示CASSI重构网络中的第l个密集连接块函数。
在每个密集连接块中，有K个残差通道注意力模块(Residual Channel AttentionModule,RCA Module)。第l个残差通道注意力模块表示为：
其中
和分别表示第l个密集连接块中第k个残差注意力模块的残差组件函数和通道注意力组件函数，通道注意力组件能够更好地挖掘光谱相关性。
CASSI系统重构网络的最终输出表示为：
其中
表示CASSI重构网络中第L个密集连接块的输出，fc表示CASSI重构网络的映射函数，Θc表示CASSI重构网络中的参数。
对于DCCHI系统，将CASSI重构网络得到的跟全色图像Yp做进一步的融合，在CASSI重构网络的基础上加入与CASSI重构网络同样设置的网络层，最终的输出表示为：
其中
表示DCCHI重构网络中第2L个密集连接块的输出，fd表示DCCHI重构网络的映射函数，Θd表示DCCHI重构网络中的参数。
至此，完成分别针对CASSI系统和DCCHI系统的重构网络构建。
步骤103：对步骤102构建的重构网络针对步骤101构建外部训练数据集设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的外部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的外部训练目标函数，最终使用外部训练数据集训练CASSI和DCCHI重构网络得到压缩图像与高光谱图像间的映射关系。
步骤103所述的使用外部训练数据集训练CASSI重构网络的目标函数为：
其中
表示第t张外部压缩图像，Xex,t表示与
对应的外部高光谱图像，
表示CASSI重构网络通过外部训练得到的参数，T表示外部训练数据集的图片对数量。
步骤103所述的使用外部训练数据集训练DCCHI重构网络的目标函数为：
其中
表示第t张外部全色图像，
表示DCCHI重构网络通过外部训练得到的参数，η表示平衡两部分重构目标函数的参数。
通过优化外部训练的目标函数公式(10)和公式(11)得到优化后的网络参数和
至此完成CASSI和DCCHI重构网络的外部训练，得到压缩图像与高光谱图像间的映射关系。
步骤104：输入需要测试的压缩图像Y′in、前向响应矩阵Φ、学习率、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的内部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的内部训练目标函数，对外部训练得到的网络参数Θex进行内部训练和针对性优化，得到优化后的压缩图像与高光谱图像间的映射关系，并重构得到最终的高光谱图像X。
步骤104所述对外部训练得到的网络参数Θex进行针对性优化，即根据CASSI系统、DCCHI的成像模型，将通过重构网络映射函数f得到的
利用前向响应矩阵Φ映射回压缩图像，与输入的单张压缩图像Yin进行比对，进而利用优化算法更新外部训练得到的网络参数Θex，最终得到针对输入压缩图像最优的网络参数Θin和重构高光谱图像
对于CASSI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的压缩编码压缩图像，
表示CASSI重构网络通过内部训练得到的参数，且其由初始化。
对于DCCHI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的全色图像，
表示DCCHI重构网络通过内部训练得到的参数，且其由
初始化。
通过优化内部训练的目标函数公式(12)和公式(13)得到优化后的网络参数
和
至此完成CASSI和DCCHI重构网络的内部训练，得到优化后的压缩图像与高光谱图像间的映射关系。
最终，通过优化后的压缩图像与高光谱图像间的映射关系将输入图像Y′in映射成高光谱图像，从而完成高光谱图像的重构，提高成像质量。
作为优选，使用GPU完成步骤103网络的外部训练过程和步骤104网络的内部训练过程和高光谱图像的重构过程，并利用cuDNN库加快卷积神经网络的运行速度。
有益效果：
1、本发明公开的基于外部和内部训练的高质量光谱重构方法，针对CASSI和DCCHI系统的相关性分别建立CASSI和DCCHI的重构网络，使用外部训练和内部训练优化重构网络参数，得到适合目标高光谱图像的先验信息，并通过先验信息重构目标高光谱图像，能够提高空间分辨率和光谱保真度。
2、本发明公开的基于外部和内部训练的高质量光谱重构方法，通过充分利用外部数据库的信息和内部输入图像及成像模型的信息，能够有效提升重构的精度。
3、本发明公开的基于外部和内部训练的高质量光谱重构方法，先利用外部训练得到压缩图像与目标图像之间的映射关系，能够得到质量不错的初解，保证重构的整体质量，对外部训练得到的网络参数使用内部训练进一步优化，能够进一步提升重构质量和模型泛化性。
4、本发明公开的基于外部和内部训练的高质量光谱重构方法，使用GPU进行外部和内部训练过程，能够提升重建高光谱图像的效率。
5、本发明公开的基于外部和内部训练的高质量光谱重构方法，重建质量高，适用于地质勘探、农业生产和生物医学等多个领域。
附图说明
图1是本发明公开的基于外部和内部训练的高质量光谱重构方法的总流程图；
图2是本发明中用于CASSI和DCCHI光谱成像的系统结构图；
图3是本发明中所使用的分别针对CASSI和DCCHI的重构网络，及网络中使用的密集连接块和残差通道注意力模块。
图4是本发明和其他对比算法在CASSI系统上的仿真重构误差图，其中图4-a为TV算法的重构空间误差，图4-b为NSR算法的重构空间误差，图4-c为LRMA算法的重构空间误差，图4-d为HSCNN算法的重构空间误差，图4-e为Autoencoder算法的重构空间误差，图4-f为HyperReconNet算法的重构空间误差，图4-g为本发明算法的重构空间误差，图4-h为所有算法的重构光谱误差。
图5是本发明和其他对比算法在DCCHI系统上的仿真重构误差图，其中图5-a为TV算法的重构空间误差，图5-b为NSR算法的重构空间误差，图5-c为LRMA算法的重构空间误差，图5-d为HSCNN算法的重构空间误差，图5-e为Autoencoder算法的重构空间误差，图5-f为本发明算法的重构空间误差，图5-g为重构场景的彩色图，图5-h为所有算法的重构光谱误差。
图6是本发明和其他对比算法在CASSI和DCCHI系统上的真实数据重构结果图，其中图6-a为CASSI压缩图像，图6-b为TV算法在CASSI系统上的重构结果，图6-c为NSR算法在CASSI系统上的重构结果，图6-d为LRMA算法在CASSI系统上的重构结果，图6-e为Autoencoder算法在CASSI系统上的重构结果，图6-f为本发明在CASSI系统上的重构结果，图6-g为DCCHI全色灰度图像，图6-h为TV算法在DCCHI系统上的重构结果，图6-i为NSR算法在DCCHI系统上的重构结果，图6-j为LRMA算法在DCCHI系统上的重构结果，图6-k为Autoencoder算法在DCCHI系统上的重构结果，图6-l为本发明在DCCHI系统上的重构结果。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于卷积神经网络的光谱成像系统的高质量重构方法，应用于编码孔径快照光谱成像系统(Single disperser design for coded aperturesnapshot spectral imaging,CASSI)(详见Wagadarikar A,John R,Willett R,BradyD.Single disperser design for coded aperture snapshot spectral imaging[J].Applied optics.2008,47(10):B44-B51.)和基于全色相机的双相机光谱成像系统(Panchromatic camera based dual camera compressive hyperspectral imaging，DCCHI)(详见Wang L,Xiong Z,Gao D,et al.Dual-camera design for coded aperturesnapshot spectral imaging[J].Applied Optics,2015,54(4):848-58.)。CASSI系统利用二值化的编码孔径和色散介质对三维高光谱图像进行调制，使用探测器获取三维高光谱数据的二维压缩图像。DCCHI系统在CASSI系统的基础上加入全色分支，使用全色相机获取目标场景的二维灰度图像。使用优化算法可以从二维的图像重构潜在的三维高光谱图像。
如图1所示，本实施例公开的一种基于外部和内部训练的高质量光谱重构方法，包含以下步骤：
步骤101：输入光谱成像系统标定后的前向响应矩阵Φ、高光谱图像数据集，根据前向响应矩阵生成由二维压缩图像和三维高光谱图像对构成的外部训练数据集。
步骤101中所述光谱成像系统为编码孔径快照成像系统(Coded ApertureSnapshot Spectral Imager,CASSI)和基于全色相机的双相机光谱成像系统(Panchromatic camera based dual camera compressive hyperspectral imaging，DCCHI)，系统如图2所示。编码孔径快照成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。目标场景的高光谱图像X大小为M×N×Λ，高光谱图像X上任意一点的像素值为x(m,n,λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ。其中，M×N表示高光谱图像的空间分辨率，Λ表示高光谱图像的频谱数。入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码。经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移。最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。编码孔径快照光谱成像仪CASSI的模型为：
公式(1)中yc(m,n)表示CASSI系统的二维压缩光谱采样图像,
表示编码孔径的传递函数，ψ(λ)表示色散棱镜的波段偏移函数，x(m,n,λ)表示目标场景的三维高光谱图像，ω(λ)表示探测器的响应函数。
将公式(1)写成矩阵形式为：
Yc＝ΦcX (2)
公式(2)中Yc表示CASSI系统的二维压缩光谱采样图像，Φc表示CASSI系统的观测矩阵，X表示目标场景的三维高光谱图像。
基于全色相机的双相机光谱成像系统主要由CASSI系统和分光镜、全色相机等部件构成。入射光首先到达分光镜被一分为二，一半进入CASSI系统，一半进入全色相机分支。进入CASSI系统的模型如公式(2)所述，进入全色相机分支的入射光会直接到达灰度相机得到目标场景的二维灰度图像，模型为：
公式(3)表示为矩阵形式：
Yp＝ΦpX (4)
其中Yp表示全色图像，Φp表示全色相机的映射矩阵。
最终DCCHI系统表示为：
Yd＝ΦdX (5)
其中Yd＝[Yc；Yp]，Φd＝[Φc；Φp]。
根据公式(2)和公式(5)将高光谱图像数据集映射成对应的二维压缩图像，从而构建由二维压缩图像和对应三维高光谱图像对构成的外部训练数据集。
步骤102：考虑空间光谱相关性和CASSI与DCCHI系统的相关性，分别构建适用于CASSI系统、DCCHI系统的重构网络，网络如图3所示。
步骤102所述重构网络分别针对CASSI系统和DCCHI系统。为了更好地挖掘高光谱图像的空间光谱相关性，使用多个含有密集连接和通道注意力机制的非线性变换层构建卷积神经网络。对于CASSI系统，使用含有L个密集连接块(Dense Block)的两个卷积层构成的卷积神经网络，L个密集连接块置于两个卷积层之间。使用
表示第一个卷积层，
表示最后一个卷积层。对于第l个密集连接块，输入为到输出为：
其中 
表示CASSI重构网络中的第l个密集连接块函数。
在每个密集连接块中，有K个残差通道注意力模块(Residual Channel AttentionModule,RCA Module)。第l个残差通道注意力模块表示为：
其中
和
分别表示第l个密集连接块中第k个残差注意力模块的残差组件函数和通道注意力组件函数，通道注意力组件能够更好地挖掘光谱相关性。
CASSI系统重构网络的最终输出表示为：
其中
表示CASSI重构网络中第L个密集连接块的输出，fc表示CASSI重构网络的映射函数，Θc表示CASSI重构网络中的参数。
对于DCCHI系统，将CASSI重构网络得到的
跟全色图像Yp做进一步的融合，在CASSI重构网络的基础上加入与CASSI重构网络同样设置的网络层，最终的输出表示为：
其中
表示DCCHI重构网络中第2L个密集连接块的输出，fd表示DCCHI重构网络的映射函数，Θd表示DCCHI重构网络中的参数。
至此，完成分别针对CASSI系统和DCCHI系统的重构网络构建。
步骤103：对步骤102构建的重构网络针对步骤101构建外部训练数据集设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的外部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的外部训练目标函数，最终使用外部训练数据集训练CASSI和DCCHI重构网络得到压缩图像与高光谱图像间的映射关系。
步骤103所述的使用外部训练数据集训练CASSI重构网络的目标函数为：
其中表示第t张外部压缩图像，Xex,t表示与对应的外部高光谱图像，
表示CASSI重构网络通过外部训练得到的参数，T表示外部训练数据集的图片对数量。
步骤103所述的使用外部训练数据集训练DCCHI重构网络的目标函数为：
其中
表示第t张外部全色图像，
表示DCCHI重构网络通过外部训练得到的参数，η表示平衡两部分重构目标函数的参数。
通过优化外部训练的目标函数公式(10)和公式(11)得到优化后的网络参数
和
至此完成CASSI和DCCHI重构网络的外部训练，得到压缩图像与高光谱图像间的映射关系。
步骤104：输入需要测试的压缩图像Yin、前向响应矩阵Φ、学习率、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的内部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的内部训练目标函数，对外部训练得到的网络参数Θex进行内部训练和针对性优化，得到优化后的压缩图像与高光谱图像间的映射关系，并重构得到最终的高光谱图像X。
步骤104所述对外部训练得到的网络参数Θex进行针对性优化，即根据CASSI系统、DCCHI的成像模型，将通过重构网络映射函数f得到的利用前向响应矩阵Φ映射回压缩图像，与输入的单张压缩图像Yin进行比对，进而利用优化算法更新外部训练得到的网络参数Θex，最终得到针对输入压缩图像最优的网络参数Θin和重构高光谱图像
对于CASSI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的压缩编码压缩图像，
表示CASSI重构网络通过内部训练得到的参数，且其由
初始化。
对于DCCHI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的全色图像，表示DCCHI重构网络通过内部训练得到的参数，且其由
初始化。
通过优化内部训练的目标函数公式(12)和公式(13)得到优化后的网络参数
和
至此完成CASSI和DCCHI重构网络的内部训练，得到优化后的压缩图像与高光谱图像间的映射关系。
最终，通过优化后的压缩图像与高光谱图像间的映射关系将输入图像Yin映射成高光谱图像，从而完成高光谱图像的重构，提高成像质量。
为说明本发明的效果，本实施例将在实验条件相同的情况下对七种方法进行对比。
1.实验条件
本实验的硬件测试条件为：Inter i7 6800K，内存64G。GPU为Titan X，显存12G，CUDA 8.0。仿真测试所用高光谱图片来自于ICVL、Harvard和CAVE数据集。输入的CASSI压缩光谱采样图像大小为512×542，DCCHI全色灰度图像大小为512×512；重构以后得到的高光谱图像大小为512×512×31。
测试所用真实数据CASSI压缩光谱采样图像大小为260×375，DCCHI全色灰度图像大小为260×350，重构以后得到的高光谱图像为260×350×26。
2.实验结果
首先是几种算法在CASSI系统下的重构PSNR，单位为dB，结果如表1所示：
表1 PSNR/dB
| 方法 | CAVE | Harvard | ICVL |
| TV | 24.099 | 27.163 | 26.155 |
| NSR | 26.644 | 28.508 | 27.949 |
| LRMA | 25.871 | 30.113 | 29.975 |
| HSCNN | 25.017 | 28.548 | 29.475 |
| Autoencoder | 25.741 | 30.300 | 30.440 |
| HyperReconNet | 24.444 | 30341 | 32.363 |
| 本发明 | 29.055 | 33.585 | 35.884 |
从表1的结果可以看出，本发明公开的算法在CASSI系统上能够达到非常好的重构效果，在不同数据库下其PSNR均高于其他算法。
图4-a、图4-b、图4-c、图4-d、图4-e、图4-f、图4-g分别为测试图片使用TV、NSR、LRMA、HSCNN、Autoencoder、HyperReconNet和本发明仿真重构后的空间误差图。可以看出，本发明公开的方法重构的高光谱图像空间误差更加小，在空间质量上的效果优于其他算法。
为了对比几种算法的光谱保真度，在CASSI系统下其ERGAS结果如表2所示：
表2 ERGAS
| 方法 | CAVE | Harvard | ICVL |
| TV | 41.132 | 37.141 | 15.971 |
| NSR | 32.085 | 32.722 | 12.468 |
| LRMA | 34.545 | 26.506 | 9.921 |
| HSCNN | 38.836 | 30.758 | 10.034 |
| Autoencoder | 35.542 | 26.441 | 10.485 |
| HyperReconNet | 40.913 | 25.358 | 7.295 |
| 本发明 | 24.786 | 17.138 | 4.847 |
从表2的结果可以看出，本发明公开的方法在CASSI系统上得到的ERGAS误差更小，表明其在频谱维上的保真度更高，其谱线更接近于真实材料的谱线。图4-h为七种方法重构后的光谱误差图，可以看出本发明公开的方法重构的高光谱图像光谱误差更小，在光谱质量上效果由于其他算法。
为了对比几种算法的结构相似性，在CASSI系统下其SSIM结果如表3所示：
表3 SSIM
| 方法 | CAVE | Harvard | ICVL |
| TV | 0.8917 | 0.9242 | 0.9358 |
| NSR | 0.9247 | 0.9400 | 0.9576 |
| LRMA | 0.9198 | 0.9572 | 0.9720 |
| HSCNN | 0.9151 | 0.9442 | 0.9733 |
| Autoencoder | 0.9186 | 0.9520 | 0.9700 |
| HyperReconNet | 0.9043 | 0.9644 | 0.9861 |
| 本发明 | 0.9570 | 0.9824 | 0.9937 |
从表3的结果可以看出，本发明公开的方法在CASSI系统下得到的SSIM误差更小，表明其在空间维上结构相似性更高，其结构更接近于真实材料的结构。
几种算法在DCCHI系统下的重构PSNR，单位为dB，结果如表4所示：
表4 PSNR/dB
从表4的结果可以看出，本发明公开的算法在DCCHI系统上能够达到非常好的重构效果，在不同数据库下其PSNR均高于其他算法。
图5-a、图5-b、图5-c、图5-d、图5-e、图5-f分别为测试图片使用TV、NSR、LRMA、HSCNN、Autoencoder和本发明仿真重构后的空间误差图。可以看出，本发明公开的方法重构的高光谱图像空间误差更加小，在空间质量上的效果优于其他算法。
为了对比几种算法的光谱保真度，在DCCHI系统下其ERGAS结果如表5所示：
表5 ERGAS
| 方法 | CAVE | Harvard | ICVL |
| TV | 14.445 | 15.937 | 5.612 |
| NSR | 13.087 | 12.801 | 3.774 |
| LRMA | 9.188 | 9.737 | 3.090 |
| HSCNN | 14.899 | 12.652 | 3.551 |
| Autoencoder | 14.816 | 10.096 | 2.624 |
| 本发明 | 8.454 | 7.360 | 1.847 |
从表5的结果可以看出，本发明公开的方法在DCCHI系统上得到的ERGAS误差更小，表明其在频谱维上的保真度更高，其谱线更接近于真实材料的谱线。图5-h为六种方法重构后的光谱误差图，可以看出本发明公开的方法重构的高光谱图像光谱误差更小，在光谱质量上效果由于其他算法。
为了对比几种算法的结构相似性，在DCCHI系统下其SSIM结果如表6所示：
表6 SSIM
| 方法 | CAVE | Harvard | ICVL |
| TV | 0.9849 | 0.9892 | 0.9914 |
| NSR | 0.9864 | 0.9934 | 0.9960 |
| LRMA | 0.9933 | 0.9959 | 0.9972 |
| HSCNN | 0.9852 | 0.9924 | 0.9966 |
| Autoencoder | 0.9874 | 0.9952 | 0.9983 |
| 本发明 | 0.9954 | 0.9975 | 0.9991 |
从表6的结果可以看出，本发明公开的方法在DCCHI系统下得到的SSIM误差更小，表明其在空间维上结构相似性更高，其结构更接近于真实材料的结构。
几种算法真实数据的重构结果如图6所示，其中图6-a为CASSI压缩图像，图6-b为TV算法在CASSI系统上的重构结果，图6-c为NSR算法在CASSI系统上的重构结果，图6-d为LRMA算法在CASSI系统上的重构结果，图6-e为Autoencoder算法在CASSI系统上的重构结果，图6-f为本发明在CASSI系统上的重构结果，图6-g为DCCHI全色灰度图像，图6-h为TV算法在DCCHI系统上的重构结果，图6-i为NSR算法在DCCHI系统上的重构结果，图6-j为LRMA算法在DCCHI系统上的重构结果，图6-k为Autoencoder算法在DCCHI系统上的重构结果，图6-l为本发明在DCCHI系统上的重构结果。从图中可以看出，本发明的重构结果相较于其他算法的重构结果无论在CASSI系统上还是DCCHI系统上均有更好的重构质量，有更多的细节。
至此，本发明公开的方法在CASSI和DCCHI两种系统下，在仿真和真实数据的测试中相较于其他对比算法均有更好的重构质量。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于外部和内部训练的高质量光谱重构方法，其特征在于：包括以下步骤，
步骤101：输入光谱成像系统标定后的前向响应矩阵Φ、高光谱图像数据集，根据前向响应矩阵生成由二维压缩图像和三维高光谱图像对构成的外部训练数据集；
步骤102：考虑空间光谱相关性和CASSI与DCCHI系统的相关性，分别构建适用于CASSI系统、DCCHI系统的重构网络；
步骤103：对步骤102构建的重构网络针对步骤101构建外部训练数据集设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的外部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的外部训练目标函数，最终使用外部训练数据集训练CASSI和DCCHI重构网络得到压缩图像与高光谱图像间的映射关系；
步骤104：输入需要测试的压缩图像Yin、前向响应矩阵Φ、学习率、优化方法、迭代次数、平衡参数η，建立CASSI重构网络的内部训练目标函数，进而根据DCCHI与CASSI系统的相关性建立DCCHI重构网络的内部训练目标函数，对外部训练得到的网络参数Θex进行内部训练和针对性优化，得到优化后的压缩图像与高光谱图像间的映射关系，并重构得到最终的高光谱图像X。
2.如权利要求1所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：步骤101中所述光谱成像系统为编码孔径快照成像系统和基于全色相机的双相机光谱成像系统；编码孔径快照成像仪主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；目标场景的高光谱图像X大小为M×NXΛ，高光谱图像X上任意一点的像素值为x(m，n，λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ；其中，M×N表示高光谱图像的空间分辨率，Λ表示高光谱图像的频谱数；入射光进入编码孔径快照光谱成像仪CASSI会到达编码模板进行0-1编码；经编码后的光到达色散棱镜后，不同频谱的光会沿着竖直方向偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像仪CASSI的模型为：
公式(1)中yc(m，n)表示CASSI系统的二维压缩光谱采样图像，表示编码孔径的传递函数，ψ(λ)表示色散棱镜的波段偏移函数，x(m，n，λ)表示目标场景的三维高光谱图像，ω(λ)表示探测器的响应函数；
将公式(1)写成矩阵形式为：
Yc＝ΦcX (2)
公式(2)中Yc表示CASSI系统的二维压缩光谱采样图像，Φc表示CASSI系统的观测矩阵，X表示目标场景的三维高光谱图像；
基于全色相机的双相机光谱成像系统主要由CASSI系统和分光镜、全色相机等部件构成；入射光首先到达分光镜被一分为二，一半进入CASSI系统，一半进入全色相机分支；进入CASSI系统的模型如公式(2)所示，进入全色相机分支的入射光会直接到达灰度相机得到目标场景的二维灰度图像，模型为：
公式(3)表示为矩阵形式：
Yp＝ΦpX (4)
其中Yp表示全色图像，Φp表示全色相机的映射矩阵；
最终DCCHI系统表示为：
Yd＝ΦdX (5)
其中Yrd＝[Yc；Yp]，Φd＝[Φc；Φp]；
根据公式(2)和公式(5)将高光谱图像数据集映射成对应的二维压缩图像，从而构建由二维压缩图像和对应三维高光谱图像对构成的外部训练数据集。
3.如权利要求2所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：步骤102所述重构网络分别针对CASSI系统和DCCHI系统；为了更好地挖掘高光谱图像的空间光谱相关性，使用多个含有密集连接和通道注意力机制的非线性变换层构建卷积神经网络；对于CASSI系统，使用含有L个密集连接块(Dense Block)的两个卷积层构成的卷积神经网络，L个密集连接块置于两个卷积层之间；使用表示第一个卷积层，
表示最后一个卷积层；对于第l个密集连接块，输入为
到
输出为：
其中
表示CASSI重构网络中的第l个密集连接块函数；
在每个密集连接块中，有K个残差通道注意力模块(Residual Channel AttentionModule，RCA Module)；第l个残差通道注意力模块表示为：
其中
和分别表示第l个密集连接块中第k个残差注意力模块的残差组件函数和通道注意力组件函数，通道注意力组件能够更好地挖掘光谱相关性；
CASSI系统重构网络的最终输出表示为：
其中
表示CASSI重构网络中第L个密集连接块的输出，fc表示CASSI重构网络的映射函数，Θc表示CASSI重构网络中的参数；
对于DCCHI系统，将CASSI重构网络得到的
眼全色图像Yp做进一步的融合，在CASSI重构网络的基础上加入与CASSI重构网络同样设置的网络层，最终的输出表示为：
其中
表示DCCHI重构网络中第2L个密集连接块的输出，fd表示DCCHI重构网络的映射函数，Θd表示DCCHI重构网络中的参数；
至此，完成分别针对CASSI系统和DCCHI系统的重构网络构建。
4.如权利要求3所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：
步骤103所述的使用外部训练数据集训练CASSI重构网络的目标函数为：
其中
表示第t张外部压缩图像，Xex，t表示与
对应的外部高光谱图像，
表示CASSI重构网络通过外部训练得到的参数，T表示外部训练数据集的图片对数量；
步骤103所述的使用外部训练数据集训练DCCHI重构网络的目标函数为：
其中
表示第t张外部全色图像，
表示DCCHI重构网络通过外部训练得到的参数，η表示平衡两部分重构目标函数的参数；
通过优化外部训练的目标函数公式(10)和公式(11)得到优化后的网络参数
和
至此完成CASSI和DCCHI重构网络的外部训练，得到压缩图像与高光谱图像间的映射关系。
5.如权利要求4所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：
步骤104所述对外部训练得到的网络参数Θex进行针对性优化，即根据CASSI系统、DCCHI的成像模型，将通过重构网络映射函数f得到的
利用前向响应矩阵Φ映射回压缩图像，与输入的单张压缩图像Yin进行比对，进而利用优化算法更新外部训练得到的网络参数Θex，最终得到针对输入压缩图像最优的网络参数Θin和重构高光谱图像
对于CASSI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的压缩编码压缩图像，
表示CASSI重构网络通过内部训练得到的参数，且其由
初始化；
对于DCCHI系统，针对单张输入图像的针对性优化目标函数为：
其中
为输入的全色图像，
表示DCCHI重构网络通过内部训练得到的参数，且其由
初始化；
通过优化内部训练的目标函数公式(12)和公式(13)得到优化后的网络参数
和至此完成CASSI和DCCHI重构网络的内部训练，得到优化后的压缩图像与高光谱图像间的映射关系；
最终，通过优化后的压缩图像与高光谱图像间的映射关系将输入图像Yin映射成高光谱图像，从而完成高光谱图像的重构，提高成像质量。
6.如权利要求1或2所述的一种基于外部和内部训练的高质量光谱重构方法，其特征在于：使用GPU完成步骤103网络的外部训练过程和步骤104网络的内部训练过程和高光谱图像的重构过程，并利用cuDNN库加快卷积神经网络的运行速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911701.3A CN110717947B (zh) | 2019-09-25 | 2019-09-25 | 一种基于外部和内部训练的高质量光谱重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911701.3A CN110717947B (zh) | 2019-09-25 | 2019-09-25 | 一种基于外部和内部训练的高质量光谱重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717947A true CN110717947A (zh) | 2020-01-21 |
| CN110717947B CN110717947B (zh) | 2021-04-27 |
Family
ID=69210865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910911701.3A Active CN110717947B (zh) | 2019-09-25 | 2019-09-25 | 一种基于外部和内部训练的高质量光谱重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717947B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825900A (zh) * | 2019-11-07 | 2020-02-21 | 重庆紫光华山智安科技有限公司 | 特征重构层的训练方法、图像特征的重构方法及相关装置 |
| CN112950736A (zh) * | 2021-03-05 | 2021-06-11 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015191998A1 (en) * | 2014-06-12 | 2015-12-17 | Duke University | Systyem and method for improved computational imaging |
| US20160048950A1 (en) * | 2014-05-16 | 2016-02-18 | North Carolina State University | Compressive imaging using approximate message passing with denoising |
| CN105675136A (zh) * | 2016-03-22 | 2016-06-15 | 深圳先进技术研究院 | 一种编码孔径光谱成像系统 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像系统的快速重构方法 |
| CN108268902A (zh) * | 2018-01-26 | 2018-07-10 | 厦门大学 | 基于递归图的高光谱图像变换及物质检测识别系统及方法 |
| CN109447890A (zh) * | 2019-01-09 | 2019-03-08 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的编码优化方法 |
| CN109636769A (zh) * | 2018-12-18 | 2019-04-16 | 武汉大学 | 基于双路密集残差网络的高光谱和多光谱图像融合方法 |
| CN109697697A (zh) * | 2019-03-05 | 2019-04-30 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的重构方法 |
| CN109741407A (zh) * | 2019-01-09 | 2019-05-10 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
| CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的编码优化方法 |
-
2019
- 2019-09-25 CN CN201910911701.3A patent/CN110717947B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048950A1 (en) * | 2014-05-16 | 2016-02-18 | North Carolina State University | Compressive imaging using approximate message passing with denoising |
| WO2015191998A1 (en) * | 2014-06-12 | 2015-12-17 | Duke University | Systyem and method for improved computational imaging |
| CN105675136A (zh) * | 2016-03-22 | 2016-06-15 | 深圳先进技术研究院 | 一种编码孔径光谱成像系统 |
| CN107525588A (zh) * | 2017-08-16 | 2017-12-29 | 北京理工大学 | 一种基于gpu的双相机光谱成像系统的快速重构方法 |
| CN108268902A (zh) * | 2018-01-26 | 2018-07-10 | 厦门大学 | 基于递归图的高光谱图像变换及物质检测识别系统及方法 |
| CN109636769A (zh) * | 2018-12-18 | 2019-04-16 | 武汉大学 | 基于双路密集残差网络的高光谱和多光谱图像融合方法 |
| CN109447890A (zh) * | 2019-01-09 | 2019-03-08 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的编码优化方法 |
| CN109741407A (zh) * | 2019-01-09 | 2019-05-10 | 北京理工大学 | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 |
| CN109697697A (zh) * | 2019-03-05 | 2019-04-30 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的重构方法 |
| CN109883548A (zh) * | 2019-03-05 | 2019-06-14 | 北京理工大学 | 基于优化启发的神经网络的光谱成像系统的编码优化方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIZHI WANG ET AL: ""Adaptive Nonlocal Sparse Representation for Dual-Camera Compressive Hyperspectral Imaging"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| YING FU ET AL: ""Joint Camera Spectral Sensitivity Selection and Hyperspectral Image Recovery"", 《COMPUTER VISION – ECCV 2018》 * |
| 王立志: ""基于压缩感知理论的双相机光谱成像系统"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825900A (zh) * | 2019-11-07 | 2020-02-21 | 重庆紫光华山智安科技有限公司 | 特征重构层的训练方法、图像特征的重构方法及相关装置 |
| CN112950736A (zh) * | 2021-03-05 | 2021-06-11 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN112950736B (zh) * | 2021-03-05 | 2024-04-09 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116579966B (zh) * | 2023-07-11 | 2023-11-17 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717947B (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009590B (zh) | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 | |
| Arad et al. | Ntire 2022 spectral recovery challenge and data set | |
| Yuan et al. | Plug-and-play algorithms for video snapshot compressive imaging | |
| Zhang et al. | Hyperspectral image reconstruction using deep external and internal learning | |
| CN110717947B (zh) | 一种基于外部和内部训练的高质量光谱重构方法 | |
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
| CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
| CN109883548B (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| Zhang et al. | A survey on computational spectral reconstruction methods from RGB to hyperspectral imaging | |
| US11532071B2 (en) | Creating super-resolution images | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 | |
| CN109035267B (zh) | 一种基于深度学习的图像目标抠取方法 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| CN109447891A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 | |
| CN112949636B (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN112184553A (zh) | 一种基于深度先验信息的高光谱图像超分辨率方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| Sun et al. | Tuning IR-cut filter for illumination-aware spectral reconstruction from RGB | |
| CN114511484A (zh) | 基于多级LatLRR的红外和彩色可见光图像快速融合方法 | |
| CN112785517A (zh) | 一种基于高分辨率表征的图像去雾方法和装置 | |
| CN113008371A (zh) | 一种深度学习解色散模糊的高光谱成像方法 | |
| Chen et al. | Prior image guided snapshot compressive spectral imaging | |
| CN114549361B (zh) | 一种基于改进U-Net模型的去图像运动模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |