CN111157114A - 基于波长转换的长波红外多光谱成像方法及装置 - Google Patents
基于波长转换的长波红外多光谱成像方法及装置 Download PDFInfo
- Publication number
- CN111157114A CN111157114A CN201911361649.5A CN201911361649A CN111157114A CN 111157114 A CN111157114 A CN 111157114A CN 201911361649 A CN201911361649 A CN 201911361649A CN 111157114 A CN111157114 A CN 111157114A
- Authority
- CN
- China
- Prior art keywords
- long
- image
- wave infrared
- wave
- infrared spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 27
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 21
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 52
- 230000003595 spectral effect Effects 0.000 claims abstract description 35
- 238000001228 spectrum Methods 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 230000003287 optical effect Effects 0.000 claims description 35
- 239000013078 crystal Substances 0.000 claims description 15
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 14
- 229910052710 silicon Inorganic materials 0.000 claims description 14
- 239000010703 silicon Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000009022 nonlinear effect Effects 0.000 claims description 3
- 238000005086 pumping Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- GQYHUHYESMUTHG-UHFFFAOYSA-N lithium niobate Chemical compound [Li+].[O-][Nb](=O)=O GQYHUHYESMUTHG-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种基于波长转换的长波红外多光谱成像方法及装置，将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像；再将所述不同光谱通道的长波红外光谱图像转换成近红外光谱图像；通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像；通过压缩感知原理从所述光谱图像
恢复出原始长波红外光谱图像；通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得高质量的具有目标长波特性的近红外光谱图像WNP×NQ×l。本发明利用基于深度学习的算法对光谱进行重构和超分，基于深度学习的神经网络能更好的提取光谱图像的空间相关性和谱间相关性，得到更高分辨率和信噪比的光谱图像。
Description
技术领域
本发明属于多光谱成像探测领域，具体涉及一种基于波长转换的长波红外多光谱成像方法及装置。
背景技术
红外成像因其抗干扰能力强，穿透力较强等优点成为了一种可见光成像无法替代的成像方式，可以探测到许多可见光波段探测不到的细节。由于大气对红外波段有很大地散射和吸收作用，所以可以利用的红外波段只有几个大气窗口，而长波红外波段正好处于8-12μm的大气窗口，由于长波红外波段独特的光谱特性，长波红外成像在地理遥感、化学气体流检测、热流分析等民用领域有广泛的应用。
目前红外成像主要是利用红外探测器来实现，但是红外探测器存在分辨率低，面阵尺寸小，价格昂贵，谱段窄，光谱信息缺乏等缺点，所以将长波红外转换到近红外波段，利用硅基探测器进行探测成为了红外成像领域很好的选择。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于波长转换的长波红外多光谱成像方法及装置。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于波长转换的长波红外多光谱成像方法，该方法为：
将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像；
再将所述不同光谱通道的长波红外光谱图像转换成近红外光谱图像；
通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像；
通过压缩感知原理从所述光谱图像
恢复出原始长波红外光谱图像；
通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得高质量的具有目标长波特性的近红外光谱图像WNP×NQ×l。
上述方案中，所述将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像，具体为：假设原始长波红外光谱图像数据立方体VP×Q×L，其分辨率大小为P×Q，光谱通道数为L；将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)
上述方案中，所述将原始长波红外光谱图像数据转换成近红外光谱数据，具体为：将将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)转换成近红外光谱数据立方体WP×Q×l(l＝1,2,...,L)。
上述方案中，所述通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像，具体为：光束通过编码模板时，一个尺寸为P×Q的随机矩阵g对近红外光谱立方体完成编码，通过尺寸为
的探测器采集经过压缩采样的光谱图像
压缩采样比为
上述方案中，所述通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得超分图像WNP×NQ×l，具体通过以下步骤实现：
(4a)，先将低分辨率图像使用双三次插值放大至目标尺寸，再提取图像块组成高维的特征图；
F1(Y)＝max(0,A1*W+B1)
其中，A1,B1为超参，激活函数为ReLu函数；
(4b)，第一层卷积：卷积核尺寸9×9，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1×1，卷积核数目32(n2)，输出32张特征图，实现两个高维特征向量的非线性映射：
F2(Y)＝max(0,A2*F1(Y)+B2)
其中，W2为n1*1*1*n2；
(4c)，第三层卷积：卷积核尺寸5×5，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像；
F(Y)＝A3*F2(Y)+B3；
(4d)，估计超参Θ＝{A1,A2,A3,B1,B2,B3},F(Y；Θ)重构的结果，Xi为实际场景，使用MSE函数作为损失函数：
本发明实施例还提供一种基于波长转换的长波红外多光谱成像装置，其特征在于，包括旋转滤光片、泵浦光源、第一透镜、非线性晶体、4-f光学系统、编码模板、硅基探测器，
目标辐射的长波红外光入射到所述旋转滤光片，经过所述旋转滤光片出射长波红外光到第一透镜；
所述泵浦光源产生的泵浦激光直接入射到第一透镜；
所述长波红外光和泵浦激光通过第一透镜转为共光轴的光束，垂直入射非线性晶体；
所述非线性晶体通过非线性效应将长波红外转换为近红外光，并且经4-f光学系统、编码模板转换后出射到硅基探测器；
所述硅基探测器采集经过编码的近红外光光谱图像，并且通过压缩感知算法恢复真实尺寸的光谱图像，再基于卷积神经网络的超分辨率网络(SRCNN)进行空间超分，获得高质量的具有目标长波特性的近红外光谱图像。
上述方案中，所述第一透镜上镀有红外长波长波波段的增透膜和涡旋泵浦激光波长的高反膜。
上述方案中，所述4-f光学系统包括完全相同的第四透镜和第五透镜，所述非线性晶体的输出面作为4-f光学系统的物面，所述硅基探测器接收面作为4-f光学系统的像面，所述编码模板放置4-f光学系统的傅里叶平面的位置，即第四透镜和第五透镜的焦平面位置。
与现有技术相比，本发明利用基于深度学习的算法对光谱进行重构和超分，基于深度学习的神经网络能更好的提取光谱图像的空间相关性和谱间相关性，得到更高分辨率和信噪比的光谱图像。
附图说明
图1为本发明实施例提供一种基于波长转换的长波红外多光谱成像方法的流程图；
图2为本发明实施例提供一种基于波长转换的长波红外多光谱成像方法中SRCNN的网络结构示意图；
图3为本发明实施例提供一种基于波长转换的长波红外多光谱成像装置的结构示意图；
图4为本发明实施例提供一种基于波长转换的长波红外多光谱成像装置中旋转滤光片的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于波长转换的长波红外多光谱成像方法,如图1所示，该方法通过以下步骤实现：
步骤101：将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像；
具体地，原始长波红外光谱图像数据立方体VP×Q×L，其分辨率大小为P×Q，光谱通道数为L；将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)。
步骤102：将所述不同光谱通道的长波红外光谱图像转换成近红外光谱图像；
具体地，将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)转换成近红外光谱数据立方体WP×Q×l(l＝1,2,...,L)。
步骤103：通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像；
具体地，光束通过编码模板时，一个尺寸为P×Q的随机矩阵g对近红外光谱立方体完成编码，通过尺寸为
的探测器采集经过压缩采样的光谱图像
压缩采样比为
编码模板是基于高斯随机矩阵设计的编码模板，码元只存在0和1两种，服从高斯随机分布。随机高斯测量矩阵是压缩感知中最常用的测量矩阵，矩阵构造方式是：矩阵φ∈RM*N，矩阵每个元素独立地服从0均值，方差为
即：
测量点数M满足M＝cKlog(N/K)，N是信号的长度，是信号的稀疏表示，编码矩阵满足有限等距性质(RIP)。
步骤104：通过压缩感知原理从所述光谱图像
恢复出原始长波红外光谱图像；
具体地，根据压缩感知原理可知，对于一些稀疏基ψ中的稀疏信号x，可以通过解决最小化问题来获得估计系数
其中
是测量结果，Φ是测量矩阵，ΦΨ是感知矩阵，通过从系数向量θ中找到具有最小l1范数的
利用x＝Ψθ构建原始图像。在实际测量过程中，考虑到各种误差对成像模型的影响，上式可以改写成
本发明采用补码空间匹配追踪(CMP)恢复算法实现压缩光谱图像的恢复，核心思想是利用源信号在矩阵空间和矩阵的正交空间具有互补特性的性质,寻找源信号的最优解。
测量矩阵Φ∈RM×N的行是相互独立的，则ΦT的列线性独立，即ΦT的列是M维子空间，定义为S，并且S是N维子空间RN的子空间。已知测量结果y和原始问题y＝Φx，得到其最小二乘解：
xls＝ΦT(ΦΦT)-1y
其中，xls∈S，x*是要求的稀疏解，则x*可以表示为
x*＝xls+xc
其中xc是非零向量且满足Φxc＝0，即，xc属于S的正交补空间。正交补空间标记为Sc.实际中，xc记为成像过程中的噪声。y是k阶稀疏的，即x只有的k个元素为非零。其他N-k个元素全为零，标记为
x*通过x*＝xls+xc来解出。已知方程xls＝ΦT(ΦΦT)-1y和
可得
因此，解方程即重构原始图像的关键是找到k阶元素xc[k]。
通过正交三角(QR)分解ΦT得到G。矩阵G的尺寸是N×(N-M),且N-M列是相互独立的，列向量构成N-M维子空间。任意N-1列是N-M维子空间。已知xc∈Sc，所以xc可以表示为G的列向量的线性组合。如果系数是N-M维向量zc，可得xc＝Gzc，所以
等同于
由于
和
通过最小二乘法我们得到
联立上式和xc＝Gzc，得
推出
其中，g是矩阵G的第k行。
联立上式和方程x*＝xls+xc得
由此，得到系数解x*，此时得到的是初步重构图像，与原始图像有较大误差。在CMP的推导中，首先找到满足
的N-1个元素，即
N-1个元素并不都为零，但接近零。因此，在CMP中，在每个迭代过程中选择元素的方法是
假设
和
利用以下方程选择元素
稀疏系数是
通过gk可以获得所需的非零元素。通过迭代来降低x*[k]的误差，第t次迭代过程中，如果最后的迭代余量为rt-1，为了选择有用的元素，需解方程
计算的基础是
选择匹配元素，即G中的第k行gk，对应系数是
计算余量是
最后，第t次迭代后的近似误差
此时，可以得到最接近原始稀疏图像x的k阶稀疏重建图像x*[k]即原始长波红外光谱图像WP×Q×l。
步骤105：通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得高质量的具有目标长波特性的近红外光谱图像WNP×NQ×l。
具体地，如图2所示，(4a)，图像块的提取。先将低分辨率图像使用双三次插值放大至目标尺寸(如放大至2倍、3倍、4倍，属于预处理阶段)，此时仍然称放大至目标尺寸后的图像为低分辨率图像。从低分辨率输入图像中提取图像块，组成高维的特征图。
F1(Y)＝max(0,A1*W+B1)
其中，A1,B1为超参。激活函数为ReLu函数。
(4b)，非线性映射。第一层卷积：卷积核尺寸9×9，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1×1，卷积核数目32(n2)，输出32张特征图；这个过程实现两个高维特征向量的非线性映射；
F2(Y)＝max(0,A2*F1(Y)+B2)
其中，W2为n1*1*1*n2。采用了1*1卷积，目的应该是压缩feature map的深度，同时也起到非线性映射的作用。
(4c)，重建。第三层卷积：卷积核尺寸5×5，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像；
F(Y)＝A3*F2(Y)+B3
(4d)，损失函数。估计超参Θ＝{A1,A2,A3,B1,B2,B3},F(Y；Θ)重构的结果，Xi为实际场景，使用MSE函数作为损失函数。
本发明实施例还提供一种基于新型涡旋光源波长转换的长波红外多光谱计算编码成像装置，如图3所示，包括准直透镜1、旋转滤光片2、泵浦光源3、第一透镜4、非线性晶体5、4-f光学系统6、编码模板7、硅基探测器8，
目标1辐射的长波红外光入射到所述旋转滤光片2，经过所述旋转滤光片2出射长波红外光到第一透镜4；
所述泵浦光源3产生的泵浦激光直接入射到第一透镜4；
所述长波红外光和泵浦激光通过第一透镜4转为共光轴的光束，垂直入射非线性晶体5；
所述非线性晶体5通过非线性效应将长波红外转换为近红外光，并且经4-f光学系统6、编码模板7转换后出射到硅基探测器8；
所述硅基探测器8采集经过编码的近红外光光谱图像，并且通过压缩感知算法恢复真实尺寸的光谱图像，再基于卷积神经网络的超分辨率网络(SRCNN)进行空间超分，获得高质量的具有目标长波特性的近红外光谱图像。
如图4所示，所述旋转滤光片2进行分光，主要由两部分组成：旋转滤光轮部分和电机部分。滤光轮部分设计具有12个谱段，帧频为20Hz，为了在尽量减小滤光轮面积的基础上扩大通光部分的面积系统设计滤光轮直径为157mm，安装滤光片部分的直径为30mm，滤光片通光部分的直径为25.4mm，相邻两滤光片安装位置间的夹角为3o。滤光轮上的12个滤光片可以根据目标的光谱特性来进行更换。电机部分使用步进电机，精确地控制滤光轮的转速和位置。
本发明中泵浦光源3使用涡旋泵浦激光可以通过模式转换法，主被动激光系统法，合成全息术法(CGH)，利用空间光调制器(SLM)，光纤，螺旋位相板(SPP)，以及在非线性介质中由于自作用而引起的波前变异等多种方法获得含有光涡旋的激光场分布。
所述第一透镜4上镀有红外长波波段的增透膜和涡旋泵浦激光波长的高反膜。
为了实现高效率的波长转换，本发明使用周期性极化非线性晶体例如周期性极化铌酸锂晶体(pp-LN)，因为非线性周期性结构提供的倒格矢则能较容易地实现相位匹配，能有效的实现非线性频率转化，为了实现波长转换的宽波段覆盖，可以通过设计晶体啁啾结构来针对不同波长设计不同的极化周期来实现。
所述4-f光学系统6包括完全相同的第四透镜61和第五透镜62，所述非线性晶体5的输出面作为4-f光学系统6的物面，所述硅基探测器8接收面作为4-f光学系统6的像面，所述编码模板7放置在4-f光学系统6的傅里叶平面的位置，即第四透镜61和第五透镜62的焦平面位置。
本发明的编码模板7基于高斯随机矩阵设计，只存在0和1两种码元。基于压缩感知原理，利用编码模板对经过波长转换得到的目标的近红外光信号的光谱进行编码，用硅基探测器采集光谱经过编码的近红外光图像，利用深度学习算法对编码后的近红外光谱图像进行光谱图像重构，并且对得到的重构图像进行超分，得到较高质量的具有目标长波红外特征的近红外光光谱图像。
所述编码模板7是基于高斯随机矩阵设计的编码模板，码元只存在0和1两种，服从高斯随机分布。随机高斯测量矩阵是压缩感知中最常用的测量矩阵，矩阵构造方式是：矩阵φ∈RM*N，矩阵每个元素独立地服从0均值，方差为
即：
满足有限等距性质(RIP)。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (8)
1.一种基于波长转换的长波红外多光谱成像方法，其特征在于,该方法为：
将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像；
再将所述不同光谱通道的长波红外光谱图像转换成近红外光谱图像；
通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像；
通过压缩感知原理从所述光谱图像
恢复出原始长波红外光谱图像；
通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得高质量的具有目标长波特性的近红外光谱图像WNP×NQ×l。
2.根据权利要求1所述的基于波长转换的长波红外多光谱成像方法，其特征在于，所述将原始长波红外光谱图像进行分光获得不同光谱通道的长波红外光谱图像，具体为：假设原始长波红外光谱图像数据立方体VP×Q×L，其分辨率大小为P×Q，光谱通道数为L；将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)。
3.根据权利要求1或2所述的基于波长转换的长波红外多光谱成像方法，其特征在于，所述将原始长波红外光谱图像数据转换成近红外光谱数据，具体为：将将VP×Q×L分成不同光谱通道的长波红外光谱图像数据立方体VP×Q×l(l＝1,2,...,L)转换成近红外光谱数据立方体WP×Q×l(l＝1,2,...,L)。
4.根据权利要求3所述的基于波长转换的长波红外多光谱成像方法，其特征在于，所述通过基于随机高斯矩阵设计的编码模板对近红外光谱图像完成编码获得光谱图像，具体为：光束通过编码模板时，一个尺寸为P×Q的随机矩阵g对近红外光谱立方体完成编码，通过尺寸为
的探测器采集经过压缩采样的光谱图像
压缩采样比为
5.根据权利要求4所述的基于波长转换的长波红外多光谱成像方法，其特征在于，所述通过基于深度学习的SRCNN网络对恢复出的原始长波红外光谱图像WP×Q×l进行超分重建，获得超分图像WNP×NQ×l，具体通过以下步骤实现：
(4a)，先将低分辨率图像使用双三次插值放大至目标尺寸，再提取图像块组成高维的特征图；
F1(Y)＝max(0,A1*W+B1)
其中，A1,B1为超参，激活函数为ReLu函数；
(4b)，第一层卷积：卷积核尺寸9×9，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1×1，卷积核数目32(n2)，输出32张特征图，实现两个高维特征向量的非线性映射：
F2(Y)＝max(0,A2*F1(Y)+B2)
其中，W2为n1*1*1*n2；
(4c)，第三层卷积：卷积核尺寸5×5，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像；
F(Y)＝A3*F2(Y)+B3；
(4d)，估计超参Θ＝{A1,A2,A3,B1,B2,B3},F(Y；Θ)重构的结果，Xi为实际场景，使用MSE函数作为损失函数：
6.一种基于波长转换的长波红外多光谱成像装置，其特征在于，包括旋转滤光片、泵浦光源、第一透镜、非线性晶体、4-f光学系统、编码模板、硅基探测器，
目标辐射的长波红外光入射到所述旋转滤光片，经过所述旋转滤光片出射长波红外光到第一透镜；
所述泵浦光源产生的泵浦激光入射到第一透镜；
所述长波红外光和泵浦激光通过第一透镜转为共光轴的光束，垂直入射非线性晶体；
所述非线性晶体通过非线性效应将长波红外转换为近红外光，并且经4-f光学系统、编码模板转换后出射到硅基探测器；
所述硅基探测器采集经过编码的近红外光光谱图像，并且通过压缩感知算法恢复真实尺寸的光谱图像，再基于卷积神经网络的超分辨率网络(SRCNN)进行空间超分，获得高质量的具有目标长波特性的近红外光谱图像。
7.根据权利要求7所述的基于波长转换的长波红外多光谱成像装置，其特征在于，所述第一透镜上镀有红外长波长波波段的增透膜和涡旋泵浦激光波长的高反膜。
8.根据权利要求6-7任意一项所述的基于波长转换的长波红外多光谱成像装置，其特征在于，所述4-f光学系统包括完全相同的第四透镜和第五透镜，所述非线性晶体的输出面作为4-f光学系统的物面，所述硅基探测器接收面作为4-f光学系统的像面，所述编码模板放置在4-f光学系统的傅里叶平面的位置，即第四透镜和第五透镜的焦平面位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911361649.5A CN111157114B (zh) | 2019-12-26 | 2019-12-26 | 基于波长转换的长波红外多光谱成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911361649.5A CN111157114B (zh) | 2019-12-26 | 2019-12-26 | 基于波长转换的长波红外多光谱成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111157114A true CN111157114A (zh) | 2020-05-15 |
| CN111157114B CN111157114B (zh) | 2022-01-28 |
Family
ID=70558154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911361649.5A Active CN111157114B (zh) | 2019-12-26 | 2019-12-26 | 基于波长转换的长波红外多光谱成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111157114B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
| CN114912533A (zh) * | 2022-05-23 | 2022-08-16 | 国网安徽省电力有限公司铜陵供电公司 | 一种应用于变压器的状态监测系统及监测方法 |
| CN115327771A (zh) * | 2022-08-15 | 2022-11-11 | 华侨大学 | 一种涡旋光信息压缩感知的装置与方法 |
| CN115909180A (zh) * | 2023-01-04 | 2023-04-04 | 中环碳和(北京)科技有限公司 | 一种六氟化硫测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160123810A1 (en) * | 2014-10-29 | 2016-05-05 | Panasonic Intellectual Property Management Co., Ltd. | Image pickup apparatus, spectroscopic system, and spectroscopic method |
| WO2018007572A1 (en) * | 2016-07-08 | 2018-01-11 | Danmarks Tekniske Universitet | Infrared upconversion spectrometer for the mid-ir range |
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| CN109447898A (zh) * | 2018-09-19 | 2019-03-08 | 北京理工大学 | 一种基于压缩感知的高光谱超分辨计算成像系统 |
-
2019
- 2019-12-26 CN CN201911361649.5A patent/CN111157114B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160123810A1 (en) * | 2014-10-29 | 2016-05-05 | Panasonic Intellectual Property Management Co., Ltd. | Image pickup apparatus, spectroscopic system, and spectroscopic method |
| WO2018007572A1 (en) * | 2016-07-08 | 2018-01-11 | Danmarks Tekniske Universitet | Infrared upconversion spectrometer for the mid-ir range |
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| CN109447898A (zh) * | 2018-09-19 | 2019-03-08 | 北京理工大学 | 一种基于压缩感知的高光谱超分辨计算成像系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王晓蕊: "《光电成像系统-建模、仿真、测试与评估》", 30 September 2017 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
| CN114912533A (zh) * | 2022-05-23 | 2022-08-16 | 国网安徽省电力有限公司铜陵供电公司 | 一种应用于变压器的状态监测系统及监测方法 |
| CN115327771A (zh) * | 2022-08-15 | 2022-11-11 | 华侨大学 | 一种涡旋光信息压缩感知的装置与方法 |
| CN115909180A (zh) * | 2023-01-04 | 2023-04-04 | 中环碳和(北京)科技有限公司 | 一种六氟化硫测量方法 |
| CN115909180B (zh) * | 2023-01-04 | 2024-01-26 | 中环碳和(北京)科技有限公司 | 一种六氟化硫测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111157114B (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111157114B (zh) | 基于波长转换的长波红外多光谱成像方法及装置 | |
| Wang et al. | Hyperspectral image reconstruction using a deep spatial-spectral prior | |
| Golbabaee et al. | Hyperspectral image compressed sensing via low-rank and joint-sparse matrix recovery | |
| Tan et al. | Compressive hyperspectral imaging via approximate message passing | |
| Golbabaee et al. | Joint trace/TV norm minimization: A new efficient approach for spectral compressive imaging | |
| US9607362B2 (en) | Compressive imaging using approximate message passing with denoising | |
| CN104154998B (zh) | 一种基于压缩感知的计算多光谱成像图谱的重构方法 | |
| CN108955882B (zh) | 基于液晶高光谱计算成像系统的三维数据重构方法 | |
| CN204788661U (zh) | 基于压缩感知的计算多光谱成像系统 | |
| Mahalanobis et al. | Object specific image reconstruction using a compressive sensing architecture for application in surveillance systems | |
| Tsagkatakis et al. | Graph and rank regularized matrix recovery for snapshot spectral image demosaicing | |
| CN115561182A (zh) | 一种基于先验图像引导的快照式光谱成像系统重构方法 | |
| Degraux et al. | Multispectral compressive imaging strategies using Fabry–Pérot filtered sensors | |
| CN111192197A (zh) | 基于涡旋光源波长转换的中波红外多光谱成像方法及装置 | |
| CN109682476B (zh) | 一种利用自适应编码孔径进行压缩高光谱成像的方法 | |
| CN112665720B (zh) | 基于互补压缩编码的双通道可调谐高光谱成像仪和方法 | |
| CN116091640B (zh) | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 | |
| Xiao et al. | Distributed compressed sensing of hyperspectral images according to spectral library matching | |
| Cang et al. | Research on hyperspectral image reconstruction based on GISMT compressed sensing and interspectral prediction | |
| Tsagkatakis et al. | Non-negative matrix completion for the enhancement of snapshot mosaic multispectral imagery | |
| CN110390699A (zh) | 一种基于压缩感知的高光谱图像分布式压缩方法及系统 | |
| Hunt | Prospects for image restoration | |
| Ely et al. | Exploiting structural complexity for robust and rapid hyperspectral imaging | |
| CN117571128B (zh) | 一种高分辨率偏振光谱图像成像方法及系统 | |
| Xiao et al. | Distributed Compressed Hyperspectral Sensing Imaging Incorporated Spectral Unmixing and Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |