CN115855250A - 一种基于深度学习光谱编解码的光谱成像系统 - Google Patents

Abstract

本发明公开了一种基于深度学习光谱编解码的光谱成像系统，涉及光谱成像技术领域，解决了现有系统结构复杂、体积庞大等问题。系统包括像元级随机滤光片阵列和光强探测器，随机滤光片和光强探测器的像元一一对应设置，光强探测器连接光谱重构网络；入射到像元级随机滤光片阵列上的光经过滤光后入射到光强探测器，光强探测器将探测结果输入到光谱重构网络，经过光谱重构网络的处理得到光谱重构图像。本发明具有结构简单、体积小、高空间‑光谱分辨率、光谱能量利用率高、分光谱段达像元级、光谱图像畸变小、高信噪比、小数据量存储与传输、结构简单及体积小巧等优点。

Description

一种基于深度学习光谱编解码的光谱成像系统

技术领域

本发明涉及光谱成像技术领域，具体涉及一种基于深度学习光谱编解码的光谱成像系统。

背景技术

光谱成像系统是在扫描成像原理的基础上，将成像辐射的波段划分成更狭窄的多个波段同时成像，从而获得同一景物的多个光谱波段的图像。

传统光谱成像分辨率的改变通过可调谐滤波器和空间光调制器实现，这些插入器件导致光谱成像系统结构复杂、体积庞大。此外，棱镜、光栅、滤波器等窄带分光器件存在光谱能量利用率低、分光谱段少、光谱图像畸变大等问题。

发明内容

为了解决上述问题，本发明提供一种基于深度学习光谱编解码的光谱成像系统。

本发明为解决技术问题所采用的技术方案如下：

一种基于深度学习光谱编解码的光谱成像系统，包括像元级随机滤光片阵列和光强探测器，像元级随机滤光片阵列的随机滤光片和光强探测器的像元一一对应设置，光强探测器连接光谱重构网络；入射到像元级随机滤光片阵列上的光经过像元级随机滤光片阵列滤光后入射到光强探测器，光强探测器将探测结果输入到光谱重构网络，经过光谱重构网络得到光谱重构图像。

本发明的有益效果是：

本发明利用随机滤光片阵列完成光谱信息的压缩编码采集，通过光谱重构网络重构图像，无庞大沉重的分光结构，具有结构简单、体积小、高空间-光谱分辨率、光谱能量利用率高、光谱图像畸变小、高信噪比、小数据量存储与传输、结构简单及体积小巧等优点，可实现高精度、低延时的空间-光谱分辨率动态变换的高光谱成像，使得高光谱成像的分辨率具备随应用场景弹性转换能力，可应用于航空航天遥感探测侦察等领域。

附图说明

图1为本发明深度学习光谱编解码原理；

图2为本发明阵列编码单元与分辨率的变换关系图；

图3为本发明光谱重构网络的训练过程框图；

图4为本发明的光谱成像系统示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

一种基于深度学习光谱编解码的光谱成像系统，包括像元级随机滤光片阵列和光强探测器，像元级随机滤光片阵列的随机滤光片和光强探测器的像元一一对应设置，光强探测器连接光谱重构网络；入射到像元级随机滤光片阵列的光束能够经过像元级随机滤光片阵列滤光后入射到光强探测器得到探测结果，光强探测器能够将探测结果输入到光谱重构网络，所述探测结果经过光谱重构网络能够对光谱进行重构计算得到光谱重构图像。

上述光谱成像系统还包括变分辨率光学系统，变分辨率光学系统、像元级随机滤光片阵列和光强探测器顺次设置，目标物体的反射光能够经过变分辨率光学系统透射后入射到像元级随机滤光片阵列上。

上述变分辨率光学系统为变分辨率光学成像透镜组，变尺度光学系统通过改变光学系统分辨率，使得光学成像的最小弥散斑与对应的阵列大小相匹配，从而实现变尺度光谱成像。

像元级随机滤光片阵列和光强探测器构成面阵光谱成像探测器，即面阵光谱成像探测器包括像元级随机滤光片阵列和光强探测器，像元级随机滤光片阵列为二维阵列，其随机滤光片和光强探测器的像元一一对应设置，位于玻璃基板上的像元级随机滤光片阵列通过与光强探测器集成形成所述面阵光谱成像探测器。

光谱重构网络能够重构得到第一空间分辨率的光谱重构图像、第二空间分辨率的光谱重构图像、第三空间分辨率的光谱重构图像，第一空间分辨率小于第二空间分辨率小于第三空间分辨率，分别对应低分辨率、中分辨率和高分辨率。光谱重构网络包括第一空间分辨率重构网络、第二空间分辨率重构网络、第三空间分辨率重构网络，一一对应的能够重构低分辨率光谱图像、中分辨率光谱图像、高分辨率光谱图像。本文中未详述是光谱分辨率还是空间分辨率是时，均是指空间分辨率。

面阵光谱成像探测器为4×4光谱探测单元构成的阵列，4×4光谱探测单元中随机滤光片的阵列编码单元包括三种类型，所述阵列编码单元中的随机滤光片的种类不同，类型一为：4×4光谱探测单元包括4组2×2阵列编码单元，类型二为：4×4光谱探测单元的周期延拓(以3×3阵列排列的9个4×4光谱探测单元)包括16组3×3阵列编码单元，类型三为：4×4光谱探测单元包括1组4×4阵列编码单元。类型一对应低分辨率，类型二对应中分辨率，类型三对应高分辨率。

第一分辨率重构网络、第二分辨率重构网络和第三分辨率重构网络的训练过程均为：根据空间相邻像素的光谱相似性，按像素将原始光谱数据S_ORI划分成A×A像素阵列，将每个A×A像素阵列中的每个像素点进行光谱叠加，得到组合A×A个像元的光谱数据，然后输入第M分辨率重构网络，输出第M分辨率重构网络与原始光谱数据S_ORI的下采样的拟合结果，或者输出第M分辨率重构数据与原始光谱数据S_ORI的拟合结果。所述A取2、3、4，M取一、二、三，A＝2时，M为一；A＝3时，M为二；A＝4时，M为三。

下面对本发明的一种基于深度学习光谱编解码的光谱成像系统进行详述。

首先介绍深度学习光谱编解码原理。

深度学习光谱编解码原理如图1所示，随机滤光片组对原始光谱S(λ)进行压缩编码，由光强探测器感应编码后的光强i，然后对光强探测器光电流进行模-数转换(ADC)得到光强向量I；将I输入光谱重构网络完成光谱的复原。

压缩编码后的光强大小为

其中，λ表示波长，S(λ)的波长范围为λ₁至λ₂(λ₁＜λ₂)；n表示随机滤光片的编号，N为正整数，Tn(λ)表示编号为n的随机滤光片对波长λ的透过率，编码为S_ORI与透过率T进行点积运算，一共N种随机滤光片；i_n为S(λ)由Tn(λ)编码后的光强。设i＝[i₁,i₂,…,i_N]为编码光强向量，则由光强探测器得到离散化光强向量I＝[I₁,I₂,…,I_N]，将低维离散化光强向量I输入光谱重构网络REC_ω得到高维的光谱向量

通过优化调整光谱重构光谱REC_ω的参数使得/>

不断逼近原始光谱S。其优化表达如下：

式中ξ为正则化因子，ω为神经网络参数，

为光谱重构网络得到的重构光谱，R(ω)为正则项。该式可分为两项，前一项||S-REC_ω(I)||₂为重构误差项，表示/>

与S的拟合程度；后一项R(ω)正则项为神经网络参数约束项，用于防止重构网络过拟合，一般采用l₂正则化约束，使得||ω||₂≤C(0≤C＜∞)，C为常数，两项相加构成损失项，优化使得损失项值接近零。优化过程为：首先是正向传播得到重构光谱/>

的预测值，然后计算损失值及其对ω的梯度，根据该梯度由反向传播算法更新神经网络参数ω。重复这个过程使得损失值下降接近零，从而实现网络的最优化。

接下来介绍不同分辨率的光谱成像原理。

利用深度学习光谱编解码网络的自动特征提取能力实现变尺度光谱成像，通过将16种不同种类的随机滤光片以2×2阵列编码单元(共4组)、3×3阵列编码单元(共16组)和4×4阵列编码单元(共1组)进行组合以设定不同的编码维度，然后并行训练出各个编码尺度下对应分辨率的光谱重构网络。4×4阵列利用16片随机滤光片对入射光谱进行采集，光谱分辨率高而空间分辨率低；3×3阵列利用9片随机滤光片对入射光谱进行采集，为中等分辨率；2×2阵列利用4片随机滤光片对入射光谱进行采集，光谱分辨率低而空间分辨率高。变尺度光学系统通过改变光学系统分辨率，使得光学成像的最小弥散斑与对应的阵列大小相匹配，从而实现变尺度光谱成像，变尺度光谱成像的像元与分辨率的变换关系如图2所示。

图2中为3个4×4光谱探测单元，光谱探测单元包括光强探测器像元和随机滤光片，4×4光谱探测单元包括4×4光强探测器像元和对应4×4光强探测器像元设置的4×4随机滤光片构成，也就是共计16个随机滤光片，16个随机滤光片各不相同即每个为一种，对于4×4光谱探测单元来说，对于16个随机滤光片即16种随机滤光片。图2最左侧的图为：4×4光谱探测单元中，16种不同种类的随机滤光片以4x4阵列进行组合，构成1组4×4阵列编码单元；显然，对于4×4阵列编码单元的情况，4×4光谱探测单元作为一个光谱探测阵列的阵列单元。图2最右侧的图为：4×4光谱探测单元中，16种不同种类的随机滤光片以2×2阵列进行组合，构成4组2×2阵列编码单元；即，对于2×2阵列编码单元的情况，4×4光谱探测单元作为一个光谱探测阵列的阵列单元。图2中位于中间的图为：4×4光谱探测单元中，16种不同种类的随机滤光片以3×3阵列编码单元进行组合，也就是当9个4×4光谱探测单元以3×3阵列排列时，就构成了16组按照4×4阵列方式排列的3×3阵列编码单元，9个按照3×3阵列方式排列的4×4光谱探测单元形成一个12×12光谱探测单元，对于3×3阵列编码单元的情况，12×12光谱探测单元作为一个光谱探测阵列的单元。

光强探测器完成光强编码图像的采集后，依据每个4x4光谱探测单元的一个像元对应一种随机滤光片(共16种)，对光强探测器输出的图像像素进行分类，得到由16种随机滤光片调制后的图像I₁-I₁₆，将I₁-I₁₆输入对应的光谱重构网络完成整幅光谱图像的重构，即

其中

为重构光谱，离散化光强向量I＝[I₁,I₂,…,I₁₆]，REC_ω为光谱重构网络，REC_ω包括REC_ω2x2、REC_ω3x3和REC_ω4x4，REC_ω2x2为低分辨率重构网络、REC_ω3x3为中分辨率重构网络、REC_ω4x4为高分辨率重构网络，低分辨率、中分辨率和高分辨率并无具体数值要求，可根据实际需求设定分辨率数值的范围值，显然REC_ω2x2的分辨率＜REC_ω3x3的分辨率＜REC_ω4x4的分辨率。

图3为光谱成像重构网络原理框图，示意了2×2阵列光谱重构网络(编码维度为4)、3x3阵列光谱重构网络(编码维度为9)、与4×4阵列光谱重构网络(编码维度为16)并行训练结构。原始光谱数据S_ORI为光谱图像数据集(由高分辨率成像光谱仪采集)中相邻四个像元的光谱数据。下面介绍随机滤光片结构参数优化与三个分辨率网络的并行训练过程。

1)2×2阵列光谱重构网络(第一分辨率重构网络REC_ω2x2)训练过程：

根据空间相邻像素的光谱相似性，按像素将原始光谱数据S_ORI划分成2×2像素阵列，将每个2×2像素阵列中的每个像素点进行光谱叠加，得到组合4个像元的光谱数据，组合4个像元的光谱数据为经4种随机滤光片编码后的光谱数据，将经4种随机滤光片编码后的光谱数据输入低分辨率重构网络REC_ω2x2，输出低分辨率重构数据

与原始光谱数据S_ORI的下采样S_2x2的拟合结果(S_2x2对应/>

均对应2×2个像元)，或者输出低分辨率重构数据

与原始光谱数据S_ORI的拟合结果。

2)3×3阵列光谱重构网络(第二分辨率重构网络REC_ω3x3)训练：根据空间相邻像素的光谱相似性，按像素将原始光谱数据S_ORI划分成3×3像素阵列，将每个3×3像素阵列中的每个像素点进行光谱叠加，得到组合9个像元的光谱数据，组合9个像元的光谱数据为经9种随机滤光片编码后的光谱数据，将经9种随机滤光片编码后的光谱数据输入中分辨率重构网络REC_ω3x3，输出中分辨率重构数据

与原始光谱数据S_ORI的下采样S_3x3的拟合结果(S_3x3对应/>

均对应3×3个像元)，或者输出中分辨率重构数据/>

与原始光谱数据S_ORI的拟合结果。

3)4×4阵列光谱重构网络(第三分辨率重构网络REC_ω4x4)训练：根据空间相邻像素的光谱相似性，按像素将原始光谱数据S_ORI划分成4×4像素阵列，将每个4×4像素阵列中的每个像素点进行光谱叠加，得到组合16个像元的光谱数据，组合16个像元的光谱数据为经16种随机滤光片编码后的光谱数据，将经16种随机滤光片编码后的光谱数据输入高分辨率重构网络REC_ω4x4，输出高分辨率重构数据

与原始光谱数据S_ORI的下采样S_4x4的拟合结果(S_4x4对应/>

均对应4×4个像元)，或者输出高分辨率重构数据/>

与原始光谱数据S_ORI的拟合结果。

1)、2)、3)过程并行执行，共用一套随机滤光片(16种随机滤光片)结构参数，以均方误差加权和为损失值，计算损失函数对光谱重构网络参数的梯度，反向传播调整光谱重构网络参数和16种随机滤光片结构参数。重复这个过程直至损失值收敛接近零，使得原始光谱数据S_ORI经随机滤光片编码后，能被光谱重构网络以较高的精度解码复原。光谱重构网络优化表达如下：T_[n]＝TF(P_[n]),n＝1,…,16；

式中，T_[n]表示随机滤光片n的透过率，α₁、α₂和α₃分别为2×2阵列光谱重构网络、3×3阵列光谱重构网络和4×4阵列光谱重构网络损失权重，用于调整重点训练的网络，TF表示随机滤光片透过率计算函数，P_[n]表示随机滤光片结构参数，

表示重排后编号为n₁至编号为n_m的随机滤光片透过率列向量组成的光谱编码矩阵，n₁和n_m为随机滤光片的编号，n₁＜n_m，S_ORI[j]表示原始光谱数据分块后的第j个像元，j取值n₁-n_m，所述分块表示原始光谱图像的像素按照对应的分辨率要求，划分为2×2阵列、3×3阵列或4×4阵列，/>

表示2×2阵列光谱重构网络参数，/>

表示3×3阵列光谱重构网络参数，/>

表示4×4阵列光谱重构网络参数，R(ω)为并行网络正则项。

图3表示多尺度变分辨率光谱重构网络的训练方法，4×4光谱探测单元分共有16个光谱编码像元，以原始光谱图像数据S_ORI作为训练集对多尺度光谱重构网络进行训练，每个光谱编码像元分别对应原始光谱图像中相邻的16个像素的光谱数据S_ORI[1]-S_ORI[16]。对于2×2阵列光谱重构网络，将4×4光谱探测单元划分为4份相邻的2×2阵列编码单元，每个2×2阵列编码单元的4个光谱编码像元输入为对应该编码单元的原始光谱数据均值S_2×2[1]-S_2×2[4]

对于3×3阵列光谱重构网络，将4×4光谱探测单元在横纵方向周期延拓三次，形成由12×12光谱编码像元组成的阵列，将该阵列划分为16份相邻的3×3阵列编码单元，每个3×3阵列编码单元的9个光谱编码像元输入为对应该3×3阵列编码单元的原始光谱数据均值S_3×3[1]-S_3×3[16]/>

n₁-n₁₄₄为12×12光谱编码像元阵列重排后的编号)；对于4×4阵列光谱重构网络，16个光谱编码像元输入为对于该4×4阵列编码单元原始光谱数据均值。P＝(P₁,P₂,…,P_n)表示随机滤光片的结构参数，/>

表示2×2阵列光谱重构网络输出，/>

分别对应4份2×2阵列编码单元的重构光谱；/>

表示3×3阵列光谱重构网络输出，/>

分别对应16份3×3阵列编码单元；/>

表示4×4阵列光谱重构网络输出。

前面讨论的是成像与光谱采集的基本单元(相当于成像光谱仪的一个像素)，要实现全视场的光谱图像采集，需要通过扫描或者重复排列这些基本单元以历遍整个视场，下面讨论重复排列基本单元形成面阵探测器以采集全视场光谱图像的方法。利用光刻工艺，将基本单元所需的随机滤光片设计成像元大小，以2维阵列形式排列在玻璃基板上，通过与探测器集成形成面阵光谱成像探测器。一种基于深度学习光谱编解码的光谱成像系统如图4所示，目标物体提供原始光谱S，经过光谱成像系统后得到重构高光谱图像

(即得到重构光谱)。图4中成像与光谱采集的基本单元为4×4光谱探测单元。4×4光谱探测单元通过在探测器的4×4探测像元上分别对应集成不同透过率、像元大小的4×4像元级随机滤光片完成对入射光光谱的编码与编码光强采集，将4×4光谱探测单元周期性复制便可形成不同规模的光谱成像探测器。实际制作过程中，根据探测器规模与像元大小设计像元级随机滤光片阵列，在显微镜下通过高精度对准操作实现与探测器的集成。

本发明利用随机滤光片阵列完成光谱信息的压缩编码采集，通过光谱重构网络重构图像，无庞大沉重的分光结构，具有空间-光谱分辨率高、光谱能量利用率高、光谱图像畸变小、高信噪比、小数据量存储与传输、结构简单及体积小巧等优点。利用编码像元的组合变换，可实现高精度、低延时的空间-光谱分辨率动态变换的高光谱成像，使得高光谱成像的分辨率具备随应用场景弹性转换能力，可应用于航空航天遥感探测侦察等领域。

Claims (9)

1.一种基于深度学习光谱编解码的光谱成像系统，其特征在于，包括像元级随机滤光片阵列和光强探测器，像元级随机滤光片阵列的随机滤光片和光强探测器的像元一一对应设置，光强探测器连接光谱重构网络；入射到像元级随机滤光片阵列上的光经过像元级随机滤光片阵列滤光后入射到光强探测器，光强探测器将探测结果输入到光谱重构网络，经过光谱重构网络得到光谱重构图像。

2.如权利要求1所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，所述像元级随机滤光片阵列和光强探测器构成面阵光谱成像探测器。

3.如权利要求1所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，光谱重构网络包括第一分辨率重构网络、第二分辨率重构网络、第三分辨率重构网络。

4.如权利要求3所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，像元级随机滤光片阵列的具有16种随机滤光片。

5.如权利要求3所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，所述面阵光谱成像探测器为4×4光谱探测单元构成的阵列，4×4光谱探测单元中随机滤光片的阵列编码单元包括三种类型，所述阵列编码单元中的随机滤光片的种类不同，类型一为：4×4光谱探测单元包括4组2×2阵列编码单元，类型二为：4×4光谱探测单元包括3×3阵列编码单元，类型三为：4×4光谱探测单元包括1组4×4阵列编码单元。

6.如权利要求5所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，所述第一分辨率重构网络、第二分辨率重构网络、第三分辨率重构网络通过并行训练获得。

7.如权利要求6所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，并行执行第一分辨率重构网络、第二分辨率重构网络和第三分辨率重构网络的训练，共用16种随机滤光片结构参数，以均方误差加权和为损失值，计算损失函数对光谱重构网络参数的梯度，反向传播调整光谱重构网络参数和16种随机滤光片结构参数。

8.如权利要求7所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，所述第一分辨率重构网络、第二分辨率重构网络和第三分辨率重构网络的训练过程均为：根据空间相邻像素的光谱相似性，按像素将原始光谱数据S_ORI划分成A×A像素阵列，将每个A×A像素阵列中的每个像素点进行光谱叠加，得到组合A×A个像元的光谱数据，然后输入第M分辨率重构网络，输出第M分辨率重构网络与原始光谱数据S_ORI的下采样的拟合结果，或者输出第M分辨率重构数据与原始光谱数据S_ORI的拟合结果；所述A＝2时，M为一；A＝3时，M为二；A＝4时，M为三。

9.如权利要求6所述的一种基于深度学习光谱编解码的光谱成像系统，其特征在于，所述光谱重构网络优化表达为：

T_[n]＝TF(P_[n]),n＝1,…,16；

/>

式中，T_[n]表示随机滤光片n的透过率，α₁、α₂和α₃分别为2×2阵列光谱重构网络、3×3阵列光谱重构网络和4×4阵列光谱重构网络损失权重，用于调整重点训练的网络，TF表示随机滤光片透过率计算函数，P_[n]表示随机滤光片结构参数，

表示重排后编号为n₁至编号为n_m的随机滤光片透过率列向量组成的光谱编码矩阵，n₁和n_m为随机滤光片的编号，n₁＜n_m，S_ORI[j]表示原始光谱数据分块后的第j个像元，j取值n₁-n_m，/>

表示2×2阵列光谱重构网络参数，/>

表示3×3阵列光谱重构网络参数，/>

表示4×4阵列光谱重构网络参数，R(ω)为并行网络正则项。/>

Images