CN116858378A - 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 - Google Patents
压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 Download PDFInfo
- Publication number
- CN116858378A CN116858378A CN202310785577.7A CN202310785577A CN116858378A CN 116858378 A CN116858378 A CN 116858378A CN 202310785577 A CN202310785577 A CN 202310785577A CN 116858378 A CN116858378 A CN 116858378A
- Authority
- CN
- China
- Prior art keywords
- image
- diffraction
- spectrum
- diffraction lens
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006835 compression Effects 0.000 title claims abstract description 20
- 238000007906 compression Methods 0.000 title claims abstract description 20
- 238000013461 design Methods 0.000 title claims abstract description 18
- 238000000701 chemical imaging Methods 0.000 title claims description 22
- 238000001228 spectrum Methods 0.000 claims abstract description 69
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims description 46
- 238000005457 optimization Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 claims description 10
- 238000006731 degradation reaction Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 230000001052 transient effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 235000001466 Ribes nigrum Nutrition 0.000 description 3
- 241001312569 Ribes nigrum Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种压缩编码与轴向衍射联合调制的光谱成像装置及设计方法。成像装置包括沿光路方向依次设置前置光学系统、联合优化的编码掩膜、衍射透镜和面阵探测器。目标物体光线由前置光学系统汇聚通过编码掩膜的振幅调制后到达衍射透镜，衍射透镜将对入射光进行轴向色散，探测器接收到的是一个二维混叠图像，经基于深度学习的重构算法处理后得到待复原场景的空间光谱图像数据。本发明提供的光谱成像装置设计方法，采用深度学习网络优化光学元件和重建光谱图像，有效提高了光谱图像重构效率和质量；提供的光谱成像装置结构紧凑，一次曝光即可获得目标的多光谱图像，实时性强，适用于动态或瞬态目标场景。
Description
技术领域
本发明涉及光谱成像技术领域，具体涉及一种压缩编码与轴向衍射联合调制的快照式多光谱成像装置及其设计方法。
背景技术
目前，多光谱成像已被应用于各个领域，例如生物医学检查、材料分类、军事目标识别和遗产保护等。从单次成像速度分类，现有的光谱成像方式主要有非快照式和快照式。相比于非快照式方法，快照式光谱成像的优点在于其可以在单个积分周期内获得目标的光谱数据，并且该方式结构简单，无需任何外置机械组件。缺点是传统快照式光谱相机往往体积庞大并且光谱重构算法复杂。
以一种经典的编码孔径快照式光谱成像相机(CodedAperture SnapshotSpectral Imager,CASSI)为例，其结构包含色散光学元件(棱镜或衍射光栅)、编码孔径掩膜、一系列中继透镜和物镜等成像透镜。工作时，色散光学元件通过中继透镜与编码孔径耦合，以对光谱或空间光谱特征进行编码调制，之后再处理压缩后的数据进行光谱重建。然而，由于该方法需要使用多个光学元件进行准直和色散光，因此装置结构复杂，在诸多应用领域受到限制。
另一方面，CASSI系统是基于压缩感知(Compressive Sensing,CS)理论重建图像的。CASSI系统将三维光谱数据压缩为二维图像，再通过算法将二维数据重建为三维张量，这是一个严重欠定的问题，因此要想快速精确地恢复光谱数据，对光谱重构算法有着较高的要求。传统的光谱重构算法处理效率低下，无论是经典的总变差(Total Variation,TV)还是以两步迭代阈值收缩算法(Two-Step Iterative Shrinkage Thresholding,TwIST)为代表的凸优化类算法，都无法在保证成像质量的前提下缩短运算时间，迭代收敛过程极为耗时，这严重限制了压缩成像系统的实用化。
发明内容
本发明针对现有技术存在的不足，提供一种在单个积分周期内获得多个波段光谱图像的快照式多光谱成像装置及其设计方法，有效提高光谱图像重构效率和质量，且在高效获得多光谱图像的同时装置的结构更简单紧凑。
实现本发明目的的技术的技术方案是提供一种压缩编码与轴向衍射联合调制的光谱成像装置的设计方法，包括如下步骤：
1.建立光谱成像装置的光学系统模型和光谱图像重构模型；所述的光学系统模型为共光轴结构，沿光路方向依次包括前置中继物镜、编码掩膜、衍射透镜及面阵传感器；前置光学系统的后焦面与衍射透镜的前焦面重合，编码掩膜置于它们的重合焦面处；面阵探测器位于衍射透镜的后焦面处，接收的调制图像输入光谱图像重构模型；
所述编码掩膜采用低秩矩阵分解方法构建，将分辨率为N×N的编码孔径分解为两个秩为n的N维子矩阵，编码掩膜为2个秩为n的N维子矩阵相乘，n为N/120～N/80的整数；
所述衍射透镜的面型高度采用一维旋转对称方法构建，按半径长度的径向高度绕其一端旋转一周得到；
所述光谱图像重构模型为基于多光谱图像数据集的深度学习光谱图像重构网络；2.基于多光谱图像数据集，按光学系统模型的光路传播，在面阵探测器生成模糊的退化图像，输入光谱图像重构模型，与多光谱图像数据集中对应的真实光谱图像数据集构成“真实-模糊”数据训练对，在退化图像和真实图像之间建立光谱图像重构网络；
3.以编码掩膜的构成矩阵、衍射透镜的面型高度及重构网络权重为优化参量，利用多光谱图像数据集中的大量样本训练学习重构映射关系；训练完成后得到优化的编码掩膜的孔径、衍射透镜的面形高度和光谱图像重构模型；
4.按优化结果加工编码掩膜、衍射透镜和光谱图像重构模块，替换步骤1建立的光学系统模型中对应的元件及光谱图像重构模型，得到一种压缩编码与轴向衍射联合调制的光谱成像装置。
本发明提供的一种压缩编码与轴向衍射联合调制的光谱成像装置的设计方法，步骤3中，以编码掩膜的构成矩阵、衍射透镜的高度及重构网络权重为优化参量，在每个正向过程中，将光学系统模型生成的退化图像输入到光谱图像重构网络中进行重建；在反向过程中，自定义损失被反向传播到各优化参数中，经迭代训练，直至获得最佳的编码孔径分布、衍射透镜面型高度和重构网络权重。
本发明所述编码掩膜的优化参量为2个相乘的子矩阵，衍射透镜面型高度的优化参量为半径长度的一维高度矩阵。
本发明技术方案还包括按上述设计方法得到的一种压缩编码与轴向衍射联合调制的光谱成像装置，包括光学系统和光谱图像重构模块；所述的光学系统模型为共光轴结构，沿光路方向依次包括前置中继物镜、编码掩膜、衍射透镜及面阵传感器；前置光学系统的后焦面与衍射透镜的前焦面重合，编码掩膜置于它们的重合焦面处；面阵探测器位于衍射透镜的后焦面处，接收的调制图像输入光谱图像重构模型，经处理后得到待复原场景的空间光谱图像数据。
本发明提供的一种压缩编码与轴向衍射联合调制的光谱成像装置，其前置中继物镜包括对目标场景进行一次成像的单个物镜或成像透镜组；面阵传感器为采用互补金属氧化物半导体材料的电荷耦合器件。
本发明提供的多光谱成像装置的成像原理是：目标场景光线由前置中继物镜一次成像到编码，经振幅调制后到达衍射透镜，经相位调制后到达面阵传感器，面阵传感器接收到的是一个二维混叠图像，混叠图像经光谱图像重构模块处理后获得多光谱图像。
本发明中，编码掩膜采用低秩矩阵分解方法进行构建并优化，对目标场景图像进行空间调制；衍射透镜采用一维旋转对称方法进行构建并优化，对目标场景图像进行光谱调制，使每个波长的入射光波沿优化设计方向轴向色散，形成根据其波长变化的点扩散函数。
本发明以编码掩膜孔径分布、衍射透镜的高度及重构网络参数为优化参量，在每个正向过程中，将光学系统模型生成的退化图像输入到光谱图像重构网络中进行重建；在反向过程中，自定义损失被反向传播到各优化参数中，经迭代训练，直至获得最佳的编码孔径分布、衍射透镜面型高度和重构网络权重。
与现有技术相比，本发明的有益效果在于：
1.采用优化的编码孔径和单个衍射元件代替传统装置中棱镜组实现成像和色散，使装置轻量化与小型化，一次曝光即可获得目标的多光谱图像，适用于动态或瞬态目标场景。
2.分别通过低秩矩阵分解和一维旋转的方法设计编码孔径和衍射透镜，在保证对目标场景进行有效调制的前提下大大降低了优化所需的计算量，同时使用深度学习网络优化光学元件和重建光谱图像，相比于传统算法提高了光谱图像重构效率和质量。
附图说明
图1为本发明实施例提供的一种压缩编码与轴向衍射联合调制的快照式多光谱成像装置的结构示意图；
其中：1.前置光学系统，2.编码掩膜，3.衍射透镜，4.灰度面阵探测器。
图2为按本发明实施例提供的多光谱成像装置设计方法端到端优化流程图；
图3为本发明实施例提供的光谱图像重构网络算法示意图；
图4为本发明实施例提供的编码孔径低秩矩阵分解示意图；
图5为按本发明实施例提供的设计方法优化得到的衍射透镜示意图；
图6为按本发明实施例提供的设计方法得到的衍射透镜从430nm到700nm共28个谱段的点扩散函数图像；
图7为按本发明实施例提供的多光谱成像装置从430nm到700nm共28个谱段的重构光谱图像。
具体实施方式
下面结合附图和实施例对本发明技术方案作进一步详细描述。
实施例1
参见附图1，是本实施例提供的一种压缩编码与轴向衍射联合调制的快照式多光谱成像装置的结构示意图，包括光学系统和光谱图像重构模块；光学系统为共光轴结构，沿光路方向依次包括前置中继物镜1、编码掩膜2、衍射透镜3及面阵传感器4；前置光学系统的后焦面与衍射透镜的前焦面重合，编码掩膜置于它们的重合焦面处；面阵探测器位于衍射透镜的后焦面处，接收的调制图像输入光谱图像重构模块。
本实施例中，前置中继物镜可以采用对目标场景进行一次成像的单个物镜或成像透镜组。面阵传感器采用互补金属氧化物半导体材料的电荷耦合器件。
编码掩膜采用低秩矩阵分解方法构建，将分辨率为N×N的编码孔径分解为两个秩为n的N维子矩阵，编码掩膜为2个秩为n的N维子矩阵相乘，n为N/120～N/80的整数；衍射透镜的面型高度采用一维旋转对称方法构建，按半径长度的径向高度绕其一端旋转一周得到。
编码掩膜、衍射透镜的结构参数和光谱图像重构模块需要按本实施例提供的设计方法进行优化。
本实施例提供的多光谱成像装置的成像原理是：
前置光学系统将目标准直成像通过后焦面的编码孔径。假设目标场景的光谱图像可表示为I0(x,y,λ)，其中x，y表示目标的空间信息，λ表示目标场景光谱信息。当目标经过前置系统及编码模板后，其光谱强度分布为：
I1＝I0(x,y,λ)·T(x,y)#(1)
其中T(x,y)是编码孔径的透射率函数，为了减少编码优化时所需的计算量，这里的编码采用低秩矩阵分解的方法进行构建。假设编码孔径的分辨率为N，编码孔径可以表示为2个秩为n(n≈N/100)且元素为0或1的矩阵相乘，此时编码孔径的优化参数总共为两个低秩矩阵的元素数量相加即2×n×N个，若采用传统二维编码优化方案，编码孔径的优化参数为N×N个，是低秩矩阵分解方法的N/(2n)倍，因此低秩矩阵分解的编码孔径优化方法可以在保证对目标场景进行有效编码的前提下大大降低了优化所需算力。
入射光经过编码孔径的振幅调制后到达衍射透镜，衍射透镜将对入射光进行色散，也就是使光谱信息偏移。假设通过编码孔径的波长为λ的点源与衍射透镜的距离为d，传播到衍射透镜的前表面u1位置(x,y)的入射波场可表示为：
然后波场通过衍射透镜，引入相位延迟φ(x,y)，波场u2可以表示为：
相位延迟φ(x,y)与衍射透镜高度h(x,y)和衍射透镜材料在λ波长下的折射率nλ有关：
φ(x,y,λ)＝(nλ-1)h(x,y)#(4)##
为了减少计算的复杂性，DOE的高度h(x,y)为一维旋转对称结构，衍射透镜基于其半径长度的径向高度绕其一端旋转一周构建，即DOE上距离中心相同距离处的高度分布相同，其实际优化参量为DOE半径长度的一维高度矩阵。
光波场到达与DOE距离为z的传感器平面，传感器上的波场通过菲涅尔衍射公式计算得到：
其中为波数。PSF与波场u3的平方成正比：
PSF(u,v,λ)∝|u3(u,v)|2#(6)#
在确定了PSF之后，DOE后距离z处的图像可表示为通过编码孔径的图像与PSF的卷积：
其中是波长为λp的原始光谱图像I1(u,v)的缩放描述。
实际情况下探测器是按像元为单位接收光强的，要将接收光强信号进行离散化。再考虑到编码孔径板也是离散的，为减少占空比和跨像元混叠效应的影响，一般将编码模板微元与探测器像元之比设计成整数，设编码微元与探测器像元之比为e，编码模板上任意一点(i,j)的透过率为t(i,j)，此时该点的透过率函数如下：
在多光谱图像中，需将光谱分成若干个通道。将光谱按照通道数等分[份，则光谱带宽为λp，可得到离散光谱范围，离散编码模板情况下离散探测器像元上的光强分布：
I实际上是各谱段被调制后模糊图像的叠加，从该模糊图像中求解各谱段清晰度光谱图像是一个病态的逆问题。为避免传统重构算法计算量大的缺点，本发明采用深度学习网络以解决压缩感知光谱重构问题。
设计如图1所示的多光谱成像装置，具体步骤是先按上述原理建立系统的前向传播模型和光谱图像重构模型，然后在与衍射元件卷积过多光谱数据集和真实图像之间建立神经网络，利用大量样本训练学习映射关系，进而高效优化光学元件和重构高质量的三维光谱数据立方体。
参见附图2，它是本实施例提供的多光谱成像装置的设计方法端到端优化流程图。
本实施例提供的多光谱成像装置其成像方法是：目标场景光线由前置中继物镜一次成像到编码孔径，经振幅调制后到达衍射透镜，经相位调制后到达面阵传感器，面阵传感器接收到的是一个二维混叠图像，混叠图像经光谱图像重构模块处理后获得多光谱图像。
本实施例中，编码掩膜采用低秩矩阵分解方法进行构建并优化，对目标场景图像进行空间调制；衍射透镜采用一维旋转对称方法进行构建并优化，对目标场景图像进行光谱调制，使每个波长的入射光波沿优化设计方向轴向色散，形成根据其波长变化的点扩散函数。
本实施例中，多光谱成像装置的设计方法是：建立如图1所示的光学系统模型，及光谱图像重构模型，以编码的构成矩阵、衍射透镜的高度及重构网络权重为优化参量，在每个正向过程中，将光学系统模型生成的退化图像输入到光谱图像重构网络中进行重建；在反向过程中，自定义损失被反向传播到各优化参数中，经迭代训练，直至获得最佳的编码孔径分布、衍射透镜面型高度和重构网络权重。步骤如下：
1.建立如图1所示的多光谱成像装置的光学系统模型和光谱图像重构模型；光谱图像重构模型为基于多光谱图像数据集的深度学习光谱图像重构网络；2.基于多光谱图像数据集，按光学系统模型的光路传播，在面阵探测器生成模糊的退化图像，输入光谱图像重构模型，与多光谱图像数据集中对应的真实光谱图像数据集构成“真实-模糊”数据训练对，在退化图像和真实图像之间建立光谱图像重构网络；
3.以编码掩膜的构成矩阵、衍射透镜的面型高度及重构网络权重为优化参量，编码掩膜孔径的优化参量为2个相乘的子矩阵，衍射透镜面型高度的优化参量为半径长度的一维高度矩阵。利用多光谱图像数据集中的大量样本训练学习重构映射关系；训练完成后得到优化的编码掩膜的孔径分布、衍射透镜的面形高度和光谱图像重构模型；
4.按优化结果加工编码掩膜、衍射透镜和光谱图像重构模块，替换步骤1建立的光学系统模型中对应的元件及光谱图像重构模型，得到一种压缩编码与轴向衍射联合调制的多光谱成像装置。
步骤3中，以编码掩膜的构成矩阵、衍射透镜的高度及重构网络参数为优化参量，在每个正向过程中，将光学系统模型生成的退化图像输入到光谱图像重构网络中进行重建；在反向过程中，自定义损失被反向传播到各优化参数中，经迭代训练，直至获得最佳的编码孔径分布、衍射透镜面型高度和重构网络权重。
本实施例中，光谱图像重建的优化如公式(10)所示：
其中J代表光谱混叠图像，l代表重构出的光谱数据立方体，Φ代表系统的退化函数，表示当f(x)取得最小值时x的取值，/>表示二范数的平方，ρqRq(T)是正则化项，正则化函数Rq(T)可以提升编码孔径和衍射透镜中的特定属性，旨在保证编码满足特定的可实现性、传递性、快照之间的相关性和条件性约束，ρq是正则化参数。
根据以上优化任务构建图3所示的U型残差网络(Res-Unet)，其有6个下采样模块和6个上采样块，其中下采样通过步长为2×2的2D卷积来实现，以保留更精细的场景细节。每个模块通过指数线性单元(ELU)进行激活。
将多光谱数据集通过构建的正向光学模型得到系统的退化图像，模拟传感器接收图像，退化图像即为网络的输入。
将编码孔径掩膜的构成矩阵、衍射透镜的高度以及重构网络参数作为优化参量，在每个正向过程中，成像模型生成退化图像，并将其输入到网络中进行重建，在反向过程中，自定义损失被反向传播到各优化参数中，如此迭代训练，直至获得最佳的编码孔径分布、衍射透镜高度和重构网络权重。除此之外，重构出的光谱图像还可以通过一个额外的图像增强网络处理，进一步优化图像空间的模糊和噪声问题，提升光谱图像的空间分辨率。
以训练优化得到的编码孔径和衍射透镜为模板加工光学元件，按训练时设置的参数搭建光谱成像装置，将传感器拍摄的图像输入训练好的重构网络中便可以得到高质量的多光谱数据立方体输出。
本实施例提供的方法可以高效重构430到700nm共28个通道的高质量多光谱图像。参见附图4，为优化后的秩3矩阵构建的编码孔径；参见附图5，为优化后的衍射透镜面型高度分布；参见附图6，为衍射透镜从430nm到700nm共28个谱段的点扩散函数图像；参见附图7，为从430nm到700nm共28个谱段的重构光谱图像。测试集光谱图像重构结果的平均峰值信噪比(Peak signal-to-noise ratio,PSNR)为35.29，平均结构相似度(StructuralSimilarity,SSIM)为0.95，平均光谱角匹配度(spectral angle mapping,SAM)为0.056。
Claims (6)
1.一种压缩编码与轴向衍射联合调制的光谱成像装置的设计方法，其特征在于包括如下步骤：
（1）建立光谱成像装置的光学系统模型和光谱图像重构模型；所述的光学系统模型为共光轴结构，沿光路方向依次包括前置中继物镜(1)、编码掩膜(2)、衍射透镜(3)及面阵传感器(4)；前置光学系统的后焦面与衍射透镜的前焦面重合，编码掩膜置于它们的重合焦面处；面阵探测器位于衍射透镜的后焦面处，接收的调制图像输入光谱图像重构模型；
所述编码掩膜采用低秩矩阵分解方法构建，将分辨率为N×N的编码孔径分解为两个秩为n的N维子矩阵，编码掩膜为2个秩为n的N维子矩阵相乘，n为N/120～N/80的整数；
所述衍射透镜的面型高度采用一维旋转对称方法构建，按半径长度的径向高度绕其一端旋转一周得到；
所述光谱图像重构模型为基于多光谱图像数据集的深度学习光谱图像重构网络；
（2）基于多光谱图像数据集，按光学系统模型的光路传播，在面阵探测器生成模糊的退化图像，输入光谱图像重构模型，与多光谱图像数据集中对应的真实光谱图像数据集构成“真实-模糊”数据训练对，在退化图像和真实图像之间建立光谱图像重构网络；
（3）以编码掩膜的构成矩阵、衍射透镜的面型高度及重构网络权重为优化参量，利用多光谱图像数据集中的大量样本训练学习重构映射关系；训练完成后得到优化的编码掩膜的孔径、衍射透镜的面形高度和光谱图像重构模型；
（4）按优化结果加工编码掩膜、衍射透镜和光谱图像重构模块，替换步骤（1）建立的光学系统模型中对应的元件及光谱图像重构模型，得到一种压缩编码与轴向衍射联合调制的光谱成像装置。
2.根据权利要求1所述的一种压缩编码与轴向衍射联合调制的光谱成像装置的设计方法，其特征在于：步骤（3）中，以编码掩膜的构成矩阵、衍射透镜的高度及重构网络权重为优化参量，在每个正向过程中，将光学系统模型生成的退化图像输入到光谱图像重构网络中进行重建；在反向过程中，自定义损失被反向传播到各优化参数中，经迭代训练，直至获得最佳的编码孔径分布、衍射透镜面型高度和重构网络权重。
3.根据权利要求1所述的一种压缩编码与轴向衍射联合调制的光谱成像装置的设计方法，其特征在于：所述编码掩膜的优化参量为2个相乘的子矩阵，衍射透镜面型高度的优化参量为半径长度的一维高度矩阵。
4.按权利要求1设计方法得到的一种压缩编码与轴向衍射联合调制的光谱成像装置，其特征在于：包括光学系统和光谱图像重构模块；所述的光学系统模型为共光轴结构，沿光路方向依次包括前置中继物镜(1)、编码掩膜(2)、衍射透镜(3)及面阵传感器(4)；前置光学系统的后焦面与衍射透镜的前焦面重合，编码掩膜置于它们的重合焦面处；面阵探测器位于衍射透镜的后焦面处，接收的调制图像输入光谱图像重构模型，经处理后得到待复原场景的空间光谱图像数据。
5.根据权利要求4所述的一种压缩编码与轴向衍射联合调制的光谱成像装置，其特征在于：所述前置中继物镜包括对目标场景进行一次成像的单个物镜或成像透镜组。
6.根据权利要求4所述的一种压缩编码与轴向衍射联合调制的光谱成像装置，其特征在于：所述面阵传感器为采用互补金属氧化物半导体材料的电荷耦合器件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310785577.7A CN116858378A (zh) | 2023-06-29 | 2023-06-29 | 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310785577.7A CN116858378A (zh) | 2023-06-29 | 2023-06-29 | 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116858378A true CN116858378A (zh) | 2023-10-10 |
Family
ID=88227968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310785577.7A Pending CN116858378A (zh) | 2023-06-29 | 2023-06-29 | 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116858378A (zh) |
-
2023
- 2023-06-29 CN CN202310785577.7A patent/CN116858378A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10861143B2 (en) | Method and apparatus for reconstructing hyperspectral image using artificial intelligence | |
| Yuan et al. | Plug-and-play algorithms for large-scale snapshot compressive imaging | |
| US10274420B2 (en) | Compact multifunctional system for imaging spectroscopy | |
| Dai et al. | Awnet: Attentive wavelet network for image isp | |
| CN102438102B (zh) | 基于压缩编码孔径的超分辨率成像方法 | |
| CN108955882A (zh) | 基于液晶高光谱计算成像系统的三维数据重构方法 | |
| CN110501071B (zh) | 一种基于模糊编码的压缩高光谱掩膜优化方法 | |
| CN116609942B (zh) | 一种分孔径压缩感知偏振超分辨率成像方法 | |
| Lau et al. | Single-pixel image reconstruction based on block compressive sensing and convolutional neural network | |
| Zhang et al. | Polarization image demosaicking via nonlocal sparse tensor factorization | |
| Marquez et al. | Snapshot compressive spectral depth imaging from coded aberrations | |
| Degraux et al. | Multispectral compressive imaging strategies using Fabry–Pérot filtered sensors | |
| CN109798978B (zh) | 一种采用异形蓝色噪声编码孔径的光谱成像方法 | |
| KR20230118938A (ko) | 광학적 방법 | |
| Pitsianis et al. | Compressive imaging sensors | |
| CN116091640B (zh) | 一种基于光谱自注意力机制的遥感高光谱重建方法及系统 | |
| CN117392327A (zh) | 一种基于先验图像和自编码器模型的高光谱图像重构方法 | |
| Rueda et al. | Spectral resolution enhancement of hyperspectral imagery by a multiple-aperture compressive optical imaging system | |
| CN116858378A (zh) | 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 | |
| Chen et al. | U-net CNN based Fourier ptychography | |
| CN220084172U (zh) | 基于衍射透镜的快照式多光谱成像装置 | |
| Kar | Computational spectral imaging techniques using diffractive lenses and compressive sensing | |
| Diaz et al. | Adaptive Coded Aperture Design by Motion Estimation using Convolutional Sparse Coding in Compressive Spectral Video Sensing | |
| Wu et al. | An image restoration method for the sparse aperture optical system based on deep learning | |
| Yuan et al. | Compressive Hyperspectral Imaging and Super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |