CN112985600A - 一种基于衍射的光谱编码成像系统和方法 - Google Patents
一种基于衍射的光谱编码成像系统和方法 Download PDFInfo
- Publication number
- CN112985600A CN112985600A CN202110157355.1A CN202110157355A CN112985600A CN 112985600 A CN112985600 A CN 112985600A CN 202110157355 A CN202110157355 A CN 202110157355A CN 112985600 A CN112985600 A CN 112985600A
- Authority
- CN
- China
- Prior art keywords
- image
- wavelength
- spectrum
- diffraction
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 81
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003595 spectral effect Effects 0.000 claims abstract description 60
- 238000002474 experimental method Methods 0.000 claims abstract description 17
- 238000009792 diffusion process Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 57
- 238000005070 sampling Methods 0.000 claims description 32
- 238000005457 optimization Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000000701 chemical imaging Methods 0.000 abstract description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种基于衍射的光谱编码成像系统和方法。包括如下步骤：(1)利用相长干涉波长排布方式获得编码的衍射元件；(2)搭建标定点扩散函数的成像系统；(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像；(4)根据不同波段的点扩散函数，利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像。本发明解决了传统光谱成像系统结构复杂，光谱信息获取时效性低的问题；本发明中衍射元件的结构设计，有利于重建网络算法的效果以及衍射元件的加工；并且得到的高光谱图像准确清晰，拥有更宽的谱段适用范围，鲁棒性高。
Description
技术领域
本发明涉及了光谱成像技术领域的一种光谱成像系统和方法，具体涉及一种基于衍射的光谱编码成像系统和方法。
背景技术
光谱成像技术是一种新型的利用单个或多个光谱通道进行光谱数据采集和处理、图像显示和分析解释的技术。其目的主要是想在获取大量目标窄波段连续光谱图像的同时获得每个像元几乎连续的光谱数据，目前光谱成像技术主要应用于高光谱航空、航天遥感领域。
目前光谱成像系统主要面临以下几个技术难点：第一，推扫式和摆扫式的系统结构过于庞大复杂，无法匹配航空、航天领域小型化、轻量化的要求。第二，由于系统的局限性，无论是推扫还是摆扫都需要时间，导致无法得到同一时刻的光谱图像，缺少时效性。
2017年Baek等人提出了第一个紧凑快照光谱成像的方法，通过在单反相机前安装一个棱镜，利用图像边缘的色散捕获光谱信息。然而他的方法是基于传统方法的优化，同时棱镜分光难以量化。
2019年Kim等人提出了基于旋转衍射的紧凑型快照光谱成像，相比于棱镜作为分光谱器件的快照式高光谱系统，衍射元件作为分光谱器件的系统，光谱区分更为有规律，且区分的更为清晰。但衍射元件设计的结构更为复杂，不利于加工，而加工误差会影响图像的重建效果。同时该系统对点扩散函数的标定需要很大的空间和极佳的暗室环境，提高了点扩散函数标定的难度，也影响了标定的准确性。而且文中的光谱范围从420nm-660nm，谱段不够广。
发明内容
为了解决背景技术中存在的技术问题，针对传统光谱成像系统结构复杂，光谱信息获取时效性低，旋转衍射中衍射元件结构复杂不易加工，重建效果还有提升空间，点扩散函数标定存在局限性，光谱成像范围不够宽等问题，本发明采用了基于衍射的光谱编码成像系统和方法。
本发明的目的是利用对衍射元件的特殊编码替代传统光谱成像系统的光学透镜和分光元件，将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上，通过对成像系统的光谱标定，获得每个谱段的点扩散函数，并通过图像反卷积及神经网络迭代重建，获得目标场景的图像和光谱信息。
为达到以上目的，本发明采用以下技术方案：
本发明包括如下步骤：
一、一种基于衍射的光谱编码成像系统
系统包括编码的衍射元件、探测器、光学支架和光学导轨；在光学导轨上依次放置编码的衍射元件和探测器，编码的衍射元件和探测器的中心均在同一水平面上，编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接；利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，获得光谱混叠图像。
所述编码的衍射元件为将衍射元件通过相长干涉波长排布方式进行处理后获得。
所述相长干涉波长排布方式具体为：
在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；
然后，将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式。
二、一种基于衍射的光谱编码成像方法
方法包括以下步骤：
(1)利用相长干涉波长排布方式获得编码的衍射元件；
(2)搭建标定点扩散函数的成像系统；
(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像；
(4)根据不同波段的点扩散函数，利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像。
所述步骤(1)具体为：
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；
(1.2)将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式；
(1.3)根据相长干涉波长排布方式，利用衍射成像的原理对衍射元件进行编码，获得编码的衍射元件。
所述步骤(2)具体为：
标定点扩散函数的成像系统包括点光源、平行光管、滤光片、编码的衍射元件、探测器、光学支架和光学导轨；在光学导轨上依次放置点光源、平行光管、滤光片、编码的衍射元件和探测器且点光源、平行光管、滤光片、编码的衍射元件和探测器的中心均在同一水平面上，点光源、平行光管、滤光片、编码的衍射元件和探测器与光学导轨之间分别通过各自的光学支架进行连接；
所述步骤(3)具体为：
(3.1)更换不同波段的滤光片进行光谱标定实验，获取不同波段各自的点扩散函数；
(3.2)将标定点扩散函数的成像系统中的点光源和滤光片撤去并形成光谱编码成像系统，利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，获得光谱混叠图像。
所述步骤(4)具体为：
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置：
其中，Iλ (l+1)表示在波长λ下第l+1次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的光谱优化变量，ψλ表示在波长λ下的点扩散函数，
表示卷积操作，
表示在波长λ下第l次迭代后光谱混叠复原图像，
表示当f(x)取得最小值时，x的取值；
表示二范数的平方，
是惩罚系数，jλ表示在波长λ下的光谱混叠子图像，J表示光谱混叠图像；
将在波长λ下第l+1次迭代后光谱混叠复原图像
作为波长λ所在波段的高光谱图像，在波长λ下第l+1次迭代后光谱混叠复原图像
为：
其中，ε是梯度下降的步长，T表示对矩阵进行转置，Iλ (l)表示在波长λ下第l次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的中间变量；
其中，在波长λ下第l次迭代后的光谱优化变量Vλ (l)的获取具体为：将在波长λ下第l次迭代后光谱混叠复原图像
输入神经网络训练，神经网络的输出作为在波长λ下第l次迭代后的光谱优化变量Vλ (l)。
所述步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置：
其中，λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长，r表示极径，θ表示极角，λmin和λmax是所需波长范围[λmin,λmax]的波长最小值和最大值，L是衍射元件的直径，round[·]表示四舍五入取整数操作。
所述步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置：
Δφ＝2πn
其中，Δφ表示光线从衍射元件不同位置入射，会聚在像面中心位置的光程差，h0是衍射元件的初始高度，Δηλ是在波长λ下，衍射元件的折射率与空气折射率的差值；f是衍射元件的焦距；n表示整数，Δh(r,θ)表示在极径为r极角为θ处衍射元件高度的变化值，h(r,θ)表示在极径为r极角为θ处衍射元件编码后的高度，r表示极径，θ表示极角。
本发明的有益效果：
本发明方法整体结构只需一片具有编码的衍射元件和一块彩色CMOS探测器，很大程度上实现了光谱成像系统的小型化和轻量化。
本发明方法获取图像和光谱信息在一次曝光时间内完成，具有时效性。
本发明将离散的采样波长分布在半圆上，相比于分布在120度的扇形或者90度的扇形上，标定出psf之间的差异更大，更利于重建效果的提升；同时离散的采样波长中心对称的设计也有利于重建的鲁棒。
本发明离散化的分布抹去了连续变化的细微差异，更利于编码衍射元件的加工制造。
整个系统最大的谱段范围可以从380nm-900nm，谱段更广，适用范围更大。
附图说明
图1为光谱编码成像系统的整体示意图。
图2为标定点扩散函数的成像系统示意图。
图3为本发明框架流程示意图。
图4为本发明具体流程示意图。
图5为离散的相长干涉波长排布方式示意图。
图6为编码的衍射元件示意图。
图7为标定的点扩散函数图像。
图8为Unet的神经网络结构示意图。
图9为高光谱图像重建网络算法示意图。
图10为光谱混叠复原图像的示例图。
图中：1、编码的衍射元件，2、探测器，3、点光源，4、平行光管，5、滤光片，6、光学支架，7、光学导轨。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明针对高光谱成像系统结构庞大复杂，光谱信息获取时效性低，旋转衍射中衍射元件结构复杂不易加工，重建效果还有提升空间，点扩散函数标定存在局限性，光谱成像范围不够宽等问题采用了基于衍射的光谱编码成像系统。利用对衍射元件的特殊编码替代传统光谱成像系统的光学透镜和分光元件，将目标场景中的光谱及其光强信息在一次曝光时间内同时记录在二维焦平面上，通过对成像系统的光谱标定，获得每个波段的点扩散函数，并通过高光谱图像重建网络算法迭代重建，提取光谱混叠图像的光谱信息，获得不同波段下的高光谱图像。
如图1所示，系统包括编码的衍射元件1、探测器2、光学支架6和光学导轨7；在光学导轨7上依次放置编码的衍射元件1和探测器2，编码的衍射元件1和探测器2的中心均在同一水平面上，编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接；利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，获得光谱混叠图像。
编码的衍射元件1为将衍射元件通过相长干涉波长排布方式进行处理后获得。
相长干涉波长排布方式具体为：
在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；
然后，将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式。
如图3和图4所示，方法包括如下步骤：
(1)利用相长干涉波长排布方式获得编码的衍射元件；
步骤(1)具体为：
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；衍射元件工作的波长范围为380-900nm。
(1.2)将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式；
步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置：
其中，λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长，r表示极径，θ表示极角，λmin和λmax是所需波长范围[λmin,λmax]的波长最小值和最大值，L是衍射元件的直径，round[·]表示四舍五入取整数操作。
(1.3)根据相长干涉波长排布方式，利用衍射成像的原理对衍射元件进行编码，获得编码的衍射元件1，如图6所示。
步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置：
Δφ＝2πn
其中，Δφ表示光线从衍射元件不同位置入射，会聚在像面中心位置的光程差，h0是衍射元件的初始高度，即未进行编码前衍射元件的高度；Δηλ是在波长λ下，衍射元件的折射率与空气折射率的差值，该差值会随入射光波长的变化而变化；f是衍射元件的焦距；n表示整数，Δh(r,θ)表示在极径为r极角为θ处衍射元件高度的变化值，h(r,θ)表示在极径为r极角为θ处衍射元件编码后的高度，r表示极径，θ表示极角。
(2)搭建标定点扩散函数的成像系统；
步骤(2)具体为：
如图2所示，标定点扩散函数的成像系统包括点光源3、平行光管4、滤光片5、编码的衍射元件1、探测器2、光学支架6和光学导轨7；在光学导轨7上依次放置点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2且点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2的中心均在同一水平面上，点光源3、平行光管4、滤光片5、编码的衍射元件1和探测器2与光学导轨7之间分别通过各自的光学支架6进行连接；
标定点扩散函数的成像系统是在点光源装置上改进而成，点光源装置包括点光源3、平行光管4和探测器2；在光学导轨7上依次放置点光源3、平行光管4和探测器2，点光源3和平行光管4与光学导轨7之间分别通过各自的光学支架6进行连接，点光源3、平行光管4和探测器2的中心均在同一水平面上，具体实施中，探测器为CMOS传感器；点光源1经过平行光管4后在探测器2上形成光点且光点的大小小于一个像素大小，像素大小为5μm*5μm。
(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像；
步骤(3)具体为：
(3.1)更换不同波段的滤光片5进行光谱标定实验，滤光片5用于筛选所需的波段，所需的波段长度为10nm，滤光片5筛选的波长间隔为10nm，探测器2上显示点扩散函数图像，获取不同波段各自的点扩散函数，如图7所示。从图7中看出，不同波段对应的点扩散函数在形状上相似，但倾斜角度和姿态各不相同。通过步骤1)的操作后可以实现不同波段对应的点扩散函数，进而可以得到不同波长的光谱信息；
(3.2)将标定点扩散函数的成像系统中的点光源3和滤光片5撤去并形成光谱编码成像系统，如图1所示，利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，探测器2获得光谱混叠图像。
(4)根据不同波段的点扩散函数，利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像，如图10所示。高光谱图像为光谱分辨率为10nm的光谱图像。
如图9所示，步骤(4)具体为：
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置：
其中，迭代次数l为0时，在波长λ下第0次迭代后光谱混叠复原图像
为初始赋值的图像，赋值的原则是：在波长λ下，R通道、G通道、B通道三个通道中光谱响应最大的通道下的混叠图像作为初始赋值的图像；Iλ (l+1)表示在波长λ下第l+1次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的光谱优化变量，ψλ表示在波长λ下的点扩散函数，
表示卷积操作，
表示在波长λ下第l次迭代后光谱混叠复原图像，
表示当f(x)取得最小值时，x的取值；
表示二范数的平方，即每个元素绝对值的平方和，
是惩罚系数，jλ表示在波长λ下的光谱混叠子图像，J表示光谱混叠图像，具体实施中l＝4。其中，波长λ处于某个波段的端点中；当波长λ处于该波段的左端点时，波长λ应该处于该波段的上一个波段中，波长λ对应的点扩散函数为该波段的上一个波段的点扩散函数；当波长λ处于该波段的右端点时，波长λ则属于该波段，波长λ对应的点扩散函数为该波段的点扩散函数；
将在波长λ下第l+1次迭代后光谱混叠复原图像
作为在波长λ下光谱混叠图像的最优解，即为波长λ所在波段的高光谱图像，在波长λ下第l+1次迭代后光谱混叠复原图像
为：
其中，ε是梯度下降的步长，T表示对矩阵进行转置，Iλ (l)表示在波长λ下第l次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的中间变量；
其中，在波长λ下第l次迭代后的光谱优化变量Vλ (l)的获取具体为：将在波长λ下第l次迭代后光谱混叠复原图像
输入神经网络训练，神经网络的输出作为在波长λ下第l次迭代后的光谱优化变量Vλ (l)；神经网络的具体结构为利用高光谱数据集预训练好的Unet网络结构。
具体实施中，高光谱图像重建网络算法中对光谱混叠图像的迭代优化的公式通过以下步骤获得：
标定得到不同波段下的点扩散函数，从获得的点扩散函数中重建光谱混叠复原图像的问题可以拆解成两个问题：1)针对某一特定波段的光谱混叠复原图像，是一个已知固定模糊核的非盲复原问题。2)针对全波段信号，是一个叠加图像的拆解问题。
首先建立光谱复原的目标函数：
其中，
表示在波长λ下最优的光谱混叠复原图像，
表示当f(x)取得最小值时，x的取值，
表示二范数的平方，即每个元素绝对值的平方和，R()是光谱图像的一个先验，不同于显式的图像先验，这里的隐式先验包含更广，也更为灵活，R(Iλ)表示对图像Iλ做先验处理，jλ表示在波长λ下的光谱混叠子图像，J表示光谱混叠图像，ψλ表示在波长λ下的点扩散函数，
表示卷积，Iλ表示在波长λ下的光谱混叠复原图像，
为数据保真项，R(Iλ)第二项为正则项。
然后通过半二次方分裂Half Quadratic Splitting，HQS方法引入光谱优化变量Vλ将光谱复原的目标函数求解问题转化成光谱复原的目标函数和光谱优化变量的凸函数优化问题：
其中，
表示加入光谱优化变量的光谱复原的目标函数，
是惩罚系数，
表示在波长λ下最优的光谱混叠复原图像，
表示在波长λ下进行光谱优化的复原图像，在理想情况下，
表示当f(x,y)取最小值时，x和y的值，
表示二范数的平方，即每个元素绝对值的平方和，R(Vλ)表示对图像Vλ做先验处理。
加入光谱优化变量的光谱复原的目标函数第l+1次迭代优化的公式为：
其中，Iλ (l+1)表示在波长λ下第l+1次迭代后的光谱混叠复原图像，Iλ (l)表示在波长λ下第l次迭代后的光谱混叠复原图像，
是惩罚系数，Vλ (l+1)表示在波长λ下第l+1次迭代后的光谱优化变量，Vλ (l)表示在波长λ下第l次迭代后的光谱优化变量，
表示当f(x)取得最小值时，x的取值，
表示二范数的平方，即每个元素绝对值的平方和，
表示对在波长λ下第l次迭代后的光谱优化变量
做先验处理。
在波长λ下第l次迭代后的光谱优化变量Vλ (l)的获取具体为：将在波长λ下第l次迭代后光谱混叠复原图像
输入神经网络训练，神经网络的输出作为在波长λ下第l次迭代后的光谱优化变量Vλ (l)；神经网络的具体结构为利用高光谱数据集预训练好的Unet网络结构，如图8所示。
最后利用梯度下降法对第l+1次迭代后的加入光谱优化变量的光谱复原的目标函数进行求解，获得在波长λ下第l+1次迭代后光谱混叠复原图像
其中，ε是梯度下降的步长，T表示对矩阵进行转置，Iλ (l)表示在波长λ下第l次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的光谱优化变量，
为初始赋值的图像。
Claims (10)
1.一种基于衍射的光谱编码成像系统，其特征在于：包括编码的衍射元件(1)、探测器(2)、光学支架(6)和光学导轨(7)；在光学导轨(7)上依次放置编码的衍射元件(1)和探测器(2)，编码的衍射元件(1)和探测器(2)的中心均在同一水平面上，编码的衍射元件(1)和探测器(2)与光学导轨(7)之间分别通过各自的光学支架(6)进行连接；利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，获得光谱混叠图像。
2.根据权利要求1所述的一种基于衍射的光谱编码成像系统，其特征在于：所述编码的衍射元件(1)为将衍射元件通过相长干涉波长排布方式进行处理后获得。
3.根据权利要求1所述的一种基于衍射的光谱编码成像系统，其特征在于：所述相长干涉波长排布方式具体为：
在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；
然后，将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式。
4.一种基于衍射的光谱编码成像方法，其特征在于：包括如下步骤：
(1)利用相长干涉波长排布方式获得编码的衍射元件；
(2)搭建标定点扩散函数的成像系统；
(3)利用标定点扩散函数的成像系统进行光谱标定实验和光谱图像采集实验分别获得不同波段的点扩散函数和光谱混叠图像；
(4)根据不同波段的点扩散函数，利用高光谱图像重建网络算法对光谱混叠图像进行处理获得不同波段下的高光谱图像。
5.根据权利要求4所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(1)具体为：
(1.1)在衍射元件工作的波长范围中选择所需波长范围[λmin,λmax]，衍射元件的焦距f，衍射元件的直径L；
(1.2)将所需波长范围[λmin,λmax]以光谱分辨率为间隔进行间隔采样，获得离散的采样波长，离散的采样波长均布在直径为L的圆的一个半圆上，半圆中一条半径上的采样波长相同且沿圆周方向采样波长依次递减或者递增，半圆中相同的采样波长为一块扇形区域，直径为L的圆的另一个半圆与直径为L的圆的一个半圆关于圆心对称，形成相长干涉波长排布方式；
(1.3)根据相长干涉波长排布方式，利用衍射成像的原理对衍射元件进行编码，获得编码的衍射元件(1)。
6.根据权利要求4所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(2)具体为：
标定点扩散函数的成像系统包括点光源(3)、平行光管(4)、滤光片(5)、编码的衍射元件(1)、探测器(2)、光学支架(6)和光学导轨(7)；在光学导轨(7)上依次放置点光源(3)、平行光管(4)、滤光片(5)、编码的衍射元件(1)和探测器(2)且点光源(3)、平行光管(4)、滤光片(5)、编码的衍射元件(1)和探测器(2)的中心均在同一水平面上，点光源(3)、平行光管(4)、滤光片(5)、编码的衍射元件(1)和探测器(2)与光学导轨(7)之间分别通过各自的光学支架(6)进行连接。
7.根据权利要求4所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(3)具体为：
(3.1)更换不同波段的滤光片(5)进行光谱标定实验，获取不同波段各自的点扩散函数；
(3.2)将标定点扩散函数的成像系统中的点光源(3)和滤光片(5)撤去并形成光谱编码成像系统，利用光谱编码成像系统采集光谱图像完成光谱图像采集实验，获得光谱混叠图像。
8.根据权利要求4所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(4)具体为：
高光谱图像重建网络算法下对光谱混叠图像的迭代优化通过如下公式进行设置：
其中，Iλ (l+1)表示在波长λ下第l+1次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的光谱优化变量，ψλ表示在波长λ下的点扩散函数，
表示卷积操作，
表示在波长λ下第l次迭代后光谱混叠复原图像，
表示当f(x)取得最小值时，x的取值；
表示二范数的平方，
是惩罚系数，jλ表示在波长λ下的光谱混叠子图像，J表示光谱混叠图像；
将在波长λ下第l+1次迭代后光谱混叠复原图像
作为波长λ所在波段的高光谱图像，在波长λ下第l+1次迭代后光谱混叠复原图像
为：
其中，ε是梯度下降的步长，T表示对矩阵进行转置，Iλ (l)表示在波长λ下第l次迭代后光谱混叠复原图像，Vλ (l)表示在波长λ下第l次迭代后的中间变量；
其中，在波长λ下第l次迭代后的光谱优化变量Vλ (l)的获取具体为：将在波长λ下第l次迭代后光谱混叠复原图像
输入神经网络训练，神经网络的输出作为在波长λ下第l次迭代后的光谱优化变量Vλ (l)。
9.根据权利要求5所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(1.2)中相长干涉波长排布方式通过以下公式进行设置：
其中，λ(r,θ)表示衍射元件在极径r、极角θ的极坐标下的波长，r表示极径，θ表示极角，λmin和λmax是所需波长范围[λmin,λmax]的波长最小值和最大值，L是衍射元件的直径，round[·]表示四舍五入取整数操作。
10.根据权利要求5所述的一种基于衍射的光谱编码成像系统，其特征在于：所述步骤(1.3)中利用衍射成像的原理对衍射元件进行编码主要通过以下公式进行设置：
Δφ＝2πn
其中，Δφ表示光线从衍射元件不同位置入射，会聚在像面中心位置的光程差，h0是衍射元件的初始高度，Dηλ是在波长λ下，衍射元件的折射率与空气折射率的差值；f是衍射元件的焦距；n表示整数，Δh(r,θ)表示在极径为r极角为θ处衍射元件高度的变化值，h(r,θ)表示在极径为r极角为θ处衍射元件编码后的高度，r表示极径，θ表示极角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157355.1A CN112985600B (zh) | 2021-02-04 | 2021-02-04 | 一种基于衍射的光谱编码成像系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157355.1A CN112985600B (zh) | 2021-02-04 | 2021-02-04 | 一种基于衍射的光谱编码成像系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112985600A true CN112985600A (zh) | 2021-06-18 |
| CN112985600B CN112985600B (zh) | 2022-01-04 |
Family
ID=76347223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110157355.1A Active CN112985600B (zh) | 2021-02-04 | 2021-02-04 | 一种基于衍射的光谱编码成像系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112985600B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113847986A (zh) * | 2021-10-11 | 2021-12-28 | 浙江大学 | 一种基于衍射的共光轴双像面光谱编码成像系统和方法 |
| CN114353946A (zh) * | 2021-12-29 | 2022-04-15 | 北京理工大学 | 一种衍射快照光谱成像方法 |
| CN115586638A (zh) * | 2022-10-10 | 2023-01-10 | 长春理工大学 | 可见光宽波段含单层衍射元件系统点扩散函数构建方法 |
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105676331A (zh) * | 2016-03-24 | 2016-06-15 | 电子科技大学 | 角度调谐滤波片阵列及其方法 |
| WO2019225776A1 (ko) * | 2018-05-23 | 2019-11-28 | 광운대학교 산학협력단 | 중심 대칭형 멀티 주파수 대역 필터링 방법을 기반으로 하는 전 방향 시야각을 갖는 단순 구조의 인라인 홀로그램 기반 3 차원 비디오 디스플레이 시스템 |
| CN110567580A (zh) * | 2019-09-17 | 2019-12-13 | 东北大学 | 一种可编程滤光成像模组及其任意光谱透过率的实现方法 |
| CN111062978A (zh) * | 2019-11-27 | 2020-04-24 | 武汉大学 | 基于频域滤波技术的时空图像测流的纹理识别方法 |
-
2021
- 2021-02-04 CN CN202110157355.1A patent/CN112985600B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105676331A (zh) * | 2016-03-24 | 2016-06-15 | 电子科技大学 | 角度调谐滤波片阵列及其方法 |
| WO2019225776A1 (ko) * | 2018-05-23 | 2019-11-28 | 광운대학교 산학협력단 | 중심 대칭형 멀티 주파수 대역 필터링 방법을 기반으로 하는 전 방향 시야각을 갖는 단순 구조의 인라인 홀로그램 기반 3 차원 비디오 디스플레이 시스템 |
| CN110567580A (zh) * | 2019-09-17 | 2019-12-13 | 东北大学 | 一种可编程滤光成像模组及其任意光谱透过率的实现方法 |
| CN111062978A (zh) * | 2019-11-27 | 2020-04-24 | 武汉大学 | 基于频域滤波技术的时空图像测流的纹理识别方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113847986A (zh) * | 2021-10-11 | 2021-12-28 | 浙江大学 | 一种基于衍射的共光轴双像面光谱编码成像系统和方法 |
| CN113847986B (zh) * | 2021-10-11 | 2022-08-30 | 浙江大学 | 一种基于衍射的共光轴双像面光谱编码成像系统和方法 |
| CN114353946A (zh) * | 2021-12-29 | 2022-04-15 | 北京理工大学 | 一种衍射快照光谱成像方法 |
| CN115586638A (zh) * | 2022-10-10 | 2023-01-10 | 长春理工大学 | 可见光宽波段含单层衍射元件系统点扩散函数构建方法 |
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112985600B (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112985600B (zh) | 一种基于衍射的光谱编码成像系统和方法 | |
| Sun et al. | End-to-end complex lens design with differentiable ray tracing | |
| CN113155284B (zh) | 一种折衍射混合的光谱编码成像系统和方法 | |
| Nikonorov et al. | Toward ultralightweight remote sensing with harmonic lenses and convolutional neural networks | |
| Bacon et al. | The SAURON project–I. The panoramic integral-field spectrograph | |
| CN101303257B (zh) | 一种测量长间隙空气电弧等离子体温度的方法 | |
| CN104457708A (zh) | 一种紧凑型多光谱相机 | |
| CN106017676A (zh) | 一种基于渐变滤光片的红外成像光谱测量系统 | |
| CN113847986B (zh) | 一种基于衍射的共光轴双像面光谱编码成像系统和方法 | |
| CN104713648A (zh) | 一种全波段消色差滤片式光谱相机 | |
| Kittle et al. | Design and fabrication of an ultraviolet-visible coded aperture snapshot spectral imager | |
| CN112985601B (zh) | 一种基于衍射的长焦光谱编码成像系统和方法 | |
| CN110095189B (zh) | 一种双目的八谱段多光谱相机设计方法 | |
| CN115731191A (zh) | 一种基于神经网络的窄波段光谱成像方法 | |
| CN114659634A (zh) | 微型快照式压缩光谱成像探测装置及探测方法 | |
| Xue et al. | Compact, UAV-mounted hyperspectral imaging system with automatic geometric distortion rectification | |
| CN108896179B (zh) | DMD空间维编码对称Offner色散中波红外光谱成像装置 | |
| CN113188660B (zh) | 一种多维度参数可调的新型快照式偏振光谱成像系统 | |
| CN114791320A (zh) | 折衍射混合的两次对焦图像融合多光谱成像系统和方法 | |
| Fisher et al. | Survey and analysis of fore-optics for hyperspectral imaging systems | |
| CN204495469U (zh) | 一种全波段消色差滤片式光谱相机 | |
| CN114689174A (zh) | 一种芯片级多光谱相机系统及其操作方法 | |
| CN109239914B (zh) | 一种实现高空间带宽积的成像方法 | |
| CN100385213C (zh) | 干涉型超光谱成像仪数据处理方法 | |
| Ding et al. | Snapshot spectral imaging: from spatial-spectral mapping to metasurface-based imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |