CN112113661B - 一种深度学习型快照式光谱成像装置及其探测方法 - Google Patents
一种深度学习型快照式光谱成像装置及其探测方法 Download PDFInfo
- Publication number
- CN112113661B CN112113661B CN202010746979.2A CN202010746979A CN112113661B CN 112113661 B CN112113661 B CN 112113661B CN 202010746979 A CN202010746979 A CN 202010746979A CN 112113661 B CN112113661 B CN 112113661B
- Authority
- CN
- China
- Prior art keywords
- array
- neural network
- detector
- retarder
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000003384 imaging method Methods 0.000 title abstract description 24
- 238000001228 spectrum Methods 0.000 title abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000010287 polarization Effects 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 58
- 238000000701 chemical imaging Methods 0.000 claims description 52
- 230000003595 spectral effect Effects 0.000 claims description 42
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 abstract description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0243—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows having a through-hole enabling the optical element to fulfil an additional optical function, e.g. a mirror or grating having a throughhole for a light collecting or light injecting optical fiber
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种深度学习型快照式光谱成像装置及其探测方法，装置包括：沿入射光向依次设置的偏振干涉滤光阵列、透镜阵列、探测器和数据采集处理显示系统；偏振干涉滤光阵列包括：沿入射光向依次设置的线起偏器、延迟器阵列和线分析器；其中，延迟器阵列中每个子延迟器的厚度不同，快轴方向均相同；线起偏器与线分析器的透振方向相同，并与延迟器阵列的快轴方向成45°夹角；探测器的感光面位于透镜阵列的后焦面上；探测器与数据采集处理显示系统相连接；数据采集处理显示系统用于控制探测器快照一帧携带偏振干涉编码的子图像阵列。本发明同时具有结构简单超紧凑、经济实惠、时效性高、分辨率高、性能同步提升等优点。
Description
技术领域
本发明属于光学遥感探测技术领域，涉及用于光谱辐射探测的光谱成像装置及其探测方法，特别涉及一种深度学习型快照式光谱成像装置及其探测方法。
背景技术
物体辐射的电磁波中含有随空间位置变化的光谱信息，可用于反演目标的形态及物理化学等特性。光谱成像技术是一种同时获取二维空间目标光谱信息的前沿遥感技术，对提高目标探测、识别及分类的效率和精准度具有一定潜力，在军事侦察、地球资源普查、环境卫生监测、自然灾害预报、大气探测、天文观测、机器视觉仿生、生物医学诊断等诸多领域都将具有重要的应用价值和前景。
光谱成像技术按获取二维光谱信息的时间分辨率来分，可分为时序式和快照式两大类。当前，大多数光谱成像技术都采用时序扫描方式(如画幅式、推扫式、或窗扫式)，需从不同时刻按一定规则扫描获取的多帧图像中提取并重组空间目标的二维光谱图像。时序式技术不适于动态或快速变化目标，大气或周围环境的不稳定性也会影响成像质量，也难搭载于抖动较大或机动性较大的平台，易出现多维信息失配和混淆现象，造成图谱不一致等后期应用问题。
相比之下，快照式光谱成像技术可在单次曝光时间内获取空间目标的二维光谱图像，具有快速实时探测优势，不仅能提高工作时效性，还可有效避免序列测量时因环境变化而带来的影响，因此快照式光谱成像技术是当前和未来发展的主要方向，具有重要的应用潜力。
快照式光谱成像技术按照成像模式可分为：直接光谱成像型和计算光谱成像型两种。
直接光谱成像型主要是指光学系统获取的数据是所见即所得的，可以直接提供光谱图像，或者仅需要简单的数据重组过程。该类技术主要包括积分视场光谱成像技术，滤光片阵列分孔径成像技术，滤光片阵列分焦平面成像技术，及线性渐变滤光片技术等。直接光谱成像型一直存在成像空间范围、空间分辨率、光谱范围和光谱分辨率等多参数间的相互制约的瓶颈问题，难以同步提升所有性能参数，需根据应用场景设计参数指标，应用灵活度受限。此外，直接光谱成像型在数据采集时往往遵守奈奎斯特采样定理，导致数据采集量大，传输速率受限等问题。
计算光谱成像型主要是指光学系统获取的数据是所见非所得的，需经后期重建算法处理方可得到最终的光谱图像。该类技术主要涉及计算层析光谱成像技术、压缩感知光谱成像技术等。计算层析光谱成像技术主要基于Radon变换算法，有锥失现象，空间分辨率较低。基于压缩感知的编码孔径光谱成像(或称压缩光谱成像)是计算重建型的一个典型代表，已成为高光谱成像领域的一大研究重点和热点。它利用编码孔径多复元技术，同时对空间维和光谱维进行混合编码，在信息采集时无需满足奈奎斯特定则(即欠定采样)，数据采集量少，后续根据成像物理模型和压缩感知原理，可重建出高光谱图像。重建算法包括约束的凸优化、非凸优化、迭代阈值收缩等。但压缩感知模型驱动的计算重建型存在一些瓶颈问题：重构繁重耗时，速度慢，重建大视场高分辨光谱图像立方体需要数小时，时效性低；且算法参数需要人工干预，鲁棒性不足，对空间场景较为灵敏，重建高光谱图像的质量易随场景变化。
最近几年，基于深度神经网络的机器学习，即深度学习，在计算成像与遥感等领域表现出非凡功效。利用先验数据学习训练的深度神经网络，最终能成为一种直接重建型的前馈神经网络结构，不仅能提高重建质量，而且还可减少重建时间。基于卷积神经网络的深度学习已被应用于多种压缩采样的光谱成像方案，具有解决成像时间分辨率、空间范围、空间分辨率、光谱范围和光谱分辨率等多参间制约问题的潜力，有望同步提升各参数指标，非常值得深入探究。然而，现有的基于深度学习的压缩光谱成像研究方案尚不成熟，存在诸如：成像模型多工作在可见光波段、测量数多压缩比低、多参间制约未解决等问题；此外，成像模型和高光谱图像重建网络多是独立构建的，在这种情况下网络模型常被视为“黑箱操作”，两者存在适配性问题，一般较难构建适于特定成像模型的简单网络模型。
综上，亟需一种新的深度学习型快照式光谱成像装置及其探测方法。
发明内容
本发明的目的在于提供一种深度学习型快照式光谱成像装置及其探测方法，以解决上述存在的一个或多个技术问题。本发明同时具有结构简单超紧凑、经济实惠、时效性高、分辨率高、性能同步提升等优点。
为达到上述目的，本发明采用以下技术方案：
本发明的一种深度学习型快照式光谱成像装置，包括：沿入射光向依次设置的偏振干涉滤光阵列、透镜阵列、探测器和数据采集处理显示系统；
所述偏振干涉滤光阵列包括：沿入射光向依次设置的线起偏器、延迟器阵列和线分析器；其中，所述延迟器阵列中每个子延迟器的厚度不同，快轴方向均相同；所述线起偏器与所述线分析器的透振方向相同，并与所述延迟器阵列的快轴方向成45°夹角；
所述探测器的感光面位于透镜阵列的后焦面上；
所述探测器与所述数据采集处理显示系统相连接；所述数据采集处理显示系统用于控制探测器快照一帧携带偏振干涉编码的子图像阵列。
本发明的进一步改进在于，还包括：挡光孔阵列；
所述挡光孔阵列设置于所述透镜阵列与所述探测器之间，用于限制视场范围，防止相邻子图像重叠。
本发明的进一步改进在于，还包括：准直光学系统；
所述准直光学系统包括：沿入射光向依次设置的物镜、视场光阑和准直镜；其中，所述视场光阑置于所述物镜的像面上，所述物镜的像面与所述准直镜的前焦面重合；
所述准直光学系统位于偏振干涉滤光阵列前方，用于限制视场范围，防止相邻子图像重叠。
本发明的进一步改进在于，所述数据采集处理显示系统包括：物理层神经网络和重建神经网络；
所述物理层神经网络以延迟器阵列中子延迟器的个数和厚度为变量，用于模拟深度学习型快照式光谱成像装置获取子图像阵列的功能；
所述重建神经网络以网络权值和偏置参数作为变量，用于重构高光谱图像立方体。
本发明的进一步改进在于，所述数据采集处理显示系统同时训练优化物理层神经网络和重建神经网络；
训练时，分别以最少化延迟器阵列中子延迟器的个数为目标和以重构出高质量的光谱图像立方体为目标；
训练出符合预设要求的光谱图像立方体时，确定延迟器阵列中子延迟器的最优个数和厚度，同时获得重建神经网络的优化网络权值和偏置参数。
本发明的进一步改进在于，所述数据采集处理显示系统利用重建神经网络及其优化网络权值和偏置参数，从携带偏振干涉编码的优化子图像阵列中推理获得光谱图像立方体。
本发明的进一步改进在于，所述探测器为面阵探测器。
本发明的一种深度学习型快照式光谱成像装置的探测方法，包括以下步骤：
平行光入射到偏振干涉滤光阵列，经过延迟器阵列中各子延迟器的调制后，再通过透镜阵列中各个子透镜分别进行会聚，聚焦于探测器的感光面上成像，数据采集处理显示系统控制探测器快照一帧携带偏振干涉编码的子图像阵列。
本发明的进一步改进在于，所述数据采集处理显示系统包括：物理层神经网络和重建神经网络；
所述物理层神经网络以延迟器阵列中子延迟器的个数和厚度为变量，用于模拟深度学习型快照式光谱成像装置获取子图像阵列的功能；
所述重建神经网络以网络权值和偏置参数作为变量，用于重构高光谱图像立方体；
所述数据采集处理显示系统同时训练优化物理层神经网络和重建神经网络；
训练时，分别以最少化延迟器阵列中子延迟器的个数为目标和以重构出高质量的光谱图像立方体为目标；
训练出符合预设要求的光谱图像立方体时，确定延迟器阵列中子延迟器的最优个数和厚度，同时获得重建神经网络的优化网络权值和偏置参数。
本发明的进一步改进在于，所述数据采集处理显示系统利用重建神经网络及其优化网络权值和偏置参数，从携带偏振干涉编码的优化子图像阵列中推理获得光谱图像立方体。
与现有技术相比，本发明具有以下有益效果：
本发明提供了一种深度学习型快照式光谱成像装置，同时具有结构简单超紧凑、经济实惠、时效性高、分辨率高、性能同步提升等特点。具体的，本发明融合偏振干涉阵列灵活的多复元光谱调制特点和深度神经网络的强大学习能力的特色，简化系统结构，压缩系统尺寸，保留空间维信息，仅在光谱维进行多复元压缩编码采样，后续网络模型只需加强光谱维学习，从而减小网络模型复杂度需求，以提升重建质量和时效性；在光谱维最小化采样数，实现高压缩比，从而最大化成像空间范围和空间分辨率性能；在空间维优化采样通道，提高多复元调光编码能力，最大化光谱范围和光谱分辨率性能。
本发明中，光谱成像装置采用偏振干涉滤光阵列与透镜阵列的结合，结构上具有简单、超紧凑、微型化的优越性。
本发明中，相对于基于窄带滤光阵列或色散元件的快照式光谱成像装置及方法来说，偏振干涉滤光阵列具有多通道、多复元、高通量、高信噪比的优越性。
本发明中，利用深度神经网络对模拟光谱成像系统的物理神经网络和复原光谱图像的重建神经网络同时训练，可得到适配的成像硬件系统和重建软件系统，为“黑箱操作”的深度神经网络赋予了物理意义。
本发明中，在光谱图像重建阶段，深度神经网络相对于压缩感知算法的时效性和鲁棒性较高。
本发明中，相对时序式光谱成像系统来说，快照式系统单次曝光即可获取空间目标二维光谱图像信息，适用于探测动态或快变目标、能有效地避免由目标变化、抖动噪声、或环境变化等因素所带来的负面影响。
本发明的探测方法中，探测器一次曝光周期内，即可获得携带偏振干涉编码不同的子图像阵列。
本发明中，利用模拟光谱成像系统的物理层神经网络优化延迟器阵列中子延迟器的个数和厚度，利用重建神经网络学习出权值和偏置参数；以最少化子延迟器的个数和最大化重建光谱图像的质量为目标，得到最优的偏振干涉滤光阵列，空间分辨率得以提高，同时得到最优的重建网络的参数，最终形成的光谱成像硬件系统和光谱重建网络软件系统得以互相匹配。
本发明中，利用训练好的重建神经网络对光谱成像系统获取的子图像阵列进行光谱图像推理的时效性得以提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种深度学习型快照式光谱成像装置的结构示意图；
图2是图1实施例中，插入挡光阵列的侧视光路示意图；
图3是图1实施例中，偏振干涉滤光阵列前方加入望远系统的侧视光路示意图；
图1至图3中，
11、准直光学系统；111、物镜；112、视场光阑；113、准直镜；
12、偏振干涉滤光阵列；121、线起偏器；122、延迟器阵列；123、线分析器；
13、透镜阵列；14、探测器；
15、数据采集处理显示系统；151、物理层神经网络；152、重建神经网络；153、光谱图像立方体。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
请参阅图1，本发明实施例的一种深度学习型快照式光谱成像装置，包括：沿入射光向依次设置的偏振干涉滤光阵列12、透镜阵列13、探测器14和数据采集处理显示系统15。
偏振干涉滤光阵列12包括：沿入射光向依次设置的线起偏器121、延迟器阵列122和线分析器123；其中，延迟器阵列122中每个子延迟器的厚度不同，快轴方向相同；线起偏器121和线分析器123的透振方向相同并与延迟器阵列122的快轴方向成45度夹角。
本发明实施例中，探测器14设置于透镜阵列13后方；探测器14的感光面位于透镜阵列13的后焦面上；探测器14与数据采集处理显示系统15相连。
请参阅图2，本发明实施例中，透镜阵列13和探测器14之间插入与透镜阵列13子透镜数目相同的挡光孔阵列，用于限制视场范围，防止相邻子图像重叠。
请参阅图3，本发明实施例中，还包括准直光学系统11；准直光学系统11包括：沿入射光向依次设置的物镜111、视场光阑112和准直镜113；且视场光阑112置于物镜111的像面上，物镜111的像面与准直镜113的前焦面重合；准直光学系统11位于偏振干涉滤光阵列112前方。可以是，偏振干涉滤光阵列112前插入准直光学系统11，用于限制视场范围，防止相邻子图像重叠。
本发明实施例的一种深度学习型快照式光谱成像装置的探测方法，包括以下步骤：
来自于二维空间目标的平行光入射到偏振干涉滤光阵列12，经过延迟器阵列122中各子延迟器的调制后，被透镜阵列13中各个子透镜分别进行会聚，聚焦于面阵探测器14的感光面上成像，数据采集处理显示系统15控制面阵探测器14快照一帧携带偏振干涉编码的子图像阵列。
本发明实施例中，数据采集处理显示系统15包括：物理层神经网络151和重建神经网络152；物理层神经网络151以延迟器阵列122中子延迟器的个数和厚度为变量，用于模拟深度学习型快照式光谱成像系统获取子图像阵列的功能；重建神经网络152以网络权值和偏置参数作为变量，可以是多种结构的网络模型，用于重构光谱图像立方体153。
本发明实施例中，在训练优化阶段，数据采集处理显示系统15同时训练优化物理层神经网络151和重建神经网络152，训练时以最少化延迟器阵列122中子延迟器的个数为目标和以重构出高质量的光谱图像立方体153为目标；当训练出符合要求的光谱图像立方体153时，即确定了延迟器阵列122中子延迟器的最优个数和厚度，及重建神经网络152的优化网络权值和偏置参数。
本发明实施例中，对深度学习型快照式光谱成像系统的延迟器阵列122配置优化的子延迟器个数和厚度，数据采集处理显示系统15控制面阵探测器快照一帧携带偏振干涉编码的优化子图像阵列。在推理阶段，数据采集处理显示系统15仅需利用重建神经网络152及其优化的网络权值和偏置参数，即可从携带偏振干涉编码的优化子图像阵列中推理出光谱图像立方体。
本发明实施例中，光谱成像系统采用偏振干涉滤光阵列与透镜阵列的结合，结构上具有简单、超紧凑、微型化的优越性。相对于基于窄带滤光阵列或色散元件的快照式光谱成像装置及方法来说，偏振干涉滤光阵列具有多通道、多复元、高通量、高信噪比的优越性。利用深度神经网络对模拟光谱成像系统的物理神经网络和复原光谱图像的重建神经网络同时训练，可得到适配的成像硬件系统和重建软件系统，为“黑箱操作”的深度神经网络赋予了物理意义。在光谱图像重建阶段，深度神经网络相对于压缩感知算法的时效性和鲁棒性高。相对时序式光谱成像系统来说，快照式系统单次曝光即可获取空间目标二维光谱图像信息，适用于探测动态或快变目标、能有效地避免由目标变化、抖动噪声、或环境变化等因素所带来的负面影响。
综上所述，本发明公开一种深度学习型快照式光谱成像装置与方法，包含沿入射光向依次设置的偏振干涉滤光阵列、透镜阵列和探测器；偏振干涉滤光阵列包含线起偏器、延迟器阵列和线分析器，线起偏器和线分析器的透振方向相同并与延迟阵列的快轴方向成45度夹角；延迟阵列中各子延迟器的厚度不同；探测器的感光面位于透镜阵列的后焦面上。探测装置的探测器一次曝光周期内，即可获得携带偏振干涉编码不同的子图像阵列。利用模拟光谱成像系统的物理层神经网络优化延迟器阵列中子延迟器的个数和厚度，利用重建神经网络学习出权值和偏置参数；以最少化子延迟器的个数和最大化重建光谱图像的质量为目标，得到最优的偏振干涉滤光阵列，空间分辨率得以提高，同时得到最优的重建网络的参数，最终形成的光谱成像硬件系统和光谱重建网络软件系统得以互相匹配；利用训练好的重建神经网络对光谱成像系统获取的子图像阵列进行光谱图像推理的时效性得以提升。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
Claims (9)
1.一种深度学习型快照式光谱成像装置，其特征在于，包括：沿入射光向依次设置的偏振干涉滤光阵列(12)、透镜阵列(13)、探测器(14)和数据采集处理显示系统(15)；
所述偏振干涉滤光阵列(12)包括：沿入射光向依次设置的线起偏器(121)、延迟器阵列(122)和线分析器(123)；其中，所述延迟器阵列(122)中的每个子延迟器的厚度不同，快轴方向均相同；所述线起偏器(121)与所述线分析器(123)的透振方向相同，并与所述延迟器阵列(122)的快轴方向成45°夹角；
所述探测器(14)的感光面位于透镜阵列(13)的后焦面上；
所述探测器(14)与所述数据采集处理显示系统(15)相连接；所述数据采集处理显示系统(15)用于控制探测器(14)快照一帧携带偏振干涉编码的子图像阵列；
其中，所述数据采集处理显示系统(15)包括：物理层神经网络(151)和重建神经网络(152)；
所述物理层神经网络(151)以延迟器阵列(122)中子延迟器的个数和厚度为变量，用于模拟深度学习型快照式光谱成像装置获取子图像阵列的功能；
所述重建神经网络(152)以网络权值和偏置参数作为变量，用于重构高光谱图像立方体。
2.根据权利要求1所述的一种深度学习型快照式光谱成像装置，其特征在于，还包括：挡光孔阵列；
所述挡光孔阵列设置于所述透镜阵列(13)与所述探测器(14)之间，用于限制视场范围，防止相邻子图像重叠。
3.根据权利要求1所述的一种深度学习型快照式光谱成像装置，其特征在于，还包括：准直光学系统(11)；
所述准直光学系统(11)包括：沿入射光向依次设置的物镜(111)、视场光阑(112)和准直镜(113)；其中，所述视场光阑(112)置于所述物镜(111)的像面上，所述物镜(111)的像面与所述准直镜(113)的前焦面重合；
所述准直光学系统(11)位于偏振干涉滤光阵列(12)前方，用于限制视场范围，防止相邻子图像重叠。
4.根据权利要求1所述的一种深度学习型快照式光谱成像装置，其特征在于，所述数据采集处理显示系统(15)同时训练优化物理层神经网络(151)和重建神经网络(152)；
训练时，分别以最少化延迟器阵列(122)中子延迟器的个数为目标和以重构出高质量的光谱图像立方体为目标；
训练出符合预设要求的光谱图像立方体时，确定延迟器阵列(122)中子延迟器的最优个数和厚度，同时获得重建神经网络(152)的优化网络权值和偏置参数。
5.根据权利要求4所述的一种深度学习型快照式光谱成像装置，其特征在于，所述数据采集处理显示系统(15)利用重建神经网络(152)及其优化网络权值和偏置参数，从携带偏振干涉编码的优化子图像阵列中推理获得光谱图像立方体。
6.根据权利要求1至5中任一项所述的一种深度学习型快照式光谱成像装置，其特征在于，所述探测器(14)为面阵探测器。
7.一种权利要求1所述的深度学习型快照式光谱成像装置的探测方法，其特征在于，包括以下步骤：
平行光入射到偏振干涉滤光阵列(12)，经过延迟器阵列(122)中各子延迟器的调制后，再通过透镜阵列(13)中各个子透镜分别进行会聚，聚焦于探测器(14)的感光面上成像，数据采集处理显示系统(15)控制探测器(14)快照一帧携带偏振干涉编码的子图像阵列。
8.根据权利要求7所述的探测方法，其特征在于，所述数据采集处理显示系统(15)同时训练优化物理层神经网络(151)和重建神经网络(152)；
训练时，分别以最少化延迟器阵列(122)中子延迟器的个数为目标和以重构出高质量的光谱图像立方体为目标；
训练出符合预设要求的光谱图像立方体时，确定延迟器阵列(122)中子延迟器的最优个数和厚度，同时获得重建神经网络(152)的优化网络权值和偏置参数。
9.根据权利要求8所述的探测方法，其特征在于，所述数据采集处理显示系统(15)利用重建神经网络(152)及其优化网络权值和偏置参数，从携带偏振干涉编码的优化子图像阵列中推理获得光谱图像立方体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010746979.2A CN112113661B (zh) | 2020-07-29 | 2020-07-29 | 一种深度学习型快照式光谱成像装置及其探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010746979.2A CN112113661B (zh) | 2020-07-29 | 2020-07-29 | 一种深度学习型快照式光谱成像装置及其探测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112113661A CN112113661A (zh) | 2020-12-22 |
| CN112113661B true CN112113661B (zh) | 2021-07-13 |
Family
ID=73799365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010746979.2A Active CN112113661B (zh) | 2020-07-29 | 2020-07-29 | 一种深度学习型快照式光谱成像装置及其探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112113661B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112881308B (zh) * | 2021-01-22 | 2022-04-08 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
| CN114095640A (zh) * | 2022-01-18 | 2022-02-25 | 清华大学 | 千万像素快照压缩成像系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1306987A1 (en) * | 2001-10-23 | 2003-05-02 | Pro Forma Alfa | Spectrometer |
| US7738095B2 (en) * | 2003-07-18 | 2010-06-15 | Chemimage Corporation | Method and apparatus for compact spectrometer for detecting hazardous agents |
| JP6524617B2 (ja) * | 2014-06-26 | 2019-06-05 | ソニー株式会社 | 撮像装置および方法 |
| CN108489614A (zh) * | 2018-03-08 | 2018-09-04 | 中国科学院光电技术研究所 | 一种基于双胶合数字编码双折射晶体薄片的结构紧凑型全斯托克斯矢量偏振成像装置 |
| CN108444601A (zh) * | 2018-03-20 | 2018-08-24 | 哈尔滨工业大学 | 一种小型快照成像光谱仪及其成像方法 |
| CN110296941B (zh) * | 2019-06-14 | 2020-07-28 | 西安交通大学 | 一种静态快照式焦平面光谱全偏振信息探测装置及方法 |
-
2020
- 2020-07-29 CN CN202010746979.2A patent/CN112113661B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112113661A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| CN106896069B (zh) | 一种基于彩色数码相机单幅rgb图像的光谱重建方法 | |
| CN105931196B (zh) | 基于傅里叶光学建模的编码光圈相机图像恢复方法 | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| CN102510282A (zh) | 一种时间分辨单光子计数二维成像系统及方法 | |
| CN110650340B (zh) | 一种时空复用的压缩视频成像方法 | |
| CN109447919A (zh) | 结合多视角与语义纹理特征的光场超分辨率重建方法 | |
| CN110880163B (zh) | 一种基于深度学习的弱光彩色成像方法 | |
| CN106019307A (zh) | 一种基于阵列光源的单像素成像系统及方法 | |
| CN114659634A (zh) | 微型快照式压缩光谱成像探测装置及探测方法 | |
| CN104992424A (zh) | 一种基于离散余弦变换的单像素快速主动成像系统 | |
| CN104486562B (zh) | 基于固定积分时间的嵌入式红外图像超帧处理方法 | |
| CN107436194A (zh) | 一种高光通量实时光谱成像装置 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| CN114387164A (zh) | 一种太赫兹单像素超分辨成像方法和系统 | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
| CN109781260B (zh) | 超紧凑型快照式偏振光谱成像探测装置及探测方法 | |
| CN113884234A (zh) | 一种互补单像素质心探测系统及方法 | |
| CN116797676A (zh) | 一种适用于编码孔径压缩光谱偏振成像重建的方法 | |
| Li et al. | A brief review on 2D and 3D image reconstruction using single-pixel imaging | |
| CN115824412A (zh) | 一种全偏振光谱成像装置及探测方法 | |
| Lv et al. | Turn a silicon camera into an ingaas camera | |
| CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
| CN112785662B (zh) | 一种基于低分辨率先验信息的自适应编码方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |