CN116183522A - 一种单曝光压缩高光谱成像系统及方法 - Google Patents

一种单曝光压缩高光谱成像系统及方法 Download PDF

Info

Publication number
CN116183522A
CN116183522A CN202310199441.8A CN202310199441A CN116183522A CN 116183522 A CN116183522 A CN 116183522A CN 202310199441 A CN202310199441 A CN 202310199441A CN 116183522 A CN116183522 A CN 116183522A
Authority
CN
China
Prior art keywords
spectral
hyperspectral
image
compression
single exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310199441.8A
Other languages
English (en)
Inventor
罗婷
王理顺
刘星
袁鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202310199441.8A priority Critical patent/CN116183522A/zh
Publication of CN116183522A publication Critical patent/CN116183522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本公开涉及一种单曝光压缩高光谱成像系统及方法。该系统包括：第一成像元件，其形成目标场景的第一光谱图像；孔径光阑，其限制第一光谱图像的尺寸；编码孔径，其对第一光谱图像进行编码调制；光栅色散元件，其对编码调制后的光信号进行色散；第二成像元件，其收集编码调制和色散后的光信号，形成对应多个光谱通道的多个第二光谱图像；以及二维探测器，其测量得到多个第二光谱图像进行叠加后的压缩测量结果；以及处理器，其利用基于Transformer模块的Unet神经网络重建目标场景的高光谱图像。由此，可以通过单次曝光测量还原出目标场景的三维高光谱图像，数据量小，压缩比高，重建速度快，图像质量高，光谱分辨率高，且光谱分辨率在所测量光谱范围内均匀。

Description

一种单曝光压缩高光谱成像系统及方法
技术领域
本公开涉及光谱成像技术领域，并且更具体地涉及一种单曝光压缩高光谱成像系统及方法。
背景技术
高光谱成像技术不仅能获得目标场景的二维空间信息，还能同时获得光谱信息。光谱上的特征结构和差异增加了目标识别的准确度。高光谱成像在遥感探测、国防军工、生命科学、食品检测、回收和垃圾处理行业、药品分析、颜色检测、材料分析、矿石勘探等科研和工业应用场景中具有广泛的应用。
传统的光谱成像技术方案一般利用一个狭缝收集目标场景中单点或一条线上的光信号，经过色散元件分光后，由一维或二维探测器采集单点或一条线上多光谱。即在一次测量中只能得到一维或二维数据，因此至少需要在一个维度进行扫描和多次测量，才能获得目标场景的三维光谱图像数据。其他解决方案包括分区使用单个探测器或直接使用多个探测器能在一定程度提高检测速度，但前者会减小空间分辨率和视场，后者使设备成本增高且光路变得复杂。
传统的光谱成像技术中采用扫描式的方案不具备时间分辨率，对动态场景不适用。分区使用单个探测器或直接使用多个探测器的方案虽然能在一定程度提高检测速度，但前者会减小空间分辨率和视场，后者时设备成本增高且光路变得复杂。另外，传统光谱成像技术中高光谱图像的数据量极大，数据传输速度慢，且需要的存储空间大。
压缩感知理论的提出，为解决上述问题提供了新的思路。该理论指出任何具有稀疏性的信号都能利用适当的传感矩阵从高维空间投影到低维空间，并通过求解一个欠定性逆问题就能够重建原始信号。自然图像具有天然的稀疏特性，于是基于此发展出了各种压缩成像技术。现有的单曝光压缩光谱成像技术方案先对目标场景的光信号进行硬件上的编码，然后经过色散元件，以实现不同光谱通道的不同编码调制，最后用二维探测器采集编码和色散后的光信号。三维数据被压缩到二维，即压缩测量，之后通过迭代算法或深度学习算法逆向求解原始的三维光谱图像。该方案不仅可以通过单次测量获得三维数据，还降低了对传感器采样频率的要求，节省了存储资源和传输带宽。
然而，现有的单曝光压缩光谱成像技术一方面在硬件上存在压缩比低、光谱分辨率低、光谱分辨率不均等缺点，另一方面，在算法上存在高压缩比重建速度慢、重建图像质量差等缺点。造成光谱分辨率不均匀和光谱分辨率低的原因是，大部分单曝光压缩光谱成像技术采用棱镜作为色散元件。而棱镜角色散本领小，当有高压缩比或高光谱分辨需求时，棱镜需要的色散距离很长，会导致系统尺寸变大，使用不便，故尺寸受限的情况下，基于棱镜的单曝光压缩光谱成像系统光谱分辨率较低，在宽光谱成像中具有较低的压缩比。另外，棱镜的角色散本领随波长的变化是非线性的，造成测量波段范围内光谱分辨率不均，难以实现整个光谱范围内都具有高光谱分辨率。虽然采用光栅作为色散元件能解决光谱分辨率不均匀和光谱分辨率低的问题。但光栅的不同衍射级次会产生光谱重叠，因而现有的基于光栅的单曝光压缩光谱成像系统只能用于很窄的光谱范围。虽然可以在窄光谱范围内提高压缩比和光谱分辨率，但在宽光谱成像中应用受限，无法实现宽光谱范围且高光谱分辨率的高压缩比成像。其次，对光谱范围宽、光谱分辨率高、压缩比高的光谱图像进行重建，在算法上也存在巨大的挑战，需要设计出高效的重建算法以实现快速的、高质量光谱图像重建。
因此，现有技术在硬件和算法上都有待提高，以解决传统光谱成像技术采集三维高光谱图像需要多次曝光、采集速度慢、数据量大的问题，以及现有单曝光压缩高光谱成像装置压缩比低、光谱分辨率低、光谱分辨率不均的问题和算法上重建速度慢、重建图像质量差的问题。
发明内容
提供了本公开以解决现有技术中存在的上述问题。
本公开提供了一种单曝光压缩高光谱成像系统及方法，其可以通过单次曝光测量还原出目标场景的三维高光谱图像，数据量小，压缩比高，重建速度快，图像质量高，光谱分辨率高，且光谱分辨率在所测量光谱范围内均匀。
在本公开的第一方案中，提供了一种单曝光压缩高光谱成像系统，其包括：第一成像元件，其被配置为收集目标场景的光信号，在第一成像平面上形成所述目标场景的第一光谱图像；孔径光阑，其被配置为限制所述第一光谱图像的尺寸；编码孔径，其配置为对所述第一光谱图像进行编码调制；光栅色散元件，其被配置为对编码调制后的所述光信号进行色散，产生色散偏移；第二成像元件，其被配置为收集编码调制和色散后的所述光信号，在第二成像平面上形成对应多个光谱通道的多个第二光谱图像；以及二维探测器，其配置为测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及处理器，其被配置为基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
在本公开的另一个方案中，提供了一种利用第一方案中的单曝光压缩高光谱成像系统的单曝光压缩高光谱成像方法。所述单曝光压缩高光谱成像方法包括：收集来自所述目标场景的光信号，在所述第一成像平面上获取所述目标场景的所述第一光谱图像；调节所述孔径光阑，以限制所述第一光谱图像的尺寸；对所述第一光谱图像进行编码调制；对编码调制后的所述光信号进行色散，产生所述色散偏移；收集编码调制和色散后的所述光信号，在所述第二成像平面上形成对应多个所述光谱通道的所述多个第二光谱图像；测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
根据本公开提供的上述方案中的单曝光压缩高光谱成像系统及方法，只需曝光和测量一张图像，无需多次拍摄相同场景，即可重建多个光谱通道的光谱图像，因此适用于实时高光谱视频成像，能够获取动态场景的光谱信息，时间分辨率仅由二维探测器的帧率决定；同时，还具有数据量小的优点，可以节省内存和传输带宽；具有压缩比高和光谱分辨率高，且光谱分辨率均匀的优点；曝光和测量一张图像至少可以重建出382个光谱通道的图像；此外，重建算法在高压缩比情况下，重建速度快，重建质量高。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
在附图中：
图1示出了根据本公开实施例的单曝光压缩高光谱成像系统的配置的示意图；
图2示出了根据本公开实施例的单曝光压缩高光谱成像系统的工作原理图；
图3和图4示出了根据本公开实施例的单曝光压缩高光谱成像系统的配置的示例；
图5示出了根据本公开实施例的单曝光压缩高光谱成像方法的流程图。
图6示出了根据本公开实施例的基于Transformer的Unet神经网络的结构示意图；
图7示出了使用根据本公开实施例的单曝光压缩高光谱成像系统的空间和光谱分辨率分析与重建结果；以及
图8和图9示出了使用根据本公开实施例的单曝光压缩高光谱成像系统对目标场景进行成像和重建的结果。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。本公开附图中用箭头示出的各个步骤的顺序仅仅作为示例，并不意味着各个步骤一定要以箭头所示顺序来执行。如果没有特别指出，各个步骤可以合并处理或调换执行顺序，以与箭头所示不同的顺序来执行，只要不影响各个步骤的逻辑关系即可。
图1为本公开的单曝光压缩高光谱成像系统的结构示意图。在图1中，该单曝光压缩高光谱成像系统100(虚线框所示)包括：第一成像元件104，其被配置为收集目标场景102的光信号，在第一成像平面上形成所述目标场景102的第一光谱图像；孔径光阑106，其被配置为调节所述第一光谱图像的尺寸；编码孔径108，其布置在所述第一成像平面上，并被配置为对所述第一光谱图像进行编码调制；光栅色散元件112，其被配置为对编码调制后的所述光信号进行色散，产生色散偏移；第二成像元件113，其被配置为收集编码调制和色散后的所述光信号，在第二成像平面上形成所述目标场景102的对应多个光谱通道的多个第二光谱图像；二维探测器116，其布置在所述第二成像平面上，并被配置为测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及处理器118，被配置为基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
在一个实施例中，在该配置中，目标场景102可以根据实际应用场景而变化，其可以是自发光的，也可以是反射光的，并且其光谱范围可覆盖紫外至近红外的全部或者局部。
在一个实施例中，第一成像元件104对目标场景102进行一级成像，其可以是单个相机镜头，或者多个相机镜头的组合。可选地，第一成像元件104的相机镜头可以是定焦镜头或者变焦镜头。
在一个实施例中，编码孔径108可以是通过二值编码、灰度编码或者是随机编码对光信号进行对不同光谱通道的唯一编码调制；在另一个实施例中，所述编码孔径108可以是通过微加工制作的基板，或者是通过微机控制的反射镜。另外地，所述编码孔径108为反射式编码孔径或者透射式编码孔径
在一个实施例中，光栅色散元件112可以为透射式光栅或反射式光栅。
在一个实施例中，第二成像元件113对编码调制和色散之后的光信号进行二级成像，以在第二成像平面上形成目标场景的第二光谱图像。可选地，如图1所示，该第二成像元件113包括第一元件110和第二元件114，其中，该第一元件110被布置在所述编码孔径108和所述光栅色散元件112之间，并被配置为收集编码调制后的所述目标场景的所述光信号，而第二元件114被布置在所述光栅色散元件112和所述二维探测器116之间，并被配置为与所述第一元件110相匹配，以收集编码调制和色散后的所述光信号，获取多个所述第二光谱图像。另外可选地，该第一元件110和第二元件114可以组合成单个的元件，布置在所述编码孔径108和所述光栅色散元件112之间。
此外，二维探测器116被配置为接收编码调制和色散后的目标场景光信号，转换为电信号、数字信号，输出到处理器118(如计算机)。处理器118在接收到二维探测器116的压缩测量结果之后，利用基于Transformer的Unet神经网络重建目标场景102的高光谱图像(下文详细描述)。优选地，该二维探测器116包括电荷耦合器件(Charge-coupled Device，CCD)或者互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)。
在本公开中，采用了光栅作为色散元件，然而在光谱范围宽时，光栅不同衍射级次的光谱会发生重叠。添加孔径光阑106让光栅色散元件112的自由光谱范围变宽了，使得能够在较宽的自由光谱范围内进行高压缩比、高分辨率，且光谱分辨率均匀的单曝光压缩光谱成像。在这种情况下，二级成像视场也被孔径光阑106限制住了，所以在孔径光阑的开口大小与所需光谱范围被限制的情况下，可以通过调节一级成像的第一成像元件104(如相机镜头)的焦距(此时第一成像元件104为变焦镜头)或一级成像的物距来控制一级成像的视场。
在一个实施例中，孔径光阑106可以是圆形的通孔，或者是垂直于色散方向的狭缝。
在一个实施例中，所述孔径光阑106与编码孔径108可以是分立的两个个体，或者是组合在一起。
图3和图4示出了本公开的单曝光压缩高光谱成像系统100的示例。
在图3中，第一成像元件104为多个镜头的组合；孔径光阑106为直径可调节的圆孔，紧贴置于编码孔径108之前；编码孔径108通过二值编码对光信号进行编码调制，该编码孔径108是透射式编码孔径，是通过微加工制作的基板；光栅色散元件112为透射式光栅；第一元件110和第二元件114为分立的两个元件；二维探测器116为CMOS。
在图4中，第一成像元件104为多个镜头的组合；孔径光阑106为宽度固定的狭缝，加工成与编码孔径108组合在一起；编码孔径108通过二值编码对光信号进行编码调制，该编码孔径108是透射式编码孔径，是通过微加工制作的基板；光栅色散元件112为反射式光栅；第一元件110和第二元件114为分立的两个元件；二维探测器116为CMOS。
在本公开提供的基于上述单曝光压缩高光谱成像系统100的单曝光压缩高光谱成像方法500中，如图5所示，该单曝光压缩高光谱成像方法500包括如下步骤：
S510，收集来自目标场景的光信号，在第一成像平面上获取目标场景102的第一光谱图像；
S520，调节孔径光阑，以限制第一光谱图像的尺寸；
S530，对第一光谱图像进行编码调制；
S540，对编码调制后的光信号进行色散，产生色散偏移；
S550，收集编码调制和色散后的光信号，在第二成像平面上形成目标场景的对应多个光谱通道的多个第二光谱图像；
S560，测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及
S570，基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
参照图2，在S530中，通过硬件上的编码孔径T(x,y)为对待测目标的光谱图像f0(x,y,λ)进行编码调制；在进行编码调制之前，需要对编码孔径进行标定；在S540中，编码调制后的光场经过光栅色散元件112后产生偏移(需要提前对光栅色散元件112标定色散偏移)，由于不同波长的色散偏移量不同，设为
Figure BDA0004108551970000071
其中，λc为光谱的中心波长，等效为不同波长的图像获得了不同的编码调制/>
Figure BDA0004108551970000072
(假设色散方向沿x维度)；在S560中，利用一个二维探测器(例如CCD)对编码调制和偏移后的光场进行测量，光谱维度被压缩，得到二维的压缩测量结果，表示为：
Figure BDA0004108551970000073
由于二维探测器的测量结果是离散化的，故对公式(1)进行离散化处理后得到：
Figure BDA0004108551970000074
其中，mn表示探测器的第m行第n列像素坐标，l表示第l个光谱通道，L表示总的光谱通道数，也即压缩比，H为压缩感知矩阵，Zmn为噪声；最后，在S470中进行光谱图像重建，即通过给定或标定的压缩感知矩阵H和压缩测量结果gmn逆向求解待测目标f0。
接下来，将结合图6对该单曝光压缩高光谱成像方法500中的光谱图像重建处理(S570)进行详细的描述。
如图6所示，该光谱图像重建处理是利用基于Transformer的Unet神经网络完成的。在本文中，利用Transformer强大的模型容量及其可以建立长时序依赖关系的能力，构建了一个基于Transformer的Unet高光谱重建网络。由于直接使用原始Transformer中的多头自注意力机制进行空间相关性计算，不仅无法很好的建立光谱之间的相关性，还会导致模型计算复杂度急剧增加，最终造成重建过程耗费大量运行内存和运行时间。为了减少模型计算复杂度以及更好的建立高光谱之间的相关性，在本文中，仅仅沿着光谱维度进行多头自注意力计算，并在生成查询、键、值的过程中引入3×3的深度可分离卷积以更好地建立局部空间相关性。
如图6所示，首先，反转色散过程以获得模糊的初始高光谱信号。然后，使用一个3×3卷积矩阵(第一卷积矩阵)对初始高光谱信号进行卷积运算，输出高光谱图像的深层特征信息(高维特征信息)，以将输入空间映射到高维特征空间。然而，仅仅通过一个卷积矩阵无法很好建立高光谱图像的光谱相关性和局部空间相关性，所以接下来，使用一个包含多层编解码器的Unet神经网络输出高光谱图像的深层特征，此时的深层特征已经通过Unet神经网络建立起了良好的光谱相关性和局部空间相关性，可以用其很好的重建清晰的高光谱图像。
在这里，对Unet神经网络中编解码器的层数也有一定的限制，这是因为需要在模型复杂度和重构质量之间获得很好的平衡。优选地，该Unet神经网络包括4层编解码器，以在模型复杂度和重构质量之间获得很好的平衡。4层以下会导致模型重构质量严重下降，4层以上会导致模型复杂度急剧增加。多层同编解码器分支的每一层都包含了2个(N1＝N2＝N3＝N4＝2)Transformer模块，即编码器侧的Transformer模块和解码器侧的Transformer模块，其中，最底层(第4层)Transformer模块可采用编解码共享方式，内部包含编码和解码过程，或者是分成两个互相独立的编码和解码模块。每个Transformer模块如图6中的(a)所示，依次包括第一归一化层(Layer Normalization,LN)、带有深度可分离卷积的多头转置注意层(Multi-Dconv head Transposed Attention,MDTA)、前向网络(Feed-ForwardNetwork,FFN)和第二归一化层组成，其中MDTA层主要使模型具备高效建立局部空间和高光谱之间的相关性的能力，FFN主要由两个全连接层组成，可以有效促进通道之间的交互，并进一步提升了模型容量，LN层主要对输入进行标准化处理，可以有效提升模型收敛速度和模型的泛化能力。第一归一化层对当前Transformer模块的输入进行标准化(归一化)处理，经过MDTA层后，将输出与第一归一化层的原始输入进行逐元素相加，作为第二归一化层的输入。第二归一化层对该输入进行标准化处理，经过前向网络之后，将输出与第二归一化层的输入进行逐元素相加，作为当前Transformer模块的输出。
为了更好利用编码器特征，减少局部细节丢失现象，将各层中的编码器的Transformer模块的输出特征通过一个1×1卷积矩阵(第三卷积矩阵)进行降维，并与该层的上一层中的解码器Transformer模块的输出特征沿通道维度进行拼接，作为该层的解码器对应Transformer模块的输入。最后，使用另一个3×3卷积(第二卷积矩阵)，输出高光谱图像中的特征信息，以将特征空间映射到高光谱空间，然后将输出的特征信息与初始化的高光谱进行求和以获得所期望的高光谱信号，使得重建的高光谱图像变得清晰。
图7示出了使用根据本公开的一些实施例的高压缩比单曝光压缩高光谱成像系统100的光谱分辨率重建结果与分析。其中心波长光谱精度在2nm左右。请查看图7中的(c)中的光谱曲线。光谱分辨率接近4nm，但此处该值受限于光源线宽，本实施例中装置的理论光谱分辨率约为1.5nm，需使用线宽更窄的光源才能进行验证。
图8示出了使用根据本公开的一些实施例的高压缩比单曝光压缩高光谱成像系统100的空间分辨率重建结果与分析；其重建图像具有较高的对比度和空间分辨率，可以清晰分辨的线对是“第-1组中的元素4”。考虑到印刷的1951USAF分辨率靶被缩小到0.98倍，因此，实际空间分辨率约为每毫米0.72线对。
图9示出了使用根据本公开的一些实施例的高压缩比单曝光压缩高光谱成像系统对目标进行成像和重建的结果；其以步长4展示了382个光谱通道中的96个；其压缩比为382；其使用NVIDIA RTX 8000GPU训练后，重建时间仅需18秒，速度非常快；其拍摄目标为自然界中的植物，包含一朵红色的花和一片绿色的树叶。
因此，利用本公开提出的高压缩比单曝光压缩高光谱成像系统及方法，其可以通过单次曝光测量还原出目标场景的三维高光谱图像，数据量小，压缩比高，重建速度快，图像质量高，光谱分辨率高，且光谱分辨率在所测量光谱范围内均匀。
在一些实施例中，可以利用从ARM公司等购买的各种RISC(精简指令集计算机)处理器IP来作为本公开的单曝光压缩高光谱成像系统的处理器来执行对应的功能，利用嵌入式系统(例如但不限于SOC)来实现对压缩测量结果的处理。具体说来，在市场上可购买到的模块(IP)上具有很多模块，例如但不限于内存(存储器可以是内存也可以在IP上外接扩展存储器)、各种通信模块(例如蓝牙模块)、编解码器、缓存器等等。接口可以用于获取二维探测器上的压缩测量结果。用户可以通过基于购买的IP或自主研发的模块构建ASIC(特定用途集成电路)，来实现各种通信模块、编解码器、以及本公开的方法的各个步骤等，以便降低功耗和成本。该处理器执行的处理可以实现为可执行指令由RISC处理器来执行，也可以形成为不同的硬件电路模块，也可以形成为软-硬结合的固件，在此不赘述。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本公开的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的申请的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的申请的实施例的全部特征。从而，权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上实施例仅为本公开的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (15)

1.一种单曝光压缩高光谱成像系统，其特征在于，包括：
第一成像元件，其被配置为收集目标场景的光信号，在第一成像平面上形成所述目标场景的第一光谱图像；
孔径光阑，其被配置为限制所述第一光谱图像的尺寸；
编码孔径，其配置为对所述第一光谱图像进行编码调制；
光栅色散元件，其被配置为对编码调制后的所述光信号进行色散，产生色散偏移；
第二成像元件，其被配置为收集编码调制和色散后的所述光信号，在第二成像平面上形成对应多个光谱通道的多个第二光谱图像；以及
二维探测器，其配置为测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及
处理器，其被配置为基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
2.根据权利要求1所述的单曝光压缩高光谱成像系统，其特征在于，所述基于Transformer模块的Unet神经网络包括多层编解码器以输出具有光谱相关性和局部空间相关性的高维特征信息；
其中，所述多层编解码器中的各层包括2个Transformer模块，所述Transformer模块包括依序的第一归一化层、多头转置注意层、第二归一化层和前向网络，其中，所述第一归一化层的输入与所述多头转置注意层的输出逐元素相加，作为所述第二归一化层的输入，并且所述第二归一化层的输入与所述前向网络的输出逐元素相加，作为所述Transformer模块的输出。
3.根据权利要求1所述的单曝光压缩高光谱成像系统，其特征在于，所述第二成像元件为布置在所述编码孔径和所述光栅色散元件之间的单个元件；或者
所述第二成像元件为两个分立的元件，包括：
第一元件，其布置在所述编码孔径和所述光栅色散元件之间，并被配置为收集编码调制后的所述目标场景的所述光信号；以及
第二元件，其布置在所述光栅色散元件和所述二维探测器之间，并被配置为与所述第一元件相匹配，以收集编码调制和色散后的所述光信号，在所述第二成像平面上形成多个所述第二光谱图像；
其中，所述第一元件和所述第二元件中的任一个为单个透镜，或者多个透镜的组合。
4.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述孔径光阑为圆形通孔，或者垂直于色散方向的狭缝。
5.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述孔径光阑的开口尺寸具有预设的固定尺寸，或者能够根据光谱范围进行调节。
6.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述第一成像元件为单个透镜，或者多个透镜的组合。
7.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述编码孔径被配置为通过二值编码、灰度编码或者随机编码对所述第一光谱图像进行编码调制。
8.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述编码孔径为反射式编码孔径或者透射式编码孔径。
9.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述编码孔径为通过微加工制作的基板，或者通过微机控制的反射镜。
10.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述光栅色散元件包括透射式光栅和反射式光栅。
11.根据权利要求1至3中任一项所述的单曝光压缩高光谱成像系统，其特征在于，所述二维探测器为电荷耦合器件或者互补金属氧化物半导体。
12.一种利用如权利要求1至11中任一项所述的单曝光压缩高光谱成像系统的单曝光压缩高光谱成像方法，其特征在于，所述单曝光压缩高光谱成像方法包括：
收集来自所述目标场景的光信号，在所述第一成像平面上获取所述目标场景的所述第一光谱图像；
调节所述孔径光阑，以限制所述第一光谱图像的尺寸；
对所述第一光谱图像进行编码调制；
对编码调制后的所述光信号进行色散，产生所述色散偏移；
收集编码调制和色散后的所述光信号，在所述第二成像平面上形成对应多个所述光谱通道的所述多个第二光谱图像；
测量得到所述多个第二光谱图像进行叠加后的压缩测量结果；以及
基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像。
13.根据权利要求12所述的单曝光压缩高光谱成像方法，其特征在于，基于所述压缩测量结果，利用基于Transformer模块的Unet神经网络重建所述目标场景的高光谱图像，包括：
对所述压缩测量结果进行反转偏移色散，以获得初始高光谱图像；
基于初始高光谱图像，利用第一卷积矩阵进行处理，以获取高维特征信息；
基于所述高维特征信息，利用包含所述多层编解码器的Unet神经网络，输出具有光谱相关性和局部空间相关性的高维特征信息；以及
基于所述Unet神经网络的输出，利用第二卷积矩阵进行处理，将输出的特征信息与所述初始高光谱图像进行求和，以获得重建的高光谱图像。
14.根据权利要求13所述的单曝光压缩高光谱成像方法，其特征在于，还包括在所述多层编解码器中的各层中，将当前层的编码器的Transformer模块的输出特征通过第三卷积矩阵进行降维，并与所述当前层的上一层的解码器Transformer模块的输出特征沿通道维度进行拼接，作为所述当前层的解码器的Transformer模块的输入。
15.根据权利要求12至14中任一项所述的单曝光压缩高光谱成像方法，其特征在于，还包括：
对所述压缩测量结果进行离散化处理。
CN202310199441.8A 2023-02-24 2023-02-24 一种单曝光压缩高光谱成像系统及方法 Pending CN116183522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310199441.8A CN116183522A (zh) 2023-02-24 2023-02-24 一种单曝光压缩高光谱成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310199441.8A CN116183522A (zh) 2023-02-24 2023-02-24 一种单曝光压缩高光谱成像系统及方法

Publications (1)

Publication Number Publication Date
CN116183522A true CN116183522A (zh) 2023-05-30

Family

ID=86436383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310199441.8A Pending CN116183522A (zh) 2023-02-24 2023-02-24 一种单曝光压缩高光谱成像系统及方法

Country Status (1)

Country Link
CN (1) CN116183522A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522691A (zh) * 2023-11-22 2024-02-06 西湖大学 一种超分辨率光谱图像的重建方法、系统及应用
CN117589086A (zh) * 2023-11-22 2024-02-23 西湖大学 一种基于条纹投影的光谱三维成像方法、系统及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097363A1 (en) * 2005-10-17 2007-05-03 Brady David J Coding and modulation for hyperspectral imaging
CN104036463A (zh) * 2014-06-13 2014-09-10 中国科学院光电研究院 一种编码孔径光谱成像仪的编码方法
US20170031166A1 (en) * 2015-07-31 2017-02-02 Alexander Sheung Lai Wong System, method and apparatus for improving the spectral resolution and signal-to-noise ratio of optical spectrometer using digital beam refocusing, reforming, slicing, and multiplexing
CN106768336A (zh) * 2016-08-26 2017-05-31 中国科学院寒区旱区环境与工程研究所 光谱成像系统、成像设备及数据处理方法
US20170255104A1 (en) * 2016-03-01 2017-09-07 Asml Netherlands B.V. Metrology Apparatus, Method of Measuring a Structure and Lithographic Apparatus
CN114638758A (zh) * 2022-03-18 2022-06-17 哈尔滨理工大学 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法
CN114659634A (zh) * 2022-03-31 2022-06-24 西安交通大学 微型快照式压缩光谱成像探测装置及探测方法
CN115165096A (zh) * 2022-06-09 2022-10-11 上海交通大学 一种微型高光谱相机及测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097363A1 (en) * 2005-10-17 2007-05-03 Brady David J Coding and modulation for hyperspectral imaging
CN104036463A (zh) * 2014-06-13 2014-09-10 中国科学院光电研究院 一种编码孔径光谱成像仪的编码方法
US20170031166A1 (en) * 2015-07-31 2017-02-02 Alexander Sheung Lai Wong System, method and apparatus for improving the spectral resolution and signal-to-noise ratio of optical spectrometer using digital beam refocusing, reforming, slicing, and multiplexing
US20170255104A1 (en) * 2016-03-01 2017-09-07 Asml Netherlands B.V. Metrology Apparatus, Method of Measuring a Structure and Lithographic Apparatus
CN106768336A (zh) * 2016-08-26 2017-05-31 中国科学院寒区旱区环境与工程研究所 光谱成像系统、成像设备及数据处理方法
CN114638758A (zh) * 2022-03-18 2022-06-17 哈尔滨理工大学 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法
CN114659634A (zh) * 2022-03-31 2022-06-24 西安交通大学 微型快照式压缩光谱成像探测装置及探测方法
CN115165096A (zh) * 2022-06-09 2022-10-11 上海交通大学 一种微型高光谱相机及测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINLI SUO等: "Recent advances of deep learning for spectral snapshot compressive imaging", OPTOELECTRONIC IMAGING AND MULTIMEDIA TECHNOLOGY IX, vol. 12317, 4 January 2023 (2023-01-04), pages 5 - 6 *
SYED WAQAS ZAMIR等: "Restormer: Efficient Transformer for High-Resolution Image Restoration", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 27 September 2022 (2022-09-27), pages 5730 - 5731 *
刘铭鑫;张新;王灵杰;史广维;吴洪波;付强;: "压缩感知光谱成像技术的编码孔径与探测器匹配优化", 中国光学, no. 02, 9 April 2020 (2020-04-09) *
杨青: "基于稀疏性字典学习的单曝光压缩成像算法研究", 中国优秀硕士学位论文全文数据库基础科学辑, no. 12, 15 December 2022 (2022-12-15), pages 005 - 61 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522691A (zh) * 2023-11-22 2024-02-06 西湖大学 一种超分辨率光谱图像的重建方法、系统及应用
CN117589086A (zh) * 2023-11-22 2024-02-23 西湖大学 一种基于条纹投影的光谱三维成像方法、系统及应用

Similar Documents

Publication Publication Date Title
Monakhova et al. Spectral DiffuserCam: lensless snapshot hyperspectral imaging with a spectral filter array
Edgar et al. Principles and prospects for single-pixel imaging
Zhang et al. Deeply learned broadband encoding stochastic hyperspectral imaging
CN116183522A (zh) 一种单曝光压缩高光谱成像系统及方法
Correa et al. Snapshot colored compressive spectral imager
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
US10605660B2 (en) Spectral imaging method and system
Wagadarikar et al. Single disperser design for coded aperture snapshot spectral imaging
EP3832359B1 (en) Method and device for imaging of lensless hyperspectral image
Golub et al. Compressed sensing snapshot spectral imaging by a regular digital camera with an added optical diffuser
Wagadarikar et al. Spectral image estimation for coded aperture snapshot spectral imagers
US10101206B2 (en) Spectral imaging method and system
Correa et al. Multiple snapshot colored compressive spectral imager
CN115700727A (zh) 基于自注意力机制的光谱超分辨率重建方法及系统
Deng et al. Snapshot hyperspectral imaging via spectral basis multiplexing in Fourier domain
CN114659634A (zh) 微型快照式压缩光谱成像探测装置及探测方法
CN115307733A (zh) 一种空间维编码光谱偏振一体化成像系统及其设计方法
Zhang et al. Handheld snapshot multi-spectral camera at tens-of-megapixel resolution
US20240037709A1 (en) Optical Method
Hauser et al. Dual-camera snapshot spectral imaging with a pupil-domain optical diffuser and compressed sensing algorithms
He et al. Single-shot hyperspectral imaging based on dual attention neural network with multi-modal learning
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
Han et al. Deep image prior plus sparsity prior: toward single-shot full-Stokes spectropolarimetric imaging with a multiple-order retarder
Jiang et al. Fast hyperspectral single-pixel imaging via frequency-division multiplexed illumination
Xu et al. A compressive hyperspectral video imaging system using a single-pixel detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination