CN113008370A - 基于液晶高光谱计算成像系统的三维自适应压缩重构方法 - Google Patents

基于液晶高光谱计算成像系统的三维自适应压缩重构方法 Download PDF

Info

Publication number
CN113008370A
CN113008370A CN202110228167.3A CN202110228167A CN113008370A CN 113008370 A CN113008370 A CN 113008370A CN 202110228167 A CN202110228167 A CN 202110228167A CN 113008370 A CN113008370 A CN 113008370A
Authority
CN
China
Prior art keywords
spectral
hyperspectral
resolution
adaptive
data cube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110228167.3A
Other languages
English (en)
Other versions
CN113008370B (zh
Inventor
许廷发
徐畅
王茜
张宇寒
樊阿馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110228167.3A priority Critical patent/CN113008370B/zh
Publication of CN113008370A publication Critical patent/CN113008370A/zh
Application granted granted Critical
Publication of CN113008370B publication Critical patent/CN113008370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,液晶高光谱计算成像系统包括LCTF、编码孔径、探测器和光学透镜。方法包括:采集LCTF在各光谱通道下的低分辨率图像,获得低分辨率数据立方体;进行插值操作,快速得到高分辨率的高光谱数据立方体;利用自适应编码规则,基于高光谱数据立方体生成各滤波波段所需的自适应编码孔径;通过自适应编码孔径分别获取各光谱通道下的压缩测量值;基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体。本发明利用先验信息设计自适应编码孔径和空‑谱联合字典,使得本发明对目标场景有很强的适应性,能够提升成像质量。

Description

基于液晶高光谱计算成像系统的三维自适应压缩重构方法
技术领域
本发明涉及高光谱成像技术领域,尤其是一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法。
背景技术
目前光谱技术已在地质矿产、生物医药、环境保护等领域得到了广泛的应用。而高光谱成像技术将光谱技术与传统的成像技术相结合,能够获取目标的三维数据立方体,包括二维空间信息及一维高分辨率光谱信息,其重要性不言而喻。
液晶可调谐滤波器(Liquid Crystal Tunable Filter,LCTF)是一种通过改变外加电压实现中心波长调谐的光谱滤波器件。由于LCTF具有快速可调谐、灵活选择滤波范围、体积小成本低等优点,基于LCTF的高光谱成像系统已成为一种重要的高光谱仪结构型式。
对于传统的基于LCTF的高光谱成像系统而言,其光谱分辨率受限于液晶可调谐滤波器的带宽。常用的做法是增加LCTF中滤光片的级次使其带宽变窄,从而提高光谱分辨率。然而此种做法会降低LCTF的透过率,导致系统的光通量减少,影响成像质量。所以,传统的基于LCTF的高光谱成像系统存在一个固有缺点,即光谱分辨率和光通量相互制约。
此外,传统的基于LCTF的高光谱成像系统的空间分辨率受限于探测器的分辨率。虽然工艺的不断提升使得制造高分辨率探测器不再那么困难,然而在一些特殊领域,例如探测红外波段信息,高分辨率探测器依然面临着制造成本高等问题。同时,高光谱数据体量巨大,会带来存储、传输的极大压力。
另外,在高光谱成像中,设计了液晶高光谱计算成像系统,液晶高光谱计算成像系统是利用随机编码孔径对光谱图像进行空间维上的调制的。然而,随机编码孔径并不是最优选择,它无法充分利用目标场景的结构特征,因此数据立方体的空间维成像效果尚有提升的空间。并且液晶高光谱计算成像系统很容易获得目标场景的先验信息,无需增加额外探测器和系统复杂度。这些先验信息可用于进一步提升液晶高光谱计算成像系统在空间维和光谱维的重构质量。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,以充分利用先验信息,在实现基于LCTF的高光谱成像系统三维超分辨的同时提高数据立方体的重构质量。
本发明采用的技术方案如下:
一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,所述液晶高光谱计算成像系统包括LCTF、编码孔径、探测器和光学透镜,LCTF对目标场景进行光谱滤波,滤波后的图像经由编码孔径进行空间调制,然后经光学透镜成像在探测器上;本发明的压缩重构方法包括:
加载快照式编码孔径;逐次调谐LCTF滤波的中心波长,采集LCTF在各光谱通道下的低分辨率图像,获得低分辨率数据立方体;
对低分辨率数据立方体进行插值操作,得到高分辨率的高光谱数据立方体,该高光谱数据立方体与目标场景的分辨率相同;
利用自适应编码规则,基于高光谱数据立方体生成各滤波波段所需的自适应编码孔径;
通过自适应编码孔径分别获取各光谱通道下的压缩测量值;
基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体,其中,系统的观测矩阵包含LCTF的光谱维观测矩阵和自适应编码孔径对应的空间维观测矩阵;重构时所用稀疏基是利用所述高光谱数据立方体训练得到的空-谱联合字典。
进一步的,所述快照式编码孔径的编码单元全为1。
进一步的,所述光谱维观测矩阵的计算方法包括:
通过计算LCTF在各中心波长下的透过率函数,将各波长对应的透过率函数离散化,计算出光谱维观测矩阵。
进一步的,各滤波波段所需的自适应编码孔径的计算方法包括:
提取高光谱数据立方体中,对应各次滤波的中心波长的子矩阵,利用自适应编码规则,分别生成各光谱通道下编码孔径对应的空间维观测矩阵。
进一步的,子矩阵中对应各光谱通道的光谱图像分别被划分为预定尺寸的子区域,各子区域分别对应到探测器上的相应的像素点;所述利用自适应编码规则,分别生成各光谱通道下编码孔径对应的空间维观测矩阵,包括:
对子矩阵中对应各光谱通道的光谱图像分别进行以下操作,得到各光谱通道下编码孔径对应的空间维观测矩阵:
将光谱图像上的各子区域,堆叠成一维向量,进行two-tone非线性阈值处理,得到分别对应各子区域的子空间维观测矩阵,将对应各子区域的子空间维观测矩阵进行堆叠拼接,得到对应光谱图像的编码孔径。
进一步的,所述通过自适应编码孔径分别获取各光谱通道下的压缩测量值,包括:
逐次调节LCTF的中心波长,对于各光谱通道,逐帧加载自适应编码孔径,采集该光谱通道各帧的压缩测量值。
进一步的,通过自适应编码孔径分别获取各光谱通道下的压缩测量值过程中,调节LCTF的中心波长的顺序,与构建低分辨率数据立方体时调节的顺序相同。
进一步的,所述基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体,包括:
Figure BDA0002957657350000031
来表征目标场景,用
Figure BDA0002957657350000032
来表征压缩测量值,L表示目标场景的光谱维度,Nx×Ny为编码孔径的分辨率,K表示LCTF调节的光谱通道的数量,U为各光谱通道下采集的压缩测量值的帧数,Mx×My为探测器的分辨率,
Figure BDA0002957657350000041
表示空-谱自适应字典,
Figure BDA0002957657350000042
是稀疏向量;压缩采样的过程表示为:
Figure BDA0002957657350000043
式中,
Figure BDA0002957657350000044
是探测器的噪声向量;
Figure BDA0002957657350000045
表示系统的观测矩阵,由下式给出:
Figure BDA0002957657350000046
Figure BDA0002957657350000047
代表光谱维观测矩阵,
Figure BDA0002957657350000048
表示光谱维观测矩阵的第k行,
Figure BDA0002957657350000049
表示第k个光谱通道下编码孔径对应的空间维观测矩阵;
根据压缩感知理论,通过求解以下问题,重构出高分辨率的目标光谱数据立方体:
Figure BDA00029576573500000410
式中,ε表示噪声的最大量级。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明充分利用液晶高光谱计算成像系统能够获得特定波段图像的特性,无需增加额外探测器和系统复杂度,便可获得目标场景的先验信息,借助这些先验信息,实现三维自适应压缩重构。
2、本发明由低分辨率探测器获取各个光谱通道的图像,将该低分辨率数据立方体插值后得到的与目标场景相同分辨率的高光谱图像作为先验信息。如此获取先验信息的方式既不需要增加额外的设备,减少了系统设计和实现的难度和成本,也不用进行压缩观测实现对场景的近似重构,节省了时间。
3、本发明通过获得的先验信息,一方面用于设计空间维的自适应编码孔径,另一方面用于训练空-谱联合字典。这样使得本发明对目标场景有很强的适应性,在实现基于LCTF的高光谱成像系统三维超分辨的同时能够提升成像质量。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是基于液晶高光谱计算成像系统的三维自适应压缩重构方法的流程图。
图2是仿真中使用的原始光谱数据以及利用自适应方法、非自适应方法重构的数据立方体中波长为540nm、615nm、690nm处的光谱图像。
图3是仿真实验中原始光谱曲线和用自适应方法、非自适应方法重构的光谱曲线对比。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
说明:本发明实施例中所描述的‘A’、‘B’等样式,仅为方便对相应步骤进行指代性说明,并非对执行顺序的限定,在不违反实现发明构思逻辑功能的情况下(即除必须有先后之分的情况外),各个步骤的执行顺序无先后之分,可以交换顺序、同时执行甚至穿插执行。
本发明的设计思路为:
一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,所述液晶高光谱计算成像系统包括LCTF、编码孔径、探测器和光学透镜,LCTF对目标场景进行光谱滤波,滤波后的图像经由编码孔径进行空间调制,然后经光学透镜成像在探测器上;其特征在于,压缩重构方法包括:
加载快照式编码孔径;逐次调谐LCTF滤波的中心波长,采集LCTF在各光谱通道下的低分辨率图像,获得低分辨率数据立方体;
对低分辨率数据立方体进行插值操作,得到高分辨率的高光谱数据立方体,所述高光谱数据立方体与目标场景的分辨率相同;
利用自适应编码规则,基于高光谱数据立方体生成各滤波波段所需的自适应编码孔径;
通过自适应编码孔径分别获取各光谱通道下的压缩测量值;
基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体,其中,系统的观测矩阵包含LCTF的光谱维观测矩阵和自适应编码孔径对应的空间维观测矩阵;重构时所用稀疏基是利用所述高光谱数据立方体训练得到的空-谱联合字典。
本发明提供以下实施例对本发明的设计思路进行进一步说明:
实施例一
如图1所示,本实施例公开了一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,液晶高光谱计算成像系统包括LCTF、分辨率为Nx×Ny的编码孔径、分辨率为Mx×My的探测器和光学透镜,LCTF对目标场景进行光学滤波,滤波的过程视为压缩采样的过程,LCTF透过率函数离散化后的矩阵即为光谱维的观测矩阵。滤波后的图像包含了多个光谱的信息,经由编码孔径实现空间调制,最后通过光学透镜成像在低分辨率的探测器上,低分辨率探测器搜集混叠后的压缩观测结果。压缩重构方法包括以下步骤:
A.调谐LCTF,令编码孔径的编码单元全为1(即不进行空间编码),此时低分辨率探测器获取一个光谱通道的图像。重复这样的操作K次(各次调谐的中心波长不同),共采集LCTF在K个光谱通道下的低分辨率图像。把所有波长的集合记作
Figure BDA0002957657350000071
其中
Figure BDA0002957657350000072
表示第k(l=1,2,...,K)个通道对应的中心波长。获得的低分辨率数据立方体表示为
Figure BDA0002957657350000073
B.对Flow进行插值操作得到高分辨率的高光谱数据立方体,表示为
Figure BDA0002957657350000074
其中L代表原始数据的光谱维度,Nx×Ny代表编码孔径的空间维度,也是原始数据的空间维度。L个波段对应的全部中心波长为集合
Figure BDA0002957657350000075
其中l=1,2,...,L。
C.生成光谱维观测矩阵。假设光谱维观测矩阵表示为
Figure BDA0002957657350000076
计算LCTF在集合λlow各中心波长下的透过率函数,将
Figure BDA0002957657350000077
对应的透过率函数离散化为L个点,便可得到Φspe的第k行,即
Figure BDA0002957657350000078
D.提取出Flow_sr中波长为集合λlow的子矩阵,记为
Figure BDA0002957657350000079
其元素
Figure BDA00029576573500000710
代表第k个中心波长对应的图像,将其作为本通道下生成编码孔径所需的先验信息。利用two-tone自适应编码规则生成第k个光谱通道下编码孔径对应的空间维观测矩阵,记为
Figure BDA00029576573500000711
本发明采用了多帧快照的策略,也就是说U>1。通过该操作,遍历集合
Figure BDA00029576573500000712
得到该集合内所有光谱波段空间维观测所需的编码孔径,即得到各光谱波段所需的自适应编码孔径。
E.利用Flow_sr训练生成空-谱自适应字典
Figure BDA0002957657350000081
F.将LCTF调节至第一个光谱通道对应的中心波长
Figure BDA0002957657350000082
在编码孔径上逐帧加载对应的自适应编码矩阵,采集该通道U帧的压缩测量值。完成对一个光谱通道的压缩采样。之后,LCTF依次切换到
Figure BDA0002957657350000083
分别采集对应通道U帧的压缩测量值,最终获取K个光谱通道每通道共U帧的压缩测量值,记为
Figure BDA0002957657350000084
G.记目标场景为
Figure BDA0002957657350000085
为便于求解,将目标场景与压缩测量值分别堆叠为一维向量形式,即用
Figure BDA0002957657350000086
来表征Fori,用
Figure BDA0002957657350000087
来表征Y。
Figure BDA0002957657350000088
在字典D上是稀疏的,满足
Figure BDA0002957657350000089
(字典D作为重构的稀疏基),其中
Figure BDA00029576573500000810
是稀疏向量。压缩采样的过程可以写作:
Figure BDA00029576573500000811
式中,
Figure BDA00029576573500000812
是探测器的噪声向量。
Figure BDA00029576573500000813
表示整个系统的观测矩阵,包含了LCTF和编码孔径的调制作用,由下式给出:
Figure BDA00029576573500000814
根据压缩感知理论,通过求解以下问题得到稀疏向量,再由稀疏向量和字典可以重构出高分辨率的高光谱数据立方体:
Figure BDA00029576573500000815
式中,ε表示噪声的最大量级。
实施例二
如图1所示,本实施例公开了一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,液晶高光谱计算成像系统包括LCTF、分辨率为Nx×Ny的编码孔径、分辨率为Mx×My的探测器和光学透镜,各部分的工作参见实施例一。压缩重构方法包括以下步骤:
A.获取低分辨率数据立方体。
LCTF可以实现对目标场景的滤波,选择特定中心波长的光谱波段通过。在传统的应用领域中,LCTF通常被认为是一个带宽无限小的理想滤波器,其输出的光谱图像为该特定中心波长下的准单色图像。实际上,即使LCTF的带宽非常窄,经过LCTF滤波后的图像也是多个光谱波段多路复用的结果。也就是说,LCTF每调节一次中心波长,其对应的光谱通道覆盖了该波长附近的光谱范围。LCTF的滤波作用可以看作是对该通道下光谱信息的调制,这是对光谱维进行压缩重构的理论基础。假设存在数量关系:δdc=R,其中δc和δd分别代表编码孔径和探测器的像素尺寸,那么系统空间维超分辨的要求是R>1,实际为了便于操作一般还令
Figure BDA0002957657350000091
此时,系统的空间分辨率取决于编码孔径的分辨率。令编码孔径和探测器的分辨率分别为Nx×Ny和Mx×My,则有Nx/Mx=Ny/My=R。
为了简化分析过程,成像模型以离散化形式表示。记目标场景为
Figure BDA0002957657350000092
原始高光谱数据立方体的空间维度和光谱维度分别为L和Nx×Ny。用集合
Figure BDA0002957657350000093
来表示L个波段对应的全部中心波长,其中l=1,2,...,L。调谐LCTF,令编码孔径的编码单元全为1(即不进行空间编码),此时低分辨率探测器获取一个光谱通道的图像。重复这样的操作K次,共采集LCTF在K个光谱通道下的图像。
Figure BDA0002957657350000094
表示第k(l=1,2,...,K)个通道对应的中心波长,把K个通道所有波长的集合记作λlow,那么则有
Figure BDA0002957657350000095
获得的低分辨率数据立方体记为
Figure BDA0002957657350000101
Flow是目标场景Fori经过光谱维压缩比为γspe=L/K、空间维压缩比为γspa=R2的采样得到的。
B.对低分辨率数据立方体插值操作,得到高分辨率数据立方体作为先验信息。
对Flow进行插值操作得到同Fori相同分辨率的高光谱数据立方体,表示为
Figure BDA0002957657350000102
其对应的中心波长集合为λori。用于插值的方法有多种,例如:最近邻插值、双线性插值、样条插值、Lanczos核插值方法等。
C.通过计算LCTF在各中心波长下的透过率函数,将各波长对应的透过率函数离散化,计算出光谱维观测矩阵。
Figure BDA0002957657350000103
代表光谱维观测矩阵。计算LCTF在集合λlow各中心波长下的透过率函数,将
Figure BDA0002957657350000104
对应的透过率函数离散化为L个点,便可得到Φspe的第k行,即
Figure BDA0002957657350000105
最终重构数据立方体的光谱分辨率取决于LCTF透过率函数的离散化精度。
D.利用自适应编码规则,基于高光谱数据立方体生成各滤波波段所需的自适应编码孔径。
本实施例通过two-tone自适应编码规则生成编码孔径。在本实施例中,在空间维上使用分块压缩感知的方法,将高光谱数据立方体的光谱图像划分成R×R的子区域以提升重构质量。
Figure BDA0002957657350000106
来表示第k个光谱通道下编码孔径对应的空间维观测矩阵,其结构由下式决定:
Figure BDA0002957657350000111
式中,
Figure BDA0002957657350000112
是U×R2阶全0矩阵,
Figure BDA0002957657350000113
是探测器上第p个像素对应的光谱图像上R×R分块的子观测矩阵。此处以该R×R的子区域为例,叙述其相对应的
Figure BDA0002957657350000114
按照规则如何产生,其他分块以此类推。
首先提取出Flow_sr中波长为集合λlow的子矩阵,记为
Figure BDA0002957657350000115
其中
Figure BDA0002957657350000116
代表第k个中心波长对应的图像,将其作为本通道下生成编码孔径所需的先验信息。使用vec(·)操作符将
Figure BDA0002957657350000117
上对应的R×R子矩阵堆叠成一维向量,为便于叙述,记为
Figure BDA0002957657350000118
Figure BDA0002957657350000119
进行two-tone非线性阈值处理,则
Figure BDA00029576573500001110
中位于第i行,第j列的元素,表示为
Figure BDA00029576573500001111
由下式获得:
Figure BDA00029576573500001112
其中,U为偶数,sgn(·)是符号函数,
Figure BDA00029576573500001113
Figure BDA00029576573500001114
的第j个元素。假设
Figure BDA00029576573500001115
的均值和方差分别为μΛ
Figure BDA00029576573500001116
则阈值Λij服从高斯分布
Figure BDA00029576573500001117
Figure BDA00029576573500001118
的构成为
Figure BDA00029576573500001119
其中
Figure BDA00029576573500001120
是该矩阵的第u行。本实施例采用了多帧快照的策略,也就是说U>1。
Figure BDA00029576573500001121
表示第u帧快照时,探测器上第p个像素和对应光谱图像R×R分块之间的关系。将
Figure BDA00029576573500001122
堆叠成一个R×R的矩阵,作为第u帧快照编码孔径的一个子区域。同样地,将
Figure BDA00029576573500001123
堆叠并拼接在一起,便可获得第u帧完整的编码孔径。
采用同样的操作,遍历中心波长组
Figure BDA0002957657350000121
得到该集合内所有光谱波段空间维观测所需的编码孔径。
E.利用高光谱数据立方体训练生成空-谱自适应字典。
利用Flow_sr训练生成空-谱自适应字典
Figure BDA0002957657350000122
可用于字典学习的算法包括但不仅限于:MOD算法、K-SVD算法、ODL算法。
F.通过自适应编码孔径分别获取各光谱通道下的压缩测量值。
将LCTF调节至第一个光谱通道对应的中心波长
Figure BDA0002957657350000123
在编码孔径上逐帧加载生成的自适应编码矩阵,采集该通道U帧的压缩测量值。完成对一个光谱通道的压缩采样之后,LCTF依次切换到
Figure BDA0002957657350000124
最终获取K个光谱通道每通道共U帧的低分辨率数据立方体,记为
Figure BDA0002957657350000125
此时整个系统的压缩比为γ=γspe·γspa=(L·Nx·Ny)/(K·U·Mx·My)=(L·R2)/(K·U)。
G.根据压缩感知理论,利用系统的观测矩阵、空-谱自适应字典、及压缩测量值,重构出高分辨率的目标光谱数据立方体。
为便于求解,将目标场景与压缩测量值堆叠为一维向量形式,用
Figure BDA0002957657350000126
来表征Fori,用
Figure BDA0002957657350000127
来表征Y。
Figure BDA0002957657350000128
在字典D上是稀疏的,满足
Figure BDA0002957657350000129
其中
Figure BDA00029576573500001210
是稀疏向量。压缩采样的过程可以表示为下式:
Figure BDA00029576573500001211
式中,
Figure BDA00029576573500001212
是探测器的噪声向量。
Figure BDA00029576573500001213
表示整个系统的观测矩阵,包含了LCTF和编码孔径的调制作用,由下式给出:
Figure BDA0002957657350000131
根据压缩感知理论,通过求解以下问题,可以重构出高分辨率的目标光谱数据立方体:
Figure BDA0002957657350000132
式中,ε表示噪声的最大量级。
可用于求解该问题的算法包括但不仅限于:GPSR算法,TwIST算法,SpaRSA算法。
实施例三
如图2所示,本实施例公开了对上述实施例的仿真结果,用以表面本发明重构成像质量的优越性。
本实施例中,仿真实验所用编程平台为MATLAB R2015b。仿真实验所用的原始高光谱数据来自于以色列本-古里安大学跨学科计算视觉实验室的高光谱数据库,截取了其中500nm到710nm共170个光谱波段,每个波段的空间维度为400×400像素。在压缩采样过程中,LCTF将目标场景滤波为22个光谱通道,光谱通道中心波长的范围从500nm到710nm,间隔为10nm。编码孔径将每8×8个像素压缩混叠成1个像素,即模拟探测器的大小为50×50像素。此外,为了获得更好的重构结果,每个光谱通道进行24帧采集。整个系统的压缩比为γ=(170·82)/(22·24)≈20.6。重构算法采用的是GPSR-basic算法,最终重构出的高光谱图像包括170个光谱波段和400×400个空间像素。本实施例使用重构结果与目标场景之间的峰值信噪比(PSNR)来评估重构质量。根据仿真结果可知,本发明实施例重构出的数据立方体空间维PSNR平均值为31.53dB,光谱维PSNR平均值为34.61dB。
本实施例还以非自适应重构方法作为对比,以突出本发明设计的效果。在非自适应方法中,稀疏随机矩阵被用作空间维观测矩阵,二维哈尔小波基被用作空间维稀疏基,一维余弦变换基被用作光谱维稀疏基,其他参数设置同上。非自适应方法重构出的高光谱数据空间维PSNR平均值为24.70dB,光谱维PSNR平均值为30.17dB。和非自适应方法相比,本专利提出的三维自适应方法将空间维PSNR提升了约6.83dB,光谱维PSNR提升了约4.44dB。
图2(a)、(b)、(c)分别展示了波长540nm、615nm、690nm的原始光谱图像、自适应方法重构图像、非自适应方法重构图像。图2(b)、(c)上均标出了相应的PSNR。从仿真实验的结果可以看出,用本发明获取的超分辨率图像重构效果与非自适应方法相比有了很大的提高。
图3给出了目标场景中三个代表性的点对应的原始和重构光谱曲线。三个点分别选自不同的色彩区域,如图3(a)所示。图(b)-(d)对应P1、P2、P3点,实线表示原始光谱曲线,虚线表示利用自适应方法重构出的光谱曲线,点划线表示非自适应方法重构出的光谱曲线,每种方法相对原始光谱曲线的PSNR均标注在了图像中。通过重构曲线与原始光谱曲线的拟合情况以及PSNR的对比可以看出,本发明的方法能够获得更好的光谱重构效果。空间维和光谱维的重构结果都充分证实了本发明的优良性能。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种基于液晶高光谱计算成像系统的三维自适应压缩重构方法,所述液晶高光谱计算成像系统包括LCTF、编码孔径、探测器和光学透镜,LCTF对目标场景进行光谱滤波,滤波后的图像经由编码孔径进行空间调制,然后经光学透镜成像在探测器上;其特征在于,压缩重构方法包括:
加载快照式编码孔径;逐次调谐LCTF滤波的中心波长,采集LCTF在各光谱通道下的低分辨率图像,获得低分辨率数据立方体;
对低分辨率数据立方体进行插值操作,得到高分辨率的高光谱数据立方体,所述高光谱数据立方体与目标场景的分辨率相同;
利用自适应编码规则,基于高光谱数据立方体生成各滤波波段所需的自适应编码孔径;
通过自适应编码孔径分别获取各光谱通道下的压缩测量值;
基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体,其中,系统的观测矩阵包含LCTF的光谱维观测矩阵和自适应编码孔径对应的空间维观测矩阵;重构时所用稀疏基是利用所述高光谱数据立方体训练得到的空-谱联合字典。
2.如权利要求1所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,所述快照式编码孔径的编码单元全为1。
3.如权利要求1所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,所述光谱维观测矩阵的计算方法包括:
通过计算LCTF在各中心波长下的透过率函数,将各波长对应的透过率函数离散化,计算出光谱维观测矩阵。
4.如权利要求1所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,各滤波波段所需的自适应编码孔径的计算方法包括:
提取高光谱数据立方体中,对应各次滤波的中心波长的子矩阵,利用自适应编码规则,分别生成各光谱通道下编码孔径对应的空间维观测矩阵。
5.如权利要求4所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,子矩阵中对应各光谱通道的光谱图像分别被划分为预定尺寸的子区域,各子区域分别对应到探测器上的相应的像素点;所述利用自适应编码规则,分别生成各光谱通道下编码孔径对应的空间维观测矩阵,包括:
对子矩阵中对应各光谱通道的光谱图像分别进行以下操作,得到各光谱通道下编码孔径对应的空间维观测矩阵:
将光谱图像上的各子区域,堆叠成一维向量,进行two-tone非线性阈值处理,得到分别对应各子区域的子空间维观测矩阵,将对应各子区域的子空间维观测矩阵进行堆叠拼接,得到对应光谱图像的编码孔径。
6.如权利要求1所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,所述通过自适应编码孔径分别获取各光谱通道下的压缩测量值,包括:
逐次调节LCTF的中心波长,对于各光谱通道,逐帧加载自适应编码孔径,采集该光谱通道各帧的压缩测量值。
7.如权利要求6所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,通过自适应编码孔径分别获取各光谱通道下的压缩测量值过程中,调节LCTF的中心波长的顺序,与构建低分辨率数据立方体时调节的顺序相同。
8.如权利要求1所述的基于液晶高光谱计算成像系统的三维自适应压缩重构方法,其特征在于,所述基于压缩感知理论,根据系统的观测矩阵、稀疏基和压缩测量值,重构出高分辨率的目标光谱数据立方体,包括:
Figure FDA0002957657340000021
来表征目标场景,用
Figure FDA0002957657340000022
来表征压缩测量值,L表示目标场景的光谱维度,Nx×Ny为编码孔径的分辨率,K表示LCTF调节的光谱通道的数量,U为各光谱通道下采集的压缩测量值的帧数,Mx×My为探测器的分辨率,
Figure FDA0002957657340000023
表示空-谱自适应字典,
Figure FDA0002957657340000024
是稀疏向量;压缩采样的过程表示为:
Figure FDA0002957657340000031
式中,
Figure FDA0002957657340000032
是探测器的噪声向量;
Figure FDA0002957657340000033
表示系统的观测矩阵,由下式给出:
Figure FDA0002957657340000034
Figure FDA0002957657340000035
代表光谱维观测矩阵,
Figure FDA0002957657340000036
表示光谱维观测矩阵的第k行,
Figure FDA0002957657340000037
表示第k个光谱通道下编码孔径对应的空间维观测矩阵;
根据压缩感知理论,通过求解以下问题,重构出高分辨率的目标光谱数据立方体:
Figure FDA0002957657340000038
式中,ε表示噪声的最大量级。
CN202110228167.3A 2021-03-02 2021-03-02 基于液晶高光谱计算成像系统的三维自适应压缩重构方法 Active CN113008370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228167.3A CN113008370B (zh) 2021-03-02 2021-03-02 基于液晶高光谱计算成像系统的三维自适应压缩重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228167.3A CN113008370B (zh) 2021-03-02 2021-03-02 基于液晶高光谱计算成像系统的三维自适应压缩重构方法

Publications (2)

Publication Number Publication Date
CN113008370A true CN113008370A (zh) 2021-06-22
CN113008370B CN113008370B (zh) 2022-06-14

Family

ID=76402039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228167.3A Active CN113008370B (zh) 2021-03-02 2021-03-02 基于液晶高光谱计算成像系统的三维自适应压缩重构方法

Country Status (1)

Country Link
CN (1) CN113008370B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113865707A (zh) * 2021-09-24 2021-12-31 西安电子科技大学 基于lctf和岭回归光谱模型的高光谱成像系统及方法
CN116222779A (zh) * 2023-03-09 2023-06-06 重庆大学 一种可调谐高光谱重构成像方法
CN117571128A (zh) * 2024-01-16 2024-02-20 长春理工大学 一种高分辨率偏振光谱图像成像方法及系统
CN118071616A (zh) * 2024-01-18 2024-05-24 北京中星微人工智能芯片技术有限公司 脉冲信号信息生成方法、装置、电子设备和可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016284A1 (en) * 2011-07-12 2013-01-17 Xerox Corporation Hyperspectral image reconstruction via a compressed sensing framework
US20140022414A1 (en) * 2012-07-23 2014-01-23 Vikram Bhatia Hyperspectral imaging system and method for imaging a remote object
CN106679807A (zh) * 2016-11-01 2017-05-17 北京理工大学 一种基于lctf高光谱成像系统的图像压缩与重构方法
CN108663118A (zh) * 2018-01-18 2018-10-16 西安电子科技大学 红外宽波段高光谱计算成像装置及其方法
CN108955882A (zh) * 2018-07-10 2018-12-07 北京理工大学 基于液晶高光谱计算成像系统的三维数据重构方法
CN109887050A (zh) * 2019-02-26 2019-06-14 哈尔滨工程大学 一种基于自适应字典学习的编码孔径光谱成像方法
US20200264046A1 (en) * 2017-09-26 2020-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Multichromatic calibration method and device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016284A1 (en) * 2011-07-12 2013-01-17 Xerox Corporation Hyperspectral image reconstruction via a compressed sensing framework
US20140022414A1 (en) * 2012-07-23 2014-01-23 Vikram Bhatia Hyperspectral imaging system and method for imaging a remote object
CN106679807A (zh) * 2016-11-01 2017-05-17 北京理工大学 一种基于lctf高光谱成像系统的图像压缩与重构方法
US20200264046A1 (en) * 2017-09-26 2020-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Multichromatic calibration method and device
CN108663118A (zh) * 2018-01-18 2018-10-16 西安电子科技大学 红外宽波段高光谱计算成像装置及其方法
CN108955882A (zh) * 2018-07-10 2018-12-07 北京理工大学 基于液晶高光谱计算成像系统的三维数据重构方法
CN109887050A (zh) * 2019-02-26 2019-06-14 哈尔滨工程大学 一种基于自适应字典学习的编码孔径光谱成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F. SOLDEVILA ET AL.: "Single-pixel hyperspectral imaging polarimeter for full stokes parameter measurement", 《IEEE》 *
XIN YUAN ET AL.: "Compressive Hyperspectral Imaging With Side Information", 《IEEE》 *
孙朗等: "压缩采样光谱调制技术研究", 《光子学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113865707A (zh) * 2021-09-24 2021-12-31 西安电子科技大学 基于lctf和岭回归光谱模型的高光谱成像系统及方法
CN113865707B (zh) * 2021-09-24 2023-08-18 西安电子科技大学 基于lctf和岭回归光谱模型的高光谱成像系统及方法
CN116222779A (zh) * 2023-03-09 2023-06-06 重庆大学 一种可调谐高光谱重构成像方法
CN116222779B (zh) * 2023-03-09 2023-09-15 重庆大学 一种可调谐高光谱重构成像方法
CN117571128A (zh) * 2024-01-16 2024-02-20 长春理工大学 一种高分辨率偏振光谱图像成像方法及系统
CN117571128B (zh) * 2024-01-16 2024-03-29 长春理工大学 一种高分辨率偏振光谱图像成像方法及系统
CN118071616A (zh) * 2024-01-18 2024-05-24 北京中星微人工智能芯片技术有限公司 脉冲信号信息生成方法、装置、电子设备和可读介质

Also Published As

Publication number Publication date
CN113008370B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN113008370B (zh) 基于液晶高光谱计算成像系统的三维自适应压缩重构方法
Arce et al. Compressive coded aperture spectral imaging: An introduction
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
US20060038705A1 (en) Compressive sampling and signal inference
CN110211044B (zh) 基于去马赛克算法和主成分分析的多光谱成像方法及装置
CN108955882B (zh) 基于液晶高光谱计算成像系统的三维数据重构方法
Dua et al. Convolution neural network based lossy compression of hyperspectral images
KR102132075B1 (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN115561182A (zh) 一种基于先验图像引导的快照式光谱成像系统重构方法
CN109087262B (zh) 一种多视图光谱图像的重建方法、存储介质
Tuna et al. Iterative enhanced multivariance products representation for effective compression of hyperspectral images
Raju et al. Multispectral image compression for various band images with high resolution improved DWT SPIHT
CN109682476B (zh) 一种利用自适应编码孔径进行压缩高光谱成像的方法
Degraux et al. Multispectral compressive imaging strategies using Fabry–Pérot filtered sensors
CN117571128B (zh) 一种高分辨率偏振光谱图像成像方法及系统
Gnutti et al. A wavelet filter comparison on multiple datasets for signal compression and denoising
CN118212536A (zh) 物理引导的超分辨压缩编码光谱成像方法
CN113008371B (zh) 一种深度学习解色散模糊的高光谱成像方法
Pitsianis et al. Compressive imaging sensors
CN111882512B (zh) 基于深度学习的图像融合方法、装置、设备和存储介质
CN117906759A (zh) 一种基于深度学习的双相机快照式计算光谱成像系统
WO2023241188A1 (zh) 一种无人机定量遥感应用的数据压缩方法
CN104683818A (zh) 基于双正交不变集多小波的图像压缩方法
Shinoda et al. Multispectral filter array design without training images
CN115314025A (zh) 基于联合图频域采样的时间-顶点联合图滤波器组及设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant