CN109682476A - 一种利用自适应编码孔径进行压缩高光谱成像的方法 - Google Patents

一种利用自适应编码孔径进行压缩高光谱成像的方法 Download PDF

Info

Publication number
CN109682476A
CN109682476A CN201910104509.3A CN201910104509A CN109682476A CN 109682476 A CN109682476 A CN 109682476A CN 201910104509 A CN201910104509 A CN 201910104509A CN 109682476 A CN109682476 A CN 109682476A
Authority
CN
China
Prior art keywords
aperture
image
adaptive coding
wave band
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910104509.3A
Other languages
English (en)
Other versions
CN109682476B (zh
Inventor
许廷发
徐畅
闫歌
张宇寒
王茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910104509.3A priority Critical patent/CN109682476B/zh
Publication of CN109682476A publication Critical patent/CN109682476A/zh
Application granted granted Critical
Publication of CN109682476B publication Critical patent/CN109682476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced
    • G01J2003/2836Programming unit, i.e. source and date processing

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种利用自适应编码孔径进行压缩高光谱成像的方法,利用高光谱图像具有高的谱间相关性的特点,预先得到几个波段的恢复图像,将其作为先验信息通过阈值操作构造自适应编码孔径,可以提取出目标场景的结构特征;相对传统的随机编码孔径,能够提高压缩效率,仿真和实验结果验证了本发明能够切实改善高光谱仪的成像质量;通过本发明所述的方法设计出的自适应编码孔径取值为0、1,很容易通过掩膜或者数字微镜阵列编码实现;在压缩高光谱仪中具有很强的普适性,有着广泛的应用前景。

Description

一种利用自适应编码孔径进行压缩高光谱成像的方法
技术领域
本发明属于高光谱成像技术领域,具体涉及一种利用自适应编码孔径进行压缩高光谱成像的方法。
背景技术
高光谱成像技术可以获得目标场景的空-谱数据立方体,为空间维的每个像素提供数十上百个连续并且波段间隔非常窄的光谱波段信息。由于高光谱图像光谱分辨率高,包含了目标的丰富信息,在近年来得到了广泛的应用,有非常好的发展前景和应用意义。但是高光谱图像数据量巨大且冗余度高,使用传统的采样方法会造成极大的浪费,并且增加了采集时间;另一方面,传统高光谱仪的空间分辨率一般受限于探测器的分辨率,而提高探测器的性能代价很大,制造成本相当高。
应用压缩感知理论可以解决上述难题。假设信号在某个基下是稀疏的,通过压缩感知理论利用观测矩阵对该信号进行投影,以远低于尼奎斯特采样定理所要求的观测值便能以很高的概率精确重建出原始高维信号。压缩感知理论的提出为快速获取高光谱数据提供了理论基础,并且将高光谱仪成像的技术压力从采样端转移到重构端上,可以突破探测器对高光谱图像空间分辨率的限制。
在现有的压缩高光谱成像仪中,随机编码孔径被广泛使用。编码孔径决定了压缩采样中观测矩阵的结构,并且对于高光谱数据立方体的重构质量有重要影响。随机编码孔径无法充分利用目标场景的结构特征,如此高光谱仪的重构质量尚有提升的空间。
针对压缩高光谱成像仪中编码孔径的设计方法,学者们已经进行了大量的研究。一种常见的思路是利用限制等距性质(The Restricted Isometry Property,RIP)或某些经验设计规则通过算法来优化编码孔径从而提升成像质量,但是这种方法会给成像仪引入额外的计算负担。
发明内容
有鉴于此,本发明的目的是提供一种利用自适应编码孔径进行压缩高光谱成像的方法,可以实现高光谱仪的超分辨同时提高成像质量。
一种利用自适应编码孔径进行压缩高光谱成像的方法,包括如下步骤:
步骤1、将高光谱仪的整个光谱划分成至少一组,每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;
步骤2、利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值;
步骤3:基于步骤2的随机编码孔径对应的观测矩阵和参考波段的观测值,对参考波段的光谱图像进行重构;
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径,具体为:
将参考波段的重构图像和该组中除参考波段外的其它待测波段的图像矩阵数据分别堆叠成一维向量,分别记作则待测信号由下式给出:
式中是噪声向量;
则编码孔径对应的观测矩阵Φ中的第i个向量的第j个元素为:
式中,sgn(·)是符号函数,N表示一维向量中元素数量;的第j个元素,阈值Λij服从高斯分布),其中μΛ分别等于信号的均值和方差;
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值;
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
较佳的,所述步骤1中,对整个光谱进行均匀分组。
较佳的,所述步骤1中,根据光谱信息的相似度对整个光谱进行分组。
较佳的,所述步骤2中,采用高斯随机矩阵、稀疏随机矩阵或者哈达玛矩阵生成随机编码孔径的观测矩阵。
本发明具有如下有益效果:
利用高光谱图像具有高的谱间相关性的特点,预先得到几个波段的恢复图像,将其作为先验信息通过阈值操作构造自适应编码孔径,可以提取出目标场景的结构特征;相对传统的随机编码孔径,能够提高压缩效率,仿真和实验结果验证了本发明能够切实改善高光谱仪的成像质量;
通过本发明所述的方法设计出的自适应编码孔径取值为0、1,很容易通过掩膜或者数字微镜阵列DMD编码实现;在压缩高光谱仪中具有很强的普适性,有着广泛的应用前景。
附图说明
图1为本发明的利用自适应编码孔径进行压缩高光谱成像的方法流程图。
图2为本发明仿真针对Lego图像生成的其中一对自适应编码孔径的示意图。
图3为仿真中使用传统随机编码方法以及本发明方法对其中4个波段的重构结果。
图4为本发明实验所用平台示意图。
图5为本发明实验所用目标物以及生成的一对自适应编码孔径的示意图。
图6为实验中使用传统随机编码方法以及本发明方法对其中4个波段的重构结果。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
因为高光谱图像具有很高的谱间相关性,某一波段的重构图像可以视作相邻波段的近似,于是可以利用其作为先验信息生成观测其他波段所需的编码孔径。本发明是通过下述步骤实现的:
步骤1:将高光谱仪的整个光谱划分成若干组(至少一组),每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;可以均匀分组,也可以根据光谱信息的相似度进行分组;一般来说分组数量越多重构质量越高;通常选择中间波段作为参考波段。
步骤2:利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值。可用于生成随机编码孔径的观测矩阵有多种,例如:高斯随机矩阵,稀疏随机矩阵,哈达玛矩阵等。
步骤3:基于步骤2的随机编码孔径对应的观测矩阵记为Φ和参考波段的观测值记为通过求解以下问题来重构待测信号得到重构后的光谱图像。
式中,是稀疏基,是稀疏系数向量。常用的稀疏基包括傅里叶变换基、小波基、离散余弦变换基(Discrete Cosine Basis,DCT)等。
可用于求解该问题的算法包括但不仅限于:GPSR算法,TwIST算法,SpaRSA算法。
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径。为了叙述方便起见,假设其中一个参考波段的重构图像和待测波段(该组中除参考波段的其它波段)的图像分别为通过vec(·)操作符将Iv堆叠成一维向量,令vec(Ιv)变为N维向量,分别记作待测信号可以由下式给出,
式中是噪声向量,其中元素是服从高斯分布的独立等同分布向量,即均值为0,方差为
编码孔径对应的观测矩阵中的每个向量都是通过对观测值应用非线性阈值处理独立生成的。若L为偶数,那么的第j个元素为:
式中,sgn(·)是符号函数,的第j个元素,阈值Λij服从高斯分布),其中μΛ分别等于信号的均值和方差。
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值。
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
基于互相关性准则,通过本发明所述的方法设计出的自适应观测矩阵满足如下性质:
式中,E{·}是数学期望,将稀疏基Ψ的列向量分为两个集合:以及l(i)指的是稀疏系数中第i个非零元素的位置,是Υ的补集,K表示信号的稀疏度,θmax代表稀疏系数的最大元素,μX分别是的均值和方差,是使数学期望取得最大值的稀疏基的一个向量,中的元素。
在二维DCT基作为稀疏基的情况下,则有那么上面的性质变成:
本发明的方法在统计意义上将μΥ分离,在理论上能够更好地满足设计准则。
本发明所设计的自适应编码孔径对应的观测矩阵元素取值为0、1,很容易通过掩膜或者DMD编码实现,可以广泛应用于压缩高光谱仪中,实现高光谱图像超分辨的同时提高成像质量。
下面通过对本发明实施例提供的方案进行仿真,以表明本发明实施例提供的编码孔径设计方法可以提高重构质量:
仿真实验所用编程平台为MATLAB R2016a。仿真实验所用的高光谱数据以Lego人物作为目标物,包含452nm到667nm共24个光谱波段,在空间维上的大小为256×256像素。在压缩采样过程中,将每8×8个像素压缩混叠成1个像素,也就是说,模拟探测器的大小为32×32像素。由探测器上接收到的低空间分辨率的图像能恢复出原256×256的图像。此外,为了获得更好的重构结果,可以采取多快照策略来提高测量数据的数量。
仿真过程中重构算法采用的是GPSR-basic算法,选择二维DCT基作为稀疏矩阵,把整个光谱波段分出了4组,选择了4个参考波段。针对利用随机编码孔径、自适应编码孔径对Lego数据分别进行观测然后重构得到的两个数据立方体,本实施例可以使用重构结果与原图之间的峰值信噪比(PSNR)来评估本实施例提供的方法的性能。图2给出了生成的其中一对自适应编码孔径的示意图,可以看出本实施例方法提取出目标场景的一些结构特征。图3给出了数据立方体中四个波段的重构结果图。其中,图3(a)为原始的Lego图像,图3(b)为传统随机编码的重构结果,图3(c)为利用本发明自适应编码的重构结果。每个重构图上都标出了该重构结果的PSNR。
从仿真的实验结果可以看出,用本发明获取的超分辨率图像,细节更清晰,成像质量比传统编码孔径的实验结果有了很大的提高;从重构图像的PSNR可以看出,本发明超分辨率的重构图像的PSNR比传统编码孔径超分辨率重构图像的PSNR有了大幅提高。对于整个高光谱立方体而言,采用随机编码孔径的重构图像的平均PSNR为26.3350dB,采用自适应编码孔径的重构图像的平均PSNR为31.1357dB,提高了4.78dB左右。这两方面的效果都充分证实了本发明的优良性能。
此外,本发明的效果还可以通过如下实验具体说明:
在压缩高光谱仪的一种常用形式——基于液晶可调滤光片(LCTF)的高光谱成像系统上完成了实验。实验平台的具体构成如图4所示。三维场景经过LCTF滤光后获得一个单波段二维图像,通过改变LCTF两端的电压可以切换过器件的光的波长。实验时,LCTF输出的准单色图像经过DMD的编码调制,再经过成像透镜汇聚到低分辨率的CMOS面阵探测器上,最后通过重构算法恢复出该波段高空间分辨率的图像。逐个波段采集,便可获取全部高光谱图像数据。DMD是用来实现编码孔径的器件,DMD上有成千上万个小的反射镜,每个反射镜的角度可以由软件决定其反射/不反射两种状态,从而实现0/1二进制编码。对于每一个光谱波段,每一次测量过程,观测矩阵中的一行对应DMD的一次投影,一共需要测量L次。
实验所用目标物及对应生成的一对自适应编码孔径如图5所示。谱段从515nm到630nm每5nm一个谱段,共24个。COMS探测器的空间分辨率为50×50,重构出的图像空间分辨率为400×400。重构算法采用的是GPSR-basic算法∈,选择二维DCT基作为稀疏矩阵,把整个光谱波段分出了4组,选择了4个参考波段。图6给出了四个波段的实验结果图。其中,第一行为自适应随机编码的重构结果,第二行为随机编码的重构结果。每个重构图上都标出了该重构结果的PSNR。对于整个高光谱立方体的实验结果而言,采用随机编码孔径的重构图像的平均PSNR为20.5942dB,采用自适应编码孔径的重构图像的平均PSNR为23.7957dB,提高了3.2dB左右。从实验结果可以看出,本发明的编码方法比传统随机编码方法恢复出来的图像重构效果更好,峰值信噪比更高。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,包括如下步骤:
步骤1、将高光谱仪的整个光谱划分成至少一组,每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;
步骤2、利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值;
步骤3:基于步骤2的随机编码孔径对应的观测矩阵和参考波段的观测值,对参考波段的光谱图像进行重构;
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径,具体为:
将参考波段的重构图像和该组中除参考波段外的其它待测波段的图像矩阵数据分别堆叠成一维向量,分别记作则待测信号由下式给出:
式中是噪声向量;
则编码孔径对应的观测矩阵Φ中的第i个向量的第j个元素为:
式中,sgn(·)是符号函数,N表示一维向量中元素数量;的第j个元素,阈值Λij服从高斯分布其中μΛ分别等于信号的均值和方差;
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值;
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
2.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤1中,对整个光谱进行均匀分组。
3.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤1中,根据光谱信息的相似度对整个光谱进行分组。
4.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤2中,采用高斯随机矩阵、稀疏随机矩阵或者哈达玛矩阵生成随机编码孔径的观测矩阵。
CN201910104509.3A 2019-02-01 2019-02-01 一种利用自适应编码孔径进行压缩高光谱成像的方法 Active CN109682476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910104509.3A CN109682476B (zh) 2019-02-01 2019-02-01 一种利用自适应编码孔径进行压缩高光谱成像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910104509.3A CN109682476B (zh) 2019-02-01 2019-02-01 一种利用自适应编码孔径进行压缩高光谱成像的方法

Publications (2)

Publication Number Publication Date
CN109682476A true CN109682476A (zh) 2019-04-26
CN109682476B CN109682476B (zh) 2020-06-19

Family

ID=66195599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910104509.3A Active CN109682476B (zh) 2019-02-01 2019-02-01 一种利用自适应编码孔径进行压缩高光谱成像的方法

Country Status (1)

Country Link
CN (1) CN109682476B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法
CN112785662A (zh) * 2021-01-28 2021-05-11 北京理工大学重庆创新中心 一种基于低分辨率先验信息的自适应编码方法
CN112802136A (zh) * 2021-01-28 2021-05-14 北京理工大学重庆创新中心 基于低分辨率先验信息互补编码的场景重建方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102706449A (zh) * 2012-05-24 2012-10-03 西安电子科技大学 基于压缩感知的双通道遥感光谱成像系统和成像方法
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN103983355A (zh) * 2014-05-27 2014-08-13 西安电子科技大学 基于全色成像的压缩光谱成像系统及成像方法
CN106950555A (zh) * 2017-05-03 2017-07-14 中国人民解放军国防科学技术大学 一种基于太赫兹孔径编码成像体制的面目标成像方法
CN107133992A (zh) * 2017-04-17 2017-09-05 东北大学 基于谱相关性自适应分组高光谱图像分布式联合压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102706449A (zh) * 2012-05-24 2012-10-03 西安电子科技大学 基于压缩感知的双通道遥感光谱成像系统和成像方法
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN103983355A (zh) * 2014-05-27 2014-08-13 西安电子科技大学 基于全色成像的压缩光谱成像系统及成像方法
CN107133992A (zh) * 2017-04-17 2017-09-05 东北大学 基于谱相关性自适应分组高光谱图像分布式联合压缩方法
CN106950555A (zh) * 2017-05-03 2017-07-14 中国人民解放军国防科学技术大学 一种基于太赫兹孔径编码成像体制的面目标成像方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法
CN110501071B (zh) * 2019-08-02 2021-07-13 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法
CN112785662A (zh) * 2021-01-28 2021-05-11 北京理工大学重庆创新中心 一种基于低分辨率先验信息的自适应编码方法
CN112802136A (zh) * 2021-01-28 2021-05-14 北京理工大学重庆创新中心 基于低分辨率先验信息互补编码的场景重建方法和系统
CN112802136B (zh) * 2021-01-28 2022-11-15 北京理工大学重庆创新中心 基于低分辨率先验信息互补编码的场景重建方法和系统

Also Published As

Publication number Publication date
CN109682476B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
US10861143B2 (en) Method and apparatus for reconstructing hyperspectral image using artificial intelligence
Baraniuk et al. Compressive video sensing: Algorithms, architectures, and applications
Cao et al. Computational snapshot multispectral cameras: Toward dynamic capture of the spectral world
Yang et al. Compressive hyperspectral imaging via sparse tensor and nonlinear compressed sensing
Willett et al. Sparsity and structure in hyperspectral imaging: Sensing, reconstruction, and target detection
Tan et al. Compressive hyperspectral imaging via approximate message passing
US7432843B2 (en) Compressive sampling and signal inference
Babacan et al. Compressive passive millimeter-wave imaging
US20080025624A1 (en) Coding for compressive imaging
CN109682476A (zh) 一种利用自适应编码孔径进行压缩高光谱成像的方法
CN108955882B (zh) 基于液晶高光谱计算成像系统的三维数据重构方法
Tsagkatakis et al. Graph and rank regularized matrix recovery for snapshot spectral image demosaicing
US20140198236A1 (en) Generating Modulation Patterns for the Acquisition of Multiscale Information in Received Signals
Zhao et al. Super resolution imaging based on a dynamic single pixel camera
US20240037709A1 (en) Optical Method
Geng et al. Spatial constrained hyperspectral reconstruction from RGB inputs using dictionary representation
CN110736539B (zh) 一种基于压缩感知的凝视型光谱成像系统
Pitsianis et al. Compressive imaging sensors
CN107580164A (zh) 一种单次测量的压缩感知超分辨率成像系统及其成像方法
Rueda et al. On super-resolved coded aperture spectral imaging
Huang et al. Compressive sensing-based super-resolution multispectral imaging system
Magli et al. Compressive imaging and deep learning based image reconstruction methods in the “SURPRISE” EU project
Zhou et al. BTC-Net: Efficient Bit-level Tensor Data Compression Network for Hyperspectral Image
Rizkallah Graph based transforms for compression of new imaging modalities
Wu et al. An Image Restoration Method for the Sparse Aperture Optical System Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant