CN109682476B - 一种利用自适应编码孔径进行压缩高光谱成像的方法 - Google Patents
一种利用自适应编码孔径进行压缩高光谱成像的方法 Download PDFInfo
- Publication number
- CN109682476B CN109682476B CN201910104509.3A CN201910104509A CN109682476B CN 109682476 B CN109682476 B CN 109682476B CN 201910104509 A CN201910104509 A CN 201910104509A CN 109682476 B CN109682476 B CN 109682476B
- Authority
- CN
- China
- Prior art keywords
- self
- aperture
- group
- adaptive
- adaptive coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 14
- 238000001228 spectrum Methods 0.000 claims abstract description 18
- 230000006835 compression Effects 0.000 claims abstract description 9
- 238000007906 compression Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000004088 simulation Methods 0.000 abstract description 6
- 238000011084 recovery Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/2836—Programming unit, i.e. source and date processing
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种利用自适应编码孔径进行压缩高光谱成像的方法,利用高光谱图像具有高的谱间相关性的特点,预先得到几个波段的恢复图像,将其作为先验信息通过阈值操作构造自适应编码孔径,可以提取出目标场景的结构特征;相对传统的随机编码孔径,能够提高压缩效率,仿真和实验结果验证了本发明能够切实改善高光谱仪的成像质量;通过本发明所述的方法设计出的自适应编码孔径取值为0、1,很容易通过掩膜或者数字微镜阵列编码实现;在压缩高光谱仪中具有很强的普适性,有着广泛的应用前景。
Description
技术领域
本发明属于高光谱成像技术领域,具体涉及一种利用自适应编码孔径进行压缩高光谱成像的方法。
背景技术
高光谱成像技术可以获得目标场景的空-谱数据立方体,为空间维的每个像素提供数十上百个连续并且波段间隔非常窄的光谱波段信息。由于高光谱图像光谱分辨率高,包含了目标的丰富信息,在近年来得到了广泛的应用,有非常好的发展前景和应用意义。但是高光谱图像数据量巨大且冗余度高,使用传统的采样方法会造成极大的浪费,并且增加了采集时间;另一方面,传统高光谱仪的空间分辨率一般受限于探测器的分辨率,而提高探测器的性能代价很大,制造成本相当高。
应用压缩感知理论可以解决上述难题。假设信号在某个基下是稀疏的,通过压缩感知理论利用观测矩阵对该信号进行投影,以远低于尼奎斯特采样定理所要求的观测值便能以很高的概率精确重建出原始高维信号。压缩感知理论的提出为快速获取高光谱数据提供了理论基础,并且将高光谱仪成像的技术压力从采样端转移到重构端上,可以突破探测器对高光谱图像空间分辨率的限制。
在现有的压缩高光谱成像仪中,随机编码孔径被广泛使用。编码孔径决定了压缩采样中观测矩阵的结构,并且对于高光谱数据立方体的重构质量有重要影响。随机编码孔径无法充分利用目标场景的结构特征,如此高光谱仪的重构质量尚有提升的空间。
针对压缩高光谱成像仪中编码孔径的设计方法,学者们已经进行了大量的研究。一种常见的思路是利用限制等距性质(The Restricted Isometry Property,RIP)或某些经验设计规则通过算法来优化编码孔径从而提升成像质量,但是这种方法会给成像仪引入额外的计算负担。
发明内容
有鉴于此,本发明的目的是提供一种利用自适应编码孔径进行压缩高光谱成像的方法,可以实现高光谱仪的超分辨同时提高成像质量。
一种利用自适应编码孔径进行压缩高光谱成像的方法,包括如下步骤:
步骤1、将高光谱仪的整个光谱划分成至少一组,每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;
步骤2、利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值;
步骤3:基于步骤2的随机编码孔径对应的观测矩阵和参考波段的观测值,对参考波段的光谱图像进行重构;
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径,具体为:
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值;
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
较佳的,所述步骤1中,对整个光谱进行均匀分组。
较佳的,所述步骤1中,根据光谱信息的相似度对整个光谱进行分组。
较佳的,所述步骤2中,采用高斯随机矩阵、稀疏随机矩阵或者哈达玛矩阵生成随机编码孔径的观测矩阵。
本发明具有如下有益效果:
利用高光谱图像具有高的谱间相关性的特点,预先得到几个波段的恢复图像,将其作为先验信息通过阈值操作构造自适应编码孔径,可以提取出目标场景的结构特征;相对传统的随机编码孔径,能够提高压缩效率,仿真和实验结果验证了本发明能够切实改善高光谱仪的成像质量;
通过本发明所述的方法设计出的自适应编码孔径取值为0、1,很容易通过掩膜或者数字微镜阵列DMD编码实现;在压缩高光谱仪中具有很强的普适性,有着广泛的应用前景。
附图说明
图1为本发明的利用自适应编码孔径进行压缩高光谱成像的方法流程图。
图2为本发明仿真针对Lego图像生成的其中一对自适应编码孔径的示意图。
图3为仿真中使用传统随机编码方法以及本发明方法对其中4个波段的重构结果。
图4为本发明实验所用平台示意图。
图5为本发明实验所用目标物以及生成的一对自适应编码孔径的示意图。
图6为实验中使用传统随机编码方法以及本发明方法对其中4个波段的重构结果。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
因为高光谱图像具有很高的谱间相关性,某一波段的重构图像可以视作相邻波段的近似,于是可以利用其作为先验信息生成观测其他波段所需的编码孔径。本发明是通过下述步骤实现的:
步骤1:将高光谱仪的整个光谱划分成若干组(至少一组),每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;可以均匀分组,也可以根据光谱信息的相似度进行分组;一般来说分组数量越多重构质量越高;通常选择中间波段作为参考波段。
步骤2:利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值。可用于生成随机编码孔径的观测矩阵有多种,例如:高斯随机矩阵,稀疏随机矩阵,哈达玛矩阵等。
可用于求解该问题的算法包括但不仅限于:GPSR算法,TwIST算法,SpaRSA算法。
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径。为了叙述方便起见,假设其中一个参考波段的重构图像和待测波段(该组中除参考波段的其它波段)的图像分别为和通过vec(·)操作符将Iv堆叠成一维向量,令Nx×Ny=N,vec(Ιv)变为N维向量,分别记作待测信号可以由下式给出,
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值。
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
基于互相关性准则,通过本发明所述的方法设计出的自适应观测矩阵满足如下性质:
式中,E{·}是数学期望,将稀疏基Ψ的列向量分为两个集合:以及l(i)指的是稀疏系数中第i个非零元素的位置,是Υ的补集,K表示信号的稀疏度,θmax代表稀疏系数的最大元素,μX、分别是的均值和方差,是使数学期望取得最大值的稀疏基的一个向量,是中的元素。
本发明所设计的自适应编码孔径对应的观测矩阵元素取值为0、1,很容易通过掩膜或者DMD编码实现,可以广泛应用于压缩高光谱仪中,实现高光谱图像超分辨的同时提高成像质量。
下面通过对本发明实施例提供的方案进行仿真,以表明本发明实施例提供的编码孔径设计方法可以提高重构质量:
仿真实验所用编程平台为MATLAB R2016a。仿真实验所用的高光谱数据以Lego人物作为目标物,包含452nm到667nm共24个光谱波段,在空间维上的大小为256×256像素。在压缩采样过程中,将每8×8个像素压缩混叠成1个像素,也就是说,模拟探测器的大小为32×32像素。由探测器上接收到的低空间分辨率的图像能恢复出原256×256的图像。此外,为了获得更好的重构结果,可以采取多快照策略来提高测量数据的数量。
仿真过程中重构算法采用的是GPSR-basic算法,选择二维DCT基作为稀疏矩阵,把整个光谱波段分出了4组,选择了4个参考波段。针对利用随机编码孔径、自适应编码孔径对Lego数据分别进行观测然后重构得到的两个数据立方体,本实施例可以使用重构结果与原图之间的峰值信噪比(PSNR)来评估本实施例提供的方法的性能。图2给出了生成的其中一对自适应编码孔径的示意图,可以看出本实施例方法提取出目标场景的一些结构特征。图3给出了数据立方体中四个波段的重构结果图。其中,图3(a)为原始的Lego图像,图3(b)为传统随机编码的重构结果,图3(c)为利用本发明自适应编码的重构结果。每个重构图上都标出了该重构结果的PSNR。
从仿真的实验结果可以看出,用本发明获取的超分辨率图像,细节更清晰,成像质量比传统编码孔径的实验结果有了很大的提高;从重构图像的PSNR可以看出,本发明超分辨率的重构图像的PSNR比传统编码孔径超分辨率重构图像的PSNR有了大幅提高。对于整个高光谱立方体而言,采用随机编码孔径的重构图像的平均PSNR为26.3350dB,采用自适应编码孔径的重构图像的平均PSNR为31.1357dB,提高了4.78dB左右。这两方面的效果都充分证实了本发明的优良性能。
此外,本发明的效果还可以通过如下实验具体说明:
在压缩高光谱仪的一种常用形式——基于液晶可调滤光片(LCTF)的高光谱成像系统上完成了实验。实验平台的具体构成如图4所示。三维场景经过LCTF滤光后获得一个单波段二维图像,通过改变LCTF两端的电压可以切换过器件的光的波长。实验时,LCTF输出的准单色图像经过DMD的编码调制,再经过成像透镜汇聚到低分辨率的CMOS面阵探测器上,最后通过重构算法恢复出该波段高空间分辨率的图像。逐个波段采集,便可获取全部高光谱图像数据。DMD是用来实现编码孔径的器件,DMD上有成千上万个小的反射镜,每个反射镜的角度可以由软件决定其反射/不反射两种状态,从而实现0/1二进制编码。对于每一个光谱波段,每一次测量过程,观测矩阵中的一行对应DMD的一次投影,一共需要测量L次。
实验所用目标物及对应生成的一对自适应编码孔径如图5所示。谱段从515nm到630nm每5nm一个谱段,共24个。COMS探测器的空间分辨率为50×50,重构出的图像空间分辨率为400×400。重构算法采用的是GPSR-basic算法,选择二维DCT基作为稀疏矩阵,把整个光谱波段分出了4组,选择了4个参考波段。图6给出了四个波段的实验结果图。其中,第一行为自适应随机编码的重构结果,第二行为随机编码的重构结果。每个重构图上都标出了该重构结果的PSNR。对于整个高光谱立方体的实验结果而言,采用随机编码孔径的重构图像的平均PSNR为20.5942dB,采用自适应编码孔径的重构图像的平均PSNR为23.7957dB,提高了3.2dB左右。从实验结果可以看出,本发明的编码方法比传统随机编码方法恢复出来的图像重构效果更好,峰值信噪比更高。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,包括如下步骤:
步骤1、将高光谱仪的整个光谱划分成至少一组,每组包括若干个相邻的光谱波段,并且在每组内均任意选择一个波段作为参考波段;
步骤2、利用压缩高光谱仪使用随机编码孔径采集各组中参考波段的观测值;
步骤3:基于步骤2的随机编码孔径对应的观测矩阵和参考波段的观测值,对参考波段的光谱图像进行重构;
步骤4:将参考波段的重构图像作为本组内其他波段及自身的先验信息,分别生成自适应编码孔径,具体为:
步骤5:利用压缩高光谱仪使用自适应编码孔径逐一观测对应组的各个波段,获得全波段的所有观测值;
步骤6:根据自适应编码孔径对应的观测矩阵以及步骤5中获取的观测值重构对应组的所有波段图像,利用与步骤3相同的重构算法,遍历各组后,得到全波段重构图像。
2.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤1中,对整个光谱进行均匀分组。
3.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤1中,根据光谱信息的相似度对整个光谱进行分组。
4.如权利要求1所述的一种利用自适应编码孔径进行压缩高光谱成像的方法,其特征在于,所述步骤2中,采用高斯随机矩阵、稀疏随机矩阵或者哈达玛矩阵生成随机编码孔径的观测矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910104509.3A CN109682476B (zh) | 2019-02-01 | 2019-02-01 | 一种利用自适应编码孔径进行压缩高光谱成像的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910104509.3A CN109682476B (zh) | 2019-02-01 | 2019-02-01 | 一种利用自适应编码孔径进行压缩高光谱成像的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109682476A CN109682476A (zh) | 2019-04-26 |
CN109682476B true CN109682476B (zh) | 2020-06-19 |
Family
ID=66195599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910104509.3A Active CN109682476B (zh) | 2019-02-01 | 2019-02-01 | 一种利用自适应编码孔径进行压缩高光谱成像的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109682476B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110501071B (zh) * | 2019-08-02 | 2021-07-13 | 杭州电子科技大学 | 一种基于模糊编码的压缩高光谱掩膜优化方法 |
CN112785662B (zh) * | 2021-01-28 | 2023-07-25 | 北京理工大学重庆创新中心 | 一种基于低分辨率先验信息的自适应编码方法 |
CN112802136B (zh) * | 2021-01-28 | 2022-11-15 | 北京理工大学重庆创新中心 | 基于低分辨率先验信息互补编码的场景重建方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706449A (zh) * | 2012-05-24 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道遥感光谱成像系统和成像方法 |
CN103743482A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种光谱成像装置及光谱成像反演方法 |
CN103983355A (zh) * | 2014-05-27 | 2014-08-13 | 西安电子科技大学 | 基于全色成像的压缩光谱成像系统及成像方法 |
CN106950555A (zh) * | 2017-05-03 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于太赫兹孔径编码成像体制的面目标成像方法 |
CN107133992A (zh) * | 2017-04-17 | 2017-09-05 | 东北大学 | 基于谱相关性自适应分组高光谱图像分布式联合压缩方法 |
-
2019
- 2019-02-01 CN CN201910104509.3A patent/CN109682476B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102706449A (zh) * | 2012-05-24 | 2012-10-03 | 西安电子科技大学 | 基于压缩感知的双通道遥感光谱成像系统和成像方法 |
CN103743482A (zh) * | 2013-11-22 | 2014-04-23 | 中国科学院光电研究院 | 一种光谱成像装置及光谱成像反演方法 |
CN103983355A (zh) * | 2014-05-27 | 2014-08-13 | 西安电子科技大学 | 基于全色成像的压缩光谱成像系统及成像方法 |
CN107133992A (zh) * | 2017-04-17 | 2017-09-05 | 东北大学 | 基于谱相关性自适应分组高光谱图像分布式联合压缩方法 |
CN106950555A (zh) * | 2017-05-03 | 2017-07-14 | 中国人民解放军国防科学技术大学 | 一种基于太赫兹孔径编码成像体制的面目标成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109682476A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Willett et al. | Sparsity and structure in hyperspectral imaging: Sensing, reconstruction, and target detection | |
US7427932B2 (en) | Compressive sampling and signal inference | |
US7532772B2 (en) | Coding for compressive imaging | |
US10274420B2 (en) | Compact multifunctional system for imaging spectroscopy | |
CN109682476B (zh) | 一种利用自适应编码孔径进行压缩高光谱成像的方法 | |
US8948540B2 (en) | Optimized orthonormal system and method for reducing dimensionality of hyperspectral images | |
CN110211044B (zh) | 基于去马赛克算法和主成分分析的多光谱成像方法及装置 | |
Tsagkatakis et al. | Graph and rank regularized matrix recovery for snapshot spectral image demosaicing | |
CN111426383B (zh) | 机器学习优化稀疏基的高光谱全偏振图像压缩重构方法 | |
CN113008370B (zh) | 基于液晶高光谱计算成像系统的三维自适应压缩重构方法 | |
Correa et al. | Compressive spectral imaging with colored-patterned detectors | |
Zhou et al. | A high performance missing pixel reconstruction algorithm for hyperspectral images | |
CN117571128B (zh) | 一种高分辨率偏振光谱图像成像方法及系统 | |
Degraux et al. | Multispectral compressive imaging strategies using Fabry–Pérot filtered sensors | |
Pitsianis et al. | Compressive imaging sensors | |
US20180122046A1 (en) | Method and system for robust and flexible extraction of image information using color filter arrays | |
Tsagkatakis et al. | Non-negative matrix completion for the enhancement of snapshot mosaic multispectral imagery | |
CN108801457B (zh) | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 | |
Garcia et al. | Multi-resolution coded apertures based on side information for single pixel spectral reconstruction | |
Ye et al. | High resolution multi-spectral image reconstruction on light field via sparse representation | |
WO2024043009A1 (ja) | 信号処理方法および信号処理装置 | |
Picone et al. | Image fusion and reconstruction of compressed data: A joint approach | |
Bottisti et al. | Image exploitation from encoded measurements | |
Shields et al. | Cognition at the Point of Sensing | |
CN118134752A (zh) | 一种基于深度展开网络的多光谱图像去马赛克方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |