CN105675136B - 一种编码孔径光谱成像系统 - Google Patents
一种编码孔径光谱成像系统 Download PDFInfo
- Publication number
- CN105675136B CN105675136B CN201610164706.0A CN201610164706A CN105675136B CN 105675136 B CN105675136 B CN 105675136B CN 201610164706 A CN201610164706 A CN 201610164706A CN 105675136 B CN105675136 B CN 105675136B
- Authority
- CN
- China
- Prior art keywords
- band
- microlens array
- filter layer
- decoding
- multiple images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 238000001228 spectrum Methods 0.000 title claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000701 chemical imaging Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000004907 flux Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 235000001466 Ribes nigrum Nutrition 0.000 description 1
- 241001312569 Ribes nigrum Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明适用于光谱成像技术领域，提供了一种编码孔径光谱成像系统，包括：所述系统包括前置成像系统，数字微镜，准直系统，反射光栅，微透镜阵列和探测器，所述微透镜阵列包括多块微透镜，每块微透镜上的滤光层的滤光波段不同，所述前置成像系统将待测物体成像在所述数字微镜上，编码调制后的图像经所述准直系统入射到所述反射光栅进行分光，分光后得到空间光谱的混合图像，再经过带有滤光功能的所述微透镜阵列得到多个图像，所述探测器同时接收所述多个图像，并对所述多个图像进行融合解码，得到所述待测物体的光谱信息。本发明在保持系统单次快速测量的同时，大大提高了系统的空间分辨率。
Description
技术领域
本发明属于光谱成像技术领域，尤其涉及一种编码孔径光谱成像系统。
背景技术
成像光谱技术是成像技术和光谱技术有机结合而成的，能够在探测物体空间特征信息的同时得到空间像元色散形成的光谱信息，可以进行定性、定量、定位检测。常见的光谱成像系统有滤光片型、光栅型、干涉型等等，一般都是通过推扫或挥扫的方式获得三维光谱图像信息，分辨率较高，但光通量小，采集时间长，且具有移动部件，因此对移动部件的稳定性要求也极高。之后又出现了液晶可调滤光、声光可调型成像光谱仪，没有移动部件，波长扫描切换快，但光通量较小，信噪比低。
为了提高光通量，编码孔径快照光谱成像(Coded Aperture Snapshot SpectralImaging，CASSI)系统被提出，其利用压缩感知的方法，可以从单次测量的二维数据重构得到三维数据立方体，可以实时获取数据，具有光通量大，采集时间短，光谱分辨率较高等特点，非常适用于动态特征的识别检测。然而，在该系统中，数据的解码方法是以牺牲一定的空间信息来获取光谱信息的，存在空间分辨率低的问题。
发明内容
有鉴于此，本发明实施例提供了一种编码孔径光谱成像系统，以解决现有的码孔径快照光谱成像系统空间分辨率低的问题。
本发明实施例提供了一种编码孔径光谱成像系统，所述系统包括前置成像系统，数字微镜，准直系统，反射光栅，微透镜阵列和探测器，所述微透镜阵列包括多块微透镜，每块微透镜上的滤光层的滤光波段不同，
所述前置成像系统将待测物体成像在所述数字微镜上，编码调制后的图像经所述准直系统入射到所述反射光栅进行分光，分光后得到空间光谱的混合图像，再经过带有滤光功能的所述微透镜阵列得到多个图像，所述探测器同时接收所述多个图像，并对所述多个图像进行融合解码，得到所述待测物体的光谱信息。
本发明实施例采用多通道滤光微透镜阵列，得到多个图像，并对多个图像进行融合解码，在保持系统单次快速测量的同时，大大提高了系统的空间分辨率。同时，在进行融合解码时采用分块处理的方式，可降低算法的时间复杂度。相比于现有技术，本发明实施例的采集和计算时间短，空间分辨率高，且系统没有移动部件，结构紧凑，尺寸小。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的编码孔径光谱成像系统的结构图；
图2是本发明实施例提供的微透镜阵列示例图；
图3是本发明实施例提供的分块解码示意图；
图4是本发明实施例提供的系统光路仿真示意图；
图5是现有技术提供的仿真使用的原始图像和编码图像；
图6是现有技术提供的采用单个宽波段检测图像解码得到的部分光谱图像；
图7是本发明实施例提供的采用3个子波段检测图像解码得到的部分光谱图像。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本发明实施例中，编码孔径光谱成像系统的结构如图1所示，包括前置成像系统11，数字微镜12，准直系统13，反射光栅14，微透镜阵列15和探测器16，其中，数字微镜12由一系列的小反射镜组成，每个小反射镜可以翻转+12度和－12度，通过角度翻转可以实现小反射镜的开或者关，因此，通过任意改变数字微镜中小反射镜的翻转情况，可以起到编码孔径的作用。对于图1中的待测物体17，前置成像系统11将其成像在数字微镜12上，编码调制后的图像经准直系统13入射到反射光栅14进行分光，分光后得到空间光谱的混合图像，再经过带有滤光功能的微透镜阵列15得到多个图像，聚焦成像在探测器16上，探测器16同时接收多个图像，并对多个图像进行融合解码，得到所述待测物体的光谱信息。在该系统中，根据微透镜阵列的个数，探测器可以接收到多个空间相同而波段不同的图像，图像的波段范围与微透镜阵列的滤光波段有关。
探测器单次得到的二维图像Y与编码阵列H的关系为：
Y＝H·f+ω，
其中，Y是二维探测数据，H对应不同波长的编码矩阵，f是被测物体的光谱数据立方体，ω是系统误差。通过上式，采用压缩感知算法可以从Y、H解码得到各个波段的光谱数据立方体f。
在本发明实施例中，采用微透镜阵列代替常用的聚焦透镜，该微透镜阵列可以由光刻等微加工方式实现，微透镜阵列中微透镜的大小、个数、滤光波段均可以根据需求进行加工。在微透镜阵列中的每块微透镜上都有一滤光层，通过滤光层的设置，可以使得每块微透镜所通过的光的波段有所不同，从而实现不同波段的滤光。
作为本发明的一个实施例，微透镜阵列上的滤光层可以包括一个窄波段滤光层和多个带通子波段滤光层，即，微透镜阵列的其中一块微透镜只允许极窄波段(即单色光)通过，得到的图像为极窄波段的图像，没有其他光谱段的混合，使得该图像的空间分辨率大大提高。如图2所示的微透镜阵列，位于其右下角区域4的微透镜只允许极窄波段通过，得到的图像用Y0表示，属于高空间分辨率低光谱分辨率的图像。
而对于微透镜阵列中的其他微透镜，相应的滤光波段按全波段L分成几份，例如，图2中位于区域1、区域2、区域3的微透镜分别对应的滤光波段为L1、L2、L3，得到的图像分别为Y1、Y2、Y3。假设全波段L对应的图像为Y，则图像Y1、Y2、Y3中波段混合的范围比Y小。图像Y、Y1、Y2、Y3均是物体色散后的空间光谱混合图像，都属于高光谱低空间分辨率的图像，它们包含的空间信息是一样的，只是光谱信息不一样，如果Y1、Y2、Y2的数据量相加，则数据量将近于Y的数据量的3倍，相当于检测了3次，那么，通过压缩感知算法将Y1、Y2、Y3进行融合解码，能得到更好的空间分辨率。
在本发明实施例中，将高空间分辨率低光谱分辨率的Y0，与低空间分辨率高光谱分辨率的Y1、Y2、Y3进行融合，将进一步提高空间分辨率，得到高空间分辨率高光谱分辨率的数据立方体。
此外，作为本发明的另一实施例，微透镜阵列上的滤光层也可以全包括多个带通子波段滤光层，根据上文所述，同样能够得到好的空间分辨率。
在融合解码过程中，数据量的增加会增加计算的时间复杂度，因此，在本发明实施例中，采用分段解码的方式，降低或不增加计算复杂度。具体地：
假设被测物体光谱数据立方体f大小为N×N×L(N表示空间维，L表示波长维)，二维探测数据Y为N×(N+L-1)，若f、Y表示为一维列向量，则H矩阵大小为[N(N+L-1)]×N2L，采用优化算法解码迭代的计算复杂度为O(N4L)。采用分块解码，分块后的空间维尺寸为N′(N′＜＜N)，分成(N/N′)2块需进行(N/N′)2次计算，则总的计算复杂度为O(N2N′2L)，计算复杂度有所降低。若采用并行方式同时处理多个子块，可进一步减少时间。如图3所示，分块解码后对应图3中虚线分割出的数据体，全部数据汇总时需进行一定的转换。
本发明实施例采用多通道滤光微透镜阵列，得到多个图像，并对多个图像进行融合解码，在保持系统单次快速测量的同时，大大提高了系统的空间分辨率。同时，在进行融合解码时采用分块处理的方式，可降低算法的时间复杂度。相比于现有技术，本发明实施例的采集和计算时间短，空间分辨率高，且系统没有移动部件，结构紧凑，尺寸小。
本发明实施例的系统光路已经过初步的仿真分析，如图4所示，位置1是数字微镜，为简化系统，在仿真分析时暂未考虑。多通道滤光微透镜阵列的大小与个数可根据系统要求设计制作。
在数据的解码复原方面，仿真比较了单个宽波段与三个子波段的空间光谱混合图像的解码效果比较。物体的原始彩色图像如图5的左图所示，仿真选取的波段范围450-650nm，间隔10nm，图像大小选取原图的部分区域(256*248像素)。结合随机产生的二进制编码图像(图5右图)，再考虑光栅分光产生的偏移，可以仿真得到探测器检测的二维光谱空间混合图像。不考虑光学系统的误差，采用压缩感知解码算法(两步迭代收缩复原方法TwIST)，从二维混合图像数据解码复原光谱数据立方体。根据宽波段(450-650nm)的混合图像Y可以解码得到21个不同波段的图像，从450nm至650nm，间隔10nm，附图6中列举了解码出的一部分的图像。附图7是从三个子波段(450-510nm，520-580nm，590-650nm)Y1、Y2、Y3分别解码得到的图像，同样可以得到21个不同波段的光谱图像，图7中对应列出了一部分。比较两种方法，可以看到附图7中的珠子、圆孔以及方块的形状比附图6中的清晰很多，图像的空间分辨率明显提高。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种编码孔径光谱成像系统，其特征在于，所述系统包括前置成像系统，数字微镜，准直系统，反射光栅，微透镜阵列和探测器，所述微透镜阵列包括多块微透镜，每块微透镜上都有一滤光层，每块微透镜上的滤光层的滤光波段不同，
所述前置成像系统将待测物体成像在所述数字微镜上，编码调制后的图像经所述准直系统入射到所述反射光栅进行分光，分光后得到空间光谱的混合图像，再经过带有滤光功能的所述微透镜阵列得到多个图像，所述探测器同时接收所述多个图像，并对所述多个图像进行融合解码，得到所述待测物体的光谱信息；
所述微透镜阵列上的滤光层包括一个窄波段滤光层和多个带通子波段滤光层，所述对所述多个图像进行融合解码包括：
对窄波段滤光得到的光谱图像与带通子波段滤光得到的光谱图像进行融合解码。
2.如权利要求1所述的系统，其特征在于，用所述微透镜阵列上的滤光层包括多个带通子波段滤光层替代所述微透镜阵列上的滤光层包括一个窄波段滤光层和多个带通子波段滤光层。
3.如权利要求1或2所述的系统，其特征在于，所述对所述多个图像进行融合解码包括：
对带通子波段滤光得到的多个光谱图像进行压缩感知解码。
4.如权利要求1所述的系统，其特征在于，所述对所述多个图像进行融合解码包括：
对所述多个图像进行分块解码。
5.如权利要求1所述的系统，其特征在于，所述数字微镜包括多个可以翻转的小反射镜，每个小反射镜通过角度翻转实现开或者关。
6.如权利要求5所述的系统，其特征在于，所述小反射镜的翻转角度包括+12度和－12度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610164706.0A CN105675136B (zh) | 2016-03-22 | 2016-03-22 | 一种编码孔径光谱成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610164706.0A CN105675136B (zh) | 2016-03-22 | 2016-03-22 | 一种编码孔径光谱成像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105675136A CN105675136A (zh) | 2016-06-15 |
| CN105675136B true CN105675136B (zh) | 2018-10-16 |
Family
ID=56311400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610164706.0A Active CN105675136B (zh) | 2016-03-22 | 2016-03-22 | 一种编码孔径光谱成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105675136B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106872034B (zh) * | 2017-01-13 | 2018-11-13 | 清华大学 | 快速三维多光谱显微成像系统 |
| CN108627465A (zh) * | 2017-03-22 | 2018-10-09 | 南开大学 | 一种基于压缩感知高光谱成像的快速无损监测装置 |
| US10288483B2 (en) * | 2017-04-09 | 2019-05-14 | Cymer, Llc | Recovering spectral shape from spatial output |
| CN107436194A (zh) * | 2017-06-22 | 2017-12-05 | 北京理工大学 | 一种高光通量实时光谱成像装置 |
| CN107607944B (zh) * | 2017-08-29 | 2020-01-17 | 中国人民解放军国防科技大学 | 基于太赫兹频段透射式孔径编码的前视成像装置 |
| CN107560735B (zh) * | 2017-09-07 | 2019-07-23 | 西安电子科技大学 | 基于压缩感知的高分辨率红外成像系统及方法 |
| CN108225561B (zh) * | 2017-12-05 | 2020-05-22 | 深圳先进技术研究院 | 压缩光谱成像系统、重建方法、装置及终端设备 |
| WO2019119335A1 (zh) * | 2017-12-21 | 2019-06-27 | 深圳配天智能技术研究院有限公司 | 图像获取装置和图像获取方法 |
| CN108896179B (zh) * | 2018-06-29 | 2020-04-07 | 长春理工大学 | DMD空间维编码对称Offner色散中波红外光谱成像装置 |
| CN108827469A (zh) * | 2018-06-29 | 2018-11-16 | 长春理工大学 | DMD空间维编码对称Offner色散双色红外光谱成像装置 |
| CN109556719B (zh) * | 2018-12-14 | 2023-06-20 | 深圳先进技术研究院 | 一种光谱成像系统及光谱成像方法 |
| CN109579994A (zh) * | 2018-12-31 | 2019-04-05 | 苏州大学 | 基于微反射镜阵列的快照式光谱成像方法及其系统 |
| CN110717947B (zh) * | 2019-09-25 | 2021-04-27 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN110632002A (zh) * | 2019-09-30 | 2019-12-31 | 中国科学院西安光学精密机械研究所 | 一种基于压缩感知的孔径编码光谱探测装置 |
| CN111006763B (zh) * | 2019-12-11 | 2022-01-21 | 深圳先进技术研究院 | 多光谱成像方法、存储介质及设备 |
| CN111121969B (zh) * | 2019-12-31 | 2021-12-10 | 杭州电子科技大学 | 一种基于孔径扫描的多光谱叠层成像方法 |
| EP4181509A4 (en) * | 2020-07-27 | 2023-08-09 | Huawei Technologies Co., Ltd. | FILTER MATRIX, MOBILE TERMINAL, AND DEVICE |
| CN113917697B (zh) * | 2021-09-10 | 2023-10-10 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 一种中波红外编码孔径光谱成像光学系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102472664A (zh) * | 2009-08-11 | 2012-05-23 | 皇家飞利浦电子股份有限公司 | 多光谱成像 |
| CN102749139A (zh) * | 2012-06-06 | 2012-10-24 | 广州中国科学院先进技术研究所 | 一种多光谱图像捕捉系统 |
| CN102914367A (zh) * | 2012-10-25 | 2013-02-06 | 浙江大学 | 基于压缩感知的多光谱成像装置和方法 |
| CN204202747U (zh) * | 2014-07-10 | 2015-03-11 | 中国科学院西安光学精密机械研究所 | 便携式快照型阵列多光谱成像仪 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6021462B2 (ja) * | 2012-06-21 | 2016-11-09 | オリンパス株式会社 | 撮像モジュールおよび撮像装置 |
-
2016
- 2016-03-22 CN CN201610164706.0A patent/CN105675136B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102472664A (zh) * | 2009-08-11 | 2012-05-23 | 皇家飞利浦电子股份有限公司 | 多光谱成像 |
| CN102749139A (zh) * | 2012-06-06 | 2012-10-24 | 广州中国科学院先进技术研究所 | 一种多光谱图像捕捉系统 |
| CN102914367A (zh) * | 2012-10-25 | 2013-02-06 | 浙江大学 | 基于压缩感知的多光谱成像装置和方法 |
| CN204202747U (zh) * | 2014-07-10 | 2015-03-11 | 中国科学院西安光学精密机械研究所 | 便携式快照型阵列多光谱成像仪 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105675136A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105675136B (zh) | 一种编码孔径光谱成像系统 | |
| Baek et al. | Compact single-shot hyperspectral imaging using a prism | |
| Liang | Punching holes in light: recent progress in single-shot coded-aperture optical imaging | |
| Wetzstein et al. | Computational plenoptic imaging | |
| KR101871034B1 (ko) | 플렌옵틱 이미징 장치 | |
| CN103471715B (zh) | 一种共光路组合式光场光谱成像方法及装置 | |
| Brady et al. | Compressive tomography | |
| JP6725526B2 (ja) | 分散して空間的符号化画像を作成する画像を伴う撮像素子 | |
| Xiong et al. | Snapshot hyperspectral light field imaging | |
| CN108291800A (zh) | 光谱成像方法和系统 | |
| KR20170106931A (ko) | 광 필드 데이터 처리 방법 및 디바이스 | |
| Trouvé et al. | Passive depth estimation using chromatic aberration and a depth from defocus approach | |
| CN106462951B (zh) | 用于处理图像的方法和系统 | |
| CN107271037B (zh) | 光谱显微成像方法及系统 | |
| CN101526400B (zh) | 阿达玛变换干涉光谱成像方法及设备 | |
| CN106170052A (zh) | 双传感器超光谱运动成像系统 | |
| CN108169807B (zh) | 一种集成式短波红外光学成像系统 | |
| CN108225561A (zh) | 压缩光谱成像系统、重建方法、装置及终端设备 | |
| CN108896183A (zh) | 孔径编码偏振光谱成像装置 | |
| CN107421640B (zh) | 基于色差扩大原理的多光谱光场成像系统及方法 | |
| Rueda-Chacon et al. | Compressive spectral image fusion via a single aperture high throughput imaging system | |
| Sattar et al. | Snapshot spectropolarimetric imaging using a pair of filter array cameras | |
| Jeon et al. | Multisampling compressive video spectroscopy | |
| US20230292016A1 (en) | Meta-lens enabled light-field camera with extreme depth-of-field | |
| CN117173580A (zh) | 水质参数的获取方法及装置、图像处理方法、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |