CN113701880A - 一种高光通量光谱编码成像系统与方法 - Google Patents

一种高光通量光谱编码成像系统与方法 Download PDF

Info

Publication number
CN113701880A
CN113701880A CN202110806134.2A CN202110806134A CN113701880A CN 113701880 A CN113701880 A CN 113701880A CN 202110806134 A CN202110806134 A CN 202110806134A CN 113701880 A CN113701880 A CN 113701880A
Authority
CN
China
Prior art keywords
spectrum
dispersion
imaging
coding
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110806134.2A
Other languages
English (en)
Other versions
CN113701880B (zh
Inventor
岳涛
陈林森
黄尔齐
胡雪梅
曹汛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110806134.2A priority Critical patent/CN113701880B/zh
Publication of CN113701880A publication Critical patent/CN113701880A/zh
Application granted granted Critical
Publication of CN113701880B publication Critical patent/CN113701880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种高光通量光谱编码成像系统与方法。该光谱编码成像系统包括编码装置、色散装置、成像装置及计算装置;编码装置用于对原始光谱进行调制,获取原始光谱的编码光谱;色散装置用于对编码光谱进行色散,获取色散编码光谱;成像装置用于对色散编码光谱进行采集,获取色散编码光谱图像信息;计算装置用于根据色散编码光谱图像信息求解出解码光谱信息。本发明对色散编码光谱图像进行解码的方法,可以根据掩模像素与邻域像素的区域光谱约束求解出掩模点以及邻域像素的光谱信息,原理上可用于如阴天、傍晚等可见光低光照的高速光谱视频成像、多光谱荧光显微成像以及非制冷红外光谱成像等成像应用,无需额外提供光源增加成像系统复杂性。

Description

一种高光通量光谱编码成像系统与方法
技术领域
本发明涉及计算摄像学领域,尤其涉及一种高光通量光谱编码成像系统与方法。
背景技术
近年来,随着对光谱领域不断探索,研究发现每种材料由其组成物质的化学结构不同,使 其具备独一无二的光谱特征,从而可对许多应用领域产生重大影响,比如医疗诊断、目标分类, 人脸识别等。
常见的光谱视频成像技术有:编码孔径法,使用压缩感知原理在编码孔径光学系统中采用 随机编码掩模调制三维光谱信号,导致光通量损失50%;计算断层扫面法,入射光被二维交叉 光栅投影至探测器上的多个分离的空间区域;重映射法,为了避免相邻光束间的光谱混叠,用 棱镜前的掩模将大部分的光阻塞掉;基于光谱滤波法,由于光谱滤波片的选择导致光通量的减 少。
如何提高成像系统光通量是光谱仪器设计时需要重点考虑因素之一,否则会对光谱视频成 像系统的曝光时间造成巨大的限制,在许多应用场景中无法进行高信噪比的光谱数据采集,例 如,在阴天、傍晚等可见光低光照的高速光谱视频成像、多光谱荧光显微成像以及非制冷红外 光谱成像。因此,获得高光通量是设计光谱成像系统中的重要环节。
发明内容
针对以上现有技术中存在的问题,本发明的目的在于提出一种高光通量光谱编码成像系统, 该系统能以近乎无损的方式获取光照强度,极大提高光谱成像光通量。本发明另一个目的是提 供该系统对应的成像方法。
为达上述目的,本发明的系统采用的技术方案如下:
一种高光通量光谱编码成像系统,包括依次相连的编码装置、色散装置、成像装置及计算 装置;所述编码装置用于对原始光谱进行调制,获取原始光谱的编码光谱;所述色散装置用于 对编码光谱进行色散,获取色散编码光谱;所述成像装置用于对所述色散编码光谱进行采集, 获取色散编码光谱图像;所述计算装置用于根据所述色散编码光谱图像求解出解码光谱。
进一步地,所述编码装置为刻痕式掩模,所述刻痕式掩模上分布多个能够阻止光通过的遮 挡点;所述遮挡点是根据所述色散装置的色散方向和长度刻蚀,每个所述遮挡点与其色散方向 上的相邻的遮挡点的距离大于所述遮挡点的色散长度;所述成像装置上的像素对应所述遮挡点。
进一步地,所述计算装置通过以下公式预先建立成像方程:
Figure BDA0003166445340000021
其中,Ω是光谱通道数量,d是像素值,s是原始光谱,i、j是成像装置空间位置坐标;
并将成像方程转换为矩阵形式:
Figure BDA0003166445340000022
其中D=[d(i,j),…,d(i+Ω-1,j)]T以及
Figure BDA0003166445340000023
l是光照强度。
进一步地,所述计算装置引入局部区域光谱一致性约束,通过掩模像素和邻域像素代入成 像方程,求解解码光谱;其中,刻痕式掩模的遮挡点对应的像素是掩模像素,刻痕式掩模的遮 挡点相邻位置所对应的像素是邻域像素。
进一步地,所述计算装置根据以下公式求解解码光谱:
计算j和j-1行的差分值:
Figure BDA0003166445340000024
其中,ΔvD=[d(i,j-1)-d(i,j),…,d(i+Ω-1,j-1)-(i+Ω-1,j)]T,L具体形式为:
Figure BDA0003166445340000025
对像素(i,j)的归一化光谱进行方程求解;
利用凸优化方法求解二次优化问题,得到所述解码光谱。
本发明还提供一种高光通量光谱编码成像方法,该方法的步骤包括;
步骤1,对原始光谱进行调制,获取原始光谱的编码光谱;
步骤2,对原始光谱的编码光谱进行色散,获取色散编码光谱;
步骤3,对所述色散编码光谱进行采集,获取色散编码光谱图像;
步骤4,根据所述色散编码光谱图像求解出解码光谱。
本发明提出了一种高光通量光谱编码成像系统及方法,采用高光通量的空间编码装置(刻 痕式掩模),用于对原始光谱进行简单调制后获取原始光谱的编码光谱,该系统极大地提高光 谱成像的光通量。本发明可以根据掩模像素与邻域像素的区域光谱约束求解出掩模点以及邻域 像素的光谱,可用于如阴天、傍晚等可见光低光照的高速光谱视频成像、多光谱荧光显微成像 以及非制冷红外光谱成像等成像应用,无需额外提供光源增加成像系统复杂性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描 述中所需要使用的附图简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施 例,对于本领域普通技术人员来讲,在不付出创造性的劳动前提下,还可以根据这些附图获得 其他的附图。
图1是本发明高光通量光谱编码成像系统组成示意图;
图2是本发明的刻痕式掩模结构示意图;
图3是阿米西棱镜色散示意图;
图4是本发明的求解解码光谱的流程示意图。
具体实施方式
下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发 明的限制。
如图1所示,本发明高光通量的光谱编码成像系统的结构主要包括以下几个装置:编码装 置100、色散装置200、成像装置300及计算装置400。其中编码装置100是指利用刻痕式掩 模,对原始光谱进行编码调制,获取原始光谱的编码光谱,用以解码时从邻域至刻痕的光谱反 演;色散装置200是指利用高透过率的阿米西棱镜对编码光谱进行色散,获取色散编码光谱; 成像装置300指利用CCD传感器对色散编码光谱进行采集,获取色散编码光谱图像。
如图2所示,刻痕式掩模在一块全透镜上按照阿米西棱镜的色散方向和长度刻上遮挡点, 每个遮挡点与其色散方向上的相邻的遮挡点的距离大于遮挡点的色散长度,本实施例选取高光 通量,如图3所示,入射光与出射光水平的阿米西棱镜进行色散。原始光谱经过刻痕式掩模编 码后由阿米西棱镜进行色散,获得色散编码光谱,最终在传感器上得到色散编码光谱图像。由 于刻痕式掩模阻塞少,极大地提高光谱成像系统的光通量。
本发明通过以上系统采集到一张色散编码光谱图像D,根据掩模像素与邻域像素的区域光 谱约束求解出掩模点以及邻域像素的解码光谱S,如图4所示,具体方法如下:
(1)假设成像装置300上的像素(i,j)对应编码装置100的刻痕式掩模孔,建立成像方程:
Figure BDA0003166445340000031
其中,Ω是光谱通道数量,d是像素值,s是原始光谱,i、j是成像装置空间位置坐标。
(2)根据步骤(1)的模拟过程,将成像方程写成矩阵形式:
Figure BDA0003166445340000041
其中D=[d(i,j),…,d(i+Ω-1,j)]T以及
Figure BDA0003166445340000042
l是光照强度。
(3)引入局部区域光谱一致性约束,通过掩模像素和领域像素求解解码光谱;
(4)计算j和j-1行的差分值:
Figure BDA0003166445340000043
其中,ΔvD=[d(i,j-1)-d(i,j),…,d(i+Ω-1,j-1)-(i+Ω-1,j)]T,L具体形式为:
Figure BDA0003166445340000044
(5)易得矩阵L是满秩矩阵,可对像素(i,j)的归一化光谱进行方程求解:
Figure BDA0003166445340000045
其中,λs是正则化参数,‖‖2是二范数操作,
Figure BDA0003166445340000046
是对色散编码光谱在色散方向进行差分 运算。
(6)利用共轭梯度算法求解二次优化问题,像素(i,j)求解结果为:
Figure BDA0003166445340000047
其中,S是解码光谱。
以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指 出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改 进和变动,这些改进和变动也视为本发明的保护范围。

Claims (10)

1.一种高光通量光谱编码成像系统,其特征在于,该系统包括依次相连的编码装置、色散装置、成像装置及计算装置;
所述编码装置用于对原始光谱进行调制,获取原始光谱的编码光谱;
所述色散装置用于对编码光谱进行色散,获取色散编码光谱;
所述成像装置用于对所述色散编码光谱进行采集,获取色散编码光谱图像;
所述计算装置用于根据所述色散编码光谱图像求解出解码光谱。
2.根据权利要求1所述的一种高光通量光谱编码成像系统,其特征在于,所述编码装置为刻痕式掩模,所述刻痕式掩模上分布多个能够阻止光通过的遮挡点;所述遮挡点是根据所述色散装置的色散方向和长度刻蚀,每个所述遮挡点与其色散方向上的相邻的遮挡点的距离大于所述遮挡点的色散长度;所述成像装置上的像素对应所述遮挡点。
3.根据权利要求2所述的一种高光通量光谱编码成像系统,其特征在于,所述计算装置通过以下公式预先建立成像方程:
Figure FDA0003166445330000011
其中,Ω是光谱通道数量,d是像素值,s是原始光谱,i、j是成像装置空间位置坐标;
并将成像方程转换为矩阵形式:
Figure FDA0003166445330000012
其中D=[d(i,j),…,d(i+Ω-1,j)]T以及
Figure FDA0003166445330000013
l是光照强度。
4.根据权利要求3所述的一种高光通量光谱编码成像系统,其特征在于,所述计算装置引入局部区域光谱一致性约束,通过掩模像素和邻域像素代入成像方程,求解解码光谱;其中,刻痕式掩模的遮挡点对应的像素是掩模像素,刻痕式掩模的遮挡点相邻位置所对应的像素是邻域像素。
5.根据权利要求3所述的一种高光通量光谱编码成像系统,其特征在于,所述计算装置根据以下公式求解解码光谱:
计算j和j-1行的差分值:
Figure FDA0003166445330000014
其中,ΔvD=[d(i,j-1)-d(i,j),…,d(i+Ω-1,j-1)-(i+Ω-1,j)]T,L具体形式为:
Figure FDA0003166445330000021
对像素(i,j)的归一化光谱进行方程求解;
利用凸优化方法求解二次优化问题,得到所述解码光谱。
6.一种高光通量光谱编码成像方法,其特征在于,该方法的步骤包括;
步骤1,对原始光谱进行调制,获取原始光谱的编码光谱;
步骤2,对原始光谱的编码光谱进行色散,获取色散编码光谱;
步骤3,对所述色散编码光谱进行采集,获取色散编码光谱图像;
步骤4,根据所述色散编码光谱图像求解出解码光谱。
7.根据权利要求6所述的一种高光通量光谱编码成像方法,其特征在于,所述步骤1中,通过刻痕式掩模对原始光谱进行调制;所述刻痕式掩模上分布多个能够阻挡光的遮挡点,所述遮挡点是根据色散方向和长度刻蚀,每个所述遮挡点与其色散方向上的相邻的遮挡点的距离大于所述遮挡点的色散长度,刻痕式掩模的遮挡点与像素对应。
8.根据权利要求7所述的一种高光通量光谱编码成像方法,其特征在于,所述步骤4中,预先建立成像方程:
Figure FDA0003166445330000022
其中,Ω是光谱通道数量,d是像素值,s是原始光谱,i、j是成像装置空间位置坐标;
再将成像方程转换为矩阵形式:
Figure FDA0003166445330000023
其中D=[d(i,j),…,d(i+Ω-1,j)]T以及
Figure FDA0003166445330000024
l是光照强度。
9.根据权利要求8所述的一种高光通量光谱编码成像方法,其特征在于,所述步骤4中,引入局部区域光谱一致性约束,通过掩模像素和邻域像素代入成像方程,求解解码光谱;其中,掩模像素为刻痕式掩模的遮挡点对应的像素,邻域像素是刻痕式掩模的遮挡点相邻位置所对应的像素。
10.根据权利要求9所述的一种高光通量光谱编码成像方法,其特征在于,所述步骤4中,求解解码光谱的具体步骤包括:
计算j和j-1行的差分值:
Figure FDA0003166445330000031
其中,ΔvD=[d(i,j-1)-d(i,j),…,d(i+Ω-1,j-1)-(i+Ω-1,j)]T,L具体形式为:
Figure FDA0003166445330000032
对像素(i,j)的归一化光谱进行方程求解;
利用凸优化方法求解二次优化问题,得到所述解码光谱。
CN202110806134.2A 2021-07-16 2021-07-16 一种高光通量光谱编码成像系统与方法 Active CN113701880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110806134.2A CN113701880B (zh) 2021-07-16 2021-07-16 一种高光通量光谱编码成像系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110806134.2A CN113701880B (zh) 2021-07-16 2021-07-16 一种高光通量光谱编码成像系统与方法

Publications (2)

Publication Number Publication Date
CN113701880A true CN113701880A (zh) 2021-11-26
CN113701880B CN113701880B (zh) 2022-12-09

Family

ID=78648730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110806134.2A Active CN113701880B (zh) 2021-07-16 2021-07-16 一种高光通量光谱编码成像系统与方法

Country Status (1)

Country Link
CN (1) CN113701880B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统
CN106482764A (zh) * 2016-12-16 2017-03-08 凌子龙 差分式光电编码器及位置判断方法
CN106679807A (zh) * 2016-11-01 2017-05-17 北京理工大学 一种基于lctf高光谱成像系统的图像压缩与重构方法
CN110632002A (zh) * 2019-09-30 2019-12-31 中国科学院西安光学精密机械研究所 一种基于压缩感知的孔径编码光谱探测装置
CN111239878A (zh) * 2018-11-09 2020-06-05 英属开曼群岛商音飞光电科技股份有限公司 光栅板装置
CN111279158A (zh) * 2019-04-23 2020-06-12 大族激光科技产业集团股份有限公司 一种光栅盘及反馈系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN105651384A (zh) * 2016-01-13 2016-06-08 南京大学 一种全光信息采集系统
CN106679807A (zh) * 2016-11-01 2017-05-17 北京理工大学 一种基于lctf高光谱成像系统的图像压缩与重构方法
CN106482764A (zh) * 2016-12-16 2017-03-08 凌子龙 差分式光电编码器及位置判断方法
CN111239878A (zh) * 2018-11-09 2020-06-05 英属开曼群岛商音飞光电科技股份有限公司 光栅板装置
CN111279158A (zh) * 2019-04-23 2020-06-12 大族激光科技产业集团股份有限公司 一种光栅盘及反馈系统
CN110632002A (zh) * 2019-09-30 2019-12-31 中国科学院西安光学精密机械研究所 一种基于压缩感知的孔径编码光谱探测装置

Also Published As

Publication number Publication date
CN113701880B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
Lin et al. Spatial-spectral encoded compressive hyperspectral imaging
US8553222B2 (en) Coded aperture snapshot spectral imager and method therefor
US6483952B2 (en) Super resolution methods for electro-optical systems
Sun et al. Detfusion: A detection-driven infrared and visible image fusion network
US20170201727A1 (en) SYSTEM AND METHOD FOR LIGHT-FIELD lMAGING
US8310724B2 (en) Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix
KR102139858B1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
KR20030020357A (ko) 데이터 해상도를 향상시키는 방법 및 장치
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
John et al. Multiframe selective information fusion from robust error estimation theory
CN104751432A (zh) 一种基于图像重构的可见光与红外图像融合方法
US20230021358A1 (en) Snapshot hyperspectral imaging method with de-blurring dispersed images
US10212401B2 (en) Image generation device and imaging device
JPH09258287A (ja) 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
DE112016001559T5 (de) Abbildungssystem, das strukturiertes Licht zur Tiefenrückgewinnung nutzt
CN111738916B (zh) 一种基于统计学的遥感影像广义阴影光谱重建方法和系统
US20220086372A1 (en) Multi-Modal Computational Imaging via Metasurfaces
CN101782430B (zh) 一种基于哈达玛变换成像光谱仪的光谱复原方法
CN115307733A (zh) 一种空间维编码光谱偏振一体化成像系统及其设计方法
CN113701880B (zh) 一种高光通量光谱编码成像系统与方法
Li et al. CasFormer: Cascaded transformers for fusion-aware computational hyperspectral imaging
CN108801457A (zh) 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法
Bai et al. Night Vision Processing and Understanding
Markham et al. Tradeoffs in regularized maximum-likelihood image restoration
Zhang et al. Sub-pixel Dispersion Model for Coded Aperture Snapshot Spectral Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant