CN112465922A - 一种结合色差模糊成像与图像重建技术的高光谱成像系统 - Google Patents

一种结合色差模糊成像与图像重建技术的高光谱成像系统 Download PDF

Info

Publication number
CN112465922A
CN112465922A CN202011081244.9A CN202011081244A CN112465922A CN 112465922 A CN112465922 A CN 112465922A CN 202011081244 A CN202011081244 A CN 202011081244A CN 112465922 A CN112465922 A CN 112465922A
Authority
CN
China
Prior art keywords
image
color difference
imaging
chromatic aberration
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011081244.9A
Other languages
English (en)
Inventor
詹舒越
马旭
刘昀卓
周卫文
黄慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Shanghai Aerospace Control Technology Institute
Original Assignee
Zhejiang University ZJU
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Shanghai Aerospace Control Technology Institute filed Critical Zhejiang University ZJU
Priority to CN202011081244.9A priority Critical patent/CN112465922A/zh
Publication of CN112465922A publication Critical patent/CN112465922A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合色差模糊成像与图像重建技术的高光谱成像系统,包括:色差模糊成像子系统,色差模糊成像子系统包括中心轴对齐布置的成像镜头和CMOS相机,成像镜头在可见光波段或红外光波段内具有轴向高色差,CMOS相机用于采集不同像距下的色差模糊图像;图像处理单元,图像处理单元用于对所述的色差模糊图像堆叠形成色差模糊图像立方体,基于光谱图像立方体退化模型,结合波长‑像距关系曲线和点扩散函数库,利用序列图像解卷积算法重建得到光谱图像立方体。本发明所公开的高光谱成像系统具有结构简单、光能利用率高、探测速度快等优点,从而为特殊场合下的目标物空间光谱信息感知与特异性辨识提供一种高灵敏、快速、小型化的探测手段。

Description

一种结合色差模糊成像与图像重建技术的高光谱成像系统
技术领域
本发明涉及光谱成像领域,尤其涉及一种结合色差模糊成像与图像重建技术的高光谱成像系统。
背景技术
光谱成像(Spectroscopy Imaging)技术是光谱技术与成像技术相结合的产物,它能同时探测目标物的二维空间形态信息与一维光谱信息。因此,这种“图谱合一”的技术广泛应用于地质资源勘探、农作物植被观测、气象观测、大气及水体监测、食品分析等领域。
目前商品化和卫星载荷光谱成像仪所采用的分光方式主要是棱镜/光栅色散型和干涉型两类。传统光谱成像在空间分辨率、光谱分辨、信噪比、曝光时间等方面存在相互制约关系,其中存在的主要问题有:1)色散型和空间调制干涉型分光均需采用狭缝元件,从而限制了通光量,能量利用率低,难以实现高分辨率和高信噪比。虽然通常采用运动像移补偿方式增加曝光时间,但也导致无法对目标进行连续成像;2)基于迈克尔逊干涉仪的时间调制型分光方式虽然能量利用率高,并具有高空间分辨率,但对平台稳定度要求高,受限于时间调制方式而较难获得高光谱分辨率。
由于光谱成像(尤其是高光谱、超光谱成像)的数据量庞大,高采样要求是限制各项性能提高的重要原因。如何通过快速高效采样,即可获得光谱图像立方体,是解决现有光谱成像技术不足的有效途径之一。文献报道显示,近年来发展的新型光谱成像技术以快照式成像为主,尤其是压缩感知理论的提出,大大推动了光学成像和光谱成像技术的发展,出现了主动光谱成像、计算光谱成像等多种新型技术。
(KRISTENSSON E,DOROZYNSKA K.Implementation of a multiplexedstructured illumination method to achieve snapshot multispectral imaging[J].Optics Express,2017,25(15):17211.)通过多种调制结构光同时照明,从而单帧图像的光谱成分能够在频域得到分离,提取相应频率成分进行傅里叶反变换即可得到某一光谱图像。这种技术具有极快的光谱成像速度,能够动态观测火焰燃烧、生化反应过程等,但是受限于激光器光源的波段数量和照明结构,只能在实验室环境中进行几个波段的多光谱成像。(CHAO D,X.M.H,J.L.SUO,et al.Snapshot hyperspectral imaging via spectralbasis multiplexing in Fourier domain[J].Optics Express,2018,26:32509-32521.)以6种不同宽波段结构光分时照明并叠加曝光,频域处理得到6个宽波段光谱图像后,通过线性回归重建了上百个波段的高光谱图像。此外,(ZIBANG Z,SHIJIE L,JUNZHENG P,etal.Simultaneous spatial,spectral,and 3D compressive imaging via efficientFourier single-pixel measurements[J].Optica,2018,5(3):315.)在结构光照明条件下,开展了单像素相机压缩感知研究,可实现同时多光谱和3D成像。总之,主动光谱成像主要取决于光源及其编码,通常只能实现多光谱成像,需要利用其它数据处理方法才能获得高光谱图像,并可能受自然光影响。
(GEHM M E,JOHN R,BRADY D J,et al.Single-Shot Compressive SpectralImaging with a Dual-Disperser Architecture[J].Optics Express,2007,15(21):14013–14027.)利用一个编码孔径和阿米西色散棱镜去调制场景的入射光场,只需一次成像则捕捉一个场景数据立方体的多通道投影,通过计算重构便可获得光谱图像立方体,建立了计算光谱成像技术。(ARCE G R,BRADY D J,CARIN L,et al.Compressive CodedAperture Spectral Imaging:An Introduction[J].IEEE Signal Processing Magazine,2014,31(1):105-115.)设计了FP干涉阵列薄膜,一次成像得到19幅不同光谱压缩的子图像(牺牲了像素分辨率),使用压缩感知重建算法可获得718个波段的高光谱图像。总之,压缩感知理论可适用于景物光谱信息的压缩采样和高概率重构,但编码孔径和FP干涉阵列实现信号稀疏表示的方式,仍然会不同程度地损失通光量。
发明内容
本发明实施例的目的是提供一种结合色差模糊成像与图像重建技术的高光谱成像系统,以解决现有光谱成像技术难以实现高分辨率和高信噪比及通光量低的问题。
本发明的目的是通过以下技术方案来实现的:一种结合色差模糊成像与图像重建技术的高光谱成像系统,包括:
色差模糊成像子系统,所述色差模糊成像子系统包括中心轴对齐布置的成像镜头和CMOS相机,其中所述的成像镜头在可见光波段或红外光波段内具有轴向高色差,所述CMOS相机用于采集不同像距下的色差模糊图像;
图像处理单元,所述图像处理单元用于对所述的色差模糊图像堆叠形成色差模糊图像立方体,基于光谱图像立方体退化模型,结合波长-像距关系曲线和点扩散函数库,利用序列图像解卷积算法重建得到光谱图像立方体。
根据以上技术方案,本发明的有益效果是:
1、由于不以分光/滤光方式获取光谱图像,而以摄像镜头获得高光通量,光信号损失小,提高了对微弱目标的探测能力。
2、由于不以牺牲图像传感器像素通道来获取光谱通道信号,并可设计具有高空间分辨率的成像系统,具备小目标探测的能力。
3、以快照摄像方式采集单个或数个像距下的图像,图像采集数据量及耗时少,具备高速探测能力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的一种结合色差模糊成像与图像重建技术的高光谱成像系统的结构图;
图2为本发明实施例中成像镜头截面图;
图3为本发明实施例中波长-像距关系与部分PSF示意图;
图4为本发明实施例中SVD重建算法流程图;
图5为本发明实施例中目标场景部分色差模糊图像和重建光谱图像示意图;
图6为本发明实施例中目标物图像ROI标注图;
图7为图6中ROI-1区域的真实光谱曲线与三种重建算法得到的光谱曲线比对图;
图8为图6中ROI-2区域的真实光谱曲线与三种重建算法得到的光谱曲线比对图;
图9为图6中ROI-3区域的真实光谱曲线与三种重建算法得到的光谱曲线比对图;
图10为图6中ROI-4区域的真实光谱曲线与三种重建算法得到的光谱曲线比对图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本发明实施例提供的一种结合色差模糊成像与图像重建技术的高光谱成像系统的结构图;本发明实施例提供一种结合色差模糊成像与图像重建技术的高光谱成像系统包括:
色差模糊成像子系统,所述色差模糊成像子系统包括中心轴对齐布置的成像镜头和CMOS相机(比如Thorlabs DCC3260M),其中所述的成像镜头在可见光波段或红外光波段内具有轴向高色差,所述CMOS相机用于采集不同像距下的色差模糊图像;
图像处理单元,所述图像处理单元用于对所述的色差模糊图像堆叠形成色差模糊图像立方体,基于光谱图像立方体退化模型,结合波长-像距关系曲线和点扩散函数库,利用序列图像解卷积算法重建得到光谱图像立方体。
在本申请一可选的方式中,成像镜头为本系统的核心器件,从功能的角度,所述的成像镜头的轴向色差应单调且线性变化,同时其球差、慧差应被消除,使图像只因色差离焦产生模糊。本实施例使用ZEMAX光学设计软件设计了一款可见光波段(400-700nm)的高色差镜头,从结构的角度,所述的成像镜头由依次布置在同一中心轴的第一凸凹透镜A、第二凸凹透镜B、光阑F、双凹透镜片C、第一双凸透镜D和第二双凸透镜E组成,所述双凹透镜片C和第一双凸透镜D进行胶合,其截面如图2所示。设计并加工镜筒用于将各透镜装配组合。该成像镜头的单色像差已被较好地矫正,同时在可见光波段内具有较大且单调变化的轴向色差,如当入射波长分别为420nm、550nm和680nm时,它们准焦面G与第二双凸透镜E透镜顶点之间的距离H分别为21.440mm、23.064mm和23.809mm。由于轴向色差的存在,CMOS相机在某一像距下采集到的图像都是某一波段准焦像和其他所有波段离焦像的叠加,总体呈现的将是一副模糊图像,并且CMOS相机所处轴向位置不同,其采集的色差模糊图像的模糊程度也不同。本实施例第一凸凹透镜A为H-ZF5凸凹透镜,前表面曲率半径为21.676mm,后表面曲率半径为47.754mm,外径为28.4±0.05mm,内径为25±0.05mm,前后表面厚度为6.36±0.03mm,上下切面厚度为2.75mm、第二凸凹透镜B为H-ZF11凸凹透镜,前表面曲率半径为15.447mm,后表面曲率半径为7.754mm,外径为20.4±0.05mm,内径为12.54±0.05mm,前后表面厚度为5.37±0.02mm,上下切面厚度为4.7mm、双凹透镜片C为H-ZF13双凹透镜,前表面曲率半径为19.935mm,后表面曲率半径为32.257mm,外径为23±0.05mm,内径为14.8±0.05mm,前后表面厚度为2.59±0.03mm,上下切面厚度为5.75mm、第一双凸透镜D为H-ZF6双凸透镜,前表面曲率半径为32.257mm,后表面曲率半径为16.19mm,外径为23±0.05mm,前后表面厚度为7.69±0.03mm,上下切面厚度为1.15mm、第二双凸透镜E为H-ZF6双凸透镜,前表面曲率半径为50.3mm,后表面曲率半径为66.7mm,外径为28.4±0.05mm,前后表面厚度为7.54±0.03mm,上下切面厚度为3.95mm、光阑F为圆形光阑,通光口径为6.4mm,装配时第一凸凹透镜A与第二凸凹透镜B之间间隔0.26±0.02mm、第二凸凹透镜B与光阑F之间间隔5.92±0.02mm、光阑F与双凹透镜片C之间间隔6.34±0.02mm、第一双凸透镜D与第二双凸透镜E之间间隔0.235±0.02mm,当然不仅限于此。
在本申请一可选的方式中,还包括相机驱动装置,所述相机驱动装置包括依次电连接的电控位移台、运动控制器以及控制单元(AMD Ryzen 7 1700X X64台式电脑),所述CMOS相机搭载的所述电控位移台上,所述控制单元通过控制线与所述CMOS相机相连,所述CMOS相机通过控制线与运动控制器相连。进一步地,成像镜头可通过光学支架固定于机械底座上,CMOS图像传感器通过光学支架固定于电控位移台上,CMOS图像传感器与成像镜头保持同轴并留有一定距离。
控制单元首先对CMOS相机及运动控制器的工作参数进行初始化设定(相机曝光时间、图像保存格式、位移台步进距离、行程等),接着控制CMOS相机曝光,采集一帧色差模糊图像并保存,然后CMOS相机触发端口会发送一个触发信号给运动控制器,运动控制器接收到触发信号后控制电控位移台推动相机沿轴向位置步进一步,当步进完成后运动控制器会返还一个触发信号给CMOS相机,从而控制CMOS相机采集下一个轴向位置下的图像。当高电控位移台到达设定的行程(此时采集到了一定数量的色差模糊图像)时,子系统停止工作。
在本申请一可选的方式中,所述CMOS相机型号选择Thorlabs公司的DCC3260M,将其工作在触发模式下,即只有当外部有触发信号传入时,相机才会曝光采集图像。电控位移台和运动控制器分别选择Thorlabs公司的MT1-Z8和KDC101。MT1-Z8和KDC101需要配套使用,KDC101可以控制MT1-Z8做轴向位移,最大位移距离为12mm,最高步进精度可达0.1μm,当然不限于此。
在本申请一可选的方式中,还包括存储单元(比如Toshiba DTB420),所述存储单元通过数据线与所述CMOS相机相连。存储单元除了存储CMOS相机采集到的色差模糊图像外,还预存储了系统的波长-像距关系曲线以及系统在不同入射波长下不同像距处的点扩散函数(PSF)库。
在本申请一可选的方式中,所述的波长-像距关系曲线通过实验测定得到,具体包括:
步骤(1.1),选取若干可见光波段内的窄带单色LED灯,要求各单色LED的中心波长应均匀地分布于可见光波段内,优选半高宽FWHM尽可能小;
步骤(1.2),将黑色背景的白色条纹靶标放置于摄影棚中,依次使用各窄带单色LED灯照明靶标;进一步地,将各窄带单色LED灯的驱动电流、电压需调节到合适数值以保证相机采集到的图像灰度值适中;
步骤(1.3),对每个窄带单色LED灯照明场景,设置电控位移台移动范围与步进距离,启动图像自动采集程序通过CMOS相机采集得到不同像距处的色差模糊图像;
步骤(1.4),对所述的所有色差模糊图像,使用边缘强度检测算法(诸如方差分析、Sobel算子分析等方法)对每帧色差模糊图像进行对比度评价,找出对比度最高的一帧色差模糊图像,那么该色差模糊图像的采集位置即是该窄带单色LED灯中心波长的对焦位置,由此获得各窄带单色LED灯中心波长与像距一一对应关系,以波长为横坐标,像距为纵坐标,对各个离散点进行多项式拟合得到系统的波长-像距关系曲线。进一步地,以550nm对焦位置处为坐标原点对该曲线中心化处理,得到最终曲线如图3中的(a)所示。
在本申请一可选的方式中,所述的点扩散函数库由实验测定得到,具体包括:
步骤(2.1),将黑色背景的白色圆点靶标放置于摄影棚中,并使用白色窄带LED灯照明,在色差模糊成像子系统的镜头之前加装一个液晶可调谐滤光器(LCTF),用于对入射白光进行滤光,保持液晶可调谐滤光器通光孔径与高色差镜头中心轴对齐且相互紧贴;
步骤(2.2),将液晶可调谐滤光器透过波长设置为某一波长(例如设为430nm),根据所述的系统波长-像距关系曲线计算得到该波长对应的最佳聚焦位置,将相机移动到该波长的对焦面位置,调节白色窄带LED灯供电电流及相机曝光时间参数,使得色差模糊图像上圆点的像素强度不超过CMOS相机的最大像素强度,并保存色差模糊图像;
步骤(2.3),控制电控位移台推动CMOS相机沿轴向扫描,采集并保存各个轴向位置下的色差模糊图像;
步骤(2.4),以步骤(2.2)中获得的图像为基准图像,对步骤(2.3)采集到各个轴向位置下的色差模糊图像使用Lucy-Richardson算法进行处理,得到该入射波长下各轴向位置处的点扩散函数;
步骤(2.5),将液晶可调谐滤光器入射波长设置为下一个波长,重复步骤(2.2)-(2.4),同样得到此入射波长下各轴向位置处的点扩散函数;最终,建立起一个不同波长各轴向距离下的点扩散函数库,用于后续光谱图像立方体重建。
图3中的(b)显示了系统部分PSF:入射波长分别为450nm、550nm和650nm,相机分别处于-1.20mm、0.00mm和0.67mm(即分别为450nm、550nm和650nm对焦处)。
在本申请一可选的方式中,所述基于光谱图像立方体退化模型为:
当CMOS相机位于第k轴向位置处时,光谱图像立方体各波段光谱图像切片与对应波段在k位置的点扩散函数进行二维卷积,然后逐波段加和,最后加上噪声项,结果为色差模糊图像,然后各轴向距离下色差模糊图像堆叠即为色差模糊图像立方体。具体如下:
(1)光谱图像退化模型可以表示为:
Figure BDA0002715456400000061
Figure BDA0002715456400000062
Figure BDA0002715456400000063
其中,
Figure BDA0002715456400000064
为图像传感器位于第k轴向位置处采集到的色差模糊图像;
Figure BDA0002715456400000065
为λn波段下的光谱图像;
Figure BDA0002715456400000066
为入射波长为λn时,图像传感器位于第k轴向位置处时的点扩散函数;
Figure BDA0002715456400000067
为第k轴向位置处系统的噪声;*为二维卷积运算。
(2)从上式可知,在已知系统PSF库的情况下,对于采集到的色差模糊图像,可以使用图像重建技术反演出光谱图像,本发明给出三种光谱图像重建算法:奇异值分解法(SVD)、正则化最小二乘法(RLS)、JVC迭代法(JVC)。RLS算法与JVC算法步骤由下面(3)、(4)所述,SVD算法流程图如图4所示,其步骤概括为:
(2.1)对所有的色差模糊图像和PSF库做二维傅里叶变换,由空间域变换到频率域;
(2.2)基于步骤(2.1)构建矩阵PSF(ξ,ζ)和向量I(ξ,ζ);
(2.3)对PSF(ξ,ζ)进行奇异值分解,并基于分解出的奇异值和奇异向量求解PSF(ξ,ζ)的逆矩阵;为了避免奇异值中出现零值影响图像重建质量,引入正则化参数α,α是一个根据经验选取的数;
(2.4)将PSF(ξ,ζ)矩阵的逆左乘向量I(ξ,ζ),得到光谱图像在频率空间(ξ,ζ)处的值O(ξ,ζ);
(2.5)重复步骤(2.2)-(2.4),直到所有的频率空间处的像素值均被计算完成;最后,将重建出的光谱图像的频率域表达使用二维傅里叶反变换,得到最终空间域的光谱图像。
(3)RLS算法步骤概括为:
(3.1)对所有的色差模糊图像和PSF库做二维傅里叶变换,由空间域变换到频率域;
(3.2)基于步骤(3.1)构建矩阵PSF(ξ,ζ)和向量I(ξ,ζ);
(3.3)选取单位矩阵Q(ξ,ζ)为正则化算子,引入正则化参数α,α是一个根据经验选取的数。如果α过大,会导致重建图像仍然比较模糊,而如果α过小,则可能得到一堆“乱像”,当α=0时,则是普通的最小二乘算法;
(3.4)根据公式
Figure BDA0002715456400000071
得到光谱图像在频率空间(ξ,ζ)处的值O(ξ,ζ);
(3.5)重复步骤(3.2)-(3.4),直到所有的频率空间处的像素值均被计算完成;最后,将重建出的光谱图像的频率域表达使用二维傅里叶反变换,得到最终空间域的光谱图像。
(4)JVC算法步骤概括为:
(4.1)假设原始光谱图像的迭代初始值为色差模糊图像,即
Figure BDA0002715456400000072
(4.2)然后使用光学系统的点扩散函数对第n次估计出的光谱图像
Figure BDA0002715456400000073
进行成像,
Figure BDA0002715456400000074
Gn为模拟成像的色差模糊图像;
(4.3)按以下公式
Figure BDA0002715456400000075
计算第n次迭代后的残差图像Dn及相应的权值函数γn,其中,A为图像
Figure BDA0002715456400000076
的最大值;
(4.4)然后使用残差图像和权值函数,对下一次光谱图像的估计进行更新:
Figure BDA0002715456400000077
(4.5)对估计得到的光谱图像再加入非负性限制:对于灰度值小于0的像素点,强制令它们的像素值为0;
(4.6)重复迭代步骤(4.2)-(4.5)迭代终止的条件可以设为残差图像的所有像素值之和小于某个阈值。此时光谱图像
Figure BDA0002715456400000081
即为最终空间域的光谱图像。
光谱比对:
图5中第一行是CMOS相机轴向位置,0mm处为550nm波长聚焦位置,正方向为波长增长方向,负方向为波长减小方向,标注值为相对0mm处的位移;第二行为对应轴向位置下采集的色差模糊图像;第三行为对应轴向位置的聚焦波长数值;第四行为对应波长的真实光谱图像;第五行为对应波长的RLS算法重建的光谱图像;第六行为对应波长的SVD算法重建的光谱图像;第七行为对应波长的JVC算法重建的光谱图像。重建光谱图像与真实光谱图像有高吻合度。
图6中ROI标注图从右至左用四个小方块依次标明了ROI-1、ROI-2、ROI-3、ROI-4所在位置,使用引出线加以标注,这四个区域将在图7-10中进行光谱曲线比对。
图7和图8中实线为真实光谱曲线、实线加方框为RLS重建算法得到的光谱曲线、实线加圆圈为SVD重建算法得到的光谱曲线、实线加三角形为JVC重建算法得到的光谱曲线。重建光谱曲线与真实光谱曲线有高吻合度。
图9和图10中实线为真实光谱曲线、实线加方框为RLS重建算法得到的光谱曲线、实线加圆圈为SVD重建算法得到的光谱曲线、实线加三角形为JVC重建算法得到的光谱曲线。重建光谱曲线与真实光谱曲线有高吻合度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,包括:
色差模糊成像子系统,所述色差模糊成像子系统包括中心轴对齐布置的成像镜头和CMOS相机,其中所述的成像镜头在可见光波段或红外光波段内具有轴向高色差,所述CMOS相机用于采集不同像距下的色差模糊图像;
图像处理单元,所述图像处理单元用于对所述的色差模糊图像堆叠形成色差模糊图像立方体,基于光谱图像立方体退化模型,结合波长-像距关系曲线和点扩散函数库,利用序列图像解卷积算法重建得到光谱图像立方体。
2.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述的成像镜头的轴向色差应单调且线性变化,同时其球差、慧差应被消除,使图像只因色差离焦产生模糊。
3.根据权利要求1或2所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述的成像镜头由依次布置在同一中心轴的第一凸凹透镜、第二凸凹透镜、光阑、双凹透镜片、第一双凸透镜和第二双凸透镜组成,所述双凹透镜片和第一双凸透镜进行胶合。
4.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,还包括相机驱动装置,所述相机驱动装置包括依次电连接的电控位移台、运动控制器以及控制单元,所述CMOS相机搭载的所述电控位移台上。
5.根据权利要求4所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述控制单元通过控制线与所述CMOS相机相连,所述CMOS相机通过控制线与运动控制器相连。
6.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,还包括存储单元,所述存储单元通过数据线与所述CMOS相机相连。
7.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述的波长-像距关系曲线通过实验测定得到,具体包括:
步骤(1.1),选取若干可见光波段内的窄带单色LED灯,要求各单色LED的中心波长应均匀地分布于可见光波段内;
步骤(1.2),将黑色背景的白色条纹靶标放置于摄影棚中,依次使用各窄带单色LED灯照明靶标;
步骤(1.3),对每个窄带单色LED灯照明场景,通过CMOS相机采集得到不同像距处的色差模糊图像;
步骤(1.4),对所述的所有色差模糊图像,使用边缘强度检测算法对每帧色差模糊图像进行对比度评价,找出对比度最高的一帧色差模糊图像,那么该色差模糊图像的采集位置即是该窄带单色LED中心波长的对焦位置,由此获得各窄带单色LED中心波长与像距一一对应关系,以波长为横坐标,像距为纵坐标,对各个离散点进行多项式拟合得到系统的波长-像距关系曲线。
8.根据权利要求7所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述的点扩散函数库由实验测定得到,具体包括:
步骤(2.1),将黑色背景的白色圆点靶标放置于摄影棚中,并使用白色窄带LED灯照明,在色差模糊成像子系统的镜头之前加装一个液晶可调谐滤光器,用于对入射白光进行滤光,保持液晶可调谐滤光器通光孔径与高色差镜头中心轴对齐且相互紧贴;
步骤(2.2),将液晶可调谐滤光器透过波长设置为某一波长,根据所述的系统波长-像距关系曲线计算得到该波长对应的最佳聚焦位置,将相机移动到该波长的对焦面位置,调节白色窄带LED灯供电电流及相机曝光时间参数,使得色差模糊图像上圆点的像素强度不超过CMOS相机的最大像素强度,并保存色差模糊图像;
步骤(2.3),使CMOS相机沿轴向扫描,采集并保存各个轴向位置下的色差模糊图像;
步骤(2.4),以步骤(2.2)中获得的图像为基准图像,对步骤(2.3)采集到各个轴向位置下的色差模糊图像使用Lucy-Richardson算法进行处理,得到该入射波长下各轴向位置处的点扩散函数;
步骤(2.5),将液晶可调谐滤光器入射波长设置为下一个波长,重复步骤(2.2)-(2.4),同样得到此入射波长下各轴向位置处的点扩散函数;最终,建立起一个不同波长各轴向距离下的点扩散函数库,用于后续光谱图像立方体重建。
9.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述基于光谱图像立方体退化模型为:
当CMOS相机位于第k轴向位置处时,光谱图像立方体各波段光谱图像切片与对应波段在k位置的点扩散函数进行二维卷积,然后逐波段加和,最后加上噪声项,结果为色差模糊图像,然后各轴向距离下色差模糊图像堆叠即为色差模糊图像立方体。
10.根据权利要求1所述的一种结合色差模糊成像与图像重建技术的高光谱成像系统,其特征在于,所述基于光谱图像立方体退化模型表示如下:
Figure FDA0002715456390000021
Figure FDA0002715456390000022
Figure FDA0002715456390000031
其中
Figure FDA0002715456390000032
为图像传感器位于第k轴向位置处采集到的色差模糊图像;
Figure FDA0002715456390000033
为λn波段下的光谱图像;
Figure FDA0002715456390000034
为入射波长为λn时,图像传感器位于第k轴向位置处时的点扩散函数;
Figure FDA0002715456390000035
为第k轴向位置处的噪声;*为二维卷积运算。
CN202011081244.9A 2020-10-09 2020-10-09 一种结合色差模糊成像与图像重建技术的高光谱成像系统 Pending CN112465922A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011081244.9A CN112465922A (zh) 2020-10-09 2020-10-09 一种结合色差模糊成像与图像重建技术的高光谱成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011081244.9A CN112465922A (zh) 2020-10-09 2020-10-09 一种结合色差模糊成像与图像重建技术的高光谱成像系统

Publications (1)

Publication Number Publication Date
CN112465922A true CN112465922A (zh) 2021-03-09

Family

ID=74833040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011081244.9A Pending CN112465922A (zh) 2020-10-09 2020-10-09 一种结合色差模糊成像与图像重建技术的高光谱成像系统

Country Status (1)

Country Link
CN (1) CN112465922A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281282A (zh) * 2021-06-17 2021-08-20 四川九洲电器集团有限责任公司 一种图像采集与重构方法、设备及存储介质
CN113945544A (zh) * 2021-10-13 2022-01-18 天津大学 面向空间频域测量的动态单像素成像及退化图像复原方法
CN113971722A (zh) * 2021-12-23 2022-01-25 清华大学 一种傅里叶域的光场解卷积方法及装置
CN114820328A (zh) * 2022-06-27 2022-07-29 威海职业学院(威海市技术学院) 一种基于卷积神经网络的图像超分辨率重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012812A2 (en) * 2006-07-24 2008-01-31 Hyspec Imaging Ltd. Snapshot spectral imaging systems and methods
CN107655571A (zh) * 2017-09-19 2018-02-02 南京大学 一种基于色散模糊的光谱成像系统及其光谱重建方法
CN111174912A (zh) * 2020-01-03 2020-05-19 南京大学 一种快照型解色散模糊的高光谱成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012812A2 (en) * 2006-07-24 2008-01-31 Hyspec Imaging Ltd. Snapshot spectral imaging systems and methods
CN107655571A (zh) * 2017-09-19 2018-02-02 南京大学 一种基于色散模糊的光谱成像系统及其光谱重建方法
CN111174912A (zh) * 2020-01-03 2020-05-19 南京大学 一种快照型解色散模糊的高光谱成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUYUE ZHAN: "Hyperspectral Imaging Bioinspired by Chromatic Blur Vision in Color Blind Animals", 《PHOTONICS》 *
SHUYUE ZHAN: "Spectral discrimination and spatial resolution from retinal chromatic blur images in color blind animals", 《SPECTROSCOPY LETTERS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281282A (zh) * 2021-06-17 2021-08-20 四川九洲电器集团有限责任公司 一种图像采集与重构方法、设备及存储介质
CN113945544A (zh) * 2021-10-13 2022-01-18 天津大学 面向空间频域测量的动态单像素成像及退化图像复原方法
CN113945544B (zh) * 2021-10-13 2023-10-17 天津大学 面向空间频域测量的动态单像素成像及退化图像复原方法
CN113971722A (zh) * 2021-12-23 2022-01-25 清华大学 一种傅里叶域的光场解卷积方法及装置
CN114820328A (zh) * 2022-06-27 2022-07-29 威海职业学院(威海市技术学院) 一种基于卷积神经网络的图像超分辨率重建方法
CN114820328B (zh) * 2022-06-27 2022-09-02 威海职业学院(威海市技术学院) 一种基于卷积神经网络的图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN112465922A (zh) 一种结合色差模糊成像与图像重建技术的高光谱成像系统
Baek et al. Single-shot hyperspectral-depth imaging with learned diffractive optics
EP3830551B1 (en) A hybrid spectral imager
Lu et al. Multiresolution imaging
Nikonorov et al. Deep learning-based imaging using single-lens and multi-aperture diffractive optical systems
Kittle et al. Design and fabrication of an ultraviolet-visible coded aperture snapshot spectral imager
CN114897752A (zh) 一种基于深度学习的单透镜大景深计算成像系统及方法
Takatani et al. One-shot hyperspectral imaging using faced reflectors
US20220299369A1 (en) System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction
CN112097905A (zh) 一种光谱显微成像装置
Horstmeyer et al. Modified light field architecture for reconfigurable multimode imaging
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
CN110349237A (zh) 基于卷积神经网络的快速体成像方法
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN113514944B (zh) 一种快速光谱显微成像装置
CN109239914B (zh) 一种实现高空间带宽积的成像方法
Napolitano et al. Preliminary assessment of Photogrammetric Approach for detailed dimensional and colorimetric reconstruction of Corals in underwater environment
Zhao et al. Underwater hyperspectral image recovery based on a single chromatic aberration blur image using deep learning
CN109839190B (zh) 一种快照式高光谱成像装置
Wei et al. Compact hyperspectral imaging of extreme-depth-of-field diffractive lenses based on spatial–spectral sparse deep learning
Martins et al. Fast hyperspectral single-pixel imaging
Wagadarikar Compressive spectral and coherence imaging
Gribl et al. Synthetic astronomical image sequence generation
CN117686089B (zh) 双通道积分视场快照式高光谱成像系统及图像融合方法
CN116538949B (zh) 一种基于时域超分辨的高速动态过程dic测量装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210309

WD01 Invention patent application deemed withdrawn after publication