CN117516712A - 基于编码摄像的移轴多光谱成像方法及系统 - Google Patents
基于编码摄像的移轴多光谱成像方法及系统 Download PDFInfo
- Publication number
- CN117516712A CN117516712A CN202311469289.7A CN202311469289A CN117516712A CN 117516712 A CN117516712 A CN 117516712A CN 202311469289 A CN202311469289 A CN 202311469289A CN 117516712 A CN117516712 A CN 117516712A
- Authority
- CN
- China
- Prior art keywords
- light
- dmd
- component
- target object
- assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 238000001228 spectrum Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000001678 irradiating effect Effects 0.000 claims abstract description 3
- 239000006185 dispersion Substances 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 14
- 238000013178 mathematical model Methods 0.000 claims description 14
- 230000011514 reflex Effects 0.000 claims description 10
- 239000013307 optical fiber Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 30
- 230000006835 compression Effects 0.000 abstract description 6
- 238000007906 compression Methods 0.000 abstract description 6
- 230000003595 spectral effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010130 dispersion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010049155 Visual brightness Diseases 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0202—Mechanical elements; Supports for optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Abstract
本申请涉及一种基于编码摄像的移轴多光谱成像方法及系统,包括:光源供给组件、入射光路组件、数字微镜DMD组件、出射光路组件和处理组件,其中,光源供给组件用于照射均匀强度的光至目标物;入射光路组件用于对目标物的反射光按照预设角度偏移,并射至DMD组件;DMD组件用于对会聚后的反射光进行选通操作以实现光场信息的编码调制与压缩,并反射出垂直于DMD组件的出射光;出射光路组件用于将出射光色散并混叠投影至探测器感光面的不同空间位置;处理组件用于根据混叠色散后的出射光得到压缩探测图像,并重构目标物的光谱图像。由此,缓解光学器件在空间的相互挤占,消除微镜偏转角度固定产生的部分离焦,有效提升多光谱成像系统的成像性能。
Description
技术领域
本申请涉及光学技术领域,特别涉及一种基于编码摄像的移轴多光谱成像方法及系统。
背景技术
运用DMD(Digital Micromirror Device,数字微镜器件)作为编码孔径的CASSI(CodeApertureSnapshotSpectral Imaging,编码孔径快照式光谱成像)系统简称为DMD-CASSI系统。DMD的引入赋予了CASSI系统原位快速切换编码的能力,因此受到研究者的青睐。
然而,DMD固定的偏转角度也给该系统带来一系列的问题,一方面,入射光轴与出射光轴间的夹角被限制在24°,导致成像镜组与中继镜组容易发生光路遮挡或者严重的空间挤占;另一方面,由于中间像平面与DMD表面存在夹角,使探测器采集的图像产生部分离焦。
上述两个问题会导致DMD-CASSI系统的成像性能变差,从而影响最终的光谱图像重构质量。具体表现在重构光谱图像的空间分辨率较低,一般都在256×256pixels以下,致使光谱图像的空间细节信息丢失。
相关技术多专注于开发更先进的算法用于提升光谱图像的重构质量,而对于通过改善光路结构与光学元件来抑制CASSI系统的像差的研究被放在了次要位置。尽管近年来提出的一些光谱重构算法在光学仿真上取得了良好的结果,但在真实系统中的效果往往不太理想。
因此,为了消除部分离焦和空间挤占等不良因素影响,提升DMD-CASSI系统的光谱图像重构质量,有必要对传统DMD-CASSI系统结构有待进一步的改善和优化。
发明内容
本申请提供一种基于编码摄像的移轴多光谱成像方法及系统,以解决成像镜组与中继镜组容易发生光路遮挡或者严重的空间挤占,同时由于中间像平面与DMD表面存在夹角,使探测器采集的图像会产生部分离焦等问题,通过合理布置光学器件的位置实现了光路折叠,消除了由于DMD表面微镜偏转角度固定产生的部分离焦,缓解了入射光路和出射光路中光学器件在空间上的相互挤占,提升了光学系统的成像性能和光谱重构质量。
本申请第一方面实施例提供一种基于编码摄像的移轴多光谱成像系统,包括以下步骤:光源供给组件、入射光路组件、数字微镜DMD组件、出射光路组件和处理组件,其中,
所述光源供给组件用于根据当前需求照射强度均匀的光至目标物;
所述入射光路组件用于对所述目标物的反射光按照预设角度偏移,并将偏移后的反射光反射至所述DMD组件;
所述DMD组件用于对所述会聚后的反射光进行选通操作,生成垂直于所述DMD组件的出射光;
所述出射光路组件用于进行光的色散,并利用色散棱镜将出射光投影至探测器感光面的不同空间位置,不同波长的光在空间位置上存在混叠;以及
所述处理组件用于混叠色散后的出射光得到所述目标物的压缩探测图像,并根据所述目标压缩图像重构所述目标物的光谱图像。
可选地,在一些实施例中,所述入射光路组件包括:单反镜头和平面镜,其中,
所述单反镜头用于会聚所述目标物的反射光至预设位置;
所述平面镜用于将所述会聚后的反射光反射至DMD组件。
可选地,在一些实施例中,所述出射光路组件,包括:中继镜、滤光片组、色散棱镜,其中,
所述中继镜用于会聚所述出射光;
所述滤光片组用于将所述出射光的波长限制在预设区间;
所述色散棱镜用于将所述出射光的偏移至所述出射光的波长的对应位置。
可选地,在一些实施例中,所述光源包括:LED(Light Emitting Diode,发光二极管)冷光源、单色仪、环形光纤照明器中的至少一种。
可选地,在一些实施例中,上述的多光谱成像系统,包括:
夹持组件,用于将所述目标物固定在预设位置。
可选地,在一些实施例中,上述的多光谱成像系统,包括:
五自由度工作台,所述五自由度工作台用于固定所述出射光路组件和所述处理组件。
可选地,在一些实施例中,所述色散棱镜为双阿米西棱镜。
本申请第二方面实施例提供一种基于编码摄像的移轴多光谱成像方法,应用如上述的多光谱成像系统,所述方法包括以下步骤:
根据所述当前需求照射复合光源至所述目标物,
将所述目标物的第一反射光进行会聚,并将会聚后的第一反射光反射至所述DMD组件;
利用所述DMD组件对所述会聚后的第一反射光进行选通操作,生成垂直于所述DMD组件的第一出射光;
将所述第一出射光进行色散处理,并将色散后的第一出射光混叠至所述处理组件;以及
根据所述混叠的所述色散后的第一出射光得到目标物的压缩探测图像,根据预设的实拍编码图像和所述压缩探测图像建立数学模型,并求解所述数学模型重构所述目标物的光谱图像。
可选地,在一些实施例中,在根据所述当前需求照射所述复合光源至所述目标物之前,包括:
输出单色光源至目标白板,
将所述目标白板的第二反射光进行会聚,并将会聚后的第二反射光反射至所述DMD组件;
所述DMD组件对所述会聚后的第二反射光进行选通操作,生成垂直于所述DMD组件的第二出射光;
将所述第二出射光进行色散处理,并将色散后的第二出射光混叠至所述处理组件;以及
根据所述混叠的所述色散后的第二出射光得到目标白板的实拍编码图像。
可选地,在一些实施例中,所述数学模型为:
Y(i,j)=∑k(Xk⊙E)(i,j-k+1);
其中,Y为压缩探测图像,E为所述实拍编码图像,X为重构目标物的光谱图像,i,j,k分别表示数据立方体在空间竖直维度、水平维度和光谱维度的索引。
由此,通过使用大口径的单反镜头增大进光量,提升探测器采集信息的信噪比,同时提高系统的空间分辨率;然后,移动单反镜头的光轴,使用其24°偏置视场,消除中间像平面与DMD平面间的夹角,从而消除了部分离焦;最后引入平面镜实现入射光路的折叠,缓解系统的空间挤占问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的基于编码摄像的移轴多光谱成像方法及系统的示意图;
图2为根据本申请一个实施例提供的基于编码摄像的移轴多光谱成像方法及系统的示意图;
图3为根据本申请一个实施例提供的基于编码摄像的移轴多光谱成像方法及系统的光路示意图,其中,图3的(a)为多光谱成像系统的光路示意图,图3的(b )为多光谱成像系统的等效光路示意图;
图4为根据本申请一个实施例提供的作为目标物的魔方图案及其光谱曲线的示意图,其中,图4的(b)为光谱重构结果在A处的准确度,图4的(c)为光谱重构结果在B处的准确度,图4的(d)为光谱重构结果在C处的准确度;
图5为根据本申请一个实施例提供的探测器采集的图像,其中,图5的(a)为探测器采集的实拍编码图像,图5的(b)为探测器采集的目标物的压缩探测图像;
图6为根据本申请一个实施例提供的探测目标的光谱图像重构结果示意图,其中,图6的(a)为探测目标的参考光谱图像,图6的(b)为探测目标的重构光谱图像。
图7为根据本申请实施例提供的基于编码摄像的移轴多光谱成像方法的流程图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于编码摄像的移轴多光谱成像方法及系统。针对上述背景技术中提到的成像镜组与中继镜组容易发生光路遮挡或者严重的空间挤占,同时由于中间像平面与DMD表面存在夹角,使探测器采集的图像会产生部分离焦等问题,本申请提供了一种基于编码摄像的移轴多光谱成像方法及系统,在该系统中,通过使用大口径的单反镜头增大进光量,提升探测器采集信息的信噪比,同时提高系统的空间分辨率;然后,移动单反镜头的光轴,使用其24°偏置视场,消除中间像平面与DMD平面间的夹角,从而消除了部分离焦;最后引入平面镜实现入射光路的折叠,缓解系统的空间挤占问题。
具体而言,图1为本申请实施例所提供的一种基于编码摄像的移轴多光谱成像系统的方框示意图。
如图1所示,该基于编码摄像的移轴多光谱成像系统包括:光源供给组件100、入射光路组件200、数字微镜DMD组件300、出射光路组件400和处理组件500。
具体地,光源供给组件100用于根据当前需求照射均匀强度的光至目标物。
其中,光源供给组件100可以包括:发光二极管LED冷光源1、会聚镜头2、单色仪3和环形光纤照明器4。
在实际执行过程中,本申请实施例的光源供给组件100可以由LED冷光源1、会聚镜头2、单色仪3和环形光纤照明器4组成。其中,LED冷光源1发出的光几乎不包含红外谱段;会聚镜头2放置在LED冷光源1和单色仪3之间,用于将LED冷光源1发出的光会聚到单色仪3的入射狭缝处;受单色仪3内部光栅的衍射作用,光束被按波长分开。由于每段波长的光离开光栅的角度不同,通过步进电机可精确地控制任意波长的光通过出射狭缝;环形光纤照明器4安装在单色仪3的出射狭缝处,将单色光转化为面发光输出,面发光相比点发光有更大的照明面积和更均匀的光照强度。
可选地,在一些实施例中,上述的多光谱成像系统10,包括:夹持组件5,用于将目标物固定在预设位置。
具体地,如图2所示,本申请实施例的多光谱成像系统10可以包括夹持组件5,夹持组件5可以放在环形光纤照明器4的后方,用于固定探测目标物。
入射光路组件200用于对目标物的反射光按照预设角度偏移,并将偏移后的反射光反射至DMD组件。
可选地,在一些实施例中,入射光路组件200包括:单反镜头6和平面镜7,其中,单反镜头6用于会聚目标物的反射光至预设位置;平面镜7用于将会聚后的反射光反射至DMD组件。
具体地,如图2所示,本申请实施例的入射光路组件200可以由单反镜头6和平面镜7组成。其中,单反镜头6放置在夹持组件5的左前方,使用其右侧24°偏置视场,此时单反镜头6的光轴和夹持器5的光轴均与入射主光成24°夹角,由此实现光学移轴;平面镜7放置在DMD组件300的左侧,调整平面镜的角度,使入射光经平面镜反射后以24°角入射至DMD本体8表面,并保证出射光可以垂直于DMD组件300的平面射出,从而实现了入射光路的折叠。
DMD组件300用于对会聚后的反射光进行选通操作,并反射出垂直于DMD组件的出射光。
具体地,DMD组件300可以包括DMD本体8、夹持器和光学平台,其中,DMD本体8由夹持器固定加持,DMD本体8与平台平面夹角为45°,通过磁性表座固定在光学平台上。DMD本体8表面是由上百万个微型平面反射镜(简称:微镜)组成的空间光调制器,其表面上的每个微镜都能通过电信号进行单独控制,能以+12°或-12°的角度进行“开”与“关”状态的快速转换。DMD本体8上可加载指定的编码图案,对入射至DMD本体8的表面不同位置的光执行选通操作,实现编码孔径的功能,以实现光场信息的编码调制与压缩。
出射光路组件400用于进行光的色散,并利用色散棱镜将出射光投影至探测器感光面的不同空间位置,不同波长的光在空间位置上存在混叠。
可选地,在一些实施例中,出射光路组件400,包括:中继镜9、滤光片组10、色散棱镜11,其中,中继镜9用于会聚出射光;滤光片组10用于将出射光的波长限制在预设区间;色散棱镜11用于将出射光的偏移至出射光的波长的对应位置。
具体地,本申请实施例的出射光路组件400可以由中继镜9、滤光片组10、色散棱镜11组成,并固定在五自由度工作台13上,放置在DMD组件300的正前方。其中,中继镜9位于最前方,用于会聚光;滤光片组10用于将波长限定在550-650nm范围之内;色散棱镜11使用双阿米西棱镜,由三块独立的棱镜胶合而成,当光束平行于光轴穿过双阿米西棱镜时,中心光不会发生偏折,而相邻的光将会被折射到光轴的两侧,有助于消除系统的成像畸变,改善系统的装调精度,从而提升系统的空间分辨率和光谱分辨率,色散棱镜11可以使光的传播方向按波长发生偏移,后投影至探测器12工作平面上并混叠在一起;出射光路组件400涉及的光学元件均固定在五自由度工作台13上,调节工作台上的准焦螺旋能够实现中继镜组的旋转和平移,以实现基于成像系统的精确装调。
处理组件500用于混叠色散后的出射光得到目标物的压缩探测图像,并根据目标压缩图像重构目标物的光谱图像。
具体地,处理组件500可以包括探测器12和五自由度工作台13,其中,探测器12固定在五自由度工作台13,探测器12用于将出射光混叠,并根据混叠的色散后的出射光得到目标物的压缩探测图像,并根据目标压缩图像重构目标物的光谱图像。
综上,为解决原始DMD-CASSI系统的部分离焦以及空间挤占等问题,本申请实施例提出一种基于编码摄像的移轴多光谱成像方法及系统,如图3的(a)所示。为了更好的说明多光谱成像系统的工作原理,现将多光谱成像系统中的平面镜去掉,使入射光路展开,绘制多光谱成像系统的等效光路图3的(b)。其中,通过成像镜组的光轴被称为入射光轴,用虚线表示,它与用实线表示的入射光束的主光线成24°夹角。出射光轴与出射光束的主光线重合。图中标注的物平面(等效物平面)、中间像平面和像平面均为光学平面。需要说明的是,光束发射点、转折点和接收点都可认为存在着光学平面,光学平面是人主观想象的平面,而非客观存在的物理表面。图中DMD表面是指宏观上DMD的整个反射面,忽略其中每个微镜的实际偏转角度。探测器表面是指焦平面阵列探测器(Facial Plane Array,FPA)的工作平面。
如图3的(b)所示在等效成像系统中等效物平面仍然与成像镜组的光轴垂直,但是主光线与成像镜组的光轴不再重合,而是存在24°的夹角。在实际操作中通过旋转并平移成像镜组(即平移入射光轴),同时平移物平面,使用成像镜组的24°偏置视场。由于入射光轴与主光线分离且垂直于DMD表面,使得中间像平面与DMD表面高度重合,进一步使得出射光轴垂直于DMD表面。因此,物平面与探测器表面间的夹角被消除,二者高度重合,消除了微镜偏转角度固定产生的部分离焦。
需要注意的是在成像系统等效光路结构中,成像镜组与中继镜组并列放置在成24°夹角的两条光轴上,因此仍然存在着光学器件在空间上相互挤占的问题。如图3的(a)所示,通过在等效光路中引入一个平面镜,使入射光束在以24°角会聚到DMD表面前被平面镜反射,实现了入射光路的弯折。通过旋转平面镜,入射光路可以实现任意角度的折叠。平面镜的引入为移轴结构增加了一个可调节的自由度,入射光路实现了大角度弯折,破解了DMD上微镜固定的旋转角度对两光轴的限制,从而扩大了入射光路和出射光路间的距离,并使得成像镜组和中继镜组不再需要并排放置,解决了原始系统的空间挤占问题。
为使本领域相关人员进一步了解本申请实施例的基于编码摄像的移轴多光谱成像系统的使用方式,下面结合具体实施例进行详细阐述。
步骤1:结合图2所示,本申请实施例使用标准白板作为目标物并将其安装在夹持器5上。
步骤2:结合图2所示,利用光源供给组件100,控制单色仪3输出指定波长的单色光用于照明目标物。目标物反射的光通过单反镜头6组会聚至平面镜7处,经平面镜7反射后投影到DMD本体8的表面。
步骤3:结合图2所示,在DMD本体8上加载随机编码作为编码孔径,对目标物反射的光进行选通操作,并使其垂直于DMD本体的平面射出。
步骤4:结合图2所示,DMD本体8出射的光进入出射光路组件400。首先,光透过中继镜9;然后,由于此时光源的输出为单色光,目标物反射的光将直接透过滤光片组10和色散棱镜11,而不会发生色散效应;最后,光投影至探测器12工作平面。
步骤5:结合图2所示,探测器12采集并记录投影至其工作平面的图像,称之为实拍编码图像
步骤6:结合图2所示,本申请实施例使用目标物替换目标物夹持器上的标准白板。
步骤7:结合图2所示,关闭单色仪3,使光源供给组件100输出复合光源用于照明目标物。目标物反射的光通过单反镜头6会聚至平面镜处,经平面镜7反射后投影到DMD本体8的表面。
步骤8:结合图2所示,保持DMD本体8上加载的编码不变,对目标物反射的光进行选通操作,并使其垂直于DMD平面射出。
步骤9:结合图2所示,DMD本体8出射的光进入出射光路组件400。首先,复合光经中继镜9会聚,并向后传播;其次,复合光经过滤光片组10过滤后,波长被限制在550-650nm;然后,经过色散棱镜11的调制,光的传播方向按波长发生偏移;最后,光按照波长投影至探测器12表面并混叠在一起。
步骤10:探测器12采集并记录投影至其工作平面的图像,称之为压缩探测图像
步骤11:建立数学模型Y(i,j)=∑k(Xk⊙E)(i,j-k+1),其中,实拍编码图像与目标物的压缩探测图像/>均已通过探测器采集获得,利用压缩感知算法求解以上数学模型所涉及的逆问题,重构目标物在L个谱段下的光谱图像/>M,N,L分别为数据立方体在空间竖直维度、空间水平维度和光谱维度的尺寸,V=N-L+1。i∈{1,2,…,M},j∈{1,2,…,N},k∈{1,2,…,L},i,j,k分别表示数据立方体在空间竖直维度、水平维度和光谱维度的索引。⊙表示哈达玛积运算,即所有元素按位置对应相乘。
上述基于编码摄像的移轴多光谱成像系统使用大口径光学镜头,增加了系统的进光量,提高了探测器采集数据的信噪比,并且所多光谱成像系统结构简单、空间紧凑,消除了由于DMD表面微镜偏转角度固定,入射光束和出射光束的主光线夹角被锁定为24°引起的部分离焦问题,缓解了入射光路和出射光路中光学器件在空间上的相互挤占,使DMD-CASSI光学系统的成像性能与光谱重构质量得到了提升。
如图2所示,本申请实施例的基于编码摄像的多光谱成像系统的空间分辨率为1024×1024pixels,光谱波段数为12,各波段中心波长分别为642nm、630nm、621nm、612nm、602nm、594nm、587nm、579nm、572nm、566nm、560nm、551nm。
为证明本申请实施例的多光谱成像系统对传统系统成像性能的提升,执行如下步骤:
步骤1:结合图2所示,使用文字卡纸作为目标物并将其放置在夹持器5处。
步骤2:结合图2所示,利用光源供给组件100,控制单色仪3输出指定波长的单色光用于照明目标物。目标物反射的光通过单反镜头6会聚至平面镜7处,经平面镜7反射后投影到DMD本体8表面。
步骤3:结合图2所示,在DMD本体8上加载微镜状态全开的编码图案,使目标物反射的光能够全部通过编码孔径,并垂直于DMD平面射出。
步骤4:结合图2所示,DMD本体8的出射的光进入中继镜组9。首先,光透过中继镜9,由于此时光源输出的为单色光,目标物反射的光将直接透过滤光片组10和色散棱镜11,而不会发生色散效应;最后,光投影至探测器工作平面12。
步骤5:结合图2所示,探测器采集并记录投影至其工作平面的图像,获得目标物的探测图像。
为说明本申请实施例的多光谱成像系统对光谱重构质量的提升效果,本申请实施例使用多光谱成像系统拍摄目标场景用于重构光谱图像,选取图4的(a)所示的魔方图案作为探测目标,该图案包含红、黄、蓝三种颜色,使其具有特征分明的光谱曲线,能够较好的反映本申请实施例的多光谱成像系统的重构光谱准确度,使用图2所示的多光谱成像系统拍摄探测目标的压缩测量图像,并使用基于压缩感知的重构算法获得探测目标的光谱重构图像,具体过程为:
步骤1:结合图2所示,使用标准白板作为目标物并将其放置在夹持器5处。
步骤2:结合图2所示,通过光源供给组件100,控制单色仪3输出指定波长的单色光用于照明目标物。目标物反射的光通过单反镜头6会聚至平面镜7处,经平面镜7反射后投影到DMD本体8的表面。
步骤3:结合图2所示,在DMD本体8上加载随机编码作为编码孔径,对目标物反射的光进行选通操作,并使其垂直于DMD本体8平面射出。
步骤4:结合图2所示,DMD本体8的出射的光进入出射光路组件400。首先,光透过中继镜9;然后,由于此时光源输出的为单色光,目标物反射的光将直接透过滤光片组10和色散棱镜11,而不会发生色散效应;最后,光投影至探测器工作平面11。
步骤5:结合图2所示,探测器12采集并记录投影至其工作平面的图像,称之为实拍编码图像如图5的(a)所示。
步骤6:结合图2所示,使用魔方图案卡纸作为目标物替换夹持器5上的标准白板。
步骤7:结合图2所示,关闭单色仪3,使光源系统输出复合光源用于照明目标物。目标物反射的光通过单反镜头6会聚至平面镜7处,经平面镜7反射后投影到DMD本体8的表面。
步骤8:结合图2所示,保持DMD本体8上加载的编码不变,对目标物反射的光进行选通操作,并使其垂直于DMD本体8平面射出。
步骤9:结合图2所示,DMD本体8的出射的光进入出射光路组件400。首先,光透过中继镜9;其次,复合光经过滤光片组10过滤后,波长被限制在550-650nm;然后,经过色散棱镜11的调制后,光的传播方向按波长发生偏移;最后,光按照波长投影至探测器12表面并混叠在一起。
步骤10:结合图2所示,探测器12采集并记录投影至其工作平面的图像,称之为压缩探测图像如图5的(b)所示。
步骤11:建立数学模型Y(i,j)=∑k(Xk⊙E)(i,j-k+1),其中,实拍编码图像与目标物的压缩探测图像/>均已通过探测器采集获得,利用压缩感知算法求解以上逆问题,重构目标物在L个谱段下的光谱图像/>如图6的(b)所示。
为获得探测目标的参考图像,进行如下操作:
步骤1:结合图2所示,保持魔方图案卡纸作在夹持器5上的位置不动。
步骤2:结合图2所示,使用光源供给组件100,控制单色仪输出波长为642nm的单色光用于照明目标物。目标物反射的光通过单反镜头6会聚至平面镜7处,经平面镜7反射后投影到DMD本体8的表面。
步骤3:结合图2所示,在DMD本体8上加载微镜状态全开的编码图案,使目标物反射的光能够全部通过编码孔径,并垂直于DMD本体的平面射出。
步骤4:结合图2所示,DMD本体8的出射的光进入出射光路组件400。首先,光透过中继镜9;然后,由于此时光源输出的为单色光,目标物反射的光将直接透过滤光片组10和色散棱镜11,而不会发生色散效应;最后,光投影至探测器12工作平面。
步骤5:结合图2所示,探测器12采集并记录该波段下的目标物的探测图像。
步骤6:控制单色仪依次输出波长为630nm、621nm、612nm、602nm、594nm、587nm、579nm、572nm、566nm、560nm、551nm的单色光,重复步骤3-4,利用探测器采集对应波长下的目标物的探测图像,结果如图6的(a)所示。
将重构结果图6的(a)与参考图像6的(b)对比,可见重构光谱图像很好的保留了探测目标的空间细节信息。进一步观察,重构结果中各波段下图像的不同部位的目视亮度与参考图像一致,这表明光谱维度的重构结果较好。选定A、B、C三点进行光谱曲线取样,三点对应的颜色分别为红色、蓝色和黄色,将这三点的亮度做归一化处理并与参考图像对比,结果展示在图4的(b),4的(c)和图4(d)中。图中两条曲线分别表示不同波长下探测目标的光谱曲线的参考值和重构值。可见A、B、C三点光谱曲线的重构值与参考值在中间波段较接近,光谱曲线吻合度较好,光谱重构质量较高。
综上所述,本申请实施的基于编码摄像的移轴多光谱成像系统打破了原始DMD-CASSI系统的局限性,消除了原始系统的部分离焦,缓解了空间挤占问题,提升了DMD-CASSI光学系统的成像性能和光谱重构质量。
根据本申请实施例提出的基于编码摄像的移轴多光谱成像系统,通过光源供给组件根据当前需求照射均匀强度的光至目标物,并通过入射光路组件对目标物的反射光按照预设角度偏移,并将偏移后的反射光反射至DMD组件;通过DMD组件对会聚后的反射光进行选通操作,生成垂直于DMD组件的出射光;通过出射光路组件基于出射光对应的波长将出射光投影混叠至处理组件;通过处理组件根据混叠的色散后的出射光得到目标物的压缩探测图像,并根据目标压缩图像重构目标物的光谱图像。由此,解决成像镜组与中继镜组容易发生光路遮挡或者严重的空间挤占,同时由于中间像平面与DMD表面存在夹角,使探测器采集的图像会产生部分离焦等问题,通过合理布置光学器件的位置实现了光路折叠,消除了由于DMD表面微镜偏转角度固定产生的部分离焦,缓解了入射光路和出射光路中光学器件在空间上的相互挤占,提升了光学系统的成像性能和光谱重构质量。
其次参照附图描述根据本申请实施例提出的基于编码摄像的移轴多光谱成像方法。
图7是本申请实施例的基于编码摄像的移轴多光谱成像方法的流程示意图。
在步骤S701中,根据当前需求照射复合光源至目标物。
在步骤S702中,将目标物的第一反射光进行会聚,并将会聚后的第一反射光反射至DMD组件。
在步骤S703中,利用DMD组件对会聚后的第一反射光进行选通操作,生成垂直于DMD组件的第一出射光。
在步骤S704中,将第一出射光进行色散处理,并将色散后的第一出射光混叠至处理组件。
在步骤S705中,根据混叠的色散后的第一出射光得到目标物的压缩探测图像,根据预设的实拍编码图像和压缩探测图像建立数学模型,并求解数学模型重构目标物的光谱图像。
可选地,在一些实施例中,在根据当前需求照射复合光源至目标物之前,包括:输出单色光源至目标白板,将目标白板的第二反射光进行会聚,并将会聚后的第二反射光反射至DMD组件;DMD组件对会聚后的第二反射光进行选通操作,生成垂直于DMD组件的第二出射光;将第二出射光进行色散处理,并将色散后的第二出射光混叠至处理组件;以及根据混叠的色散后的第二出射光得到目标白板的实拍编码图像。
可选地,在一些实施例中,数学模型为:
Y(i,j)=∑k(Xk⊙E)(i,j-k+1);
其中,Y为压缩探测图像,E为实拍编码图像,X为重构目标物的光谱图像,i,j,k分别表示数据立方体在空间竖直维度、水平维度和光谱维度的索引。
需要说明的是,前述对基于编码摄像的移轴多光谱成像系统实施例的解释说明也适用于该实施例的基于编码摄像的多光谱成像方法,此处不再赘述。
根据本申请实施例提出的基于编码摄像的移轴多光谱成像方法,通过根据当前需求照射复合光源至目标物,将目标物的第一反射光进行会聚,并将会聚后的第一反射光反射至DMD组件,并利用DMD组件对会聚后的第一反射光进行选通操作,生成垂直于DMD组件的第一出射光,并将第一出射光进行色散处理,并将色散后的第一出射光混叠至处理组件,并根据混叠的色散后的第一出射光得到目标物的压缩探测图像,根据预设的实拍编码图像和压缩探测图像建立数学模型,并求解数学模型重构目标物的光谱图像。由此,解决成像镜组与中继镜组容易发生光路遮挡或者严重的空间挤占,同时由于中间像平面与DMD表面存在夹角,使探测器采集的图像会产生部分离焦等问题,通过合理布置光学器件的位置实现了光路折叠,消除了由于DMD表面微镜偏转角度固定产生的部分离焦,缓解了入射光路和出射光路中光学器件在空间上的相互挤占,提升了光学系统的成像性能和光谱重构质量。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列,现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于编码摄像的移轴多光谱成像系统,其特征在于,包括:光源供给组件、入射光路组件、数字微镜DMD组件、出射光路组件和处理组件,其中,
所述光源供给组件用于根据当前需求照射强度均匀的光至目标物;
所述入射光路组件用于对所述目标物的反射光按照预设角度偏移,并将偏移后的反射光反射至所述DMD组件;
所述DMD组件用于对会聚后的反射光进行选通操作,并反射出垂直于所述DMD组件的出射光;
所述出射光路组件用于进行光的色散,利用色散棱镜将所述出射光投影至探测器感光面的不同空间位置,不同波长的光在空间位置上存在混叠;以及
所述处理组件用于从混叠色散后的出射光得到所述目标物的压缩探测图像,并根据所述目标压缩图像重构所述目标物的光谱图像。
2.根据权利要求1所述的移轴多光谱成像系统,其特征在于,所述入射光路组件包括:单反镜头和平面镜,其中,
所述单反镜头用于会聚所述目标物的反射光至预设位置;
所述平面镜用于将所述会聚后的反射光反射至DMD组件。
3.根据权利要求1所述的多光谱成像系统,其特征在于,所述出射光路组件,包括:中继镜、滤光片组、色散棱镜,其中,
所述中继镜用于会聚所述出射光;
所述滤光片组用于将所述出射光的波长限制在预设区间;
所述色散棱镜用于将所述出射光的偏移至所述出射光的波长的对应位置。
4.根据权利要求1所述的移轴多光谱成像系统,其特征在于,所述光源包括:发光二极管LED冷光源、单色仪、环形光纤照明器。
5.根据权利要求1所述的移轴多光谱成像系统,其特征在于,包括:
夹持组件,用于将所述目标物固定在预设位置。
6.根据权利要求1所述的移轴多光谱成像系统,其特征在于,包括:
五自由度工作台,所述五自由度工作台用于固定所述出射光路组件和所述处理组件。
7.根据权利要求1所述的移轴多光谱成像系统,其特征在于,所述色散棱镜为双阿米西棱镜。
8.一种基于编码摄像的移轴多光谱成像方法,其特征在于,应用如权利要求1-7任一项所述的多光谱成像系统,所述方法包括以下步骤:
根据所述当前需求照射复合光源至所述目标物,
将所述目标物的第一反射光进行会聚,并将会聚后的第一反射光反射至所述DMD组件;
利用所述DMD组件对所述会聚后的第一反射光进行选通操作,生成垂直于所述DMD组件的第一出射光;
将所述第一出射光进行色散处理,并将色散后的第一出射光混叠至所述处理组件;以及
根据所述混叠的所述色散后的第一出射光得到目标物的压缩探测图像,根据预设的实拍编码图像和所述压缩探测图像建立数学模型,并求解所述数学模型重构所述目标物的光谱图像。
9.根据权利要求8所述的方法,其特征在于,在根据所述当前需求照射所述复合光源至所述目标物之前,包括:
输出单色光源至目标白板,
将所述目标白板的第二反射光进行会聚,并将会聚后的第二反射光反射至所述DMD组件;
所述DMD组件对所述会聚后的第二反射光进行选通操作,反射出垂直于所述DMD组件的第二出射光;
将所述第二出射光进行色散处理,并将色散后的第二出射光混叠至所述处理组件;以及
根据所述混叠的所述色散后的第二出射光得到目标白板的实拍编码图像。
10.根据权利要求8所述的方法,其特征在于,所述数学模型为:
Y(i,j)=∑k(Xk⊙E)(i,j-k+1);
其中,Y为压缩探测图像,E为所述实拍编码图像,X为重构目标物的光谱图像,i,j,k分别表示数据立方体在空间竖直维度、水平维度和光谱维度的索引。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311469289.7A CN117516712A (zh) | 2023-11-07 | 2023-11-07 | 基于编码摄像的移轴多光谱成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311469289.7A CN117516712A (zh) | 2023-11-07 | 2023-11-07 | 基于编码摄像的移轴多光谱成像方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117516712A true CN117516712A (zh) | 2024-02-06 |
Family
ID=89748843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311469289.7A Pending CN117516712A (zh) | 2023-11-07 | 2023-11-07 | 基于编码摄像的移轴多光谱成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117516712A (zh) |
-
2023
- 2023-11-07 CN CN202311469289.7A patent/CN117516712A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101871034B1 (ko) | 플렌옵틱 이미징 장치 | |
TW569033B (en) | Coupling of light from a small light source for projection systems using parabolic reflectors | |
US6038067A (en) | Scanning computed confocal imager | |
US20200340856A1 (en) | Dual-band spectral imaging system based on digital micromirror device and implementation method thereof | |
JP5806504B2 (ja) | 撮像装置およびこれを備える顕微鏡システム | |
JP2005195610A (ja) | 多重スペクトル二次元結像分光計 | |
CN106441571A (zh) | 一种光源模块及应用其的线扫描多光谱成像系统 | |
CN107271037B (zh) | 光谱显微成像方法及系统 | |
JPH10508107A (ja) | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 | |
CN112098337A (zh) | 一种高分辨率光谱图像快速获取装置及方法 | |
FR2535472A1 (fr) | Projecteur optique, methode et systeme d'inspection optique | |
JP4090860B2 (ja) | 3次元形状測定装置 | |
US6784946B1 (en) | Assembly, in which light from a light source is directed onto a surface | |
WO2019216213A1 (ja) | 分光計測装置、および分光計測方法 | |
CN107966872B (zh) | 基于双dmd的红外双波段光学引擎 | |
CN117516712A (zh) | 基于编码摄像的移轴多光谱成像方法及系统 | |
JP2005173099A (ja) | 照明光学系及びそれを有する画像表示装置 | |
CN111650739A (zh) | 基于dmd的单帧曝光快速三维荧光成像系统及方法 | |
CN114460020B (zh) | 一种基于数字微反射镜的高光谱扫描系统及方法 | |
CN115752726A (zh) | 一种基于dmd的可变视场宽光谱关联成像系统 | |
US4187011A (en) | Arrangement for applying coded illuminated patterns to an object | |
US12098954B2 (en) | Optical device and method | |
CN213960194U (zh) | 传感器组件和摄像机 | |
CN110501069B (zh) | 时空联合调制光场光谱成像系统及方法 | |
JPWO2018207400A1 (ja) | Mtf測定装置およびmtf測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |