CN114659635B - 一种基于像面分割光场的光谱深度成像装置及方法 - Google Patents

一种基于像面分割光场的光谱深度成像装置及方法 Download PDF

Info

Publication number
CN114659635B
CN114659635B CN202210537103.6A CN202210537103A CN114659635B CN 114659635 B CN114659635 B CN 114659635B CN 202210537103 A CN202210537103 A CN 202210537103A CN 114659635 B CN114659635 B CN 114659635B
Authority
CN
China
Prior art keywords
image
imaging
light
array
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210537103.6A
Other languages
English (en)
Other versions
CN114659635A (zh
Inventor
丁晓铭
袁豪
车国伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN202210537103.6A priority Critical patent/CN114659635B/zh
Publication of CN114659635A publication Critical patent/CN114659635A/zh
Application granted granted Critical
Publication of CN114659635B publication Critical patent/CN114659635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0291—Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/22—Telecentric objectives or lens systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1208—Prism and grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/282—Modified CCD or like

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明提供了一种基于像面分割光场的光谱深度成像装置及方法，首先进行原始图像数据采集，通过对目标景物光波场辐射依次进行会聚成像、像面分割反射、准直、分光色散和光场阵列成像后可获得目标景物的像面分割光谱光场分布图像数据；然后再进行空间、深度和光谱图像数据重构，通过像面分割重构方法和光场深度估计算法，对目标景物的像面分割光谱光场分布图像数据进行恢复重建，得到目标景物的二维空间分布、深度估计和光谱辐射信息。本发明具有系统结构简单、鲁棒性高、光通量高、重构数据信噪比高、适用范围广等优点。

Description

一种基于像面分割光场的光谱深度成像装置及方法
技术领域
本发明涉及目标场景深度估计和光谱成像技术领域，具体地，涉及一种基于像面分割光场的光谱成像和深度估计装置及方法技术领域。
背景技术
光场成像能够将目标景物发出的光线方向信息和强度信息同时进行记录，并通过数字对焦技术重构不同焦深的清晰图像，以此可以实现“先拍照、后对焦”。由于光场成像系统同时记录了光线的多维度信息，因此，通过后期的数据处理算法，还能够进行多角度渲染、全对焦成像、深度估计和三维重建等。像面分割技术源于积分视场光谱成像技术(Integral Field Spectroscopy- Mirrors, IFS-M)，在探测成像过程中，该技术利用像面分割反射镜组合(Image Slicer)，将目标的像面进行分割和重组，形成一维狭缝，再利用分光元件进行光谱分光，从而将目标三维图谱信息映射到二维探测器上。因而可以快照式的获取目标景物的二维空间分布和一维光谱辐射信息，在遥感探测、生物医疗、国防工业等领域有着广泛的应用前景。
在一次成像过程中，同时获取目标景物空间分布、深度估计和光谱辐射信息，对实现高精度的目标识别探测具有重要意义，在计算机视觉、机器视觉等领域有着重要的应用价值。实现空间深度光谱成像，目前主要有三种途径：
（1）基于飞行时间探测技术和光谱成像技术的双通道方法；
（2）基于双目立体视觉和光谱成像技术的双光路方法；
（3）基于光场分布、压缩感知和滤光片光谱成像技术的方法。
上述方法的主要原理、特点和缺陷包括：
方法（1）采用激光脉冲飞行时间探测技术（Time of Flight, ToF），对成像区域景物目标发出激光脉冲，通过计算发射-接收时间差，计算不同视场区域的深度信息。该方法是一种主动探测技术，受限于激光脉冲的扫描范围，该技术较为适用于室内小范围场景的探测，不适用于室外大场景、复杂照明环境下的探测。同时，由于与光谱成像通道进行同时、平行探测，深度探测区域和成像视场需进行耦合匹配，因此，在对动态变化目标进行探测时，ToF扫描时间与成像探测器快门时间的同步精度，将对深度成像结果产生重要影响，因而对快门时间控制精度要求较高，系统结构复杂。
方法（2）根据双目立体视觉原理，进行成像探测和深度重构。对于该方法，系统需要两个光谱成像通道，并根据两通道的成像视差，重构目标景物的深度信息，要求双通道具有较高的同步精度，光路和系统结构较为复杂。
方法（3）一般采用光场成像原理结合压缩感知重构算法，对目标景物空间分布、光谱、深度信息进行探测和重构。一方面，该方法通常采用滤光片阵列进行空间和光谱维编码，由于编码滤光片阵列对光能量的遮挡和吸收，导致系统光通量降低，信噪比较低；另一方面，由于基于压缩感知原理进行数据重构，要求探测目标在某些域内具有稀疏性，因此该方法的探测适用性受限。
发明内容
针对上述方法的缺陷，本发明综合利用光场成像和像面分割技术的特点和优势，提供了一种基于像面分割光场的光谱深度成像装置及方法。本发明同时具有系统结构简单、鲁棒性高、光通量高、重构数据信噪比高、适用性好等优点。
为达到上述目的，本发明采用以下技术方案：
本发明的一种基于像面分割光场的光谱深度成像装置，其特征在于，包括：沿入射光方向依次设置的像方远心成像物镜、像面分割映射器、准直镜、棱镜阵列、成像镜阵列、微透镜阵列、探测器和数据采集处理显示系统；其中：
所述像方远心成像物镜将目标的光波场辐射信息进行汇聚成像，并将出射光线主光线调制为平行于所述像方远心成像物镜的光轴；
所述像面分割映射器的中心位于所述像方远心成像物镜的光轴上，且与所述像方远心成像物镜的像面重合；所述像面分割映射器与所述像方远心成像物镜的像面具有夹角，且该夹角为22.5度；
所述像面分割映射器与所述准直镜的前焦面相交，且相交夹角为22.5度；
所述像方远心成像物镜的光轴与所述准直镜的光轴相交于所述像面分割映射器的中心位置，且相交夹角为45度；
所述准直镜的后焦面与所述棱镜阵列重合；
所述成像镜阵列位于所述棱镜阵列的后面，且间距不大于1毫米；
所述微透镜阵列与所述成像镜阵列的后焦面重合，且所述微透镜阵列各个子透镜与所述成像镜阵列各个子镜头的相对孔径相等；
所述探测器的感光芯片与所述微透镜阵列的后焦面重合；
所述数据采集处理显示系统用于存储、预处理和显示所述探测器采集的图像数据，并基于所述图像数据依次进行光场重建、单谱段图像序列拼接和深度估计融合，最终将深度估计融合后的图像数据进行显示，显示结果包括图谱数据立方体和深度估计图。
优选地，所述像方远心成像物镜包括：入射光瞳和成像物镜；其中，入射光瞳设置在成像物镜的前焦面处，以保证出射光波场的主光线平行于所述像方远心成像物镜的光轴。
优选地，所述棱镜阵列为双阿米西棱镜阵列或者阿米西棱镜阵列或者单棱镜阵列。
优选地，所述微透镜阵列各个子透镜与所述成像镜阵列各个子镜头的相对孔径相等。
优选地，所述探测器为大面阵CCD探测器或者大面阵CMOS探测器。
优选地，所述数据采集处理显示系统包括：光场重建模块、单谱段图像序列拼接组合模块和深度估计融合模块。
另外，本发明的一种基于像面分割光场的光谱深度成像方法，其特征在于，该方法包括以下步骤：
S1、景物目标的光波场辐射经像方远心成像物镜汇聚成像在像面处，且出射光线主光线与像方远心成像物镜光轴平行；
S2、景物目标的像被像面分割映射器接收，并被分割反射到不同方向；
S3、从像面分割映射器反射的光波场被准直镜接收，并被准直镜准直；
S4、经准直镜准直后的光波场被棱镜阵列接收，并被棱镜阵列分光色散；
S5、经棱镜阵列分光色散后的光波场被成像镜阵列接收，并被成像镜阵列汇聚成像；
S6、经成像镜阵列汇聚成像的光波场被微透镜阵列接收，并被微透镜阵列调制；
S7、经微透镜阵列调制的光波场被探测器的感光面接收，并形成图像数据；
S8、经探测器接收形成的图像数据，传输至数据采集处理显示系统进行存储和预处理；
S9、数据采集处理显示系统将所述预处理后的所述图像数据依次进行光场重建、单谱段图像序列拼接和深度估计融合；
S10、数据采集处理显示系统将深度估计融合后的图像数据进行显示，显示结果包括图谱数据立方体和深度估计图。
优选地，步骤S8中所述的预处理包括：暗电流噪声去除、平场校正、坏像元去除。
优选地，步骤S9中所述的光场重建的方法包括：数字重对焦算法。
优选地，步骤S9中所述的单谱段图像序列拼接的方法包括：灰度提取、图像拼接、插值重采样算法。
优选地，步骤S9中所述的深度估计融合的方法包括：重对焦匹配方法、多视角立体匹配方法、基于EPI的方法、散焦及融合的方法。
与现有技术相比，本发明的优点在于：
（1）能够实现目标景物二维空间分布、光谱辐射和空间深度估计四维信息的同时获取，成像探测过程无需扫描或者凝视过程，能够对动态目标进行实时成像探测，可以实现目标景物四维信息的视频获取；
（2）本发明采用单通道成像方式，光路结构较为简单紧凑，无任何扫描部件，可实现系统模块化和小型化，具有较高的可靠性；
（3）本发明光路结构中采用像面分割映射器像面分割、棱镜分光色散和微透镜阵列光场分布采集等方式，无任何编码、滤光模块，理论上的全谱段光通率为100%，相比于光谱、空间编码和滤光片分光形式，提升了全系统的光通量，进而有效提高了探测数据的信噪比；
（4）本发明采用像面分割和光场分布探测相结合的被动探测方式，既适用于室内小范围探测，也适用于室外大视场探测，具有较好的适用性。
附图说明
通过阅读参照以下附图对非限制性实施例所做的详细描述，本发明的其他特征、目的和优点将会变得更加明显：
图1为本发明实施例基于像面分割光场的光谱深度成像装置的结构框图。
图2为本发明实施例基于像面分割光场的光谱深度成像装置的具体结构示意图。
图3为本发明另一实施例基于像面分割光场的光谱深度成像方法的流程图。
图中：
1-像方远心成像物镜，2-像面分割映射器，3-准直镜，4-棱镜阵列，5-成像镜阵列，6-微透镜阵列，7-探测器，8-数据采集处理显示系统，101-入射光瞳，102-成像物镜，801-光场重建模块，802-单谱段图像序列拼接组合模块，803-深度估计融合模块。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于像面分割光场的光谱深度成像装置，装置具有光学结构紧凑、集成度高等特点。
具体地，请参见图1和图2，一种基于像面分割光场的光谱深度成像装置，其特征在于，包括沿入射光方向依次设置的像方远心成像物镜1、像面分割映射器2、准直镜3、棱镜阵列4、成像镜阵列5、微透镜阵列6、探测器7和数据采集处理显示系统8；其中，
所述像方远心成像物镜1包括：入射光瞳101和成像物镜102；其中，入射光瞳101设置在成像物镜102的前焦面处，以保证出射光波场的主光线平行于所述像方远心成像物镜1的光轴；
所述像面分割映射器2由纯铝材料制作而成，光学表面采用金刚石飞切工艺加工，表面粗糙度达到
Figure 993705DEST_PATH_IMAGE001
，可见光波段反射率达90%以上；
所述像面分割映射器2的光学表面设计加工69条矩形反射镜，且每个矩形反射镜具有二维偏转角度；该二维偏转角度成周期分布，每23个镜面构成一个周期，共3个周期；每周期内的镜面二维偏转角具有不同角度数值；具体角度、周期、镜面宽度等参数，由仪器系统设计的空间视场范围、空间分辨率、谱段范围、光谱通道数目及光谱分辨率等性能指标决定。具体地，在本实施例中，每周期内23个镜面的二维偏转角可以设计为：(-5.03, -5.23)、( -5.19, -0.17)、( -5.41, 4.89)、( -3.83, -2.58)、( -3.97, 2.39)、( -2.51, -5.13)、( -2.60, -0.04)、( -2.71, 5.05)、( -1.28, -2.51)、( -1.32, 2.49)、( 0.00, -5.10)、( 0.00, 0.00)、( 0.00, 5.10)、( 1.28, -2.51)、( 1.32, 2.49)、( 2.51, -5.13)、( 2.60, -0.04)、( 2.71, 5.05)、( 3.83, -2.58)、( 3.97, 2.39)、( 5.03, -5.23)、( 5.19, -0.17)、( 5.41, 4.89)（单位：度）。这样，69条具有二维偏转角的矩形反射镜用于对景物目标像的光波场进行分割反射；
所述像面分割映射器2与所述像方远心成像物镜1共心，且与所述像方远心成像物镜1的像面重合；所述像面分割映射器2与所述像方远心成像物镜1的像面具有夹角，且该夹角为22.5度；
所述准直镜3设置于所述像面分割映射器2的反射光线方向，且与所述像面分割映射器2共心，用于对反射光波场进行准直；其中，所述准直镜3的前焦面与所述像面分割映射器2相交，且相交夹角为22.5度；
所述准直镜3与所述像方远心成像物镜1的光轴相交于所述像面分割映射器2的中心位置，且相交夹角为45度；
所述棱镜阵列4与所述准直镜3的后焦面重合，且与所述准直镜3共心，用于对准直后的光波场进行分光色散；
在一实施例中，优选地，所述棱镜阵列4为双阿米西棱镜阵列或者是阿米西棱镜阵列或者是单棱镜阵列；
所述成像镜阵列5设置于所述棱镜阵列4之后，且与所述棱镜阵列4共心，用于对色散后的光波场进行汇聚成像；其中，所述成像镜阵列5与所述棱镜阵列4的间距小于1毫米；
所述微透镜阵列6位于所述成像镜阵列5的后焦面处，与所述成像镜阵列5共心，且所述微透镜阵列6各个子透镜与所述成像镜阵列5各个子镜头的相对孔径相等；
所述探测器7的感光芯片位于微透镜阵列6的后焦面处，且与所述微透镜阵列6共心；
在一实施例中，优选地，所述探测器7为大面阵CCD探测器或者是大面阵CMOS探测器；
所述数据采集处理显示系统8位于所述探测器7之后，用于存储所述探测器7采集的图像数据，并处理和显示图像数据；
在一实施例中，优选地，所述数据采集处理显示系统是计算机，主要包括：光场重建模块801、单谱段图像序列拼接组合模块802和深度估计融合模块803。
另外，请参见图3，本发明一实施例提出了一种基于像面分割光场的光谱深度成像方法，该方法具体包括以下步骤：
S1、景物目标的光波场辐射经像方远心成像物镜汇聚成像在像面处，且出射光线主光线与像方远心成像物镜光轴平行；
S2、景物目标的像被像面分割映射器接收，并被分割反射到不同方向，构成后续系统的入射狭缝阵列；
S3、从像面分割映射器反射的光波场被准直镜接收，并被准直镜准直，同时在准直镜后焦面处形成孔径阵列光波场分布，该孔径阵列面与像方远心成像物镜的入射光瞳共轭；孔径阵列上各个子孔径的分布位置与像面分割映射器各个镜面的二维偏转角、准直镜焦距相关；
S4、经准直镜准直后的光波场被棱镜阵列接收，并被棱镜阵列分光色散；
S5、经棱镜阵列分光色散后的光波场被成像镜阵列接收，并被成像镜阵列汇聚成像；
S6、经成像镜阵列汇聚成像的光波场被微透镜阵列接收，并被微透镜阵列调制；
S7、经微透镜阵列调制的光波场被探测器的感光面接收，并形成图像数据，该图像数据不仅记录了各条光线的强度信息，同时记录了各条光线的方向信息，被记录的光线强度和方向信息，可以用于数字重对焦和深度估计；
S8、经探测器接收形成的图像数据，传输至数据采集处理显示系统进行存储和预处理；
S9、数据采集处理显示系统将所述预处理后的所述图像数据依次进行光场重建、单谱段图像序列拼接和深度估计融合；
S10、数据采集处理显示系统将深度估计融合后的图像数据进行显示，显示结果包括图谱数据立方体和深度估计图。
在一实施例中，优选地，步骤S8中所述的预处理包括：暗电流噪声去除、平场校正、坏像元去除等。
在一实施例中，优选地，步骤S9中所述的光场重建的方法包括：数字重对焦算法等。
在一实施例中，优选地，步骤S9中所述的单谱段图像序列拼接的方法包括：灰度提取、图像拼接、插值重采样算法等。
在一实施例中，优选地，步骤S9中所述的深度估计融合的方法包括：重对焦匹配算法、多视角立体匹配方法、基于EPI的方法、散焦及融合的方法等。
本发明中的装置和方法在成像探测过程中，无需任何扫描步骤，适用于动态变化目标的探测和识别，甚至可以实现目标景物的空间、深度、光谱图像的视频获取；此外，由于该装置和方法采用单通道、快照式的成像探测方式，光路结构较为简单紧凑；图谱重构、深度估计方法较为直观，对数据处理模块的硬件资源要求较低；无扫描移动部件，利于实现仪器系统的轻量化和小型化；对承载平台稳定性要求较低，具有较高的可靠性和鲁棒性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于像面分割光场的光谱深度成像装置，其特征在于，包括：沿入射光方向依次设置的像方远心成像物镜（1）、像面分割映射器（2）、准直镜（3）、棱镜阵列（4）、成像镜阵列（5）、微透镜阵列（6）、探测器（7）和数据采集处理显示系统（8）；其中：
所述像方远心成像物镜（1）将目标的光波场辐射信息进行汇聚成像，并将出射光线主光线调制为平行于所述像方远心成像物镜（1）的光轴；
所述像面分割映射器（2）的中心位于所述像方远心成像物镜（1）的光轴上，且与所述像方远心成像物镜（1）的像面重合；所述像面分割映射器（2）与所述像方远心成像物镜（1）的像面具有夹角，且该夹角为22.5度；
所述像面分割映射器（2）与所述准直镜（3）的前焦面相交，且相交夹角为22.5度；
所述像方远心成像物镜（1）的光轴与所述准直镜（3）的光轴相交于所述像面分割映射器（2）的中心位置，且相交夹角为45度；
所述准直镜（3）的后焦面与所述棱镜阵列（4）重合；
所述成像镜阵列（5）位于所述棱镜阵列（4）的后面，且间距不大于1毫米；
所述微透镜阵列（6）与所述成像镜阵列（5）的后焦面重合；
所述探测器（7）的感光芯片与所述微透镜阵列（6）的后焦面重合；
所述数据采集处理显示系统（8）用于存储、预处理和显示所述探测器（7）采集的图像数据，并基于所述图像数据依次进行光场重建、单谱段图像序列拼接和深度估计融合，最终将深度估计融合后的图像数据进行显示，显示结果包括图谱数据立方体和深度估计图。
2.如权利要求1所述的一种基于像面分割光场的光谱深度成像装置，其特征在于，所述像方远心成像物镜（1）包括：入射光瞳（101）和成像物镜（102）；其中，入射光瞳（101）设置在成像物镜（102）的前焦面处，以保证出射光波场的主光线平行于所述像方远心成像物镜（1）的光轴。
3.如权利要求1所述的一种基于像面分割光场的光谱深度成像装置，其特征在于，所述棱镜阵列（4）为双阿米西棱镜阵列或者阿米西棱镜阵列或者单棱镜阵列。
4.如权利要求1所述的一种基于像面分割光场的光谱深度成像装置，其特征在于，所述微透镜阵列（6）各个子透镜与所述成像镜阵列（5）各个子镜头的相对孔径相等。
5.如权利要求1所述的一种基于像面分割光场的光谱深度成像装置，其特征在于，所述探测器（7）为大面阵CCD探测器或者大面阵CMOS探测器。
6.如权利要求1所述的一种基于像面分割光场的光谱深度成像装置，其特征在于，所述数据采集处理显示系统（8）包括：光场重建模块（801）、单谱段图像序列拼接组合模块（802）和深度估计融合模块（803）。
7.一种基于像面分割光场的光谱深度成像方法，其特征在于，该方法包括以下步骤：
S1、景物目标的光波场辐射经像方远心成像物镜汇聚成像在像面处，且出射光线主光线与像方远心成像物镜光轴平行；
S2、景物目标的像被像面分割映射器接收，并被分割反射到不同方向；
S3、从像面分割映射器反射的光波场被准直镜接收，并被准直镜准直；
S4、经准直镜准直后的光波场被棱镜阵列接收，并被棱镜阵列分光色散；
S5、经棱镜阵列分光色散后的光波场被成像镜阵列接收，并被成像镜阵列汇聚成像；
S6、经成像镜阵列汇聚成像的光波场被微透镜阵列接收，并被微透镜阵列调制；
S7、经微透镜阵列调制的光波场被探测器的感光面接收，并形成图像数据；
S8、经探测器接收形成的图像数据，传输至数据采集处理显示系统进行存储和预处理；
S9、数据采集处理显示系统将所述预处理后的所述图像数据依次进行光场重建、单谱段图像序列拼接和深度估计融合；
S10、数据采集处理显示系统将深度估计融合后的图像数据进行显示，显示结果包括图谱数据立方体和深度估计图。
8.如权利要求7所述的一种基于像面分割光场的光谱深度成像方法，其特征在于：其中，步骤S8中所述的预处理包括：暗电流噪声去除、平场校正、坏像元去除。
9.如权利要求7所述的一种基于像面分割光场的光谱深度成像方法，其特征在于：其中，步骤S9中所述的光场重建的方法包括：数字重对焦算法；所述的单谱段图像序列拼接的方法包括：灰度提取、图像拼接、插值重采样算法。
10.如权利要求7所述的一种基于像面分割光场的光谱深度成像方法，其特征在于：其中，步骤S9中所述的深度估计融合的方法包括：重对焦匹配方法、多视角立体匹配方法、基于EPI的方法、散焦及融合的方法。
CN202210537103.6A 2022-05-18 2022-05-18 一种基于像面分割光场的光谱深度成像装置及方法 Active CN114659635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210537103.6A CN114659635B (zh) 2022-05-18 2022-05-18 一种基于像面分割光场的光谱深度成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210537103.6A CN114659635B (zh) 2022-05-18 2022-05-18 一种基于像面分割光场的光谱深度成像装置及方法

Publications (2)

Publication Number Publication Date
CN114659635A CN114659635A (zh) 2022-06-24
CN114659635B true CN114659635B (zh) 2022-08-12

Family

ID=82037070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210537103.6A Active CN114659635B (zh) 2022-05-18 2022-05-18 一种基于像面分割光场的光谱深度成像装置及方法

Country Status (1)

Country Link
CN (1) CN114659635B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116026464A (zh) * 2023-03-29 2023-04-28 合肥中科红外精密仪器有限公司 基于分切镜的快照式红外高光谱成像系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821236A (zh) * 2012-07-16 2012-12-12 天津师范大学 基于分离式二维压缩感知理论的压缩成像系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103954361B (zh) * 2014-04-29 2016-02-24 中国科学院光电研究院 一种大孔径多通道空间外差干涉光谱成像方法及光谱仪
CN105651384B (zh) * 2016-01-13 2018-01-16 南京大学 一种全光信息采集系统
CN106556461B (zh) * 2016-12-08 2018-04-06 中国科学院光电技术研究所 一种基于自适应光学的光谱成像装置
CN106842529B (zh) * 2017-01-23 2019-03-01 清华大学 快速三维显微成像系统
CN107271037B (zh) * 2017-05-23 2019-06-18 天津大学 光谱显微成像方法及系统
CN108362379B (zh) * 2018-03-15 2023-05-26 中国科学院西安光学精密机械研究所 一种宽谱段高分辨率光谱色散方法及装置
CN110132412B (zh) * 2019-04-23 2021-12-10 西北工业大学 基于数字微镜器件的双波段光谱成像系统及实现方法
CN112067128A (zh) * 2020-09-15 2020-12-11 江苏师范大学 一种高速静态色散成像光谱装置及其使用方法
CN113790676B (zh) * 2021-08-06 2022-11-29 天津师范大学 一种基于编码孔径和光场分布的三维空间光谱成像方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821236A (zh) * 2012-07-16 2012-12-12 天津师范大学 基于分离式二维压缩感知理论的压缩成像系统

Also Published As

Publication number Publication date
CN114659635A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN103471715B (zh) 一种共光路组合式光场光谱成像方法及装置
US5877803A (en) 3-D image detector
CN101356546B (zh) 图像高分辨率化装置、方法及系统
US7420750B2 (en) Catadioptric single camera systems having radial epipolar geometry and methods and means thereof
KR20190076998A (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
EP3144879A1 (en) A method and an apparatus for generating data representative of a light field
Wei Converting 2d to 3d: A survey
KR102479827B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN114659635B (zh) 一种基于像面分割光场的光谱深度成像装置及方法
US11832008B2 (en) Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN103033166B (zh) 一种基于合成孔径聚焦图像的目标测距方法
US10909704B2 (en) Apparatus and a method for generating data representing a pixel beam
CN113790676B (zh) 一种基于编码孔径和光场分布的三维空间光谱成像方法及装置
CN103630118B (zh) 一种立体高光谱成像装置
CN106644074B (zh) 一种三维立体光谱成像系统
EP3220185B1 (en) Device and process for the plenoptic capture of images
CN113706693B (zh) 一种微光条件下偏振三维重建方法
CN111277811B (zh) 一种三维空间相机及其拍照方法
Guan et al. A unified approach to calibrate a network of camcorders and tof cameras
Kanamaru et al. Acquisition of 3D image representation in multimedia ambiance communication using 3D laser scanner and digital camera
De Zeeuw et al. Wide-baseline light fields using ellipsoidal mirrors
Shoujiang et al. Microlens Light Field Imaging Method Based on Bionic Vision and 3-3 Dimensional Information Transforming
EP3993385A1 (en) A multiperspective photography camera device
Shimizu et al. Monocular range estimation through a double-sided half-mirror plate
CA3021368A1 (en) An apparatus and a method for generating data representative of a pixel beam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared