CN111609932A - 一种光谱和深度信息实时采集装置及方法 - Google Patents

一种光谱和深度信息实时采集装置及方法 Download PDF

Info

Publication number
CN111609932A
CN111609932A CN202010446261.1A CN202010446261A CN111609932A CN 111609932 A CN111609932 A CN 111609932A CN 202010446261 A CN202010446261 A CN 202010446261A CN 111609932 A CN111609932 A CN 111609932A
Authority
CN
China
Prior art keywords
module
depth information
tof sensor
sensor array
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010446261.1A
Other languages
English (en)
Inventor
曹汛
祖永祥
字崇德
陈林森
蔡李靖
李昀谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010446261.1A priority Critical patent/CN111609932A/zh
Publication of CN111609932A publication Critical patent/CN111609932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种光谱和深度信息实时采集装置及方法。其装置包括滤波片阵列、光学镜头阵列、TOF传感器阵列、光源驱动模块、主动照明模块和处理器模块。利用上述装置实现场景光谱信息和深度信息快速同时采集的步骤包括:首先,TOF传感器阵列控制光源驱动模块发出控制信号,主动光源模块接收到信号后开始发出脉冲光;其次,场景经过滤波片阵列后筛选为特定波长的入射光;最后,TOF传感器阵列采集到场景的光谱信息和深度信息,将其传输至处理器端。本发明适用于需要快速同时采集场景光谱信息和深度信息的应用场合,结构简单,方法适用性广,实用价值大。

Description

一种光谱和深度信息实时采集装置及方法
技术领域
本发明涉及成像领域,尤其涉及一种同步采集、处理光谱信息和深度信息的装置及其方法。
背景技术
在当前的计算机视觉领域中,随着图像应用技术的飞速发展,传统相机采集的2D光线强度信息已经不能满足图像应用的要求,需要采集更高维度的场景信息,场景中的深度信息和光谱信息的应用领域越来越多。
光谱信息采集技术主要分为多通道滤波法、色散法、干涉法,目前产业界的光谱仪大部分采用色散型技术实现。色散型、干涉型成像法能够获得较高的光谱分辨率,但是它们的缺点也很明显:过多的光学结构导致系统复杂,通光量低,并且多数按照扫描的方式工作,难以实现快速采集。
目前采集深度信息的主要方法有双目立体视觉法、结构光法和飞行时间(TOF)法,TOF相机由于其结构简单、主动照明方式、使用场景更广、测量精度高等特点使之成为众多测距技术中极其重要的一种。但是目前的TOF相机受物理器件的限制,空间分辨率较低。
有效采集光谱、深度信息并融合处理,能够提高电子系统对场景的感知力,提高诸如人脸识别应用的精度和效率,而目前缺少能够实现光谱、深度信息同步采集的装置。
发明内容
针对现有技术存在的不足,本发明旨在提供一种光谱和深度信息实时采集装置及方法。
本发明装置采用的技术方案如下:
一种光谱和深度信息实时采集装置,包括滤波片阵列、光学镜头阵列、TOF传感器阵列、光源驱动模块、主动照明模块和处理器模块,滤波片阵列位于光学镜头阵列的前端,TOF传感器阵列位于光学镜头阵列的后端;所述TOF传感器阵列包括采集模块、数据传输模块和通信模块,所述采集模块用于同时采集场景光谱信息和深度信息,可以采集到透过不同光学带通滤波片后特定波长的强度信息,同时根据发射光和入射光之间的相位差计算出被测物体的深度信息;所述数据传输模块将采集模块采集到的数据传输至处理器模块;所述通信模块与所述处理器模块连接。
本发明利用上述装置的采集方法,包括以下步骤:
步骤一:处理器模块接收到外接设备的输入信号,控制TOF传感器阵列开始工作,继而TOF传感器阵列向光源驱动模块输出控制信号,光源驱动模块调制该信号,并向主动照明模块输出开关信号,主动照明模块接收到开关信号,开始发射脉冲光;
步骤二:脉冲光照射物体后反射,反射光经过滤波片阵列,形成特定波长的入射光;入射光经过光学镜头阵列后,被TOF传感器阵列捕获;TOF传感器阵列获得被测物体特定波长的强度信息,同时根据发射光和入射光之间的相位差计算出被测物体的深度信息;
步骤三:TOF传感器阵列将场景中不同波长的光谱信息和不同位置的深度信息,传输至处理器模块,处理器模块完成数据的封装。
本发明与现有技术相比,其显著优点在于:
(1)通过多相机阵列的方法可以同时多个通道的采集场景的光谱信息和深度信息,并且相对于现有的光谱采集技术,场景的光谱信息和深度信息可以实时快速的采集和传输(帧率大于20帧每秒)。
(2)本发明不限于特定波段的光学带通滤波片,可以根据具体的应用场景更换不同波段的光学带通滤波片,也可以更换成偏振片等其他类型的选择性透过的光学玻璃元件采集场景的偏振信息,装置的结构简单,实用价值高。
(3)通过本发明可以实现TOF图像的点云融合,极大的提高深度图像的空间分辨率。同时,由于可以采集到场景的光谱信息,所以可以获得同一物体或者场景的不同波长信息,如获得植物的生理信息等,应用性广。
附图说明
图1为本发明光谱和深度信息实时采集装置的工作模块图;
图2为本发明光谱和深度信息实时采集方法的流程框图;
图3为本发明光谱和深度信息实时采集装置的结构示意图;
图4为本发明实施例中采集装置的具体电路图;
图5为本发明实施例中所用传感器的光谱响应曲线;
图6为本发明实施例中所用光源的有效光谱范围曲线。
具体实施方式
下面结合附图对本发明的具体实施过程作详细说明。
结合图1,本发明一种光谱和深度信息实时采集装置,包括滤波片阵列、光学镜头阵列、TOF传感器阵列、主动照明模块、光源驱动模块、处理器模块等。其中,滤波片阵列采用光学带通滤波片或者偏振片,在特定的波段是高透射率的通带,而在通带两侧是高反射率的截止带。
光学镜头阵列为宽谱段光学镜头,透光谱段范围宽于TOF传感器的光谱响应范围,且可以依据具体使用情况更换为不同参数的镜头,比如焦距、光圈等。
TOF传感器阵列位于光学镜头阵列的后端,包括采集模块、数据传输模块和通信模块,采集模块采用多个同一型号的TOF传感器进行数据采集,,可以采集到透过不同光学带通滤波片后特定波长的强度信息,同时根据发射光和入射光之间的相位差计算出被测物体的深度信息。数据传输模块将采集模块采集到的数据传输至处理器模块;通信模块连接处理器模块并与其他模块进行通信,如在TOF传感器阵列上选择一个传感器为主设备,主动输出同步信号给其他传感器从而保证多个传感器同步工作,以及控制光源驱动模块等。TOF传感器阵列是由传感器芯片、电源芯片、外围电路等构成的整块印制电路板(PCB),以确保TOF传感器芯片上电后配置正常,并能稳定工作。
光源驱动模块的功能为信号转换器,TOF传感器阵列发出的控制信号经光源驱动模块放大后转换为驱动LED的开关信号,光源驱动模块有较好的时间特性,能够保证脉冲光的相位频率与传感器图像采集图像的相位频率实时同步。光源驱动模块的开关为金属-氧化物半导体场效应晶体管(MOSFET管),且包含了由高频电感器、缓冲整流二极管、缓冲稳压二极管等元器件。
主动照明模块为大功率宽谱段LED,发射光的有效光谱范围大于TOF传感器的光谱响应范围,以保证场景的反射光透过不同滤波片后,在各个TOF传感器上有足够强的响应。主动照明模块包括LED、电源和稳压电路等。该模块功能为接收到来自光源驱动模块的开关信号后,会按照特定频率输出脉冲光。可以将光源驱动模块和主动照明模块制作成整块印制电路板。
处理器模块包括数据封装模块和控制模块,负责对装置整体进行控制以及数据封装。处理器模块输出的多个通道数据可以实时传输至计算机端进行显示。处理器模块同时可以扩展多种接口,与TOF传感器阵列可以通过转接板或连接器进行连接。
结合图2,本发明一种光谱和深度信息实时采集方法,实现流程包括如下步骤:
步骤1:通过设备的鼠标/键盘等外设,向处理器发出工作指令,处理器控制TOF传感器阵列开始工作,继而TOF传感器阵列向光源驱动模块输出控制信号,光源驱动模块调制该信号,并向主动照明模块输出开关信号,主动照明模块接收到开关信号,开始发射脉冲光。
步骤2:形成特定波长的入射光。入射光经过光学镜头后,被TOF传感器阵列捕获,TOF传感器阵列可以获得被测目标特定波长的强度信息,同时会根据发射光和入射光之间的相位差计算出被测目标的深度信息。
步骤3:不同位置的深度信息采集完以后,传输至处理器端,处理器完成数据的封装,数据可以通过串行通用总线口(USB)或者网口传输至计算机端进行实时预览和处理等。
结合图3,本实例装置的整体结构具体包括:滤波片阵列310由多个不同波段的滤波片组成;光学镜头阵列320由多个相同的光学镜头组成的;TOF传感器阵列330由多个相同型号的TOF传感器以及其外围电路组成;处理器350为单独集成模块,与处理器转接板340通过连接器相连接,扩展出串行通用总线(USB)口,网口等多种数据接口,提供外设接入或输出数据,并且处理器转接板与TOF传感器阵列板通过柔性电路板(FPC)相连接;光源发射装置由主动照明模块360和光源驱动模块370合并在同一块PCB上构成。
实施例
本实施例提供一种光谱和深度信息实时采集装置,结合图4,具体实施的电路设计包括如下几个模块:
(1)模块410为本装置的处理器模块,本例中由NvidiaJetson TX2来实现,用于接收、处理和发出各种控制信号,数据封装等。设备处于开机状态时,使用者可以通过外接的鼠标键盘输入控制命令,处理器模块接收到相关指令后,发出工作指令。该模块内置数据解码和编码模块,可以接收TOF传感器阵列输出的视频信号并从网口输出至计算机端。
(2)模块420为同步信号收发器,本例中由SN74LVCH8T245集成芯片实现,用于接收主设备传感器发出的外同步信号,并转发为多个微秒级延迟的外同步信号,可以驱动多个传感器同步采集。
(3)模块430为I2C信号扩展模块,本例中由TCA9548A集成芯片实现,该模块实现了I2C地址的扩展,根据使用者操作指令,可以选通某一个或者某几个传感器。
(4)模块440为E2PROM,本例中由AT24C02集成芯片实现,可以通过处理器模块写入或者修改传感器的配置参数,并将配置信息写入TOF传感器阵列中。
(5)模块450为TOF传感器阵列,本例中由六个EPC660传感器实现,该传感器的光谱响应曲线如图5所示。该模块接收到来自处理器模块的控制信号后开始工作,并将采集到的视频信息以移动产业处理器接口信号(MIPI)传输到处理器模块中。
(6)模块460是光源驱动模块,本例中是以高频开关MOS管CSD16301Q2为核心的调制驱动电路,接收到TOF传感器阵列发出的信号后,将其调制为驱动大功率LED的开关信号。
(7)模块470是大功率宽谱段LED主动照明模块,本例中为24W全光谱LED,该光源的光谱曲线如图6所示。接收到光源驱动模块的开关信号后,按照特定频率输出脉冲光。
本实例的装置具体实施步骤如下:
S1,确定场景需要采集的波段,本例中选取450nm,475nm,500nm,525nm,650nm,675nm(±10nm)六个波段,将对应波长的光学带通滤波片固定在滤波片板上。在TOF传感器阵列的各个传感器前安装好遮光盖和镜头,在镜头前安装好滤波片板,保证位置固定。
S2,将处理器安装在转接板上对应的连接键位置上,转接板和TOF传感器阵列板用FPC连接,TOF传感器阵列板与光源驱动模块通过FPC连接。连接完毕后,固定好各模块。
S3,在扩展板的USB口上连接鼠标/键盘设备的接收头,用网线连接计算机和处理器转接板,上电启动系统,等待系统开机正常,通过鼠标和键盘向处理器发出采集指令,此时系统开始工作。TOF传感器阵列会按照鼠标/键盘输入的命令采集场景中的不同波段的强度信息,同时会输出同频率的LED驱动信号,LED光源驱动电路根据接收到的信号调制为驱动主动光源LED的开关信号,主动光源LED按照接收到的开关信号频率发出脉冲光,脉冲光照射到场景物体表面,物体表面反射光线,TOF传感器阵列接收到反射光线的回波信息,根据相位差计算出场景中各点相应的深度信息。
S4,TOF传感器阵列采集到的数据传输到处理器中,处理器通过编码将多个通道的数据封装好,然后通过网口依次传输到计算机端。在计算机端可以接收到多个通道的光谱信息以及场景的深度信息。

Claims (9)

1.一种光谱和深度信息实时采集装置,包括滤波片阵列、光学镜头阵列、TOF传感器阵列、光源驱动模块、主动照明模块和处理器模块,其特征在于,滤波片阵列位于光学镜头阵列的前端,TOF传感器阵列位于光学镜头阵列的后端;所述TOF传感器阵列包括采集模块、数据传输模块和通信模块,所述采集模块用于同时采集场景光谱信息和深度信息,可以采集到透过不同光学带通滤波片后特定波长的强度信息,同时根据发射光和入射光之间的相位差计算出被测物体的深度信息;所述数据传输模块将采集模块采集到的数据传输至处理器模块;所述通信模块与处理器模块连接。
2.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述采集模块由多个TOF传感器排列组成。
3.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述光学镜头阵列采用透光谱段范围宽于TOF传感器光谱响应范围的光学镜头。
4.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述滤波片阵列采用光学带通滤光片或者偏振片,以实现特定光谱范围或特定偏振态的光线通过。
5.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述光源驱动模块为信号转换器,用于将TOF传感器阵列发出的控制信号转换为驱动主动照明模块的开关信号。
6.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述主动照明模块采用大功率宽谱段发光二极管,其发射光的有效光谱范围大于TOF传感器阵列的有效光谱响应范围。
7.根据权利要求1所述的一种光谱和深度信息实时采集装置,其特征在于,所述处理器模块的数据输出通道与计算机相连。
8.利用如权利要求1所述一种光谱和深度信息实时采集装置的采集方法,其特征在于,包括以下步骤:
步骤一:处理器模块接收到外接设备的输入信号,控制TOF传感器阵列开始工作,继而TOF传感器阵列向光源驱动模块输出控制信号,光源驱动模块调制该信号,并向主动照明模块输出开关信号,主动照明模块接收到开关信号,开始发射脉冲光;
步骤二:脉冲光照射物体后反射,反射光经过滤波片阵列,形成特定波长的入射光;入射光经过光学镜头阵列后,被TOF传感器阵列捕获;TOF传感器阵列获得被测物体特定波长的强度信息,同时根据发射光和入射光之间的相位差计算出被测物体的深度信息;
步骤三:TOF传感器阵列将场景中不同波长的光谱信息和不同位置的深度信息,传输至处理器模块,处理器模块完成数据的封装。
9.根据权利要求8所述的采集方法,其特征在于,步骤三数据完成封装后,处理器模块通过串行通用总线口或者网口传输至计算机端进行实时预览和处理。
CN202010446261.1A 2020-05-25 2020-05-25 一种光谱和深度信息实时采集装置及方法 Pending CN111609932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010446261.1A CN111609932A (zh) 2020-05-25 2020-05-25 一种光谱和深度信息实时采集装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010446261.1A CN111609932A (zh) 2020-05-25 2020-05-25 一种光谱和深度信息实时采集装置及方法

Publications (1)

Publication Number Publication Date
CN111609932A true CN111609932A (zh) 2020-09-01

Family

ID=72201876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010446261.1A Pending CN111609932A (zh) 2020-05-25 2020-05-25 一种光谱和深度信息实时采集装置及方法

Country Status (1)

Country Link
CN (1) CN111609932A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395496A (zh) * 2020-09-28 2021-09-14 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
CN113687369A (zh) * 2021-07-14 2021-11-23 南京大学 一种光谱信息与深度信息同步采集系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013911A1 (en) * 2003-11-10 2007-01-18 Baker Hughes Incorporated Light source for a downhole spectrometer
CN106768325A (zh) * 2016-11-21 2017-05-31 清华大学 多光谱光场视频采集装置
CN108088561A (zh) * 2017-12-15 2018-05-29 哈尔滨工业大学 一种快照式光场-光谱成像仪及成像方法
CN110873911A (zh) * 2018-08-31 2020-03-10 三星电子株式会社 包括亚波长反射器的光学滤波器和光谱仪以及电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013911A1 (en) * 2003-11-10 2007-01-18 Baker Hughes Incorporated Light source for a downhole spectrometer
CN106768325A (zh) * 2016-11-21 2017-05-31 清华大学 多光谱光场视频采集装置
CN108088561A (zh) * 2017-12-15 2018-05-29 哈尔滨工业大学 一种快照式光场-光谱成像仪及成像方法
CN110873911A (zh) * 2018-08-31 2020-03-10 三星电子株式会社 包括亚波长反射器的光学滤波器和光谱仪以及电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDER D. GRIFFITHS ETC.: "Multispectral time-of-flight imaging using light-emitting diodes", 《OPTICS EXPRESS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395496A (zh) * 2020-09-28 2021-09-14 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
CN113395496B (zh) * 2020-09-28 2024-03-29 腾讯科技(深圳)有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
CN113687369A (zh) * 2021-07-14 2021-11-23 南京大学 一种光谱信息与深度信息同步采集系统及方法

Similar Documents

Publication Publication Date Title
CN107040727B (zh) 摄像机曝光方法及装置
CN107424187B (zh) 深度计算处理器、数据处理方法以及3d图像设备
CN109756654B (zh) Tof摄像模组及其制造方法和tof深度图像成像方法以及电子设备
CN106997603B (zh) 基于vcsel阵列光源的深度相机
CN104254785B (zh) 用于混合式三维成像器的主动照明的紧凑式激光源
CN106385530B (zh) 一种双光谱摄像机
US10652513B2 (en) Display device, display system and three-dimension display method
CN111609932A (zh) 一种光谱和深度信息实时采集装置及方法
CN105704380A (zh) 一种摄像头对焦方法及电子设备
US20040125205A1 (en) System and a method for high speed three-dimensional imaging
CN102997996A (zh) 短波红外昼夜远距离多光谱成像仪及成像方法
KR102704135B1 (ko) 카메라 장치 및 그의 오토포커싱 방법
CN108270955B (zh) 一种单色窄脉冲主动光源分时复用照明的高速成像方法
CN106817794A (zh) Tof电路模块及其应用
WO2014032386A1 (zh) 一种应用快速开关光源的高速摄像方法及应用装置
US10955654B2 (en) Imaging device and method
CN108303182A (zh) 一种红外成像温度监控系统
CN113534596B (zh) Rgbd立体相机及成像方法
CN202956187U (zh) 短波红外昼夜远距离多光谱成像仪
CN108279421B (zh) 带有高分辨率彩色图像的飞行时间相机
CN111596507B (zh) 一种摄像模组及其制造方法
KR20150090777A (ko) Tof 카메라 장치
CN211506201U (zh) 基于远距离脉冲激光选通成像的时序控制系统
US20230254469A1 (en) Method and system for enhanced image sensor timing
CN114441418A (zh) 用于高速流动微粒的成像系统、成像方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication