CN105959658A - 基于三色激光照明的普通彩色相机超高速成像系统及方法 - Google Patents

基于三色激光照明的普通彩色相机超高速成像系统及方法 Download PDF

Info

Publication number
CN105959658A
CN105959658A CN201610368420.4A CN201610368420A CN105959658A CN 105959658 A CN105959658 A CN 105959658A CN 201610368420 A CN201610368420 A CN 201610368420A CN 105959658 A CN105959658 A CN 105959658A
Authority
CN
China
Prior art keywords
laser
target
camera
imaging
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610368420.4A
Other languages
English (en)
Inventor
杨少华
刘璐
严明
李斌康
郭明安
李刚
高帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Institute of Nuclear Technology
Original Assignee
Northwest Institute of Nuclear Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Institute of Nuclear Technology filed Critical Northwest Institute of Nuclear Technology
Priority to CN201610368420.4A priority Critical patent/CN105959658A/zh
Publication of CN105959658A publication Critical patent/CN105959658A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本发明涉及一种基于三色激光照明的普通彩色相机超高速成像系统及方法，包括一个红光激光器、一个绿光激光器及一个蓝光激光器，成像时，调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明；在触发激光器的同时对彩色相机进行曝光，对照明目标进行成像获取一幅目标图像；对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像；对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。本发明基于普通彩色相机和红、绿、蓝三色激光照明，仅需要控制激光器的触发时间和相机的同步曝光即可实现，系统具有广泛的适用性。

Description

基于三色激光照明的普通彩色相机超高速成像系统及方法
技术领域
本发明涉及一种目标成像系统及方法，特别涉及一种基于普通彩色CCD或CMOS相机的超高速成像系统及方法。
背景技术
超高速成像系统对于快物理过程的研究有着重要的意义，它能够捕捉到物理研究对象的细节运动过程，获取一些普通速度成像系统无法获取的信息。目前，市场上的高帧频相机有两种：CCD相机和CMOS相机。受曝光后像素输出时间的制约，CCD相机的帧频率往往比较低，目前CCD相机在高速领域中的应用往往是通过电子快门精确控制曝光时间长度与曝光时刻，实现高速运动过程的瞬态图像获取，但是只能获取单帧图像。而CMOS相机的像素输出时间明显快于CCD，因此CMOS的帧频率能够达到比较高的水平。以Phantom v640高速CMOS摄像机为例，其在2560×1600的分辨下帧频率为1400fps，而在256×16的分辨率下帧频率能够达到300000fps，但是若想基于CMOS相机直接实现纳秒级分辨的图像获取，是几乎不可能的。
分幅技术是一种实现纳秒级分辨的超高速成像方法，它其实是依靠分光系统对光信号进行分配，传输到多个相机单元上，通过十分精确的同步触发快门控制技术对多个相机单元进行控制，从而实现整个分幅系统的超高速成像。这种系统时间分辨率很高，但是结构比较复杂，价格比较昂贵，系统也比较笨重。
发明内容
本发明旨在解决普通相机帧频率低的问题，通过利用彩色相机的成像原理，基于红、绿、蓝三种颜色激光器的主动照明和时间调控，实现彩色CCD或CMOS相机的超高速成像。
本发明的技术解决方案为：
本发明所提供的一种基于三色激光照明的普通彩色相机超高速成像系统，包括一个单管面阵彩色相机，其特殊之处在于：还包括一个红光激光器、一个绿光激光器及一个蓝光激光器，所述红光激光器、绿光激光器及蓝光激光器为脉冲式激光器，分别用于对成像目标进行照明。
上述单管面阵彩色相机为单管面阵彩色CMOS相机或单管面阵彩色CCD相机。
利用上述的成像系统进行超高速成像的方法，其特殊之处在于：包括以下步骤：
1】调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明；
2】在触发激光器的同时对彩色相机进行曝光，曝光时间覆盖三个激光器的照明时间，对照明目标进行成像获取一幅目标图像；
3】对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像；
4】对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。
上述的差值处理方法包括邻域插值、线性插值、立方卷积插值或神经网络插值。
本发明的有益效果：
1.本发明实现了普通彩色相机的超高速成像。
2.本发明基于普通彩色相机和红、绿、蓝三色激光照明，不需要对设备硬件进行改动，仅需要控制激光器的触发时间和相机的同步曝光即可实现，系统具有广泛的适用性。
3.本发明能够在激光器的触发时间调控范围内调节三幅图像的时间间隔，最高能达到纳秒级分辨，应用范围广。
附图及说明
图1是激光器和相机的时序关系示意图。
图2是彩色相机获取图像中不同颜色分量的分离原理。
图3是红、蓝颜色分量信息的线性插值方法。
图4是绿色分量信息的线性插值方法。
图5是单图像传感器彩色相机的光电转换过程。
图6是彩色CCD或CMOS图像传感器的组成结构。
具体实施方式
本发明基于三色激光照明的普通彩色相机超高速成像方法，具体步骤如下：
步骤1：使用红(R)、绿(G)、蓝(B)三种颜色的三个不同脉冲激光器，通过触发控制来调整每个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明。
激光器的选择应该是满足具体成像需求的脉冲激光器，常用的红光激光器波长为660nm(ND:YAG倍频激光器)、694nm(红宝石激光器)，绿光激光器波长有532nm(ND:YAG激光器)，蓝光激光器波长有473nm(Nd:YAG激光器)、457nm(Nd:YVO4激光器)、456nm(Nd:GdVO4激光器)。红、绿、蓝三种激光器的触发顺序并没有具体要求，但是绿光照射目标形成的图像分辨率是红光、蓝光的两倍，因此在应用中可以在对分辨率要求较高的时刻用绿光进行照射。这里，我们按照红、绿、蓝的顺序假设三者的触发时间分别为T1、T2、T3，触发时长分别为t1、t2、t3，T1、T2、T3和t1、t2、t3之间的关系如图1所示。其中t1、t2、t3的值不一定相等，可根据具体激光器进行调整，对于能量较弱的激光可以增大其触发时长，反之对于能量较强的激光减少触发时长，现有脉冲激光器的脉宽范围一般是100ns以内可调(以具体激光器为准)；T1、T2、T3可以根据实际成像需求进行设置，但是要满足T1、T2、T3之间的时间间隔Δt1>t1、Δt2>t2，Δt1和Δt2就决定了整个系统的时间分辨。
步骤2：彩色相机进行一次曝光，对照明目标进行成像获取一幅目标图像。
对彩色相机进行精确的曝光控制，使得相机在T1时刻触发曝光，在T3+t3时刻停止曝光(图1)，若相机的曝光时间较长会导致自然光对于成像的干扰，曝光时间较短则捕获不到完整的目标成像信息。
步骤3：对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像。
彩色相机曝光一次获取的目标图像所包含的不同颜色激光的分量信息如图2所示，将图像中的不同颜色的灰度信息进行分离，获得三幅不同时刻的稀疏目标图像。其中R、G两种分量的目标图像像素数各占总像素数的1/4，G分量的目标图像像素数占总像素数的1/2。
步骤4：对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。
步骤3获取的三幅独立的目标图像是稀疏的，为此，可对图像中稀疏的像素点进行插值处理，从而提高目标的成像效果。常用的插值算法有很多种，包括邻域插值、线性插值、立方卷积插值、神经网络插值等，在具体实现时可根据实际的成像效果选择合适的插值算法。以线性插值算法为例，示意图如图3所示，对红、蓝两色分量图像的插值方法为：先对上下左右都是稀疏点的像素进行插值，采用g(x,y)＝[g(x-1,y-1)+g(x-1,y+1)+g(x+1,y-1)+g(x+1,y+1)]/4来估算该点的像素灰度值，然后采用g(x,y)＝[g(x,y-1)+g(x,y+1)+g(x-1,y)+g(x+1,y)]/4对其他稀疏像素点进行估值；对绿色分量图像的插值算法为：直接利用g(x,y)＝[g(x,y-1)+g(x,y+1)+g(x-1,y)+g(x+1,y)]/4对稀疏像素点进行估值，如图4所示。这样，最终获取三幅不同时刻的全分辨的目标灰度图像。
本发明原理：
单管彩色相机的成像原理是在一片CCD或CMOS图像传感器表面覆盖一个只含红绿蓝三色的Bayer滤镜，再加上对其输出信号的处理算法，就能够实现彩色图像数字信号的获取，如图5所示。彩色图像传感器的结构(图6)可以分为三层：最上面一层是微型镜头，第二层是Bayer滤镜片，第三层是感光层。Bayer滤镜的色彩搭配形式为：一行使用蓝绿元素，下一行使用红绿元素，如此交替；换言之，图像传感器中每4个像素中有两个对绿色分量感光，另外两个像素分别对蓝色和红色感光。相机经过一次曝光后，每个像素只含有红、绿、蓝三色中的一种分量信息，这时采用“色彩空间插值法”对每个像素进行处理，来估算每个像素中的另外两种颜色分量，从而得到全分辨的彩色图像。自然界中的物体包含的各个色彩的光分量是不含有时间信息的，因此估算出的三种颜色分量信息也是不能进行时间分辨的。但如果采用激光主动照明的方式进行成像，即分别利用红、绿、蓝三种激光器对目标照明，并精确控制三种激光器的照明时间顺序，就能够得到三幅具有时间分辨的灰度图像，从而实现基于彩色相机的超高速成像。
本发明适用于具有电子快门的普通彩色单管CCD或CMOS相机，采用红、绿、蓝三种颜色的脉冲激光器分别对激光进行照明，通过精确的触发控制使彩色相机曝光获取照明目标的图像，利用彩色相机的成像原理获取到的图像像素灰度值即代表了不同时刻的激光照射目标产生的信息，对三种颜色激光照明获取的目标信息分量进行分离并利用插值算法进行处理，即获取到三幅不同时刻的目标图像，完成了普通彩色相机的超高速成像。

Claims (4)

1.一种基于三色激光照明的普通彩色相机超高速成像系统，包括一个单管面阵彩色相机，其特征在于：还包括一个红光激光器、一个绿光激光器及一个蓝光激光器，所述红光激光器、绿光激光器及蓝光激光器为脉冲式激光器，分别用于对成像目标进行照明。
2.根据权利要求1所述的基于三色激光照明的普通彩色相机超高速成像系统，其特征在于：所述单管面阵彩色相机为单管面阵彩色CMOS相机或单管面阵彩色CCD相机。
3.利用权利要求1或2所述的成像系统进行超高速成像的方法，其特征在于：包括以下步骤：
1】调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明；
2】在触发激光器的同时对彩色相机进行曝光，曝光时间覆盖三个激光器的照明时间，对照明目标进行成像获取一幅目标图像；
3】对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像；
4】对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。
4.根据权利要求3所述的超高速成像的方法，其特征在于：
所述的差值处理方法包括邻域插值、线性插值、立方卷积插值或神经网络插值。
CN201610368420.4A 2016-05-30 2016-05-30 基于三色激光照明的普通彩色相机超高速成像系统及方法 Pending CN105959658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610368420.4A CN105959658A (zh) 2016-05-30 2016-05-30 基于三色激光照明的普通彩色相机超高速成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610368420.4A CN105959658A (zh) 2016-05-30 2016-05-30 基于三色激光照明的普通彩色相机超高速成像系统及方法

Publications (1)

Publication Number Publication Date
CN105959658A true CN105959658A (zh) 2016-09-21

Family

ID=56910799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610368420.4A Pending CN105959658A (zh) 2016-05-30 2016-05-30 基于三色激光照明的普通彩色相机超高速成像系统及方法

Country Status (1)

Country Link
CN (1) CN105959658A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270955A (zh) * 2018-01-31 2018-07-10 中北大学 一种单色窄脉冲主动光源分时复用照明的高速成像方法
EP3691258A1 (en) 2019-01-29 2020-08-05 Fondation de L'institut de Recherche Idiap System and method for acquiring images
CN114928699A (zh) * 2022-04-28 2022-08-19 中山大学 一种基于彩色数字相机的超快成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050103866A1 (en) * 2003-11-13 2005-05-19 Xiaoxun Zhu Hand-supportable imaging-based bar code symbol reader employing a multi-mode image-processing based bar code reading subsystem with modular image-processing architecture
CN202394026U (zh) * 2011-12-19 2012-08-22 章建国 应用于摄像机夜晚激光立体照明的装置
CN102821251A (zh) * 2012-09-03 2012-12-12 广州市盛光微电子有限公司 一种应用快速开关光源的高速摄像方法及应用装置
CN103630240A (zh) * 2013-11-14 2014-03-12 中国科学院上海光学精密机械研究所 物体表面颜色测量装置与方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050103866A1 (en) * 2003-11-13 2005-05-19 Xiaoxun Zhu Hand-supportable imaging-based bar code symbol reader employing a multi-mode image-processing based bar code reading subsystem with modular image-processing architecture
CN202394026U (zh) * 2011-12-19 2012-08-22 章建国 应用于摄像机夜晚激光立体照明的装置
CN102821251A (zh) * 2012-09-03 2012-12-12 广州市盛光微电子有限公司 一种应用快速开关光源的高速摄像方法及应用装置
CN103630240A (zh) * 2013-11-14 2014-03-12 中国科学院上海光学精密机械研究所 物体表面颜色测量装置与方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270955A (zh) * 2018-01-31 2018-07-10 中北大学 一种单色窄脉冲主动光源分时复用照明的高速成像方法
CN108270955B (zh) * 2018-01-31 2020-03-17 中北大学 一种单色窄脉冲主动光源分时复用照明的高速成像方法
EP3691258A1 (en) 2019-01-29 2020-08-05 Fondation de L'institut de Recherche Idiap System and method for acquiring images
CN114928699A (zh) * 2022-04-28 2022-08-19 中山大学 一种基于彩色数字相机的超快成像方法

Similar Documents

Publication Publication Date Title
US11463605B2 (en) Devices and methods for high dynamic range video
US8542288B2 (en) Camera system and imaging method using multiple lens and aperture units
DE4329839A1 (de) Abbildungseinrichtung mit zwei Bildsensoren
EP3414890B1 (en) Devices and methods for high dynamic range video
EP2519001A2 (en) Structured light imaging system
US20090268055A1 (en) Concentric exposure sequence for image sensor
US8514322B2 (en) Systems and methods for adaptive control and dynamic range extension of image sensors
US20100225783A1 (en) Temporally Aligned Exposure Bracketing for High Dynamic Range Imaging
US20090059046A1 (en) Field Sequential Color Camera System
CN105981377A (zh) 摄像装置、内窥镜装置以及显微镜装置
CN108965734A (zh) 基于同步控制的超高速成像方法
CN105959658A (zh) 基于三色激光照明的普通彩色相机超高速成像系统及方法
FR2560474A1 (fr) Camera de television avec conversion analogique-numerique multiplexee
JP2008506308A (ja) 拡張ダイナミックレンジ撮像システム
CN108270955A (zh) 一种单色窄脉冲主动光源分时复用照明的高速成像方法
JP2001339633A (ja) 静止画固体撮像装置
Luo et al. Novel driver method to improve ordinary CCD frame rate for high-speed imaging diagnosis
US20230196779A1 (en) Observation system and associated observation method
CA3016429C (en) Combined hdr/ldr video streaming
DE102019219971A1 (de) Verfahren zur Synchronisation und System
Sekizawa et al. New High-resolution Technique of Image Reading Using LMSType Spectrum Filter
Easton et al. Machine vision: recent advances in CCD video camera technology
CN107786818A (zh) 一种基于多色滤光的瞬态成像动态范围扩展方法
JPS5888984A (ja) カラ−撮像装置
JPS62213496A (ja) 固体撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160921

WD01 Invention patent application deemed withdrawn after publication