CN108881738B - 一种用于图像采集的高速对曝技术的方法 - Google Patents

Abstract

本发明公开了一种用于图像采集的高速对曝技术的方法，控制程序录入运行后，控制板发出两个脉冲信号；第一个脉冲信号通过电平转换板放大后给图像传感器端控制系统进行触发，第二个脉冲信号给光源驱动板进行触发；图像传感器端控制系统驱动图像传感器内部，图像传感器内部的感光芯片经历打开—等待—关闭进行同步图像采集；同时光源驱动板驱动光源，发出同步曝光信号，实现图像帧采集，将结果传输到电脑端进行显示。本发明具有采集鲁棒性好，能高速有效采集图片、不需要修改电路就能实现对不同型号的光源和图像传感器进行控制。

Description

一种用于图像采集的高速对曝技术的方法

技术领域

本发明涉及光学成像技术领域，尤其涉及一种用于图像采集的高速对曝技术的方法。

背景技术

用于水下浮游生物采集系统的成像仪，其成像过程具有高速曝光的特点，只有这样才能采集到合格的图像提供给海洋学家们进行分析建模。由于浮游生物在海洋中的运动速度较快，而形体较小(尺度约为10μm-5mm)，若对浮游生物进行拍摄采集过程中，曝光时间较长，则将会产生“拖尾”现象，包含这种“拖尾”现象的图像将很难通过图像处理或肉眼识别等手段，判断采集到图像中浮游生物的具体形态特点以及尺寸等信息，即这种图像属于无效图像。在海洋经济高速发展的今天，作为对海洋探索分析的首要获取信息方式：图像采集系统是否可以正确地、高速地采集到清晰而准确的图像是重要的一环。

目前常用的同步曝光技术主要有两种方式，一种是图像传感器软件触发，可以实现对时序进行自动分析，但是其触发信号具有延时不稳定的缺点，尤其当选择不同长度或不同材料的线时，这种延时不稳定会增强，且具有累加效果，于是拍摄过程中可能会出现前N帧正常，然后突然无法采集到有效图像的结果；另一种是外界硬件触发方式，但是常用的触发技术也是基于固定不变的图像传感器进行硬件分析，从而对图像传感器直接进行修改电路控制，缺点是鲁棒性不足，不可能随着曝光频率的改变而改变，并且对于不同的图像传感器需要设计不同的电路。

发明内容

本发明的目的是为了解决图像采集鲁棒性不好、不能高速有效采集图片、对不同型号的光源和图像传感器进行控制需要修改电路的技术问题，本发明公开了一种用于图像采集的高速对曝技术的方法。

本发明解决其技术问题所采用的技术方案是：一种用于图像采集的高速对曝技术的方法，控制程序录入运行后，控制板发出两个脉冲信号；第一个脉冲信号通过电平转换板放大后给图像传感器端控制系统进行触发，第二个脉冲信号给光源驱动板进行触发；图像传感器端控制系统驱动图像传感器内部，此时图像传感器内部的感光芯片经历打开—等待—关闭进行同步图像采集；同时光源驱动板驱动光源，发出同步曝光信号，实现图像帧采集。

优选的，该方法的具体步骤包括：

A1：电脑端将同步控制程序烧录到控制板中，图像传感器接收控制板发出的第一个脉冲信号后进行触发；

A2：图像传感器接收到触发信号后开始启动；

A3：启动后，图像传感器内部的感光芯片打开；

A4：图像传感器内部的感光芯片打开后，光源驱动板打开，并接收控制板发出的第二个脉冲信号，此时开始进行曝光实现图像采集，曝光完毕后光源驱动板关闭；在执行该步骤时，图像传感器感光芯片始终处于打开状态；

A5：当光源驱动板关闭后，图像传感器感光芯片关闭，图像传感器控制系统发出反馈信号，提供给控制板判断是否进行下一帧的触发；

A6：当无需进行采集时，图像传感器不发出反馈信号，不再工作；若需要继续工作，返回步骤A1继续进行循环采集。

进一步地，步骤A5中，图像传感器出现问题，内部的感光芯片不能关闭时，图像传感器会反馈出故障信号给控制板，控制板停止发出信号，自动报警，反馈给工作人员检查。

进一步地，该方法是一个自适应闭环方法。

进一步地，所述控制板发出脉冲信号的具体步骤包括：

B1：CPU对不同图像传感器的时序图进行分析，由图像传感器接收触发节点，内部的感光芯片打开节点、关闭节点；

B2：开发板内部晶振时钟进行计数，结合图像采集的频率fps对每个图像采集周期内部的时间节点发出脉冲信号，实现对图像传感器的触发。

进一步地，步骤B2中的时间节点是图像每帧采集周期内部的时序，该时间节点在预定曝光前。

进一步地，控制程序的硬件电路连接部分包括：

C1：根据芯片内部的时钟以及频率要求，计算每帧处理的计数次数；

C2：根据图像传感器的内部时序以及光源驱动的时序，在循环内部对应的计数位置进行判断触发、触发操作及调用芯片逻辑判断单元；

C3：根据输出选择合适的IO口作为输出端，输出端提供脉冲信号、信号开关控制信号和调频信号，对图像传感器进行触发；获得同步曝光的图像采集。

进一步地，步骤C3中，输出端还可以对光源曝光进行控制。

进一步地，图像帧采集是连续的图片采集模式或视频流采集模式。

进一步地，所述控制板为CPLD控制板。

本发明的有益效果是：本发明的鲁棒性较好，具有普适性，需要更换其他图像传感器或光源进行信号同步触发时，无需修改硬件电路连接，只需获得新的图像传感器时序中感光芯片打开时间节点，然后输入对程序进行修改，便可实现对不同型号的光源以及图像传感器进行控制；当需要修改信号采集频率或高速曝光时间时，也仅仅只需将数据输入即可；

本发明还可以实现高速有效采集，由于信号的同步性，可以对光源实现微秒级曝光控制，且曝光时序区间处于感光芯片打开与关闭之间，处于这个时间段时，图像传感器能对外部光强进行有效采集；

本发明进一步的有益效果是：本发明还可以进行模块化设计，灵活性较好，可以与其他新的功能模块进行组合，用来添加新的功能，例如控制信号是否输出，大部分同步控制器上电后就不断输出信号。本发明还可以通过外部接收信号控制同步曝光触发信号是否输出；

本发明还提供了一个指示灯，用于判定是否正在发出同步控制信号，指示灯闪烁说明正常工作，指示灯灭则表示停止工作，即停止发出控制信号。

附图说明

图1是本发明实施例的同步控制系统结构框图；

图2是本发明实施例的控制流程图；

图3是本发明实施例的硬件电路连接部分的示意图；

图4是本发明实施例的具体时序示意图；

图5是本发明实施例的同步控制的脉冲时序示意图；

图6是本发明实施例的信号开关控制接线示意图；

图7是本发明实施例的成像仪试验台示意图；

图中附图标记表示为：

1-控制板；2-LED显示灯；3-光源；4-图像传感器感光芯片。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，一种用于图像采集的高速对曝技术的方法，电脑端将同步控制程序烧录到CPLD控制板中，运行后，控制板发出两个脉冲信号，第一个脉冲信号通过电平转换板放大后给图像传感器端控制系统进行触发，第二个脉冲信号给光源驱动板进行触发；图像传感器端控制系统驱动图像传感器内部，图像传感器内部的感光芯片经历打开—等待—关闭进行同步图像采集；同时光源驱动板驱动光源，发出同步曝光信号，实现图像帧采集(图像帧采集是连续的图片采集模式或视频流采集模式)，将结果传输到电脑端进行显示，通过USB3.0通信配套线路实现图像数据的传输。本发明实施例采用同一电源分别对控制板、驱动板、图像传感器、光源进行供电，ISP编程时采用Verilog语言进行程序设计并烧录至控制板中实现发出高频脉冲信号。

如图2所示，该方法是一个自适应闭环系统，具体步骤包括：

A1：电脑端将同步控制程序烧录到控制板中，图像传感器接收控制板发出的第一个脉冲信号后进行触发；

A2：图像传感器接收到触发信号后开始启动，进行使能操作流程；

A3：启动后，图像传感器内部的感光芯片打开；

A4：图像传感器内部的感光芯片打开开始或延时后，光源驱动板打开，并接收控制板发出的第二个脉冲信号，此时开始进行曝光实现图像采集，曝光完毕后光源驱动板关闭；在执行该步骤时，图像传感器感光芯片始终处于打开状态；

A5：当光源驱动板关闭后，图像传感器感光芯片关闭，图像传感器控制系统发出反馈信号，提供给控制板判断是否进行下一帧的触发；图像传感器出现问题，内部的感光芯片不能关闭时，图像传感器会反馈出故障信号给控制板，控制板停止发出信号，自动报警，反馈给工作人员检查。

A6：当无需进行采集时，图像传感器不发出反馈信号，不再工作；若需要继续工作，返回步骤A1继续进行循环采集。

控制板发出脉冲信号的具体步骤包括：

B1：CPU对不同图像传感器的时序图进行分析，由图像传感器接收触发节点，内部的感光芯片打开节点、关闭节点；

B2：开发板内部晶振时钟进行计数，结合图像采集的频率fps对每个图像采集周期内部的时间节点发出脉冲信号，实现对图像传感器的触发。时间节点是图像每帧采集周期内部的时序，考虑到触发延时，该时间节点在预定曝光前。

如图3所示，硬件的电路连接部分，引脚IO54接的是光源驱动板，提供高频脉冲信号控制光源进行曝光，对应地与驱动板的LED PWM相连接，引脚IO55接的是图像传感器端控制器，提供同步的高频脉冲信号触发图像传感器进行图像采集等操作。其中，一般的CPLD芯片有多个IO口引脚，由于是对两个仪器进行控制，因此，仅仅用到了两个IO引脚，通过排除一些外设占据的引脚，从其余引脚中挑选了两个IO口引脚，即引脚54和引脚55作为输出IO，具体连接就是分别将IO54和IO55作为芯片引脚用信号线与光源驱动器和图像传感器触发线所连接。CLK2作为内部同步时钟，对程序进行控制。

同步控制程序的硬件电路连接部分包括：

C1：通过单片机的RS232串口进行数据传输；将开发板上的一个IO口引脚作为RS232串口输入接收端；根据芯片内部的时钟以及频率要求，计算每帧处理的计数次数；

C2：根据图像传感器的内部时序以及光源驱动的时序，在循环内部对应的计数位置进行判断触发、触发操作及调用芯片逻辑判断单元；如图4所示是一个脉冲的具体时序。

C3：根据输出选择合适的IO口作为输出端，输出端提供脉冲信号、信号开关控制信号和调频信号，对图像传感器进行触发；输出端还可以对光源曝光进行控制；获得同步曝光的图像采集。

如图4所示，第1ms时脉冲信号1传递给图像传感器，此时图像传感器内部开始自动进行视频流一帧的采集，触发方式设定为外部触发模式，每收到一个触发信号，则进行一帧采集。第6ms时感光芯片开始进行开启与关闭，此时图像传感器计算感光芯片开启的时间。第7ms时接收脉冲信号2，脉冲信号2对光源进行触发，开始进行9us的曝光，第8ms时感光芯片关闭。光源曝光时序在图像传感器感光芯片开启之后，感光芯片关闭之前即可。

如图5所示同步控制的脉冲时序图，是图像传感器感光芯片打开到关闭接收外部光强的积分过程，看起来像正弦波；而光源曝光由于上升沿和下降沿很短，因此用矩形方波表示，即光源：灭->亮->灭的时序。微秒级控制则是由具体的信号实现的，即：当光源驱动器可以精确控制光源“亮暗”变化达到1μs的时候，则是微秒级控制。基于时序的同步信号设计，可对光源实现微秒级曝光控制，且曝光时序区间处于感光芯片打开与关闭之间，当处于这个时间段时，图像传感器能对外部光强进行有效采集。如果光源曝光时间不在这个范围内，提前了或滞后了，感光芯片在采集的时候将无法采集到有效的光信号，即采集到的图片将是黑暗一片，通常说这种现象即为“丢帧”。本发明实施例精度很高，上升沿和下降沿几乎不占用额外时间。

本发明的鲁棒性较好，具有普适性，需要更换其他图像传感器或光源进行信号同步触发时，无需修改硬件电路连接，只需获得新的图像传感器时序中感光芯片打开时间节点，然后输入对程序进行修改，便可实现对不同型号的光源以及图像传感器进行控制；当需要修改信号采集频率或高速曝光时间时，也仅仅只需将数据输入即可。

本发明可以实现高速有效采集，由于信号的同步性，可以对光源实现微秒级曝光控制，本发明的时钟晶振速度至少达到1MHz，因此，当使用的晶振速度达到这种频率时，则发出的数字信号可以实现微秒级了。且曝光时序区间处于感光芯片打开与关闭之间，只有处于这个时间段，图像传感器才能对外部光强进行有效采集。

本发明还可以进行模块化设计，灵活性较好，可以与其他新的功能模块进行组合，用来添加新的功能，例如控制信号是否输出，大部分同步控制器上电后就不断输出信号。可以通过外部接收信号控制同步曝光触发信号是否输出(在CPLD开发板上选择一个I/O口外接一条通信线，便可实现PC端使用串口助手发送信号进行“开”状态和“关”状态控制)。如图6所示，I/O 54为输出信号I/O接线；图中还提供了一个LED指示灯，用于判定是否正在发出同步控制信号，指示灯闪烁说明正常工作，指示灯灭则表示停止工作，即停止发出控制信号。

如图7所示，是具体应用实例的实验台光路图。光源发出平行光，然后通过模拟水箱，将其中的浮游生物投影在远心镜头上，其中，由于远心光路的特点，因此只有在景深范围内的浮游生物才会投影清晰，并且尺寸不改变，通过远心镜头将图像在图像传感器上成像，而图像传感器和光源的同步高速曝光则是由控制器进行控制。

该项技术可以应用于实际的成像仪系统中，并且制成鲁棒性较强的控制板卡。推广而言，高速对曝技术还可以应用于其他场合，例如高速行驶的高铁行驶记录仪以及飞机的光电吊舱中。

以上结合附图对本发明进行了详细说明，但本发明不仅仅局限于上述具体实施方式，本领域的普通技术人员根据所具备的知识，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种用于图像采集的高速对曝技术的方法，其特征在于：控制程序录入运行后，控制板发出两个脉冲信号；第一个脉冲信号通过电平转换板放大后给图像传感器端控制系统进行触发，第二个脉冲信号给光源驱动板进行触发；图像传感器端控制系统驱动图像传感器内部，此时图像传感器内部的感光芯片经历打开—等待—关闭进行同步图像采集；同时光源驱动板驱动光源，发出同步曝光信号，实现图像帧采集；

用于图像采集的高速对曝技术的方法具体步骤包括：

A1：控制程序录入运行后，图像传感器接收到控制板发出的第一个脉冲信号后进行触发；

A2：图像传感器接收到触发信号后开始启动；

A3：启动后，图像传感器内部的感光芯片打开；

A4：图像传感器内部的感光芯片打开后，光源驱动板打开，并接收控制板发出的第二个脉冲信号，此时开始进行曝光实现图像采集，曝光完毕后光源驱动板关闭；在执行该步骤时，图像传感器感光芯片始终处于打开状态；

A5：当光源驱动板关闭后，图像传感器感光芯片关闭，图像传感器控制系统发出反馈信号，提供给控制板判断是否进行下一帧的触发；

A6：当无需进行采集时，图像传感器不发出反馈信号，不再工作；若需要继续工作，返回步骤A1继续进行循环采集；

所述控制板发出脉冲信号的具体步骤包括：

B1：CPU对不同图像传感器的时序图进行分析，由图像传感器接收触发节点，内部的感光芯片打开节点、关闭节点；

B2：开发板内部晶振时钟进行计数，结合图像采集的频率fps对每个图像采集周期内部的时间节点发出脉冲信号，实现对图像传感器的触发。

2.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：步骤A5中，图像传感器出现问题，内部的感光芯片不能关闭时，图像传感器会反馈出故障信号给控制板，控制板停止发出信号，自动报警，反馈给工作人员检查。

3.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：该方法是一个自适应闭环方法。

4.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：步骤B2中的时间节点是图像每帧采集周期内部的时序，该时间节点在预定曝光前。

5.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：控制程序的硬件电路连接部分包括：

C1：根据芯片内部的时钟以及频率要求，计算每帧处理的计数次数；

C2：根据图像传感器的内部时序以及光源驱动的时序，在循环内部对应的计数位置进行判断触发、触发操作及调用芯片逻辑判断单元；

C3：根据输出选择合适的IO口作为输出端，输出端提供脉冲信号、信号开关控制信号和调频信号，并对图像传感器进行触发；获得同步曝光的图像采集。

6.根据权利要求5所述用于图像采集的高速对曝技术的方法，其特征在于：步骤C3中，输出端还可以对光源曝光进行控制。

7.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：图像帧采集是连续的图片采集模式或视频流采集模式。

8.根据权利要求1所述用于图像采集的高速对曝技术的方法，其特征在于：所述控制板为CPLD控制板。

Images