CN102801920A - 相机无传感器连续自动曝光时间调节控制装置 - Google Patents

Abstract

本发明涉及一种相机无传感器连续自动曝光时间调节控制装置，该装置包括：视频图像直方图统计装置；计算MBL、PBL和DMP的装置；构建误差函数E＝f_E(MBL，MBL_h,MBL_l)的装置；步长、增益计算装置；曝光时间调整装置。本发明采用动态增益控制，实现在灰度级较低时增益较小灰度级较高时增益很大，进而实现控制算法收敛特性的动态调整，解决了不同曝光区间动态步长调光控制的收敛特性不均问题；从而解决了视觉系统主观亮度感觉和客观亮度之间的非线性映射的问题。

Description

相机无传感器连续自动曝光时间调节控制装置

技术领域

本发明属于相机曝光时间调节控制技术领域，涉及一种相机无传感器连续自动曝光时间调节控制装置，特别涉及一种以变参数二次函数为控制模型的自动曝光时间调节控制装置。

背景技术

随着图像处理技术的普及和不断完善，监控系统得到了广泛应用，而且对系统性能的需求也是越来越高。自动曝光时间调节是相机的一项重要技术参数，由于监控系统所监视的区域通常难以维持某一恒定的照度，随着光照强度和对比度的改变相机的成像质量势必会受到严重的影响，所以曝光时间的自动调整是视频监控系统首要解决的问题之一。

不同的应用中，相机自动调光技术大同小异，各有特点，但是没有通用的调光算法及相应的控制硬件系统。根据反馈方式不同可以将自动调光系统分为辅助传感器调光和无辅助传感器调光，根据步长控制的不同可以分为分级自动调光和连续自动调光。在实际应用中，辅助传感器调光系统硬件结构相对复杂，没有对主光路图像进行分析，仅仅对检测点照度进行采样，通常无法解决局部饱和等问题；分级调光法通常很难找到一个适应性强的曝光时间分级机制，在使用环境发生变化时需要拟定新的分级方案。因此实际应用中我们更期望有这样一种无传感器连续自动调光方法，可以在控制算法控制下使相机获取精确的曝光时间，从而获得高质量的图像。

发明内容

本发明要解决的技术问题是提供一种能够动态调整步长的相机无传感器连续自动曝光时间调节控制装置，该装置可以根据图像的灰度变化动态调整步长从而在图像较亮和图像较暗情况下都能获得预期的调光效果。

为了解决上述技术问题，本发明的相机无传感器连续自动曝光时间调节控制装置包括：

视频图像直方图统计装置：采集视频图像数据，完成视频图像的直方图统计，将直方图统计数据发送到计算MBL、PBL和DMP的装置；

计算MBL、PBL和DMP的装置：根据直方图统计数据计算整幅图像灰度平均值MBL、伪中值PBL和平均特征距离DMP：

$\mathrm{MBL}=\frac{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{n}_i\·r_i}{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{n}_i}---\left(1\right)$

$\mathrm{MB}{L}_h=\frac{\underset{i=m}{\overset{N}{\mathrm{\Σ}}}{n}_i\·r_i}{\underset{i=m}{\overset{N}{\mathrm{\Σ}}}{n}_i}---\left(2\right)$

$\mathrm{MB}{L}_l=\frac{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}{n}_i\·r_i}{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}{n}_i}---\left(3\right)$

PBL=(MBL_h+MBL_l)/2    (4)

DMP=MBL-PBL          (5)

式中n_i为第i灰度级的像素个数，r_i为第i灰度级的灰度值，N为相机的最大灰度级，m是整幅图像灰度平均值MBL对应的灰度级，MBL_h是所有高于MBL的灰度值的均值，MBL_l是所有低于MBL的灰度值的均值；

构建误差函数E=f_E(MBL，MBL_h,MBL_l)的装置：

E=f_E(MBL,MBL_h,MBL_l)=f_E(e_m,e_p,e_d)＝ae_m+be_p+ce_d(6)

e_m=dstm-MBL        (7)

e_p=dstp-PBL        (8)

e_d=DMP             (9)

式中e_m为平均灰度误差，e_p为中值误差，e_d为距离误差，E为误差，dstm、dstp分别为期望均值、期望伪中值，DMP称为平均特征距离，a、b、c为系数；

步长、增益计算装置：根据误差E的符号由公式(10)计算步长Δt，由当前曝光时间t由公式(11)计算增益K(t)；

$\mathrm{\&Delta;t}=\left\{\begin{array}{cc}K\left(t\right)\&CenterDot;E^2& (E>0)\\ -K\left(t\right)\&CenterDot;E^2& (E<0)\end{array}\right.---\left(10\right)$

$K\left(t\right)=\frac{\mathrm{\&gamma;}}{\mathrm{\&alpha;}\&CenterDot;t+\mathrm{\&beta;}}---\left(11\right)$

α、β、γ为系数，t为当前帧曝光时间，K(t)为曝光时间为t时的增益输出；

曝光时间调整装置：利用式(12)调节曝光时间，最后将调整后得到的新的下一帧曝光时间t'输出给相机；

t'=t+Δt            (12)

本发明采用动态增益控制，实现在灰度级较低时增益较小灰度级较高时增益很大，进而实现控制算法收敛特性的动态调整，解决了不同曝光区间动态步长调光控制的收敛特性不均问题；从而解决了视觉系统主观亮度感觉和客观亮度之间的非线性映射的问题。

所述视频图像直方图统计装置为FPGA内部功能模块，该装置根据直方图统计数据计算MBL、PBL和DMP；由MBL、PBL和DMP构建误差函数E＝f_E(MBL，MBL_h,MBL_l)的装置、步长计算装置和曝光时间调整装置为DSP内部功能模块；DSP通过高速同步缓存FIFO与FPGA实现数据交换，计算误差函数。

由于DSP只获取直方图统计数据计算误差函数，能够降低通讯数据量，从而在整个曝光时间可调范围内能够快速、准确且稳定的实现连续自动调整曝光时间，实时性好。

针对提供了外同步触发信号的相机，本发明可以通过外触发同步信号控制相机曝光时间，在这种调节模式下，可以获得灵活的帧频控制和曝光时间控制。

本发明还包括步长控制装置：所述步长控制装置将计算出的步长Δt与最大步长Δt_max进行比较，若大于最大步长Δt_max则令Δt等于Δt_max；

Δt_max=mt            (13)

其中m为比例系数，0<m<1。

本发明将曝光时间调整步长Δt限定在最大步长Δt_max以内，能够防止系统发散，提高了算法的收敛速度，保证了系统的稳定性。

所述步长控制装置为DSP内部功能模块。

本发明还可以包括幅值变换装置；所述幅值变换装置根据相机曝光时间的调节范围将计算出的下一帧曝光时间t′进行放大和缩小。

所述幅值变换装置为FPGA内部功能模块。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明的相机无传感器连续自动曝光时间调节控制装置结构框图。

图2是基于DSP和FPGA的相机无传感器连续自动曝光时间调节控制装置的硬件结构示意图。

图3为自动曝光时间控制流程图。

具体实施方式

由韦伯-费克纳法则可知，人眼的主观亮度感觉和客观亮度之间的关系是非线性的，即连续的曝光时间调整给人一种亮度不连续变化的感觉，由主观亮度感觉和客观亮度之间的关系可知，这种不连续变化感在图像较暗的情况下尤为明显，因此必须寻求一种动态步长曝光时间调整方案。

曝光时间调整步长的变化必然会导致不同曝光时间算法的收敛特性的差异，且变化趋势与步长的非线性程度成正比。韦伯-费克纳法则决定了主观亮度感觉和客观亮度关系方程为对数方程，在亮度较暗时，客观亮度的微小变化在人的主观亮度感觉中会被放大，即人的肉眼在昏暗环境下对亮度的变化敏感，对明亮的目标亮度变化相对迟钝。基于这种特性在非线性步长曝光时间控制算法下，相同的控制算法收敛特性，在昏暗的环境下能够得到预期的调光效果，然而在明亮环境下输出将会有很大的稳态误差，不在继续调整，相反算法将会发散。为配合非线性步长调整，必须构造一个合理的动态参数增益控制机制，用以调整控制算法的增益。

科学合理的控制参数选择是连续曝光时间控制方法的基础，也同时决定了DSP和FPGA软件代码的复杂程度。图像的亮度的均值和中值等参数都可以作为衡量一幅图像亮度的参数，研究过程中发现高于整幅图像均值的所有像素的均值和低于整幅图像均值的所有像素的均值也能够从侧面提供图像的对比度特性。为了能够在DSP和FPGA相结合的图像处理平台下运行该算法不会给系统带来负担，选择合适的参数将是本发明其中一个重点。

本发明的目的是这样实现的：构建DSP和FPGA的图像数据处理平台，能够实现图像的采集、传输、处理和输出功能，为自动曝光时间的控制提供软件接口。

以每帧图像的均值和中值作为参数，经加权平均后的输出作为调光控制算法的输入误差。参考韦伯-费克纳法则设计步长控制方程和增益控制方程，通过实验调整步长控制方程和增益控制方程的参数以获得期望的控制性能和稳定精度，进而达到连续曝光时间自动实时调整。

本发明的工作原理是：由FPGA实现相机以及输出端口的接口协议，并在图像的采集过程中完成图像的直方图统计，在此基础上，DSP计算平均灰度及中值等信息，完成动态步长控制和增益控制，并输出积分时间的调整结果，最后由FPGA完成相机积分时间的调整，最终达到调光控制系统的输入误差函数的值小于期望阈值。

本发明的具体工作流程如下：

首先，由FPGA实现图像数据接口协议，完成图像数据的采集、输出和直方图统计，并为数据处理提供接口。为避免数据读写冲突，图像数据采集和数据输出均可以采用乒乓缓存技术实现。为实现相机自动曝光时间控制，FPGA通过调整外部触发或者通过串口命令等实现相机曝光时间的设置。第一种方法能够实现大范围的调光，当然这种方法要求相机支持外部同步触发功能，由于相机曝光时序要求相对严格，不容易实现；后一种方法通过串口等通信方法，发送曝光时间按设置命令，实现相机曝光时间的调整，容易实现，但是曝光时间调整范围相对较小。这两种不同的曝光时间调整方法在实践中要根据具体需求决定。

然后，DSP通过高速同步缓存与FPGA实现数据交换，计算误差函数。为降低通讯数据量，DSP只获取直方图统计数据，并计算整幅图像灰度的平均值MBL(The Mean Brightness Level)，在此基础上，计算所有高于MBL的灰度值的均值MBL_h和所有低于MBL的灰度值的均值MBL_l。由MBL、MBL_h和MBL_l构建误差函数E=f_E(MBL，MBL_h，MBL_l)。

接着根据韦伯-费克纳法则，构造步长控制函数和增益控制函数。韦伯-费克纳法则中人的视觉系统眼睛的主观亮度感觉和客观亮度之间的关系是使用对数函数构建的数学模型，其反函数是指数函数，由于指数函数在DSP运算中实现相对复杂，在增益控制中我们使用幂函数代替，例如指数为-1，从而实现在灰度级较低时增益较小灰度级较高时增益很大，进而实现控制算法收敛特性的动态调整。步长控制与增益控制类似，不过这里不再使用幂函数模型，而是采用了线性方程。因为对韦伯-费克纳方程求导后得到的韦伯比方程中，韦伯比反映了人眼对光强的相对辨别门限，参考韦伯比的形式，这里采用线性方程作为步长控制方程，并随曝光时间的模的增加步长变大。

最后在步长控制方程和增益控制方程的约束下，建立基于二次函数的连续曝光时间自动控制方程。调光控制系统的输入为误差函数E=f_E(MBL，MBL_h，MBL_l)，步长控制方程的输出E²与增益控制函数的输出K(t)的乘积作为系统调整步长Δt，该步长Δt受Δt_max约束。将当前帧曝光时间t与步长Δt的和作为整个控制过程的最终结果。

本发明的有益效果在于提出了一种新的自动曝光时间控制装置，并在基于DSP和FPGA的图像处理系统中实现并优化。在提供了外同步触发信号的相机中，提供了一种通过同步信号控制曝光时间的方法，在这种调节模式下，可以获得灵活的帧频控制和曝光时间控制。

由于图像采集系统通常安装在不便于人工调整的位置，而且人工曝光时间的调整也给操作带来了很多的不便，因此自动曝光时间调节功能可以说是视频采集系统中最为重要的功能之一。为了能够使成像系统能够获得更宽的曝光时间调节范围和精确的曝光时间参数，本发明通过FPGA使用外部同步触发信号实现曝光时间的调节，与现有的自动调光技术相比，本发明的特点有：一、通过FPGA的统计由DSP选择更加丰富的误差函数参数，全方位的获取图形的亮度信息；二、构造步长控制方程和增益控制方程，动态调整调光算法中的参数，使系统在整个曝光时间可调范围内或者快速、准确且稳定的自动调光性能；三、系统在整个曝光时间可调范围内连续调整曝光时间，获得的曝光时间参数更加准确。

本发明的特点在于在曝光时间可调范围内连续自动调整曝光时间，整个调整过程少于25帧，过度过程无震荡，使用DSP和FPGA共完成曝光时间调节，实时性能好，在资源上具有充足的二次开发空间。

如图1所示，本发明的相机无传感器连续自动曝光时间调节控制装置包括视频图像直方图统计装置，计算MBL、PBL和DMP的装置，构建误差函数E=f_E(MBL，MBL_h，MBL_l)的装置，步长计算装置，曝光时间调整装置。

如图2所示，是基于DSP和FPGA的相机无传感器连续自动曝光时间调节控制装置的硬件结构。

本发明通过FPGA完成视频图像数据的输入输出接口协议，完成Cameralink接口视频图像数据的采集和输出。在视频图像数据采集过程中，FPGA完成视频图像的直方图统计，并通过高速FIFO与DSP进行通信，将直方图统计信息发送到DSP，实现相机外触发模式同步信号的输出与曝光时间的调整。与主控计算机通过RS-422串行通信接口芯片完成控制信号（包括dstm、dstp、a、b、c、α、β、γ等参数的调整和设置）的通信。

DSP通过高速FIFO与FPGA完成数据通讯，获取每帧图像的直方图统计信息。DSP处理数据的周期为每帧处理一次，由帧同步信号作为获取每帧图像直方图统计信息与下一帧曝光时间的计算之间的同步信号。

在DSP的编译环境下使用C语言实现连续自动曝光时间的计算。为降低通讯数据量，DSP只获取直方图统计数据，并计算整幅图像灰度的平均值MBL(TheMean Brightness Level)：

$\mathrm{MBL}=\frac{\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i}---\left(14\right)$

在此基础上，计算所有高于MBL的灰度值的均值MBL_h和所有低于MBL的灰度值的均值MBL_l：

$\mathrm{MB}{L}_l=\frac{\underset{i=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{n}_i}---\left(15\right)$

$\mathrm{MB}{L}_h=\frac{\underset{i=m}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=m}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i}---\left(16\right)$

式中n_i为第i级灰度的个数，r_i为第i级灰度级的灰度值，N为相机的最大灰度级，m是整幅图像灰度平均值MBL对应的灰度级。

利用MBL_h和MBL_l计算伪中值PBL；

PBL=(MBL_h+MBL_t)/2            (17)

DMP=MBL-PBL                  (18)

由MBL、MBL_h和MBL_l构建误差函数E=f_E(MBL，MBL_h，MBL_l)；

E=f_E(MBL,MBL_h,MBL_l)=f_E(e_m,e_p,e_d)=ae_m+be_p+ce_d        (19)

e_m=dstm-MBL                    (20)

e_p＝dstp-PBL                   (21)

e_d=DMP                         (22)

式中e_m为平均灰度误差，e_p为中值误差，e_d为距离误差，E为误差，dstm、dstp分别为期望均值、期望伪中值，DMP称为平均特征距离，a、b、c为系数。dstm、dstp的具体数值通过实验确定，以输出视频图像的对比度、亮度视觉效果较好时得到的图像平均灰度值作为期望均值，以期望均值作为图像平均灰度值时计算出的图像灰度伪中值作为期望伪中值。a、b、c的具体数值也通过实验确定，以曝光时间控制效果较好时，即不论是在图像较亮条件下还是在图像较暗条件下输出的视频图像都给人一种亮度连续变化的感觉时的三个系数值作为a、b、c的给定值。

构造曝光时间调整步长控制方程和增益控制方程，步长控制方程采用线性方程，

Δt_max=mt,(0<m≤1)                (23)

t'=t+Δt                          (24)

式中m为比例系数，可以根据系统对相机的期望动态响应性能，通过实验确定m越大，系统的响应速度越快，稳态误差越大；反之，系统的响应速度越慢，稳态误差越小；t'为调整后的曝光时间，Δt_max为当前帧曝光时间为t时所允许的最大步长。增益控制方程采用幂函数的变形形式：

$K\left(t\right)=\frac{\mathrm{\&gamma;}}{\mathrm{\&alpha;}\&CenterDot;t+\mathrm{\&beta;}}---\left(25\right)$

α、β、γ为系数，K(t)为当前帧曝光时间为t时的增益输出。α、β、γ的具体数值通过实验确定。由于增益输出越大，计算出的步长也越大，曝光时间的调整也越快；相反增益输出越小，步长越小，曝光时间的调整也越慢。因此可以以系统稳定性较好时确定的系数作为α、β、γ的具体数值。在此基础上构造基于二次函数的自动调光控制方程：

$\mathrm{\&Delta;t}=\left\{\begin{array}{cc}K\left(t\right)\&CenterDot;E^2& (E>0)\\ -K\left(t\right)\&CenterDot;E^2& (E<0)\end{array}\right.---\left(26\right)$

DSP最终输出下一帧曝光时间参数，FPGA根据相机曝光时间的调节范围将该参数进行幅度变换，计算出下一帧的实际曝光时间参数并设置相机的曝光时间，该曝光时间通常在下一帧有效。

Claims (6)

1.一种相机无传感器连续自动曝光时间调节控制装置，其特征在于包括：

视频图像直方图统计装置：采集视频图像数据，完成视频图像的直方图统计，将直方图统计数据发送到计算MBL、PBL和DMP的装置；

计算MBL、PBL和DMP的装置：根据直方图统计数据计算整幅图像灰度平均值MBL、伪中值PBL和平均特征距离DMP：

$\mathrm{MBL}=\frac{\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i}---\left(1\right)$

$\mathrm{MB}{L}_h=\frac{\underset{i=m}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=m}{\overset{N}{\mathrm{\&Sigma;}}}{n}_i}---\left(2\right)$

$\mathrm{MB}{L}_l=\frac{\underset{i=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{n}_i\&CenterDot;r_i}{\underset{i=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{n}_i}---\left(3\right)$

PBL=(MBL_h+MBL_l)/2    (4)

DMP=MBL-PBL          (5)

式中n_i为第i灰度级的像素个数，r_i为第i灰度级的灰度值，N为相机的最大灰度级，m是整幅图像灰度平均值MBL对应的灰度级，MBL_h是所有高于MBL的灰度值的均值，MBL_l是所有低于MBL的灰度值的均值；

构建误差函数E＝f_E(MBL，MBL_h,MBL_l)的装置：

E=f_E(MBL,MBL_h,MBL_l)=f_E(e_m,e_p,e_d)=ae_m+be_p+ce_d    (6)

e_m=dstm-MBL                                     (7)

e_p＝dstp-PBL                                    (8)

e_d=DMP                                (9)

式中e_m为平均灰度误差，e_p为中值误差，e_d为距离误差，E为误差，dstm、dstp分别为期望均值、期望伪中值，DMP称为平均特征距离，a、b、c为系数；

步长、增益计算装置：根据误差E的符号由公式(10)计算步长Δt，由当前曝光时间t由公式(11)计算增益K(t)；

$\mathrm{\&Delta;t}=\left\{\begin{array}{cc}K\left(t\right)\&CenterDot;E^2& (E>0)\\ -K\left(t\right)\&CenterDot;E^2& (E<0)\end{array}\right.---\left(10\right)$

$K\left(t\right)=\frac{\mathrm{\&gamma;}}{\mathrm{\&alpha;}\&CenterDot;t+\mathrm{\&beta;}}---\left(11\right)$

α、β、γ为系数，t为当前帧曝光时间，K(t)为曝光时间为t时的增益输出；

曝光时间调整装置：利用式(12)调节曝光时间，最后将调整后得到的新的下一帧曝光时间t'输出给相机；

t'=t+Δt                        (12)

2.根据权利要求1所述的相机无传感器连续自动曝光时间调节控制装置其特征在于所述视频图像直方图统计装置为FPGA内部功能模块，该装置根据直方图统计数据计算MBL、PBL和DMP；由MBL、PBL和DMP构建误差函数E＝f_E(MBL，MBL_h,MBL_l)的装置、步长计算装置和曝光时间调整装置为DSP内部功能模块；DSP通过高速同步缓存FIFO与FPGA实现数据交换，计算误差函数。

3.根据权利要求1或2所述的相机无传感器连续自动曝光时间调节控制装置，其特征在于还包括步长控制装置：所述步长控制装置将计算出的步长Δt与最大步长Δt_max进行比较，若大于最大步长Δt_max则令Δt等于Δt_max；

Δt_max=mt                        (13)

其中m为比例系数，0<m<1。

4.根据权利要求3所述的相机无传感器连续自动曝光时间调节控制装置其特征在于所述步长控制装置为DSP内部功能模块。

5.根据权利要求1或2所述的相机无传感器连续自动曝光时间调节控制装置，其特征在于还包括幅值变换装置；所述幅值变换装置根据相机曝光时间的调节范围将计算出的下一帧曝光时间t′进行放大和缩小。

6.根据权利要求5所述的相机无传感器连续自动曝光时间调节控制装置其特征在于所述幅值变换装置为FPGA内部功能模块块。

Images