CN102223484A

CN102223484A - 一种摄像机前端参数配置的方法和装置

Info

Publication number: CN102223484A
Application number: CN2011102227209A
Authority: CN
Inventors: 曾慧
Original assignee: Zhejiang Gongshang University
Current assignee: Zhejiang Gongshang University
Priority date: 2011-08-04
Filing date: 2011-08-04
Publication date: 2011-10-19

Abstract

本发明公开了一种多摄像机前端控制方法及装置，解决了摄像机阵列采集图像用于拼接时，多摄像机各自画面亮度不一致，并且待拼接图像边缘有运动物体时存在的断层、有拼接缝隙的问题，从而提升了拼接后图像的效果。本发明实施例在现有方案中加入摄像机前端全局控制单元，收集前端各个摄像机曝光后得到的图像亮度信息，通过曝光算法得到各个摄像机的曝光参数，并同步摄像机阵列的曝光起始时间。本发明实施例主要用于摄像机阵列中多个摄像机采集到不同区域的图像，并经拼接产生一幅大场景画面的应用。

Description

一种摄像机前端参数配置的方法和装置

技术领域

本发明涉及一种图像处理技术，特别涉及一种摄像机前端参数配置的方法和装置。

背景技术

通过不同角度的摄像机拍摄得到的多幅图像，通过拼接可以获取一副大视场角的全景图像，从而具有比单个图像更高的分辨率和更大的视野。图像拼接技术一直是计算机视觉、图像处理和计算机图形学的热点研究方向。它可以用来建立大视角的高分辨率图像，在视频监控行业、虚拟现实领域、医学图像处理领域中均有广泛的应用。

在已有的处理流程中，图像拼接的一般过程由图像获取，图像匹配，图像合成三步骤组成，其中，图像匹配是图像拼接的一个重要步骤，需要找出一个场景在不同视角的摄像机得到图像下的重叠区域，通过重叠区域上点到点的映射，确定两幅或多幅图像之间的映射关系。其中常用的有：基于特征和基于灰度值的图像配准算法。基于特征的配准方法通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配；基于灰度值的图像配准方法从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。

图像拼接系统中，多台摄像机组成摄像机阵列，摄像机阵列中的各个摄像机把最近曝光采集到的一帧送给图像拼接系统完成一帧图像的拼接。使用这种方法进行图像拼接的不同摄像机之间的图像采集最大相差可为：Δt＝1000/Fs，其中，Fs为摄像机的采集帧率。当摄像机采集帧率为25帧/秒时，则相邻两帧之间的间隔为40毫秒，A和B最近的采集帧曝光起始时间也相差了40毫秒，如图1所示。对于静态图像来说，每帧图像的边缘特征都基本不发生变化，特征点或图像灰度值都处于较小的变化区间，因此，使用上述背景知识中介绍的拼接方法对静态图像的拼接都可以达到较好的效果，但对于动态图像拼接，特别是在拼接边缘有较快的物体运动时，曝光起始时间的差异造成拼接处运动物体的错位和断层。此外，在实现拼接算法中，目前各个摄像机独立操作，完成自动曝光过程。对于范围较大，但光线不均匀的区域，如广场中，部分区域属于建筑物的阴影，部分区域在光照下，当用于拼接的摄像机视场范围处于上述的亮度不同的区域时，摄像机的自动曝光算法通过调节曝光时间和图像增益，把图像亮度调整到预先设定的固定值。拼接后的图像整体亮度就基本相同，阴影区域较暗的场景变亮了，原本明亮的区域反而变暗了。这造成拼接后图像不协调，和实际场景也不符合。此外，在进行图像匹配时，由于灰度值直接对应图像亮度，由于不同的曝光参数造成不同摄像机采集图像边界亮度产生差异，而待匹配图像的边缘也会随图像亮度的变化增强或减弱，造成特征点匹配的失败。因此，待拼接图像不同的亮度会对图像匹配算法造成较大干扰。

发明内容

有鉴于此，本发明提出一种摄像机前端参数配置的方法和装置，以解决多摄像机采集图像用于拼接时各部分画面亮度失调和拼接边缘有运动物体时存在断层，有拼接缝隙等问题，从而提高拼接后图像的实际效果。

一种摄像机前端参数配置的方法，该方法包括：

A、收集上一次前端摄像机阵列经过曝光得到采样图像，确定上一帧各个摄像机的图像的亮度Illum_CAM_N(k)，其中Illum_CAM_N(k)为摄像机阵列中第N台摄像机第k次曝光得到图像的亮度值。

B、根据公式：

Global_illum(k)＝(Illum_CAM_1(k)+Illum_CAM_2(k)+...Illum_CAM_N(k)/N

确定整体图像的亮度值，其中N为用于拼接系统的摄像机数目。

C、通过比较Global_illum(k)和Expect_illum的大小，并以Var0、Var1作为阀值，确定采样图像整体亮度值是否达到预期亮度。具体为：

当Global_illum(k)-Expect_illum＞Var0时，

如果Gain(k)＞Min_Gain，则

Gain(k+1)＝Gain(k)-lg(Global_illuml(k)-Expect_illum)，ShutTime(k+1)＝ShutTime(k)；否则，如果Gain(k)≤Min_Gain，则，

Gain(k+1)＝Min_Gain，ShutTime(k+1)＝ShutTime(k)-lg(Global_iilluml(k)-Expect_illum)。

当Global_illum(k)-Expect_illum＜Var1时，

如果ShutTime(k)＜Max_ShutTime，则

ShutTime(k+1)＝ShutTime(k)+lg(Expect_illum-Global_illum(k))，Gain(k+1)＝Gain(k)；否则，如果ShutTime(k)≥Max_ShutTime，则，

ShutTime(k)＝Max_ShutTime，Gain(k+1)＝Gain(k)+lg(Expect_illum-Global_ill um(k))。

当Var 1＜Global_illum(k)-Expect_illum＜Var0时，

Gain(k+1)＝Gain(k)，ShutTime(k+1)＝ShutTime(k)。

其中，Min_Gain为设定的最低图像增益值，一个经验值为取1；Max_ShutTime为设定的最大曝光时间，一般在1毫秒以内；Var0、Var1为预设阀值，Var0、Var1和Expect_illum由经验值获得，当采集图像范围为0～255时，一个经验值为Var1＝-5，Var0＝5，

Expect_illum＝110；公式中以全局亮度和期望亮度的差值作为lg函数的输入以调节曝光参数的变化，同样，也可以选用其它不同的函数以调节参数变化速度，但选用的函数应为单调增长的。

计算第k+1次曝光的曝光起始时间，曝光起始时间通过帧率计算，当距离上一次触发时间相隔Δt＝1/Fs秒时，其中Fs为摄像机的每秒采集帧率，则发起新一帧曝光的同步信号到摄像机阵列中的每一台摄像机，同步触发前端摄像机的第k+1次曝光。

一种摄像机前端参数配置的方法和装置，该装置包括：全局亮度统计单元、曝光参数计算单元、曝光参数配置和曝光同步单元。

所述全局亮度统计单元，用于计算摄像机阵列中所有摄像机采集到图像的整体亮度Global_illum。

所述曝光参数计算单元，用于计算摄像机阵列中每一台摄像机的下一次曝光时的曝光时间和图像增益值。

所述曝光参数配置和曝光同步单元，用于发送经过曝光参数计算单元得到的曝光时间和图像增益值到摄像机阵列中的摄像机，并产生同步信号给前端摄像机，摄像机阵列中所有摄像机检测到同步信号，开始采集一帧图像的曝光。

由以上技术方案可以看出，本发明提供的方法和装置，将摄像机阵列中各个摄像机的全局亮度信息作为调整摄像机前端曝光的参数，当全局亮度超出预期亮度的阀值时，通过本专利提供的算法步骤对下一次曝光时间和图像增益进行调节，并发起同步曝光信号以同步下一帧曝光起始时间。保证了拼接后图像各个区域亮度的一致性，消除了拼接后图像对应于原图像边缘存在运动物体时产生断层和拼接缝隙的问题。

附图说明

图1为不同摄像机同一帧之间曝光时间不同步引起的曝光起始时间偏差示意图。

图2为本发明提供的主要方法流程图。

图3为本发明提供的方法对应的图像拼接模型示意图。

图4为本发明提供的方法对应的一个应用示意图。

图5为本发明提供的摄像机参数配置装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

考虑到摄像机阵列中各个摄像机采集图像亮度和曝光起始时间的不同对图像拼接造成的影响，本发明中将全局图像亮度引入曝光控制算法中，连同预期亮度一起作为调整摄像机阵列曝光时间和图像增益的参数。本发明提供的主要方法如图2所示，可以包括以下步骤：

步骤201：确定上一采样时刻k的摄像机阵列中各个摄像机采集到图像亮度信息Illum_CAM_N(k)。

步骤202：使用Illum_CAM_N(k)的平均值或取其中部分图像区域的平均值计算整体亮度计算得到全局亮度Global_illum(k)。

如果取整体亮度的平均值，则全局亮度Global_illum(k)可按照公式

Global_illum(k)＝(Illum_CAM_1(k)+Illum_CAM_2(k)+...Illum_CAM_N(k)/N

计算得到。

步骤203：确定下一次曝光时间和图像增益。

k＝0时，确定快门时间为设定的固定值ShutTime_0，快门增益为设定的固定值Gain_0；

k＞0时，比较上一次的全局亮度Global_illum(k)与期望全局亮度Expect_illum之间的差异；

当Global_illum(k)-Expect_illum＞Var0时，如果Gain(k)＞Min_Gain，则

Gain(k+1)＝Gain(k)-lg(Global_illuml(k)-Expect_illum) (1)

ShutTime(k+1)＝ShutTime(k) (2)

当Global_illum(k)-Expect_illum＞Var0时，如果Gain(k)≤Min_Gain，则

Gain(k+1)＝Min_Gain (3)

ShutTime(k+1)＝ShutTime(k)-lg(Global_illuml(k)-Expect_illum) (4)

其中Var0为一经验值，表示允许采集图像全局亮度超出期望亮度的上限。Min_Gain为常量，表示默认的最小图像增益值。

公式(1)表示第k+1次曝光的增益值的更新方法，lg表示以10为底的对数，也可以选用其他形式的单调递增函数，以调节参数更新速度。

公式(2)表示第k+1次曝光的曝光时间和第k次相同。

公式(3)表示第k+1次曝光的增益值取最小增益值Min_Gain，一个推荐值为1。

公式(4)表示第k+1次曝光时间的更新方法，lg表示以10为底的对数，也可以选用其他形式的单调递增函数，以调节曝光参数的更新速度。

当Global_illum(k)-Expect_illum＜Var1时，如果ShutTime(k)＜Max_ShutTime，则

ShutTime(k+1)＝ShutTime(k)+lg(Expect_illum-Global_illum(k)) (5)

Gain(k+1)＝Gain(k) (6)

当Global_illum(k)-Expect_illum＜Var1时，如果ShutTime(k)≥Max_ShutTime，则

ShutTime(k)＝Max_ShutTime (7)

Gain(k+1)＝Gain(k)+lg(Expect_illum-Global_illum(k)) (8)

其中Var1为一经验值，表示允许采集图像全局亮度低于期望亮度的下限。Max_ShutTime为常量，表示默认的最大快门时间，一般在1毫秒以内。

公式(5)表示第k+1次快门时间的更新方法，lg表示以10为底的对数，也可以选用其他形式的单调递增函数，以调节更新速度，这里不再一一列举。

公式(6)表示第k+1次曝光的图像增益值间和第k次相同。

公式(7)表示第k+1次曝光的快门时间值取Max_ShutTime即默认的最大快门时间。

公式(8)表示第k+1次曝光的快门时间的更新方法。

当Var1＜Global_illum(k)-Expect_illum＜Var0时，

Gain(k+1)＝Gain(k)，ShutTime(k+1)＝ShutTime(k) (9)

公式(9)表示当第k次曝光后统计得到的全局亮度值Global_illum(k)是在Var0和Var1区间范围内，则第k+1次曝光的曝光快门时间和图像增益值保持不变。

Var0和Var1为根据经验得到的阀值，当采集图像范围为0～255时，一个经验值为Var0＝5，Var1＝-5，Expect_illum＝110。

在第k+1次曝光进行之前，需要配置更新后的曝光增益值和快门值给摄像机阵列中的每一台摄像机，作为第k+1次曝光的曝光参数。

根据预先设置的帧率计算曝光起始时间，如采集帧率为每秒25帧，则相邻两次曝光的时间间隔为40毫秒，即Δt＝1/Fs(秒)。

当到达第k+1次曝光时间时，发送采集同步信号给前端摄像机阵列中的每一台摄像机，开始同步曝光。

和摄像机阵列中摄像机的通信过程可以通过I2C、并口等数据总线或其他可为前端摄像机接受的通信模式。

另外，在上述方法流程中每个曝光周期都应该记录该次曝光后每个摄像机的图像亮度，并计算出全局图像亮度，以便计算下一次曝光的曝光时间和图像增益。

本发明提供的方法对应的图像拼接模型示意图如图3所示，可以看出，本发明把摄像机阵列中采集到的图像亮度值进行统计，并作为计算摄像机前端曝光参数的输入参数之一。

本发明所提供的上述方法可以通过回声消除装置完成，图4为该图像拼接装置的一个应用实例，全局亮度统计的输入为摄像机阵列中摄像机每次曝光后的亮度信息。摄像机参数配置装置利用本发明提供的上述方法对摄像机前端参数进行整体配置，并发起同步信号，保证每一个摄像机都以同样的起始时间进行曝光。下面对该摄像机参数配置装置的结构进行详细描述。

图5为本发明提供的摄像机参数配置装置的结构示意图，如图5所示，该装置可以包括：全局亮度统计单元500、曝光参数计算单元510、曝光参数配置和曝光同步单元520。

全局亮度统计单元500，用于计算摄像机阵列中所有摄像机采集到图像的全局亮度Global_illum。

曝光参数计算单元510，用于计算摄像机阵列中每一台摄像机的下一次曝光时的曝光时间和图像增益值。

曝光参数配置和曝光同步单元520，用于同步曝光参数计算单元得到的曝光时间和图像增益值到摄像机阵列中所有的摄像机，并触发同步曝光信号给前端摄像机，摄像机阵列中所有摄像机检测到同步曝光信号后，开始采集一帧图像的曝光。

该全局亮度统计单元中500，Global_illum的计算可以采用摄像机阵列采集图像亮度的平均值或取其中部分图像区域的平均值。

当所述的整体亮度为N个摄像机组阵列采集图像亮度的平均值时，确定

Global_illum(k)＝(Illum_CAM_1(k)+Illum_CAM_2(k)+...Illum_CAM_N(k)/N。

通过上述公式计算出的全局亮度值送入曝光参数计算单元510，曝光参数计算单元510包括：全局亮度比较子单元501和曝光参数更新子单元502。

亮度比较子单元501，比较全局亮度值Global_illum(k)和Expect_illum的差异值，并把这个差值以Var0、Var1分别作为上下区间边界划分为三个不同区间。

其中Expect_illum为预设期望亮度，可由经验值获得。当采集图像像素点数值大小有效范围为0～255时，一组经验值为Expect_illum＝110，Var0＝5，Var1＝-5。

在上述划分的三个区间内曝光参数更新子单元502按照以下步骤进行曝光参数的更新计算：

当Global_illum(k)-Expect_illum＞Var0，即全局亮度过亮，则曝光参数更新子单元照此公式按照下面的步骤进行调节曝光参数：

A1、如果Gain(k)＞Min_Gain，则向下调节图像增益值：

Gain(k+1)＝Gain(k)-lg(Global_illuml(k)-Expect_illum)，曝光时间保持不变，即：ShutTime(k+1)＝ShutTime(k)。

A2、如果Gain(k)≤Min_Gain，此时图像增益值已经到达可调节的下限，则按照此公式调节曝光时间：ShutTime(k+l)＝ShutTime(k)-lg(Global_illuml(k)-Expect_illum)，图像增益保持不变：Gain(k+1)＝Min_Gain。

当Global_illum(k)-Expect_illum＜Var1时，即全局亮度过暗，则曝光参数更新子单元照此公式按照下面的步骤调节曝光参数：

B1、如果ShutTime(k)＜Max_ShutTime，则

ShutTime(k+1)＝ShutTime(k)+lg(Expect_illum-Global_ill um(k))，Gain(k+1)＝Gain(k)。

B2、否则如果ShutTime(k)≥Max_ShutTime，则ShutTime(k)＝Max_ShutTime，Gain(k+1)＝Gain(k)+lg(Expect_illum-Global_illum(k))。

当Var1＜Global_illum(k)-Expect_illum＜Var0时，第k+1次曝光参数不需要改变：Gain(k+1)＝Gain(k)，ShutTime(k+1)＝ShutTime(k)。

曝光参数更新子单元通过以上步骤，计算出第k+1次曝光参数，并作为摄像机阵列中所有摄像机第k+1次曝光参数的共同参数。

通过曝光参数配置和曝光同步单元520，把通过曝光参数计算单元510后得到的第k+1次曝光参数送入摄像机阵列中的每一台摄像机，并同步发起一帧图像的曝光。

曝光同步处理单元根据预先设置的帧率，每隔固定时间戳发送采集信号给前端摄像机的传感器模块(Sensor)，这个信号可以由I2C、并口等数据总线或其他可为前端传感器接受的模式发出。前端各个摄像机传感器接收到此信息后，立即开始一帧图像的曝光。

从上述流程中可以看出，这种装置统计各个摄像机的亮度信息，并整合这些信息进行曝光算法控制，得到各个摄像机统一的曝光参数。由于各个摄像机曝光参数是一致的，送入拼接单元的图像亮度和实际光线情况一致，使拼接后图像各部分图像亮度保持一致性。

从上述流程还可以看出，使用同步曝光参数和同步触发摄像机阵列中各个摄像机曝光的方法，使各个摄像机曝光起始时间和曝光参数一致，保证了曝光时各个摄像机中的运动物体在图像边界物理位置一致，消除了目前拼接系统中存在的拼接图像边缘存在断层、有拼接缝隙的问题，提高了拼接后图像的实际效果。

Claims

1.一种摄像机阵列参数设置方法与装置，其特征在于，该方法包括：

A、收集上一次前端摄像机阵列经过曝光得到采样图像Illum_CAM_N(k)；

B、根据公式：

Global_+illum(k)＝(Illum_CAM_1(k)+Illum_CAM_2(k)+...Illum_CAM_N(k)/N确定整体图像的亮度值，其中N为用于拼接系统的摄像机数目；Global_illum(k)包括：摄像机阵列中摄像机采集图像亮度的平均值或取其中部分图像区域的平均值。

2.利用计算出的Global_illum(k)，计算出k+1次曝光的快门时间ShutTime(k+1)和快门增益Gain(k+1)，并同步触发前端摄像机的一次曝光，得到第k+1次曝光的图像。

3.根据权利要求1所述的方法，其特征在于，步骤B中所述Global_illum(k)具体为：当k＝0时，确定快门时间为设定的固定值ShutTime_0，快门增益为设定的固定值Gain_0；当k＞0时，确定上一次曝光的整体亮度值Global_illum(k)。

4.根据权利要求2所述的方法，其特征在于，权力要求2中所述ShutTime(k+1)和快门增益Gain(k+1)计算过程C具体为：

C1、当Global_illuml(k)-Expect_illum＞Var0时，

如果Gain(k)＞Min_Gain，则

Gain(k+1)＝Gain(k)-lg(Global_illuml(k)-Expect_illum)，ShutTime(k+1)＝ShutTime(k)，否则，如果Gain(k)≤Min_Gain，则

Gain(k+1)＝Min_Gain，ShutTime(k+1)＝ShutTime(k)-lg(Global_illuml(k)-Expect_illum)；

C2、当Global_illum(k)-Expect_illum＜Var1时，

如果ShutTime(k)＜Max_ShutTime，则

ShutTime(k+1)＝ShutTime(k)+lg(Expect_illum-Global_illum(k))，Gain(k+1)＝Gain(k)，否则，如果ShutTime(k)≥Max_ShutTime，则

ShutTime(k)＝Max_ShutTime，Gain(k+1)＝Gain(k)+lg(Expect_illum-Global_illum(k))；

C3、当Var1＜Global_illuml(k)-Expect_illum＜Var0时，

Gain(k+1)＝Gain(k)，ShutTime(k+1)＝ShutTime(k)；

其中，Min_Gain为设定的最低图像增益值，一个经验值为取1；Max_ShutTime为设定的最大曝光时间，一般在1毫秒以内；Var0、Var1为预设阀值，当采集图像范围为0～255时，一个经验值为Var0＝5，Var1＝-5；Expect_illum为预设期望亮度，一个经验值为Expect_illum＝110；公式中使用lg函数，也可以选用不同的函数以调节参数变化速度。

5.根据权利要求1至4任一权项所述的方法，其特征在于，摄像机前端同步过程D包括：

D1、配置第k+1次曝光的曝光参数给摄像机阵列中的每一个摄像机；

D2、通过采集帧率计算曝光起始时间：Δt＝1/Fs(秒)，其中Fs为摄像机的每秒采集帧率；

D3、产生曝光同步信号，同步触发摄像机阵列中的每一个摄像机。

6.一种摄像机阵列参数设置方法与装置，其特征在于，该装置包括：全局亮度统计单元、曝光参数计算单元、曝光参数配置和曝光同步单元；

所述全局亮度统计单元，用于计算摄像机阵列中所有摄像机采集到图像的整体亮度Global_illum；

所述曝光参数计算单元，用于计算摄像机阵列中每一台摄像机的下一次曝光时的曝光时间和图像增益值；

所述曝光参数配置和曝光同步单元，用于发送经过曝光参数计算单元得到的曝光时间和图像增益值到摄像机阵列中的摄像机，并产生曝光同步信号给前端摄像机，摄像机接受到曝光同步信号后，根据曝光参数值开始一帧采集图像的曝光。

7.根据权利6所述的装置，其特征在于，所述的整体亮度Global_illum包括：摄像机阵列采集图像亮度的平均值或取其中部分图像区域的平均值；当所述的整体亮度为N个摄像机组阵列采集图像亮度的平均值时，确定

Global_illuml(k)＝(Illum_CAM_1(k)+Illum_CAM_2(k)+...Illum_CAM_N(k)/N。

8.根据权利6所述的装置，其特征在于，所述曝光参数计算单元包括：曝光参数计算单元比较全局亮度和期望亮度的差异；

当Global_illum(k)-Expect_illum＞Var0时，全局亮度值大于允许的亮度范围，

如果Gain(k)＞Min_Gain，则降低图像增益值，保持曝光时间不变，且：

Gain(k+1)＝Gain(k)-lg(Global_illuml(k)-Expect_illum)，ShutTime(k+1)＝ShutTime(k)，否则，如果Gain(k)≤Min_Gain，则降低曝光快门时间，保持图像增益值不变：

当Global_illum(k)-Expect_illum＜Var1时，全局亮度值小于允许的亮度范围，

如果ShutTime(k)＜Max_ShutTime，则增加曝光快门时间，保持图像增益值不变：

ShutTime(k+1)＝ShutTime(k)+lg(Expect_illum-Global_illum(k))，Gain(k+1)＝Gain(k)，否则，如果ShutTime(k)≥Max_ShutTime，则增加图像增益值，保持曝光时间不变：

当Var1＜Global_illum(k)-Expect_illum＜Var0时，全局亮度值在允许的亮度范围内，此时曝光参数计算单元不对曝光参数进行更新，即：

Gain(k+1)＝Gain(k)，ShutTime(k+1)＝ShutTime(k)。

9.根据权利6所描述的装置，在完成一次曝光参数的计算后得到下一次曝光参数，曝光参数为摄像机阵列中所有摄像机下一次曝光的共同参数；本发明通过曝光参数配置和曝光同步单元完成曝光参数配置和曝光同步触发的功能；曝光同步单元根据预先设置的帧率，计算出每次曝光的间隔时间，并每隔此固定间隔时间发送采集信号给前端摄像机，这个信号可以由I2C、并口等数据总线或其他可为前端传感器接受的模式发出；前端各个摄像机传感器接收到此信息后，立即开始一帧图像的曝光。