CN104702971B - 相机阵列高动态范围成像方法 - Google Patents

Abstract

本发明公开了一种相机阵列高动态范围成像方法，用于解决现有相机阵列成像方法动态范围低的技术问题。技术方案是采用测光表或相机内置测光器获得目标场景的最亮和最暗亮度，得到一组优化的曝光包围级数，确定阵列中参与曝光的相机组合并控制参与相机组合对目标场景同时拍摄，获得一组包含目标场景不同曝光设置的低动态范围图像。对该组低动态范围图像依据相机布局与目标场景的几何关系进行几何校正，获得校正后涵盖目标场景动态范围的一组低动态范围图像。将多曝光技术获取高动态范围图像的总曝光时间等于多次曝光之和减小为曝光包围组合中的一次最长曝光时间。解决了静态场景高动态范围成像多次曝光耗时长，动态场景高动态范围成像的鬼影问题。

Description

相机阵列高动态范围成像方法

技术领域

本发明涉及数字成像领域，特别是涉及一种相机阵列高动态范围成像方法。

背景技术

数字成像设备的成像分辨率和动态范围是衡量成像设备成像质量的两项主要指标，数字成像设备的成像分辨率在近几十年得到了飞速发展，但动态范围的提升一直很小。以至于在逆光或光线变化较大的场景应用中，成像细节难以捕获。

当前的数字成像设备单次曝光成像的动态范围远低于人类视觉的可视动态范围(包括专业级单反相机，专业监控设备，个人手持终端等)。由于其单次曝光可获得图像的动态范围有限，被称为低动态范围成像设备。采用单台相机多次曝光的手段进行高动态范围成像的合成是目前被广泛采用的手段，但仍存在以下问题：单台相机多次曝光耗时长，总曝光时间是多次曝光成像时间之和，所以仅适用于静态场景拍摄；对于动态场景拍摄，由于有运动目标的位移，不同曝光的低动态图像合成后会导致鬼影等问题。

发明内容

为了克服现有相机阵列成像方法动态范围低的不足，本发明提供一种相机阵列高动态范围成像方法。该方法利用已有的普通相机组成相机阵列，采用测光表或相机内置测光器获得目标场景的最亮和最暗亮度，计算得到一组优化的曝光包围级数，确定阵列中参与曝光的相机组合并控制参与相机组合对目标场景同时拍摄，获得一组包含目标场景不同曝光设置的低动态范围图像。然后对该组低动态范围图像依据相机布局与目标场景的几何关系进行几何校正，获得校正后涵盖目标场景动态范围的一组低动态范围图像。从而将传统多曝光技术获取高动态范围图像的总曝光时间等于多次曝光之和减小为曝光包围组合中的一次最长曝光时间。可以解决现有静态场景高动态范围成像多次曝光技术耗时长，动态场景高动态范围成像的鬼影问题。

本发明解决其技术问题所采用的技术方案是：一种相机阵列高动态范围成像方法，其特点是采用以下步骤：

步骤一、将N台具有相同成像特征的相机用支架固定组成平行式相机阵列，每个相机可在空间上以多种布局方式偏离另一相机。具体相机阵列布局采用规则网格形、圆形或非规则分散布局形式。为减少成像误差，固定时，应保证相机彼此之间最小等间距，并保证N台相机的镜头主轴线平行。固定后，定义相机阵列中心位置相机为基准相机。

步骤二、将N台相机用数据线依次连接至控制计算机。控制计算机控制相机阵列进行拍摄，并接收、控制相机阵列中每台相机传输的运行参数、数据并进行相关计算处理。利用测光表或阵列中相机测光设备获得目标场景的最亮、最暗区域亮度；

步骤三、依据相机阵列中相机单次曝光的动态范围计算相机阵列中的单个相机响应函数，确定优化曝光包围的次数，确定相机阵列中参与曝光的相机组合。优化曝光包围具体步骤如下：

(1)计算相机阵列中单个相机响应函数。

(2)以测光所得的目标场景最暗区域亮度值为起始，由相机的曝光级数确定单次曝光的响应函数区间，以单次曝光的响应函数区间为界向最亮区域亮度值迭代，直到覆盖最亮区域亮度值结束。

(3)迭代的次数即为优化的曝光次数，优化的曝光包围次数优于相机自动曝光包围步数，并能确保目标场景落入相机阵列感光动态范围。

(4)以优化的曝光次数为准，选择相机阵列中距离基准相机最近的相机作为目标场景参与曝光的相机组合。

步骤四、以优化的曝光包围的中间值设置中心基准相机的曝光时间、光圈值和焦距，并依次设置参与曝光的相机组合的其它相机的曝光参数，然后控制同时开始拍摄，获得一组具有相同光圈和焦距，不同曝光时间的涵盖目标场景动态范围的低动态范围图像。

步骤五、对获得的一组图像采用以下公式进行几何校正。

d＝b*f/z；

其中，b表示非基准相机相对于基准相机的距离，z表示物体与相机阵列的镜头所在平面的垂直距离，即物体的深度，f表示镜头的焦距，d表示非基准相机获取图像相对于基准相机获取参考图像的偏移量。

通过以上公式获得非基准相机获取图像相对于基准相机获取参考图像的偏移量d，将非基准相机所获取图像的每一个像素分别补偿对应的偏移量，获得校正后的图像。

本发明的有益效果是：该方法利用已有的普通相机组成相机阵列，采用测光表或相机内置测光器获得目标场景的最亮和最暗亮度，计算得到一组优化的曝光包围级数，确定阵列中参与曝光的相机组合并控制参与相机组合对目标场景同时拍摄，获得一组包含目标场景不同曝光设置的低动态范围图像。然后对该组低动态范围图像依据相机布局与目标场景的几何关系进行几何校正，获得校正后涵盖目标场景动态范围的一组低动态范围图像。从而将传统多曝光技术获取高动态范围图像的总曝光时间等于多次曝光之和减小为曝光包围组合中的一次最长曝光时间。解决了现有静态场景高动态范围成像多次曝光技术耗时长，动态场景高动态范围成像的鬼影问题。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明方法中相机阵列组成示意图。

图2是图1中相机阵列图像几何校正示意图。

图3是本发明相机阵列高动态范围成像方法的流程图。

图中，1-一号相机，2-二号相机，3-三号相机，4-四号相机，5-五号相机，6-六号相机，7-七号相机，8-八号相机，9-九号相机。

具体实施方式

参照图1-3。以9台相机构成3*3相机阵列为例详细说明本发明。本发明相机阵列高动态范围成像方法具体包括以下步骤：

1、将9台相机以三行三列的方式以支架固定组成平行式相机阵列。固定时，水平方向的相机处于同一水平线上，垂直方向的相机处于同一垂线上，相机彼此之间在水平和垂直方向应保证最小等间距，并保证N台相机的镜头主轴线平行。对9台相机依次编号，分别为一号相机1、二号相机2、三号相机3、四号相机4、五号相机5、六号相机6、七号相机7、八号相机8、九号相机9。定义相机阵列中心位置相机为基准相机，即五号相机5，则非基准相机相对于基准相机镜头主轴的距离可直接测量获得。具体相机阵列布局采用规则网格形、圆形或非规则分散布局形式。

具体实施方式相机阵列中相机的数目可基于实际应用的需求以及选用相机的感光度确定。可能制约相机数目的一个因素是弱光环境下、强光环境下的相机感光度问题。为了改进强光环境下相机阵列的动态范围，阵列中部分相机采用不同亮度的滤镜是有利的。具有滤镜的相机和阵列中的其它相机在不同曝光条件下可同时运行，对滤镜相机拍摄的图像可被处理以生成高光环境的图像。

2、将9台相机用数据线依次连接至控制计算机。控制计算机是用于控制相机阵列进行拍摄，能够接收、控制相机阵列中每台相机传输的运行参数、数据并进行相关计算处理的运算平台。控制计算机对相机的控制可使用阵列中所用相机厂商提供的软件开发包(如佳能的SDK包)，也可采用自己开发的二次开发包。然后，对目标场景利用相机内置测光或外部测光表测光，获取目标场景最亮、最暗区域亮度。

3、依据相机阵列中相机单次曝光的动态范围计算相机阵列中的单个相机响应函数，确定优化曝光包围的次数，从而确定相机阵列中参与曝光的相机组合。优化的曝光包围算法对于减少曝光包围的次数，从而降低参与曝光的相机个数是重要的。优化曝光包围计算方法具体算法描述如下：

1)计算相机阵列中单个相机响应函数，可采用任何一种公开的方法，比如：PaulDebevec et al.，“Recovering High Dynamic Range Radiance Maps fromPhotographs”，Computer Graphics(ACM SIGGRAPH97),(August,16,1997),一文所述方法；

2)以测光所得的目标场景最暗区域亮度值为起始，由相机的曝光级数(stops)确定单次曝光的响应函数区间，以单次曝光的响应函数区间为界向最亮区域亮度值迭代，直到覆盖最亮区域亮度值结束。

3)迭代的次数即为优化的曝光次数，优化的曝光包围次数优于相机自动曝光包围步数(steps)，并能确保目标场景落入相机阵列感光动态范围。

4)以优化的曝光次数为准，选择相机阵列中距离基准相机最近的相机作为目标场景参与曝光的相机组合。比如计算获得的曝光次数为三次，则参与曝光的相机组合可为基准相机五号相机5、二号相机2和八号相机8，或者基准相机五号相机5、四号相机4和六号相机6。

4、以优化的曝光包围的中间值设置中心基准相机五号相机5的曝光参数(曝光时间，光圈值，焦距)，并依次设置参与曝光的相机组合的其它相机的曝光参数，不同的相机设置相同的光圈值，焦距，不同的曝光时间，然后控制同时开始拍摄，获得一组具有相同光圈，焦距，不同曝光时间的涵盖目标场景动态范围的低动态范围图像。

5、对获得的一组图像进行几何校正。几何校正的目的是为了补偿相机阵列中不同相机空间位置布局不同导致的局部成像差异。由于相机阵列中的每台相机位置固定，并且采用平行式布局，使得相机镜头所在平面的垂直方向即镜头光轴平行，因此可获得阵列中每台相机的相对距离、相机和目标的深度信息，从而进行几何校正。几何校正具体算法描述如下：

以三台相机组成的相机阵列为例。定义中心位置五号相机5为基准相机，其获得的图像定义为参考图像。则四号相机4，六号相机6相对于参考图像进行几何校正可采用以下公式：

d＝b*f/z；

其中，b表示非基准相机相对于基准相机的距离；

z表示物体与相机阵列的镜头所在平面的垂直距离，即物体的深度；

f表示镜头的焦距；

d表示非基准相机获取图像相对于基准相机获取的参考图像的偏移量。

以四号相机4所获取图像的几何校正为例，通过以上公式计算获得四号相机4相对于基准相机五号相机5的图像偏移量d后，将四号相机4所获取图像的每一个像素分别补偿对应的偏移量，即可获得校正后的图像。同理可获得六号相机6的校正图像。以其他实施方式布局的相机阵列中非基准相机获取图像可采用相同的方法依次校正。

6、对以上步骤获取的一组涵盖目标场景动态范围的低动态范围图像，可采用目前已公开的任何一种合成手段合成为单张高动态范围图像用于存储，显示，本发明对具体的合成方法在此不作特殊要求；也可直接将该组图像存储，用于直接多级叠加式的高动态范围投影显示设备显示。

Claims (1)

1.一种相机阵列高动态范围成像方法，其特征在于包括以下步骤：

步骤一、将N台具有相同成像特征的相机用支架固定组成平行式相机阵列，每个相机可在空间上以多种布局方式偏离另一相机；具体相机阵列布局采用规则网格形、圆形或非规则分散布局形式；为减少成像误差，固定时，应保证相机彼此之间最小等间距，并保证N台相机的镜头主轴线平行；固定后，定义相机阵列中心位置相机为基准相机；

步骤二、将N台相机用数据线依次连接至控制计算机；控制计算机控制相机阵列进行拍摄，并接收、控制相机阵列中每台相机传输的运行参数、数据并进行相关计算处理；利用测光表或阵列中相机测光设备获得目标场景的最亮、最暗区域亮度；

步骤三、依据相机阵列中相机单次曝光的动态范围计算相机阵列中的单个相机响应函数，确定优化曝光包围的次数，确定相机阵列中参与曝光的相机组合；优化曝光包围具体步骤如下：

(1)计算相机阵列中单个相机响应函数；

(2)以测光所得的目标场景最暗区域亮度值为起始，由相机的曝光级数确定单次曝光的响应函数区间，以单次曝光的响应函数区间为界向最亮区域亮度值迭代，直到覆盖最亮区域亮度值结束；

(3)迭代的次数即为优化的曝光次数，优化的曝光包围次数优于相机自动曝光包围步数，并能确保目标场景落入相机阵列感光动态范围；

(4)以优化的曝光次数为准，选择相机阵列中距离基准相机最近的相机作为目标场景参与曝光的相机组合；

步骤四、以优化的曝光包围的中间值设置中心基准相机的曝光时间、光圈值和焦距，并依次设置参与曝光的相机组合的其它相机的曝光参数，然后控制同时开始拍摄，获得一组具有相同光圈和焦距，不同曝光时间的涵盖目标场景动态范围的低动态范围图像；

步骤五、对获得的一组图像采用以下公式进行几何校正；

d＝b*f/z；

其中，b表示非基准相机相对于基准相机的距离，z表示物体与相机阵列的镜头所在平面的垂直距离，即物体的深度，f表示镜头的焦距，d表示非基准相机获取图像相对于基准相机获取参考图像的偏移量；

通过以上公式获得非基准相机获取图像相对于基准相机获取参考图像的偏移量d，将非基准相机所获取图像的每一个像素分别补偿对应的偏移量，获得校正后的图像。