CN101963751A - 高分辨率实时全景高动态范围图像获取装置及方法 - Google Patents

Abstract

本发明公开了一种高分辨率实时全景高动态范围图像获取装置及方法，将N台图像获取设备通过L型支架固定在工作台上，且每台设备的镜头水平朝向圆周外侧，镜头的光轴延长线向圆周内交汇于L型支架分布圆周的圆心；将第N+1台图像获取设备镜头垂直向上置于工作台上，镜头的光轴延长线通过所述圆心；该装置置于需拍摄场景的中心位置；图像获取设备与图像处理工作站连接，由图像处理工作站对图像获取设备进行参数设置，连续快门同步触发以获取图像，将获取图像合成一张高分辨率全景高动态范围图像。本发明可以获取高分辨率全景图像，实时生成无畸变的HDR图像，可以获得高清全场景视频。

Description

高分辨率实时全景高动态范围图像获取装置及方法

技术领域

本发明涉及图像处理领域和虚拟现实领域，尤其是一种用于获取360°全景数字图像的装置及方法。

背景技术

目前在全场景高动态范围数字图像采集装置中，Jonas Unger，Stefan Gustavson在文献High Dynamic Range Video for Photometric Measurement of Illumination中设计了一种利用传统感光器件CMOS和快速多次曝光技术相结合的图像获取系统，利用其采集高速，高质量的高动态范围(HDR)图像。该系统使用具有高速并行处理能力和控制逻辑的轻便片上传感器和快速百叶窗式快门。由于快门结构的限制，当设备与场景之间有相对运动时获取的图像会出现垂直幕效应，使得图像的质量下降。该设备通过对圆形玻璃球面的反射光线捕捉来获得全场景的图像，所以无法消除拍摄设备在图像中的成像，并且由于设备及拍摄者在图像的中间部分，使得有效光线遮挡较多。Jessi Stumpfel，Andrew Jones，Paul Debevec等在文献Direct HDR Capture of the Sun and Sky 中设计了一套使用标准的商业数目相机配鱼眼镜头的设备。通过设置相机的快门和光圈，并增加中灰滤镜可以通过捕捉七张不同曝光的图像合成一张HDR图像。该设备的缺点在于，鱼眼镜头的光学性质使得越靠近图像边缘的光线分辨率越低，图像的畸变越大，而且受相机的限制无法获取高分辨率HDR图像。

发明内容

为了克服现有技术分辨率不高，图像畸变严重，动态范围不足，实时性差等不足，本发明提供一种高分辨率全景实时高动态范围图像采集装置，与已有的装置及方法相比，该装置可以实时的获得高分辨率全景高动态范围图像。

本发明解决其技术问题所采用的技术方案是：包括N台图像获取设备、N个L型支架和一个工作台，N＞5；各L型支架的呈圆周均匀分布在工作台上，L型支架的底端固定在工作台上；图像获取设备分别固定在L型支架上端，且每台图像获取设备的镜头水平朝向圆周外侧，每台图像获取设备镜头的光轴延长线向圆周内交汇于一点，该点在工作台的投影为L型支架所分布圆周的圆心。将第N+1台图像获取设备置于工作台上，其镜头垂直向上，镜头的光轴延长线通过L型支架所分布圆周的圆心。该装置置于需拍摄场景的中心位置。图像获取设备通过数据线和控制线与图像处理工作站连接，由图像处理工作站对图像获取设备进行参数设置，连续快门同步以触发获取图像，将获取图像存储在图像处理工作站中并合成一张高分辨率全景高动态范围图像。

所述的图像获取设备配置一枚水平视角大于等于150°的超广角镜头，以减少图像获取设备数量，缩小装置体积。每台图像获取设备的垂直视角大于等于100°，水平放置的N台数字相机的视角重叠须大于等于14°以利于后期图像处理，水平放置的图像获取设备与第N+1台图像获取设备的视角重叠大于等于20°。

所述的图像获取设备采用分辨率大于等于1230万像素的数字相机。

通过9000mA/h，7.4V电源模块为图像获取设备供电，使得一次完全充电后数字相机的连续拍摄图像数量不少于6600张。

使用按照图像获取设备底座形状加工的底座和L形支架快速稳定的固定相机。

本发明还提供一种高分辨率全景实时高动态范围图像采集方法，包括以下步骤：

(1)将所述的高分辨率全景实时高动态范围图像采集装置放置在所摄对象中心位置。

(2)使用任意一台图像获取设备进行测光，自动获取当前场景正确曝光的光圈快门参数，以此作为其他相机的正确光圈快门参数。对于所有的图像获取设备，以正确曝光数据为中心基准，自动生成9组具有相同间隔曝光值(EV)的光圈快门参数序列(-8/3EV，-2EV，-4/3EV，-2/3EV，0EV，+2/3EV，+4/3EV，+2EV，+8/3EV)。

(3)以获得的光圈快门参数序列对图像获取设备进行快门触发，获取多幅不同曝光参数和拍摄角度的图像并进行存储。

(4)对步骤(3)获得的图像进行校正，并且将校正后同一曝光参数下不同拍摄角度的图像进行拼接，得到多幅不同曝光参数的全景图。

(5)通过多幅不同曝光参数的全景图合成一张高分辨率全景高动态范围图像。

校正的方法是用图像获取设备拍摄棋盘格标定板，提取获得图像中的harris角点作为图像特征点。根据棋盘格的物理尺寸和形状得到校正后的理论特征点。根据透镜畸变的原理，通过最小化二乘误差可以求解出图像获取设备线性畸变系数。根据此系数可以校正相机拍摄到的图像。

拼接的方法是将校正好的图像根据图像获取设备之间的相对位置关系，把图像按空间关系并利用泊松融合法拼接在一起，得到一个无底面的N棱柱型图像。

本发明的有益效果是：本发明可以获取分辨率高达4000万像素以上的全景图像，实时生成无畸变的HDR图像，可以获得分辨率为1024*768的高清全场景视频。该发明装置有较强的机动性，适合野外长时间工作。由于N(N＞5)台图像获取设备在20秒内获得了至少9*N幅图像，相比现有技术，通过图像处理软件可以实时获得高动态范围图像。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是本发明采集装置的示意图；

图2是D5000相机支撑底座；

图3是采集装置底座圆盘；

图4是L型支架；

图5是全景图几何构成示意图；

图6是图像获取单元分布图；

图7是图像处理方法的流程图。

具体实施方式

一、装置实施例：

1、将5套数字单反相机单元：包括分辨率为1230万像素的尼康D5000数字单反相机和尼康AF DX Fisheye-Nikkor 10.5mm/z.8G ED镜头并安装在按照相机底部形状加工的铝合金底座上(图2)。

2、将相机单元固定在铝合金的L型支架(图1)的长边，将L支架的短边均匀的固定在圆形的铝合金工作台(图3)上，使得相机单元水平方向间隔72°呈放射性布设并固定在台面上，镜头朝向周边，每台相机的光轴延长线向内交与一点，该点在圆形工作台的投影为其圆心。

3、将第六套数字单反相机单元置于圆形工作台中心，其镜头向上，其光轴延长线通过圆形工作台的圆心。将整个工作台固定在百诺A-457M8三角架上。每台相机的垂直视角为100°，水平放置的5台相机的视角重叠为14°，水平放置相机与第六台相机的视角重叠最小为20°。

4、使用5组，每组由8颗三洋18650电芯通过两串四并的方式组成电压为7.4V，容量为9600毫安的供电单元为每个相机单元供电，可保证每个相机单元持续拍摄6400以上张图像。

5、数字单反相机单元通过USB数据线与全景图像处理工作站DELL M6500连接。

二、方法实施例：

由本发明中的控制软件对相机进行参数设置，快门触发，同步获取图像。

1、将所述的高分辨率全景实时高动态范围图像采集装置放置在所摄对象中心位置。

2、随机选择一台D5000相机进行测光，自动获取当前场景正确曝光的光圈快门等参数，以此作为其他相机的正确光圈快门等参数。对于所以的图像获取设备，以正确曝光数据为中心基准，自动生成9组具有相同间隔曝光值(EV)的曝光参数序列(-8/3EV，-2EV，-4/3EV，-2/3EV，0EV，+2/3EV，+4/3EV，+2EV，+8/3EV)。

3、通过同步控制模块，以上述曝光参数序列对相机进快门行触发，获取图像并存储在图像处理工作站中。一个场景的拍摄可以获得64张图像。

4、使用每组相机单元拍摄5*5的棋盘格，采用harris角点检测算法提取棋盘格的角点作为图像特征点(x_i，y_i)i＝1，2....36。以左上角图像特征点为基准，根据棋盘格的物理尺寸和形状得到校正后的理论特征点

i＝1，2...36。δ_x，δ_y是非线性形变值：

δ_x(x，y)＝k₁x(x²+y²)+(p₁(3x²+y²)+2p₂xy)+s₁(x²+y²)

δ_y(x，y)＝k₂x(x²+y²)+(p₂(3x²+y²)+2p₂xy)+s₂(x²+y²)

其中第一项成为径向畸变系数，第二项为离心畸变，第三项为薄棱镜畸变，式中的k₁，k₂，p₁，p₂，s₁，s₂称为线性畸变系数。

根据畸变的原理：

${\mathrm{\δ}}_x(x,y)=\stackrel{\‾}{x}-x$

${\mathrm{\δ}}_y(x,y)=\stackrel{\‾}{y}-y$

将36对点的坐标带入方程，通过最下化二乘误差可以求解出每台相机的线性畸变系数。根据系数对每台相机获得的畸变图像进行校正。随后对图像进行拼接，拼接过程根据六个照相机之间的相对位置关系，对图像进行几何拼接，得到一个无底面的五棱柱，再将五棱柱面上的图像投影到球面，完成全景图像拼接。

5、合成HDR图像。

HDR合成过程是利用多幅同一场景不同曝光的图像，恢复成像系统的光照响应曲线，用以获得相机曝光量和图像像素值之间的映射关系，进而将上述序列图像融合成一幅该场景的HDR图像。HDR图像记录了光线的RGBE值，可以真实的反映自然环境光照的相关信息。我们首先通过一个图像序列计算出光照响应函数，再逐像素恢复真实光照的强度值，最后对图像进行不同密度的图像采样。

Claims (7)

1.一种高分辨率实时全景高动态范围图像获取装置，包括N+1台图像获取设备、N个L型支架和一个工作台，N＞5，其特征在于：各L型支架的呈圆周均匀分布在工作台上，L型支架的底端固定在工作台上；N台图像获取设备分别固定在L型支架上端，且每台图像获取设备的镜头水平朝向圆周外侧，每台图像获取设备镜头的光轴延长线向圆周内交汇于一点，该点在工作台的投影为L型支架所分布圆周的圆心；将第N+1台图像获取设备置于工作台上，其镜头垂直向上，镜头的光轴延长线通过L型支架所分布圆周的圆心；该装置置于需拍摄场景的中心位置；图像获取设备通过数据线和控制线与图像处理工作站连接，由图像处理工作站对图像获取设备进行参数设置，连续快门同步以触发获取图像，将获取图像存储在图像处理工作站中并合成一张高分辨率全景高动态范围图像。

2.根据权利要求1所述的高分辨率实时全景高动态范围图像获取装置，其特征在于：所述的图像获取设备配置一枚水平视角大于等于150°的超广角镜头，每台图像获取设备的垂直视角大于等于100°，水平放置的N台数字相机的视角重叠须大于等于14°，水平放置的图像获取设备与第N+1台图像获取设备的视角重叠大于等于20°。

3.根据权利要求1所述的高分辨率实时全景高动态范围图像获取装置，其特征在于：所述的图像获取设备采用分辨率大于等于1230万像素的数字相机。

4.根据权利要求1所述的高分辨率实时全景高动态范围图像获取装置，其特征在于：采用9000mA/h，7.4V电源模块为图像获取设备供电。

5.一种利用权利要求1所述装置获取高分辨率实时全景高动态范围图像的方法，其特征在于包括下述步骤：

(1)将所述的高分辨率全景实时高动态范围图像采集装置放置在所摄对象中心位置；

(2)使用任意一台图像获取设备进行测光，自动获取当前场景正确曝光的光圈快门参数，以此作为其他相机的正确光圈快门参数；对于所有的图像获取设备，以正确曝光数据为中心基准，自动生成9组具有相同间隔曝光值EV的光圈快门参数序列(-8/3EV，-2EV，-4/3EV，-2/3EV，0EV，+2/3EV，+4/3EV，+2EV，+8/3EV)；

(3)以获得的光圈快门参数序列对图像获取设备进行快门触发，获取多幅不同曝光参数和拍摄角度的图像并进行存储；

(4)对步骤(3)获得的图像进行校正，并且将校正后同一曝光参数下不同拍摄角度的图像进行拼接，得到多幅不同曝光参数的全景图；

(5)通过多幅不同曝光参数的全景图合成一张高分辨率全景高动态范围图像。

6.根据权利要求5所述的高分辨率实时全景高动态范围图像获取方法，其特征在于：所述校正的方法是用图像获取设备拍摄棋盘格标定板，提取获得图像中的harris角点作为图像特征点；根据棋盘格的物理尺寸和形状得到校正后的理论特征点；根据透镜畸变的原理，通过最小化二乘误差可以求解出图像获取设备线性畸变系数；根据此系数可以校正相机拍摄到的图像。

7.根据权利要求5所述的高分辨率实时全景高动态范围图像获取方法，其特征在于：所述拼接的方法是将校正好的图像根据图像获取设备之间的相对位置关系，把图像按空间关系并利用泊松融合法拼接在一起，得到一个无底面的N棱柱型图像。

Images