CN106060418A - 基于imu信息的宽动态图像融合方法 - Google Patents

Abstract

本发明公开了一种基于IMU信息的宽动态图像融合方法。通过设置不同的快门时间，对同一场景进行多次长短曝光，选取三帧明暗区域反差较大的图像，分别为最短曝光图像帧、适中曝光图像帧、最长曝光图像帧；将三帧图像分别划分为M个区域，对每个区域基于IMU传感器检测信息进行欧拉角多数据融合的姿态解算，得到每个区域的运动矢量，计算运动矢量均值作为校正量，对各图像帧进行配准校正；结合相机响应函数和亮度映射函数对校正后的不同曝光图像采用最小二乘法进行分区段线性拟合，经过映射得到宽动态图像，最后将宽动态图像采用多帧累加的方法进行融合。该方法优化了直接由两帧图像融合出现过渡区域不自然的现象，从而得到清晰、自然的宽动态图像。

Description

基于IMU信息的宽动态图像融合方法

技术领域

本发明属于图像处理技术领域，涉及宽动态图像融合方法，特指一种基于IMU信息的宽动态图像融合方法。

背景技术

在现实生活中我们经常会碰到这样一个问题，同一场景下同时存在高亮度与低亮度的景物，如夏天室内的我们，能同时看到强光下较亮的室外场景和相对较暗的室内场景。这是由于自然光下人眼的成像能力较高，大部分宽动态范围场景中的细节信息都可以被获取，但普通的成像设备在同时记录所有细节信息时会出现这样的现象：当选择合适曝光度捕捉室外较亮处图像信息时，室内场景的信息丢失严重；当选择合适曝光度捕捉室内较暗处图像信息时，室外场景的信息丢失严重。传统的相机感光元件因所能检测的动态范围有限而无法准确的采集真实场景的全部信息，宽动态技术则是在相机动态范围不足时让相机能够表现真实场景信息的一种技术。

宽动态范围是一个相对的概念，通常把传统的动态范围有限的普通照相机获得的图像称为低动态范围图像，将宽动态技术得到的图像称为宽动态范围图像(WDRI，WideDynamic Range Image)。目前的WDRI获取技术有着多种分类，针对宽动态图像不同的获取方法研究人员进行了相关研究，如Brajovic和Kanade等基于改进采集设备在硬件上直接获取的方法设计了一款大规模集成电路，每一个感光单元增加一个局部处理电路，再增加一些全局电路，使每个全局电路负责协调控制空间上一定范围内的多个局部电路。这种方法在一次曝光中，各个感光单元的曝光时间能够智能控制，但并非完全相同，因此所有像素都不饱和；基于高动态范围相机的方式，主要通过工艺提高相机传感器的动态范围，获取一幅高动态范围图像，供后续软件处理。一般采用双通道或多通道采样的方式同时得到不同曝光量的图像，然后合成输出。这种方法在工艺层面对传感器芯片进行特殊设计改造，成本太高，难以广泛普及；基于普通传感器的获取方式主要使用传统相机设备，得到一组不同曝光度的图像，再通过软件的方法对这组图像处理来实现动态范围扩展的目的。如周继权等人提出基于相机阵列的宽动态图像获取算法，采用多部相机设置不同曝光参数在同一时间拍摄，校正后合成，该方法数据量大，计算复杂，容易出现重影；Rovidz A和Varlaki P提出用亮度梯度函数评价分割为等大的图像块信息，选择信息量最大的区域拼接，得到宽动态图像，该方法容易造成交界处不平滑，边缘不连续，合成效果差。

发明内容

为了解决图像在拍摄过程中因随机抖动造成重影、拖影现象，本发明提出一种基于IMU信息的宽动态图像融合方法。本发明在图像融合之前，首先基于IMU信息对采集的多帧图像校正，保证同一场景不同曝光度下的多帧图像相对位置信息的一致性，避免出现重影、模糊现象；另外选用三帧不同曝光度图像，结合相机响应函数和亮度映射函数采用最小二乘法分区段进行线性拟合，映射得到宽动态图像，并采用多帧累加的方法融合，这一过程优化了直接由两帧图像融合出现过渡区域不自然的现象，从而得到清晰、自然的宽动态图像。

本发明的技术方案是：

一种基于IMU信息的宽动态图像融合方法，通过设置不同的快门时间，对同一场景进行多次长短曝光，选取三帧明暗区域反差较大的图像，分别为最短曝光图像帧、适中曝光图像帧、最长曝光图像帧；将三帧图像分别划分为M个区域，对每个区域基于IMU传感器检测信息进行欧拉角多数据融合的姿态解算，得到每个区域的运动矢量，计算运动矢量均值作为校正量，对各图像帧进行配准校正；结合相机响应函数和亮度映射函数对校正后的不同曝光图像采用最小二乘法进行分区段线性拟合，经过映射得到宽动态图像，最后将宽动态图像采用多帧累加的方法进行融合。

一种基于IMU信息的宽动态图像融合方法，具体包括以下步骤：

S1.摄像机上安装有IMU传感器，摄像机通过设置不同的快门时间，对同一场景进行长短曝光拍摄，获取多帧同时包含明暗区域的图像(指同一场景下同时包含明亮区域和黑暗区域，如在室内拍摄人站在窗口的图像，窗外景色呈现亮区看不清，室内景色呈现暗区不清晰)，从中选取三帧分别为最短曝光图像帧、适中曝光图像帧、最长曝光图像帧(长短曝光是由快门时间和光圈指数共同控制实现的，如采集图像时分别获取不同曝光为-3EV、-2EV、0EV、+2EV、+3EV的五张图，则从中选取三幅图像为-3EV、0EV、+3EV)；与此同时IMU传感器输出这三帧图像对应的IMU信息；

S2.将步骤S1中得到的三帧图像分别进行等划分处理，每帧图像均等分为M个区域，对每帧图像的每个区域基于IMU传感器检测到的IMU信息进行欧拉角多数据融合的姿态解算，得到每个区域的运动矢量(包括通过IMU信息计算得到的旋转角度，即横滚角、俯仰角、偏航角)；

S3.由步骤S2得到每帧图像的每个区域的运动矢量，计算单帧图像的运动矢量均值，以此作为运动校正矢量，分别对三帧图像进行旋转配准校正；

S4.结合相机响应函数和亮度映射函数对步骤S3得到的不同曝光值下的校正图像，利用最小二乘法进行分区段线性拟合，经过映射得到宽动态图像；

S5.将步骤S4得到的图像采用多帧累加的方法进行融合，并输出多帧图像融合后得到的宽动态图像。

本发明S1中，IMU传感器包括三轴加速度计、三轴磁力计和陀螺仪，三轴加速度计感测摄像机载体的重力加速度信息；三轴加速度计和三轴磁力计共同测量摄像机载体与地球磁场北极的水平夹角，估算偏航角α；陀螺仪测量摄像机载体运动中产生的角速度，对角速度进行一次积分可得到角度姿态，与三轴加速度计组合得到加速度信号的重力分量，估算翻滚角γ和俯仰角β。

本发明S2中，每个区域的运动矢量的获取方法如下：

首先定义空间直角坐标系为基准坐标系O-X_nY_nZ_n，绕Z_n轴旋转α角得到坐标系O-X₁Y₁Z₁，然后将坐标系O-X₁Y₁Z₁绕X₁轴旋转β角得到O-X₂Y₂Z₂、最后将坐标系O-X₂Y₂Z₂绕Y₂轴旋转γ角得到载体坐标系O-X_bY_bZ_b。

原空间直角坐标系O-X_nY_nZ_n经旋转后得到载体坐标系O-X_bY_bZ_b，在姿态解算过程中，即参量α表示偏航角，β表示俯仰角，γ表示翻滚角，根据坐标系O-X_nY_nZ_n和坐标系O-X_bY_bZ_b之间的关系可以得到姿态矩阵的表达式为：

$C_n^b=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\γ}& \sin \mathrm{\γ}\\ 0& -\sin \mathrm{\γ}& cos\mathrm{\γ}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

根据三轴加速度计在静止状态下在O-X_nY_nZ_n坐标系中X_n、Y_n、Z_n三个轴方向上的重力分量，设重力加速度为1g，推算出三轴加速度计的倾斜角表达式为：

$\left[\begin{array}{c}{A}_x^a\\ A_y^a\\ A_z^a\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& -\sin \mathrm{\β}\\ \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\cos \mathrm{\γ}\sin \mathrm{\α}& \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\cos \mathrm{\γ}\sin \mathrm{\α}& \sin \mathrm{\γ}\cos \mathrm{\β}\\ \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\sin \mathrm{\γ}\sin \mathrm{\α}& \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\sin \mathrm{\γ}\cos \mathrm{\α}& \cos \mathrm{\γ}\cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(2\right)$

其中分别表示三轴加速度计在各坐标轴方向上测得的值，利用反三角函数可得到翻滚角γ和俯仰角β的计算表达式为：

$\mathrm{\β}=\arcsin (-A_x^a)---\left(3\right)$

$\mathrm{\γ}=\arcsin \left(\frac{A_y^a}{cos\mathrm{\β}}\right)---\left(4\right)$

其中，当俯仰角达到正负90°时，将翻滚角设为0°。

航向角通过三轴磁力计与三轴加速度计一起组成的电子罗盘，进行测量而得到。若在载体坐标系O-X_bY_bZ_b下三轴磁力计的测量值为则偏航角α的推导公式可表示为：

$\mathrm{\α}=\arctan \left(\frac{h_y^b}{h_x^b}\right)---\left(5\right)$

最后，利用陀螺仪测得的角速度信息推导出当前时刻的欧拉角微分方程：

$\left[\begin{array}{c}{\mathrm{\γ}}^{\′}\\ {\mathrm{\β}}^{\′}\\ {\mathrm{\α}}^{\′}\end{array}\right]=\frac{1}{\cos \mathrm{\β}}\left[\begin{array}{ccc}cos\mathrm{\β}& sin\mathrm{\γ}sin\mathrm{\β}& cos\mathrm{\γ}sin\mathrm{\β}\\ 0& cos\mathrm{\β}cos\mathrm{\γ}& -sin\mathrm{\γ}cos\mathrm{\β}\\ 0& \sin \mathrm{\γ}& \cos \mathrm{\γ}\end{array}\right]\left[\begin{array}{c}{w}_x\\ w_y\\ w_z\end{array}\right]---\left(6\right)$

其中，[γ' β' α']^T表示欧拉角的微分，当前时刻的欧拉角表示为[γ(t) β(t) α(t)]^T，前一时刻的欧拉角表示为[γ(t-1) β(t-1) α(t-1)]^T，当采样时间Δt足够小时，可得到积分方程式：

[γ(t) β(t) α(t)]^T＝[γ(t-1) β(t-1) α(t-1)]^T+[γ' β' α']^TΔt (7)

本发明的步骤S3中，由步骤S2得到每帧图像的每个区域的运动矢量，计算单帧图像的运动矢量均值如下：

$(\stackrel{\‾}{\mathrm{\α}},\stackrel{\‾}{\mathrm{\β}},\stackrel{\‾}{\mathrm{\γ}})=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}\left(\mathrm{\α}\right(t),\mathrm{\β}(t),\mathrm{\γ}(t\left)\right).---\left(8\right)$

本发明的步骤S1至S3作为第一部分：其将选取的最短曝光图像帧、适中曝光图像帧和最长曝光图像帧三帧图像利用IMU信息进行旋转运动的解算和旋转校正，起到防抖稳像的作用。

参照图4，下面进一步详细叙述的S4至S5是本发明的第二部分：其将校正后的图像进行分区段线性拟合，得到动态扩展的完整拟合曲线L函数，基于L函数对三帧图像累加融合，得到最后的宽动态图像。首先为了清楚表述，在下面的步骤中用T1表示经步骤S3校正后的最短曝光图像帧，T2表示经步骤S3校正后的适中曝光图像帧，T3表示经步骤S3校正后的最长曝光图像帧，T4为T1按照T3的曝光时间重新曝光得到的新图像，步骤S4就是将重新曝光得到的新图像T4与校正后的最长曝光图像帧T3进行分区段线性拟合得到动态扩展的L函数，T3和T4合成后得到宽动态图像T5；步骤S5就是将步骤S4中得到的宽动态图像T5与校正后的适中曝光图像帧T2进行图像累加融合，避免过渡区域生硬化，得到最终的宽动态图像。

本发明的步骤S4中，设校正后的最短曝光图像帧T1的第i个像素点的亮度值为B_i1，校正后的最长曝光图像帧T3的第i个像素点的亮度值为B_i2，将校正后的最短曝光图像帧T1按照校正后的最长曝光图像帧T3的曝光时间进行重新曝光得到新图像帧T4，用B_i1’表示新图像帧T4中第i个像素点的亮度值，这样可以将不同曝光度下图像融合的问题转化为相同曝光度下图像融合的问题；

定义函数L表示B_i1与B_i1’的映射关系，则有B′_i1＝L(B_i1)，经过对校正后的最短曝光图像帧按照最长曝光图像帧的曝光时间进行重新曝光之后，对于校正后的最短曝光图像帧T1和重新曝光之后的新图像帧T4，相机响应函数f(这里是基于Debevec的相机响应函数，是经典理论方法之一)与L函数之间存在着固有关系如下：

L(x)＝f(K·f^-1(x))，其中K为曝光比，f^-1(x)为函数f(x)的逆函数，L函数的定义域为[0,2ⁿ-1]，n表示两帧低动态范围图像的数据位宽，为8位；

同时，不同曝光度图像帧对应位置上像素点之间存在着亮度映射关系，用函数H(x)表示，若g₁表示校正后的最短曝光图像帧的灰度值，g₂表示校正后的最长曝光图像帧的灰度值，则不同曝光度之间的亮度映射函数存在对应关系为g₂＝H(g₁)，由亮度映射函数的性质得到，在校正后的最长曝光图像帧T3和校正后的最短曝光图像帧T1的公共未饱和区(若校正后的最短曝光图像帧在S区域未饱和，校正后的最长曝光图像帧在S区域也未饱和，则S为公共未饱和区域。即Ⅱ区)的L函数与亮度映射函数相等。

基于L函数与相机响应函数f和亮度映射函数H三者之间的关系可知，如果已知亮度映射函数，则可以得到公共未饱和区的L函数，再通过公共未饱和区的L函数曲线(就是由亮度映射函数得到的L函数所表示的曲线)预测饱和区(利用最小二乘法对公共未饱和区的点进行线性拟合，然后线性延伸扩展到饱和区，亮度值接近0时达到暗饱和，接近255时达到亮饱和)的L函数，得到动态扩展的完整L函数，基于L函数对T3和T4进行累加融合，合成后得到宽动态图像T5。

根据不同曝光图像的亮度信息映射情况，按照图像亮度映射函数分为三个区域，由于校正后的最短曝光图像帧中的大多数像素点的亮度值接近0，达到暗饱和状态而无法表达暗处细节，定义为Ⅰ区；校正后的最长曝光图像帧中的大多数像素点的亮度值接近255，达到亮饱和状态而无法表达亮处细节，定义为Ⅲ区；在校正后的最长曝光图像帧和最短曝光图像帧均未达到饱和区，两幅图像中均能清晰表达的公共细节部分，定义为Ⅱ区。

对亮度映射函数的Ⅱ区利用最小二乘法进行一阶线性拟合，得到近似L函数。设Ⅱ区域的宽度用参数ε₁和ε₂界定，则Ⅱ区域可表示为i∈[ε₁,255-ε₂]，i表示某个点的灰度值；区域内包含m+1个点，设亮度映射函数的表达式为H(x)＝a₀+a₁x，将问题转化为最小化目标函数：其中x_j和y_j表示第j个点的坐标，分别对a₀和a₁求偏导，得到(9)式：

$\left\{\begin{array}{c}\frac{\∂M}{\∂a_0}=2\underset{j=0}{\overset{m}{\Σ}}(a_0+a_1{x}_j-y_j)\\ \frac{\∂M}{\∂a_1}=2\underset{j=0}{\overset{m}{\Σ}}(a_0+a_1{x}_j-y_j)x_j\end{array}\right.---\left(9\right)$

然后令各自的偏导值为0，得到式子：

$\left[\begin{array}{cc}m+1& \underset{j=0}{\overset{m}{\Σ}}{x}_j\\ \underset{j=0}{\overset{m}{\Σ}}{x}_j& \underset{j=0}{\overset{m}{\Σ}}{x}_j^2\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\end{array}\right]=\left[\begin{array}{c}\underset{j=0}{\overset{m}{\Σ}}{y}_j\\ \underset{j=0}{\overset{m}{\Σ}}{x}_j{y}_j\end{array}\right]---\left(10\right)$

由(10)式可以求得a₀和a₁的值，得到近似L函数的表达式，然后将此曲线线性延伸到饱和区得到动态扩展的完整L函数。

校正后的最长曝光图像帧T3的动态宽度为255，校正后的最短曝光图像帧T1经过重新曝光之后得到的新图像帧T4的动态范围扩展到m，m>255。因此校正后的最长曝光图像帧T3和重新曝光后得到的新图像帧T4合成得到的宽动态图像T5，其动态范围也是m，L函数的拟合曲线就是将动态范围扩展到m的完整函数。

本发明步骤S5就是将步骤S4中得到的宽动态图像T5与校正后的适中曝光图像帧T2进行累加融合，消除过渡区域变化生硬现象，得到最终的宽动态图像。

宽动态图像T5和校正后的适中曝光图像帧T2的累加融合的方式为：根据宽动态图像T5和校正后的适中曝光图像帧T2在不同区域内(Ⅰ、Ⅱ、Ⅲ区)能够反映的细节信息程度不同，分区域进行累加取值即将宽动态图像T5和校正后的适中曝光图像帧T2对应位置的像素点灰度值进行累加平均融合，其中Ⅰ区在长曝光图像中的细节信息较丰富，因此该区域应取T2和T5中的长曝光图像中的值进行融合；同理，Ⅲ区在短曝光图像中的细节信息较丰富，该区域应取T2和T5中的短曝光图像中的值进行融合；Ⅱ区在两帧图像T2和T5中均能很好地反映细节，因此可以选择任一图像T2或T5中的值进行融合。

将长短帧融合后的图像与适中曝光图像帧再次融合，得到最终的宽动态图像。

本发明提出的一种基于IMU信息的宽动态图像融合方法，该方法能够对多帧不同曝光条件下的图像进行精确地配准校正，有效地消除随机抖动的影响，结合相机响应函数和亮度映射函数对校正后的不同曝光图像采用最小二乘法进行分区段线性拟合，经映射之后，采用多帧累加的方法进行融合，得到宽动态图像，实现光线反差较大的情况下图像中包含更多清晰地细节信息。

附图说明

图1图像信息采集处理总框图

图2坐标系旋转关系示意图

图3基于IMU信息姿态解算框图

图4为本发明S4和S5中图像累加融合的流程图。

具体实施方式

下面结合具体实施例，对本发明一种基于IMU信息的宽动态图像融合方法做详细的描述。

第一步：如图1所示，首先对不同曝光度下的图像序列进行采集，利用三角支架作为固定装置防抖，通过对载体摄像机设置自动曝光和对焦，获取同一场景下同时包含明暗区域细节信息的多帧图像，不同曝光度下的图像能够清晰显示的细节信息有所不同，从多帧图像中选取三帧图像(曝光分别为-3EV最短曝光图像帧、0EV适中曝光图像帧、+3EV最长曝光图像帧)作为实验对象输入ISP图像处理系统，同时以摄像机作为载体，将选取的三帧图像对应的IMU传感器信息输入系统中，结合两组数据信息实现图像的校正和长短曝光图像的融合，最终得到宽动态图像并将其输出。

第二步：通过IMU传感器所采集的IMU传感器信息是对载体运动状态的描述，利用欧拉角对数据融合进行姿态解算，得到每个区域(将每帧图像等分为M个区域，实验中M取4，也可以等分为更多区域块)的运动矢量。

首先如图2所示建立基准坐标系与载体坐标系之间的关系，不同的转动次序得到最终的角位置不同，最常用的转动次序为“航向角-俯仰角-横滚角”，转动规则如下：定义空间直角坐标系为基准坐标系O-X_nY_nZ_n定义基准坐标系O-X_nY_nZ_n。绕Z_n轴旋转α角得到坐标系O-X₁Y₁Z₁，然后将坐标系O-X₁Y₁Z₁绕X₁轴旋转β角得到O-X₂Y₂Z₂、最后将坐标系O-X₂Y₂Z₂绕Y₂轴旋转γ角得到载体坐标系O-X_bY_bZ_b。即姿态解算过程中，用参量α表示绕Y_n轴旋转的偏航角(yaw)，β表示绕X_n轴旋转的俯仰角(pitch)，γ表示绕Z_n轴旋转的翻滚角(roll)，根据两坐标系间(坐标系O-X_nY_nZ_n和坐标系O-X_bY_bZ_b)的关系可以得到姿态矩阵的表达式为：

$C_n^b=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\γ}& \sin \mathrm{\γ}\\ 0& -\sin \mathrm{\γ}& cos\mathrm{\γ}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0\\ -\sin \mathrm{\α}& \cos \mathrm{\α}& 0\\ 0& 0& 1\end{array}\right]---\left(1\right)$

姿态测试系统中，IMU传感器主要包括加速度计、陀螺仪，为了对载体运动进行精确估计，通常使用三轴加速度计与三轴磁力计组合测量。陀螺仪主要测量运动中产生的角速度，对角速度进行一次积分可得到角度姿态，与加速度计组合得到加速度信号的重力分量，估算横滚角和俯仰角；加速度计和磁力计共同测量载体与地球磁场北极的水平夹角，估算航向角。如图3所示，这些惯性测量器件作为信息采集单元，安装在载体摄像机上。

加速度计作为测量载体线加速运动的装置，感测重力加速度信息，可根据三轴加速度计在静止状态下在O-X_nY_nZ_n坐标系中X_n、Y_n、Z_n三个轴方向上的重力分量，推算出加速度计的倾斜角，实验中认为重力加速度为1g，则有：

$\left[\begin{array}{c}{A}_x^a\\ A_y^a\\ A_z^a\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& -\sin \mathrm{\β}\\ \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\cos \mathrm{\γ}\sin \mathrm{\α}& \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\cos \mathrm{\γ}\sin \mathrm{\α}& \sin \mathrm{\γ}\cos \mathrm{\β}\\ \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\sin \mathrm{\γ}\sin \mathrm{\α}& \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\sin \mathrm{\γ}\cos \mathrm{\α}& \cos \mathrm{\γ}\cos \mathrm{\β}\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(2\right)$

利用反三角函数可得到翻滚角γ和俯仰角β的计算表达式为：

$\mathrm{\β}=\arcsin (-A_x^a)---\left(3\right)$

$\mathrm{\γ}=\arcsin \left(\frac{A_y^a}{cos\mathrm{\β}}\right)---\left(4\right)$

其中，当俯仰角达到正负90°时，通常将翻滚角设为0°，以此来避免奇异点。航向角一般通过磁力计与加速度计一起组成的电子罗盘，进行测量而得到，如图3所示。若在基准坐标系下三轴磁力计的测量值为则偏航角α的推导公式可表示为：

$\mathrm{\α}=\arctan \left(\frac{h_y^b}{h_x^b}\right)---\left(5\right)$

第三步：利用陀螺仪信息估算出姿态值之后，即可以确定图像中每个区域的运动矢量，通过对M个区域的运动矢量求均值将结果作为整幅图像的运动校正矢量，对选取的三帧不同曝光度图像进行配准校正。

$(\stackrel{\‾}{\mathrm{\α}},\stackrel{\‾}{\mathrm{\β}},\stackrel{\‾}{\mathrm{\γ}})=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}(\mathrm{\α},\mathrm{\β},\mathrm{\γ})---\left(6\right)$

经过校正处理可以去除拍摄中随机抖动造成的图像模糊，得到清晰的配准图像。

第四步，结合相机响应函数和亮度映射函数对校正后的图像，利用最小二乘法进行分区段线性拟合，然后经过映射得到宽动态图像。

根据相机的成像原理，实际场景的光强通过相机响应函数f(x)成为每个像素点的值。由于三帧不同曝光度下的图像都具有不同的曝光时间，不能直接进行融合。

设校正后的最短曝光图像帧T1的第i个像素点的亮度值为B_i1，校正后的最长曝光图像帧T3的第i个像素点的亮度值为B_i2，将校正后的最短曝光图像帧T1按照校正后的最长曝光图像帧T3的曝光时间进行重新曝光得到新图像帧T4，用B_i1’表示新图像帧T4中第i个像素点的亮度值，这样可以将不同曝光度下图像融合的问题转化为相同曝光度下图像融合的问题。

定义函数L表示B_i1与B_i1’的映射关系，则有B′_i1＝L(B_i1)，经过对校正后的最短曝光图像帧按照最长曝光图像帧的曝光时间进行重新曝光之后，对于校正后的最短曝光图像帧T1和重新曝光之后的新图像帧T4，相机响应函数f(这里是基于Debevec的相机响应函数，是经典理论方法之一)与L函数之间存在着固有关系如下：

L(x)＝f(K·f^-1(x))，其中K为曝光比，f^-1(x)为函数f(x)的逆函数，L函数的定义域为[0,2ⁿ-1]，n表示两帧低动态范围图像的数据位宽，一般为8位。

同时，不同曝光度图像帧对应位置上像素点之间存在着亮度映射关系，用函数H(x)表示，若g₁表示校正后的最短曝光图像帧的灰度值，g₂表示校正后的最长曝光图像帧的灰度值，则不同曝光度之间的亮度映射函数存在对应关系为g₂＝H(g₁)。由亮度映射函数的性质得到，在校正后的最长曝光图像帧T3和校正后的最短曝光图像帧T1的公共未饱和区(若校正后的最短曝光图像帧在S区域未饱和，校正后的最长曝光图像帧在S区域也未饱和，则S为公共未饱和区域。即Ⅱ区)的L函数与亮度映射函数相等。

基于L函数与相机响应函数f和亮度映射函数H三者之间的关系可知，如果已知亮度映射函数，则可以得到公共未饱和区的L函数，再通过公共未饱和区的L函数曲线(就是由亮度映射函数得到的L函数所表示的曲线)预测饱和区(利用最小二乘法对公共未饱和区的点进行线性拟合，然后线性延伸扩展到饱和区，亮度值接近0时达到暗饱和，接近255时达到亮饱和)的L函数，得到动态扩展的完整L函数，基于L函数对T3和T4进行累加融合，合成后得到宽动态图像T5。

首先观察同一场景下两幅长短曝光不同的图像可以发现，在短曝光图像中，较亮处场景清晰而暗处场景细节信息严重丢失；在长曝光图像中，亮处场景细节信息丢失而暗处场景清晰；同时有部分信息在两幅图像中都能明晰可见。因此，根据不同曝光图像的亮度信息映射情况，按照图像亮度映射函数分为三个区域，由于校正后的最短曝光图像帧中的大多数像素点的亮度值接近0，达到暗饱和状态而无法表达暗处细节，定义为Ⅰ区；校正后的最长曝光图像帧中的大多数像素点的亮度值接近255，达到亮饱和状态而无法表达亮处细节，定义为Ⅲ区；在校正后的最长曝光图像帧和最短曝光图像帧均未达到饱和区，两幅图像中均能清晰表达的公共细节部分，定义为Ⅱ区。

考虑到算法的实时性，对亮度映射函数的Ⅱ区利用最小二乘法进行一阶线性拟合，得到近似L函数。设Ⅱ区域的宽度用参数ε₁和ε₂界定，则Ⅱ区域可表示为i∈[ε₁,255-ε₂]，i表示某个点的灰度值；区域内包含m+1个点，设亮度映射函数的表达式为H(x)＝a₀+a₁x，将问题转化为最小化目标函数：其中x_j和y_j表示第j个点的坐标，分别对a₀和a₁求偏导，得到(7)式：

$\left\{\begin{array}{c}\frac{\∂M}{\∂a_0}=2\underset{j=0}{\overset{m}{\Σ}}(a_0+a_1{x}_j-y_j)\\ \frac{\∂M}{\∂a_1}=2\underset{j=0}{\overset{m}{\Σ}}(a_0+a_1{x}_j-y_j)x_j\end{array}\right.---\left(7\right)$

然后令各自的偏导值为0，得到式子：

$\left[\begin{array}{cc}m+1& \underset{j=0}{\overset{m}{\Σ}}{x}_j\\ \underset{j=0}{\overset{m}{\Σ}}{x}_j& \underset{j=0}{\overset{m}{\Σ}}{x}_j^2\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\end{array}\right]=\left[\begin{array}{c}\underset{j=0}{\overset{m}{\Σ}}{y}_j\\ \underset{j=0}{\overset{m}{\Σ}}{x}_j{y}_j\end{array}\right]---\left(8\right)$

由(8)式可以求得a₀和a₁的值，得到近似L函数的表达式，然后将此曲线线性延伸到饱和区得到动态扩展的完整L函数。

第五步，将步骤S4中得到的宽动态图像T5与经步骤S3校正后的适中曝光图像帧T2进行累加融合，得到最终的宽动态图像。

根据宽动态图像T5和校正后的适中曝光图像帧T2在Ⅰ、Ⅱ、Ⅲ区能够反映的细节信息程度不同，分区域进行累加取值，Ⅰ区在长曝光图像中的细节信息较丰富，因此该区域应侧重取长曝光图像中的值进行融合；同理，Ⅲ区在短曝光图像中的细节信息较丰富，该区域应侧重取长曝光图像中的值进行融合；Ⅱ区在两帧图像中均能很好地反映细节，因此可以选择任一图像中的值进行融合。这样为了防止图像出现过渡不自然的情况，将长短帧融合后的图像与适中曝光的图像帧再次融合，就得到了最终的宽动态图像。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (8)

1.一种基于IMU信息的宽动态图像融合方法，其特征在于，包括以下步骤：

S1.摄像机上安装有IMU传感器，摄像机通过设置不同的快门时间，对同一场景进行长短曝光拍摄，获取多帧同时包含明暗区域的图像，从中选取最短曝光图像帧、适中曝光图像帧和最长曝光图像帧三帧图像，与此同时IMU传感器输出这三帧图像对应的IMU信息；

S2.将步骤S1中得到的三帧图像分别进行等划分处理，每帧图像均等分为M个区域，对每帧图像的每个区域基于IMU传感器检测到的IMU信息进行欧拉角多数据融合的姿态解算，得到每个区域的运动矢量；

S3.由步骤S2得到每帧图像的每个区域的运动矢量，计算单帧图像的运动矢量均值，以此作为运动校正矢量，分别对三帧图像进行旋转配准校正；

S4.结合相机响应函数和亮度映射函数对步骤S3得到的不同曝光值下的校正图像，利用最小二乘法进行分区段线性拟合，经过映射得到宽动态图像；

S5.将步骤S4得到的图像采用多帧累加的方法进行融合，并输出多帧图像融合后得到的宽动态图像。

2.根据权利要求1所述的基于IMU信息的宽动态图像融合方法，其特征在于，S1中，IMU传感器包括三轴加速度计、三轴磁力计和陀螺仪，三轴加速度计感测摄像机载体的重力加速度信息；三轴加速度计和三轴磁力计共同测量摄像机载体与地球磁场北极的水平夹角，估算偏航角α；陀螺仪测量摄像机载体运动中产生的角速度，对角速度进行一次积分可得到角度姿态，与三轴加速度计组合得到加速度信号的重力分量，估算翻滚角γ和俯仰角β。

3.根据权利要求2所述的基于IMU信息的宽动态图像融合方法，其特征在于，S2中每个区域的运动矢量的获取方法如下：

定义空间直角坐标系为基准坐标系O-X_nY_nZ_n，绕Z_n轴旋转α角得到坐标系O-X₁Y₁Z₁，然后将坐标系O-X₁Y₁Z₁绕X₁轴旋转β角得到O-X₂Y₂Z₂、最后将坐标系O-X₂Y₂Z₂绕Y₂轴旋转γ角得到载体坐标系O-X_bY_bZ_b；

空间直角坐标系O-X_nY_nZ_n经旋转后得到载体坐标系O-X_bY_bZ_b，在姿态解算过程中，即参量α表示偏航角，β表示俯仰角，γ表示翻滚角，根据坐标系O-X_nY_nZ_n和坐标系O-X_bY_bZ_b之间的关系可以得到姿态矩阵的表达式为：

根据三轴加速度计在静止状态下在O-X_nY_nZ_n坐标系中X_n、Y_n、Z_n三个轴方向上的重力分量，设重力加速度为1g，推算出三轴加速度计的倾斜角表达式为：

其中分别表示三轴加速度计在各坐标轴方向上测得的值，利用反三角函数可得到翻滚角γ和俯仰角β的计算表达式为：

其中，当俯仰角达到正负90°时，将翻滚角设为0°；

航向角通过三轴磁力计与三轴加速度计一起组成的电子罗盘，进行测量而得到，若在载体坐标系O-X_bY_bZ_b下三轴磁力计的测量值为则偏航角α的推导公式可表示为：

最后，利用陀螺仪测得的角速度信息推导出当前时刻的欧拉角微分方程：

其中，[γ'β'α']^T表示欧拉角的微分，当前时刻的欧拉角表示为[γ(t)β(t)α(t)]^T，前一时刻的欧拉角表示为[γ(t-1)β(t-1)α(t-1)]^T，当采样时间Δt足够小时，可得到积分方程式：

[γ(t) β(t) α(t)]^T＝[γ(t-1) β(t-1) α(t-1)]^T+[γ' β' α']^TΔt (7) 。

4.根据权利要求3所述的基于IMU信息的宽动态图像融合方法，其特征在于，步骤S3中，由步骤S2得到每帧图像的每个区域的运动矢量，计算单帧图像的运动矢量均值 方法如下：

。

5.根据权利要求4所述的基于IMU信息的宽动态图像融合方法，其特征在于，在S4中，设经步骤S3校正后的最短曝光图像T1的第i个像素点的亮度值为B_i1，校正后的最长曝光图像T3的第i个像素点的亮度值为B_i2，将校正后的最短曝光图像T1按照最长曝光图像T3的曝光时间进行重新曝光则可以得到新的图像T4，用B_i1’表示新图像T4中第i个像素点的亮度值，这样将不同曝光度下图像融合的问题转化为相同曝光度下图像融合的问题；

定义函数L表示B_i1与B_i1’的映射关系，则有B′_i1＝L(B_i1)，经对于校正后的最短曝光图像T1和重新曝光之后的新图像T4，相机响应函数f与L函数之间存在着固有关系如下：L(x)＝f(K·f^-1(x))，其中K为曝光比，f^-1(x)为函数f(x)的逆函数，L函数的定义域为[0,2ⁿ-1]，n表示两帧低动态范围图像的数据位宽，为8位；

同时，不同曝光度图像帧对应位置上像素点之间存在着亮度映射关系，用亮度映射函数H(x)表示，若g₁表示校正后的最短曝光图像的灰度值，g₂表示校正后的最长曝光图像的灰度值，则不同曝光度之间的亮度映射函数存在对应关系为g₂＝H(g₁)；根据不同曝光图像的亮度信息映射情况，按照图像亮度映射函数分为三个区域，由于校正后的最短曝光图像帧中的大多数像素点的亮度值接近0，达到暗饱和状态而无法表达暗处细节，为暗饱和区，定义为Ⅰ区；校正后的最长曝光图像帧中的大多数像素点的亮度值接近255，达到亮饱和状态而无法表达亮处细节，为亮饱和区，定义为Ⅲ区；在校正后的最长曝光图像帧和最短曝光图像帧均未达到饱和区，两幅图像中均能清晰表达的公共细节部分，为公共未饱和区，定义为Ⅱ区；由亮度映射函数的性质得到，在校正后的最长曝光图像T3和最短曝光图像T1的公共未饱和区的L函数与亮度映射函数相等；

基于L函数与相机响应函数f和亮度映射函数H三者之间的关系可知，如果已知亮度映射函数，则可以得到公共未饱和区的L函数，再通过公共未饱和区的L函数曲线预测饱和区的L函数，得到动态扩展的完整L函数，基于L函数对T3和T4进行累加融合，合成后得到宽动态图像T5。

6.根据权利要求5所述的基于IMU信息的宽动态图像融合方法，其特征在于，步骤S4中，通过公共未饱和区的L函数曲线预测饱和区的L函数，得到动态扩展的完整L函数，其步骤如下：

设Ⅱ区域的宽度用参数ε₁和ε₂界定，则Ⅱ区域可表示为i∈[ε₁,255-ε₂]，i表示某个点的灰度值；区域内包含m+1个点，设亮度映射函数的表达式为H(x)＝a₀+a₁x，将问题转化为最小化目标函数：其中x_j和y_j表示第j个点的坐标，分别对a₀和a₁求偏导，得到(9)式：

然后令各自的偏导值为0，得到式子：

由(10)式可以求得a₀和a₁的值，得到近似L函数的表达式，然后将此曲线线性延伸到饱和区得到动态扩展的完整L函数。

7.根据权利要求6所述的基于IMU信息的宽动态图像融合方法，其特征在于，步骤S5中将步骤S4中得到的宽动态图像T5与经步骤S3校正后的适中曝光图像帧T2进行累加融合，得到最终的宽动态图像。

8.根据权利要求7所述的基于IMU信息的宽动态图像融合方法，其特征在于，步骤S5中，宽动态图像T5和校正后的适中曝光图像帧T2的累加融合的方式为：根据宽动态图像T5和校正后的适中曝光图像帧T2在Ⅰ、Ⅱ、Ⅲ区能够反映的细节信息程度不同，分区域进行累加取值，即将宽动态图像T5和校正后的适中曝光图像帧T2对应位置的像素点灰度值进行累加平均融合，其中Ⅰ区在长曝光图像中的细节信息较丰富，因此该区域应取T2和T5中的长曝光图像中的值进行融合；同理，Ⅲ区在短曝光图像中的细节信息较丰富，该区域应取T2和T5中的短曝光图像中的值进行融合；Ⅱ区在两帧图像T2和T5中均能很好地反映细节，因此可以选择任一图像T2或T5中的值进行融合。