CN104202538A - 宽动态摄像机中不同曝光度图像的双次配准方法 - Google Patents

Abstract

本发明涉及一种宽动态摄像机中不同曝光度图像的双次配准方法。现有宽动态摄像机中利用基于图像特征的配准算法来实现不同曝光度图像配准，计算量过大。本发明方法采用宽动态摄像机中不同曝光度图像的双次配准方法，包括通过拍摄硬件获取多路不同曝光度的视频图像数据，对相同曝光度的视频分别进行配准，再利用配准后的视频图像进行不同曝光度图像的再次配准，提升了不同曝光度视频图像的配准精度，最后合成所需的宽动态图像。本发明方法可以提升手持宽动态摄像机不同曝光度视频图像的配准效果，合成成像效果更好的宽动态视频，同时减少了配准运算量。本发明方法利用双次配准增加了不同曝光度图像的配准精度，提高了宽动态视频的成像质量。

Description

宽动态摄像机中不同曝光度图像的双次配准方法

技术领域

本发明属于图像处理技术领域，涉及目前宽动态视频图像的捕捉和处理方法，具体是一种宽动态摄像机中不同曝光度图像的双次配准方法。

背景技术

人眼所观察到的现实世界中包含着及其丰富的亮度和色彩等信息，但是目前的消费级图像视频捕获设备提供的图像数据往往是用8bit来记录一个像素点的单一色彩值。8bit数据只能记录256个不同的级别，这样的数据记录量明显是不够的，因为人眼能够感觉的亮度范围(称为视觉范围)极宽，从千分之几尼特直到几百万尼特。对目前的消费级图像视频捕获设备而言，过亮和过暗的像素值则会被错误的记录，造成了图像细节的丢失。宽动态范围图像相比普通图像，提供了更多的动态范围和图像细节。利用多次不同曝光的图像来合成宽动态视频成为了当前研究的热点问题。

目前的宽动态图像合成一般由三个步骤完成：

1.相机响应曲线的获取。目前常用的两种相机响应曲线的获取方法主要有两种：一种是美国加州伯克利分校的Debevec和Mailik提出的，另一种是日本索尼的Mitsunaga和美国的Nayar提出的。利用多张曝光图片的像素值和相应的曝光时间，可以通过相机响应曲线获得相应的亮度值。

Debevec和Mailik提出的相机响应曲线获取的原理如下：

Zi_j＝f(E_iΔt_j)

其中Z_ij代表了第j幅图像第i个像素点的像素值，E_i代表图像第i个像素点的亮度值，第Δt_j代表了第j幅图像的曝光时间。f为亮度值乘以曝光时间到像素值转换的函数。

假设函数单调递增，这也与实际情况相符合，接受的光量越大，像素值越高。可以得到：

f^-1(Z_ij)＝E_iΔt_j

再两边取对数，可以得到：

ln(f^-1(Z_ij))＝ln(E_iΔt_j)

这里定义函数g＝lnf^-1，则可以得到：

g(Z_ij)＝lnE_i+lnΔt_j，函数g即为所求的相机响应函数。

2.不同曝光度的图像配准并合成宽动态图像。目前影响宽动态图像合成质量的因素就是由于不同曝光度的图像在拍摄过程中存在时间间隔，可能产生相对的位移。而这种位移的产生就会造成合成以后的宽动态图像出现模糊等现象，对成像质量带来了极大的影响。需要对不同曝光度的图像先进行配准已实现较好的合成效果，提升合成的宽动态图像的质量。不同曝光度的图像合成公式如下：

$\ln E_i=\frac{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)(g\left(Z_{\mathrm{ij}}\right)-\ln \mathrm{\Δ}{t}_j)}{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)}$

其中w(Z_ij)代表了第j幅图片的第i个像素点的权重值。

3.色调映射。上述合成处理后的图像仍然是宽动态范围图像，为了使得宽动态图像能在普通显示器上显示，需要色调映射(tone mapping)来将宽动态图像映射为低动态图像。

现有宽动态摄像机中利用基于图像特征的配准算法来实现不同曝光度图像配准，例如基于图像特征的SIFT或SURF算法，计算量过大。

发明内容

本发明的目的是为了克服现有宽动态摄像机中利用基于图像特征的配准算法来实现不同曝光度图像配准计算量过大的缺陷，提出了宽动态摄像机中不同曝光度图像的双次配准法。

本发明方法包括通过拍摄硬件获取多路不同曝光度的视频图像数据，对相同曝光度的视频分别进行配准，再利用配准后的视频图像进行不同曝光度图像的再次配准，提升了不同曝光度视频图像的配准精度，最后合成所需的宽动态图像。

本发明方法具体步骤是：

步骤(1)获取拍摄硬件的响应函数g，获取方法具体是：

在静态条件下，拍摄硬件对同一场景拍摄P张不同曝光度的图像，P≥2，在每张图像中均匀采样N个像素点，利用每个采样像素点对应的像素值、曝光时间，得到拍摄硬件的响应函数g(Z_ij)＝lnE_i+lnΔt_j；

其中，Z_ij表示第j幅图像第i个采样像素点的像素值，E_i表示第i个采样像素点的亮度值，第Δt_j表示第j幅图像的曝光时间；

将P张图像中一共P×N个采样点的像素值Z_ij和曝光时间Δt_j代入误差函数中求解即可得到响应函数g；

N的取值需满足N×(P-1)>(Z_max-Z_min)，Z_max和Z_min分别为采样像素点的最大像素值和最小值像素值；

步骤(2)拍摄硬件在拍摄时，同时获取多路不同曝光度的视频图像数据，多路不同曝光度的视频图像数据由拍摄硬件在不同曝光度下交替拍摄获取，所述的拍摄硬件为宽动态摄像机；

步骤(3)将已获取的多路不同曝光度的视频图像分别进行配准操作，使得同一曝光度下的视频图像序列获得良好的稳定性；所述的相同曝光度视频配准操作具体方法是：

对于相同曝光度的视频图像序列，选取固定帧作为参考帧，利用块匹配进行参考帧与当前帧之间的匹配，具体是：

在一帧图像中均匀选取16个64×64像素大小的匹配块，设定搜索范围为15个像素；

首先将三个颜色通道的彩色图像利用灰度图转换公式进行灰度化，其中grey表示得到的灰度值，R表示输入图像该点红色分量的像素值，G表示输入图像该点绿色分量的像素值，B表示输入图像该点蓝色分量的像素值；

利用公式进行匹配误差计算，其中S表示匹配块中的像素点，h_r(x,y)表示参考帧中坐标为(x,y)点的灰度值，h_n(x+m,y+n)表示当前帧中坐标为(x+m,y+n)点的灰度值，m和n为相应的位移量，m和n的范围为[-15，15]，SAD为总匹配误差值；在搜索范围中找到最小SAD值的匹配点，记录相应的m和n的值，确定为该匹配块的运动矢量；

在依次获取16个匹配块的运动矢量之后，利用同时存在平移运动和旋转的仿射变换公式计算全局的运动矢量，全局的运动矢量包括绕旋转中心顺时针旋转的弧度、全局运动的水平位移变化量、全局运动的垂直位移变化量：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

其中(x_i,y_i)为运动补偿之前的原坐标点，θ为绕旋转中心顺时针旋转的弧度，(x_j,y_j)为(x_i,y_i)进行运动补偿之后得到的坐标，公式简化为：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

变形后可得

$\left\{\begin{array}{c}-y_i\×\mathrm{\θ}+1\×\mathrm{\Δx}+0\×\mathrm{\Δy}=x_j-x_i\\ x_i\×\mathrm{\θ}+0\×\mathrm{\Δx}+1\×\mathrm{\Δy}=y_j-y_i\end{array}\right.$

通过16组x_j-x_i和y_j-y_i的值，得到θ、Δx、Δy的值，Δx为全局运动的水平位移变化量，Δy为全局运动的垂直位移变化量；

根据下式计算出运动补偿后的点在原图像中的位置：

$\left\{\begin{array}{c}{x}_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×x_j+y_j-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δx}-\mathrm{\Δy}]\\ y_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×y_j-x_j+\mathrm{\Δx}-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δy}]\end{array}\right.$

在上式的计算中，获取的x_i、y_i如果不是整数，通过下式处理：

down_left＝(1-x_value)×(1-y_value)

down_right＝x_value×(1-y_value)

up_left＝(1-x_value)×y_value

up_right＝x_value×y_value

result＝down_left×h(x,y)+down_right×h(x+1,y)+up_left×h(x,y+1)+up_right×h(x+1,y+1)其中x_value为x_i的小数部分，y_value为y_i的小数部分，down_left为左下像素系数、down_right右下像素系数、up_left为左上像素系数、up_right为右上像素系数，result为补偿后图像(x,y)点的像素值，函数h(x,y)表示(x,y)坐标位置的像素值；

步骤(4)将完成相同曝光度配准操作的视频图像进行中值门限位图匹配法进行配准，具体配准方法是：

采用金字塔形多分辨率匹配，分层的操作使得匹配图像从小到大，搜索层数为log2(max_offset)，max_offset为最大偏移位置，每一层进行匹配的图像均采用矩形，图像的长和宽都是上一层图像的两倍；每次匹配过程中，搜索距离被限制在±1个像素范围之内，这样就需要做9次匹配；在下一层匹配中，先移动匹配中心至2倍上一层最佳匹配位置，再进行下一层的匹配；依次操作，直到得到最终的匹配结果；在每一层的匹配过程中，具体步骤是：

首先将三通道彩色图像利用灰度图转换公式进行灰度化；通过求得当前层灰度图的全局平均灰度值A，其中Z_m,n为当前层灰度图坐标(m,n)的灰度值，width为当前层灰度图的宽度，length为当前层灰度图的长度；

再建立与当前层灰度图同样尺寸的门限图：当输入图像某一像素点的灰度值小于全局平均灰度值A时，令该点的值为0，如果当输入图像某一像素点的灰度值大于等于全局平均灰度值A时，则令该点的值为1；

建立与当前层灰度图同样尺寸的去干扰图：如果输入图像某一像素点的灰度值与全局平均灰度值差的绝对值小于阈值4，那么该点的值为0；如果输入图像某一像素点的像素值与全局平均灰度值差的绝对值大于等于阈值4，那么该点的值为1；

定义参考图像的门限图为tb1，待匹配图像的门限图为tb2，参考图像的去干扰图为eb1，待匹配图像的去干扰图为eb2；

将参考图像的门限图tb1与经过位移至9个后选匹配点中之一的待匹配图像门限图为shitfted_tb2进行异或运算，得到两者的异或图diff_b1；再将diff_b1和参考图像的去干扰图为eb1进行与运算，得到图diff_b2；之后利用图diff_b2和经过位移的待匹配图像去干扰图shifted_eb2进行与运算，得到图diff_b3，求出图diff_b3中值为1的总数得打错误匹配数；在9个候选匹配点中找出最小错误匹配数的匹配点，为最佳匹配点，该点的位移为该层的运动矢量，代入下一层中进行运算；

步骤(5)根据步骤(1)计算获得的响应函数g及步骤(4)得到的多幅已配准的不同曝光度图像合成特定格式的宽动态图像，合成方法是：

$\ln E_i=\frac{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)(g\left(Z_{\mathrm{ij}}\right)-\ln \mathrm{\Δ}{t}_j)}{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)}$

其中w(z)为权重函数，其函数为：

$w\left(z\right)=\left\{\begin{array}{c}z-Z_{\min },z\≤\frac{1}{2}(Z_{\min }+Z_{\max })\\ Z_{\max }-z,z>\frac{1}{2}(Z_{\min }+Z_{\max })\end{array}\right.$

其中z为该点实际像素值，Z_max为最大像素值、Z_min为最小像素值。

本发明方法可以提升手持宽动态摄像机不同曝光度视频图像的配准效果，合成成像效果更好的宽动态视频，同时减少了配准运算量。

本发明方法利用双次配准增加了不同曝光度图像的配准精度，提高了宽动态视频的成像质量。

具体实施方式

下面将结合附图对本发明进行进一步说明。

一种宽动态摄像机中不同曝光度图像的双次配准方法，具体步骤如下：

步骤(1)获取拍摄硬件的响应函数g，获取方法具体是：

在静态条件下，拍摄硬件对同一场景拍摄P(P≥2)张不同曝光度的图像，在每张图像中均匀采样N个像素点，利用每个采样像素点对应的像素值、曝光时间，得到拍摄硬件的响应函数g(Z_ij)＝lnE_i+lnΔt_j；

其中，Z_ij表示第j幅图像第i个采样像素点的像素值，E_i表示第i个采样像素点的亮度值，第Δt_j表示第j幅图像的曝光时间；

Z_ij和Δt_j为已知，E_i和函数g为未知，函数g是光滑且单调的，Z_ij代表的像素值是有限的，只需要恢复有限数量的g(Z)即可获得响应函数g。

将P张图像中一共P×N个采样点的像素值Z_ij和曝光时间Δt_j代入误差函数中求解即可得到响应函数g，为保证计算的有效性，N的取值需满足N×(P-1)>(Z_max-Z_min)，Z_max和Z_min分别为采样像素点的最大像素值和最小值像素值。

步骤(2)拍摄硬件在拍摄时，同时获取多路不同曝光度的视频图像数据，多路不同曝光度的视频图像数据由拍摄硬件在不同曝光度下交替拍摄获取，所述的拍摄硬件为宽动态摄像机。

步骤(3)将已获取的多路不同曝光度的视频图像分别进行配准操作，使得同一曝光度下的视频图像序列获得良好的稳定性；所述的相同曝光度视频配准操作具体方法是：

对于相同曝光度的视频图像序列，选取固定帧作为参考帧，利用块匹配进行参考帧与当前帧之间的匹配，具体是：

在一帧图像中均匀选取16个64×64像素大小的匹配块，设定搜索范围为15个像素；

首先将三个颜色通道的彩色图像利用灰度图转换公式进行灰度化，其中grey表示得到的灰度值，R表示输入图像该点红色分量的像素值，G表示输入图像该点绿色分量的像素值，B表示输入图像该点蓝色分量的像素值。

利用公式进行匹配误差计算，其中S表示匹配块中的像素点，h_r(x,y)表示参考帧中坐标为(x,y)点的灰度值，h_n(x+m,y+n)表示当前帧中坐标为(x+m,y+n)点的灰度值，m和n为相应的位移量，m和n的范围为[-15，15]，SAD为总匹配误差值；在搜索范围中找到最小SAD值的匹配点，记录相应的m和n的值，确定为该匹配块的运动矢量。

在依次获取16个匹配块的运动矢量之后，利用同时存在平移运动和旋转的仿射变换公式计算全局的运动矢量，全局的运动矢量包括绕旋转中心顺时针旋转的弧度、全局运动的水平位移变化量、全局运动的垂直位移变化量：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

其中(x_i,y_i)为运动补偿之前的原坐标点，θ为绕旋转中心顺时针旋转的弧度，(x_j,y_j)为(x_i,y_i)进行运动补偿之后得到的坐标。由于相邻帧之间的旋转角度非常小，将cosθ的值近似为1，sinθ的值近似为θ，θ的单位为弧度，可以得到简化以后的公式：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

变形后可得

$\left\{\begin{array}{c}-y_i\×\mathrm{\θ}+1\×\mathrm{\Δx}+0\×\mathrm{\Δy}=x_j-x_i\\ x_i\×\mathrm{\θ}+0\×\mathrm{\Δx}+1\×\mathrm{\Δy}=y_j-y_i\end{array}\right.$

由于x_j-x_i和y_j-y_i均为已知量，为16个匹配块水平方向和垂直方向的运动矢量，未知量为θ、Δx、Δy，Δx为全局运动的水平位移变化量，Δy为全局运动的垂直位移变化量。通过16组x_j-x_i和y_j-y_i的值，得到θ、Δx、Δy的值；

根据下式计算出运动补偿后的点在原图像中的位置。

$\left\{\begin{array}{c}{x}_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×x_j+y_j-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δx}-\mathrm{\Δy}]\\ y_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×y_j-x_j+\mathrm{\Δx}-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δy}]\end{array}\right.$

在上式的计算中，获取的x_i、y_i如果不是整数，通过下式处理：

down_left＝(1-x_value)×(1-y_value)

down_right＝x_value×(1-y_value)

up_left＝(1-x_value)×y_value

up_right＝x_value×y_value

result＝down_left×h(x,y)+down_right×h(x+1,y)+up_left×h(x,y+1)+up_right×h(x+1,y+1)其中x_value为x_i的小数部分，y_value为y_i的小数部分，down_left为左下像素系数、down_right右下像素系数、up_left为左上像素系数、up_right为右上像素系数，result为补偿后图像(x,y)点的像素值，函数h(x,y)表示(x,y)坐标位置的像素值。

步骤(4)将完成相同曝光度配准操作的视频图像进行中值门限位图匹配法(Median Threshold Bitmap)进行配准，具体配准方法是：

采用了金字塔形多分辨率匹配，分层的操作使得匹配图像从小到大，搜索层数为log2(max_offset)，max_offset为最大偏移位置，当最大偏移为8个像素时，需要进行3层搜索。每一层进行匹配的图像均采用矩形，图像的长和宽都是上一层图像的两倍。每次匹配过程中，搜索距离被限制在±1个像素范围之内，这样就需要做9次匹配；在下一层匹配中，先移动匹配中心至2倍上一层最佳匹配位置，再进行下一层的匹配。依次操作，直到得到最终的匹配结果。在每一层的匹配过程中，具体步骤是：

首先将三通道彩色图像利用灰度图转换公式进行灰度化。通过求得当前层灰度图的全局平均灰度值A，其中Z_m,n为当前层灰度图坐标(m,n)的灰度值，width为当前层灰度图的宽度，length为当前层灰度图的长度。

再建立与当前层灰度图同样尺寸的门限图：当输入图像某一像素点的灰度值小于全局平均灰度值A时，令该点的值为0，如果当输入图像某一像素点的灰度值大于等于全局平均灰度值A时，则令该点的值为1。

为了消除全局平均灰度值附近像素点带来的干扰，建立与当前层灰度图同样尺寸的去干扰图：如果输入图像某一像素点的灰度值与全局平均灰度值差的绝对值小于阈值4，那么该点的值为0；如果输入图像某一像素点的像素值与全局平均灰度值差的绝对值大于等于阈值4，那么该点的值为1。

定义参考图像的门限图为tb1，待匹配图像的门限图为tb2，参考图像的去干扰图为eb1，待匹配图像的去干扰图为eb2。

将参考图像的门限图tb1与经过位移至9个后选匹配点中之一的待匹配图像门限图为shitfted_tb2进行异或运算，得到两者的异或图diff_b1；再将diff_b1和参考图像的去干扰图为eb1进行与运算，得到图diff_b2；之后利用图diff_b2和经过位移的待匹配图像去干扰图shifted_eb2进行与运算，得到图diff_b3，求出图diff_b3中值为1的总数得打错误匹配数。在9个候选匹配点中找出最小错误匹配数的匹配点，为最佳匹配点，该点的位移为该层的运动矢量，代入下一层中进行运算。

步骤(5)根据步骤(1)计算获得的响应函数g及步骤(4)得到的多幅已配准的不同曝光度图像合成特定格式的宽动态图像，合成方法是：

$\ln E_i=\frac{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)(g\left(Z_{\mathrm{ij}}\right)-\ln \mathrm{\Δ}{t}_j)}{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)}$

其中w(z)为权重函数，其函数为：

$w\left(z\right)=\left\{\begin{array}{c}z-Z_{\min },z\≤\frac{1}{2}(Z_{\min }+Z_{\max })\\ Z_{\max }-z,z>\frac{1}{2}(Z_{\min }+Z_{\max })\end{array}\right.$

其中z为该点实际像素值，Z_max为最大像素值、Z_min为最小像素值。

Claims (1)

1.宽动态摄像机中不同曝光度图像的双次配准方法，其特征在于该方法具体步骤是：

步骤(1)获取拍摄硬件的响应函数g，获取方法具体是：

在静态条件下，拍摄硬件对同一场景拍摄P张不同曝光度的图像，P≥2，在每张图像中均匀采样N个像素点，利用每个采样像素点对应的像素值、曝光时间，得到拍摄硬件的响应函数g(Z_ij)＝lnE_i+lnΔt_j；

其中，Z_ij表示第j幅图像第i个采样像素点的像素值，E_i表示第i个采样像素点的亮度值，第Δt_j表示第j幅图像的曝光时间；

将P张图像中一共P×N个采样点的像素值Z_ij和曝光时间Δt_j代入误差函数中求解即可得到响应函数g；

N的取值需满足N×(P-1)>(Z_max-Z_min)，Z_max和Z_min分别为采样像素点的最大像素值和最小值像素值；

步骤(2)拍摄硬件在拍摄时，同时获取多路不同曝光度的视频图像数据，多路不同曝光度的视频图像数据由拍摄硬件在不同曝光度下交替拍摄获取，所述的拍摄硬件为宽动态摄像机；

步骤(3)将已获取的多路不同曝光度的视频图像分别进行配准操作，使得同一曝光度下的视频图像序列获得良好的稳定性；所述的相同曝光度视频配准操作具体方法是：

对于相同曝光度的视频图像序列，选取固定帧作为参考帧，利用块匹配进行参考帧与当前帧之间的匹配，具体是：

在一帧图像中均匀选取16个64×64像素大小的匹配块，设定搜索范围为15个像素；

首先将三个颜色通道的彩色图像利用灰度图转换公式进行灰度化，其中grey表示得到的灰度值，R表示输入图像该点红色分量的像素值，G表示输入图像该点绿色分量的像素值，B表示输入图像该点蓝色分量的像素值；

利用公式进行匹配误差计算，其中S表示匹配块中的像素点，h_r(x,y)表示参考帧中坐标为(x,y)点的灰度值，h_n(x+m,y+n)表示当前帧中坐标为(x+m,y+n)点的灰度值，m和n为相应的位移量，m和n的范围为[-15，15]，SAD为总匹配误差值；在搜索范围中找到最小SAD值的匹配点，记录相应的m和n的值，确定为该匹配块的运动矢量；

在依次获取16个匹配块的运动矢量之后，利用同时存在平移运动和旋转的仿射变换公式计算全局的运动矢量，全局的运动矢量包括绕旋转中心顺时针旋转的弧度、全局运动的水平位移变化量、全局运动的垂直位移变化量：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

其中(x_i,y_i)为运动补偿之前的原坐标点，θ为绕旋转中心顺时针旋转的弧度，(x_j,y_j)为(x_i,y_i)进行运动补偿之后得到的坐标，公式简化为：

$\left(\begin{array}{c}{x}_j\\ y_j\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)+\left(\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right)$

变形后可得

$\left\{\begin{array}{c}-y_i\×\mathrm{\θ}+1\×\mathrm{\Δx}+0\×\mathrm{\Δy}=x_j-x_i\\ x_i\×\mathrm{\θ}+0\×\mathrm{\Δx}+1\×\mathrm{\Δy}=y_j-y_i\end{array}\right.$

通过16组x_j-x_i和y_j-y_i的值，得到θ、Δx、Δy的值，Δx为全局运动的水平位移变化量，Δy为全局运动的垂直位移变化量；

根据下式计算出运动补偿后的点在原图像中的位置：

$\left\{\begin{array}{c}{x}_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×x_j+y_j-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δx}-\mathrm{\Δy}]\\ y_i=\frac{1}{\frac{1}{\mathrm{\θ}}+\mathrm{\θ}}[\frac{1}{\mathrm{\θ}}\×y_j-x_j+\mathrm{\Δx}-\frac{1}{\mathrm{\θ}}\×\mathrm{\Δy}]\end{array}\right.$

在上式的计算中，获取的x_i、y_i如果不是整数，通过下式处理：

down_left＝(1-x_value)×(1-y_value)

down_right＝x_value×(1-y_value)

up_left＝(1-x_value)×y_value

up_right＝x_value×y_value

result＝down_left×h(x,y)+down_right×h(x+1,y)+up_left×h(x,y+1)+up_right×h(x+1,y+1)其中x_value为x_i的小数部分，y_value为y_i的小数部分，down_left为左下像素系数、down_right右下像素系数、up_left为左上像素系数、up_right为右上像素系数，result为补偿后图像(x,y)点的像素值，函数h(x,y)表示(x,y)坐标位置的像素值；

步骤(4)将完成相同曝光度配准操作的视频图像进行中值门限位图匹配法进行配准，具体配准方法是：

采用金字塔形多分辨率匹配，分层的操作使得匹配图像从小到大，搜索层数为log2(max_offset)，max_offset为最大偏移位置，每一层进行匹配的图像均采用矩形，图像的长和宽都是上一层图像的两倍；每次匹配过程中，搜索距离被限制在±1个像素范围之内，这样就需要做9次匹配；在下一层匹配中，先移动匹配中心至2倍上一层最佳匹配位置，再进行下一层的匹配；依次操作，直到得到最终的匹配结果；在每一层的匹配过程中，具体步骤是：

首先将三通道彩色图像利用灰度图转换公式进行灰度化；通过求得当前层灰度图的全局平均灰度值A，其中Z_m,n为当前层灰度图坐标(m,n)的灰度值，width为当前层灰度图的宽度，length为当前层灰度图的长度；

再建立与当前层灰度图同样尺寸的门限图：当输入图像某一像素点的灰度值小于全局平均灰度值A时，令该点的值为0，如果当输入图像某一像素点的灰度值大于等于全局平均灰度值A时，则令该点的值为1；

建立与当前层灰度图同样尺寸的去干扰图：如果输入图像某一像素点的灰度值与全局平均灰度值差的绝对值小于阈值4，那么该点的值为0；如果输入图像某一像素点的像素值与全局平均灰度值差的绝对值大于等于阈值4，那么该点的值为1；

定义参考图像的门限图为tb1，待匹配图像的门限图为tb2，参考图像的去干扰图为eb1，待匹配图像的去干扰图为eb2；

将参考图像的门限图tb1与经过位移至9个后选匹配点中之一的待匹配图像门限图为shitfted_tb2进行异或运算，得到两者的异或图diff_b1；再将diff_b1和参考图像的去干扰图为eb1进行与运算，得到图diff_b2；之后利用图diff_b2和经过位移的待匹配图像去干扰图shifted_eb2进行与运算，得到图diff_b3，求出图diff_b3中值为1的总数得打错误匹配数；在9个候选匹配点中找出最小错误匹配数的匹配点，为最佳匹配点，该点的位移为该层的运动矢量，代入下一层中进行运算；

步骤(5)根据步骤(1)计算获得的响应函数g及步骤(4)得到的多幅已配准的不同曝光度图像合成特定格式的宽动态图像，合成方法是：

$\ln E_i=\frac{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)(g\left(Z_{\mathrm{ij}}\right)-\ln \mathrm{\Δ}{t}_j)}{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}w\left(Z_{\mathrm{ij}}\right)}$

其中w(z)为权重函数，其函数为：

$w\left(z\right)=\left\{\begin{array}{c}z-Z_{\min },z\≤\frac{1}{2}(Z_{\min }+Z_{\max })\\ Z_{\max }-z,z>\frac{1}{2}(Z_{\min }+Z_{\max })\end{array}\right.$

其中z为该点实际像素值，Z_max为最大像素值、Z_min为最小像素值。