CN104144298A - 一种宽动态图像合成方法 - Google Patents

Abstract

本发明公开了一种宽动态图像合成方法，首先根据宽动态场景的单帧图像进行曝光选择，获取待合成曝光图像，对获取的待合成曝光图像进行区域分割，对分割后的每个区域块计算其对应的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，进行帧运动配准；通过对待合成曝光图像的辐照图进行MTM分级，然后通过辐照图的差值求出运动图像，对待合成曝光图像中的物体运动进行配准；最后对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。本发明的宽动态图像合成方法能够有效的消除相机抖动以及物体运动造成的拖影、鬼影、重影等画面模糊的情况，计算量适中，合成的图像效果好。

Description

一种宽动态图像合成方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种宽动态图像合成方法。

背景技术

动态范围是指给定场景中最亮区域与最暗区域的光照强度差异，目前广泛应用的传统数字图像所能表示的动态范围是非常有限的，这使得场景中的高亮区域由于曝光过度丢失了细节，而黑暗区域由于曝光不足，细节信息也有丢失。对于室内那些明暗反差很大的场景，传统的网络摄像机IPC受CCD或CMOS感光特性所限，亮区和暗区的细节均难以保持，严重影响图像质量。因此需要获取一组不同曝光度的图像，再通过图像融合对这组图像进行多帧宽动态合成，使最终呈现的图像亮区和暗区细节均能得到体现。

在许多理论研究中，对静态图像仅仅有好的曝光结果和融合算法就能得到好的宽动态图像了，但是在实际监控应用中，更多的是要观察存在运动物体的场景，并且相机装在室外时，受到风力、震动影响，不可避免的会发生抖动。无论是相机抖动造成的画面整体运动，还是场景中存在运动物体，如果不进行特殊的伪影去除操作，所观察到的景象将是充满拖影、重影、鬼影等，边缘和细节模糊不清。

现有技术中，对于相机抖动造成画面整体运动，通常采用基于MTB的图像配准算法，一般是对两幅长、短曝光图像直接二值化，计算位移结果，或者进行金字塔分解后，再计算位移结果。但是无论是否使用金字塔分解，都存在以下几个问题：

(1)如果曝光场景的中值附近像素所占比例较大时，差异评价相当不稳定，非常容易导致配准结果错误；

(2)更为重要的是，该方法受到运动物体的影响，如果画面中存在运动物体，很容易导致判断结果错误。

而宽动态图像合成过程中的伪影去除方案有很多，主要差别在于运动检测方法的不同和运动部分伪影消除方式的不同，运动检测方法有基于方差、块匹配、MTB等许多方法。但是现有方法存在的主要问题有：运动物体的伪影去除不够彻底；运动物体与静止背景的融合性不够好，拼接效果明显；用到了迭代过程，运算量大，不适合视频监控实时处理的需求。

发明内容

本发明的目的是提供一种宽动态图像合成方法，用于宽动态场景下多帧待合成曝光图像的合成，可以有效避免相机抖动，以及场景中存在运动物体造成的拖影、重影、鬼影等画面模糊的情况。

为了实现上述目的，本发明技术方案如下：

一种宽动态图像合成方法，用于对图像采集设备获取的当前宽动态场景的至少两帧待合成曝光图像进行合成，该方法包括步骤：

对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准；

对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准；

对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。

由于图像中的伪影是由于图像中物体运动和相机抖动造成的，为了去除伪影，如果先进行物体运动配准，再进行帧运动配准容易造成帧配准过度，还需要进行回调，操作较为麻烦。本发明首先进行帧运动配准，然后再进行物体运动配准，无论运动物体的大小，都可以很好的去除相机抖动和物体运动造成的伪影。

进一步地，所述方法在获取待合成曝光图像时，还包括曝光选择步骤，所述曝光选择方法包括步骤：

对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均分为至少两级；

选择其中的至少两级对应的像素点作为曝光对象，分别进行自动曝光，得到至少两帧待合成曝光图像。

本发明方法中，所述对分割后的每个区域块计算其对应于参考图像的运动矢量，包括步骤：

步骤1.1)、对分割的每个区域块分别求MTB二值图像；

$\mathrm{MTB}(x,y)=\left\{\begin{array}{c}0,Z(x,y)\≤Z_{\mathrm{med}}\\ 1,Z(x,y)>Z_{\mathrm{med}}\end{array}\right.$

其中，MTB(x，y)为像素点(x，y)的MTB值，(x，y)表示区域块内的像素坐标，Z(x，y)为该像素点的灰度值，Z_med为该区域块的中值像素灰度值；

步骤1.2)、对每一帧待配准图像，按照如下公式计算每个区域块对应于参考图像的评估值EV(u，v)：

$\mathrm{EV}(u,v)=\underset{x,y}{\mathrm{\Σ}}\left[\mathrm{MTB}(x,y)\mathrm{xor}{\mathrm{MTB}}^{\′}(x+u,y+v)\right],$

其中，(u，v)表示区域块的位移矢量，MTB'(x+u，y+v)表示待配准图像区域块中像素点(x+u，y+v)对应的MTB值，MTB(x，y)表示参考图像中对应像素点(x，y)的MTB值，xor为异或运算；

步骤1.3)、根据评估值，按照如下公式计算每个区域块的运动矢量(U，V)：

(U，V)＝(u，v)|_min[EV(u,v)，(u,v)∈[-r,+r]，

其中，r为图像采集设备在水平和垂直方向单侧可能运动的最大位移量。

进一步地，所述以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准，包括步骤：

对于每一帧待配准图像，统计其每个区域块的运动矢量，以频数最多的运动矢量作为该帧待配准图像的运动矢量；

将待配准图像向参考图像方向平移其运动矢量对应的像素。

本发明的方法中，所述计算两两待合成曝光图像多门限图的差值得到运动图像，包括步骤：

步骤2.1)、对重建得到的两幅辐照图E₁和E₂，分别统计得到直方图Histo₁和Histo₂；

步骤2.2)、将Histo₁和Histo₂等分成K部分；

步骤2.3)、对Histo₁和Histo₂等分后的各段分别赋值，得到两幅多门限图；

步骤2.4)、对两幅多门限图求差值，得到运动图像M；

步骤2.5)、对运动图像M做形态学运算，以去除多余杂点和空洞。

本发明的方法中，所述利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，具体包括步骤：

步骤3.1)、按照如下公式提取每帧待合成曝光图像的运动区域：

M′＝E·M_e

其中，M′为该待合成曝光图像的运动区域，E为该待合成曝光图像的辐照图，M_e为最终的运动图像；

步骤3.2)、统计各帧待合成曝光图像的运动区域的直方图，按照如下公式计算各帧待合成曝光图像运动区域的信息熵：

H＝-∑p(q)logp(q)

其中p(q)表示辐照值为q的像素数量占运动区域像素总数量的比率。

本发明的方法中，所述将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准，包括步骤：

步骤4.1)、对最终的运动图像进行高斯滤波；

步骤4.2)、对于每一帧待配准图像，根据高斯滤波后的运动图像从参考图像中按照下式获取用于配准的运动区域亮度图M_R:

$M_R=M^{\′\′}\·I_R\·\frac{t_P}{t_R};$

其中，M″为高斯滤波后的运动图像，I_R为参考图像，t_R为参考图像的曝光时间，t_P为待配准图像的曝光时间；

步骤4.3)、将获取的用于配准的运动区域亮度图M_R与待配准图像中的静止区域S_R叠加，对待配准图像进行物体运动配准，其中待配准图像中的静止区域S_R为：

S_R＝(1-M″)·I_P，

其中，I_P为待配准图像。

本发明先对最终的运动图像进行高斯滤波，由于运动图像的像素点的像素值是0与1，若直接匹配图像会非常突兀，而采用了高斯滤波起到了很好的平滑作用，使得物体运动配准后运动图像的边缘平滑。另外，高斯滤波需要在物体运动配准前进行，如果在匹配后再进行滤波，则是对整幅图像的滤波，会造成图像的模糊。

本发明的方法中，所述对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像，采用的是基于多分辨率分解的图像融合方法，其中对应的权重为：

weight＝weight_Exposure·weight_Contrast·weight_Saturation；

其中，weight_Exposure为曝光权重，weight_Contrast为对比度权重，weight_Saturation为饱和度权重，各自为：

$\mathrm{weight}\_\mathrm{Exposure}=e^{-\frac{{(R-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(G-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(B-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}};$

$\mathrm{weight}\_\mathrm{Contrast}=|\left(\frac{R+G+B}{3}\right)*H|;$

$\mathrm{weight}\_\mathrm{Saturation}=\sqrt{\frac{{(R-L)}^2+{(G-L)}^2+{(B-L)}^2}{3}};$

其中，R、G、B表示红、绿、蓝三个颜色通道的像素值，u和δ为常数，H为低通滤波器。

本发明提出的宽动态图像合成方法，通过对多帧待合成曝光图像进行分区域块，并根据每个区域块的运动矢量来判断整个帧图像的运动方向，从而进行帧运动配准；通过对待合成的多帧曝光图像的辐照图进行MTM分级，然后通过辐照图的差值求出运动图像，对待合成图像中的物体运动进行配准。能够有效的消除相机抖动以及物体运动造成的拖影、鬼影、重影等画面模糊的情况，计算量适中，合成的图像效果好。

附图说明

图1为本发明宽动态图像合成方法流程图；

图2为本发明宽动态图像每个区域块运动矢量计算方法流程；

图3为本发明宽动态图像运动图像检测方法流程图；

图4为本发明宽动态图像多分辨率融合示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

图像采集设备在图像传感器根据正常的曝光策略获取当前场景的单帧曝光图像后，首先进行线性ISP(Image Signal Processor图像处理器)处理，主要包括去黑电平、噪声去除、坏点去除、白平衡、去马赛克、色彩还原等；然后根据单帧曝光图像判断当前场景是否是宽动态场景，如果是宽动态场景，则进行曝光选择，根据曝光选择获取当前宽动态场景的多帧待合成曝光图像进行合成得到一幅宽动态图像，并对合成得到的宽动态图像进行非线性ISP处理后作为当前宽动态场景的输出图像；如果当前场景不是宽动态场景，则直接对单帧图像进行非线性ISP处理后输出。

本实施例主要针对曝光选择后获取的当前宽动态场景的多帧待合成曝光图像进行合成的方法，如图1所示，包括如下步骤：

S1、对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均分为至少两级，选取分级后的至少两级像素点分别进行自动曝光以获取至少两帧待合成曝光图像。

对于当前宽动态场景，合成后输出宽动态图像质量的好坏与输入的多帧待合成曝光图像有很大的关联，需要通过一定的策略控制多帧的曝光参数(快门、增益、光圈等)，一般增益和光圈根据其中一帧决定后，不同帧之间仅调节快门。与普通场景的单帧曝光控制不同的是，宽动态场景的多帧待合成曝光图像最后需要融合成为一张图像，因此相互之间是有很强的相关性，如果几帧之间的关系处理得不好，用再好的融合算法也无法得到好的融合结果。因此曝光选择就是怎么去权衡几帧之间的关系的策略，不涉及具体的自动曝光AE(Auto Exposure)控制策略。

在现有技术中，如MIBS(Minimal Image Bracketing Set)、MSBS(Minimal System Bracketing Set)等曝光选择方法需要根据系统可以调节的快门步距，一点一点地去调节比对，对不同场景能够自适应，但是从开始直至调到最终结果需要较长的过程，在实际监控中较难应用。而为了追求简单快速，一般采用的方法还有固定曝光比(使几帧之间的曝光固定为1:4:16或1:16:256等)和固定曝光目标值(固定将几帧的画面亮度曝光为某一个设定值，而AE控制使用单帧曝光的方法)等方法，但是在不同的场景下就需要人为干预去设定参数，不具有很好的场景适应性，甚至一天内的光照变化不同都会影响最终效果有好有坏。

本实施例中采用的曝光选择方法，是基于多门限图MTM(Multi-levelThreshold Map)的曝光选择方法，包括如下步骤：

S1.1、对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均分为至少两级。

本实施例基于多门限图MTM来进行曝光选择，MTM是MTB(Median Threshold Bitmap)的一种扩展，MTB是MTM的级数等于2的一种特例。MTB是找出图像的中值像素，将图像中像素点分为两级，分别赋值得到的图像；而MTM是对图像像素点按照像素值排序，并按照像素值大小顺序均分为多个级别，分别赋值得到的图像。在本实施例中，对当前宽动态场景的单帧图像统计直方图或对像素点按照像素值排序，将当前宽动态场景单帧图像像素点按照像素值的大小顺序均分为至少两级。

例如：对于含有1000个像素点的单帧图像，在对像素点进行排序后，按照像素值由大到小的顺序每200个像素点分为一级，则可以将该单帧图像分为5级，分别将每一级分别标记为L₀、L₁、L₂、L₃、L₄。

S1.2、选择其中的至少两级对应的像素点作为曝光对象，分别进行自动曝光，得到至少两帧待合成曝光图像。

由用户选择其中的两级，或三级或四级，使用正常自动曝光来调节快门，得到两帧、三帧或四帧待合成曝光图像。具体选择哪一级像素点作为曝光目标可以由用户根据感兴趣的区域所处分级来设定，例如对于分为5级的图像做三帧曝光，既可以选择L₁、L₂、L₃也可以选择L₀、L₁、L₄等等。

需要说明的是，由于成像系统响应的单调性，对于任意未饱和且未被噪声淹没的像素，其任意曝光时间得到的图像中，像素值高于这个像素的像素总个数以及低于这个像素的总个数是一定的，而不受曝光时间长短的影响，因此可以根据中值门限位图MTB或多门限图MTM来进行曝光选择。对于MTB是将画面中像素值低于中值灰度的像素点的像素值赋值为0，高于中值灰度的像素点的像素值赋值为1，得到一幅二值图像。其中中值灰度是通过对当前宽动态场景的单帧图像统计直方图或对像素值排序，找到图像中所有像素点的中值像素，得到对应于中值像素的像素值即为中值灰度。由于MTB的曝光参数选择方法不能覆盖较大的动态范围，即当感兴趣的区域实际很亮或者很暗时，还是采用基于多门限图MTM的曝光选择方法效果更好。

需要说明的是，在实际应用中，利用多帧待合成曝光图像来合成宽动态图像，采用的帧数有两帧、三帧甚至四帧的应用，一般情况下参与合成的帧数越多，合成的宽动态图像细节越多、图像质量越好。但是具体采用几帧是由整个系统本身的软硬件性能(例如sensor所能支持的帧率等)所决定，出厂后就固化下来不能随意进行选择和调节。也就是说，如果该系统支持的是两帧，则曝光时必须选择两级去曝光得到两帧待合成曝光图像，这两帧待合成曝光图像参与后面的帧运动配准和物体运动配准，最终融合为一张宽动态图像；当该系统支持三帧时，则曝光时必须选择三级去曝光，以得到三帧待合成曝光图像，这三帧待合成曝光图像参与后面的帧运动配准和物体运动配准，最终融合为一张宽动态图像。本实施例为了描述方便，以下均以两帧来举例描述，对于三帧或四帧的情况，依然适用。

S2、对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准。

在得到多帧待合成曝光图像后，接下去需要帧运动配准，帧运动配准的主要目的是消除多帧待合成曝光图像之间由于相机本身的抖动带来的全局位移。如果多帧之间不配准就融合，会使整个画面都产生严重的伪影问题。

假设两帧之间存在相对位移(u，v)，那么对两帧之间的每个对应像素点，其位移矢量都是(u，v)，而不受如何分割的影响。因此本实施将每一帧待合成曝光图像分割为很多区域，对每一个区域进行运动方向的判断，并将大部分区域的运动方向作为最终整个图像的运动方向，使得配准结果更准确。其中对于将每一帧待合成曝光图像进行区域分割，是将每一帧待合成曝光图像(高为H，宽为W)分成M×N个区域块，其中每一个区域块的大小为(H/M)×(W/N)。至于每一帧图像分为多少个区域块，是根据图像中运动物体的大小来进行调节的，调节的准则是尽量使运动物体分布在相对较少的区块里，使得根据区域块可以很容易的将运动物体与图像背景区分开来。

对分割后的每个区域块进行运动矢量的计算，如图2所示，包括如下步骤：

S2.1、对分割的每个区域块分别求MTB二值图像。

具体的求每一区域块的MTB二值图像，即统计该区域块的直方图，得到该区域块的中值像素灰度值，再将该区域块中所有低于这个值的像素置为0，高于这个值的像素置为1。即对于区域块中的任意像素点(x，y)，都满足：

$\mathrm{MTB}(x,y)=\left\{\begin{array}{c}0,Z(x,y)\≤Z_{\mathrm{med}}\\ 1,Z(x,y)>Z_{\mathrm{med}}\end{array}\right.$

其中，MTB(x，y)为该像素点的MTB值，Z(x，y)为该像素点的灰度值，Z_med为该区域块的中值像素灰度值。

S2.2、对每一帧待配准图像，计算每个区域块对应于参考图像的评估值EV(u，v)。

计算公式如下：

$\mathrm{EV}(u,v)=\underset{x,y}{\mathrm{\Σ}}\left[\mathrm{MTB}(x,y)\mathrm{xor}{\mathrm{MTB}}^{\′}(x+u,y+v)\right],$

其中，(u，v)表示区域块的位移矢量，MTB'(x+u，y+v)表示待配准图像区域块中像素点(x+u，y+v)对应的MTB值，MTB(x，y)表示参考图像中对应像素点(x，y)的MTB值，xor为异或运算。

例如在参考图像中的像素点(1，1)，当位移(u，v)为(1，1)时，在待配准图像中对应的像素点为(2，2)。因此在计算待配准图像包括(2，2)这个像素点的区域块对应于参考图像的评估值时，待配准图像中像素点(2，2)在参考图像中对应的像素点为(1，1)。

S2.3、根据评估值，计算每个区域块的运动矢量(U，V)。

计算公式如下：

(U，V)＝(u，v)|_min[EV(u,v)]，(u,v)∈[-r,+r]，

其中，r为图像采集设备在水平和垂直方向单侧可能运动的最大位移量。

对每一组(u，v)，计算得到一个评价值EV(u，v)，在[-r，+r]的范围内，当EV(u，v)值最小时，所对应的位移矢量(u，v)即为当前区域块所要求的运动矢量(U，V)。

在知道待配准图像的每个区域块的运动矢量后，对于每一帧待配准图像，统计每个区域块的运动矢量，以频数最多的运动矢量作为该待配准图像的运动矢量。

根据确定的每一帧待配准图像的运动矢量对待配准图像进行校准，即根据每一帧待配准图像的运动矢量，将待配准图像整体向参考图像方向平移其运动矢量对应的像素，即运动矢量(U，V)对应的像素，从而校准待配准图像。

需要说明的是，对于参考图像的选择具有多种方法，可以任意指定多帧待合成曝光图像中的一帧为参考图像，而其他帧都作为待配准图像；也可以根据运动区域信息量的大小，自动选择以信息量较大的图像为参考图像。

S3、对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准。

具体包括如下步骤：

S3.1、对帧运动配准后的待合成曝光图像重建其辐照图。

辐照强度是指感光器件单位面积上所接受到的光照能量，记为E。对于固定光圈和模拟增益的拍摄设备，其感光元件在曝光时间t内的感光量为辐照强度E在该时间范围内的积分：

I＝∫Edt

在实时视频监控宽动态应用下，单帧曝光时间t都较小；而对于一般的监控场景，在较短的曝光内辐照E的变化可以忽略不计，也就是说，可以认为E在时间t内为一个定值，因此：

I＝E*t

根据上式可知，对于连续两帧曝光：

I₁＝E*t₁

I₂＝E*t₂

尽管感光器件、AD转换器以及宽动态合成之前的ISP处理在器件量程范围外是非线性的，但是在量程范围内基本上保持线性，因此在已知曝光时间t和画面亮度的I的情况下，可以反推出当前宽动态场景的辐照强度E：

$E_1=\frac{I_1}{t_1}$

$E_2=\frac{I_2}{t_2}$

由前面的分析可知，对于完全静止的两帧图像：E₁＝E₂；但对存在运动物体的画面，静止部分仍然满足E₁＝E₂，运动部分E₁≠E₂。

S3.2、对重建的辐照图进行分级得到各自的MTM图，计算两两待合成曝光图像MTM图的差值，得到运动图像。

由于宽动态场景必然存在感光量超过器件探测量程的因素，且受到噪声的干扰，不能直接用来E₁≠E₂这个条件来判断运动区域。本实施例参考中值门限位图MTB的思想，通过多门限图MTM来进行运动检测，即增加门限的级别，将辐照图分成N级(其中N为可调参数)，并且通过对两帧待合成曝光图像对应辐照图的差值判定，简单快速地实现运动检测，具体流程如图3所示，包括如下步骤：

S3.2.1、对重建得到的两幅辐照图E₁和E₂，分别统计得到直方图Histo₁和Histo₂。

S3.2.2、将Histo₁和Histo₂等分成K部分。

Histo₁分割成L₁₁、L₁₂、…、L_1K，Histo₂分割成L₂₁、L₂₂、…、L_2K，每部分的像素数均为(H*W)/K个，其中H和W分别为画面的高度和宽度。

S3.2.3、对Histo₁和Histo₂等分后的各段分别赋值，得到两幅多门限图。

对每段分别赋值，即L₁₁中所有像素点的特征值MTM₁₁(x，y)＝1、L₁₂中所有像素点的特征值MTM₁₂(x，y)＝2、…、L_1K中所有像素点的特征值MTM_1K(x，y)＝K，L₂₁中所有像素点的特征值MTM₂₁(x，y)＝1、L₂₂中所有像素点的特征值MTM₂₂(x，y)＝2、…、L_2K中所有像素点的特征值MTM_2K(x，y)＝K，这样两幅原图可以被标记成1到K的两幅多门限图MTM。

S3.2.4、对两幅多门限图求差值，得到运动图像M：

$M=\left\{\begin{array}{c}0,\mathrm{if}|{\mathrm{MTM}}_1(x,y)-{\mathrm{MTM}}_2(x,y)|\≤T\\ 1,\mathrm{if}|{\mathrm{MTM}}_1(x,y)-{\mathrm{MTM}}_2(x,y)|>T\end{array}\right.$

其中MTM₁(x,y)为辐照图E₁中每个像素的赋值后的特征值，MTM₂(x,y)为辐照图E₂中每个像素的赋值后的特征值，T为可设定的门槛值，当两幅MTM图对应像素点之间的差值小于等于T时，判定该像素点属于静止区域，M＝0；当两幅MTM图对应像素点之间的差值大于T时，判定该像素点属于运动区域，M＝1；本实施例中取了T＝1。

S3.2.5、对运动图像M做形态学运算，以去除多余杂点和空洞。

这里形态学运算包括“腐蚀”和“膨胀”，为针对二值化图像的通用处理，不做详细介绍，但是在本方案中需要强调的是，必须先“腐蚀”、后“膨胀”(即“开”运算)，并且“膨胀”所用到的模板一般要大于甚至是远大于“腐蚀”所用的模板。

S3.3、将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像。

首先要选取一帧待合成曝光图像作为参考图像，对于参考图像的选择具有多种方法，本实施例采用的是在多帧待合成曝光图像中，根据运动区域信息量的大小，自动选择以信息量较大的图像为参考图像，包括步骤：

S3.3.1、将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域。

将得到的运动图像M进行或运算得到最终的运动图像M_e。

对于两帧待合成曝光图像，分别对两帧待合成曝光图像提取运动区域M′：

M′₁＝E₁·M_e

            。

M′₂＝E₂·M_e

对于两帧的情况，其中M_e就是M。

而对于多帧待合成曝光图像，例如三帧待合成曝光图像，经过步骤3.2得到3个运动图像，将他们进行或运算得到M_e，对于三帧待合成曝光图像的运动区域M′分别为：

M′₁＝E₁·M_e

M′₂＝E₂·M_e。

M′₃＝E₃·M_e

S3.3.2、统计各帧待合成曝光图像的运动区域的直方图，按照如下公式计算各帧待合成曝光图像运动区域的信息熵，将信息熵较大的那帧待合成曝光图像作为参考图像，其他的帧作为待配准图像。

可见得到的运动区域为运动区域的辐照图，通过对运动区域的辐照图做统计直方图，并做归一化处理，可以得到运动区域中每个辐照值i对应的像素比率p(i)，则运动区域的信息熵为：

H＝-∑p(q)logp(q)

其中p(q)表示辐照值为q的像素数量占运动区域像素总数量的比率。

S3.4、将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准。

在选定参考图像后，对每一帧待配准图像，将待配准图像的运动区域向参考图像的运动区域匹配，进行物体运动配准，具体包括步骤：

S3.4.1、对最终的运动图像进行高斯滤波。

对最终的运动图像进行高斯滤波得到M″，可以使后期融合边缘平滑过渡。

S3.4.2、对于每一帧待配准图像，根据高斯滤波后的运动图像从参考图像中获取用于配准的运动区域亮度图。

根据M″从参考图像中获取用于配准运动区域亮度图：

$M_R=M^{\′\′}\·I_R\·\frac{t_P}{t_R}$

其中I_R为参考图像，t_R为参考图像的曝光时间，t_P为待配准图像的曝光时间。

S3.4.3、将获取的用于配准的运动区域亮度图与待配准图像中的静止区域叠加，对待配准图像进行物体运动配准。

相应地，待配准图像的静止区域为：

S_R＝(1-M″)·I_P

其中，I_P为待配准图像。

然后将待配准图像对应的运动区域亮度图与自身的静止区域的叠加，获得待配准图像物体运动配准后的图像。

需要说明的是，对于每帧待合成曝光图像，如果画面中存在较小的运动物体，占据画面的比重较小，则运动物体所占据的区域块比重较小。由于本发明在帧运动配准中，将大部分区域块的运动方向作为最终整个图像的运动方向，因此运动物体所占据的区域块的运动方向不会影响整个图像画面的运动方向。据此判断进行的帧运动配准将消除由于相机抖动造成的全局位移。在随后的物体运动配准步骤中，再对运动物体运动产生的位移进行配准。

但是如果画面中存在较大的运动物体时，运动物体占据画面的比重较大，则运动物体所占据的区域块比重较大。由于在帧运动配准中将大部分区域块的运动方向作为最终整个图像的运动方向，因此运动物体所占据的区域块的运动方向将作为整个图像的运动方向。这时候进行帧运动配准时，所消除的将不是由于相机抖动造成的全局位移，而是运动物体的位移。在随后的物体运动配准步骤中，再对相机抖动产生的位移进行配准。

因此，无论哪种情况，本发明给出的配准方法都将有效的消除相机抖动以及物体运动造成的画面模糊。

S4、对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。

图像融合的常用方法为加权融合，融合效果的好坏取决于权重如何选取，另外直接对原图加权融合容易导致亮暗过渡不自然，这里采用基于多分辨率分解的图像融合方法，包括如下步骤：

S4.1、对各帧待合成曝光图像进行加权获得权重图，对得到的权重图进行高斯金字塔分解，对其原图进行拉普拉斯金字塔分解。

高斯金字塔分解和拉普拉斯金字塔分解，其均为现有技术，这里不多赘述。对原图采用拉普拉斯金字塔分解是因为高斯分解是有信息损失的，但是拉普拉斯金字塔分解可以保留全部信息，而权重图并没有保留细节的需求，因此可以简单采用高斯金字塔分解，减少计算量。

其中加权采用的权重为：

weight＝weight_Exposure·weight_Contrast·weight_Saturation

其中，weight_Exposure为曝光权重，weight_Contrast为对比度权重，weight_Saturation为饱和度权重，各自为：

$\mathrm{weight}\_\mathrm{Exposure}=e^{-\frac{{(R-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(G-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(B-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}};$

$\mathrm{weight}\_\mathrm{Contrast}=|\left(\frac{R+G+B}{3}\right)*H|;$

$\mathrm{weight}\_\mathrm{Saturation}=\sqrt{\frac{{(R-L)}^2+{(G-L)}^2+{(B-L)}^2}{3}};$

其中，R、G、B表示红、绿、蓝三个颜色通道的像素值，一般u可取0.5，δ可取0.2，H为一低通滤波器，可以有很多种选择，由用户配置，这里不加以强调。

S4.2、将各帧待合成曝光图像分级加权融合。

如图4流程图所示，基于多分辨率分解进行图像融合，例如以image及image'为例，对image的原图采用拉普拉斯金字塔分解，如图中的lp0、lp1、lp2和g3，对image的权重图采用高斯金字塔分解，如图中的weight0、weight1、weight2、weight3；对image'的原图采用拉普拉斯金字塔分解，如图中的lp0'、lp1'、lp2'和g3'，对image'的权重图采用高斯金字塔分解，如图中的weight0'、weight1'、weight2'、weight3'。低分辨率的图加权融合后上采样加到上一层，直到得到最终结果。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种宽动态图像合成方法，用于对图像采集设备获取的当前宽动态场景的至少两帧待合成曝光图像进行合成，其特征在于，该方法包括步骤：

对于获取的待合成曝光图像，选取其中一帧为参考图像，其他帧为待配准图像，将每一帧待合成曝光图像进行区域分割，对于每一帧待配准图像，对分割后的每个区域块计算其对应于参考图像的运动矢量，以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准；

对于帧运动配准后的待合成曝光图像重建其辐照图，对重建的辐照图进行分级得到各自的多门限图，计算两两待合成曝光图像多门限图的差值得到运动图像，将得到的运动图像进行或运算得到最终的运动图像，利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，选择信息熵最大的一帧待合成曝光图像作为参考图像，其他的帧作为待配准图像，将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准；

对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像。

2.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述方法在获取待合成曝光图像时，还包括曝光选择步骤，所述曝光选择包括步骤：

对判断为宽动态场景的单帧图像的像素点按照像素值的大小顺序均分为至少两级；

选择其中的至少两级对应的像素点作为曝光对象，分别进行自动曝光，得到至少两帧待合成曝光图像。

3.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述对分割后的每个区域块计算其对应于参考图像的运动矢量，包括步骤：

步骤1.1)、对分割的每个区域块分别求MTB二值图像；

$\mathrm{MTB}(x,y)=\left\{\begin{array}{c}0,Z(x,y)\≤Z_{\mathrm{med}}\\ 1,Z(x,y)>Z_{\mathrm{med}}\end{array}\right.$

其中，MTB(x，y)为像素点(x，y)的MTB值，(x，y)表示区域块内的像素坐标，Z(x，y)为该像素点的灰度值，Z_med为该区域块的中值像素灰度值；

步骤1.2)、对每一帧待配准图像，按照如下公式计算每个区域块对应于参考图像的评估值EV(u，v)：

$\mathrm{EV}(u,v)=\underset{x,y}{\mathrm{\Σ}}\left[\mathrm{MTB}(x,y)\mathrm{xor}{\mathrm{MTB}}^{\′}(x+u,y+v)\right],$

其中，(u，v)表示区域块的位移矢量，MTB'(x+u，y+v)表示待配准图像区域块中像素点(x+u，y+v)对应的MTB值，MTB(x，y)表示参考图像中对应像素点(x，y)的MTB值，xor为异或运算；

步骤1.3)、根据评估值，按照如下公式计算每个区域块的运动矢量(U，V)：

(U，V)＝(u，v)|_min[EV(u,v)，(u,v)∈[-r,+r]，

其中，r为图像采集设备在水平和垂直方向单侧可能运动的最大位移量。

4.根据权利要求3所述的宽动态图像合成方法，其特征在于，所述以频数最多的运动矢量作为帧运动配准的运动矢量，对该待配准图像进行帧运动配准，包括步骤：

对于每一帧待配准图像，统计其每个区域块的运动矢量，以频数最多的运动矢量作为该帧待配准图像的运动矢量；

将待配准图像向参考图像方向平移其运动矢量对应的像素。

5.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述计算两两待合成曝光图像多门限图的差值得到运动图像，包括步骤：

步骤2.1)、对重建得到的两幅辐照图E₁和E₂，分别统计得到直方图Histo₁和Histo₂；

步骤2.2)、将Histo₁和Histo₂等分成K部分；

步骤2.3)、对Histo₁和Histo₂等分后的各段分别赋值，得到两幅多门限图；

步骤2.4)、对两幅多门限图求差值，得到运动图像M；

步骤2.5)、对运动图像M做形态学运算，以去除多余杂点和空洞。

6.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述利用得到的最终运动图像提取每帧待合成曝光图像的运动区域，对运动区域计算信息熵，具体包括步骤：

步骤3.1)、按照如下公式提取每帧待合成曝光图像的运动区域：

M′＝E·M_e

其中，M′为该待合成曝光图像的运动区域，E为该待合成曝光图像的辐照图，M_e为最终的运动图像；

步骤3.2)、统计各帧待合成曝光图像的运动区域的直方图，按照如下公式计算各帧待合成曝光图像运动区域的信息熵：

H＝-∑p(q)logp(q)

其中p(q)表示辐照值为q的像素数量占运动区域像素总数量的比率。

7.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述将参考图像的运动区域匹配到待配准图像的运动区域，进行物体运动配准，包括步骤：

步骤4.1)、对最终的运动图像进行高斯滤波；

步骤4.2)、对于每一帧待配准图像，根据高斯滤波后的运动图像从参考图像中按照下式获取用于配准的运动区域亮度图M_R:

$M_R=M^{\′\′}\·I_R\·\frac{t_P}{t_R};$

其中，M″为高斯滤波后的运动图像，I_R为参考图像，t_R为参考图像的曝光时间，t_P为待配准图像的曝光时间；

步骤4.3)、将获取的用于配准的运动区域亮度图M_R与待配准图像中的静止区域S_R叠加，对待配准图像进行物体运动配准，其中待配准图像中的静止区域S_R为：

S_R＝(1-M″)·I_P，

其中，I_P为待配准图像。

8.根据权利要求1所述的宽动态图像合成方法，其特征在于，所述对配准后的待合成曝光图像进行图像融合得到最终的输出宽动态图像，采用的是基于多分辨率分解的图像融合方法，其中对应的权重为：

weight＝weight_Exposure·weight_Contrast·weight_Saturation；

其中，weight_Exposure为曝光权重，weight_Contrast为对比度权重，weight_Saturation为饱和度权重，各自为：

$\mathrm{weight}\_\mathrm{Exposure}=e^{-\frac{{(R-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(G-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}}\·e^{-\frac{{(B-\mathrm{\μ})}^2}{2{\mathrm{\δ}}^2}};$

$\mathrm{weight}\_\mathrm{Contrast}=|\left(\frac{R+G+B}{3}\right)*H|;$

$\mathrm{weight}\_\mathrm{Saturation}=\sqrt{\frac{{(R-L)}^2+{(G-L)}^2+{(B-L)}^2}{3}};$

其中，R、G、B表示红、绿、蓝三个颜色通道的像素值，u和δ为常数，H为低通滤波器。