CN106131443A - 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 - Google Patents

Abstract

本发明提供一种基于块匹配动态估计算法去鬼影的高动态视频合成方法，包括下列步骤：块匹配：从输入的图片序列中选定参考帧和当前帧，进行灰度化处理后采用ARPS3块匹配算法计算出当前帧的运动向量；运动区域检测与标定：使用计算得到的运动向量来检测当前帧和参考帧各自的运动区域，对特定图像的运动区域进行合并，并在二值位图上进行标记；去鬼影HDR图像合成步骤：利用获得的二值位图对根据Exposure Fusion算法计算得到的权重图进行改进，需要进行融合的图像在改进后的权重图的指导下进行融合，以得到最终的HDR图像即视频帧。本发明的高动态视频合成方法通过运动估计对鬼影区域进行检测，并通过融合算法去除鬼影合成HDR视频帧。

Description

一种基于块匹配动态估计去鬼影的高动态范围视频合成方法

技术领域

本发明涉及数字图像处理领域技术，且特别是有关于一种有基于块匹配动态估计算法去鬼影的高动态视频合成方法。

背景技术

在图像领域中,动态范围(Dynamic Range)指在图像可显示范围内最大灰度值与最小灰度值之间的比率。对于真实世界中的自然场景，从直射的太阳光到树下的阴影，最亮的光照亮度与最暗光照亮度的比值大约有10⁴个数量级，因此称之为高动态范围。然而，在目前大部分的彩色图像中，各个通道由于存储位数的限制，能够表示的范围仅为0-255灰度级，因此称图像的动态范围为低动态范围(Low Dynamic Range，后简称LDR)。

人类视觉系统在光线强弱不同的情况下，依然可以利用自身的调节感知到整个场景的信息。然而数码相机很难做到这一点，它的成像过程实际上就是真实世界的高动态范围到相机的低动态范围的映射，这是一个非线性的过程。当曝光度被设定后，拍摄设备很难兼顾过亮和过暗的地方，容易形成曝光过度和曝光不足的情况，例如在室内拍摄站在有阳光射入的窗前的人像时，很难同时清晰地拍摄人脸部细节与窗外的景象。这类图像中像素值与场景中对应点的亮度值不是成正比的关系，造成了照片/视频对现实世界的低还原。为了让图像或视频更为真实，可以尽可能地展示整个复杂光强场景的信息，同时又不会导致色彩偏差太大，图像失真，高动态范围(High Dynamic Range，后简称HDR)的概念被提出。

目前，对于HDR视频的研究还未成熟。虽然已有能够直接获得HDR的拍摄设备以及直接显示HDR的显示设备，但是，由于尚未制定统一的HDR编码标准，HDR在应用级别上的发展还需要一个很长的过程。2010年，Soviet Montage公布了一段使用两台5DmarkIIS拍摄的HDR影片，它使用一个分光镜来解决不同位置的相机的视角差问题。RED和Arri公司也开发了针对HDR的感光芯片。民用产品中，Cannon的5D3自带HDR照片拍摄模式，Sony更是开发除了HDR movie功能。然而，这些产品和技术由于价格昂贵或对设备要求较高的原因，很难在消费级别的设备上有所突破。另一种获得HDR视频的途径是利用一个可以改变曝光时间的照相机，在拍摄一个场景的过程中不断地快速改变其曝光时间，以获得一组不同曝光度交替的图像序列。然后，利用HDR图像生成的方法和一些视频编码的方式来获得最终的HDR视频。这类方法需要解决因为运动物体过快而产生的图片校准问题，因为最终视频的每一帧是由前面的一组不同曝光度图片合成的，如果运动物体的移动速度较快，而照相机难以达到相应的拍摄速度，就会导致最后不同曝光度图片运用复杂的方法进行校准，而且短时间内不停地进行反复的曝光度改变对设备来说也是个苛刻的要求。

HDR图像通常由多张不同曝光度下静止的LDR图像合成，然而，这种方法对于HDR视频并不适用，原因在于当拍摄视频时，场景中的运动物体在每一帧中所处位置并不相同，因此，如果直接使用不同曝光度下的帧进行合成，将会在合成的HDR图像中出现多个相同的运动物体，也就是所谓的鬼影。

发明内容

本发明目的在于提供一种基于块匹配动态估计算法去鬼影的高动态视频合成方法，通过运动估计对鬼影区域进行检测，并通过融合算法去除鬼影合成HDR视频帧。

为达成上述目的，本发明提出一种基于块匹配动态估计算法去鬼影的高动态视频合成方法，包括下列步骤：

(1)块匹配：从输入的图片序列中选定参考帧和当前帧，进行灰度化处理后采用ARPS3块匹配算法计算出当前帧的运动向量；

(2)运动区域标定：使用步骤(1)中计算得到的运动向量来检测当前帧和参考帧各自的运动区域，对特定图像的运动区域进行合并，并在二值位图上进行标记；

(3)去鬼影HDR图像合成步骤：首先进行去鬼影操作，即利用在步骤(2)中获得的二值位图对根据Exposure Fusion算法计算得到的权重图进行改进，需要进行融合的图像在改进后的权重图的指导下进行融合，以得到最终的HDR图像即视频帧。

本发明与现有技术相比，具有以下有益效果：本发明开创性地使用了块匹配运动估计算法对会造成鬼影的运动区域进行检测，并依据检测结果对需要合成的LDR图像序列进行运动区域标注，再根据运动区域对Exposure Fusion算法中的权重加以改进，生成去鬼影HDR图像并合成视频。通过实验证明，本发明能够较好地提高通过不同曝光值的LDR视频序列生成HDR视频的质量。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1为本发明基于块匹配动态估计算法去鬼影的高动态视频合成方法的流程图。

图2为图1包含各个算法详细步骤的方法示意图。

图3为图1中块匹配步骤的算法原理图。

图4为图1中块匹配步骤所采用的ARPS3算法的搜索模型图。

图5为图1中块匹配步骤计算运动向量时相邻位置宏块的示意图。

图6为图1中HDR视频合成步骤中的Exposure Fusion算法流程图。

图7为本发明与其他HDR视频合成方法得到结果的细节对比图，其中直接融合(上/左)、基于运动区域的权重图算法(中)、基于匀速直线运动假设的帧补偿算法(下/右)。

图8为测试视频原始帧序列(部分)。

图9为不同算法HDR合成图整体比较表。

图10为不同算法鬼影去除效果比较表。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

当通过一组以不同曝光交替拍摄的视频帧来合成高动态视频(HDR)视频时，由于在拍摄时场景中的运动物体在每一帧中所处位置并不相同，因此，如果直接使用不同曝光度下的帧进行合成，将会在合成的HDR图像中出现多个相同的运动物体，也就是所谓的鬼影。本发明下述内容将要描述的一个或多个实施方案就是通过运动估计对鬼影区域进行检测，并通过融合算法去除鬼影最后合成HDR视频帧。

结合图1、图2，根据本发明的实施例，提出一种基于块匹配运动估计算法的高动态视频合成方法，通过检测鬼影区域，对原视频中不同曝光值的LDR视频帧标记物体运动区域，并通过改进后融合算法把这组LDR视频帧去除鬼影合并成一个HDR视频帧。以L1,H1,L2,H2……(其中，L代表低曝光度，H代表高曝光度)这样的图像序列作为输入，假设直接使用HDR图像合成算法对L1和H1进行曝光融合，那么，由于L1和H1中的运动物体并不完全重叠，最后合成的HDR图像中将会产生鬼影。因此需要在合成过程中保留某一曝光度下的运动区域而消除另一曝光度下的运动区域，例如，本发明中在最终生成的HDR图像中保留H1图像中的运动区域，去除L1中的运动区域。

根据本发明的公开，在实现过程中主要使用ARPS3块匹配运动估计算法，ExposureFusion算法(融合算法)来实现。下面介绍方法的流程并具体说明本发明所使用的各项技术的实施方式。

图1描述了方法的整个工作流，图2为包括了块匹配运动估计算法以及ExposureFusion算法的示意图。首先读取一组高低曝光值交替的LDR视频的图像序列L1H1L2H2...，然后在步骤1)块匹配中，根据参考帧计算当前帧的运动向量，这些运动向量将被用于之后的运动区域的检测。因为相同的像素值在不同曝光度的图像中意味着不同的光照强度，并且在不同曝光度下获得的照片将保留拍摄场景中完全不同的部分，所以在选定参考帧和当前帧时，需要考虑到对应的参考帧和当前帧是否处于同一曝光度下。例如，如果选定L1作为当前帧，那么，应选择L2而非H1作为L1的参考帧，这是因为L1与H1关注场景中完全不同的信息(L1关注色彩丰富的天空背景而H1关注细节清晰的人物前景)，对L1与H1进行块匹配计算没有任何意义。在选定参考帧和当前帧后，对输入的图像进行灰度化处理，以用于接下来的块匹配计算。

结合图1、图2所示，本发明的高动态视频合成方法，包括下述三个步骤：

(1)块匹配：从输入的图片序列中选定参考帧和当前帧，进行灰度化处理后采用ARPS3块匹配算法计算出当前帧的运动向量；

(2)运动区域检测与标定：使用步骤(1)中计算得到的运动向量来检测当前帧和参考帧各自的运动区域，对特定图像的运动区域进行合并，并在二值位图上进行标记；

(3)去鬼影HDR图像合成步骤：利用在步骤(2)中获得的二值位图对根据ExposureFusion算法计算得到的权重图进行改进，需要进行融合的图像在改进后的权重图的指导下进行融合，以得到最终的HDR图像即视频帧。

下面将结合附图1-7所示对该三个步骤进行具体的说明。

(1)块匹配步骤

用到的技术：块匹配的运动估计算法

块匹配的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动向量，块匹配算法原理如图3所示。

搜索范围：一般情况下，大小为S*S＝(2ω+1)*(2ω+1)的搜索窗被用来寻找最佳匹配块，并限制了在参考帧中搜索最佳匹配块的范围。这样，运动矢量的值被限制于-ω≤V_x≤ω,-ω≤V_y≤ω中。同时，在S*S的搜索窗中的候选运动矢量构成了一个集合P＝{(V_x,V_y)|-ω≤V_x≤ω,-ω≤V_y≤ω}。

匹配函数：运动搜索的目的就是在搜索窗内寻找与当前块最匹配的数据块。在本方法中，出于减少计算复杂度的考虑，选择了匹配函数(1)来判断匹配程度,SAD值越大，匹配程度越低。

$SAD(i,j)={\mathrm{\Σ}}_{m=0}^M{\mathrm{\Σ}}_{n=0}^N|f_k(m,n)-f_{k-1}(m+i,n+j)|---\left(1\right)$

匹配准则：本发明的合成方法中采用了基于块内相关的快速块匹配算法ARPS3(Unequal-arm Adaptive Rood Pattern Search)来进行运动估计。

基于块内相关的快速块匹配算法相比固定搜索模式的快速块匹配算法较为复杂，这一类方法利用当前块与在空间或者时间上相邻的块之间的相关性来预测目标MV。目标MV可以通过计算相邻MV的统计平均或者根据一定的判别方式选择其中一个相邻的MV来预测。在预测以后，搜索窗的大小和搜索中心相应地被重新定义，然后在这个新的搜索窗中执行快速块匹配算法。在这种方法中，需要额外的存储器来存储相邻MV。

ARPS3搜索算法与ARPS搜索算法类似，ARPS3就是搜索模型的臂长不等的ARPS。ARPS算法首先判断静止宏块，然后使用包括当前块左侧紧邻块的运动向量的ARP搜索模型(如图4(b)ARP Search Pattern)进行一次初步搜索，在确定最小错误匹配点后，将搜索中心移至该点，使用URP搜索模型(如图4(b)URP Search Pattern)进行反复精确搜索直至最小匹配错误点在URP搜索模型的中心。而ARPS3搜索算法如图4(a)所示，它的搜索模型的臂长是由相邻几帧和预测向量决定的，相邻帧是指左、上、右上三帧，如图5所示。另外，为了算法的鲁棒性，原点到中心点的向量也被用到。预测向量由中值预测确定，臂长由公式(2)决定，它与ARPS的不同之处在于它的搜索中心放在得到的预测矢量上并且臂长不等长，而ARPS中的搜索中心在当前块中心臂长相等。

(2)运动区域检测与标定步骤：

本步骤用于分别检测四帧输入图像的运动区域，并产生两张0-1二值位图，其中，非运动像素用0进行标记，运动像素用1进行标记。每张二值位图映射了将要用于曝光融合的相邻两帧的运动区域总和，例如第一张位图映射了L1与H1的运动区域总和，第二张位图反应了L2与H2的运动区域总和。

具体地，两个步骤需要被执行：1)运动区域检测，2)位图生成。

1)运动区域检测

在本步骤中，将对当前帧的运动区域和参考帧的运动区域分别检测，并最终对需要曝光融合的相邻帧的运动区域进行合并。因此，共包含a.当前帧运动区域检测，b参考帧运动区域检测，c.运动区域合并三个子步骤。

a、当前帧运动区域检测

由于在块匹配模块中已经获得了两张当前帧的运动向量，因此，将运动向量不为(0,0)的宏块认为是当前帧的运动区域，否则为非运动区域。将当前帧序列(如L1H1L3H3L5H5……)中的第k(k从1开始计数)帧定义为C_k，定义该帧中的运动区域为CMA_k,定义该帧中处于位置(i,j)处的宏块为CBlock_i,j,k，类似的，CBlock_i,j,k的运动向量被定义为于是，CMA_k可以根据公式(3)获得：

b、参考帧运动区域检测

根据块匹配运动估计的定义，当前帧C_k中处于位置(i,j)上的宏块在参考帧中的最佳匹配块将位于位置上，也就是说，当前帧中运动物体在参考帧中新的位置处于 点处。将参考帧序列(如L2H2L4H4L6H6……)中的第l(l从1开始计数)帧定义为R_l，定义R₁的运动区域为RMA_l，R_l中位于(p,q)位置上的宏块被定义为RBlock_p,q,l。于是，参考帧的运动区域的获得如公式(4)所示：

RMA_l＝∪RBlock_p,q,l (4)

c、运动区域合并

在视频序列中，由于运动区域并不完全重合，算法将对相邻两张当前帧(或相邻两张参考帧)的运动区域进行合并。定义当前帧C_k和C_k+1(此处k为奇数，因为需要确保C_k和C_k+1在整个视频序列中相邻)合并后的运动区域为CMA′_k+1，参考帧R_k和R_k+1合并后的运动区域为RMA′_k+1。CMA′_k+1和RMA′_k+1可以通过公式(5)求得：

$\begin{array}{c}{{\mathrm{CMA}}^{\′}}_{k+1}={\mathrm{CMA}}_k\∪{\mathrm{CMA}}_{k+1}\\ {{\mathrm{RMA}}^{\′}}_{k+1}={\mathrm{RMA}}_k\∪{\mathrm{RMA}}_{k+1}\end{array}---\left(5\right)$

2)位图生成

本步骤用于生成两张0-1二值位图，第一张位图用于标记两张相邻当前帧C_k和C_k+1的运动像素，定义其为CBitmap_k+1，第二张位图用于标记两张相邻参考帧R_k和R_k+1的运动像素，定义其为RBitmap_k+1。定义CBitmap_k+1中处于位置(i,j)的像素为CPixel_i,j,k+1，定义RBitmap_k+1中处于位置(i,j)的像素为RBitmap_k+1。根据公式(6)和(7)，对CBitmap_k+1和RBitmap_k+1进行赋值。

CPixel_i,j,k+1＝1if CPixel_i,j,k+1∈CMA′_k+1

$\begin{array}{cc}{\mathrm{CPixel}}_{i,j,k+1}=0& if\end{array}{\mathrm{CPixel}}_{i,j,k+1}\∉{{\mathrm{CMA}}^{\′}}_{k+1}---\left(6\right)$

RPixel_i,j,k+1＝1if RPixel_i,j,k+1∈RMA′_k+1 (7)

$\begin{array}{cc}{\mathrm{RPixel}}_{i,j,k+1}=0& if{\mathrm{RPixel}}_{i,j,k+1}\∉{{\mathrm{RMA}}^{\′}}_{k+1}\end{array}$

(3)去鬼影HDR图像合成步骤

用到的技术：Exposure Fusion算法

Exposure fusion的核心思想是利用空间滤波和图像金字塔方法在多分辨率下对高频部分分离处理。图像金字塔的最上面一层是不同曝光度权值分配相加后的结果，其它层则是通过上一层的上采样操作加上不同曝光度图片在该层的高频部分和，以此往复直到获得最底层。算法流程如图6所示。Fusion方法虽然也需要若干曝光不同的帧，但是并非将响应曲线还原到正确亮度，而是选取各帧“最好”的部分进行合成。这种“最好”的度量由权重图决定。使用Laplacian金字塔将输入多曝光图像序列分解成不同层的子图像，使用Gaussian金字塔将权重图分解成不同层的子图像，来控制对应子图像的权重，最后通过平滑融合规则实现多曝光融合。

权重图的计算：

对比度C(Contrast):对每张图片的灰度图进行拉普拉斯滤波，计算得到滤波响应的绝对值，这产生针对对比度的度量值C，它保留了图像的边缘和高对比度的地方，对比度高的地方认为是“好的”；

饱和度S(Saturation):计算每个像素点R、G、B通道的标准差，得到度量值S，它保留了图像中颜色饱和的像素，当S较大的时候图片色彩更加丰富，这时被认为是“好的”；

曝光度E(Well-exposedness):查看单个通道的绝对强度，可以揭露一个像素的曝光强度。为了保留强度值不接近0(曝光不足)和强度值不接近1(曝光过度)的像素，使用高斯公式计算每个像素与0.5的接近程度。使用该方法对每个通道进行计算，并将得到的结果相乘得到E。

根据公式(8)，计算得到第k张图的权重图，其中wc,ws,we为相应的权重系数，ij,k代表第k张图中的处于(i,j)位置上的像素。使用计算得到的W_ij,k对N张图片的每个像素计算权重平均值，为了得到一个一致性的结果，实验中根据公式(9)对N张图片的值进行归一化处理。

W_ij,k＝(C_ij,k)^wc*(S_ij,k)^ws*(E_ij,k)^we(8)

${\hat{W}}_{ij,k}={\[{\mathrm{\Σ}}_{k^{\′}=1}^N{W}_{ij,k^{\′}}\]}^{-1}{W}_{ij,k}---\left(9\right)$

综合来说这三种度量方式反应了图像特征，符合人类视觉系统的信息处理特点，在绝大多数场景实验中都是有效的。

融合：

在实验中，输入为N张不同曝光度的图片和根据公式(9)得到的N张归一化后的权重图。定义图像A处于Laplacian金字塔第l层的图像为L{A}^l,定义图像B处于Gaussian金字塔第l层的图像为G{B}^l,根据公式(10)，计算得到融合后的图像金字塔。

$L{\left(R\right)}_{ij}^l={\mathrm{\Σ}}_{k=1}^{N}G{\left\{\hat{W}\right\}}_{ij,k}^{l}L{\left\{I\right\}}_{ij,k}^l---\left(10\right)$

最后，根据这1张图像获得最终图像。

结合本发明的前述步骤，在本步骤(3)中，在Mertens提出的曝光融合算法上加以改进，融合两张不同曝光度的照片以生成最终的HDR图像。两个子步骤需要被执行：1)权重图加工2)曝光融合

权重图加工

根据Mertens提出的融合算法，算法首先需要计算两张不同曝光度的输入图像C_k(R_k)和C_k+1(R_k+1)的权重图，定义其为CW_k(RW_k)和CW_k+1(RW_k+1)这两张权重图指示了原图中的哪些像素在合成图像中更为重要。由于运动区域在两帧中的位置不同，如果对C_k(R_k)和C_k+1(R_k+1)直接进行曝光融合，会产生鬼影。因此，为了消除鬼影同时又保留运动区域，算法对曝光融合算法加以改进：选定其中一帧图像作为“保留帧”，该帧图像中的运动区域将被保留，而“非保留帧”中的运动区域将被清除。具体做法如下：将“保留帧”的权重图中属于运动区域的像素的权重设为1，将“非保留帧”中属于运动区域的像素的权重被设置为0，于是可以获得两张加工过后的权重图。定义权重图CW_k(RW_k)中处于位置(i,j)处的权重值为cw_i,j,k(rw_i,j,k)，然后使用运动区域标定模块获得的位图对权重图进行加工，公式化表达如下：

ifCPixel_i,j,k+1＝1

cw_i,j,k＝0,cw_i,j,k+1＝1； (11)

else

cw_i,j,kandcw_i,j,k+1remain unchanged

类似的，

ifRPixel_i,j,k+1＝1

rw_i,j,k＝0,rw_i,j,k+1＝1； (12)

else

rw_i,j,kandrw_i,j,k+1remain unchanged

曝光融合

最后，使用加工得到的CW_k(RW_k)和CW_k+1(RW_k+1)这两张权重图对C_k(R_k)和C_k+1(R_k+1)这两帧的融合过程进行指导，得到最终去鬼影的高动态范围图像并作为帧写入视频。

为了验证本发明的结果，我们从合成图像的整体质量和鬼影区域质量两方面对表1所述的4个视频序列进行测试。其中，Tower和Campus视频序列使用Canon650D数码相机拍摄，每秒50帧，Tunnel视频序列使用Canon550D拍摄，每秒59帧，Bride视频序列可从网站http://hdr.glogger.mobi/上获得，每秒30帧。

对如上视频序列分别使用直接融合算法、本发明所提出的基于块匹配估计运动区域的权重图算法、基于匀速直线运动假设的帧补偿算法进行实验，实验结果如表2所示，从中可以看出，使用基于运动区域的权重图算法合成的HDR图像整体亮度和对比度较高,以Bride视频为例，位于合成图像上方部分车顶的细节(如图7左上所示)、人物的面部特征细节(如图7左下所示)保留清晰完整，而车窗外的天空部分(如图7右所示),相较于直接融合算法和基于匀速直线运动假设的帧补偿算法,色彩不够丰富,细节损失较多。这是由于在基于运动区域的权重图算法中，对Exposure Fusion算法中的权重图进行了修改，在本实验中，使得高曝光度下的图像在合成图像时所占权重较大，而低曝光度下的图像在合成过程中所占权重较小，因此图像整体偏亮，高曝光度下的细节保留较多。

为了更精确地度量合成效果，本项目对不同算法合成后的HDR视频进行BIQI[]和NIQE[]度量，表3和表4展示了所有合成帧的BIQI和NIQE的平均值。BIQI或NIQE的值越大，表明合成图像的质量越差。表中可以看出，本发明在BIQI度量标准下表现最优。基于匀速直线运动假设的帧补偿算法在两种度量方法下都优于直接融合，然而其BIQI度量结果略逊于基于运动区域的权重图算法。

对合成图像去鬼影效果的分析如表5所示，左列为不进行鬼影去除直接使用Exposure Fusion对原始帧进行合成的效果图，中间一列为使用基于匀速直线运动假设算法的合成图，最右边的图为本发明所提出方法的效果图。可以看出，第一列图中的鬼影十分明显，第三列图中能去除大部分的鬼影但运动区域质量远低于第二列图。

综上所述，本发明开创性地使用了块匹配运动估计算法对会造成鬼影的运动区域进行检测，并依据检测结果对需要合成的LDR图像序列进行运动区域标注，再根据运动区域对Exposure Fusion算法中的权重加以改进，生成去鬼影HDR图像并合成视频。通过实验证明，本发明能够较好地提高通过不同曝光值的LDR视频序列生成HDR视频的质量。

表1 不同算法HDR合成帧的平均BIQI值比较表

	Bride	Tower	Campus	Tunnel
					直接融合算法	38.50	34.84	40.80	27.86
差值位图算法	38.62	35.67	38.34	28.94
					本发明算法	34.98	34.54	38.67	27.91
帧补偿算法	35.08	34.83	39.99	27.85

表2 不同算法HDR合成帧的平均NIQE值比较表

	Bride	Tower	Campus	Tunnel
					直接融合算法	3.74	4.78	4.60	3.24
差值位图算法	4.07	4.70	4.55	3.60
					本发明算法	4.02	4.88	4.64	3.34
帧补偿算法	3.69	4.77	4.51	3.18

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种基于块匹配动态估计算法去鬼影的高动态视频合成方法，其特征在于，包括下列步骤：

(1)块匹配：从输入的图片序列中选定参考帧和当前帧，进行灰度化处理后采用ARPS3块匹配算法计算出当前帧的运动向量；

(2)运动区域检测与标定：使用步骤(1)中计算得到的运动向量来检测当前帧和参考帧各自的运动区域，对特定图像的运动区域进行合并，并在二值位图上进行标记；

(3)去鬼影HDR图像合成步骤：利用在步骤(2)中获得的二值位图对根据ExposureFusion算法计算得到的权重图进行改进，需要进行融合的图像在改进后的权重图的指导下进行融合，以得到最终的HDR图像即视频帧。

2.根据权利要求1所述的基于块匹配动态估计算法去鬼影的高动态视频合成方法，其特征在于，所述步骤(1)中ARPS3块匹配算法采用基于块内相关的快速块匹配算法，其中的搜索模型的臂长是由相邻帧和预测向量决定，相邻帧是指左、上、右上三帧，臂长不等长并由下述公式(2)决定：

3.根据权利要求1所述的基于块匹配动态估计算法去鬼影的高动态视频合成方法，其特征在于，所述步骤(2)中，运动区域检测具体包括当前帧运动区域检测、参考帧运动区域检测以及.运动区域合并三个子步骤：

a)当前帧运动区域检测

对所述步骤(1)采用ARPS3块匹配算法获得的两张当前帧的运动向量，将运动向量不为(0,0)的宏块认为是当前帧的运动区域，否则为非运动区域，将当前帧序列中的第k帧定义为C_k，k从1开始计数，定义该帧中的运动区域为CMA_k,定义该帧中处于位置(i,j)处的宏块为CBlock_i,j,k，类似的，CBlock_i,j,k的运动向量被定义为于是，CMA_k可以根据公式(3)获得：

b)参考帧运动区域检测

根据签署块匹配运动估计的定义，当前帧C_k中处于位置(i,j)上的宏块在参考帧中的最佳匹配块将位于位置上，即：当前帧中运动物体在参考帧中新的位置处于点处，将参考帧序列中的第1帧定义为R_l，l从1开始计数，定义R_l的运动区域为RMA_l，R_l中位于(p,q)位置上的宏块被定义为RBlock_p,q,l，于是，参考帧的运动区域的获得如公式(4)所示：

RMA_l＝∪RBlock_p,q,l (4)

c)运动区域合并

在视频序列中，由于运动区域并不完全重合，对相邻两张当前帧或相邻两张参考帧的运动区域进行合并，定义当前帧C_k和C_k+1合并后的运动区域为CMA′_k+1，参考帧R_k和R_k+1合并后的运动区域为RMA′_k+1，k为奇数，则CMA′_k+1和RMA′_k+1可以通过公式(5)求得：

$\begin{array}{c}{{\mathrm{CMA}}^{\′}}_{k+1}={\mathrm{CMA}}_k\∪{\mathrm{CMA}}_{k+1}\\ {{\mathrm{RMA}}^{\′}}_{k+1}={\mathrm{RMA}}_k\∪{\mathrm{RMA}}_{k+1}\end{array}.---\left(5\right)$

4.根根据权利要求3所述的基于块匹配动态估计算法去鬼影的高动态视频合成方法，其特征在于，所述步骤(2)中，所述运动区域的标定是指两张0-1二值位图的生成，第一张位图用于标记两张相邻当前帧C_k和C_k+1的运动像素，定义其为CBitmap_k+1，第二张位图用于标记两张相邻参考帧R_k和R_k+1的运动像素，定义其为RBitmap_k+1，定义CBitmap_k+1中处于位置(i,j)的像素为CPixel_i,j,k+1，定义RBitmap_k+1中处于位置(i,j)的像素为RBitmap_k+1，根据下述公式(6)和(7)，对CBitmap_k+1和RBitmap_k+1进行赋值：

CPixel_i,j,k+1＝1if CPixel_i,j,k+1∈CMA′_k+1

$\begin{array}{ccc}{\mathrm{CPixel}}_{i,j,k+1}=0& if& {\mathrm{CPixel}}_{i,j,k+1}\∉{{\mathrm{CMA}}^{\′}}_{k+1}\end{array}---\left(6\right)$

RPixel_i,j,k+1＝1if RPixel_i,j,k+1∈RMA′_k+1 (7)

$\begin{array}{ccc}{\mathrm{RPixel}}_{i,j,k+1}=0& if& {\mathrm{RPixel}}_{i,j,k+1}\∉{{\mathrm{RMA}}^{\′}}_{k+1}\end{array}.$

5.根根据权利要求4所述的基于块匹配动态估计算法去鬼影的高动态视频合成方法，其特征在于，所述步骤(3)中，在Mertens光融合算法基础上，融合两张不同曝光度的照片以生成最终的HDR图像，包括权重图加工和曝光融合两个子步骤：

1)权重图加工

根据Mertens提出的融合算法，算法首先需要计算两张不同曝光度的输入：

图像C_k(R_k)和C_k+1(R_k+1)的权重图，定义其为CW_k(RW_k)和CW_k+1(RW_k+1)这两张权重图指示了原图中的哪些像素在合成图像中更为重要，选定其中一帧图像作为“保留帧”，另一帧图像作为“非保留帧”，该保留帧中的运动区域将被保留，而非保留帧中的运动区域将被清除，具体加工步骤如下：将“保留帧”的权重图中属于运动区域的像素的权重设为1，将“非保留帧”中属于运动区域的像素的权重被设置为0，于是可以获得两张加工过后的权重图，定义权重图CW_k(RW_k)中处于位置(i,j)处的权重值为cw_i,j,k(rw_i,j,k)，然后使用运动区域标定模块获得的位图对权重图进行加工，公式化表达如下：

并且，

2)曝光融合

使用加工得到的CW_k(RW_k)和CW_k+1(RW_k+1)这两张权重图对C_k(R_k)和C_k+1(R_k+1)这两帧的融合过程进行指导，得到最终去鬼影的高动态范围图像并作为帧写入视频。