CN105894484A - 一种基于直方图归一化与超像素分割的hdr重建算法 - Google Patents

Abstract

本发明公开了一种基于直方图归一化与超像素分割的HDR重建算法，利用直方图匹配算法将选中的参考图像I_r的直方图映射到图像序列的其他图像I_i上，并分别生成相应的匹配图像通过比较每个像素点和其临近像素的一致性，将图像的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，对匹配图像与其他图像I_i作差取绝对值，然后进行超像素分割；将分割得到的超像素分为两类：静态部分和动态部分，并将I_i和合成中间图像基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。将参考图像和输入序列中其他图像进行直方图匹配，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留。

Description

一种基于直方图归一化与超像素分割的HDR重建算法

技术领域

本发明涉及图像处理领域，具体涉及一种基于直方图归一化与超像素分割的HDR重建算法。

背景技术

尽管图像技术近年来发展迅速，但是普通的数码相机依然无法拍摄出与人类肉眼所见的真实场景相一致的图像。为了解决这种局限性，很多研究者致力于获取现实世界中全动态的图片，也即高动态范围(high dynamic range HDR)图片。其中，通过多次曝光，每次捕捉一定的动态范围，将这些相同场景的不同动态范围进行融合，得到HDR图片。然而，由于实际中场景存在动态信息以及运动的物体，使得直接图片融合图片会产生鬼影或模糊现象。因此，如何消除序列HDR图像中的鬼影是比较重要的研究主题。通常，生成静态场景HDR图像的方法包括两个步骤：首先估计相机响应函数，结合不同曝光下的辐射图生成中间图像，来保存覆盖了真实场景整个色调范围的像素值；然后利用色调映射将获得的中间HDR图像重新映射成低动态范围(low dynamic range LDR)图像，在普通的LDR设备上显示。有些方法跳过一般的HDR过程，直接在图像域进行曝光融合，生成类似色调映射的HDR图像。因此，这些方法更加有效，且不需要进行色调映射。然而，由于上面所提到的所有方法都只适用于静态图片，曝光序列中任何的运动都会造成鬼影现象。

很多工作都尝试移除动态场景中的鬼影现象。一般来说，已有的方法分为两类。第一类假设图片中大部分场景是静态，只有少部分存在运动。这类方法通常先利用输入序列进行图像对齐，来确定哪些像素是静态场景或运动物体，然后将静态场景的像素融合起来生成无鬼影的动态图片。例如，Kang等提出的算法计算连续帧之间的光流，将像素融合生成HDR结果。Reinhard等提出基于辐射图计算方差图，并在不同的曝光图像上进行阈值化以检测运动区域。Jacobs等认为，对于曝光时间，局部熵信息一般变化不显著，基于这个特性提出来阈值化的熵信息图。Grosch则通过输入序列估计误差图并进行阈值处理。Min等提出从图像中计算多级别的阈值图，并比较它们检测运动。此外，Pece和Kautz提出利用中值阈值比特图(median threshold bitmap MTB)算法，将不同颜色值的像素标记为运动区域。Khan等和Pedone等采用核密度估计来计算像素属于运动物体的概率。Sidibe基于静态区域的像素值通常随着曝光时间的增加而增大这一事实，来识别鬼影。Gallo等通过两次曝光内的期望曝光率计算像素值偏差来检测运动信息。Zhang和Cham提出衡量曝光序列的局部梯度的一致性，来计算像素在融 合时的权重。由于这些方法假设运动物体仅出现在场景的少部分区域或在某位置出现的概率小，因此，它们最根本的难题是，无法处理存在大量运动或部分区域变更频繁的场景。

为了解决对于大区域运动或较频繁变更的局限，第二类方法尝试在融合生成HDR图像前，先对图像序列按照参考图像进行对齐。Zimmer等考虑到变化的曝光情况，提出了基于能量的光流方法。HaCohen等利用由粗到精的策略，用广义路径匹配计算最近邻域场，与全局非线性参数颜色模型拟合相结合，并利用局部自适应约束来进行一致性匹配区域聚合。Hu等利用HaCohen提出的算法，找参考图像和序列中其他图像的密集相关性，并利用局部单应性校正错误的相关性。Sen等提出了基于子块的优化方法，同时解决了HDR图像和对齐的图像问题。此外，Hu提出基于子块匹配的方法，来处理图像饱和的部分，而Li等提出计算上更高效的基于双向正则化的方法。Zhang等提出了类似衡量曝光序列的局部梯度的一致性的参考指导的方法，将梯度方向的变化作为运动检测的一个线索。

然而，这些方法有两个共有的限制。首先，由于它们都通过在像素级最大化与所选的参考图片的相似度来重构HDR图像，因此性能极大的依赖所选参考图像的曝光质量。一般的，参考图像中过曝或欠曝的像素难以匹配，这就导致了在融合过程中，这些位置的像素权重计算不正确。其次，由于不同的曝光时间，在参考图像和序列其他图像之间可能存在很大的像素强度变化，因此难以在输入的图像中检测运动区域。为了克服这两个限制，本发明提出了基于直方图归一化与超像素分割的HDR重建方法。

发明内容

为解决现有技术存在的不足，本发明公开了一种基于直方图归一化与超像素分割的HDR重建算法，本发明首先在鬼影检测步骤之前，将参考图像和输入序列中其他图像进行直方图归一化，而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留，尤其是参考图像中过曝和欠曝的区域。此外，过欠曝光带来运动检测的困难也大大的降低。其次，考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性，本发明在超像素级进行鬼影检测建模。本发明所提出的方法在移除HDR图像鬼影的前提下，有效的解决了LDR图像对齐和最大化图像细节保留的问题。

为实现上述目的，本发明的具体方案如下：

一种基于直方图归一化与超像素分割的HDR重建算法，包括以下步骤：

步骤一：利用直方图归一化算法将选中的参考图像I_r的直方图映射到图像序列的除参考图像之外的其他输入图像I_i上，并分别生成相应的匹配图像

步骤二：将匹配图像分别与相对应的输入图像I_i的像素值相减并取绝对值，得到代表运动信息的图像D_i；

步骤二：通过比较运动信息的图像D_i中每个像素点和其临近像素的一致性，将运动信息的图像D_i的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图像融合过程中运动物体的完整性；

步骤三：将切割得到的超像素分为两类：静态超像素和动态超像素，并将输入图像I_i和匹配图像在运动信息图像D_i的指导下合成中间图像

步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。

进一步的，在静态超像素的区域，中间图像选取输入图像I_i中的像素，动态超像素的区域，选取匹配图像中的像素。

进一步的，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上时，采用幂函数模型：

其中，I_pow为归一化拟合后的图像，I_i为第i幅输入图像，α、β、γ为常数项。

进一步的，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。

进一步的，在步骤二中，对匹配图像与其他输入图像I_i作差取绝对值，得到：由于匹配图像曝光程度与输入图像I_i一致，同时匹配图像像素与参考图像I_r一致，因此D_i可用来表示两幅图像间的运动信息。

进一步的，在步骤二中，超像素分割时，将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位，首先对运动信息的图像D_i进行常规切割，然后通过这些碎片的一系列特征，包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后切割为多个超像素。

进一步的，在步骤三中，只要超像素中有5％的像素点的值超过设定的阈值，就认为整个超像素属于动态超像素，否则属于静态超像素，动态超像素的超像素值为1，静态超像素的超像素值为0，得到一幅以超像素为基本单位的二值图。

进一步的，为了保留输入图像I_i中曝光较好的区域同时去除与参考图像I_r不一致的动动态超像素，对二值图中值为1的区域，即动态区域，中间图像选取匹配图像中的像素；二值图中值为0的区域即静态区域，则选取输入图像I_i中的像素。

进一步的，为了使匹配图像与输入图像I_i两幅图像的超像素的边界融合地更加平滑，对二值图进行了高斯模糊处理，将二值图变成了介于0-1之间的权值图并对输入图像I_i和匹配图像进行加权融合。

进一步的，在步骤四中，图像的融合具体包括：

对高斯滤波函数在中间图像像素点x和y方向上分别求取一阶偏导数，得到该像素的梯度信息；

根据一阶偏导数求取代表着像素值的最大改变量梯度幅值；

通过梯度幅值信息，得到图像的可见性评价；

将中间图像看作是一系列静态图像，从而设权值，在权值地图的指导下，将所有中间图像无缝融合，得到一幅类似于色调映射的HDR图像。

本发明的有益效果：

本发明提出了一种新的普遍有效的模型，以解决动态图像序列融合中的鬼影检测和移除的问题。通过基于直方图的图像匹配和超像素分割，许多图像序列融合都得到了令人满意的结果。本文的方法受基于梯度的曝光融合的部分启发，但有两个显著且新颖的改进。首先，在鬼影检测步骤之前，我们没有直接计算输入图像的梯度信息，而是将参考图像和输入序列中其他图像进行直方图匹配。这样使得图像中部分区域，尤其是参考图像过曝欠曝的区域，细节信息保留更完整。此外，过欠曝光带来运动检测的困难也大幅降低。其次，考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性，我们在超像素级进行鬼影检测建模。所提出的方法在移除HDR图像鬼影的前提下，有效的解决了LDR图像对齐和最大化图像细节保留的问题。

附图说明

图1本申请的算法框图；

图2本申请的算法图像处理流程图；

图3(a)为曝光的图像，图3(b)为标准化的图像，图3(c)为将图3(a)及图3(b) 进行超像素的运动检测生成的中间图像，

图3(d)为另一曝光的图像，图3(e)为另一标准化的图像，图3(f)为将图3(d)及图3(e)进行超像素的运动检测生成的中间图像；

图4(a)为输入的图像，图4(b)为利用Kang文献里的方法处理后的图像，图4(c)为利用Zhang文献里的方法处理后的图像，图4(d)为在欠曝光的情况下的匹配图像，图4(e)为本申请中的改进算法处理后的图像；

图5(a)输入的曝光的图像，图5(b)上面的为没有采用基于超像素的运动检测的融合图像，图5(b)下方的为本申请中的算法采用基于超像素的运动检测的融合图像；

图6(a)输入的五种不同曝光程度的图像，图6(b)从左至右依次是Mertens文献、Gallo文献、Sen文献及本申请中的算法处理后的图像；

图7(a)为输入的欠曝光的一组图像，图7(b)从上至下，从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像；

图8(a)为输入的欠曝光的一组图像，图8(b)从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像；

图9(a)为输入的欠曝光的一组图像，图9(b)从左至右依次为采用Zhang文献、Sen文献、Hu文献及本申请中的算法处理后的图像。

具体实施方式：

下面结合附图对本发明进行详细说明：

如图1所示，本申请提出的算法主要包括以下三个部分。首先，利用直方图匹配算法将选中的参考图像I_r的直方图映射到图像序列的其他图像I_i上，并分别生成相应的匹配图像这样得到的曝光程度和I_i一致，同时图像的内容与I_r保持一致。第二步，我们采纳了文献(X.Ren and J.Malik,“Learning a classification model for segmentation,”in Computer Vision,2003.Proceedings.Ninth IEEE InternationalConference on.IEEE,2003,pp.10–17.)中的思想，通过比较每个像素点和其临近像素的一致性，将图像的像素组合成超像素，并采用文献(G.Mori,X.Ren,A.Efros,J.Malik et al.,“Recovering human body configurations:Combining segmentation and recognition,”in Computer Vision and Pattern Recognition,2004.CVPR 2004.Proceedings of the 2004IEEE Computer Society Conference on,vol.2.IEEE,2004,pp.II–326.)中提出的切割算法来获取图像中运动物体的轮廓。考虑到相机运动以及输入图像之间的重合部分，我们对图像与I_i作差取绝对值，然后进行超像素分割。接着我们将分割得到的超像素通 过特定的阈值分为两类：静态部分和动态部分，并通过对这两部分的组合生成中间图像具体来讲，在静态部分的区域，选取I_i中的内容，动态部分的区域选取中的内容。最后，利用基于梯度的图像质量评价系统，我们计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。

本申请的算法图像处理流程如图2所示，最左侧的三幅图像为输入图像，选取中间的输入图像为参考图像，对除参考图像之外的两个输入图像进行归一化处理，得到相应的中间图像，最后将中间图像进行融合，得到处理后的最终图像。

如图3(a)为曝光的图像，图3(b)为标准化的图像，图3(c)为将图3(a)及图3(b)进行超像素的运动检测生成的中间图像。

图3(d)为另一曝光的图像，图3(e)为另一标准化的图像，图3(f)为将图3(d)及图3(e)进行超像素的运动检测生成的中间图像。

直方图归一化算法：由于输入图像之间有时存在较大的强度差异，尤其是过曝光和欠曝光区域，直接对图像序列进行操作的运动检测方法效果并不好。因此本文提出在进行运动检测前，首先将参考图像的直方图映射到图像序列的其他图像上，实现全局校准。显然，任何两幅图像间的强度偏差都可以通过建立模型对图像强度进行加减或缩放来获取。通过大量实验，我们发现幂函数模型的曲线拟合效果最好，作为参考图像像素值到其他图像像素值的归一化拟合函数最为合适。

基于超像素的运动检测：用来详细阐述了本申请的运动检测算法以及生成中间图像的方法。为了找到I_i和之间的运动区域，本申请让两者的像素值相减然后取绝对值，得到：由于曝光程度与I_i一致，同时图像内容与I_r一致，因此D_i可用来表示两幅图像间的运动信息。

为了更准确的找到运动区域，本申请将D_i进行超像素分割。在大部分情况下，图像处理的基本单位都是单个的像素，包括传统的HDR算法。本申请将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位，这样既改善了运动检测的准确性，同时减轻了后续算法的复杂度。首先对图像进行常规切割，然后通过这些碎片的一系列特征，包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后将D_i切割为200个超像素。

接着我们将这些超像素分为静态和动态两类。由于D_i代表着I_i和之间的运动信息，因 此，D_i中的像素值越大，就表示该点属于运动区域的可能性就越大。我们想要尽可能地将鬼影全部去除，因此只要超像素中有像素点的值超过的设定的阈值，我们就认为整个超像素属于运动区域。实验中的阈值设为50。

运动检测完成后，得到一幅以超像素为基本单位的二值图。其中运动区域的超像素值为1，静态区域的超像素值为0。在这幅二值图的指导下，我们将I_i和合成中间图像为了保留I_i中曝光较好的区域同时去除与参考图像I_r不一致的运动区域，对二值图中值为1的区域，选取中的部分，其余则选取I_i中的部分。此外，为了使两幅图像超像素的边界融合地更加平滑，我们对二值图进行了高斯模糊处理，将二值图变成了介于0-1之间的权值图并对I_i和进行加权融合：

$I_i^L(x,y)=w_i(x,y)I_i^M(x,y)+(1-w_i(x,y\left)\right)I_i(x,y)---\left(5\right)$

其中，I_i(x,y)分别为第i幅中间图像、匹配图像、输入图像在(x,y)坐标上的像素值，w_i(x,y)为第i幅匹配图像在(x,y)坐标上的像素值在融合过程中分配的权重。

图像融合：本申请对进行了基于梯度的图像质量评定。如文献(W.Zhang and W.-K.Cham,“Gradient-directed composition of multiexposure images,”in Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010,pp.530–536.)中所提到的，图像梯度和图像的特征有很大关联，其中梯度的幅值大小可用来表示图像的曝光质量好坏，像素的曝光质量越好，梯度幅值就越大。相反的，对于过曝光和欠曝光的像素点，该点的梯度幅值会相应减小。用这种方法，我们首先对高斯滤波函数在像素点x和y方向上分别求取一阶偏导数，得到该像素的梯度信息：

$I_i^x(x,y)=I_i^L(x,y)*\frac{\∂g(x,y;{\mathrm{\σ}}_d)}{\∂x}---\left(6\right)$

$I_i^y(x,y)=I_i^L(x,y)*\frac{\∂g(x,y;{\mathrm{\σ}}_d)}{\∂y}---\left(7\right)$

和分别是在x和y方向上的偏导数。梯度幅值代表着像素值的最大改变量，可由下式计算得到：

$m_i(x,y)=\sqrt{{\left|I_i^y(x,y)\right|}^2+{\left|I_i^x(x,y)\right|}^2}---\left(8\right)$

通过梯度幅值信息m_i(x,y)，可以得到图像的可见性评价,用V_i(x,y)来进行量化表示：

$V_i(x,y)=\frac{m_i(x,y)}{{\mathrm{\Σ}}_{i=1}^N{m}_i(x,y)+\∈}---\left(9\right)$

由于中间图像已经在前两步计算中得到校准，因此我们将其看作是一系列静态图像，从而设权值W_i＝V_i。在权值地图的指导下，我们采用算法将所有中间图像无缝融合，得到一幅类似于色调映射的HDR图像H(x,y)：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{W}_i(x,y)I_i^L(x,y)---\left(10\right)$

实验结果

本申请在室内室外包括了不同类型物体运动等场景下，测试所提出的算法，并与当前HDR图像去鬼影的方法进行结果比较。由于很难覆盖全部的公开算法，我们这里主要集中和这四种最新水平的方法进行比较：Mertens等的图像融合方法，Zhang和Cham的基于梯度曝光融合，Hu等的HDR合成方法，以及Sen等的基于子块的HDR重建方法。

首先，在去鬼影的过程中，我们分两步验证所提出的直方图匹配和超像素运动检测的有效性：直方图匹配。由前面所述，由于不同曝光下像素强度变化显著，没法直接进行运动区域检测。然而，直方图匹配能解决这一现状。图4(a)为输入的图像，图4(b)为利用Kang文献里的方法处理后的图像，图4(c)为利用Zhang文献里的方法处理后的图像，图4(d)为在欠曝光的情况下的匹配图像，图4(e)为本申请中的改进算法处理后的图像。

我们的方法和文献(S.B.Kang,M.Uyttendaele,S.Winder,and R.Szeliski,“High dynamicrange video,”ACM Transactions on Graphics(TOG),vol.22,no.3,pp.319–325,2003.)以及文献(W.Zhang and W.-K.Cham,“Reference-guided exposure fusion in dynamic scenes,”Journal of Visual Communication and Image Representation,vol.23,no.3,pp.467–475,2012.)的结果对比。可以看出，他们的算法在欠曝光情况下，不能有效的进行输入图像和参考图像的对齐，而我们所提出的方法在融合前通过将二者进行直方图匹配，因而在消除鬼影方面体现出了优异的性能。

基于超像素的运动检测。图5(a)输入的曝光的图像，图5(b)上面的为没有采用基于超像素的运动检测的融合图像，图5(b)下方的为本申请中的算法采用基于超像素的运动检测的融合图像。

显示了我们的算法采用及不采用基于超像素的运动检测的融合结果。由图可见场景中存在许多跳舞的人，图片的运动信息也非常复杂。过曝或欠曝区域内单个像素的运动信息容易被错误判断，因此在图像融合过程中留下了小黑孔。考虑到像素间的内部一致性，尤其是场景中同一运动物体的像素之间，我们应该赋予他们相近似的权重。可以看出，我们基于超像素运动检测的融合结果，能够很理想的重建过欠曝光区域内的图像细节，例如场景中女舞者的腿。

为了验证所提出的算法在动态场景中的有效性，我们复制了一些以前发表的结果，并与现有的工作进行比较。图6(a)输入的五种不同曝光程度的图像，图6(b)从左至右依次是Mertens文献、Gallo文献、Sen文献及本申请中的算法处理后的图像。

显示了五种不同曝光程度的图像，其中存在着动态的行人。我们选择第三张图作为实验的参考图像。显然，文献(T.Mertens,J.Kautz,and F.Van Reeth,“Exposure fusion:A simple and practical alternative to high dynamic range photography,”in Computer Graphics Forum,vol.28,no.1.Wiley Online Library,2009,pp.161–171.)生成的结果存在几处鬼影现象。文献(O.Gallo,N.Gelfand,W.-C.Chen,M.Tico,and K.Pulli,“Artifact-free high dynamic range imaging,”in Computational Photography(ICCP),2009IEEE International Conference on.IEEE,2009,pp.1–7.)的融合结果有所改善，但依然存在一定的噪声，部分区域的图像细节也有丢失。文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,“Robust patch-based hdr reconstruction of dynamic scenes.”ACM Trans.Graph.,vol.31,no.6,p.203,2012.)所得到的结果整体看起来欠曝，虽然保存了输入曝光图像的全部内容，但部分细节太黑以至于无法显示。相反，我们的方法生成的结果包含的信息最丰富，而且彻底消除了鬼影现象。

图7(a)为输入的欠曝光的一组图像，图7(b)从上至下，从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像。

显示了一个含有复杂运动信息以及过曝光和欠曝光的室外场景，我们选择输入序列的第三幅图作为实验参考图像。

图8(a)为输入的欠曝光的一组图像，图8(b)从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像。

显示了一个人弹钢琴的场景，这个场景包含了大量欠曝区域，而且演奏家手部区域变化 频繁。如这两幅图所示，同样的，文献(T.Mertens,J.Kautz,and F.Van Reeth,“Exposure fusion:A simple and practical alternative to high dynamic range photography,”in Computer Graphics Forum,vol.28,no.1.Wiley Online Library,2009,pp.161–171.)和文献(W.Zhang and W.-K.Cham,“Reference-guided exposure fusion in dynamic scenes,”Journal of Visual Communication and Image Representation,vol.23,no.3,pp.467–475,2012.)的融合结果产生了明显的鬼影现象。

图9(a)为输入的欠曝光的一组图像，图9(b)从左至右依次为采用Zhang文献、Sen文献、Hu文献及本申请中的算法处理后的图像。

文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,“Robust patch-based hdr reconstruction of dynamic scenes.”ACM Trans.Graph.,vol.31,no.6,p.203,2012.)的结果依然比较昏暗，而且欠曝光区域没能重建出来。他们在图9的结果有所改善，信息也比较丰富，但作为一个普通的场景，看起来依然不够真实。相比他们的融合结果，我们所提出的方法在这两个场景中生成的HDR图像都非常自然，而且没有鬼影现象。

最后，我们利用所提出的算法在另外两个场景中进行测试，这个场景包含大量过曝光和欠曝光的区域，我们就对饱和图像的处理与前面的算法进行比较。如之前所提到的，不理想的曝光总是会给鬼影的移除带来巨大的困难。文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,“Robust patch-based hdr reconstruction of dynamic scenes.”ACM Trans.Graph.,vol.31,no.6,p.203,2012.)的算法基于能量最小化公式，尽可能的保留全部的曝光信息，这让他们的结果看起来或多或少的不自然。更严重的是，他们没办法处理曝光序列中饱和的区域。文献(J.Hu,O.Gallo,K.Pulli,and X.Sun,“Hdr deghosting:How to deal with saturation”in 2013IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2013,pp.1163–1170.)的结果在饱和区域的处理比前者好，然而我们的方法在处理好饱和区域的同时，也保留了更多的图像细节。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，包括以下步骤：

步骤一：利用直方图归一化算法将选中的参考图像I_r的直方图映射到图像序列的除参考图像之外的其他输入图像I_i上，并分别生成相应的匹配图像

步骤二：将匹配图像分别与相对应的输入图像I_i的像素值相减并取绝对值，得到代表运动信息的图像D_i；

步骤二：通过比较运动信息的图像D_i中每个像素点和其临近像素的一致性，将运动信息的图像D_i的像素组合成超像素，并采用切割算法来获取图像中运动物体的轮廓，以保证图像融合过程中运动物体的完整性；

步骤三：将切割得到的超像素分为两类：静态超像素和动态超像素，并将输入图像I_i和匹配图像在运动信息图像D_i的指导下合成中间图像

步骤四：基于梯度的图像质量评价系统，计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。

2.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在静态超像素的区域，中间图像选取输入图像I_i中的像素，动态超像素的区域，选取匹配图像中的像素。

3.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤一中，将参考图像的直方图映射到图像序列的其他输入图像上时，采用幂函数模型：其中，I_pow为归一化拟合后的图像，I_i为第i幅输入图像，α、β、γ为常数项。

4.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤一中，在归一化匹配时，匹配的对象设为图像像素的强度值。

5.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤二中，对匹配图像与其他输入图像I_i作差取绝对值，得到：由于匹配图像曝光程度与输入图像I_i一致，同时匹配图像像素与参考图像I_r一致，因此D_i可用来表示两幅图像间的运动信息。

6.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤二中，超像素分割时，将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位，首先对运动信息的图像D_i进行常规切割，然后通过这些碎片的一系列特征，包括轮廓、形状、阴影和焦点，对这些碎片进行分类和组合，最后切割为多个超像素。

7.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤三中，只要超像素中有5％的像素点的值超过设定的阈值，就认为整个超像素属于动态超像素，否则属于静态超像素，动态超像素的超像素值为1，静态超像素的超像素值为0，得到一幅以超像素为基本单位的二值图。

8.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，为了保留输入图像I_i中曝光较好的区域同时去除与参考图像I_r不一致的动动态超像素，对二值图中值为1的区域，即动态区域，中间图像选取匹配图像中的像素；二值图中值为0的区域即静态区域，则选取输入图像I_i中的像素。

9.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，为了使匹配图像与输入图像I_i两幅图像的超像素的边界融合地更加平滑，对二值图进行了高斯模糊处理，将二值图变成了介于0-1之间的权值图并对输入图像I_i和匹配图像进行加权融合。

10.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法，其特征是，在步骤四中，图像的融合具体包括：

对高斯滤波函数在中间图像像素点x和y方向上分别求取一阶偏导数，得到该像素的梯度信息；

根据一阶偏导数求取代表着像素值的最大改变量梯度幅值；

通过梯度幅值信息，得到图像的可见性评价；

将中间图像看作是一系列静态图像，从而设权值，在权值地图的指导下，将所有中间图像无缝融合，得到一幅类似于色调映射的HDR图像。