CN112233032B - 一种高动态范围图像鬼影消除的方法 - Google Patents

Abstract

本发明公开了一种高动态范围图像鬼影消除的方法，包括：通过采用多阈值二值化处理并配合异或、与、或运算实现移动物体完整检测，且能适用于各种复杂场景图像，然后采用局部直方图匹配和泊松融合将移动物体对齐，以消除缝合线，并且可以使移动物体和背景之间的色调和亮度过渡自然，最后通过多分辨率融合对齐图像的方式，获得消除鬼影的高动态范围图像。能够快速有效地实现消除高动态范围图像中的鬼影。

Description

一种高动态范围图像鬼影消除的方法

技术领域

本发明涉及计算机视觉技术与数字图像处理领域，具体涉及高动态范围图像融合和鬼影消除的方法。

背景技术

现实生活中的场景的动态范围(Dynamic Range)指的是场景中最大亮度值与最小亮度值之间的比值。生活中真实场景的动态范围高达10⁸:1，而普通的数字摄像机由于硬件的限制，其所捕获的数字图像动态范围仅为10²:1，远低于实际场景的动态范围，导致其捕获的图像不能真实的反映出场景所包含的全部信息，场景中高亮度区域或者低亮度区域的信息在捕获的图像中将表现为过曝光或者欠曝光。这类图像被称为低动态范围(lowdynamic range,LDR)图像。为了解决这一问题，人们提出了高动态范围(High dynamicrange,HDR)成像技术，该技术扩大图像的动态范围，使得所获图像能够同时包含场景中亮部和暗部区域的细节信息，图像更加清晰并且信息丰富。目前，HDR技术在数字摄影、生物医学、影视制作、电子产品、游戏特效、遥感探测等领域中有广泛应用。

获取HDR图像有基于硬件和基于软件的两种方法，常用的是后者，因为成本相对低廉，且能利用当前已经大量存在的LDR图像、摄像机和显示器等。软件获取HDR图像的方法可分为单曝光HDR成像和多曝光HDR成像。单曝光HDR成像指的是在获取一帧LDR图像后，利用软件算法将LDR图像变换到HDR图像。但由于单帧LDR图像动态范围有限，导致其记录的场景信息也有限，不能较完整呈现出场景包含的信息。多曝光HDR成像是用多帧不同曝光量的LDR图像，通过软件算法将多帧LDR图像生成一帧HDR图像，该HDR图像保留了每帧LDR图像中反映场景的最佳像素信息。

多曝光HDR成像方法在静态场景能取得很好的效果，因为静态场景的每个像素都是对齐的(相机不抖动的情况下)。但是当场景是动态场景时，即场景中有移动物体，如行人，汽车等时，多曝光HDR成像方法将造成鬼影。鬼影现象严重地影响了HDR图像质量，国内外学者对此问题进行了大量的研究。其中一种较为有效的去除鬼影的方法是先检测出移动物体区域，融合时在这些区域只采用单张LDR图像的信息。Grosch通过使用ICRF曲线及两帧图像的曝光时间，计算其中一帧图像的像素值当在另一帧输入图像曝光时间下预测的像素值，如果预测像素值与实际像素值偏差过大，则该像素点就是构成鬼影的区域。Khan等人提出一种密度核评估函数的方法，用迭代的方式评估出图像的像素点属于静态场景的概率。Gallo等人提出一种基于块的鬼影判别算法，先将多帧输入图像分块，并选定某一帧为参考图像，然后使用ICRF曲线和曝光时间计算出其余输入图像与参考图对应块像素点上曝光量之间的差值，根据阈值区间判断该像素点是否属于鬼影，而整个块是否属于鬼影区域则由块内鬼影像素点占比决定。Zhang等人利用多帧不同曝光图像的梯度信息在固定区域是否稳定来检测构成鬼影的像素点，但在图像中梯度幅度值小的区域，梯度方向不稳定，不利于检测构成鬼影的像素点。

Wards提出MTB(Median Threshold Bitmap,中值阈值位图)算法：对于某一原始图像，用该图像的像素值中值作为阈值，低于该阈值的像素设置为0，高于该阈值的像素设置为1，得到二值图像。Ward指出，对于静态场景，该二值图像不会因为原始图像曝光的不同而改变。对于动态场景，Pece等人根据Ward的结论提出一种多张不同曝光图像中移动物体的检测方法：运用MTB算法，把多张不同曝光图像分别转变为二值图像，这些二值图像中的差异部分，即为移动物体。但是，Pece等人的移动物体(鬼影)检测方法，仅对移动物体的像素值与周围背景的像素值分列中值两侧时有效，对于移动物体的像素值与周围背景的像素值均小于(或均大于)中值的情况，该方法则不能检测出鬼影。

发明内容

本发明的目的是提供一种高动态范围图像鬼影消除的方法，快速有效地实现消除高动态范围图像中的鬼影。

为实现上述发明，本发明提供以下技术方案：

一种高动态范围图像鬼影消除的方法，包括以下步骤：

(1)从输入的多帧低动态范围图像中选择一帧参考图像，剩余低动态范围图像为非参图像，将所有非参图像分别与参考图像背景对齐，得到对齐后的非参图像后，对对齐后的非参图像和参考图像进行灰度化处理；

(2)设定多组包含不同二值化阈值的阈值组，组成阈值列表，将灰度化处理后的每帧非参图像与参考图像组成图像对，针对每个图像对，依据阈值列表中每个二值化阈值对图像对进行二值化处理，并对二值化处理结果进行异或、与、或运算实现移动物体检测，获得每帧非参图像对应的移动物体图像，并综合所有非参图像对应的移动物体图像以确定移动物体区域；

(3)依据移动物体区域，采用局部直方图匹配和泊松融合方法将每帧的移动物体区域对齐，得到多帧对齐图像，并将多帧对齐图像进行多分辨率融合，得到消除鬼影的高动态范围图像。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的高动态范围图像鬼影消除的方法，通过采用多阈值二值化处理并配合异或、与、或运算实现移动物体完整检测，且能适用于各种复杂场景图像，然后采用局部直方图匹配和泊松融合将移动物体对齐，以消除缝合线，并且可以使移动物体和背景之间的色调和亮度过渡自然，最后通过多分辨率融合对齐图像的方式，获得消除鬼影的高动态范围图像。能够快速有效地实现消除高动态范围图像中的鬼影。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供的高动态范围图像鬼影消除的方法的流程示意图；

图2是本发明提供的移动物体检测过程示意图；

图3为本发明示例性给出的检测移动物体效果图，其中，(a)输入的三帧不同曝光度LDR图像，(b)包含检测到的移动物体区域的二值图像，白色为移动物体区域；(c)图像(b)和未去鬼影的HDR图像的与操作的结果，用于展示移动物体检测的效果；

图4是本发明提供的对齐移动物体过程示意图；

图5是本发明提供的示例性高动态范围图像，其中，(a)为带有鬼影的高动态范围图像，(b)为消除鬼影的高动态范围图像。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

2003年，Wards提出MTB(Median Threshold Bitmap,中值阈值位图)算法：对于某一原始图像，用该图像的像素值中值作为阈值，低于该阈值的像素设置为0，高于该阈值的像素设置为1,得到二值图像。同时，Ward指出，对于静态场景，该二值图像不会因为原始图像曝光的不同而改变。2010年，Pece等人根据Ward的结论提出一种多帧不同曝光图像中移动物体的检测方法：运用MTB算法，把多帧不同曝光图像分别转变为二值图像，这些二值图像中的差异部分，即为移动物体。但是，Pece等人的移动物体(鬼影)检测方法，仅对移动物体的像素值与周围背景的像素值分列中值两侧时有效，对于移动物体的像素值与周围背景的像素值均小于(或均大于)中值的情况，该方法则不能检测出鬼影。

为此，本发明实施例提供了一种高动态范围图像鬼影消除的方法，采用多帧二值图像移动物体检测方法来解决了Pece等人的移动物体检测方法的上述缺点，多帧二值图像移动物体检测方法包括：设置多个阈值，分别使用这些阈值对输入的LDR图像进行二值化，得到多帧二值图像，对这些二值图像进行异或、与、或运算，从而检测出移动物体。

在检测出移动物体基础上，本高动态范围图像鬼影消除的方法还包括了先用局部直方图匹配和泊松融合方法把每帧LDR图像的移动物体进行对齐，然后再对对齐之后的图像进行多分辨率融合。因为移动物体得到对齐，因此最终所得的高动态范围图像不会有鬼影。局部直方图匹配和泊松融合不仅可以对齐移动物体，还可以消除移动物体和背景的缝合线，使其过渡自然、颜色协调。

图1是本发明提供的高动态范围图像鬼影消除的方法的流程示意图，参见图1，对本发明的高动态范围图像鬼影消除的方法的步骤进行详细说明，具体包括以下步骤：

步骤1：获取多帧LDR图像，并将多帧LDR图像做背景对齐。

输入的多帧LDR图像是包含移动物体的不同曝光度的图像，可以是连续帧图像，也可以是间隔帧图像，但是这多帧LDR图像中移动物体的位置随时间发生变化。

本发明中将LDR图像非移动物体区域，如建筑、道路、山等作为背景，在对背景对齐时，是将LDR图像与参考图像进行背景对齐，可以从输入的多帧低动态范围图像中选择一帧参考图像，具体地选择中等曝光的低动态范围图像作为参考图像。这里，中等曝光是指像素均值处于中间的图像。输入的多帧LDR图像中，除参考图像外剩余的低动态范围图像作为非参图像，并将所有非参图像分别与参考图像背景对齐，得到对齐后的非参图像。其中，可以采用AKAZE匹配方法将所有非参图像分别与参考图像背景对齐，AKAZE匹配方法快速而准确。在背景对齐后，还需要进行灰度化处理。

步骤2：基于背景对齐后的图像实现移动物体检测，得到移动物体区域。

本实施例中，基于背景对齐后图像，采用多阈值二值化处理并配合异或、与、或运算实现移动物体完整检测，确定移动物体区域，具体地，可以设定多组包含不同二值化阈值的阈值组，组成阈值列表，将灰度化处理后的每帧非参图像与参考图像组成图像对，针对每个图像对，依据阈值列表中每个二值化阈值对图像对进行二值化处理，并对二值化处理结果进行异或、与、或运算实现移动物体检测，获得每个非参图像对应的移动物体图像，并综合所有非参图像对应的移动物体图像以确定移动物体区域。

在一种实施方式中，设定的阈值列表包含二值化阈值范围依次递增的至少三组阈值组。设定的二值化阈值用于对灰度化处理后的非参图像与参考图像进行二值化处理。根据具体场景，可以改变阈值列表以获得更好的移动物体检测效果。

在另外一种实施方式中，设定阈值列表包含五组阈值组，二值化阈值以百分比形式表示，五组阈值组分别为：

第一组阈值组：[5％,10％,15％]；

第二组阈值组：[20％,30％,40％]；

第三组阈值组：[40％,50％,60％]；

第四组阈值组：[60％,70％,80％]；

第五组阈值组：[80％,90％]。

针对一般的移动物体检测，选择第二组阈值组[20％,30％,40％]、第三组阈值组[40％,50％,60％]以及第四组阈值组[60％,70％,80％]即可以较好地实现移动物体检测，当检测移动物体及其周围背景均为很暗时的鬼影，增加第一组阈值组[5％,10％,15％]进行二值化处理，当检测移动物体及其周围背景均为很亮的鬼影时，增加第五组阈值组[80％,90％]进行二值化处理。在另外一个实施方式，移动物体检测过程为：针对每个图像对，依据阈值列表中每个二值化阈值对图像对进行二值化处理，并对每个阈值对应的两个二值化处理结果进行异或操作，得到异或操作结果，然后，对每个阈值组对应的多个异或操作结果进行与操作，得到与操作结果，最后，对所有与操作结果进行或操作，得到图像对中非参图像对应的移动物体图像。

本实施例中，综合所有输入的低动态范围图像中运动物体与环境背景的亮度差异来设定二值化阈值，设定多组阈值，其中，较小的阈值组用以检测移动物体中相对较暗的部分；较大的阈值组用以检测移动物体中相对较亮的部分。

在另外一个实施方式中，在获得所有非参图像对应的移动物体图像后，采用或操作来综合所有非参图像对应的移动物体图像以确定移动物体区域。

以获取3帧不同曝光度的LDR图像，并以第2帧LDR图像为参考图像，第1帧LDR图像和第3帧LDR图像为非参图像，灰度化处理的第1帧LDR图像和第3帧LDR图像和参考图像命名为灰度图1、灰度图3和灰度图2，灰度图1与灰度图2组成图像对1，灰度图2和灰度图3组成图像对2，设定阈值列表包含第1阈值组[20％,30％,40％]，第2阈值组[40％,50％,60％]，第3阈值组[60％,70％,80％]]为例，对移动物体检测进行详细说明，如图2所示，具体过程包括：

针对图像对1，采用第1组阈值组[t＝20％,30％,40％]进行二值化处理时，首先，采用二值化阈值20％对灰度图1二值化，得到BI1(即Binary Image 1)。同样地，对灰度图2二值化，得到BI2，然后对BI1和BI2进行XOR(异或)运算，得到BI19，并对BI19进行二值图像腐蚀操作以去除噪点，去除噪点的二值图像仍为BI19；将二值化阈值更新为30％和40％，采用同样的方式，获得BI20和BI21；然后，对BI19、BI20和BI21进行AND(与)操作，得到BI28；采用第2阈值组和第3阈值组中的所有二值化阈值进行二值化处理时，按照第1组阈值组的方式，获得第2组阈值组对应的BI29和第3阈值组对应的BI30，然后将BI28、BI29以及BI30进行OR(或)操作，得到BI31并对BI31进行二值图像膨胀操作，得到图像对1对应的移动物体图像a。此过程中，与操作可以去除被误检测为移动物体的图像背景部分，或操作可使得BI31中包含更完整的移动物体。

针对图像对2，采用针对第1帧LDR图像的处理方式，依据第1阈值组[20％,30％,40％]，第2阈值组[40％,50％,60％]，第3阈值组[60％,70％,80％]]对灰度图2和灰度图3进行处理，得到对应的移动物体图像b，然后，将移动物体图像a和移动物体图像b进行第二或操作，得到总的移动物体区域。该第二或操作可保证后续流程中得到的移动物体对齐图是完全对齐的。图3为示例性给出的检测移动物体效果图，其中，(a)输入的三帧不同曝光度LDR图像，(b)包含检测到的移动物体区域的二值图像，白色为移动物体区域；(c)图像(b)和未去鬼影的HDR图像的与操作的结果，用于展示移动物体检测的效果。

图3(b)为依据图3(a)所示的3帧LDR图像确定的移动物体区域。

以上移动物体检测过程由于采用了多二值化阈值且配合异或、与、或运算来得到移动物体区域，能够适用于各种复杂背景的移动物体检测，且检测结果完整。

步骤3：基于移动物体区域实现移动物体对齐，得到对齐图像。

移动物体对齐是鬼影消除的一个关键过程，具体地，采用局部直方图匹配和泊松融合将每帧的移动物体区域对齐，得到多帧对齐图像。

在一个实施方式中，移动物体对齐时，在所有低动态范围图像中选择在移动物体区域质量最佳的图像块，将该图像块分别与所有低动态范围图像的移动物体区域进行局部直方图匹配，再将匹配结果分别与对应的低动态范围图像做泊松融合，得到多帧对齐图像。该过程的局部直方图匹配和泊松融合可以消除缝合线，并且可以使移动物体和背景之间的色调和亮度过渡自然。

本实施例中，移动物体区域质量最佳的确定方法为：在所有低动态范围图像的移动物体区域中，选择像素均值最接近125，且像素值大于245或者小于10的像素点不超过移动物体区域总像素点数目的10％的移动物体区域作为质量最佳移动物体区域。

如图4所示，以获取3帧LDR图像为例，移动物体对齐过程为：从3帧背景对齐的LDR图像中选择1帧在移动物体区域质量最佳的图像，得到移动物体区域质量最佳图，把移动物体区域质量最佳图分别与背景对齐处理后的3帧LDR图像做移动物体区域直方图匹配，再把匹配结果分别与背景对齐处理后的3帧LDR图像(即输入图像1、输入图像2、输入图像3)做泊松融合，即得到3帧移动物体已对齐的图。到此，这3帧图像的背景和移动物体都对齐了，记为对齐图1、对齐图2和对齐图3，该三个对齐图在后续做多分辨率融合得到的消除鬼影的HDR图像。

步骤4：多分辨率融合对齐图像，得到消除鬼影的HDR图像。

本实施例中，采用高斯-拉普拉斯图像金字塔融合方法对多帧对齐图像进行多分辨率融合，得到消除鬼影的高动态范围图像。

举例说明，对对齐图1、对齐图2和对齐图3进行高斯-拉普拉斯图像金字塔融合。高斯-拉普拉斯图像金字塔融合策略和静态场景融合策略完全相同，因为图像内容已完全对齐，仅是亮度有差异。首先根据图像质量评价指数，对3帧对齐图的每个像素计算权重，给高质量的像素点赋予较高权重，给低质量的像素点赋予较低权重，得到对应的3帧权重图，并用3帧权重图生成3个权重高斯金字塔，用三帧对齐图像各自的R颜色通道生成3个图像拉普拉斯金字塔，把权重高斯金字塔和图像拉普拉斯金字塔各层对应相乘，得到3个带权重的图像拉普拉斯金字塔，把这3个金字塔相加，得到R通道图像金字塔，该金字塔经过下采样，得到HDR图像的R颜色通道。用同样的方法可计算得到HDR图像的G颜色通道和B颜色通道。把这三个颜色通道合在一起，即得到最终的HDR图像，如图5所示，其中，(a)为带有鬼影的高动态范围图像，(b)为消除鬼影的高动态范围图像。

本实施例中，图像质量评价指数可根据下式计算：

式中，W表示质量评价指数，k表示第k帧图，(i,j)表示像素位置。C、S和E分别表示对比度，饱和度和曝光良好度，其具体计算方法可参考2007年Mertens等人发表在PacificGraphics上的工作。

上述提供的高动态范围图像鬼影消除的方法可在多帧不同曝光图像中快速准确检测移动物体，同时移动物体对齐方法可在多分辨率融合前把移动物体进行对齐，因为移动物体得到对齐，因此最终所得的高动态范围图像不会有鬼影。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高动态范围图像鬼影消除的方法，其特征在于，包括以下步骤：

(1)从输入的多帧低动态范围图像中选择一帧参考图像，剩余低动态范围图像作为非参图像，将所有非参图像分别与参考图像背景对齐，得到对齐后的非参图像后，对对齐后的非参图像和参考图像进行灰度化处理；

(2)设定多组包含不同二值化阈值的阈值组，组成阈值列表，将灰度化处理后的每帧非参图像与参考图像组成图像对，针对每个图像对，依据阈值列表中每个二值化阈值对图像对进行二值化处理，并对二值化处理结果进行异或、与、或运算实现移动物体检测，获得每帧非参图像对应的移动物体图像，并综合所有非参图像对应的移动物体图像以确定移动物体区域；

(3)依据移动物体区域，采用局部直方图匹配和泊松融合方法将每帧的移动物体区域对齐，得到多帧对齐图像，并将多帧对齐图像进行多分辨率融合，得到消除鬼影的高动态范围图像。

2.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(1)中，选择中等曝光的低动态范围图像作为参考图像。

3.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(2)中，针对每个图像对，依据阈值列表中每个二值化阈值对图像对进行二值化处理，并对每个阈值对应的两个二值化处理结果进行异或操作，得到异或操作结果，然后，对每个阈值组对应的多个异或操作结果进行与操作，得到与操作结果，最后，对所有与操作结果进行或操作，得到图像对中非参图像对应的移动物体图像。

4.如权利要求1或3所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(2)中，采用或操作来综合所有非参图像对应的移动物体图像以确定移动物体区域。

5.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(2)中，设定的阈值列表包含二值化阈值范围依次递增的至少三组阈值组。

6.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(2)中，设定阈值列表包含五组阈值组，二值化阈值以百分比形式表示，五组阈值组分别为：

第一组阈值组：[5％,10％,15％]；

第二组阈值组：[20％,30％,40％]；

第三组阈值组：[40％,50％,60％]；

第四组阈值组：[60％,70％,80％]；

第五组阈值组：[80％,90％]。

7.如权利要求1或5所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(2)中，综合所有输入的低动态范围图像中运动物体与环境背景的亮度差异来设定二值化阈值，设定多组阈值，其中，较小的阈值组用以检测移动物体中相对较暗的部分；较大的阈值组用以检测移动物体中相对较亮的部分。

8.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(3)中，在所有低动态范围图像中选择在移动物体区域质量最佳的图像块，将该图像块分别与所有低动态范围图像的移动物体区域进行局部直方图匹配，再将匹配结果分别与对应的低动态范围图像做泊松融合，得到多帧对齐图像。

9.如权利要求8所述的高动态范围图像鬼影消除的方法，其特征在于，移动物体区域质量最佳的确定方法为：在所有低动态范围图像的移动物体区域中，选择像素均值最接近125，且像素值大于245或者小于10的像素点不超过移动物体区域总像素点数目的10％的移动物体区域作为质量最佳移动物体区域。

10.如权利要求1所述的高动态范围图像鬼影消除的方法，其特征在于，步骤(1)中，采用AKAZE匹配方法将所有非参图像分别与参考图像背景对齐；

步骤(3)中，采用高斯-拉普拉斯图像金字塔融合方法对多帧对齐图像进行多分辨率融合，得到消除鬼影的高动态范围图像。

Images