CN108492262B - 一种基于梯度结构相似性的无鬼影高动态范围成像方法 - Google Patents

Abstract

本发明公开了一种基于梯度结构相似性的无鬼影高动态范围成像方法，针对目前无鬼影高动态范围图像方法存在的问题，利用参考图像与其余输入图像(非参考图)之间的梯度结构相似性可准确地判别出鬼影区域，并通过泊松图像编辑算法去除参考图像与其余输入图像之间存在移动物体的区域(鬼影区域)，最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。本发明不仅具有良好的鬼影去除效果，而且还能够生成高质量的图像。

Description

一种基于梯度结构相似性的无鬼影高动态范围成像方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种基于梯度结构相似性的无鬼影高动态范围成像方法。

背景技术

真实场景有着巨大的动态范围，而普通的数字摄像机由于硬件的限制，捕获的数字图像的动态范围有限，只能反映出真实(实际)场景中部分区域的细节信息。高动态范围成像技术扩大了图像的动态范围，使得所获图像能够同时包含场景中亮部和暗部区域的细节信息，极大的提高了图像的质量，因此，该技术成为了学术界与工业界的研究热点。

目前常见的一种方法是通过拍摄多帧不同曝光量的低动态范围图像，这些图像有着真实场景中不同区间的动态范围，通过软件算法将多帧图像合成一帧高动态范围的图像。然而该方法仅仅适用于静态场景下拍摄的图像，真实场景中，绝大多数都是动态场景，所拍摄的多帧图像存在移动的人群、车辆等，使得该方法生成的高动态范围图像存在鬼影，极大的影响了图像的质量，也限制了该方法的适用范围。因此，研究人员开始专注于动态场景的无鬼影高动态范围图像获取(成像)方法，并取得了一些进展。

生成无鬼影高动态范围图像的关键技术在于鬼影区域的检测与鬼影的去除。鬼影区域的检测，首先需要选定一帧图像作为参考图像，然后通过算法找出参考图像与其余输入图像之间的存在移动物体的区域，最终的鬼影去除效果与判断出的区域准确性密切相关。鬼影的去除，则使用参考图像在鬼影区域的图像信息替换其余输入图像相应区域的图像信息，其余输入图像在经过鬼影去除后的景象将与参考图像景象一致。

现有的生成无鬼影高动态范围图像的方法存在由于鬼影区域判别不准确导致鬼影去除失败的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于梯度结构相似性的无鬼影高动态范围成像方法，以有效去除鬼影。

为实现上述发明目的，本发明基于梯度结构相似性的无鬼影高动态范围成像方法，其特征在于，包括以下步骤：

(1)、鬼影区域的判别

1.1)、从输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像I_r，将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像I_sn(n＝1,2,...,N-1)；

1.2)、提取参考图像I_r的水平梯度图像Ix_r以及非参考图像I_sn的水平梯度图像Ix_sn，计算参考图像I_r与非参考图像I_sn的水平梯度结构相似性图像GSSIMx(Ix_r,Ix_sn)，其中，第i个像素点的值为：

其中，C₁与C₂为防止除数为零的常数，i属于整个图像域；

μx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的平均值：

其中，z_rik为水平梯度图像Ix_r像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p；

μx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的平均值：

其中，z_snik为水平梯度图像Ix_sn像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p；

σx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的标准差：

σx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的标准差：

为水平梯度图像Ix_r与水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的协方差：

按照同样的方法，计算出垂直梯度结构相似性图像GSSIMy(Iy_r,Iy_sn)，其中，第i个像素点的值为GSSIMy(Iy_r,Iy_sn)_i；

1.3)、得到参考图像与非参考图像的梯度结构相似度图像GSSIM(I_r,I_sn)，其中，第i个像素点的值为GSSIM(I_r,I_sn)_i：

GSSIM(I_r,I_sn)_i＝GSSIMx(I_r,I_sn)_i·GSSIMy(I_r,I_sn)_i (7)；

1.4)、获取鬼影区域图像ghostmap(I_r,I_sn)，其中，第i个像素点的值为ghostmap(I_r,I_sn)_i：

其中，th为判别是否为鬼影像素点的阈值；

1.5)、使用形态学处理ghostmap(I_r,I_sn)，去除孤立的噪声点和填充孔洞，得到鬼影区域图像ghostmap^*(I_r,I_sn)，其中，值为1的区域为鬼影区域；

(2)、鬼影去除

根据参考图像I_r在鬼影区域的梯度信息以及非参考图像I_sn在鬼影区域的边界信息，采用泊松图像编辑算法，重新构建出非参考图像I_sn在鬼影区域内像素点的像素值，得到去除鬼影后的非参考图像I'_sn；

(3)、生成无鬼影的高动态范围图像

3.1)将参考图像I_r以及非参考图像I'_sn组成N帧无鬼影图像I_j，j＝1,2,...,N；

3.2)、对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样，得到的采样值Z_cmj，c∈{R,G,B}，m为采样值的位置；然后结合各帧的图像曝光时间t_j，求解出逆相机响应函数g_c；

3.3)、对N帧无鬼影图像的像素值Z_cij做逆映射，得到HDR(高动态范围)图像，其中，第i个像素点的辐照度值E_ci：

其中，U(Z_cij)为高斯合成权重，其表达式为：

本发明的目的是这样实现的。

本发明基于梯度结构相似性的无鬼影高动态范围成像方法，针对目前无鬼影高动态范围图像方法存在的问题，利用参考图像与其余输入图像(非参考图)之间的梯度结构相似性可准确地判别出鬼影区域，并通过泊松图像编辑算法去除参考图像与其余输入图像之间存在移动物体的区域(鬼影区域)，最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。本发明不仅具有良好的鬼影去除效果，而且还能够生成高质量的图像。

附图说明

图1是本发明基于梯度结构相似性的无鬼影高动态范围成像方法一种具体实施方式流程框图；

图2是两组动态场景下的多曝光图像，其中，前一行为办公室、后一行为花园；

图3是图2中办公室和花园判别出的鬼影区域图像实例图；

图4是构建出鬼影区域内的图像像素示意图；

图5是图2所示两组动态场景下的多曝光图像去除移动物体后的图像实例图；

图6是求解出逆相机响应函数的三角权重函数以及合成HDR图像的高斯合成权重函数曲线图；

图7是八组每组5帧动态场景下的多曝光图像实例图；

图8是图7所示八组每组5帧动态场景下的多曝光图像生成的HDR图像的色调映射图像示例图；

图9是图像质量评判模型DRIM评判结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实际场景中，在得到同一场景的多帧不同曝光图像后，由于存在移动的物体，所以生成的高动态范围图像存在鬼影效应，极大的影响了图像质量。因此，如何有效的去除鬼影的影响成为当下研究的热点。针对目前无鬼影高动态范围图像方法存在的问题，本发明利用参考图像与其余输入图像之间的梯度结构相似性判别出鬼影区域，并通过泊松编辑算法去除参考图与其余输入图像之间存在移动物体的区域，最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。

图1是本发明基于梯度结构相似性的无鬼影高动态范围成像方法一种具体实施方式流程框图。

在本实施例中，如图1所示，本发明基于梯度结构相似性的无鬼影高动态范围成像方法包括以下步骤：

步骤S1：鬼影区域的判别

图像的梯度不仅能反映出图像的轮廓、纹理等细节信息，还能弱化光照的影响，本发明中，从两帧图像的梯度结构相似性上判断出存在移动物体的区域即鬼影区域，具体为：

步骤S101：输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像I_r，将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像I_sn(n＝1,2,...,N-1)。

步骤S102：提取参考图像I_r的水平梯度图像Ix_r以及非参考图像I_sn的水平梯度图像Ix_sn，计算参考图像I_r与非参考图像I_sn的水平梯度结构相似性图像GSSIMx(Ix_r,Ix_sn)，其中，第i个像素点的值为：

其中，C₁与C₂为防止除数为零的常数，在本实施例中，C₁为10，C₂为60；i属于整个图像域。

μx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的平均值：

其中，z_rik为水平梯度图像Ix_r像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p，在本实施例中，p＝11，K＝p×p＝11×11＝121；

μx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的平均值：

其中，z_snik为水平梯度图像Ix_sn像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p；

σx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的标准差：

σx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的标准差：

为水平梯度图像Ix_r与水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的协方差：

按照同样的方法，计算出垂直梯度结构相似性图像GSSIMy(Iy_r,Iy_sn)，其中，第i个像素点的值为GSSIMy(Iy_r,Iy_sn)_i。

步骤S103：得到参考图像与非参考图像的梯度结构相似度图像GSSIM(I_r,I_sn)，其中，第i个像素点的值为GSSIM(I_r,I_sn)_i：

GSSIM(I_r,I_sn)_i＝GSSIMx(I_r,I_sn)_i·GSSIMy(I_r,I_sn)_i (7)。

步骤S104：获取鬼影区域图像ghostmap(I_r,I_sn)，其中，第i个像素点的值为ghostmap(I_r,I_sn)_i：

其中，th为判别是否为鬼影像素点的阈值，在本实施例中，th为0.1。

由于GSSIM(gradient-based structural similarity)具有有界性，其最大值为1，当梯度结构相似度中存在值为1时，表示该处的图像基本上一致，而值越小表示该处的图像差异性越大，据此，我们可以求解出存在移动物体的区域即鬼影区域，即为1的区域为鬼影区域。

步骤S105：使用形态学处理鬼影区域图像ghostmap(I_r,I_sn)，去除孤立的噪声点和填充孔洞，得到鬼影区域图像ghostmap^*(I_r,I_sn)，其中，值为1的区域为鬼影区域。

由于鬼影区域图像ghostmap(I_r,I_sn)依然含有孤立的噪声点或者窟窿，我们使用形态学处理鬼影区域图像ghostmap(I_r,I_sn)，以去除孤立的噪声点和填充孔洞。在本实施例中，除去鬼影区域内所含像素点数量在八邻域内少于100的像素块，然后补齐剩余像素块内形成闭环的孔洞，得到鬼影区域图像ghostmap^*(I_r,I_sn)。

为更好的理解本发明，在本实施例中，给出两组、每组5帧动态场景下的多曝光图像(办公室、花园)，如图2所示。参考图像选择中等曝光量的图像，两组均为第三帧图像。

图3给出了图2中办公室和花园判别出的鬼影区域图像的实验结果，分别为参考图像(图2中的第三帧为I_r)与其余输入图像(图2中的第一、二、四、五帧为非参考图像I_s1、I_s2、I_s3、I_s4之间的鬼影区域图像ghostmap^*(I_r,I_s1)、ghostmap^*(I_r,I_s2)、ghostmap^*(I_r,I_s3)、ghostmap^*(I_r,I_s4)。

步骤S2：鬼影去除

根据参考图像I_r在鬼影区域的梯度信息以及非参考图像I_sn在鬼影区域的边界信息，采用泊松图像编辑算法，重新构建出非参考图像I_sn在鬼影区域内像素点的像素值，得到去除鬼影后的非参考图像I'_sn。

鬼影的去除不能简单的直接使用参考图在鬼影区域的图像信息替换其余输入图像对应区域的信息，否则会导致替换信息后生成的图像中出现缝合线，而该缝合线也会随着多帧图像的融合出现在最终的高动态范围图像中，严重影响图像的质量。这里我们使用泊松编辑算法完成图像信息的替换，能避免产生缝合线的问题。

泊松图像编辑算法的主要思想是，根据参考图像在鬼影区域的梯度信息以及非参考图像在鬼影区域的边界信息，重新构建出鬼影区域内的图像像素。如图4所示，其中，u表示参考图像在鬼影区域内的图像信息，V是u的梯度场，S表示非参考图像由u替换相应区域图像信息后去除移动物体的结果图，Ω是S中被覆盖的区域，其大小由鬼影区域图像ghostmap*(I_r,I_sn)决定，

是其边界，设合并后图像在Ω内的像素值f示，在Ω外的像素值由f*表示。

图像合并的要求是使合并后的图像看上去尽可能的平滑，没有明显的边界。所以被覆盖的区域内的图像梯度值应当尽可能的小。同时由于要求插入后的图像保持插入图像本身的纹理信息，但是在边界上看不到明显的处理痕迹，此种约束下的优化问题可以表示为：

其中

为哈密尔顿算子，||·||²为欧式距离的平方。

为了使合并后的图像中的Ω区域尽量接近于u，这里利用u的梯度场V作为求解式的引导场。合并后图像在Ω内的像素值f的梯度与u的梯度越接近，就表示原始纹理保持得越好。此时被积函数为：

再应用二维的欧拉-拉格朗日方程，则得：

其中Δ为拉普拉斯算子，引入散度div后，可以从散度的角度来定义拉普拉斯算子，此时拉普拉斯算子定义为梯度的散度，即

所以原式(11)可以写成如下的泊松方程的形式：

求解公式(15)后即可得到Ω区域的像素值，便能去除多帧图像中存在移动物体的区域。替换完成后，将得到多帧与参考图景象一致的图像。

在本实施例中，通过泊松图像编辑算法使用鬼影判别算法中得到的鬼影区域，其边界即为泊松方程的求解条件，这样就能用参考图像在鬼影区域的图像信息替换掉其余输入图像对应区域的信息。图5即为去除移动物体后的图像。

步骤S3：生成无鬼影的高动态范围图像

步骤S301：将参考图像I_r以及非参考图像I'_sn组成N帧无鬼影图像I_j，j＝1,2,...,N；

步骤S302：对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样，得到的采样值Z_cmj，c∈{R,G,B}，m为采样值的位置；然后结合各帧的图像曝光时间t_j，求解出逆相机响应函数g_c；

步骤S303：对N帧无鬼影图像的像素值Z_cij做逆映射，得到HDR(高动态范围)图像，其中，第i个像素点的辐照度值E_ci：

其中，U(Z_cij)为高斯合成权重，其表达式为：

由Z＝f(Et)，其中Z为图像亮度值，E为图像辐照度，t为图像曝光时间，相机响应函数f单调递增，对其求逆并取对数，如公式(16)所示：

其中Z_cij表示第j帧无鬼影图像I_j在色彩通道c下第i位置处采样点的值，c∈{R,G,B}，E_ci为色彩通道c下第i个位置处的辐照度，Δt_j为第j帧图像的曝光时间，g_c为在色彩通道c下的逆相机响应函数，然后求解g_c的目标函数为公式(17)所示。

其中，N为无鬼影图像I_j的数量，M为采样点数量，λ为一个常量系数，Z_cmax表示N帧无鬼影图像I_j中在色彩通道c下最大的像素值，相应的，Z_cmin为N帧无鬼影图像I_j中色彩通道c下最小的像素值，而g″(z)的公式如(18)所示。

g″(z)＝g_c(z-1)-2g_c(z)+g_c(z+1) (18)

在式(17)中，W(Z_cij)为求解逆相机响应曲线时，为采样点设计权重，采用三角权重，如公式(19)所示。

将式(18)和式(19)代入式(17)中，计算得到逆相机响应函数g_c后，对LDR图像像素值Z_cij做逆映射，得到最终的HDR图像辐照度值E_ci，如公式(9)所示，为合成HDR图像的计算方法。

式(9)中的U(Z_cij)采用高斯合成权重，能避免生成的HDR图像中出现失真的像素点，其计算方法为公式(10)所示。

通过上述静态场景的高动态范围成像技术，得到一帧无鬼影的高动态范围图像。

在本实施例中，公式(17)中参数M大小为512，参数λ大小为20。采样点的选取方法首先计算出图像的R，G，B三个色彩的直方图，然后各色彩直方图分别采用基于CDF(Cumulative Distribution Function)的采样算法获取数量为参数M的采样点。

如图6所示，从左往右依次是采样点的高斯权重函数和合成时的三角权重函数。将图6中的权重函数分别作用于公式(17)和(9)，重构出高动态范围图像。

图像质量评价

对本发明结果，采用两种图像质量评价方法进行分析。第一种评价方法，由于常用的显示设备无法显示高动态范围图像，经过色调映射方法将高动态范围图像映射到低动态范围以显示图像，并从人眼视觉神经系统角度给出图像质量评价，这是从主观视觉上对图像质量评价的一种方法。第二种评价方法，采用HDR图像质量评判模型DRIM，其结果图的红、绿、蓝像素点占比直观衡量了测试图与参考图之间的失真程度。

图7给出了八组每组5帧动态场景下的多曝光图像，其中，第一行为花园、第二行为自行车、第三行为办公室、第四行为宫殿、第五行为玩偶、第六行为家、第七行为图书馆、第八行为城堡)，其中，除宫殿、家、城堡选第四帧为参考图像外，其他均选第三帧为参考图像。

1)、主观评价

我们通过直观观察本发明生成的HDR图像的色调映射图像来评判该方法的效果。图8为本发明生成的HDR图像的色调映射图像。

从图8可以看出，本发明提出的方法在移动物体上都有着良好的判别效果，最终的生成图像中都去除了鬼影的影响。

2)、客观评价

我们使用了HDR图像质量评判模型DRIM(动态范围独立度量)来客观评价本发明，用这个模型评判所得结果图与参考图像之间的失真程度，会产生一个包含三种对比度变化信息的图像，红色像素表示对比度反转，绿色像素表示对比度丢失，蓝色像素表示对比度增强，灰色像素表示处理前后像素没有变化，通过统计图像中红、绿、蓝像素所占比例，从红、绿、蓝占比结果反映所得图像质量的好坏，红色和绿色像素越少说明生成的HDR图像质量越好。图9直观展示了测试结果图经过DRIM评判后红、黄、蓝像素点所占比例。

从图9中可以看出，本发明所得DRIM值均占有一定的优势(除花园、自行车外)，也反映了我们的方法不仅具有良好的鬼影去除效果，而且还能够生成高质量的图像。

从客观评价和主观评价上，可以得出该发明能有效去除动态场景下生成高动态范围图像产生的鬼影效应。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于梯度结构相似性的无鬼影高动态范围成像方法，其特征在于，包括以下步骤：

(1)、鬼影区域的判别

1.1)、从输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像I_r，将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像I_sn，其中n＝1,2,...,N-1；

1.2)、提取参考图像I_r的水平梯度图像Ix_r以及非参考图像I_sn的水平梯度图像Ix_sn，计算参考图像I_r与非参考图像I_sn的水平梯度结构相似性图像GSSIMx(Ix_r,Ix_sn)，其中，第i个像素点的值为：

其中，C₁与C₂为防止除数为零的常数，i属于整个图像域；

μx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的平均值：

其中，z_rik为水平梯度图像Ix_r像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p；

μx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的平均值：

其中，z_snik为水平梯度图像Ix_sn像素点i处p×p的方形窗内第k个像素点的像素值，K＝p×p；

σx_ri为水平梯度图像Ix_r像素点i处p×p的方形窗内像素值的标准差：

σx_sni为水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的标准差：

为水平梯度图像Ix_r与水平梯度图像Ix_sn像素点i处p×p的方形窗内像素值的协方差：

按照计算参考图像I_r与非参考图像I_sn的水平梯度结构相似性图像GSSIMx(Ix_r,Ix_sn)的方法，计算出参考图像I_r与非参考图像I_sn的垂直梯度结构相似性图像GSSIMy(Iy_r,Iy_sn)，其中，Iy_r为提取的参考图像I_r的垂直梯度图像，Iy_sn为提取的非参考图像I_sn的垂直梯度图像，第i个像素点的值为GSSIMy(Iy_r,Iy_sn)_i；

1.3)、得到参考图像与非参考图像的梯度结构相似度图像GSSIM(I_r,I_sn)，其中，第i个像素点的值为GSSIM(I_r,I_sn)_i：

GSSIM(I_r,I_sn)_i＝GSSIMx(Ix_r,Ix_sn)_i·GSSIMy(Iy_r,Iy_sn)_i (7)；

1.4)、获取鬼影区域图像ghostmap(I_r,I_sn)，其中，第i个像素点的值为ghostmap(I_r,I_sn)_i：

其中，th为判别是否为鬼影像素点的阈值；

1.5)、使用形态学处理ghostmap(I_r,I_sn)，去除孤立的噪声点和填充孔洞，得到鬼影区域图像ghostmap^*(I_r,I_sn)，其中，值为1的区域为鬼影区域；

(2)、鬼影去除

根据参考图像I_r在鬼影区域的梯度信息以及非参考图像I_sn在鬼影区域的边界信息，采用泊松图像编辑算法，重新构建出非参考图像I_sn在鬼影区域内像素点的像素值，得到去除鬼影后的非参考图像I'_sn；

(3)、生成无鬼影的高动态范围图像

3.1)将参考图像I_r以及非参考图像I'_sn组成N帧无鬼影图像I_j，j＝1,2,...,N；

3.2)、对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样，得到采样值Z_cmj，c∈{R,G,B}，m为采样值的位置；然后结合各帧的图像曝光时间Δt_j，求解出逆相机响应函数g_c；

3.3)、对N帧无鬼影图像的像素值Z_cij做逆映射，得到高动态范围图像，其中，第i个像素点的辐照度值E_ci：

其中，U(Z_cij)为高斯合成权重，其表达式为：

2.根据权利要求1所述的无鬼影高动态范围成像方法，其特征在于，C₁为10，C₂为60，th为0.1；M大小为512。

Images