CN107220956A - 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 - Google Patents

一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 Download PDF

Info

Publication number
CN107220956A
CN107220956A CN201710251627.8A CN201710251627A CN107220956A CN 107220956 A CN107220956 A CN 107220956A CN 201710251627 A CN201710251627 A CN 201710251627A CN 107220956 A CN107220956 A CN 107220956A
Authority
CN
China
Prior art keywords
mrow
image
msub
pyramid
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710251627.8A
Other languages
English (en)
Inventor
张淑芳
郭志鹏
刘孟娅
韩泽欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710251627.8A priority Critical patent/CN107220956A/zh
Publication of CN107220956A publication Critical patent/CN107220956A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法，该方法包括：步骤一、对输入的多幅具有不同曝光度的LDR图像进行明暗区域的划分，依据各区域中的图像的对比度、饱和度、曝光度以及亮度，计算图像的权重图；步骤二、使用梯度金字塔来分解图像，以多分辨率的方式来融合图像。与现有技术相比，本发明、由于融合的过程采用梯度金字塔而不是拉普拉斯金字塔，因此增加了图像的方向和边缘信息，使得生成的HDR图像效果更好；再求权重的时候考虑到了图像的亮度信息，使得生成的HDR图像色彩更鲜明、对比度更高、图像细节更清晰；对于HDR图像领域有很好的借鉴意义。

Description

一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法
技术领域
本发明属于图像处理领域、高动态范围领域，特别涉及一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法。
背景技术
动态范围指的是一个物理测量的最大值与最小值之比，由于传统的图片是在一定的曝光下拍摄出来的，因此对比度是有限制的，通过对曝光等级的设置，就会导致在过亮或者过暗区域场景细节的丢失，而这就达不到我们人眼所能观察到的场景，因此一些细节就会被丢失，我们所获取的信息就会减少。为了实现我们捕获的场景更加贴近人眼观察到的场景，并且提高捕获的信息以及细节，这就需要我们提高动态范围，即高动态范围(HighDynamic Range，HDR)。高动态范围图片能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受，能更好地匹配人眼对现实世界场景的认知特性。正因为如此，HDR技术可以被应用于对图像质量要求较高的领域，如医学影像、视频监控、卫星遥感和计算机视觉等领域中。
目前，高动态范围图像生成方法的研究已经有很多，例如：Mann和Picard首先使用多幅曝光时间不同的图像来生成HDR图像，Goshtasby等人提出了基于最优块的图像融合算法，但是容易产生块效应，Mertens等人提出了基于拉普拉斯金字塔的图像融合算法，Li等人提出了基于离散小波的图像融合算法。
本文是在Mertens等人提出了基于拉普拉斯金字塔的图像融合算法的基础上，利用梯度金字塔，修改权重函数，得到一种新的基于多曝光LDR图像的HDR图像融合模型。
发明内容
为了克服现有技术存在的缺陷，本发明提出了一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法，考虑图像明暗区域的权重进行图像融合，并且融合的过程采用梯度金字塔。
本发明的一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法，该方法包括以下步骤：
步骤一、对输入的多幅具有不同曝光度的LDR图像进行明暗区域的划分，依据各区域中的图像的对比度、饱和度、曝光度以及亮度，计算图像的标量权重图：
其中，ij,k表示输入的多曝光图像序列中第k个图像(i,j)处的像素点，ωC、ωS、ωE、ωL分别表示用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E、亮度测量因子L对标量权重图W的影响程度，然后，对其进行归一化处理，得到N个多曝光图像中第k个图像(i,j)处的像素点的权重为：
其中，N代表多曝光图像序列的图像数，Wij,k表示输入的多曝光图像序列中第k个图像在像素点(i,j)处的标量权重值，表示输入的多曝光图像序列中第k个图像在像素点(i,j)处权重值；
步骤二、使用梯度金字塔来分解图像，以多分辨率的方式来融合图像：
将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，将N幅权重图分别进行高斯金字塔分解，得到不同分辨率的图像和权重图，并记图像A的第l层拉普拉斯金字塔分解为L{A}l，记图像B的第l层高斯金字塔分解为G{B}l；得到融合公式如下：
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示归一化的权重图，R表示金字塔分解后的第l层图像，表示金字塔分解后的第l层图像R在像素点(i,j)处的像素值；
对图像进行梯度金字塔分解，具体步骤如下：
将输入的多幅不同曝光度的图像中第k幅图像定义为G0，对其进行高斯金字塔分解，并将G0定义为高斯金字塔的最底层；然后，对得到的高斯金字塔的最顶层除外的各个分解层分别在水平方向、45°对角线方向、垂直方向和135°对角线方向进行梯度滤波；滤波后得到图像的梯度金字塔：
其中，GPlm表示第l层第m方向的梯度金字塔形图像,Gl表示图像进行高斯金字塔分解后的第l层图像，dm表示第m方向上的梯度滤波算子，表示一个3×3的核矩阵；M表示金字塔分解的层数；
利用梯度滤波后获取的梯度金字塔，得到最终融合公式为：
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l、m分别表示进行梯度金字塔分解时的层和方向，表示归一化的权重图，R表示金字塔分解后的第l层m方向上的图像，表示金字塔分解后的第l层m方向上的图像R在像素点(i,j)处的像素值；
在得到第l层第m方向的梯度金字塔形图像之后，对其进行梯度金字塔逆变换，从而恢复出生成的图像；具体步骤如下：
首先将图像的梯度金字塔转换为图像的方向拉普拉斯金字塔，公式如下：
其中，LPlm表示第l分解层中位于m方向的拉普拉斯金字塔图像；
然后，将图像的方向拉普拉斯金字塔变换为图像的FSD(Filter SubtractDecimate)拉普拉斯金字塔：
接下来，将图像的FSD拉普拉斯金字塔转换为对应的拉普拉斯金字塔：
其中，w为5×5的窗口函数，为固定的矩阵；
最后，再将其进行拉普拉斯逆变换，得到生成的HDR图像。
所述步骤一中图像亮暗区域的划分包括以下操作：
将输入的多幅具有不同曝光度的LDR图像，依次记为为最暗图像、较暗图像、正常图像、较亮图像、最亮图像；
使用图像直方图的中间亮度Lmiddle将图像划分为两个区域，用这两个区域的亮度中间值Llow和Lhigh将它们再分成两个部分，最终将整幅图像划分成了四个子区域R1，R2，R3和R4，最暗区域到最亮区域的过渡；
对于每个子区域R1，R2，R3和R4，利用公式Lmed＝0.5*(Lmax-Lmin)，求出各个区域的平均亮度值，记为其中i＝1,2,3,4；
将最暗图像的平均亮度值Lmed,1设为对于较暗的图像的平均亮度值Lmed,2设为对于正常图像的平均亮度值Lmed,3设为对于较亮图像的平均亮度值Lmed,4设为对于对于最亮图像I5的平均亮度值Lmed,5设为Lmed,R1；保留较暗图像中的较亮区域的细节，以及较亮图像中的较暗区域的细节；
为最亮图像和最暗图像设定较大的αk，以减弱最亮图像和最暗图像对融合图像的影响；最亮图像和最暗图像αk的值设为0.1，其他图像αk的值设为1。
与现有技术对比，本发明具有以下优点：
(1)、由于融合的过程采用梯度金字塔而不是拉普拉斯金字塔，因此增加了图像的方向和边缘信息，使得生成的HDR图像效果更好；
(2)再求权重的时候考虑到了图像的亮度信息，使得生成的HDR图像色彩更鲜明、对比度更高、图像细节更清晰；
(3)对于HDR图像领域有很好的借鉴意义。
附图说明
图1为多幅曝光LDR图像生成算法框图图1算法框图；
图2为输入的多幅具有不同曝光度的图像；
图3为融合后的HDR图像。
具体实施方式
下面结合附图对本发明作进一步详细描述。
步骤1：权重图计算，：
对于同一场景，由于生成的图像中有的区域曝光过度或者曝光不足，因此会形成平滑区域和不饱和区域，这些区域包含的信息较少，应给予较小的权重，而感兴趣的区域应给予较大的权重。因此，首先根据图像的对比度、饱和度以及曝光度，计算图像的权重图。
对比度：对每幅图像的灰度图进行拉普拉斯滤波，将得到的结果的绝对值作为对比度测量因子C。
饱和度：将每幅图像R、G、B通道的标准差作为饱和度测量因子S。
曝光度：使用高斯曲线：(其中，σ＝0.2)来衡量R、G、B通道各个像素值i的大小距离0.5的远近程度(靠近0表示曝光不足，靠近1表示曝光过度)，然后将三个通道的结果相乘得到曝光度测量因子E。
最终，得到图像的标量权重图W：
其中，ij,k表示输入的多幅具有不同曝光值的图像组成的多曝光图像序列中第k幅图像(i,j)处的像素点。ωC、ωS、ωE分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E对标量权重图W的影响程度，该算法中取ωC＝ωS＝ωE＝1。将公式(1)进行归一化，得到N个多曝光图像序列中第k幅图像(i,j)处的像素点的权重为：
本发明在前三个测量因子的基础上，引入了亮度信息作为测量因子，从而实现更高动态范围的图像。为了揭示明亮图像中黑暗区域的细节和较暗图像中明亮区域的细节，因此不同曝光度的图像应该赋予不同的加权函数，如下所示：
其中，Lmed,k表示第k幅输入图像的平均亮度，αk表示一个用于调节的常数，用来调整第k幅图像的亮度测量因子高斯曲线的斜率：当αk的值较小时，权重值变化较快；当αk的值较大时，权重值变化较慢；Lk(i,j)表示第k幅输入图像在坐标(i,j)处的亮度，Lij,k表示第k幅输入图像在坐标(i,j)处的权重值。
公式(3)中表明，亮度值接近Lmed,k的像素点将会被给予到较大的权重值，而远离Lmed,k的像素点将会被给予到较小的权重值。为了保留较暗图像中的较亮区域的细节，因此对于较暗图像来说，选择较亮区域的平均亮度值作为Lmed,k。相似地，为了保留较亮图像中的较暗区域的细节，选择较暗区域的平均亮度值作为Lmed,k。
图像亮暗区域的划分包括以下操作：
1)输入5幅具有不同曝光度的LDR图像，记为I1,…,I5，依次为最暗图像、较暗图像、正常图像、较亮图像、最亮图像；
2)局部区域划分：基于曝光度良好图像的直方图分布，即图像中正常图像I3的直方图分布。首先，使用图像直方图的中间亮度Lmiddle将图像划分为两个区域，用这两个区域的亮度中间值Llow和Lhigh将它们再分成两个部分；这样，就将整幅图像划分成了四个子区域，记为R1，R2，R3和R4，最暗区域到最亮区域的过渡。
3)对于每个子区域，利用公式Lmed＝0.5*(Lmax-Lmin)，求出各个区域的平均亮度值，记为其中i＝1,2,3,4。
4)将最暗图像I1的平均亮度值Lmed,1设为对于较暗的图像I2的平均亮度值Lmed,2设为对于正常图像I3的平均亮度值Lmed,3设为对于较亮图像I4的平均亮度值Lmed,4设为对于对于最亮图像I5的平均亮度值Lmed,5设为Lmed,R1；保留较暗图像中的较亮区域的细节，以及较亮图像中的较暗区域的细节，为此，
5)为最亮图像和最暗图像设定较大的αk，以减弱最亮图像和最暗图像对融合图像的影响。经过实验确定，最亮图像和最暗图像αk的值设为0.1，其他图像αk的值设为1。
至此，最终的权重函数为：
其中，ij,k表示输入的多曝光图像序列中第k个图像(i,j)处的像素点。ωC、ωS、ωE、ωL分别用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E、亮度测量因子L对标量权重图W的影响程度，该算法中取ωC＝ωS＝ωE＝ωL＝1。然后，对其进行归一化处理，得到N个多曝光图像中第k个图像(i,j)处的像素点的权重为：
其中，N代表多曝光图像序列的图像数，Wij,k表示输入的多曝光图像序列中第k个图像在像素点(i,j)处的标量权重值，表示输入的多曝光图像序列中第k个图像在像素点(i,j)处权重值。
步骤2：多幅不同曝光度的图像融合
在本发明中，使用金字塔来分解图像，以多分辨率的方式来融合图像。首先，将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，将N幅权重图分别进行高斯金字塔分解，得到不同分辨率的图像和权重图，并记图像A的第l层拉普拉斯金字塔分解为L{A}l，记图像B的第l层高斯金字塔分解为G{B}l。得到融合公式如下：
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示归一化的权重图，R表示金字塔分解后的第l层图像，表示金字塔分解后的第l层图像R在像素点(i,j)处的像素值。
图像的梯度金字塔和拉普拉斯金字塔均为图像的多尺度、多分辨率分解，并且提供了图像的方向和边缘信息，这使得梯度金字塔能够提供尤其丰富的内容。因此，提出了对图像进行梯度金字塔分解，该算法效果更好，具体步骤如下。
将输入的多幅不同曝光度的图像中第k幅图像定义为G0，对其进行高斯金字塔分解，并将G0定义为高斯金字塔的最底层。然后，对得到的高斯金字塔的各个分解层(最顶层除外)分别在水平方向、45°对角线方向、垂直方向和135°对角线方向进行梯度滤波。滤波后的图像的金字塔叫做梯度金字塔：
其中，GPlm表示第l层第m方向的梯度金字塔形图像,Gl表示图像高斯金字塔的第l层图像，dm表示第m方向上的梯度滤波算子，表示一个3×3的核矩阵，M表示金字塔分解的层数。
由此得出，通过梯度滤波后获取的梯度金字塔，在它的每一分解层上(最高层除外)都包含水平、垂直以及两个对角线方向上的细节和边缘内容的分解后的图像。最终融合公式为：
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l、m分别表示进行梯度金字塔分解时的层和方向，表示归一化的权重图，R表示金字塔分解后的第l层m方向上的图像，表示金字塔分解后的第l层m方向上的图像R在像素点(i,j)处的像素值；
在得到第l层第m方向的梯度金字塔形图像之后，对其进行梯度金字塔逆变换，从而恢复出生成的图像。具体步骤如下：
首先将图像的梯度金字塔转换为图像的方向拉普拉斯金字塔，公式如下：
其中，LPlm表示第l分解层中位于m方向的拉普拉斯金字塔图像。
然后，将图像的方向拉普拉斯金字塔变换为图像的FSD(Filter SubtractDecimate)拉普拉斯金字塔：
接下来，将图像的FSD拉普拉斯金字塔转换为对应的拉普拉斯金字塔：
其中，w为5×5的窗口函数，为固定的矩阵。
最后，再将其进行拉普拉斯逆变换就可以得到生成的HDR图像。
本发明以输入五幅多曝光图像作为最佳实施方式，即N＝5，ωC＝ωS＝ωE＝ωL＝1，
按照上述算法的步骤对输入的多曝光图像进行图像融合，从而可以生成HDR图像。实验结果如图3所示：从图2与图3中可以发现，对于输入图像来说，较暗的图像门外的景象细节更好，而较亮的图像中屋内的景象细节更清晰，但是都有不足之处。经过本文算法的合成，发现本文算法可以将较暗图像的屋外细节与较亮图像的屋内细节保留并融合到一起。通过图3可以发现，本文的算法合成的图像细节更清晰，更符合人眼所观察到的场景。

Claims (2)

1.一种基于多幅具有不同曝光度的LDR图像的HDR图像融合方法，其特征在于，该方法包括以下步骤：
步骤一、对输入的多幅具有不同曝光度的LDR图像进行明暗区域的划分，依据各区域中的图像的对比度、饱和度、曝光度以及亮度，计算图像的标量权重图：
<mrow> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;omega;</mi> <mi>C</mi> </msub> </msup> <mo>&amp;times;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;omega;</mi> <mi>S</mi> </msub> </msup> <mo>&amp;times;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>E</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;omega;</mi> <mi>E</mi> </msub> </msup> <mo>&amp;times;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;omega;</mi> <mi>L</mi> </msub> </msup> </mrow>
其中，ij,k表示输入的多曝光图像序列中第k个图像(i,j)处的像素点，ωC、ωS、ωE、ωL分别表示用于控制的对比度测量因子C、饱和度测量因子S、曝光度测量因子E、亮度测量因子L对标量权重图W的影响程度，然后，对其进行归一化处理，得到N个多曝光图像中第k个图像(i,j)处的像素点的权重为：
<mrow> <msub> <mover> <mi>W</mi> <mo>^</mo> </mover> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>k</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <msup> <mi>k</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow>
其中，N代表多曝光图像序列的图像数，Wij,k表示输入的多曝光图像序列中第k个图像在像素点(i,j)处的标量权重值，表示输入的多曝光图像序列中第k个图像在像素点(i,j)处权重值；
步骤二、使用梯度金字塔来分解图像，以多分辨率的方式来融合图像：
将N幅多曝光图像序列分别进行拉普拉斯金字塔分解，将N幅权重图分别进行高斯金字塔分解，得到不同分辨率的图像和权重图，并记图像A的第l层拉普拉斯金字塔分解为L{A}l，记图像B的第l层高斯金字塔分解为G{B}l；得到融合公式如下：
<mrow> <mi>L</mi> <msubsup> <mrow> <mo>{</mo> <mi>R</mi> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mi>l</mi> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>G</mi> <msubsup> <mrow> <mo>{</mo> <mover> <mi>W</mi> <mo>^</mo> </mover> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>l</mi> </msubsup> <mi>L</mi> <msubsup> <mrow> <mo>{</mo> <mi>I</mi> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> <mi>l</mi> </msubsup> </mrow>
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l表示进行拉普拉斯金字塔分解或者高斯金字塔分解时的层，表示归一化的权重图，R表示金字塔分解后的第l层图像，表示金字塔分解后的第l层图像R在像素点(i,j)处的像素值；
对图像进行梯度金字塔分解，具体步骤如下：
将输入的多幅不同曝光度的图像中第k幅图像定义为G0，对其进行高斯金字塔分解，并将G0定义为高斯金字塔的最底层；然后，对得到的高斯金字塔的最顶层除外的各个分解层分别在水平方向、45°对角线方向、垂直方向和135°对角线方向进行梯度滤波；滤波后得到图像的梯度金字塔：
<mrow> <msub> <mi>GP</mi> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>d</mi> <mi>m</mi> </msub> <mo>*</mo> <mrow> <mo>(</mo> <msub> <mi>G</mi> <mi>l</mi> </msub> <mo>+</mo> <mover> <mi>w</mi> <mo>&amp;OverBar;</mo> </mover> <mo>*</mo> <msub> <mi>G</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mn>0</mn> <mo>&amp;le;</mo> <mi>l</mi> <mo>&amp;le;</mo> <mi>M</mi> <mo>,</mo> <mi>m</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>4</mn> </mrow>
其中，GPlm表示第l层第m方向的梯度金字塔形图像,Gl表示图像进行高斯金字塔分解后的第l层图像，dm表示第m方向上的梯度滤波算子，表示一个3×3的核矩阵；M表示金字塔分解的层数；
利用梯度滤波后获取的梯度金字塔，得到最终融合公式为：
<mrow> <mi>G</mi> <mi>P</mi> <msubsup> <mrow> <mo>{</mo> <mi>R</mi> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msubsup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>G</mi> <mi>P</mi> <msubsup> <mrow> <mo>{</mo> <mover> <mi>W</mi> <mo>^</mo> </mover> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msubsup> <mi>G</mi> <mi>P</mi> <msubsup> <mrow> <mo>{</mo> <mi>I</mi> <mo>}</mo> </mrow> <mrow> <mi>i</mi> <mi>j</mi> <mo>,</mo> <mi>k</mi> </mrow> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msubsup> </mrow>
其中，N表示输入的多曝光图像总数，I表示输入的多曝光图像，ij表示像素点(i,j)处，l、m分别表示进行梯度金字塔分解时的层和方向，表示归一化的权重图，R表示金字塔分解后的第l层m方向上的图像，表示金字塔分解后的第l层m方向上的图像R在像素点(i,j)处的像素值；
在得到第l层第m方向的梯度金字塔形图像之后，对其进行梯度金字塔逆变换，从而恢复出生成的图像；具体步骤如下：
首先将图像的梯度金字塔转换为图像的方向拉普拉斯金字塔，公式如下：
<mrow> <msub> <mi>LP</mi> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msub> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mn>8</mn> </mfrac> <msub> <mi>d</mi> <mi>m</mi> </msub> <mo>*</mo> <msub> <mi>GP</mi> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msub> </mrow>
其中，LPlm表示第l分解层中位于m方向的拉普拉斯金字塔图像；
然后，将图像的方向拉普拉斯金字塔变换为图像的FSD(Filter Subtract Decimate)拉普拉斯金字塔：
<mrow> <msub> <mover> <mi>L</mi> <mo>^</mo> </mover> <mi>l</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>4</mn> </munderover> <msub> <mi>LP</mi> <mrow> <mi>l</mi> <mi>m</mi> </mrow> </msub> </mrow>
接下来，将图像的FSD拉普拉斯金字塔转换为对应的拉普拉斯金字塔：
<mrow> <msub> <mi>LP</mi> <mi>l</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mover> <mi>L</mi> <mo>^</mo> </mover> <mi>l</mi> </msub> </mrow>
其中，w为5×5的窗口函数，为固定的矩阵；
最后，再将其进行拉普拉斯逆变换，得到生成的HDR图像。
2.如权利要求1所述的一种基于多曝光LDR图像的HDR图像融合方法，其特征在于，所述步骤一中每幅图像亮暗区域的划分包括以下操作：
将输入的多幅具有不同曝光度的LDR图像，依次记为为最暗图像、较暗图像、正常图像、较亮图像、最亮图像；
使用图像直方图的中间亮度Lmiddle将图像划分为两个区域，用这两个区域的亮度中间值Llow和Lhigh将它们再分成两个部分，最终将整幅图像划分成了四个子区域R1，R2，R3和R4，最暗区域到最亮区域的过渡；
对于每个子区域R1，R2，R3和R4，利用公式Lmed＝0.5*(Lmax-Lmin)，求出各个区域的平均亮度值，记为其中i＝1,2,3,4；
将最暗图像的平均亮度值Lmed,1设为对于较暗的图像的平均亮度值Lmed,2设为对于正常图像的平均亮度值Lmed,3设为对于较亮图像的平均亮度值Lmed,4设为对于对于最亮图像I5的平均亮度值Lmed,5设为Lmed,R1；保留较暗图像中的较亮区域的细节，以及较亮图像中的较暗区域的细节；
为最亮图像和最暗图像设定较大的αk，以减弱最亮图像和最暗图像对融合图像的影响；最亮图像和最暗图像αk的值设为0.1，其他图像αk的值设为1。
CN201710251627.8A 2017-04-18 2017-04-18 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 Pending CN107220956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710251627.8A CN107220956A (zh) 2017-04-18 2017-04-18 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710251627.8A CN107220956A (zh) 2017-04-18 2017-04-18 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法

Publications (1)

Publication Number Publication Date
CN107220956A true CN107220956A (zh) 2017-09-29

Family

ID=59927585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710251627.8A Pending CN107220956A (zh) 2017-04-18 2017-04-18 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法

Country Status (1)

Country Link
CN (1) CN107220956A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833184A (zh) * 2017-10-12 2018-03-23 北京大学深圳研究生院 一种基于多曝光生成再融合框架的图像增强方法
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN108090886A (zh) * 2018-01-11 2018-05-29 南京大学 一种高动态范围红外图像的显示与细节增强方法
CN108109180A (zh) * 2017-12-12 2018-06-01 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108171679A (zh) * 2017-12-27 2018-06-15 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108416754A (zh) * 2018-03-19 2018-08-17 浙江大学 一种自动去除鬼影的多曝光图像融合方法
CN108492245A (zh) * 2018-02-06 2018-09-04 浙江大学 基于小波分解和双边滤波的低光度图像对融合方法
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN108717690A (zh) * 2018-05-21 2018-10-30 电子科技大学 一种高动态范围图片的合成方法
CN109492628A (zh) * 2018-10-08 2019-03-19 杭州电子科技大学 一种应用于课堂违纪抓取的球形定位系统的实现方法
CN109712091A (zh) * 2018-12-19 2019-05-03 深圳市华星光电技术有限公司 图片处理方法、装置及电子设备
CN110072051A (zh) * 2019-04-09 2019-07-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110166711A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110415188A (zh) * 2019-07-10 2019-11-05 首都师范大学 一种基于多尺度形态学的hdr图像色调映射方法
CN110572585A (zh) * 2019-08-26 2019-12-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110580696A (zh) * 2019-08-30 2019-12-17 金陵科技学院 一种细节保持的多曝光图像快速融合方法
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
CN110889812A (zh) * 2019-10-11 2020-03-17 大连海事大学 一种多尺度融合图像特征信息的水下图像增强方法
WO2020093600A1 (zh) * 2018-11-09 2020-05-14 深圳市华星光电技术有限公司 基于图像多重曝光融合的高动态显示方法
CN111861959A (zh) * 2020-07-15 2020-10-30 广东欧谱曼迪科技有限公司 一种超长景深超宽动态图像合成算法
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113596357A (zh) * 2021-07-29 2021-11-02 北京紫光展锐通信技术有限公司 图像信号处理器、图像信号处理装置及方法、芯片、终端设备
WO2022000157A1 (en) * 2020-06-29 2022-01-06 Plantronics, Inc. Video systems with real-time dynamic range enhancement
CN114998173A (zh) * 2022-06-07 2022-09-02 西北工业大学 基于局部区域亮度调节的空间环境高动态范围成像方法
WO2023020201A1 (zh) * 2021-08-19 2023-02-23 北京旷视科技有限公司 图像的增强方法和电子设备
CN116630218A (zh) * 2023-07-02 2023-08-22 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106056629A (zh) * 2016-05-31 2016-10-26 南京大学 通过运动物体检测和扩展去除鬼影的高动态范围成像方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106056629A (zh) * 2016-05-31 2016-10-26 南京大学 通过运动物体检测和扩展去除鬼影的高动态范围成像方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TOM MERTENS等: "Exposure Fusion", 《COMPUTER GRAPHICS FORUM》 *
吴晓军: "基于多曝光图像的高动态范围图像生成", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王春萌: "多曝光图像融合关键技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王金华: "高动态范围场景可视化技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833184A (zh) * 2017-10-12 2018-03-23 北京大学深圳研究生院 一种基于多曝光生成再融合框架的图像增强方法
CN107845128A (zh) * 2017-11-03 2018-03-27 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN107845128B (zh) * 2017-11-03 2021-09-03 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN108109180A (zh) * 2017-12-12 2018-06-01 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108109180B (zh) * 2017-12-12 2020-10-02 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108171679A (zh) * 2017-12-27 2018-06-15 合肥君正科技有限公司 一种图像融合方法、系统及设备
CN108090886B (zh) * 2018-01-11 2022-04-22 南京大学 一种高动态范围红外图像的显示与细节增强方法
CN108090886A (zh) * 2018-01-11 2018-05-29 南京大学 一种高动态范围红外图像的显示与细节增强方法
CN108492245A (zh) * 2018-02-06 2018-09-04 浙江大学 基于小波分解和双边滤波的低光度图像对融合方法
CN108492245B (zh) * 2018-02-06 2020-06-30 浙江大学 基于小波分解和双边滤波的低光度图像对融合方法
CN108416754A (zh) * 2018-03-19 2018-08-17 浙江大学 一种自动去除鬼影的多曝光图像融合方法
CN108416754B (zh) * 2018-03-19 2020-08-07 浙江大学 一种自动去除鬼影的多曝光图像融合方法
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
CN108717690A (zh) * 2018-05-21 2018-10-30 电子科技大学 一种高动态范围图片的合成方法
CN109492628A (zh) * 2018-10-08 2019-03-19 杭州电子科技大学 一种应用于课堂违纪抓取的球形定位系统的实现方法
WO2020093600A1 (zh) * 2018-11-09 2020-05-14 深圳市华星光电技术有限公司 基于图像多重曝光融合的高动态显示方法
CN109712091A (zh) * 2018-12-19 2019-05-03 深圳市华星光电技术有限公司 图片处理方法、装置及电子设备
CN109712091B (zh) * 2018-12-19 2021-03-23 Tcl华星光电技术有限公司 图片处理方法、装置及电子设备
US11582400B2 (en) 2019-04-09 2023-02-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of image processing based on plurality of frames of images, electronic device, and storage medium
WO2020207385A1 (en) * 2019-04-09 2020-10-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of image processing based on plurality of frames of images and electronic device
CN110072051A (zh) * 2019-04-09 2019-07-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
CN110166711B (zh) * 2019-06-13 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110166709B (zh) * 2019-06-13 2022-03-18 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110166711A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110415188A (zh) * 2019-07-10 2019-11-05 首都师范大学 一种基于多尺度形态学的hdr图像色调映射方法
CN110572585A (zh) * 2019-08-26 2019-12-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110580696A (zh) * 2019-08-30 2019-12-17 金陵科技学院 一种细节保持的多曝光图像快速融合方法
CN110889812B (zh) * 2019-10-11 2023-05-09 大连海事大学 一种多尺度融合图像特征信息的水下图像增强方法
CN110889812A (zh) * 2019-10-11 2020-03-17 大连海事大学 一种多尺度融合图像特征信息的水下图像增强方法
CN110717878B (zh) * 2019-10-12 2022-04-15 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
WO2022000157A1 (en) * 2020-06-29 2022-01-06 Plantronics, Inc. Video systems with real-time dynamic range enhancement
CN111861959A (zh) * 2020-07-15 2020-10-30 广东欧谱曼迪科技有限公司 一种超长景深超宽动态图像合成算法
CN113129391B (zh) * 2021-04-27 2023-01-31 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113129391A (zh) * 2021-04-27 2021-07-16 西安邮电大学 基于多曝光图像特征分布权重的多曝光融合方法
CN113596357A (zh) * 2021-07-29 2021-11-02 北京紫光展锐通信技术有限公司 图像信号处理器、图像信号处理装置及方法、芯片、终端设备
WO2023020201A1 (zh) * 2021-08-19 2023-02-23 北京旷视科技有限公司 图像的增强方法和电子设备
CN114998173A (zh) * 2022-06-07 2022-09-02 西北工业大学 基于局部区域亮度调节的空间环境高动态范围成像方法
CN114998173B (zh) * 2022-06-07 2024-03-15 西北工业大学 基于局部区域亮度调节的空间环境高动态范围成像方法
CN116630218A (zh) * 2023-07-02 2023-08-22 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法
CN116630218B (zh) * 2023-07-02 2023-11-07 中国人民解放军战略支援部队航天工程大学 一种基于边缘保持平滑金字塔的多曝光图像融合方法

Similar Documents

Publication Publication Date Title
CN107220956A (zh) 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
Ram Prabhakar et al. Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs
Yue et al. Contrast enhancement based on intrinsic image decomposition
CN106506983B (zh) 一种适用于ldr视频的hdr视频生成方法
CN104408752B (zh) 一种基于混合色调映射算法的高动态范围图像压缩方法
CN105654436B (zh) 一种基于前景背景分离的背光图像增强去噪方法
CN106530263A (zh) 一种适应于医学影像的单曝光高动态范围图像生成方法
Shen et al. Exposure fusion using boosting Laplacian pyramid.
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN106952246A (zh) 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN109685742A (zh) 一种暗光环境下的图像增强方法
CN102129673A (zh) 一种随意光照下彩色数字图像增强和去噪方法
CN104077759A (zh) 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN103034986A (zh) 一种基于曝光融合的夜视图像增强方法
DE112017005207B4 (de) Verfahren zur Identifizierung von Lichtquellen, entsprechendes System und Computerprogrammprodukt
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN106971379A (zh) 一种基于分层加权融合的水下图像增强方法
CN106981054A (zh) 一种图像处理方法及电子设备
CN102063712A (zh) 基于子带结构的多曝光图像融合方法
Li et al. An adaptive enhancement method for low illumination color images
Yu et al. A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space
CN110298792A (zh) 低光照图像增强与去噪方法、系统及计算机设备
CN108022223A (zh) 一种基于对数映射函数分块处理融合的色调映射方法
CN110335221A (zh) 一种基于无监督学习的多曝光图像融合方法
CN111105359A (zh) 一种高动态范围图像的色调映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170929

WD01 Invention patent application deemed withdrawn after publication