CN110580696A - 一种细节保持的多曝光图像快速融合方法 - Google Patents
一种细节保持的多曝光图像快速融合方法 Download PDFInfo
- Publication number
- CN110580696A CN110580696A CN201910812014.6A CN201910812014A CN110580696A CN 110580696 A CN110580696 A CN 110580696A CN 201910812014 A CN201910812014 A CN 201910812014A CN 110580696 A CN110580696 A CN 110580696A
- Authority
- CN
- China
- Prior art keywords
- image
- bright
- super
- pyramid
- details
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000004321 preservation Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000007499 fusion processing Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 39
- 230000001133 acceleration Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种细节保持的多曝光图像快速融合方法,属于图像融合技术领域。多曝光融合是高动态范围(HDR)图像常用的合成方法,即将同一场景多幅不同曝光度的图像直接融合成一幅HDR图像。然而,当前已有的多曝光融合算法在场景的超亮超暗区域丢失细节信息,尽管近年来出现了基于细节增强的多曝光融合方法,但是速度较慢。本发明提出了一种保持亮暗区域细节的多曝光图像快速融合算法。首先根据图像的亮度域划分出场景的超亮超暗区域,然后通过于快速局部拉普拉斯滤波器(FLLF)改变融合过程中的拉普拉斯金字塔系数,从而实现增强亮暗区域细节,而不会造成其他区域的过度增强。该方法生成的融合图像能够很好的保持亮暗区域的细节。
Description
技术领域
本发明属于图像融合技术领域,尤其是涉及一种细节保持的多曝光图像快速融合方法。
背景技术
随着超高清数字产业和数字摄影技术的快速发展,人们对超高清酷炫的视觉体验的追求更加迫切。近年来,高动态范围成像(high dynamic range imaging,简称HDRI)技术的兴起和发展为高清产业向着画面高清酷炫的方向发展提供了强大的推动作用。现如今在全世界范围内HDRI相关的多种技术都获得快速发展,并且已经在数字摄影、高清电视电影、游戏特效、渲染、遥测遥感等等诸多领域有着广泛的应用。高动态范围(high dynamicrange,HDR)图像可以记录真实场景的亮暗细节信息,具有非常大的亮度范围。因为当前的专业HDR设备非常昂贵,所以生成HDR图像一般的做法是将同一场景多幅不同曝光度的图像直接融合成一幅HDR图像,即多曝光融合。
当前已有许多学者对静态图像多曝光融合算法做出了相关研究,虽然取得了一些进展,但仍存在一些问题,主要体现在两点:第一,视觉失真的问题远未彻底解决,如在场景的超亮或超暗区域细节保持不足,造成信息丢失。第二,为了增强亮暗区域的细节信息,近年来出现了基于细节增强的多曝光融合方法,但是这种方法效率较低,而且会造成整个场景的过度增强,会造成视觉失真。
当前,主流的多曝光融合算法有两类。分别如下:
(1)多分辨率融合算法。这类算法基于多分辨率金字塔变换进行多分辨率融合,如文献[1]。此类方法在大多数情况下取得了很好的效果,但是当真实场景的动态范围非常大的时候,该方法仍会丢失超亮和超暗区域有用的细节信息。
(2)基于细节增强的多曝光融合方法。如文献[2]利用采用加权的指导图像滤波器(WGIF)进行细节提取,然后将细节添加到多分辨率融合算法[1]生成的融合图像中,得到细节增强的融合图像。此类融合方法大部分都基于多分辨率拉普拉斯金字塔的融合方法,但是引入了一种基于边缘保持的图像细节提取机制,尽管能够增强细节信息,但是很容易造成细节的过度增强。而且此类算法由于对所有像素都进行细节改变,所以效率较低。本发明也引入了保持边缘的图像提取算子,但是只对超亮超暗区域的细节进行提取,不会造成其它区域细节的过度增强。同时由于本发明的方法只对亮暗区域进行细节恢复,所以效率较高。
参考文献:
[1]Mertens T,Kautz J,Van Reeth F.Exposure fusion:A simple and practicalalternative to high dynamic range photography[C]//Computer Graphics Forum.2009,28(1):161-171.
[2]Z.G.Li,Z.Wei,C.Y.Wen,and J.H.Zheng,Detail-enhanced multi-scaleexposure fusion,IEEE Trans.on Image Processing,2017,26(3):1243-1252.
[3]Paris S,Hasinoff S W,Kautz J.Local Laplacian filters:edge-aware imageprocessing with a Laplacian pyramid[J].ACM Trans.Graph.,2011,30(4):68.
发明内容
本发明公开了一种细节保持的多曝光图像快速融合的方法,解决了多曝光融合生成的HDR图像在亮暗区域丢失细节的缺陷,而不会造成其他区域的细节过度增强。同时本发明的方法速度较快,改进了当前基于细节增强的多曝光融合方法效率较低的缺陷。
本发明提出的一种细节保持的多曝光图像快速融合方法,其技术方案包括如下步骤:
步骤1:确定超亮超暗区域
本发明采取平均亮度值衡量指标,从两个方面确定需要细节提取的超亮超暗区域;
第一,计算多曝光序列对应位置的N个像素的平均亮度计算方法见公式 (2);当平均亮度在某个区间之外,认为这些像素位于超亮区域Db或超暗区域Dd,区间的取值可以直接给定一个确定值,本发明取[0.2,0.8]。
第二,超亮超暗区域的细节通常在曝光度最低的图像I1和曝光度最高的图像IN中体现,所以仅提取曝光度最低的图像I1的超亮区域Db和曝光度最高的图像IN的超暗区域Dd作为最终的超亮超暗区域;后续仅对选定的超亮超暗区域进行细节提取操作,而不对其他区域操作;
步骤2:采用LLF超亮超暗区域的拉普拉斯金字塔系数
采用局部拉普拉斯滤波器LLF来修改超亮超暗区域的拉普拉斯金字塔系数;具体如下:
对每一个金字塔系数,通过一个逐点映射函数R(I)g,σ生成一幅局部处理的中间图像I′,这个中间图像是一幅“局部好”的图像,此中间图像通过S形曲线增强函数处理得到;I′的中心点是当前金字塔系数的位置。这个增强函数控制用户所需要的细节改变的程度。然后生成这个中间图像的拉普拉斯金字塔,将这个位置处的新的系数作为修改后的金字塔系数。按照此修改过程,逐一修改超亮超暗区域每个金字塔系数,即:
L{I(k,x,y)}d=L{R(I)g,σ(k,x,y)}d (3)
其中,L{I(k,x,y)}d是第k幅图像第d层修改后的拉普拉斯金字塔。细节的修改由映射函数R(I)g,σ控制。对于第k幅图像第d层的每个系数(x,y,d),该映射函数取决于高斯金字塔g=G0(x,y)的局部像素值,参数σ被用来区分细节和边缘。像素值变化小于σ被看作精细尺度的细节,大于σ被看作大的边缘。作为该函数的中心点,本发明使用高斯金字塔的第0层的高斯金字塔系数。
在RGB彩色空间中,则定义一个以向量g为中心,半径σ的球,在球内的像素颜色值为细节,球外的像素颜色值为边缘。如果||i-g||<σ,则为细节,反之为边缘。其中g和i都是对应RGB通道的三维向量。所以,映射函数定义为:
此映射函数通过改变向量g周围的幅度修改细节。要修改图像的细节,使用的S形曲线函数进行对比度的局部操纵,即f(Δ)=Δα,其中参数α控制超亮超暗的细节改变程度,根据α取值的不同分为增强函数和平滑函数,当0<α<1,此函数为增强函数,图像的细节增强;当α>1,此函数为平滑函数,图像的细节减少。而且α越小,细节增强的幅度越大。本发明α取值为0.25。
步骤4:多分辨率融合过程
当得到修改后的拉普拉斯金字塔系数以后,采用多分辨率融合方法进行融合得到结果图像。本发明仍然采用多分辨率融合策略,对LDR图像序列和权重图进行融合,从而得到最终的融合图像。
进一步地,在步骤2完成之后还包括步骤3加速优化,由于步骤2中对超亮超暗区域的每一个金字塔系数,都要通过一个逐点映射函数构造细节增强的中间图像,并构造中间图像的拉普拉斯金字塔,整个过程很耗时,因此增加步骤3 对步骤2中的拉普拉斯金字塔系数生成算法进行加速,通过有限次的离散采样和插值算法,代替直接计算每一个拉普拉斯金字塔系数。
本发明采用的加速优化过程具体算法步骤如下:
(S1)计算每幅图像I的高斯金字塔g=G(x,y)。
(S2)根据g取值的强度范围确定采样间隔q和一系列{γj}采样值。即首先找到g的最大值max(g)和最小值min(g),然后得到q=(max(g)-min(g))/40。{γj} 为从小到大每隔数值q采样一次,得到相应的采样值并记录下来。
(S3)根据公式(3)和公式(4),预先计算出每个采样值{γj}对应的映射函数图像Rj(I)σ及其拉普拉斯金字塔L{Rj(I)σ}。
(S4)对第d层的每个拉普拉斯金字塔系数(x,y),首先根据(S1)中获取的高斯金字塔系数g,确定其位于哪个采样区间内,假如位于区间[γj,γj+1]内,则计算出插值参数λ使得g=(1-λ)γj+λγj+1。
(S5)得到λ和j后,对预先计算好的相对应的拉普拉斯金字塔值进行线性插值输出结果图像F的拉普拉斯金字塔系数:L{F(x,y)}=(1-λ)L{Rj(I)σ(x,y)}+ λL{Rj+1(I)σ(x,y)}。
附图说明
下面结合附图对本发明的作进一步说明。
图1是本发明的整体方案流程图;
图2超亮超暗区域的确定过程示意图;
图3为同一场景的3幅不同曝光度的图像作为输入图像序列;
图4为参考文献中的[1]采用的方法得到的融合结果与本发明的方法融合结果对比图(其中左图采用的是方法[1],右图采用的是本发明的方法);
图5同一场景的5幅不同曝光度的图像作为输入图像序列;
图6参考文献中的[1][2]采用的方法得到的融合结果与本发明的方法融合结果对比图(其中左图采用的是方法[1],中图采用的是方法[2],右图采用的是本发明的方法)。
具体实施方式
本发明的输入是采用普通摄像机拍摄的一系列不同曝光度的图像,这些图像都是已经经过严格像素级配准的。
要获得高动态范围场景亮暗处的细节信息,一般的做法是对实际场景进行多曝光拍摄,目的是获得不同位置处的最佳曝光成像信息,即拍摄的LDR(Low Dynamic Range)序列中的某一幅图像能够真实反映场景某个位置的最佳曝光信息。在线性融合模型的基础上,直接获得LDR序列每个像素位置处的最佳曝光值,融合成一幅使所有区域的可见细节都保持较完整的结果图像,如公式(1) 所示。
其中,N是多曝光LDR图像序列的数量,Ii(x,y)表示第i幅图像在像素(x,y)处的亮度值,Di(x,y)是狄利克雷(Dirichlet)函数,表示第i幅LDR图像在像素(x,y)处的权值,当此处为最佳曝光值时Di(x,y)取值为1,否则取值为0,F是融合后的图像。为了消除缝隙(seam),文献[1]采用基于金字塔分解的多分辨率融合策略。
然而,文献[1]多分辨率融合算法会在超亮超暗区域丢失细节,所以需要更好的提取这些区域的细节信息,然后通过图像细节提取机制进行超亮超暗区域细节的提取。针对文献[2]中基于细节增强多曝光融合方法效率低下的弊端,本发明提出了几点有效的加速措施进行提高算法的效率,具体采取的方案路线是:首先将多幅不同曝光度的图像根据平均亮度确定超亮超暗区域,然后基于快速局部拉普拉斯滤波器(LLF)修改亮暗区域的金字塔系数,来恢复亮暗区域的细节信息,最后采用多分辨率金字塔融合算法将多曝光图像合成一幅HDR图像,最终生成一幅保持亮暗细节的高质量HDR图像。整体研究方案如下图1所示。
本发明一种细节保持的多曝光图像快速融合方法的具体包括如下步骤:
1.确定超亮超暗区域
由于曝光序列对应位置像素的平均亮度可以反映此位置处在现实场景中的实际亮度,所以本发明采取平均亮度值衡量指标,从两个方面确定需要细节提取的超亮超暗区域。
第一,计算多曝光序列对应位置的N个像素的平均亮度计算方法见公式(2)。当平均亮度在某个区间之外,认为这些像素位于超亮区域Db或超暗区域Dd,区间的取值可以直接给定一个确定值,本发明取[0.2,0.8]。
第二,超亮超暗区域的细节通常在曝光度最低的图像I1和曝光度最高的图像IN中体现,所以仅提取曝光度最低的图像I1的超亮区域Db和曝光度最高的图像 IN的超暗区域Dd作为最终的超亮超暗区域。后续仅对选定的超亮超暗区域进行细节提取操作,而不对其他区域操作。
2.采用LLF超亮超暗区域的拉普拉斯金字塔系数
本发明引入了局部拉普拉斯滤波器(LLF)[3],这种滤波的方法中已经被用于基于拉普拉斯金字塔的保持边缘的图像处理。本发明采用局部拉普拉斯滤波器来修改超亮超暗区域的拉普拉斯金字塔系数。
本发明的修改系数的思想如下:对每一个金字塔系数,通过一个逐点映射函数R(I)g,σ生成一幅局部处理的中间图像I′,这个中间图像是一幅“局部好”的图像,此中间图像通过S形曲线增强函数处理得到。I′的中心点是当前金字塔系数的位置。这个增强函数控制用户所需要的细节改变的程度。然后生成这个中间图像的拉普拉斯金字塔,将这个位置处的新的系数作为修改后的金字塔系数。按照此修改过程,逐一修改超亮超暗区域每个金字塔系数,即:
L{I(k,x,y)}d=L{R(I)g,σ(k,x,y)}d (3)
其中,L{I(k,x,y)}d是第k幅图像第d层修改后的拉普拉斯金字塔。细节的修改由映射函数R(I)g,σ控制。对于第k幅图像第d层的每个系数(x,y,d),该映射函数取决于高斯金字塔g=G0(x,y)的局部像素值,参数σ被用来区分细节和边缘。像素值变化小于σ被看作精细尺度的细节,大于σ被看作大的边缘。作为该函数的中心点,本发明使用高斯金字塔的第0层的高斯金字塔系数。本方法的目标是操作细节,并产生多层次的细节,所以只修改图像精细尺度的细节,并保持边缘不变。因此,参数σ控制应该被保留的边缘的幅度。较大的σ值允许滤波器操纵较多的细节,并产生较大的视觉变化。
以上是针对亮度空间的处理,如果在RGB彩色空间中,则定义一个以向量g为中心,半径σ的球,在球内的像素颜色值为细节,球外的像素颜色值为边缘。如果||i-g||<σ,则为细节,反之为边缘。其中g和i都是对应RGB通道的三维向量。所以,映射函数定义为:
此映射函数通过改变向量g周围的幅度修改细节。要修改图像的细节,使用的S形曲线函数进行对比度的局部操纵,即f(Δ)=Δα,其中参数α控制超亮超暗的细节改变程度,根据α取值的不同分为增强函数和平滑函数,当0<α<1,此函数为增强函数,图像的细节增强;当α>1,此函数为平滑函数,图像的细节减少。而且α越小,细节增强的幅度越大。本发明需要增强细节,所以采用S 形曲线增强函数,本发明α取值为0.25。
3.加速优化
由于步骤2中对超亮超暗区域的每一个金字塔系数,都要通过一个逐点映射函数构造细节增强的中间图像,并构造中间图像的拉普拉斯金字塔,整个过程很耗时,本发明设计了一种映射函数采样存储和插值计算方案。通过有限次的离散采样和插值算法,代替直接计算每一个拉普拉斯金字塔系数。本发明利用空间换时间的策略,对步骤2中的拉普拉斯金字塔系数生成算法进行加速。
具体的,以单通道为例,对于g取不同值γj,预先计算并存储一组拉普拉斯金字塔系数值L{Rj(I)σ},其中Rj(I)σ是g=γj时的映射函数,这也是预先定好的采样点,采样间隔记为q,当我们需要计算某个特定g值的金字塔系数时,本发明的做法是寻找一个j,使其满足γj≤g≤γj+1并且将预先计算得到的金字塔系数L{Rj(I)σ}和L{Rj+1(I)σ}的系数采用线性插值算法进行计算相应的金字塔系数值,而不再是重新获得映射函数来计算新的金字塔系数。其中,为了减少计算和提高速度,我们尽可能使得采样间隔q稀疏,但又要保证最终插值结果尽可能接近准确值。q的大小由g决定,根据采样定理,最佳采样是奈奎斯特极限,即信号中存在的最小波长的一半。在本发明中,q的取值为(max(g)-min(g))/40。经过实验验证,经过采样插值后简化加速的算法效果尽管不能完美地再现原始算法的结果。但加速后图像的峰值信噪比PSNR值高于30dB,而且肉眼观察的差异几乎是不可见的。
本发明采用的加速优化过程具体算法步骤如下:
(S1)计算每幅图像I的高斯金字塔g=G(x,y)。
(S2)根据g取值的强度范围确定采样间隔q和一系列{γj}采样值。即首先找到g的最大值max(g)和最小值min(g),然后得到q=(max(g)-min(g))/40。{γj} 为从小到大每隔数值q采样一次,得到相应的采样值并记录下来。
(S3)根据公式(3)和公式(4),预先计算出每个采样值{γj}对应的映射函数图像Rj(I)σ及其拉普拉斯金字塔L{Rj(I)σ}。
(S4)对第d层的每个拉普拉斯金字塔系数(x,y),首先根据(S1)中获取的高斯金字塔系数g,确定其位于哪个采样区间内,假如位于区间[γj,γj+1]内,则计算出插值参数λ使得g=(1-λ)γj+λγj+1。
(S5)得到λ和j后,对预先计算好的相对应的拉普拉斯金字塔值进行线性插值输出结果图像F的拉普拉斯金字塔系数:L{F(x,y)}=(1-λ)L{Rj(I)σ(x,y)}+ λL{Rj+1(I)σ(x,y)}。
4.多分辨率融合过程
当得到修改后的拉普拉斯金字塔系数以后,采用多分辨率融合方法进行融合得到结果图像。本发明仍然采用多分辨率融合策略,对LDR图像序列和权重图进行融合,从而得到最终的融合图像。
综上,整个发明方案采用加速的LLF对超亮和超暗区域的细节进行提取,而不对其它区域操作。这样既能恢复超亮超暗区域的细节信息,又不会造成整体的细节过度增强。而且算法具有较高的执行效率。
本发明的关键点是:场景亮暗区域的划分过程(步骤1)和利用局部拉普拉斯滤波器改变亮暗区域的金字塔系数的加速优化过程(步骤3)。这两点是本发明的核心算法,为进行细节保持的快速多曝光图像融合方法提供理论基础。
有益效果
公开一种细节保持的多曝光图像快速融合的方法,与现有技术相比,本发明的方法速度较快,改进了当前基于细节增强的多曝光融合方法效率较低的缺陷。表1展示了本发明方法与基于细节增强的多曝光融合方法方法的时间对比结果,并展示了没有任何加速算法(既没有步骤1中确定超亮超暗区域算法,又没有步骤3中的加速优化算法)的执行时间,有步骤1中确定超亮超暗区域的算法但没有步骤3中的加速优化算法的执行时间。
所有的对比实验都在同样的环境运行,CPU处理器为3.5GHz英特尔 i7-4770k,内存为16 GB,操作系统为Windows 10。从时间对比结果可以看出,本算法使用了步骤1和步骤3的加速算法,比不用加速算法效率提高了大约30 到40倍,比现有方法[2]效率提高了5倍,大大节省了时间。
表1各种方法的时间对比结果(单位是秒)
本发明提高了执行效率,同时保证了算法生成图像的质量。本发明的方法能够很好的恢复多曝光融合生成的HDR图像在亮暗区域丢失的细节,而不会造成其他区域的细节过度增强,减少了视觉失真,如图3、图4、图5、图6所示,本发明方法比参考文献[1]和[2]的结果细节更加丰富,而没有过度增强。
本发明提供了一种基于局部拉普拉斯金字塔的细节保持的多曝光图像快速融合方法,并不仅仅限于说明书和实施方式中所描述。故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰,均应包括于本发明专利申请范围内。
Claims (2)
1.一种细节保持的多曝光图像快速融合方法,其特征在于:包括如下步骤:
步骤1:确定超亮超暗区域
本发明采取平均亮度值衡量指标,从两个方面确定需要细节提取的超亮超暗区域;
第一,计算多曝光序列对应位置的N个像素的平均亮度计算方法见公式(2);当平均亮度在某个区间之外,认为这些像素位于超亮区域Db或超暗区域Dd,区间的取值可以直接给定一个确定值,本发明取[0.2,0.8];
第二,超亮超暗区域的细节通常在曝光度最低的图像I1和曝光度最高的图像IN中体现,所以仅提取曝光度最低的图像I1的超亮区域Db和曝光度最高的图像IN的超暗区域Dd作为最终的超亮超暗区域;后续仅对选定的超亮超暗区域进行细节提取操作,而不对其他区域操作;
步骤2:采用LLF超亮超暗区域的拉普拉斯金字塔系数
采用局部拉普拉斯滤波器LLF来修改超亮超暗区域的拉普拉斯金字塔系数;具体如下:
对每一个金字塔系数,通过一个逐点映射函数R(I)g,σ生成一幅局部处理的中间图像I′,这个中间图像是一幅“局部好”的图像,此中间图像通过S形曲线增强函数处理得到;I′的中心点是当前金字塔系数的位置;这个增强函数控制用户所需要的细节改变的程度;然后生成这个中间图像的拉普拉斯金字塔,将这个位置处的新的系数作为修改后的金字塔系数;按照此修改过程,逐一修改超亮超暗区域每个金字塔系数,即:
L{I(k,x,y)}d=L{R(I)g,σ(k,x,y)}d (3)
其中,L{I(k,x,y)}d是第k幅图像第d层修改后的拉普拉斯金字塔;细节的修改由映射函数R(I)g,σ控制;对于第k幅图像第d层的每个系数(x,y,d),该映射函数取决于高斯金字塔g=G0(x,y)的局部像素值,参数σ被用来区分细节和边缘;像素值变化小于σ被看作精细尺度的细节,大于σ被看作大的边缘;作为该函数的中心点,本发明使用高斯金字塔的第0层的高斯金字塔系数;
在RGB彩色空间中,则定义一个以向量g为中心,半径σ的球,在球内的像素颜色值为细节,球外的像素颜色值为边缘;如果||i-g||<σ,则为细节,反之为边缘;其中g和i都是对应RGB通道的三维向量;所以,映射函数定义为:
此映射函数通过改变向量g周围的幅度修改细节;要修改图像的细节,使用的S形曲线函数进行对比度的局部操纵,即f(Δ)=Δα,其中参数α控制超亮超暗的细节改变程度,根据α取值的不同分为增强函数和平滑函数,当0<α<1,此函数为增强函数,图像的细节增强;当α>1,此函数为平滑函数,图像的细节减少;而且α越小,细节增强的幅度越大;本发明α取值为0.25;
步骤4:多分辨率融合过程
当得到修改后的拉普拉斯金字塔系数以后,采用多分辨率融合方法进行融合得到结果图像;本发明仍然采用多分辨率融合策略,对LDR图像序列和权重图进行融合,从而得到最终的融合图像。
2.根据权利要求1所述一种细节保持的多曝光图像快速融合方法,其特征在于:在步骤2完成之后还包括步骤3加速优化,由于步骤2中对超亮超暗区域的每一个金字塔系数,都要通过一个逐点映射函数构造细节增强的中间图像,并构造中间图像的拉普拉斯金字塔,整个过程很耗时,因此增加步骤3对步骤2中的拉普拉斯金字塔系数生成算法进行加速,通过有限次的离散采样和插值算法,代替直接计算每一个拉普拉斯金字塔系数;
本发明采用的加速优化过程具体算法步骤如下:
(S1)计算每幅图像I的高斯金字塔g=G(x,y);
(S2)根据g取值的强度范围确定采样间隔q和一系列{γj}采样值;即首先找到g的最大值max(g)和最小值min(g),然后得到q=(max(g)-min(g))/40;{γj}为从小到大每隔数值q采样一次,得到相应的采样值并记录下来;
(S3)根据公式(3)和公式(4),预先计算出每个采样值{γj}对应的映射函数图像Rj(I)σ及其拉普拉斯金字塔L{Rj(I)σ};
(S4)对第d层的每个拉普拉斯金字塔系数(x,y),首先根据(S1)中获取的高斯金字塔系数g,确定其位于哪个采样区间内,假如位于区间[γj,γj+1]内,则计算出插值参数λ使得g=(1-λ)γj+λγj+1;
(S5)得到λ和j后,对预先计算好的相对应的拉普拉斯金字塔值进行线性插值输出结果图像F的拉普拉斯金字塔系数:L{F(x,y)}=(1-λ)L{Rj(I)σ(x,y)}+λL{Rj+1(I)σ(x,y)}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812014.6A CN110580696A (zh) | 2019-08-30 | 2019-08-30 | 一种细节保持的多曝光图像快速融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910812014.6A CN110580696A (zh) | 2019-08-30 | 2019-08-30 | 一种细节保持的多曝光图像快速融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110580696A true CN110580696A (zh) | 2019-12-17 |
Family
ID=68812087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910812014.6A Pending CN110580696A (zh) | 2019-08-30 | 2019-08-30 | 一种细节保持的多曝光图像快速融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110580696A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419181A (zh) * | 2020-11-19 | 2021-02-26 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
CN114051098A (zh) * | 2021-11-23 | 2022-02-15 | 河南牧业经济学院 | 一种视觉图像智能采集方法及平台 |
CN114998173A (zh) * | 2022-06-07 | 2022-09-02 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
CN104077759A (zh) * | 2014-02-28 | 2014-10-01 | 西安电子科技大学 | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 |
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
-
2019
- 2019-08-30 CN CN201910812014.6A patent/CN110580696A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
CN104077759A (zh) * | 2014-02-28 | 2014-10-01 | 西安电子科技大学 | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 |
CN104881854A (zh) * | 2015-05-20 | 2015-09-02 | 天津大学 | 基于梯度和亮度信息的高动态范围图像融合方法 |
CN106530263A (zh) * | 2016-10-19 | 2017-03-22 | 天津大学 | 一种适应于医学影像的单曝光高动态范围图像生成方法 |
CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
Non-Patent Citations (3)
Title |
---|
CHUNMENG WANG 等: ""A Multi-exposure Images Fusion Approach for Very Large Dynamic Range Scenes"", 《INTERNATIONAL JOURNAL OF SIGNAL PROCESSING, IMAGE PROCESSING AND PATTERN RECOGNITION》 * |
MATHIEU AUBRY 等: ""Fast Local Laplacian Filters: Theory and Applications"", 《ACM TRANSACTIONS ON GRAPHICS》 * |
王春萌: ""多曝光图像融合关键技术的研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419181A (zh) * | 2020-11-19 | 2021-02-26 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
CN112419181B (zh) * | 2020-11-19 | 2023-12-08 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
CN114051098A (zh) * | 2021-11-23 | 2022-02-15 | 河南牧业经济学院 | 一种视觉图像智能采集方法及平台 |
CN114051098B (zh) * | 2021-11-23 | 2023-05-30 | 河南牧业经济学院 | 一种视觉图像智能采集方法及平台 |
CN114998173A (zh) * | 2022-06-07 | 2022-09-02 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
CN114998173B (zh) * | 2022-06-07 | 2024-03-15 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fan et al. | Integrating semantic segmentation and retinex model for low-light image enhancement | |
Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
Chen et al. | Robust image and video dehazing with visual artifact suppression via gradient residual minimization | |
CN110188760B (zh) | 一种图像处理模型训练方法、图像处理方法及电子设备 | |
Gallo et al. | Artifact-free high dynamic range imaging | |
CN108492262A (zh) | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 | |
Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
Zhang et al. | Motion-free exposure fusion based on inter-consistency and intra-consistency | |
CN111835983A (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN113039576A (zh) | 图像增强系统和方法 | |
Wang et al. | Enhancement for dust-sand storm images | |
Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
CN116012232A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
CN114708615B (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
CN112614149A (zh) | 基于实例分割的语义合成方法 | |
Liu et al. | Unsupervised optical flow estimation for differently exposed images in ldr domain | |
Soh et al. | Joint high dynamic range imaging and super-resolution from a single image | |
Peng et al. | PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images | |
US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
CN115049558A (zh) | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 | |
CN112258434A (zh) | 一种静态场景下细节保持多曝光图像融合算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210628 Address after: Room 4437, 4th floor, Tencent Zhongchuang space, 151 huizhiqiao Road, high tech Zone, Qingdao City, Shandong Province, 266114 Applicant after: Qingdao Tian'an lightning Technology Co.,Ltd. Address before: No. 99 Jiangning Road, Nanjing District hirokage 211169 cities in Jiangsu Province Applicant before: JINLING INSTITUTE OF TECHNOLOGY |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191217 |