CN108717690B - 一种高动态范围图片的合成方法 - Google Patents

一种高动态范围图片的合成方法 Download PDF

Info

Publication number
CN108717690B
CN108717690B CN201810488694.6A CN201810488694A CN108717690B CN 108717690 B CN108717690 B CN 108717690B CN 201810488694 A CN201810488694 A CN 201810488694A CN 108717690 B CN108717690 B CN 108717690B
Authority
CN
China
Prior art keywords
picture
image
pyramid
bit
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810488694.6A
Other languages
English (en)
Other versions
CN108717690A (zh
Inventor
刘帅成
张星迪
何志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810488694.6A priority Critical patent/CN108717690B/zh
Publication of CN108717690A publication Critical patent/CN108717690A/zh
Application granted granted Critical
Publication of CN108717690B publication Critical patent/CN108717690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种高动态范围图片的合成方法,采用JPEG图片压缩方法的中间产物作为引导合成的编码信息,从编码信息中得到曝光好坏的信息,并根据曝光好坏的信息分配图像合成时每个像素的权重。本发明的有益效果是:本发明跳过构造高动态范围图像的步骤,直接将一组低动态范围图片融合为一张高质量LDR图像,结果包含高动态范围图片的信息但可以直接在电子设备上显示。

Description

一种高动态范围图片的合成方法
技术领域
本发明涉及计算机视觉和计算机图形学技术领域,具体的说,是一种高动态范围图片的合成方法。
背景技术
由于现实世界中,光的辐照动态范围是大于相机捕获能力的动态范围,因此普通数码相机拍摄的图像通常会由于曝光不足和曝光过度而缺乏部分信息。高动态范围(HDR)成像技术是计算机视觉和计算机图形学中一项非常重要的底层技术,它通过将不同曝光级别的多个图像合并在一起解决了这个问题。
该技术已广泛应用于数字通照相机和移动电话设备。一般来说现有的HDR成像方法可分为两种类别:基于色调映射的方法和基于图像融合的方法。色调映射类的方法,包含构造HDR图片和将构造结果进行色调映射为高品质的低动态范围(LDR)图片以便在电子设备上显示两个步骤。基于图像融合的方法则直接合成高品质的LDR图片,因此在实际的消费电子应用方面,基于图像融合的方法更加受欢迎。
离散余弦变换(DCT for Discrete Cosine Transform)是与傅里叶变换相关的一种变换,它类似于离散傅里叶变换(DFT for Discrete Fourier Transform),但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换,这个离散傅里叶变换是对一个实偶函数进行的(因为一个实偶函数的傅里叶变换仍然是一个实偶函数),在有些变形里面需要将输入或者输出的位置移动半个单位(DCT有8种标准类型,其中4种是常见的)。
离散傅里叶变换需要进行复数运算,尽管有FFT可以提高运算速度,但在图像编码、特别是在实时处理中非常不便。离散傅里叶变换在实际的图像通信系统中很少使用,但它具有理论的指导意义。根据离散傅里叶变换的性质,实偶函数的傅里叶变换只含实的余弦项,因此构造了一种实数域的变换——离散余弦变换(DCT)。通过研究发现,DCT除了具有一般的正交变换性质外,其变换阵的基向量很近似于Toeplitz矩阵的特征向量,后者体现了人类的语言、图像信号的相关特性。因此,在对语音、图像信号变换的确定的变换矩阵正交变换中,DCT变换被认为是一种准最佳变换。在近年颁布的一系列视频压缩编码的国际标准建议中,都把DCT作为其中的一个基本处理模块。
DCT除了上述介绍的几条特点,即:实数变换、确定的变换矩阵、准最佳变换性能外,二维DCT还是一种可分离的变换,可以用两次一维变换得到二维变换结果。
最常用的一种离散余弦变换的类型是下面给出的第二种类型,通常所说的离散余弦变换指的就是这种。它的逆,也就是下面给出的第三种类型,通常相应的被称为"反离散余弦变换","逆离散余弦变换"或者"IDCT"。
有两个相关的变换,一个是离散正弦变换(DST for Discrete Sine Transform),它相当于一个长度大概是它两倍的实奇函数的离散傅里叶变换;另一个是改进的离散余弦变换(MDCT for Modified Discrete Cosine Transform),它相当于对交叠的数据进行离散余弦变换。
离散余弦变换,尤其是它的第二种类型,经常被信号处理和图像处理使用,用于对信号和图像(包括静止图像和运动图像)进行有损数据压缩。这是由于离散余弦变换具有很强的"能量集中"特性:大多数的自然信号(包括声音和图像)的能量都集中在离散余弦变换后的低频部分,而且当信号具有接近马尔科夫过程(Markov processes)的统计特性时,离散余弦变换的去相关性接近于K-L变换(Karhunen-Loève变换--它具有最优的去相关性)的性能。
例如,在静止图像编码标准JPEG中,在运动图像编码标准MJPEG和MPEG的各个标准中都使用了离散余弦变换。在这些标准制中都使用了二维的第二种类型离散余弦变换,并将结果进行量化之后进行熵编码。这时对应第二种类型离散余弦变换中的n通常是8,并用该公式对每个8x8块的每行进行变换,然后每列进行变换。得到的是一个8x8的变换系数矩阵。其中(0,0)位置的元素就是直流分量,矩阵中的其他元素根据其位置表示不同频率的交流分量。
一个类似的变换,改进的离散余弦变换被用在高级音频编码(AAC for AdvancedAudio Coding),Vorbis和MP3音频压缩当中。
离散余弦变换也经常被用来使用谱方法来解偏微分方程,这时候离散余弦变换的不同的变量对应着数组两端不同的奇/偶边界条件。
高斯金字塔(英文:GaussianPyramid)为在图像处理、计算机视觉、信号处理上所使用的一项技术。高斯金字塔本质上为信号的多尺度表示法,亦即将同一信号或图片多次的进行高斯模糊,并且向下取样,藉以产生不同尺度下的多组信号或图片以进行后续的处理,例如在影像辨识上,可以借由比对不同尺度下的图片,以防止要寻找的内容可能在图片上有不同的大小。高斯金字塔的理论基础为尺度空间理论,而后续也衍生出了多分辨率分析。
拉普拉斯金字塔(Laplacianpyramid):用来从金字塔低层图像重建上层未采样图像,在数字图像处理中也即是预测残差,可以对图像进行最大程度的还原,配合高斯金字塔一起使用。
两者的简要区别:高斯金字塔用来向下降采样图像,而拉普拉斯金字塔则用来从金字塔底层图像中向上采样重建一个图像。
真正的高动态图片即为.hdr文件格式的图片,指内容和存储方式都是高动态的,是不可以在电子设备上展示的。
基于色调映射的方法合成出了真正的高动态图片(.hdr文件格式),但这个文件是不可以可视化的,如果要可视化,还需要色调映射为低动态图片(内容上是高动态的,存储格式上是低动态的,如.jpg、.png等)。
发明内容
本发明的目的在于提供一种高动态范围图片的合成方法,针对高动态范围图片的合成这一问题,提供了一种用一组低动态范围图片合成出高动态范围图片的方法。
本发明通过下述技术方案实现:
一种高动态范围图片的合成方法,采用JPEG图片压缩方法的中间产物作为引导合成的编码信息,从编码信息中得到曝光好坏的信息,并根据曝光好坏的信息分配图像合成时每个像素的权重;具体包括以下步骤:
步骤S1:输入图片,并将输入的图片转换到YCbCr颜色空间上,提取该图片亮度分量Y;所述图片为静止相机拍摄所得;输入图片是由静止相机拍摄的同一场景、不同曝光下的多张图片。
步骤S2:针对亮度分量Y执行JPEG压缩算法,将亮度分量Y分割成8*8的多个宏块;
步骤S3:对每个宏块进行离散余弦变换;
步骤S4:对离散余弦变换后的每个宏块的进行量化,得到量化结果;所述量化结果具体是指计算得到每个宏块的非零元素,将每个宏块的非零元素根据JPEG的码表,转换成二进制形式;
步骤S5:根据量化结果计算得到bit图;
步骤S6:对bit图修正;
步骤S7:根据步骤S6所得计算得到进行融合的权重图;
步骤S8:将输入的图片和bit图构建高斯金字塔和拉普拉斯金字塔,并对图片融合得到最终的结果图像。
进一步地,为了更好的实现本发明,所述步骤S4具体是指:采用JPEG标准50%压缩比的量化表进行量化。
进一步地,为了更好的实现本发明,所述步骤S5具体包括以下步骤:
步骤S51:把每个宏块的非零元素的二进制码的长度叠加在一起,作为该宏块的bit值;将亮度分量Y的所有宏块的bit值组成一张长宽为原图八分之一的图;
步骤S52:对步骤S51中原图八分之一的图使用最近邻插值法复原到原图的尺寸,得到最终的bit图。
进一步地,为了更好的实现本发明,所述步骤S6具体是指:采用将输入的图片划分为平整区域F和普通区域N的方法对bit图修正;
所述平整区域F的判定为:
Figure BDA0001667525890000041
最后合成的权重为:
Wij,m=Pm,n×(Bij,m+Pm,f×Fij,m) (2)
其中,T为设定的一个区分平整区域的阈值;下标ij,m代表第m张图的像素点(i,j);
N代表输入图片序列的图片总数;
Pm,n,Pm,f为两个调节系数;
Bij,m代表第m张图的像素点(i,j)的bit值;
Fij,m为平整区域的附加值:
对于平整区域而言Fij,m=1,普通区域Fij,m=0。
进一步地,为了更好的实现本发明,所述S7具体包括以下步骤:
步骤S71:得到输入图片的bit图后遍历每个像素点在各张bit图中的bit值;根据公式(1),得到改输入序列的平整区域F;设定的阈值T为0.08;计算得到调整参数Pm,f和Pm,n
Figure BDA0001667525890000042
Figure BDA0001667525890000043
其中Si,f为第i张bit图的平整区域的bit值总和;
Si,n为普通区域的bit值总和;
Mf平整区域的最大值;
Mn为平整区域的最大值;
α和β为调节权重偏移程度的系数;
步骤S72:设定α和β的系数,根据公式(2)计算得出进行融合的权重W,并归一化权重W。
进一步地,为了更好的实现本发明,所述步骤S8具体是指:通过高斯金字塔构建拉普拉斯金字塔;具体包括以下步骤:
步骤S81:高斯金字塔定义为:对一张图片进行高斯平滑和降采样,结果作为新的一层图片,不断循环的高斯平滑和降采样建立原图的高斯金字塔的每一层;
步骤S82:拉普拉斯金字塔定义为:
Figure BDA0001667525890000051
其中:L{I}i为图像I的拉普拉斯金字塔的第i层;
G{I}i为图像I的高斯金字塔的第i层;
Up(G{I}i+1)代表高斯金字塔的第i+1层向上采样结果;
Figure BDA0001667525890000052
代表卷积;
G5指5×5的高斯内核;
在最后进行图像融合时,每一张图的每一个像素点都有自己的权重。通过jpeg压缩信息得到了每一张输入图片的bit图,bit图再经过尺寸复原、修正后,某一张bit图位置(i,j)的bit值就是这一张输入图片的(i,j)像素点在最终融合时占的权重。
故可以认为经过尺寸复原、修正后的每一张bit图为对应的输入图片的权重图。
步骤S83:将每张输入图像建立拉普拉斯金字塔,给每张输入图片的权重图建立高斯金字塔;按照公式(6)的到融合结果图片的拉普拉斯金字塔。
Figure BDA0001667525890000053
其中:
Figure BDA0001667525890000054
代表结果图拉普拉斯金子塔第l层(i,j)像素;
Figure BDA0001667525890000055
代表第k张权重图的高斯金字塔第l层(i,j)像素;
Figure BDA0001667525890000056
代表原图拉普拉斯金子塔第l层(i,j)像素;
步骤S84:对融合后的拉普拉斯金字塔,从其顶层开始逐层从上至下按式(7)进行递推,恢复其对应的高斯金字塔,并最终可得到结果图像R,图像R即为原图;
Figure BDA0001667525890000057
本发明与现有技术相比,具有以下优点及有益效果:
(1)本发明跳过构造高动态范围图像的步骤,直接将一组低动态范围图片融合为一张高质量LDR图像,结果包含高动态范围图片的信息且能够直接在电子设备上显示;
(2)本发明提供一种高动态范围图片的合成方法,针对高动态范围图片的合成这一问题,提供了一种用一组低动态范围图片合成出高动态范围图片。
具体实施方式
下面结合实施例对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例1:
本发明通过下述技术方案实现,一种高动态范围图片的合成方法,采用JPEG图片压缩方法的中间产物作为引导合成的编码信息,从编码信息中得到曝光好坏的信息,并根据曝光好坏的信息分配图像合成时每个像素的权重。像素点曝光越差即过曝光或者曝光不足得到的权重越低,曝光越好即细节纹理越清晰得到的权重越高。
需要说明的是,通过上述改进,本发明跳过构造高动态范围图像的步骤,直接将一组低动态范围图片融合为一张高质量LDR图像,结果包含高动态范围图片的信息但可以直接在电子设备上显示。
采用给曝光好的区域分配较高的权重值,一个区域曝光的好坏是通过得到bit图中这个区域bit值高低来衡量的。
本方法思想是寻找衡量每个像素曝光好坏的度量标准,计算多曝光序列中每个像素的曝光质量,由曝光质量指导从多曝光序列选择曝光质量好的像素,组合成最终结果。
本方法采用JPEG图片压缩方法的中间产物作为引导合成的信息,从编码信息中得到曝光好坏的信息,并根据曝光好坏分配图像合成时每个像素的权重。
本实施例的其他部分与上述实施例相同,故不再赘述。
实施例2:
本实施例在上述实施例的基础上做进一步优化,一种高动态范围图片的合成方法,采用JPEG图片压缩方法的中间产物作为引导合成的编码信息,从编码信息中得到曝光好坏的信息,并根据曝光好坏的信息分配图像合成时每个像素的权重。
具体包括以下步骤:
步骤S1:输入图片,并将输入的图片转换到YCbCr颜色空间上,提取该图片亮度分量Y;所述图片为静止相机拍摄所得;
步骤S2:针对亮度分量Y执行JPEG压缩算法,将亮度分量Y分割成8*8的多个宏块;
步骤S3:对每个宏块进行离散余弦变换;
步骤S4:对离散余弦变换后的每个宏块的进行量化,得到量化结果;具体是指:采用JPEG标准50%压缩比的量化表进行量化;所述量化结果具体是指计算得到每个宏块的非零元素,将每个宏块的非零元素根据JPEG的码表,转换成二进制形式。
步骤S5:根据量化结果计算得到bit图;具体包括以下步骤:
步骤S51:把每个宏块的非零元素的二进制码的长度叠加在一起,作为该宏块的bit值;将亮度分量Y的所有宏块的bit值组成一张长宽为原图八分之一的图;非零元素具体是指:每个宏块内有8x8=64个数,非零元素即指64个数中值不为零的数。
步骤S52:对步骤S51中原图八分之一的图使用最近邻插值法复原到原图的尺寸,得到最终的bit图。
步骤S6:对bit图修正;具体是指:采用将输入的图片划分为平整区域F和普通区域N的方法对bit图修正;根据输入图片的bit图,将整个场景(所有的输入图片都是同一个场景,只是曝光参数不同)划分为平整区域。某个位置(i,j)被判定为平整区域之后,在所有的输入图片,bit图,这个位置都是归属于平整区域。
同样一个位置被判断为普通区域,在所有的输入图片,bit图这个位置都是归属于普通区域。
所述平整区域F的判定为:
Figure BDA0001667525890000071
最后合成的权重为:
Wij,m=Pm,n×(Bij,m+Pm,f×Fij,m) (2)
其中,T为设定的一个区分平整区域的阈值;下标ij,m代表第m张图的像素点(i,j);
N代表输入图片序列的图片总数;
Pm,n,Pm,f为两个调节系数;
Bij,m代表第m张图的像素点(i,j)的bit值;
Fij,m为平整区域的附加值:
对于平整区域而言Fij,m=1,普通区域Fij,m=0。
T是一个常数,用来区分平整区域,如设定T=0.1,当某个点的bit值大于0.1,这个点即被判定为普通区域。实际采用的T是0.08。
m指输入图片序列(N张)的第m张图。
公式(1)即指,代表输入图片序列的第m张图的像素点(i,j)的bit值,当这个位置的bit值在任意一张输入图片中大于阈值T,则该位置被判定为普通区域。如果在所有输入图片中该位置的bit值都小于阈值T,才被判定为平整区域。
步骤S7:根据步骤S6所得计算得到进行融合的权重图;具体包括以下步骤:步骤S71:得到输入图片的bit图后遍历每个像素点在各张bit图中的bit值,每个像素点具体是指即遍历每一张bit图的每一个像素点;根据公式(1),得到改输入序列的平整区域F;设定的阈值T为0.08;计算得到调整参数Pm,f和Pm,n
Figure BDA0001667525890000072
Figure BDA0001667525890000081
其中Si,f为第i张bit图的平整区域的bit值总和;
Si,n为普通区域的bit值总和;
Mf平整区域的最大值;
Mn为平整区域的最大值;
α和β为调节权重偏移程度的系数;在最后进行图像融合时,每一张图的每一个像素点都有自己的权重。对此计算了每一张输入图片的bit图,再经过尺寸复原、修正后,某一张bit图位置(i,j)的像素值(或称为bit值)就是这一张输入图片的(i,j)像素点在最终融合时占的权重。
每一张输入图片都有它的bit图,并根据所有输入图片的bit图确定了整个输入序列的平整区域和普通区域,得到的这个平整区域和普通区域的划分是对所有输入图片、bit图有效的,也就是说位置(i,j)被判定为平整区域之后,在所有的输入图片,bit图,这个位置都是平整区域。第i张输入图片的bit图位于平整区域的各个像素点的值(即bit值)的总和为Si,f,Mf等于最大的Si,f
步骤S72:设定α和β的系数,根据公式(2)计算得出进行融合的权重W,并归一化权重W。
步骤S8:将输入的图片和bit图构建高斯金字塔和拉普拉斯金字塔,并对图片融合得到最终的结果图像;具体是指:通过高斯金字塔构建拉普拉斯金字塔;具体包括以下步骤:
步骤S81:高斯金字塔定义为:对一张图片进行高斯平滑和降采样,结果作为新的一层图片,不断循环的高斯平滑和降采样建立原图的高斯金字塔的每一层;
步骤S82:拉普拉斯金字塔定义为:
Figure BDA0001667525890000082
其中:L{I}i为图像I的拉普拉斯金字塔的第i层;
G{I}i为图像I的高斯金字塔的第i层;
Up(G{I}i+1)代表高斯金字塔的第i+1层向上采样结果;
Figure BDA0001667525890000083
代表卷积;
G5指5×5的高斯内核;
步骤S83:将每张输入图像建立拉普拉斯金字塔,给每张输入图片的权重图建立高斯金字塔;按照公式(6)的到融合结果图片的拉普拉斯金字塔。
Figure BDA0001667525890000091
其中:
Figure BDA0001667525890000092
代表结果图拉普拉斯金子塔第l层(i,j)像素;
Figure BDA0001667525890000093
代表第k张权重图的高斯金字塔第l层(i,j)像素;
Figure BDA0001667525890000094
代表原图拉普拉斯金子塔第l层(i,j)像素;
步骤S84:对融合后的拉普拉斯金字塔,从其顶层开始逐层从上至下按式(7)进行递推,恢复其对应的高斯金字塔,并最终可得到结果图像R,图像R即为原图;
Figure BDA0001667525890000095
需要说明的是,通过上述改进,首先把一组输入图片(I1,I2…IN)(默认为RGB彩图),转换到YCbCr颜色空间,提取出亮度分量(Y1,Y2…YN)。对每个亮度分量Yi进行JPEG压缩,将分割成多个8×8宏块,对每个宏块进行二维离散余弦变换。
在JPEG压缩算法的最后一步熵编码中,对每个宏块使用游程编码压缩多个相同的数字“0”,使用霍夫曼编码宏块中剩余的非零数字。在霍夫曼编码之前,JPEG压缩算法提供一张用于把这些非零数字转换成二进制形式的码表。即:每个8x8的宏块中,有64个数,JPEG压缩算法会使用游程编码编码其中值为零的数,和霍夫曼编码其中值不为零的数。但实际上的方法并不处理值为零的数,也不采用霍夫曼编码处理值不为零的数。只是把不为零的数(十进制)转换到二进制形式,并把所有不为零的数转换出的二进制数的位数加和在一起,作为这个8×8的宏块的bit值。
然后对变换结果进行量化,采用JPEG标准50%压缩比的量化表进行量化。
量化完成以后,得到每个宏块的非零元素,将每个宏块的非零元素根据JPEG的码表,转换成二进制形式。如非零数值“5”会被转换成二进制形式“001”,其二进制码的长度为3。
所有非零数字的二进制转换结果的位长度加起来,作为衡量一个块细节信息多少的指标。二进制数的位长度求和结果为“bit”,所有8×8宏块的“bit”组成一个图像,称之为“bit图”。把所有非零元素的二进制码的长度叠加在一起,作为该宏块的bit值。
所有的宏块的bit值组成一张长宽为原图八分之一的图。
对这张图使用最近邻插值法复原到原图的尺寸,得到最终的bit图。
bit图可以描述对象的形状和内容,并且一个区域包含的信息越多得到的bit值就越高。
为了弥补bit信息自身的不足,设计了一种将图片划分为平整区域F和普通区域N的方法。一个场景中平整区域F的判定为:
Figure BDA0001667525890000101
最后合成的权重为:
Wij,m=Pm,n×(Bij,m+Pm,f×Fij,m) (2)
其中,T为设定的一个区分平整区域的阈值;
下标ij,m代表第m张图的像素点(i,j);
N代表输入图片序列的图片总数;
Pm,n,Pm,f为两个调节系数;
Bij,m代表第m张图的像素点(i,j)的bit值;
Fij,m为平整区域的附加值:
对于平整区域而言Fij,m=1,普通区域Fij,m=0。
得到所有输入图片的bit图后遍历每个像素在各张bit图中的值,根据公式(1),得到改输入序列的平整区域F。设定的阈值为0.08(0.08×255)。
接下来计算两个调整系数:
Figure BDA0001667525890000102
Figure BDA0001667525890000103
其中,其中Si,f为第i张bit图的平整区域的bit值总和;
Si,n为普通区域的bit值总和;
Mf平整区域的最大值;
Mn为平整区域的最大值;
α和β为调节权重偏移程度的系数;
设定α=2,β=1,得到两个系数之后根据公式(2),就能得到进行融合的权重W。
在进入高斯金字塔前,需要归一化权重W。然后开始建立拉普拉斯金字塔。拉普拉斯金字塔由高斯金字塔构建出来。高斯金字塔定义为:对一张图片进行高斯平滑和降采样,结果作为新的一层图片,不断循环的高斯平滑和降采样就可以建立原图的高斯金字塔的每一层。值得注意的是以G{I}0代表高斯金字塔第一层,也就是原图,在(7)拉普拉斯重构时,当得到G{I}0,也就得到融合结果。
拉普拉斯金字塔定义为:
Figure BDA0001667525890000111
其中:L{I}i为图像I的拉普拉斯金字塔的第i层;
G{I}i为图像I的高斯金字塔的第i层;
Up(G{I}i+1)代表高斯金字塔的第i+1层向上采样结果;
Figure BDA0001667525890000112
代表卷积;
G5指5×5的高斯内核;
给每一张输入图像建立拉普拉斯金字塔,给每一张输入图片的权重图建立高斯金字塔。然后按照公式(6)的到融合结果图片的拉普拉斯金字塔。
Figure BDA0001667525890000113
其中:
Figure BDA0001667525890000114
代表结果图拉普拉斯金子塔第l层(i,j)像素;
Figure BDA0001667525890000115
代表第k张权重图的高斯金字塔第l层(i,j)像素;
Figure BDA0001667525890000116
代表原图拉普拉斯金子塔第l层(i,j)像素;
最后对融合后的拉普拉斯金字塔,从其顶层开始逐层从上至下按式(7)进行递推,就可以恢复其对应的高斯金字塔,并最终可得到结果图像R(G{R}O)。
Figure BDA0001667525890000117
本实施例的其他部分与上述实施例相同,故不再赘述。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。

Claims (2)

1.一种高动态范围图片的合成方法,其特征在于:具体包括以下步骤:
步骤S1:输入图片,并将输入的图片转换到YCbCr颜色空间上,提取该图片亮度分量Y;所述图片为静止相机拍摄所得;
步骤S2:针对亮度分量Y执行JPEG压缩算法,将亮度分量Y分割成8*8的多个宏块;
步骤S3:对每个宏块进行离散余弦变换;
步骤S4:对离散余弦变换后的每个宏块的进行量化,得到量化结果;所述量化结果具体是指计算得到每个宏块的非零元素,将每个宏块的非零元素根据JPEG的码表,转换成二进制形式;
步骤S5:根据量化结果计算得到bit图;
所述步骤S5具体包括以下步骤:
步骤S51:把每个宏块的非零元素的二进制码的长度叠加在一起,作为该宏块的bit值;将亮度分量Y的所有宏块的bit值组成一张长宽为原图八分之一的图;
步骤S52:对步骤S51中原图八分之一的图使用最近邻插值法复原到原图的尺寸,得到最终的bit图;
步骤S6:采用将输入图片划分为平整区域和普通区域的方法对bit图修正;
所述步骤S6具体是指:得到输入图片的bit图后遍历每个像素点在各张bit图中的值;根据公式(1),设定的阈值T为0.08,得到该输入序列的平整区域;
所述平整区域的判定为:
Figure FDA0003343565090000011
其中,T为设定的一个区分平整区域的阈值;
下标ij,m代表第m张图的像素点(i,j);
N代表输入图片序列的图片总数;
Bij,m代表第m张图的像素点(i,j)的bit值;
Fij,m为平整区域的附加值:
对于平整区域而言Fij,m=1,普通区域Fij,m=0;
步骤S7:根据步骤S6所得计算得到进行融合的权重图;
所述S7具体包括以下步骤:
步骤S71:根据公式(3)、公式(4)计算调整参数Pm,f和Pm,n
Figure FDA0003343565090000012
Figure FDA0003343565090000021
其中,Pm,n,Pm,f为两个调节系数;
Si,f为第i张bit图的平整区域的bit值总和;
Si,n为第i张bit图的普通区域的bit值总和;
Mf为平整区域的最大值;
Mn为普通区域的最大值;
α和β为调节权重偏移程度的系数;
步骤S72:设定α和β的系数,根据公式(2)计算得出进行融合的权重Wij,m,并归一化权重Wij,m
Wij,m=Pm,n×(Bij,m+Pm,f×Fij,m) (2)
步骤S8:给每张输入图片建立拉普拉斯金字塔,给每张输入图片的权重图建立高斯金字塔,并对图片融合得到最终的结果图像;
所述步骤S8具体包括以下步骤:
步骤S81:高斯金字塔定义为:对一张图片进行高斯平滑和降采样,结果作为新的一层图片,不断循环的高斯平滑和降采样建立原图的高斯金字塔的每一层;
步骤S82:拉普拉斯金字塔定义为:
Figure FDA0003343565090000022
其中,L{I}i为图像I的拉普拉斯金字塔的第i层;
G{I}i为图像I的高斯金字塔的第i层;
Up(G{I}i+1)代表高斯金字塔的第i+1层向上采样结果;
Figure FDA0003343565090000023
代表卷积;
G5指5×5的高斯内核;
步骤S83:将每张输入图像建立拉普拉斯金字塔,给每张输入图片的权重图建立高斯金字塔;按照公式(6)的到融合结果图片的拉普拉斯金字塔;
Figure FDA0003343565090000024
其中,
Figure FDA0003343565090000025
代表结果图拉普拉斯金子塔第l层(i,j)像素;
Figure FDA0003343565090000026
代表第k张权重图的高斯金字塔第l层(i,j)像素;
Figure FDA0003343565090000027
代表原图拉普拉斯金子塔第l层(i,j)像素;
步骤S84:对融合后的拉普拉斯金字塔,从其顶层开始逐层从上至下按式(7)进行递推,恢复其对应的高斯金字塔,并最终可得到结果图像R,图像R即为原图;
Figure FDA0003343565090000031
2.根据权利要求1所述的一种高动态范围图片的合成方法,其特征在于:所述步骤S4具体是指:采用JPEG标准50%压缩比的量化表进行量化。
CN201810488694.6A 2018-05-21 2018-05-21 一种高动态范围图片的合成方法 Active CN108717690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810488694.6A CN108717690B (zh) 2018-05-21 2018-05-21 一种高动态范围图片的合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810488694.6A CN108717690B (zh) 2018-05-21 2018-05-21 一种高动态范围图片的合成方法

Publications (2)

Publication Number Publication Date
CN108717690A CN108717690A (zh) 2018-10-30
CN108717690B true CN108717690B (zh) 2022-03-04

Family

ID=63900517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810488694.6A Active CN108717690B (zh) 2018-05-21 2018-05-21 一种高动态范围图片的合成方法

Country Status (1)

Country Link
CN (1) CN108717690B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917950B (zh) * 2020-06-30 2022-07-22 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2022041287A1 (zh) * 2020-08-31 2022-03-03 华为技术有限公司 获取图像的方法、装置、设备及计算机可读存储介质
CN112884684B (zh) * 2021-01-13 2022-07-22 电子科技大学 一种基于raw图像的反光图像合成方法
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582993A (zh) * 2008-05-14 2009-11-18 富士胶片株式会社 图像处理装置、方法以及包含程序的计算机可读记录介质
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN105187739A (zh) * 2015-09-18 2015-12-23 北京中科慧眼科技有限公司 基于hdr算法的相机传感器设计方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法
CN107045715A (zh) * 2017-02-22 2017-08-15 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN107302668A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种基于转轮动态分光的高动态范围成像模块
CN107730479A (zh) * 2017-08-30 2018-02-23 中山大学 基于压缩感知的高动态范围图像去伪影融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8351723B2 (en) * 2009-03-25 2013-01-08 Accusoft-Pegasus Methods and apparatus for generating and using visual error weights
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
CN101582993A (zh) * 2008-05-14 2009-11-18 富士胶片株式会社 图像处理装置、方法以及包含程序的计算机可读记录介质
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN105187739A (zh) * 2015-09-18 2015-12-23 北京中科慧眼科技有限公司 基于hdr算法的相机传感器设计方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法
CN107045715A (zh) * 2017-02-22 2017-08-15 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN107302668A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种基于转轮动态分光的高动态范围成像模块
CN107730479A (zh) * 2017-08-30 2018-02-23 中山大学 基于压缩感知的高动态范围图像去伪影融合方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"DCT-Based HDR Exposure Fusion Using Multiexposed Image Sensors";Geun-Young Lee等;《Journal of Sensors》;20171231;第1-15页 *
"Dense SIFT for ghost-free multi-exposure fusion";Yu L等;《Journal of Visual Communication and Image Representation》;20151231(第31期);第208-224页 *
"Exposure fusion";T. Mertens等;《Computer Graphics Forum》;20071231;第24卷(第1期);第382-390页 *
"Fast multi-exposure image fusion with median filter and recursive filter";S.Li等;《IEEE Trans. on Consumer Electronics》;20121231;第58卷(第2期);第626-632页 *
"Multi-exposure images of Wavelet transform fusion";Jiaobo Xu等;《The International Society for Optical Engineering》;20130731;第1-5页 *
"基于Sigmoid函数拟合的多曝光图像直接融合算法";付争方等;《仪器仪表学报》;20151030;第36卷(第10期);第2321-2329页 *
"基于YUV空间的高动态范围图像的合成方法";徐桂忠等;《中国传媒大学学报自然科学版》;20170630;第24卷(第3期);第11-13页 *
"采用主成分分析与梯度金字塔的高动态范围图像生成方法";张淑芳等;《西安交通大学学报》;20180430;第52卷(第4期);第150-157页 *

Also Published As

Publication number Publication date
CN108717690A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN108717690B (zh) 一种高动态范围图片的合成方法
CN111868751B (zh) 在视频代码化的机器学习模型中使用应用于量化参数的非线性函数
Lee et al. Colorization-based compression using optimization
RU2335803C2 (ru) Способ и устройство покадрового кодирования остаточного движения на основании сверхполного базисного преобразования для уплотнения видеоизображения
CN112150400B (zh) 图像增强方法、装置和电子设备
US8396313B2 (en) Image compression and decompression using the PIXON method
WO2023130333A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN115131675A (zh) 一种基于参考影像纹理迁移的遥感影像压缩方法及系统
Mandeel et al. A comparative study on lossless compression mode in webp, better portable graphics (bpg), and jpeg xl image compression algorithms
Han et al. ABCD: Arbitrary Bitwise Coefficient for De-quantization
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
Zhuang et al. A robustness and low bit-rate image compression network for underwater acoustic communication
Niu et al. Edge-based perceptual image coding
Minervini et al. The significance of image compression in plant phenotyping applications
CN115665413A (zh) 图像压缩最优量化参数的估计方法
Kumar et al. Quality assessment of compressed MR medical images using general regression neural network.
Savitri et al. Digital medical image compression algorithm using adaptive Huffman coding and graph based quantization based on IWT-SVD
CN113141506A (zh) 基于深度学习的图像压缩神经网络模型、及其方法和设备
Marsh et al. Removal of Blocking Artifacts from JPEG-Compressed Images Using a Neural Network
JP2003304537A (ja) 低ビットレートの適用のためのディジタル画像処理方法
Al Falahi et al. Comparitive Analysis and Findings on Dct & Lbg Compression Techniques
Montajabi Deep Learning Methods for Codecs
Fu et al. Learned Image Compression with Inception Residual Blocks and Multi-Scale Attention Module
Singh et al. A STUDY OF PATTERN BASED RESIDUAL VECTOR QUANTIZATION ALGORITHM FOR IMAGE COMPRESSION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant