CN115456912A - 一种基于多尺度wls滤波融合的色调映射方法 - Google Patents

一种基于多尺度wls滤波融合的色调映射方法 Download PDF

Info

Publication number
CN115456912A
CN115456912A CN202211265289.0A CN202211265289A CN115456912A CN 115456912 A CN115456912 A CN 115456912A CN 202211265289 A CN202211265289 A CN 202211265289A CN 115456912 A CN115456912 A CN 115456912A
Authority
CN
China
Prior art keywords
image
dynamic range
scale
brightness
wls
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211265289.0A
Other languages
English (en)
Inventor
杨敬钰
李寅博
岳焕景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211265289.0A priority Critical patent/CN115456912A/zh
Publication of CN115456912A publication Critical patent/CN115456912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度WLS滤波融合的色调映射算法，属于图像增强领域；高动态范围图像(HDR)由于具有更高的动态范围和位深，而无法在常用的低动态范围(LDR)显示设备上显示，需要进行色调映射。一种基于多尺度WLS滤波融合的色调映射算法，包括以下步骤：S1、输入一张高动态范围图像，计算输入图像的亮度图，并转换到对数域；S2、使用不同尺度的WLS滤波器对亮度图进行滤波得到基础层，利用基础层实现多尺度的细节层提取，然后将不同尺度的细节与基础层进行加权融合，实现细节增强；S3、根据人类视觉灵敏度模型，对融合后的图像进行动态范围的调整。S4、色彩重建，得到最终的LDR图像。

Description

一种基于多尺度WLS滤波融合的色调映射方法
技术领域
本发明涉及图像增强技术领域，尤其涉及一种基于多尺度WLS滤波的高动态范围图像色调映射方法。
背景技术
动态范围是指图像或场景中最亮的点的亮度值和最暗的点的亮度值之间的比率。在现实世界，场景的亮度值范围一般是10-6至109cd/m2，动态范围可达1015。而标准动态范围图像(LDR)通常是24位RGB图像，每个颜色通道为8位，其动态范围只有0～255，图像在高动态范围场景会出现高亮度处过曝、低亮度处欠曝、细节丢失等问题。
目前，高动态范围成像技术越来越受到关注，在数字电视、医疗、安防监控等领域都有巨大的应用前景。高动态范围图像(HDR)通常由同一场景下不同曝光的照片合成生成的，可以按比例存储真实场景的全部亮度值，每个颜色通道为12位甚至更高，因此具有更高的动态范围，能够更好的再现真实场景的颜色和细节。但是常用的低动态范围(LDR)显示设备每个颜色通道为8位，动态范围只有102的数量级，因此HDR图像无法直接在LDR设备上显示。为了能够在常规的显示设备上再现高动态范围图像的丰富的颜色和细节，需要对动态范围进行适当压缩，这一过程称为色调映射。
目前色调映射技术通常分为两类：全局色调映射算法和局部色调映射算法。全局色调映射算法是对图像的所有像素点采用一个空间不变的映射公式进行变换，因此具有计算速度快，实现简单，没有光晕效应的优点。但是正因为对所有的像素点都应用同一公式进行变换，映射后图像对比度低，部分细节信息丢失，存在局限性。局部色调映射算法利用像素点一定邻域内的亮度值的统计分布来进行不同程度的压缩，灵活性更强，有助于保留图像细节信息并提高对比度。但是相比于全局映射算法，计算复杂，而且容易出现光晕和伪影。过去这些年，大多数的研究工作致力于提高局部色调映射的算法的性能，减少光晕和伪影，同时提高计算速度。全局色调映射算法由于映射后的图像对比度较低，相关的研究较少，但是相比于局部映射，全局映射计算效率高，而且不会产生伪影。
此外，大多数色调映射算法在对不同的高动态范围图像进行映射时，都需要调整参数，从而得到高质量的LDR图像。但是在实际应用中，针对不同的高动态范围场景，一一进行手动调整参数是难以实现的。因此，高效的色调映射算法必须对不同的高动态范围场景具有鲁棒性。
发明内容
本发明的目的在于解决现有的全局色调映射算法存在对比度差且容易丢失细节信息的缺点，及算法对不同的高动态范围场景的映射结果鲁棒性差的问题而提出了一种基于多尺度WLS滤波融合的色调映射算法，提高了图像整体的对比度，保留了丰富的颜色和细节信息，而且具有无需调参、自适应性强、鲁棒性好的优点，方便应用在目前的低动态范围显示设备上。
为了实现上述目的，本发明采用了如下技术方案：
需要说明的是：
本发明所用到的WLS滤波器是一种边缘保持滤波器，在平滑图像时不仅可以保留边缘而且可以实现多尺度的细节提取，也可以避免光晕效应和梯度反转。WLS滤波器基于加权最小二乘框架，需要实现两个矛盾目标，对于输入图像I，滤波后的图像B要尽可能的接近I，同时I中除了边缘梯度变化大的地方外要尽可能的平滑，公式如下：
Figure BDA0003892891390000031
其中，下标p是像素点的位置；第一项通过最小化滤波图像B和输入图像I间的差距达到保持边缘的目的，第二项通过减少滤波图像B中的大梯度点达到平滑图像的目的；λ称为平滑系数，增加λ可以提高对图像的平滑程度。ax,p(I)和ay,p(I)为平滑权重系数，公式如下：
Figure BDA0003892891390000032
Figure BDA0003892891390000033
其中，指数参数α控制图像I的梯度敏感度，ε为极小数，使分母不为0。基于上述内容，本发明提出：
一种基于多尺度WLS滤波融合的色调映射算法，具体包括以下步骤：
S1、输入一张高动态范围图像，计算输入图像的亮度图，并转换到对数域；
S2、使用不同尺度的WLS滤波器对亮度图进行滤波得到基础层，利用基础层实现多尺度的细节层提取，然后将不同尺度的细节与基础层进行加权融合，实现细节增强；
S3、根据人类视觉灵敏度模型，对融合后的图像进行动态范围的调整；
S4、色彩重建，通过计算颜色通道与初始亮度图L0的比例对映射后的亮度图L1进行色彩重建，得到最终的LDR图像，计算公式为：
Figure BDA0003892891390000041
其中，C1是经过色调映射后的低动态范围图像，C0是输入的高动态范围图像，C＝R、G、B，代表三个颜色通道。
优选地，所述S1具体包含以下内容：
S101、输入一张高动态范围图像，可以从若干个现有的高质量的公开HDR数据集中选择；
S102、根据输入图像的R、G、B三通道的像素值，计算出亮度值L0并转换到对数域Lwl，计算公式为：
L0＝0.299*R+0.587*G+0.114*B
其中，R、G、B表示输入图像的三通道像素值。
优选地，所述S2具体包含以下内容：
S201、使用三个不同尺度的WLS滤波器对Lwl进行滤波分解，依次得到基础层u1，u2，u3，其中u3是最大尺度的平滑图像，并把Lwl作为基础层u0；
S202、将相邻尺度的基础层相减得到细节层，实现多尺度的细节信息提取，计算公式为：
di＝ui-1-ui，i＝1,2,3
S203、将不同尺度的细节层di与基础层u3进行加权融合，通过调整权重wi，实现细节增强，计算公式为：
Figure BDA0003892891390000051
优选地，所述S3具体包含以下内容：
S301、根据L1的动态范围和显示器动态范围，计算线性压缩算子K1；由于人类视觉系统对亮度的响如应服从对数性质，因此在对数域进行计算，计算公式为：
Figure BDA0003892891390000052
S302、由于人类视觉灵敏度集中在对数平均亮度，且服从高斯分布，因此用高斯权重ω(L)乘以线性压缩因子K1，使得L1亮度值等于对数平均值μ时，权重最大。高斯加权后得到非线性压缩因子K2，计算公式为：
K2(L)＝(1-K1)ω(L)+K1
Figure BDA0003892891390000061
其中，ω(L)是高斯权重，满足K1≤K2(L)≤1.0；μ是输入亮度的平均对数亮度；d0是输入亮度的范围；c1是用户参数，控制映射后的图像的亮度和局部对比度；σ为二者的之比；
S303、带入最终的非线性压缩公式得到映射后的亮度值，计算公式为：
L1＝exp(c2k2(L1-μ)+μ)
其中，c2为压缩因子，控制映射后的动态范围；
S304、为了优化显示设备的动态范围，将映射后的亮度值进行排序，限制在1％～99％，并进行归一化。
本发明通过使用不同尺度的WLS滤波器对高动态范围图像进行滤波，从而得到相应的平滑图像和细节信息，然后将多尺度的细节信息与平滑图像融合后得到细节增强的亮度图。由于人类视觉系统对亮度的灵敏度服从高斯分布，所以设计了一个高斯加权的非线性压缩因子，并构造了一个全局色调映射算子。该算子可以根据亮度值的分布自适应确定动态范围的压缩程度，保留整体感的同时能有效地抑制过曝区域，提升暗部区域细节。
与现有技术相比，本发明提供了一种基于多尺度WLS滤波融合的色调映射算法，具备以下有益效果：
(1)与传统的全局色调映射方法相比，本发明提供的方法得到的图像能够保持较高的整体对比度和局部对比度，而且经过细节增强后，边缘特性保持较好，在高亮度和低亮度的地方，保留了丰富的细节信息。
(2)本发明提供的方法对所有的高动态范围场景的图像都能有较好的处理结果，无需调整参数，效率更高，方便应用在常见的LDR显示设备上。
(3)本发明提供的方法得到的图像不会出现光晕和梯度反转。
附图说明
图1为本发明提出的一种基于多尺度WLS滤波融合的色调映射方法的算法流程示意图；
图2为本发明实施例1中算法进行色调映射的效果图；图2(a)为高动态范围图像的原始亮度值显示结果示意图；图2(b)为算法进行动态范围压缩的结果示意图；
图3为本发明实施例1中使用不同尺度的WLS滤波器滤波结果示意图，从左至右分别为u0，u1，u2，u3；
图4为本发明实施例1中不同尺度的细节提取结果示意图，从左至右分别为d0，d1，d2；
图5、图6为实施例1中本发明所提出方法与其他色调映射方法效果对比图；其中，a图为采用Drago的自适应对数算法的映射结果图；b图为采用了Reinhard的摄影算法的映射结果图；c图为采用了Min H.Kim的全局色调映射算法的结果图；d图为本发明提出的方法的映射结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
请参阅图1-5，本实例以一幅768*512的高动态范围教堂图像为输入，采用本发明方法进行处理，具体包括以下步骤：
S1、输入一张高动态范围图像，计算输入图像的亮度图，并转换到对数域，具体包含以下内容：
S101、读取一张高动态范围图像，其格式为.hdr，如图2(a)所示；
S102、根据输入图像的R、G、B三通道的像素值，计算出亮度值L0并转换到对数域Lwl，计算公式为：
L0＝0.299*R+0.587*G+0.114*B
其中，R、G、B是输入图像的三通道像素值；
S2、使用不同尺度的WLS滤波器对亮度图进行滤波得到基础层，利用基础层实现多尺度的细节层提取，然后将不同尺度的细节与基础层进行加权融合，实现细节增强，具体包含以下内容：
S201、使用三个不同尺度的WLS滤波器对Lwl进行滤波分解，其中，平滑系数λ分别取0.125、1.0、8.0，梯度敏感度α取1.2，依次得到平滑图像u1，u2，u3，其中u3是最大尺度的平滑图像，并把Lwl作为基础层u0。平滑图像u0，u1，u2，u3如图3所示。
S202、将相邻尺度的基础层相减得到细节层d0，d1，d2，如图4所示：
di＝ui-1-ui，i＝1,2,3
S203、将不同尺度的细节层di与最大尺度平滑图像u3进行加权融合得到增强后的亮度图L1，其中w0，w1，w2，w3分别取1.0，1.0，1.6，0.4；计算公式为：
Figure BDA0003892891390000091
S3、根据人类视觉灵敏度模型，对融合后的图像进行动态范围的调整，具体包含以下内容：
S301、根据L1的动态范围和显示器动态范围，计算线性压缩算子K1。由于人类视觉系统对亮度的响应服从对数性质，因此在对数域进行计算。计算公式为：
Figure BDA0003892891390000092
S302、由于人类视觉灵敏度集中在对数平均亮度，且服从高斯分布，因此用高斯权重ω(L)乘以线性压缩因子K1，使得L1亮度值等于对数平均值μ时，权重最大。高斯加权后得到非线性压缩因子K2，计算公式为：
K2(L)＝(1-K1)ω(L)+K1
Figure BDA0003892891390000093
其中ω(L)是高斯权重，满足K1≤K2(L)≤1.0；μ是输入亮度的平均对数亮度；d0是输入亮度的范围；c1是用户参数，控制映射后的图像的亮度和局部对比度；σ为二者的之比。大量实验发现，c1取值在3.0～5.0色调映射后的图像整体亮度和对比度较好，此处取3.0。
S303、带入最终的非线性压缩公式得到映射后的亮度值，计算公式为：
L1＝exp(c2k2(L1-μ)+μ)
其中，c2为压缩因子，控制映射后的动态范围，此处取0.3。
S304、为了优化显示设备的动态范围，将映射后的亮度值进行排序，限制在1％～99％，并进行归一化。
S4、色彩重建，通过计算颜色通道与初始亮度图L0的比例对映射后的亮度图L1进行色彩重建，得到最终的LDR图像，计算公式为：
Figure BDA0003892891390000101
其中，C1是经过色调映射后的低动态范围图像，C0是输入的高动态范围图像，C＝R、G、B，代表三个颜色通道。
最终的经过色调映射后的图像如图2(b)所示。
图3为本发明使用不同尺度的WLS滤波器滤波结果示意图，从左至右分别为u0，u1，u2，u3；
图4为本发明不同尺度的细节提取结果示意图，从左至右分别为d0，d1，d2；
图5、图6为本发明所提出方法与其他色调映射方法效果对比图；其中，a图为采用Drago的自适应对数算法的映射结果图；b图为采用了Reinhard的摄影算法的映射结果图；c图为采用了Min H.Kim的全局色调映射算法的结果图；d图为本发明提出的方法的映射结果图。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于多尺度WLS滤波融合的色调映射算法，其特征在于，利用多尺度WLS滤波得到细节增强的图像，具体包括以下步骤：
S1、输入一张高动态范围图像，计算输入图像的亮度图，并转换到对数域；
S2、使用不同尺度的WLS滤波器对亮度图进行滤波得到基础层，利用基础层实现多尺度的细节层提取，然后将不同尺度的细节与基础层进行加权融合，实现细节增强；
S3、根据人类视觉灵敏度模型，对融合后的图像进行动态范围的调整；
S4、色彩重建，通过计算颜色通道与初始亮度图L0的比例对映射后的亮度图L1进行色彩重建，得到最终的LDR图像，计算公式为：
Figure FDA0003892891380000011
其中，C1是经过色调映射后的低动态范围图像，C0是输入的高动态范围图像，C＝R、G、B，代表三个颜色通道。
2.根据权利要求1所述的一种基于多尺度WLS滤波融合的色调映射算法，其特征在于，所述S1具体包含以下内容：
S101、输入一张高动态范围图像，可以从若干个现有的高质量的公开HDR数据集中选择；
S102、根据输入图像的R、G、B三通道的像素值，计算出亮度值L0并转换到对数域Lwl，计算公式为：
L0＝0.299*R+0.587*G+0.114*B
其中，R、G、B表示输入图像的三通道像素值。
3.根据权利要求1所述的一种基于多尺度WLS滤波融合的色调映射算法，其特征在于，所述S2具体包含以下内容：
S201、使用三个不同尺度的WLS滤波器对Lwl进行滤波分解，依次得到基础层u1，u2，u3，其中u3是最大尺度的平滑图像，并把Lwl作为基础层u0；
S202、将相邻尺度的基础层相减得到细节层，实现多尺度的细节信息提取，计算公式为：
di＝ui-1-ui，i＝1,2,3
S203、将不同尺度的细节层di与基础层u3进行加权融合，通过调整权重wi，实现细节增强，计算公式为：
Figure FDA0003892891380000021
4.根据权利要求1所述的一种基于多尺度WLS滤波融合的色调映射算法，其特征在于，所述S3具体包含以下内容：
S301、根据L1的动态范围和显示器动态范围，计算线性压缩算子K1；由于人类视觉系统对亮度的响应服从对数性质，因此在对数域进行计算，计算公式为：
Figure FDA0003892891380000022
S302、由于人类视觉灵敏度集中在对数平均亮度，且服从高斯分布，因此用高斯权重ω(L)乘以线性压缩因子K1，使得L1亮度值等于对数平均值μ时，权重最大；高斯加权后得到非线性压缩因子K2，计算公式为：
K2(L)＝(1-K1)ω(L)+K1
Figure FDA0003892891380000031
其中，ω(L)是高斯权重，满足K1≤K2(L)≤1.0；μ是输入亮度的平均对数亮度；d0是输入亮度的范围；c1是用户参数，控制映射后的图像的亮度和局部对比度；σ为二者的之比；
S303、带入最终的非线性压缩公式得到映射后的亮度值，计算公式为：
L1＝exp(c2k2(L1-μ)+μ)
其中，c2为压缩因子，控制映射后的动态范围；
S304、将映射后的亮度值进行排序，限制在1％～99％，并进行归一化。
CN202211265289.0A 2022-10-17 2022-10-17 一种基于多尺度wls滤波融合的色调映射方法 Pending CN115456912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211265289.0A CN115456912A (zh) 2022-10-17 2022-10-17 一种基于多尺度wls滤波融合的色调映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211265289.0A CN115456912A (zh) 2022-10-17 2022-10-17 一种基于多尺度wls滤波融合的色调映射方法

Publications (1)

Publication Number Publication Date
CN115456912A true CN115456912A (zh) 2022-12-09

Family

ID=84311010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211265289.0A Pending CN115456912A (zh) 2022-10-17 2022-10-17 一种基于多尺度wls滤波融合的色调映射方法

Country Status (1)

Country Link
CN (1) CN115456912A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173066A (zh) * 2023-08-28 2023-12-05 哈尔滨工业大学 一种基于多尺度多曝光融合的图像增强算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173066A (zh) * 2023-08-28 2023-12-05 哈尔滨工业大学 一种基于多尺度多曝光融合的图像增强算法

Similar Documents

Publication Publication Date Title
Wang et al. An experiment-based review of low-light image enhancement methods
Chang et al. Automatic contrast-limited adaptive histogram equalization with dual gamma correction
Wang et al. Single image dehazing based on the physical model and MSRCR algorithm
Li et al. Visual-salience-based tone mapping for high dynamic range images
Ahn et al. Adaptive local tone mapping based on retinex for high dynamic range images
CN111583123A (zh) 一种基于小波变换的融合高低频信息的图像增强算法
Lee et al. Noise reduction and adaptive contrast enhancement for local tone mapping
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
Yang et al. Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform
CN106875358A (zh) 基于Bayer格式的图像增强方法及图像增强装置
Parihar et al. A comprehensive analysis of fusion-based image enhancement techniques
CN117252773A (zh) 基于自适应颜色校正和导向滤波的图像增强方法及系统
Kim et al. Tone mapping with contrast preservation and lightness correction in high dynamic range imaging
Lei et al. Low-light image enhancement using the cell vibration model
CN107392879A (zh) 一种基于参考帧的低照度监控图像增强方法
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN116416175A (zh) 一种基于自适应边缘保持平滑金字塔的图像融合方法
CN115456912A (zh) 一种基于多尺度wls滤波融合的色调映射方法
CN112822343B (zh) 一种面向夜间视频的清晰化方法及存储介质
Tsai et al. A novel simultaneous dynamic range compression and local contrast enhancement algorithm for digital video cameras
Thai et al. Performance evaluation of high dynamic range image tone mapping operators based on separable non-linear multiresolution families
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
CN116703789A (zh) 一种图像增强方法及系统
CN114494042A (zh) 一种红外图像动态压缩及细节增强方法、存储介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination