CN114757839A - 一种基于宏微观信息增强及色彩校正的色调映射方法 - Google Patents

一种基于宏微观信息增强及色彩校正的色调映射方法 Download PDF

Info

Publication number
CN114757839A
CN114757839A CN202210285232.0A CN202210285232A CN114757839A CN 114757839 A CN114757839 A CN 114757839A CN 202210285232 A CN202210285232 A CN 202210285232A CN 114757839 A CN114757839 A CN 114757839A
Authority
CN
China
Prior art keywords
image
brightness
hdr
luminance
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210285232.0A
Other languages
English (en)
Inventor
朱仲杰
崔伟锋
白永强
李龙
张�荣
靳忆雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wanli University
Original Assignee
Zhejiang Wanli University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Wanli University filed Critical Zhejiang Wanli University
Priority to CN202210285232.0A priority Critical patent/CN114757839A/zh
Publication of CN114757839A publication Critical patent/CN114757839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于宏微观信息增强及色彩校正的色调映射方法，特点是将高动态范围图像从RGB色彩空间转换到HSV色彩空间，并得到色调图像、饱和度图像和亮度图像；首先对亮度图像进行宏观信息统计，并对亮度图像进行分解分层，得到基础层图像和细节层图像，其次分别对基础层图像和细节层图像进行亮度感知压缩和放大，得到压缩后的基础层图像和放大后的细节层图像，最后将压缩后的基础层图像和放大后的细节层图像进行融合，得到压缩后的亮度图像；计算出饱和度偏移量，并通过饱和度偏移量对饱和度图像进行校正，得到校正后的饱和度图像；优点是不但增强了图像的纹理细节信息，而且降低了边缘光晕，解决了图像色彩失真问题。

Description

一种基于宏微观信息增强及色彩校正的色调映射方法
技术领域
本发明涉及一种色调映射方法，尤其是一种基于宏微观信息增强及色彩校正的色调映射方法。
背景技术
高动态范围(High Dynamic Rang，HDR)图像可以完整再现人眼所观察到的真实自然场景，但无法在常规显示设备上直接呈现。
色调映射(Tone Mapping，TM)可以在保留HDR图像的场景信息的同时，将其转换为LDR图像进行常规显示，因此在卫星遥感、医学成像、虚拟现实、数字成像等领域得到了广泛的应用，但是色调映射过程对场景亮度大幅度的变换和压缩，极易造成场景信息不同程度的丢失和畸变。
目前的TM方法(色调映射方法)，面对一些特定的复杂场景，仍存在场景细节丢失、亮度失衡、边缘光晕及色彩失真等问题，且现有的TM方法针对的只是图像亮度范围和细节信息的处理，并没有综合考虑亮度压缩对场景颜色信息的影响，因而在不同程度上造成了色彩信息的畸变，导致人眼主观感知的失真。
发明内容
本发明所要解决的技术问题是提供一种准确、高效、通用的基于宏微观信息增强及色彩校正的色调映射方法，不但增强了图像的纹理细节信息，而且降低了边缘光晕，解决了图像色彩失真问题。
本发明解决上述技术问题所采用的技术方案为：一种基于宏微观信息增强及色彩校正的色调映射方法，包括以下步骤：
①输入高动态范围图像；
②将高动态范围图像从RGB色彩空间转换到HSV色彩空间，并得到色调图像HHDR、饱和度图像SHDR和亮度图像VHDR；
③首先对亮度图像VHDR进行宏观信息统计，并对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd，其次分别对基础层图像Vb和细节层图像Vd进行亮度感知压缩和放大，得到压缩后的基础层图像Vb′和放大后的细节层图像Vd′，最后将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合，得到压缩后的亮度图像VLDR；
④计算出饱和度偏移量，并通过饱和度偏移量对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR；
⑤将压缩后的亮度图像VLDR、校正后的饱和度图像SLDR和高动态范围图像的色调图像HHDR，作为低动态范围图像的亮度图像、饱和度图像和色调图像，并将其由HSV色彩空间转换到RGB色彩空间得到最终的低动态范围图像并输出。
所述的步骤③的具体过程如下：
步骤③-1：利用CLAHE(限制对比度自适应直方图均衡化)对亮度图像VHDR进行宏观信息统计，降低亮度图像的亮度对比度，削弱图像噪声影响，得到引导图像VG：
通过公式
Figure BDA0003558795900000021
计算出引导图像中第p1个像素点的亮度值VG(p1)，其中，p1∈[1，N]，
Figure BDA0003558795900000022
表示亮度图像VHDR的平均亮度值，Vh(p1)表示亮度图像中第p1个像素点的亮度值，N表示总像素点数量，N′表示亮度图像中亮度值低于平均亮度值的像素点数量，α表示第一可变参数，β表示第二可变参数，γ表示第三可变参数；
步骤③-2：根据设定的边缘感知权重函数和引导图像VG，利用加权引导滤波器对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd：
通过公式Vb＝F(VG，VHDR，T(p2))计算得到基础层图像Vb，其中，F(·)表示加权引导滤波器对应的加权引导滤波函数，VG表示引导图像，VHDR表示亮度图像，T(p2)表示设定的边缘感知权重函数；
通过公式Vd＝VHDR-Vb计算得到细节层图像Vd；
步骤③-2中设定的边缘感知权重函数为：
Figure BDA0003558795900000031
其中，p2表示亮度图像中第p2个像素点，p2∈[1，N]，N表示总像素点数量，p2′表示p2的邻域像素，
Figure BDA0003558795900000032
表示窗口
Figure BDA0003558795900000033
中亮度图像VHDR的方差，
Figure BDA0003558795900000034
表示窗口
Figure BDA0003558795900000035
中亮度图像VHDR的平均亮度值，
Figure BDA0003558795900000036
表示以p2为中心，边长为5的正方形窗口，
Figure BDA0003558795900000037
表示窗口
Figure BDA0003558795900000038
中亮度图像VHDR的方差，
Figure BDA0003558795900000039
表示窗口
Figure BDA00035587959000000310
中亮度图像VHDR的平均亮度值，
Figure BDA00035587959000000311
表示以p2′为中心，边长为5的正方形窗口，σ为一个确保分母不为零而设的微小常数，σ＝10-6；
步骤③-3：根据引导图像VG对基础层图像Vb进行亮度感知压缩，得到压缩后的基础层图像Vb′，确保图像背景信息和整体结构的真实性和自然性：
通过公式
Figure BDA00035587959000000312
计算得到压缩后的基础层图像中第p3个像素点的亮度值Vb′(p3)，其中，p3∈[1，N]，N表示总像素点数量，
Figure BDA00035587959000000313
Vb(p3)表示基础层图像中第p3个像素点的像素值，
Figure BDA00035587959000000314
表示亮度图像VHDR的平均亮度值，
Figure BDA00035587959000000315
表示引导图像的平均亮度值，VGmin表示引导图像的最小亮度值，VGmax表示引导图像的最大亮度值；
步骤③-4：利用图像共生矩阵提取亮度图像的显著性区域：
将图像共生矩阵记为H，H＝[H(m，n)]，其中1≤m，n≤K，K表示量化等级，H(m，n)表示坐标(m，n)在窗口(2r+1，2r+1)共生的计数统计值，r表示邻域半径；
对灰度共生矩阵H进行归一化得到概率质量函数P；
通过公式
Figure BDA00035587959000000316
计算得到亮度图像的显著性区域中第p4个像素点的亮度值S(p4)，其中，p4∈[1，N]，N表示总像素点数量，
Figure BDA00035587959000000317
表示反向的概率质量函数，VHDR(p4)表示亮度图像中第p4个像素点的亮度值，VHDR(p4′)表示亮度图像中p4的邻域像素p4′的亮度值；
步骤③-5：根据亮度图像的显著性区域对细节层图像Vd进行放大(微观增强)，进一步消除显著性区域的光晕现象，得到放大后的细节层图像Vd′：
通过公式
Figure BDA0003558795900000041
计算出放大后的细节层图像Vd′，其中，S(p5)表示亮度图像的显著性区域中第p5个像素点的亮度值，p5∈[1，N]，N表示总像素点数量，Smax(p5)表示亮度图像的显著性区域中的最大亮度值，S1max(p5)表示
Figure BDA0003558795900000042
的最大值，S1min(p5)表示
Figure BDA0003558795900000043
的最小值，θ1表示第一放大系数，θ2表示第二放大系数；
步骤③-6：将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合并进行指数处理，得到压缩后的亮度图像VLDR：
VLDR＝exp(Vb′+Vd′)
所述的步骤③-1中，α＝0.7419，β＝-0.142，γ＝0.59。
所述的步骤③-4中，K＝20，r＝4。
所述的步骤③-5中，θ1＝0.27，θ2＝1.5。
所述的步骤④的具体过程如下：
通过公式
Figure BDA0003558795900000044
计算出饱和度偏移量η，其中，Vmedian表示压缩后的亮度图像VLDR的中值，VG(p)表示引导图像VG中第p个像素点的亮度值，VLDR(p)表示压缩后的亮度图像VLDR中第p个像素点的亮度值，p∈[1，N]，N表示总像素点数量；
通过公式SLDR＝(SHDR×(1+η))(1+2η)对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR。
与现有技术相比，本发明的优点在于将高动态范围图像从RGB色彩空间转换到HSV色彩空间，并得到色调图像、饱和度图像和亮度图像；首先对亮度图像进行宏观信息统计，并对亮度图像进行分解分层，得到基础层图像和细节层图像，其次分别对基础层图像和细节层图像进行亮度感知压缩和放大，得到压缩后的基础层图像和放大后的细节层图像，最后将压缩后的基础层图像和放大后的细节层图像进行融合，得到压缩后的亮度图像；计算出饱和度偏移量，并通过饱和度偏移量对饱和度图像进行校正，得到校正后的饱和度图像，有效避免了色彩映射对HDR图像造成主观色彩失真问题；将压缩后的亮度图像、校正后的饱和度图像和高动态范围图像的色调图像，作为低动态范围图像的亮度图像、饱和度图像和色调图像，并将其由HSV色彩空间转换到RGB色彩空间得到最终的低动态范围图像并输出；本发明不但增强了HDR图像的纹理细节信息，而且降低了边缘光晕，解决了图像色彩失真问题。
附图说明
图1为本发明的整体流程示意图；
图2(a)为本实施例中的基础层图像示意图；
图2(b)为本实施例中的细节层图像示意图；
图2(c)为本实施例中的显著性区域示意图；
图2(d)为本实施例中的压缩后的亮度图像示意图；
图3(a)为本实施例中图像1的低饱和度示意图；
图3(b)为本实施例中图像1的合适饱和度示意图；
图3(c)为本实施例中图像1的高饱和度示意图；
图3(d)为本实施例中图像2的低饱和度示意图；
图3(e)为本实施例中图像2的合适饱和度示意图；
图3(f)为本实施例中图像2的高饱和度示意图；
图4(a)为室内黑暗场景示意图；
图4(b)为使用Gabriel’s方法对图4(a)进行处理的结果示意图；
图4(c)为使用Gu’s方法对图4(a)进行处理的结果示意图；
图4(d)为使用Khan’s方法对图4(a)进行处理的结果示意图；
图4(e)为使用Li’s方法对图4(a)进行处理的结果示意图；
图4(f)为使用Liang’s方法对图4(a)进行处理的结果示意图；
图4(g)为使用Farbman’s方法对图4(a)进行处理的结果示意图；
图4(h)为使用本发明对图4(a)进行处理的结果示意图；
图5(a)为室外黑暗场景示意图；
图5(b)为使用Gabriel’s方法对图5(a)进行处理的结果示意图；
图5(c)为使用Gu’s方法对图5(a)进行处理的结果示意图；
图5(d)为使用Khan’s方法对图5(a)进行处理的结果示意图；
图5(e)为使用Li’s方法对图5(a)进行处理的结果示意图；
图5(f)为使用Liang’s方法对图5(a)进行处理的结果示意图；
图5(g)为使用Farbman’s方法对图5(a)进行处理的结果示意图；
图5(h)为使用本发明对图5(a)进行处理的结果示意图；
图6(a)为室内亮场景示意图；
图6(b)为使用Gabriel’s方法对图6(a)进行处理的结果示意图；
图6(c)为使用Gu’s方法对图6(a)进行处理的结果示意图；
图6(d)为使用Khan’s方法对图6(a)进行处理的结果示意图；
图6(e)为使用Li’s方法对图6(a)进行处理的结果示意图；
图6(f)为使用Liang’s方法对图6(a)进行处理的结果示意图；
图6(g)为使用Farbman’s方法对图6(a)进行处理的结果示意图；
图6(h)为使用本发明对图6(a)进行处理的结果示意图；
图7(a)为室外亮场景示意图；
图7(b)为使用Gabriel’s方法对图7(a)进行处理的结果示意图；
图7(c)为使用Gu’s方法对图7(a)进行处理的结果示意图；
图7(d)为使用Khan’s方法对图7(a)进行处理的结果示意图；
图7(e)为使用Li’s方法对图7(a)进行处理的结果示意图；
图7(f)为使用Liang’s方法对图7(a)进行处理的结果示意图；
图7(g)为使用Farbman’s方法对图7(a)进行处理的结果示意图；
图7(h)为使用本发明对图7(a)进行处理的结果示意图；
图8为在Rit-mcsl数据库中随机抽取20张HDR图像，通过不同TM方法得到的TMQI的散点示意图；
图9为20名受试者的主观平均得分统计示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，一种基于宏微观信息增强及色彩校正的色调映射方法，包括以下步骤：
①输入高动态范围图像；
②将高动态范围图像从RGB色彩空间转换到HSV色彩空间，并得到色调图像HHDR、饱和度图像SHDR和亮度图像VHDR；
③首先对亮度图像VHDR进行宏观信息统计，并对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd，其次分别对基础层图像Vb和细节层图像Vd进行亮度感知压缩和放大，得到压缩后的基础层图像Vb′和放大后的细节层图像Vd′，最后将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合，得到压缩后的亮度图像VLDR；
③-1利用CLAHE(限制对比度自适应直方图均衡化)对亮度图像VHDR进行宏观信息统计，得到引导图像VG，降低亮度图像的对比度，削弱亮度图像的噪声影响，确保整体亮度信息的完整性和直实性；
通过公式
Figure BDA0003558795900000071
计算出引导图像中第p1个像素点的亮度值VG(p1)，其中，p1∈[1，N]，
Figure BDA0003558795900000072
表示亮度图像VHDR的平均亮度值，Vh(p1)表示亮度图像中第p1个像素点的亮度值，N表示总像素点数量(本发明中的总像素点数量保持不变)，N′表示亮度图像中亮度值低于平均亮度值的像素点数量，α表示第一可变参数，β表示第二可变参数，γ表示第三可变参数，α＝0.7419，β＝-0.142，γ＝0.59；
③-2根据设定的边缘感知权重函数和引导图像VG，利用加权引导滤波器对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd；基础层图像如图2(a)所示，细节层图像如图2(b)所示；
设定的边缘感知权重函数为：
Figure BDA0003558795900000073
其中，p2表示亮度图像中第p2个像素点，p2∈[1，N]，N表示总像素点数量，p2′表示p2的邻域像素，
Figure BDA0003558795900000081
表示窗口
Figure BDA0003558795900000082
中亮度图像VHDR的方差(即亮度图像在窗口
Figure BDA0003558795900000083
中的方差)，
Figure BDA0003558795900000084
表示窗口
Figure BDA0003558795900000085
中亮度图像VHDR的平均亮度值(即亮度图像在窗口
Figure BDA0003558795900000086
中的平均亮度值)，
Figure BDA0003558795900000087
表示一个以p2为中心，边长为5的正方形窗口，
Figure BDA0003558795900000088
表示窗口
Figure BDA0003558795900000089
中亮度图像VHDR的方差(即亮度图像在窗口
Figure BDA00035587959000000810
中的方差)，
Figure BDA00035587959000000811
表示窗口
Figure BDA00035587959000000812
中亮度图像VHDR的平均亮度值(即亮度图像在窗口
Figure BDA00035587959000000813
中的平均亮度值)，
Figure BDA00035587959000000814
表示一个以p2′为中心，边长为5的正方形窗口，σ为一个确保分母不为零而设的微小常数，σ＝10-6；
通过公式Vb＝F(VG，VHDR，T(p2))计算得到基础层图像Vb，其中，F(·)表示加权引导滤波器对应的加权引导滤波函数，VG表示引导图像，VHDR表示亮度图像，T(p2)表示设定的边缘感知权重函数；
通过公式Vd＝VHDR-Vb计算得到细节层图像Vd；
③-3根据引导图像VG对基础层图像Vb进行亮度感知压缩，得到压缩后的基础层图像Vb′；
通过公式
Figure BDA00035587959000000815
计算得到压缩后的基础层图像中第p3个像素点的亮度值Vb′(p3)，其中，p3∈[1，N]，N表示总像素点数量，
Figure BDA00035587959000000816
Vb(p3)表示基础层图像中第p3个像素点的像素值，
Figure BDA00035587959000000817
表示亮度图像VHDR的平均亮度值，
Figure BDA00035587959000000818
表示引导图像的平均亮度值，VGmin表示引导图像的最小亮度值，VGmax表示引导图像的最大亮度值；
细节层图像包含着大量的纹理和细节信息，对亮度图像细节信息筛选和处理是非常重要的，因此本实施例中结合亮度图像的显著性区域对细节层图像进行微观增强，使人们能看到更为丰富的图像信息；对于非显著性区域的纹理和细节信息，整体保留不做特殊处理，保证亮度图像细节信息的完整性和真实性；
③-4利用图像共生矩阵提取得到亮度图像的显著性区域；显著性区域如图2(c)所示；
将图像共生矩阵记为H，H＝[H(m，n)]，其中1≤m，n≤K，m，n分别取值，即m，n互相不影响，互不干扰，K表示量化等级，H(m，n)表示坐标(m，n)在窗口(2r+1，2r+1)共生的计数统计值，r表示邻域半径；
本实施例中，H是一个大小为K×K的方阵，设定量化等级K＝20，邻域半径r＝4；
对灰度共生矩阵H进行归一化得到概率质量函数P；
通过公式
Figure BDA0003558795900000091
计算得到亮度图像的显著性区域中第p4个像素点的亮度值S(p4)，其中，p4∈[1，N]，N表示总像素点数量，
Figure BDA0003558795900000092
表示反向的概率质量函数，VHDR(p4)表示亮度图像中第p4个像素点的亮度值，VHDR(p4′)表示亮度图像中p4的邻域像素p4′的亮度值；
③-5根据亮度图像的显著性区域对细节层图像Vd进行放大，得到放大后的细节层图像Vd′；
通过公式
Figure BDA0003558795900000093
计算出放大后的细节层图像Vd′，其中，S(p5)表示亮度图像的显著性区域中第p5个像素点的亮度值，p5∈[1，N]，N表示总像素点数量，Smax(p5)表示亮度图像的显著性区域中的最大亮度值，S1max(p5)表示
Figure BDA0003558795900000094
的最大值，S1min(p5)表示
Figure BDA0003558795900000095
的最小值，θ1表示第一放大系数，θ2表示第二放大系数，θ1＝0.27，θ2＝1.5，第一放大系数和第二放大系数的选择可以在不察觉光晕的情况下达到最好的放大效果；
③-6将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合并进行指数处理，得到压缩后的亮度图像VLDR：VLDR＝exp(Vb′+Vd′)；压缩后的亮度图像如图2(d)所示；
图像1不同饱和度图像的视觉效果如图3(a)～图3(c)所示，图像2不同饱和度图像的视觉效果如图3(d)～图3(f)所示，为使TM图像更符合人眼的主观色彩感知，需对饱和度图像进行校正；
④计算出饱和度偏移量，并通过饱和度偏移量对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR；
通过公式
Figure BDA0003558795900000101
计算出饱和度偏移量η，其中，Vmedian表示压缩后的亮度图像VLDR的中值，VG(p)表示引导图像VG中第p个像素点的亮度值，VLDR(p)表示压缩后的亮度图像VLDR中第p个像素点的亮度值，p∈[1，N]，N表示总像素点数量；
通过公式SLDR＝(SHDR×(1+η))(1+2η)对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR；
⑤将压缩后的亮度图像VLDR、校正后的饱和度图像SLDR和高动态范围图像的色调图像HHDR，作为低动态范围图像的亮度图像、饱和度图像和色调图像，并将其由HSV色彩空间转换到RGB色彩空间得到最终的低动态范围图像并输出。
实验分析
色调映射的一个重要任务是保存原始HDR图像的所有视觉信息和局部结构，为了使结果更有说服力，本实验选择不同场景及动态范围来进行验证，并与现有的优秀TM方法进行对比，如Khan’s方法、Gabriel’s方法、Gu’s方法、Farbman’s方法、Li’s方法、Liang’s方法。
本实施例中选择四种不同的场景进行对比，包括室内黑暗场景(如图4(a)所示，动态范围是4.9)、室外黑暗场景(如图5(a)所示，动态范围是5.4)、室内亮场景(如图6(a)所示，动态范围是4.1)和室外亮场景(如图7(a)所示，动态范围是4.8)，这些场景包含大量的细节和明、暗区域，可以很好地验证本发明的有效性。
利用色调映射的图像质量指数(TMQI)对图像进行客观评价打分是判断图像质量好坏的重要手段。TMQI评估色调映射图像的结构保真度和自然性，通过幂函数调整测量值，计算给出从0到1的结果分值，TMQI值越大，表示TM图像的质量越好，反之亦然。表1为在GregWard数据库中随机抽取10张HDR图像，通过不同TM方法得到的TMQI值，其中，Proposed表示本发明的方法；
表1不同TM方法得到的TMQI值
Gabriel’s Gu’s Khan’s Li’s Liang’s Farbman’s Proposed
Cathedral 0.8357 0.8092 0.8971 0.7920 0.8212 0.8169 0.9275
Rend 0.8125 0.8086 0.9240 0.8333 0.8987 0.8229 0.9006
Desk 0.8058 0.7433 0.7924 0.8405 0.7893 0.8080 0.9355
Seaport 0.5391 0.5668 0.6623 0.5370 0.6175 0.6324 0.6681
Still 0.8513 0.7777 0.8241 0.5805 0.8340 0.7324 0.8842
Nave 0.7534 0.9339 0.9311 0.9261 0.8685 0.7664 0.9032
Rosette 0.8517 0.9346 0.8888 0.8533 0.8906 0.7728 0.9400
Atrium 0.8368 0.7877 0.8509 0.7908 0.8830 0.8523 0.8633
Memorial 0.7605 0.8093 0.8336 0.8342 0.7893 0.8080 0.9377
Forest 0.4210 0.7116 0.8875 0.7043 0.8086 0.7844 0.8870
从表1和图8中可知，本发明取得的TMQI值均大于别的TM方法，表明了使用本发明可以将HDR图像映射为LDR图像，且映射效果及图像质量均优于现有方法。
为了证明本发明的泛化性，从网络上随机选取181张不同的HDR图像，构建为新建HDR数据库，并对新建HDR数据库进行了检测，得到图像结构保真度(Fidelity)、自然度(Naturalness)和TMQI的平均值得分，如表2所示，本发明在三个评价指标均取得了前二的成绩，充分地说明了本发明的可行性与普遍性。
表2不同TM方法的客观评价得分表
Gabriel’s Gu’s Khan’s Li’s Liang’s Farbman’s Proposed
Fidelity 0.4989 0.6547 0.7119 0.6188 0.6679 0.7476 0.7398
Natura1ness 0.4396 0.5735 0.8095 0.5319 0.6506 0.1814 0.7748
TMQI 0.6543 0.8082 0.8427 0.7659 0.8293 0.7955 0.8529
如图6(b)和图7(b)所示，图像在光线充足的区域产生了颜色的失真；
如图6(c)和图7(c)所示，图像细节信息得到了较好的保留，但降低了图像的自然度；
如图6(d)和图7(d)所示，图像保持了整体的完整性，同时也导致图像暗区域的细节模糊，即细节纹理信息保留较差；
如图6(e)和图7(e)所示，图像保留了较好的细节纹理信息，但是在图像边缘产生了明显的光晕；
如图6(f)和图7(f)所示，图像保留了整体的完整性及较好的细节纹理信息，但整体亮暗区域的对比度存在一定的失衡。
如图6(g)和图7(g)所示，图像出现了天空颜色的失真；
如图6(h)和图7(h)所示，图像保留了整体的完整性、自然性以及较好的细节纹理信息，图像没有产生任何颜色的失真，图像边缘也没有产生光晕，图像中整体亮暗区域的对比度没有失衡，与图6(b)～图6(g)以及图7(b)～图7(g)相比，本发明可以有效增强图像的纹理细节信息，降低边缘光晕，避免色彩失真，因此本发明在图像的自然性和细节保留方面都取得了较好的效果，达到了TM的目的。
现有的TMQI评价方法仅考虑TM在图像亮度域的贡献，而不考虑在图像色度域的贡献，为了进一步验证本发明的性能，我们在新建HDR数据库上，参考国际标准MOS值的打分标准，进行主观评价打分。具体来说选取20名受试者，包含10名男性和10名女性，被要求用7种TM方法(Gabriel’s、Gu’s、Khan’s、Li’s、Liang’s、Farbman’s和本发明)对TM的HDR图像结果进行评分，分数范围从1分(最差)到5分(最好)。
如图9所示，本发明得到了最高的平均分4.3分，其余TM方法得分分别是2.9分(Gabriel’s)、3.2分(Gu’s)、3.8分(Khan’s)、3.4分(Li’s)、3.8分(Liang’s)和3.5分(Farbman’s)，说明了使用本发明对HDR图像进行TM在主观人眼观看的效果也是最好的。
本专利的词语解释：
Cathedral、Rend、Desk、Seaport、Still、Nave、Rosette、Atrium、Memorial、Forest为Greg Ward数据库中随机抽取的10张HDR图像的名称；
Gabriel’s方法参考文献：Eilertsen G，Mantiuk R K and Unger J.2016.Real-time noise-aware tone-mapping and its use in luminance retargeting.IEEEInternational Conference on Image Processing：894-898.
Gu’s方法参考文献：Gu B，LiW，Zhu M and Wang M.2012.Local edge-preservingmultiscale decomposition for highdynamic range image tone mapping.IEEETransactions on image Processing，22(1)：70-79.
Khan’s方法参考文献：Khan IR，Rahardja S，Khan M M，Movaniaet M M and AbedF.2018.A tone-mapping technique based on histogram using a sensitivity modelof the human visual system.IEEE Transactions on Industrial Electronics，65(4)：3469-3479.
Li’s方法参考文献：Li H，Jia X and Zhang L.2018.Clustering based contentand color adaptive tone mapping.Computer Vision and Image Understanding，168：37-49.
Liang’s方法参考文献：Liang，Z，Xu，J，Zhang，D，Cao，z and Zhang，L.2018.Ahybrid 11-10 layer decomposition model for tone mapping.Proceedings of theIEEE conference on computer vision and pattem recognition：4758-4766.
Farbman’s方法参考文献：Farbman Z，Fattal R，Lischinski D and Szeliski，R.2008.Edge-preserving decompositions for multi-scale tone and detailmanipulation.ACM Transactions on Graphics，27(3)：1-10.
加权引导滤波器参考文献：K.He，J.Sun，and X.Tang，“Guided imagefiltering，”IEEE Trans.Pattern Anal.Mach.Learn.，vol.35，no.6，pp.1397-1409，Jun.2013。

Claims (6)

1.一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于包括以下步骤：
①输入高动态范围图像；
②将高动态范围图像从RGB色彩空间转换到HSV色彩空间，并得到色调图像HHDR、饱和度图像SHDR和亮度图像VHDR；
③首先对亮度图像VHDR进行宏观信息统计，并对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd，其次分别对基础层图像Vb和细节层图像Vd进行亮度感知压缩和放大，得到压缩后的基础层图像Vb′和放大后的细节层图像Vd′，最后将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合，得到压缩后的亮度图像VLDR；
④计算出饱和度偏移量，并通过饱和度偏移量对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR；
⑤将压缩后的亮度图像VLDR、校正后的饱和度图像SLDR和高动态范围图像的色调图像HHDR，作为低动态范围图像的亮度图像、饱和度图像和色调图像，并将其由HSV色彩空间转换到RGB色彩空间得到最终的低动态范围图像并输出。
2.根据权利要求1所述的一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于所述的步骤③的具体过程如下：
步骤③-1：利用CLAHE对亮度图像VHDR进行宏观信息统计，得到引导图像VG：
通过公式
Figure FDA0003558795890000011
计算出引导图像中第p1个像素点的亮度值VG(p1)，其中，p1∈[1，N]，
Figure FDA0003558795890000012
表示亮度图像VHDR的平均亮度值，Vh(p1)表示亮度图像中第p1个像素点的亮度值，N表示总像素点数量，N′表示亮度图像中亮度值低于平均亮度值的像素点数量，α表示第一可变参数，β表示第二可变参数，γ表示第三可变参数；
步骤③-2：根据设定的边缘感知权重函数和引导图像VG，利用加权引导滤波器对亮度图像VHDR进行分解分层，得到基础层图像Vb和细节层图像Vd：
通过公式Vb＝F(VG，VHDR，T(p2))计算得到基础层图像Vb，其中，F(·)表示加权引导滤波器对应的加权引导滤波函数，VG表示引导图像，VHDR表示亮度图像，T(p2)表示设定的边缘感知权重函数；
通过公式Vd＝VHDR-Vb计算得到细节层图像Vd；
步骤③-2中设定的边缘感知权重函数为：
Figure FDA0003558795890000021
其中，p2表示亮度图像中第p2个像素点，p2∈[1，N]，N表示总像素点数量，p2′表示p2的邻域像素，
Figure FDA00035587958900000214
表示窗口
Figure FDA0003558795890000022
中亮度图像VHDR的方差，
Figure FDA0003558795890000023
表示窗口
Figure FDA0003558795890000024
中亮度图像VHDR的平均亮度值，
Figure FDA0003558795890000025
表示以p2为中心，边长为5的正方形窗口，
Figure FDA00035587958900000215
表示窗口
Figure FDA0003558795890000026
中亮度图像VHDR的方差，
Figure FDA0003558795890000027
表示窗口
Figure FDA0003558795890000028
中亮度图像VHDR的平均亮度值，
Figure FDA0003558795890000029
表示以p2′为中心，边长为5的正方形窗口，σ为一个确保分母不为零而设的微小常数，σ＝10-6；
步骤③-3：根据引导图像VG对基础层图像Vb进行亮度感知压缩，得到压缩后的基础层图像Vb′：
通过公式
Figure FDA00035587958900000210
计算得到压缩后的基础层图像中第p3个像素点的亮度值Vb′(p3)，其中，p3∈[1，N]，N表示总像素点数量，
Figure FDA00035587958900000211
Vb(p3)表示基础层图像中第p3个像素点的像素值，
Figure FDA00035587958900000212
表示亮度图像VHDR的平均亮度值，
Figure FDA00035587958900000213
表示引导图像的平均亮度值，VGmin表示引导图像的最小亮度值，VGmax表示引导图像的最大亮度值；
步骤③-4：利用图像共生矩阵提取亮度图像的显著性区域：
将图像共生矩阵记为H，H＝[H(m，n)]，其中1≤m，n≤K，K表示量化等级，H(m，n)表示坐标(m，n)在窗口(2r+1，2r+1)共生的计数统计值，r表示邻域半径；
对灰度共生矩阵H进行归一化得到概率质量函数P；
通过公式
Figure FDA0003558795890000031
计算得到亮度图像的显著性区域中第p4个像素点的亮度值S(p4)，其中，p4∈[1，N]，N表示总像素点数量，
Figure FDA0003558795890000032
表示反向的概率质量函数，VHDR(p4)表示亮度图像中第p4个像素点的亮度值，VHDR(p4′)表示亮度图像中p4的邻域像素p4′的亮度值；
步骤③-5：根据亮度图像的显著性区域对细节层图像Vd进行放大，得到放大后的细节层图像Vd′：
通过公式
Figure FDA0003558795890000033
计算出放大后的细节层图像Vd′，其中，S(p5)表示亮度图像的显著性区域中第p5个像素点的亮度值，p5∈[1，N]，N表示总像素点数量，Smax(p5)表示亮度图像的显著性区域中的最大亮度值，S1max(p5)表示
Figure FDA0003558795890000034
的最大值，S1min(p5)表示
Figure FDA0003558795890000035
的最小值，θ1表示第一放大系数，θ2表示第二放大系数；
步骤③-6：将压缩后的基础层图像Vb′和放大后的细节层图像Vd′进行融合并进行指数处理，得到压缩后的亮度图像VLDR：
VLDR＝exp(Vb′+Vd′)。
3.根据权利要求2所述的一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于所述的步骤③-1中，α＝0.7419，β＝-0.142，γ＝0.59。
4.根据权利要求2所述的一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于所述的步骤③-4中，K＝20，r＝4。
5.根据权利要求2所述的一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于所述的步骤③-5中，θ1＝0.27，θ2＝1.5。
6.根据权利要求1所述的一种基于宏微观信息增强及色彩校正的色调映射方法，其特征在于所述的步骤④的具体过程如下：
通过公式
Figure FDA0003558795890000041
计算出饱和度偏移量η，其中，Vmedian表示压缩后的亮度图像VLDR的中值，VG(p)表示引导图像VG中第p个像素点的亮度值，VLDR(p)表示压缩后的亮度图像VLDR中第p个像素点的亮度值，p∈[1，N]，N表示总像素点数量；
通过公式SLDR＝(SHDR×(1+η))(1+2η)对饱和度图像SHDR进行校正，得到校正后的饱和度图像SLDR。
CN202210285232.0A 2022-03-22 2022-03-22 一种基于宏微观信息增强及色彩校正的色调映射方法 Pending CN114757839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210285232.0A CN114757839A (zh) 2022-03-22 2022-03-22 一种基于宏微观信息增强及色彩校正的色调映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210285232.0A CN114757839A (zh) 2022-03-22 2022-03-22 一种基于宏微观信息增强及色彩校正的色调映射方法

Publications (1)

Publication Number Publication Date
CN114757839A true CN114757839A (zh) 2022-07-15

Family

ID=82327092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210285232.0A Pending CN114757839A (zh) 2022-03-22 2022-03-22 一种基于宏微观信息增强及色彩校正的色调映射方法

Country Status (1)

Country Link
CN (1) CN114757839A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908179A (zh) * 2022-11-18 2023-04-04 河南科技学院 双先验优化的水下图像对比度增强方法
CN116017171A (zh) * 2023-02-01 2023-04-25 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备、芯片及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908179A (zh) * 2022-11-18 2023-04-04 河南科技学院 双先验优化的水下图像对比度增强方法
CN115908179B (zh) * 2022-11-18 2023-12-22 河南科技学院 双先验优化的水下图像对比度增强方法
CN116017171A (zh) * 2023-02-01 2023-04-25 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备、芯片及存储介质
CN116017171B (zh) * 2023-02-01 2023-06-20 北京小米移动软件有限公司 一种图像处理方法、装置、电子设备、芯片及存储介质

Similar Documents

Publication Publication Date Title
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
CN103295191B (zh) 多尺度视觉自适应图像增强方法及评价方法
CN114757839A (zh) 一种基于宏微观信息增强及色彩校正的色调映射方法
CN104156921B (zh) 一种低照度或亮度不均图像的自适应图像增强方法
CN105931201B (zh) 一种基于小波变换的图像主观视觉效果增强方法
CN108288258B (zh) 一种针对恶劣天气条件下的低质图像增强方法
CN112001904B (zh) 一种遥感图像质量清晰度综合评价模块及评价方法
CN111598791B (zh) 一种基于改进动态大气散射系数函数的图像去雾方法
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
CN108198155B (zh) 一种自适用色调映射方法及系统
CN106709504B (zh) 细节保持的高保真色调映射方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN106683056A (zh) 一种机载光电红外数字图像处理方法及装置
CN111476725A (zh) 一种基于梯度域导向滤波和多尺度Retinex理论的图像去雾增强算法
CN111968041A (zh) 一种自适应图像增强方法
CN108022223A (zh) 一种基于对数映射函数分块处理融合的色调映射方法
CN110796626A (zh) 图像锐化方法及装置
Lee et al. Ramp distribution-based image enhancement techniques for infrared images
Priyanka et al. Low-light image enhancement by principal component analysis
CN111161163A (zh) 一种直方图双重伽马校正的红外图像对比度增强方法
CN111968065A (zh) 一种亮度不均匀图像的自适应增强方法
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN114463207B (zh) 基于全局动态范围压缩与局部亮度估计的色阶映射方法
CN108550124B (zh) 一种基于仿生螺线的光照补偿及图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination