CN109410126B - 一种细节增强与亮度自适应的高动态范围图像的色调映射方法 - Google Patents

一种细节增强与亮度自适应的高动态范围图像的色调映射方法 Download PDF

Info

Publication number
CN109410126B
CN109410126B CN201710764423.4A CN201710764423A CN109410126B CN 109410126 B CN109410126 B CN 109410126B CN 201710764423 A CN201710764423 A CN 201710764423A CN 109410126 B CN109410126 B CN 109410126B
Authority
CN
China
Prior art keywords
dynamic range
histogram
image
brightness
ldr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710764423.4A
Other languages
English (en)
Other versions
CN109410126A (zh
Inventor
谭洪舟
刘付康
朱雄泳
陈荣军
谢舜道
吴炆芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE, Sun Yat Sen University, SYSU CMU Shunde International Joint Research Institute filed Critical SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE
Priority to CN201710764423.4A priority Critical patent/CN109410126B/zh
Publication of CN109410126A publication Critical patent/CN109410126A/zh
Application granted granted Critical
Publication of CN109410126B publication Critical patent/CN109410126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种细节增强与亮度自适应的高动态范围图像色调映射方法。本发明对输入HDR图像亮度灰度图进行全局细节增强,计算HDR图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;再对其进行亮度直方图统计,并且计算其平均值与标准差,对直方图进行分段裁剪与补偿;再由亮度与标准差估算模型计算映射后中间低动态范围图像的平均亮度与标准差,从而求解HDR图像到中间LDR图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间LDR图像亮度;接着,对中间LDR图像亮度过暗或过亮区域进行局部细节增强映射得到输出LDR图像亮度;最后将HDR图像色彩映射到输出LDR图像色彩,合并色彩空间获得输出LDR图像。本发明能将HDR图像映射到LDR图像,输出的LDR图像亮度自适应,细节增强,主观效果和谐。

Description

一种细节增强与亮度自适应的高动态范围图像的色调映射 方法
技术领域
本发明设计了一种细节增强与亮度自适应的高动态范围图像(简称HDR图像)的色调映射方法,具体来说,它是一种对细节进行增强与基于亮度与标准差估算模型计算映射后中间低动态范围图像(简称LDR图像)的平均亮度与标准差,从而得到细节增强与亮度自适应的输出LDR图像的高动态范围图像色调映射方法。
背景技术
目前的CMOS传感器已能采集到170dB的高动态范围的真实场景的图像,从而对传统图像的存储、传输、处理、重现等技术提出了新的挑战。因此存在各种对采集到的HDR图像的动态范围进行压缩的方法,以解决真实场景与存储、传输、处理、重现等技术的动态范围不匹配的问题。这种对高动态范围图像的压缩方式称为色调映射。但是目前色调映射的方法过于依赖相关参数的调节,映射得到的图像细节部分与视觉感受部分不能很好体现真实场景。
发明内容
针对以上不足,本发明提供了一种细节增强与亮度自适应的HDR图像的色调映射方法。本发明能将HDR图像映射到LDR图像,输出的LDR图像亮度自适应,细节增强,主观效果和谐。
本发明提供了一种细节增强与亮度自适应的HDR图像的色调映射方法,包括有如下步骤:
1)对输入HDR图像亮度灰度图进行全局细节增强,计算HDR图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;
2)对全局细节增强的HDR图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;
3)由亮度与标准差估算模型计算映射到中间LDR图像的平均亮度与标准差,从而求解HDR图像到中间LDR图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间LDR图像亮度;
4)对中间LDR图像亮度灰度图过暗或过亮区域进行局部细节增强映射得到输出LDR图像亮度;
5)将HDR图像色彩通道映射到对应输出LDR图像色彩通道,合并色彩空间获得输出LDR图像。
所述步骤1)包括:
11)定义输入HDR图像红绿蓝三个色彩通道的数据分别为R,G,B,定义HDR图像亮度Lw
Lw=0.299R+0.587G+0.114B (1)
12)定义输入HDR图像大尺度纹理层为b:
Figure BDA0001393842160000021
其中,I为单位矩阵;α是平衡因子,选取25~35之间;Qx,Qy是前向差分算子,
Figure BDA0001393842160000025
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵,平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure BDA0001393842160000022
Figure BDA0001393842160000023
其中,ε1是很小的数,取0.0002;β是决定ln(Lw)梯度灵敏度的参数,选取5~5.5之间;
13)计算输入HDR图像亮度的对数Le
Le=ln(Lw) (5)
14)定义HDR图像亮度细节层对数d:
d=Le-ln(b) (6)
15)定义HDR图像全局增强亮度的对数L'e
L'e=λ1ln(b)+λ2d (7)
其中,λ1是修正因子,取0.94~0.98之间,λ2是增强因子,定义为:
Figure BDA0001393842160000024
其中,μHDR为输入HDR图像平均亮度;C为输入HDR图像对比度,μHDR和C分别定义如下:
Figure BDA0001393842160000031
Figure BDA0001393842160000032
其中,M和N是输入HDR图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的亮度值,δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率;像素相邻取四近邻。
所述步骤2)包括:
21)定义L'e的最大值Lmax以及最小值Lmin,直方图组数为D,取为1000,将L'e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure BDA0001393842160000033
其中,
Figure BDA0001393842160000034
表示向下取整;
22)对离散后的亮度图像LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (12)
其中,p=0,…,D-1,<U>表示集合U的元素个数;
23)定义由步骤a)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure BDA0001393842160000035
24)定义由步骤a)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure BDA0001393842160000036
25)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure BDA0001393842160000037
t1和t2将直方图分割为三段独立的直方图分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (16)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure BDA0001393842160000041
Figure BDA0001393842160000042
Figure BDA0001393842160000043
26)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure BDA0001393842160000044
定义裁剪后的直方图为hl':
Figure BDA0001393842160000045
为了不改变hl在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hl”:
Figure BDA0001393842160000046
其中,resl为第一段直方图经过裁剪出来的数量之和,p=0,…,t1-1;
27)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure BDA0001393842160000047
定义裁剪后的直方图为hs':
Figure BDA0001393842160000048
为了不改变hs在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hs”:
Figure BDA0001393842160000051
其中,ress为第二段直方图经过裁剪出来的数量之和,p=t1,…,t2-1;
28)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure BDA0001393842160000052
定义裁剪后的直方图为hu':
Figure BDA0001393842160000053
为了不改变hu在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hu”:
Figure BDA0001393842160000054
其中,resu为第三段直方图经过裁剪出来的数量之和,p=t2,…,D-1;
29)定义经过裁剪和补偿的直方图h”:
Figure BDA0001393842160000055
所述步骤3)包括:
31)定义HDR图像直方图的分割点t1和t2映射到中间LDR图像直方图的分割点为t1'和t'2,定义估计输出图像的模型平均亮度μm和标准差σm,通过迭代求解方程得到分割点t1';
根据估计模型计算分割点t1',k的方程:
Figure BDA0001393842160000061
其中k是迭代次数,计算标准差σm,k的方程:
Figure BDA0001393842160000062
32)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间LDR图像初始平均亮度为μm,0,计算t1',0=f1m,0m,0),迭代开始;
33)计算输出图像的标准差σm,k=f2(t1',k-1m,k-1);更新自适应亮度μm,k
Figure BDA0001393842160000063
该式子基于最大熵提出,其中,[ω0L]是从HDR图像映射到低动态图像的范围,取[ω0L]为[0,255];
34)更新t1',k=f1m,km,k);
35)若满足
Figure BDA0001393842160000064
或k>K,迭代结束,输出最终的分割点t1’=t’1,k,t2’=t1’+2σm,k;否则令k=k+1,转到步骤c3);
36)定义直方图的累计密度函数cdf:
Figure BDA0001393842160000065
37)定义从高动态范围[0,D-1]的图像映射到低动态范围[ω0L]的图像的映射曲线函数T:
Figure BDA0001393842160000066
38)定义映射后的中间低动态范围灰度图L'LDR
L'LDR(i,j)=T(LI(i,j)) (33)。
所述步骤4)包括:
41)定义中间低动态范围亮度灰度图L'LDR归一化亮度灰度图L”LDR
L”LDR=L'LDR/255 (34)
42)定义L”LDR的平均值
Figure BDA0001393842160000071
Figure BDA0001393842160000072
43)定义L”LDR的标准差
Figure BDA0001393842160000073
Figure BDA0001393842160000074
44)定义中心位于(i,j)大小为θ1×θ1的图像窗口θ,取θ1为5,低动态范围亮度灰度图L”LDR局部细节增强后得到低动态范围亮度灰度图L”'LDR;判断图像窗口θ是否为过暗区域,若是则进行过暗区域局部细节增强处理;判断图像窗口是否为过亮区域,若是则进行过亮区域局部细节增强处理;遍历整幅亮度灰度图L”LDR得到L”'LDR
45)定义映射后的低动态范围亮度灰度图LLDR
LLDR=L”'LDR×255 (37)
所述步骤44)还包括:
441)定义图像窗口θ的灰度平均值μθ
Figure BDA0001393842160000075
442)定义图像窗口的灰度标准差σθ
Figure BDA0001393842160000076
443)判断图像窗口θ是否过暗区域,即是否满足
Figure BDA0001393842160000081
Figure BDA0001393842160000082
其中η1、η2和η3是可调参数,η1选取0.6~0.8之间,η2选取0~0.05之间,η3选取0.5~1之间,选取η1=0.8,η2=0,η3=0.8;若满足则有:
Figure BDA0001393842160000083
其中ε2为修正参数,取为0.03;η4为过暗区域可调增强因子,η4选取1~3之间;
444)判断图像窗口θ是否过亮区域,即是否满足
Figure BDA0001393842160000084
Figure BDA0001393842160000085
其中η5、η6和η7是可调参数,η5选取1.2~1.4之间,η6选取0~0.05之间,η7选取大于5,选取η5=1.3,η6=0,η7=10;若满足则有:
Figure BDA0001393842160000086
其中η8为过亮区域可调增强因子,η8选取1~3之间;
445)若图像窗口θ既不是过暗区域也不是过亮区域,则有:
L”'LDR(i,j)=L”LDR(i,j) (42)。
所述步骤5)包括:
51)定义输出LDR图像RGB三个通道数据分别为RLDR,GLDR和BLDR
Figure BDA0001393842160000087
其中γ为伽马校正的伽马参数,设置为0.45或0.55。
本发明的有益效果
本发明首先对HDR图像亮度灰度图全局细节增强;再由直方图裁剪与补偿、亮度与标准差估算模型获得HDR图像到LDR图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间LDR图像亮度;然后对中间LDR图像灰度图过暗与过亮区域进行局部细节增强映射得到输出LDR图像亮度灰度图;这样减少了色调映射对相关参数依赖,映射得到的LDR图像细节部分与视觉感受部分很好的体现了真实场景。
附图说明
图1细节增强与亮度自适应的HDR图像色调映射方法的框图
图2细节增强与亮度自适应的HDR图像色调映射方法的流程图
图3估算中间LDR图像的标准差的直方图模型
图4输入HDR经典图像Memorial Church经过色调映射的LDR图像灰度图
具体实施方式
下面结合附图对本发明进行进一步阐述。
如图1所示,本发明一种细节增强与亮度自适应的HDR图像色调映射方法,包括如下步骤:1)对输入HDR图像亮度灰度图进行全局细节增强,计算HDR图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;2)对全局细节增强的HDR图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;3)由亮度与标准差估算模型计算映射到中间LDR的平均亮度与标准差,从而求解HDR图像到中间LDR图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间LDR图像亮度;4)对中间LDR图像亮度灰度图过暗或过亮区域进行局部细节增强映射得到输出LDR图像亮度灰度图;5)将HDR图像色彩通道映射到对应输出LDR图像色彩通道,合并色彩空间获得输出LDR图像。本发明一种细节增强与亮度自适应的HDR图像色调映射方法的具体实施过程如图2所示。
下面对各步骤进行详细阐述:
1)对输入HDR经典图像Memorial Church亮度灰度图进行全局细节增强,计算HDR图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度。
11)定义输入HDR图像红绿蓝三个色彩通道的数据分别为R,G,B,定义HDR图像亮度Lw
Lw=0.299R+0.587G+0.114B (87)
12)定义输入HDR图像大尺度纹理层为b:
Figure BDA0001393842160000101
其中,I为单位矩阵;α是平衡因子,一般选取25~35之间,本发明取为30;Qx,Qy是前向差分算子,
Figure BDA0001393842160000102
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵,平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure BDA0001393842160000103
Figure BDA0001393842160000104
其中,ε1是很小的数,本发明取0.0002;β是决定ln(Lw)梯度灵敏度的参数,一般选取5~5.5之间,本发明取5。
13)计算输入HDR图像亮度的对数Le
Le=ln(Lw) (91)
14)定义HDR图像亮度细节层对数d:
d=Le-ln(b) (92)
15)定义HDR图像全局增强亮度的对数L'e
L'e=λ1ln(b)+λ2d (93)
其中,λ1是修正因子,一般选取0.94~0.98之间,取0.95;λ2是增强因子,定义为:
Figure BDA0001393842160000105
其中,μHDR为输入HDR图像平均亮度;C为输入HDR图像对比度。μHDR和C分别定义如下:
Figure BDA0001393842160000106
Figure BDA0001393842160000107
其中,M和N是输入HDR图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的像素值。δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率;本发明像素相邻取四近邻。
2)对全局细节增强的HDR图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿。
21)定义L'e的最大值Lmax以及最小值Lmin,直方图组数为D,本发明取为1000,将L'e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure BDA0001393842160000111
其中,
Figure BDA0001393842160000112
表示向下取整操作;本发明取为2000。
22)对离散后的亮度图像LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (98)
其中,p=0,…,D-1,<U>表示集合U的元素个数。
23)定义由步骤a)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure BDA0001393842160000113
24)定义由步骤a)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure BDA0001393842160000114
25)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure BDA0001393842160000115
t1和t2将直方图分割为三段独立的直方图分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (102)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure BDA0001393842160000121
Figure BDA0001393842160000122
Figure BDA0001393842160000123
26)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure BDA0001393842160000124
定义裁剪后的直方图为hl':
Figure BDA0001393842160000125
为了不改变hl在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hl”:
Figure BDA0001393842160000126
其中,resl为第一段直方图经过裁剪出来的数量之和,p=0,…,t1-1。
27)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure BDA0001393842160000127
定义裁剪后的直方图为hs':
Figure BDA0001393842160000128
为了不改变hs在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hs”:
Figure BDA0001393842160000129
其中,ress为第二段直方图经过裁剪出来的数量之和,p=t1,…,t2-1。
28)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure BDA0001393842160000131
定义裁剪后的直方图为hu':
Figure BDA0001393842160000132
为了不改变hu在整体的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为hu”:
Figure BDA0001393842160000133
其中,resu为第三段直方图经过裁剪出来的数量之和,p=t2,…,D-1。
29)定义经过裁剪和补偿的直方图h”:
Figure BDA0001393842160000134
3)由亮度与标准差估算模型计算映射到中间LDR的平均亮度与标准差,从而求解HDR图像到中间LDR图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间LDR图像亮度,其中,标准差估算模型如图3所示。
31)定义HDR图像直方图的分割点t1和t2映射到中间LDR图像直方图的分割点为t1'和t'2,定义估计输出图像的模型平均亮度μm和标准差σm,通过迭代求解方程得到分割点t1'。
根据估计模型计算分割点t1',k的方程:
Figure BDA0001393842160000135
其中k是迭代次数,计算标准差σm,k的方程:
Figure BDA0001393842160000141
32)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间LDR图像初始平均亮度为μm,0,计算t1',0=f1m,0m,0),迭代开始;
33)计算输出图像的标准差σm,k=f2(t1',k-1m,k-1);更新自适应亮度μm,k
Figure BDA0001393842160000142
该式子基于最大熵提出,其中,[ω0L]是从HDR图像映射到低动态图像的范围,本发明取[ω0L]为[0,255]。
34)更新t1',k=f1m,km,k)。
35)若满足
Figure BDA0001393842160000143
或k>K,迭代结束,输出最终的分割点t1’=t’1,k,t2’=t1’+2σm,k;否则令k=k+1,转到步骤c3)。
36)定义直方图的累计密度函数cdf:
Figure BDA0001393842160000144
37)定义从高动态范围[0,D-1]的图像映射到低动态范围[ω0L]的图像的映射曲线函数T:
Figure BDA0001393842160000145
38)定义映射后的中间低动态范围灰度图L'LDR
L'LDR(i,j)=T(LI(i,j)) (119)。
4)对中间LDR图像亮度灰度图过暗或过亮区域进行局部细节增强映射。
41)定义中间低动态范围灰度图L'LDR归一化灰度图L”LDR
L”LDR=L'LDR/255 (120)
42)定义L”LDR的平均值
Figure BDA0001393842160000151
Figure BDA0001393842160000152
43)定义L”LDR的标准差
Figure BDA0001393842160000153
Figure BDA0001393842160000154
44)定义中心位于(i,j)大小为θ1×θ1的图像窗口θ,本发明取θ1为5,低动态范围灰度图L”LDR局部细节增强后得到低动态范围灰度图L”'LDR;判断图像窗口θ是否为过暗区域,若是则进行过暗区域局部细节增强处理;判断图像窗口是否为过亮区域,若是则进行过亮区域局部细节增强处理;遍历整幅灰度图L”LDR得到L”'LDR
45)定义映射后的低动态范围灰度图LLDR
LLDR=L”'LDR×255 (123)
所述步骤44)还包括:
441)定义图像窗口θ的灰度平均值μθ
Figure BDA0001393842160000155
442)定义图像窗口θ的灰度标准差σθ
Figure BDA0001393842160000156
443)判断图像窗口θ是否过暗区域,即是否满足
Figure BDA0001393842160000157
Figure BDA0001393842160000158
其中η1、η2和η3是可调参数,η1一般选取0.6~0.8之间,η2一般选取0~0.05之间,η3一般选取0.5~1之间,本发明选取η1=0.8,η2=0,η3=0.8;若满足则有:
Figure BDA0001393842160000161
其中ε2为修正参数,取为0.03;η4为过暗区域可调增强因子,η4一般取1~3之间,本发明取为2。
444)判断图像窗口θ是否过亮区域,即是否满足
Figure BDA0001393842160000162
Figure BDA0001393842160000163
其中η5、η6和η7是可调参数,η5一般选取1.2~1.4之间,η6一般选取0~0.05之间,η7一般选取大于5,本发明选取η5=1.3,η6=0,η7=10;若满足则有:
Figure BDA0001393842160000164
其中η8为过亮区域可调增强因子,η8一般取1~3之间,本发明取为2。
445)若图像窗口θ既不是过暗区域也不是过亮区域,则有:
L”'LDR(i,j)=L”LDR(i,j) (128)
5)将HDR图像色彩通道映射到对应输出LDR图像色彩通道,合并色彩空间获得输出LDR图像。
51)定义输出LDR图像RGB三个通道数据分别为RLDR,GLDR和BLDR
Figure BDA0001393842160000165
其中γ为伽马校正的伽马参数,一般设置为0.45或0.55,本发明取为0.45。

Claims (5)

1.一种细节增强与亮度自适应的高动态范围图像的色调映射方法,其特征在于包括有如下步骤:
1)对输入高动态范围图像亮度灰度图进行全局细节增强,计算高动态范围图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;
2)对全局细节增强的高动态范围图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;
3)由亮度与标准差估算模型计算映射到中间低动态范围图像的平均亮度与标准差,从而求解高动态范围图像到中间低动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优中间低动态范围图像亮度;
4)对中间低动态范围图像亮度灰度图过暗或过亮区域进行局部细节增强映射得到输出低动态范围图像亮度;
5)将高动态范围图像色彩通道映射到对应输出低动态范围图像色彩通道,合并色彩空间获得输出低动态范围图像;
所述步骤1)包括:
11)定义输入高动态范围图像红绿蓝三个色彩通道的数据分别为R,G,B,定义高动态范围图像亮度Lw
Lw=0.299R+0.587G+0.114B (1)
12)定义输入高动态范围图像大尺度纹理层为b:
Figure FDA0003355100840000011
其中,I为单位矩阵;α是平衡因子,选取25~35之间;Qx,Qy是前向差分算子,
Figure FDA0003355100840000012
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵,平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure FDA0003355100840000013
Figure FDA0003355100840000021
其中,ε1取0.0002;β是决定ln(Lw)梯度灵敏度的参数,选取5~5.5之间;
13)计算输入高动态范围图像亮度的对数Le
Le=ln(Lw) (5)
14)定义高动态范围图像亮度细节层对数d:
d=Le-ln(b) (6)
15)定义高动态范围图像全局增强亮度的对数L′e
L′e=λ1ln(b)+λ2d (7)
其中,λ1是修正因子,取0.94~0.98之间,λ2是增强因子,定义为:
Figure FDA0003355100840000022
其中,μHDR为输入高动态范围图像平均亮度;C为输入高动态范围图像对比度,μHDR和C分别定义如下:
Figure FDA0003355100840000023
Figure FDA0003355100840000024
其中,M和N是输入高动态范围图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的亮度值,δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率;像素相邻取四近邻。
2.根据权利要求1所述的细节增强与亮度自适应的高动态范围图像的色调映射方法,其特征在于,所述步骤2)包括:
21)定义L′e的最大值Lmax以及最小值Lmin,直方图组数为D,取为1000,将L′e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure FDA0003355100840000031
其中,
Figure FDA0003355100840000032
表示向下取整;
22)对离散后的亮度LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (12)
其中,p=0,…,D-1,<U>表示集合U的元素个数;
23)定义由步骤22)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure FDA0003355100840000033
24)定义由步骤22)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure FDA0003355100840000034
25)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure FDA0003355100840000035
t1和t2将直方图分割为三段独立的直方图,分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (16)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure FDA0003355100840000036
Figure FDA0003355100840000037
Figure FDA0003355100840000038
26)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure FDA0003355100840000041
定义裁剪后的直方图为h′l
Figure FDA0003355100840000042
为了不改变hl在直方图的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h″l
Figure FDA0003355100840000043
其中,resl为第一段直方图经过裁剪出来的像素数量之和,p=0,…,t1-1;
27)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure FDA0003355100840000044
定义裁剪后的直方图为h′s
Figure FDA0003355100840000045
为了不改变hs在直方图的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h″s
Figure FDA0003355100840000046
其中,ress为第二段直方图经过裁剪出来的像素数量之和,p=t1,…,t2-1;
28)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure FDA0003355100840000047
定义裁剪后的直方图为h′u
Figure FDA0003355100840000051
为了不改变hu在直方图的比例,需要将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h″u
Figure FDA0003355100840000052
其中,resu为第三段直方图经过裁剪出来的像素数量之和,p=t2,…,D-1;
29)定义经过裁剪和补偿的直方图h″:
Figure FDA0003355100840000053
3.根据权利要求1所述的细节增强与亮度自适应的高动态范围图像的色调映射方法,其特征在于,所述步骤3)包括:
31)定义高动态范围图像直方图的分割点t1和t2映射到中间低动态范围图像直方图的分割点为t′1和t′2,定义估计输出图像的模型平均亮度μm和标准差σm,通过迭代求解方程得到分割点t′1
根据估计模型计算分割点t′1,k的方程:
Figure FDA0003355100840000054
其中k是迭代次数,计算标准差σm,k的方程:
Figure FDA0003355100840000061
32)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间低动态范围图像初始平均亮度为μm,0,计算t′1,0=f1m,0m,0),迭代开始;
33)计算输出图像的标准差σm,k=f2(t′1,k-1m,k-1);更新自适应亮度μm,k
Figure FDA0003355100840000062
该式子基于最大熵提出,其中,[ω0L]是从高动态范围图像映射到低动态图像的范围,取[ω0L]为[0,255];
34)更新t′1,k=f1m,km,k);
35)若满足
Figure FDA0003355100840000063
或k>K,迭代结束,输出最终的分割点t1’=t’1,k,t2’=t1’+2σm,k;否则令k=k+1,转到步骤33);
36)定义直方图的累计密度函数cdf:
Figure FDA0003355100840000064
37)定义从高动态范围[0,D-1]的图像映射到低动态范围[ω0L]的图像的映射曲线函数T:
Figure FDA0003355100840000065
38)定义映射后的中间低动态范围灰度图L′LDR
L′LDR(i,j)=T(LI(i,j)) (33)。
4.根据权利要求1所述的细节增强与亮度自适应的高动态范围图像的色调映射方法,其特征在于,所述步骤4)包括:
41)定义中间低动态范围亮度灰度图L′LDR归一化低动态范围亮度灰度图L″LDR
L″LDR=L′LDR/255 (34)
42)定义L″LDR的平均值
Figure FDA0003355100840000071
Figure FDA0003355100840000072
43)定义L″LDR的标准差
Figure FDA0003355100840000073
Figure FDA0003355100840000074
44)定义中心位于(i,j)大小为θ1×θ1的图像窗口θ,取θ1为5,低动态范围亮度灰度图L″LDR局部细节增强后得到低动态范围亮度灰度图L″′LDR;判断图像窗口θ是否为过暗区域,若是则进行过暗区域局部细节增强处理;判断图像窗口θ是否为过亮区域,若是则进行过亮区域局部细节增强处理;遍历整幅低动态范围亮度灰度图L″′LDR得到低动态范围亮度灰度图L″′LDR
45)定义映射后的低动态范围亮度灰度图LLDR
LLDR=L″′LDR×255 (37)
所述步骤44)还包括:
441)定义图像窗口θ的灰度平均值μθ
Figure FDA0003355100840000075
442)定义图像窗口θ的灰度标准差σθ
Figure FDA0003355100840000081
443)判断图像窗口θ是否过暗区域,即是否满足
Figure FDA0003355100840000082
Figure FDA0003355100840000083
其中η1、η2和η3是可调参数,η1选取0.6~0.8之间,η2选取0~0.05之间,η3选取0.5~1之间;若满足则有:
Figure FDA0003355100840000084
其中ε2为修正参数,取为0.03;η4为过暗区域可调增强因子,η4选取1~3之间;
444)判断图像窗口θ是否过亮区域,即是否满足
Figure FDA0003355100840000085
Figure FDA0003355100840000086
其中η5、η6和η7是可调参数,η5选取1.2~1.4之间,η6选取0~0.05之间,η7选取大于5;若满足则有:
Figure FDA0003355100840000087
其中η8为过亮区域可调增强因子,η8选取1~3之间;
445)若图像窗口θ既不是过暗区域也不是过亮区域,则有:
L″′LDR(i,j)=L″LDR(i,j) (42)。
5.根据权利要求4所述的细节增强与亮度自适应的高动态范围图像的色调映射方法,其特征在于,所述步骤445)包括:
51)定义输出低动态范围图像RGB三个通道数据分别为RLDR,GLDR和BLDR
Figure FDA0003355100840000091
其中γ为伽马校正的伽马参数,设置为0.45或0.55。
CN201710764423.4A 2017-08-30 2017-08-30 一种细节增强与亮度自适应的高动态范围图像的色调映射方法 Active CN109410126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710764423.4A CN109410126B (zh) 2017-08-30 2017-08-30 一种细节增强与亮度自适应的高动态范围图像的色调映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710764423.4A CN109410126B (zh) 2017-08-30 2017-08-30 一种细节增强与亮度自适应的高动态范围图像的色调映射方法

Publications (2)

Publication Number Publication Date
CN109410126A CN109410126A (zh) 2019-03-01
CN109410126B true CN109410126B (zh) 2022-04-05

Family

ID=65462768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710764423.4A Active CN109410126B (zh) 2017-08-30 2017-08-30 一种细节增强与亮度自适应的高动态范围图像的色调映射方法

Country Status (1)

Country Link
CN (1) CN109410126B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223244B (zh) * 2019-05-13 2021-08-27 浙江大华技术股份有限公司 一种图像处理的方法、装置、电子设备和存储介质
CN111369478B (zh) * 2020-03-04 2023-03-21 腾讯科技(深圳)有限公司 人脸图像增强方法、装置、计算机设备和存储介质
CN113573032A (zh) * 2020-04-28 2021-10-29 深圳光峰科技股份有限公司 图像处理方法及投影系统
CN111915523B (zh) * 2020-08-04 2024-06-28 深圳蓝影医学科技股份有限公司 Dr图像亮度自适应调整方法及系统
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信(上海)有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
CN112381836B (zh) * 2020-11-12 2023-03-31 贝壳技术有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
CN112785532B (zh) * 2021-01-12 2022-11-18 安徽大学 基于加权直方图分布伽玛校正的奇异值均衡图像增强算法
CN113052923B (zh) * 2021-03-31 2023-02-28 维沃移动通信(深圳)有限公司 色调映射方法、装置、电子设备和存储介质
CN113240590B (zh) * 2021-04-13 2022-05-27 浙江大华技术股份有限公司 一种图像处理方法及装置
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
CN113888419A (zh) * 2021-09-23 2022-01-04 南京大学 一种图像去暗角方法
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
CN114463207B (zh) * 2022-01-24 2022-07-29 哈尔滨理工大学 基于全局动态范围压缩与局部亮度估计的色阶映射方法
CN114862706B (zh) * 2022-04-25 2022-10-14 哈尔滨理工大学 一种保持图像梯度方向的色阶映射方法
CN114820377A (zh) * 2022-05-10 2022-07-29 平安科技(深圳)有限公司 文本图像处理方法、装置、计算机设备及可读存储介质
CN116363148B (zh) * 2022-06-21 2024-04-02 上海玄戒技术有限公司 图像处理方法、装置、芯片及存储介质
CN115601267B (zh) * 2022-10-31 2023-04-07 哈尔滨理工大学 一种具有局部细节补偿能力的全局色阶映射方法
CN116309109B (zh) * 2023-01-05 2023-11-24 哈尔滨理工大学 一种基于亮度直方图均衡化的色阶映射方法
CN116167950B (zh) * 2023-04-26 2023-08-04 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质
CN116703798B (zh) * 2023-08-08 2023-10-13 西南科技大学 基于自适应干扰抑制的食管多模态内镜图像增强融合方法
CN117474816B (zh) * 2023-12-26 2024-03-12 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、系统及可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055227B2 (en) * 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
CN101901475B (zh) * 2010-06-12 2011-10-05 北京理工大学 基于视网膜自适应模型的高动态范围图像色调映射方法
CN102722868B (zh) * 2012-05-23 2014-08-20 西安理工大学 一种高动态范围图像色调映射方法
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
CN103353982B (zh) * 2013-05-15 2016-03-09 中山大学 一种基于直方图均衡化的色调映射方法
CN103295194B (zh) * 2013-05-15 2015-11-04 中山大学 亮度可控与细节保持的色调映射方法
US9420145B2 (en) * 2014-01-13 2016-08-16 Marvell World Trade Ltd. System and method for tone mapping of images
CN104408752B (zh) * 2014-12-11 2017-07-04 西安电子科技大学 一种基于混合色调映射算法的高动态范围图像压缩方法
CN104835121B (zh) * 2015-04-27 2017-10-24 西安电子科技大学 基于无穷范数约束与最大熵原则的色调映射方法
US9659349B2 (en) * 2015-06-12 2017-05-23 Gopro, Inc. Color filter array scaler
CN106709504B (zh) * 2016-11-28 2021-07-06 上海大学 细节保持的高保真色调映射方法

Also Published As

Publication number Publication date
CN109410126A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109410126B (zh) 一种细节增强与亮度自适应的高动态范围图像的色调映射方法
US9454810B2 (en) Correcting chrominance values based onTone-mapped luminance values
KR101309497B1 (ko) 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
US7639893B2 (en) Histogram adjustment for high dynamic range image mapping
US6826310B2 (en) Automatic contrast enhancement
CN110009574B (zh) 一种低动态范围图像逆向生成高动态范围图像的方法
CN110197463B (zh) 基于深度学习的高动态范围图像色调映射方法及其系统
US20030222991A1 (en) Image processing
US20080240605A1 (en) Image Processing Apparatus, Image Processing Method, and Image Processing Program
JP2003230160A (ja) カラー映像の彩度調節装置及び方法
CN101981911A (zh) 图像处理方法和装置
US20220222792A1 (en) Method and system for image enhancement
JP2001202509A (ja) 雑音低減及び色調スケール調整を行なうディジタル画像処理方法及びシステム
CN107424132B (zh) 一种图像快速去雾的优化方法
KR100694153B1 (ko) 매핑 함수에 기반한 이미지 처리 방법 및 장치
US20020118889A1 (en) Image status estimating method, image correcting method, image correction apparatus, and storage medium
US20030076514A1 (en) Image processing system and method that maintains black level
CN104091307A (zh) 基于反馈均值滤波的雾天图像快速复原方法
Kim et al. Tone mapping with contrast preservation and lightness correction in high dynamic range imaging
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置
US7489831B2 (en) Method and apparatus for darker region details using image global information
CN116993616A (zh) 一种单幅低照度场景图像增强方法及增强系统
CN111861899A (zh) 一种基于光照不均匀的图像增强方法及系统
CN108305234B (zh) 一种基于最优化模型的双直方图均衡方法
CN107767348B (zh) 基于成像模型约束的单幅隧道图像快速增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240527

Address after: 510000 No. 135 West Xingang Road, Guangdong, Guangzhou

Patentee after: SUN YAT-SEN University

Country or region after: China

Address before: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District

Patentee before: SUN YAT-SEN University

Country or region before: China

Patentee before: SYSU-CMU SHUNDE INTERNATIONAL JOINT Research Institute

Patentee before: SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE