CN110009574B - 一种低动态范围图像逆向生成高动态范围图像的方法 - Google Patents

一种低动态范围图像逆向生成高动态范围图像的方法 Download PDF

Info

Publication number
CN110009574B
CN110009574B CN201910116580.3A CN201910116580A CN110009574B CN 110009574 B CN110009574 B CN 110009574B CN 201910116580 A CN201910116580 A CN 201910116580A CN 110009574 B CN110009574 B CN 110009574B
Authority
CN
China
Prior art keywords
image
dynamic range
histogram
high dynamic
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910116580.3A
Other languages
English (en)
Other versions
CN110009574A (zh
Inventor
谭洪舟
刘付康
朱雄泳
陈荣军
陆许明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910116580.3A priority Critical patent/CN110009574B/zh
Publication of CN110009574A publication Critical patent/CN110009574A/zh
Application granted granted Critical
Publication of CN110009574B publication Critical patent/CN110009574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

本发明公开了一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法,本发明方法首先对输入的低动态范围图像亮度灰度图全局细节增强;再由直方图裁剪与补偿、亮度与标准差估算模型获得输入图像到中间高动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间高动态范围图像亮度;然后对中间高动态范围图像灰度图利用高效滤波器滤波去除映射产生的伪影得到输出高动态范围图像亮度;最后合并色彩通道并对色彩进行自适应校正,生成的高动态范围图像很好的体现了真实场景。本发明能将输入图像映射到高动态范围图像,输出的高动态范围图像亮度与色彩自适应,细节重现,视觉效果真实震撼。

Description

一种低动态范围图像逆向生成高动态范围图像的方法
技术领域
本发明涉及高动态范围成像技术领域,更具体地,涉及一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法。
背景技术
我们身处的环境亮度有着非常高的动态范围,其最高亮度和最低亮度之比高达108:1,然而现有的数字图像采集设备受到了传感器等制约,其动态范围十分有限,无法覆盖完整的环境亮度动态范围。虽然高动态范围(HDR)图像相比于低动态范围(LDR)图像更为自然和逼真的图像,但目前主流的仍为低动态范围图像。利用曝光控制技术有选择地捕捉场景亮度,但是无法避免图像存在曝光过度或者曝光不足的区域,严重影响成像质量,无法提供更多的动态范围和图像细节。
同时目前一般的显示器只能表示28个亮度数量级,也无法完美反映真实世界的场景;随着科技的发展,市场上逐步推出高动态范围显示器,能表示的亮度数量级与细节色彩表现力大幅度提升。因此,利用现有低动态范围图像资源生成高动态范围图像,更好的反映出真实环境中的视觉效果,具有较高应用与经济价值。
发明内容
本发明为解决现有的成像技术无法提供更多的动态范围和图像细节等问题,提供了一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法。
为实现以上发明目的,而采用的技术手段是:
一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法,包括:
a)对输入图像亮度灰度图进行全局细节增强,计算所述输入图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;其中所述图像为低动态范围图像或高动态范围图像;
b)对全局细节增强的输入图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;
c)由亮度与标准差估算模型计算映射到中间高动态范围图像的平均亮度与标准差,从而求解输入图像到中间高动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应估算出最优输出中间高动态范围图像亮度;
d)利用高效滤波器对中间高动态范围图像亮度滤波去除映射产生的伪影得到输出高动态范围图像亮度;
e)将输入图像色彩通道映射到对应输出高动态范围图像色彩通道并进行自适应校正,合并色彩空间获得输出高动态范围图像。
上述方案中,通过细节重现与基于亮度与标准差估算模型获得全局映射模型进行图像映射,然后对映射生成的图像灰度图利用高效滤波器滤波去除映射产生的伪影得到输出高动态范围图像亮度图,最后合并色彩通道并对色彩进行自适应校正,从而得到亮度、色彩自适应与细节重现的输出高动态范围图像。
优选的,所述步骤a)包括:
a1)定义输入图像红绿蓝三个色彩通道的数据分别为R,G,B,定义输入图像亮度Lw
Lw=0.299R+0.587G+0.114B (1)
a2)定义输入高动态范围图像大尺度纹理层为b:
Figure GDA0003946637630000021
其中,I为单位矩阵;α是平衡因子,一般选取25~35之间;Qx,Qy是前向差分算子;
Figure GDA0003946637630000022
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵;平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure GDA0003946637630000023
Figure GDA0003946637630000024
其中,ε1是常数;β是决定ln(Lw)梯度灵敏度的参数,一般选取5~5.5之间;其中ε1为很小的数;
a3)计算输入图像亮度的对数Le
Le=ln(Lw) (5)
a4)定义输入图像亮度细节层对数d:
d=Le-ln(b) (6)
a5)定义输入图像全局增强亮度的对数L'e
L'e=λ1ln(b)+λ2d (7)
其中,λ1是修正因子,一般取0.94~0.98之间;λ2是增强因子,定义为:
Figure GDA0003946637630000031
其中,μInput为输入图像平均亮度;C为输入图像对比度;μInput和C分别定义如下:
Figure GDA0003946637630000032
Figure GDA0003946637630000033
其中,M和N是输入高动态范围图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的亮度值;δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率。
优选的,所述步骤b)包括:
b1)定义L'e的最大值Lmax以及最小值Lmin,直方图组数为D,将L'e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure GDA0003946637630000034
其中,
Figure GDA0003946637630000035
表示向下取整操作;
b2)对离散后的亮度图像LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (12)
其中,p=0,…,D-1,<U>表示集合U的元素个数;
b3)定义由步骤a)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure GDA0003946637630000036
b4)定义由步骤a)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure GDA0003946637630000041
b5)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure GDA0003946637630000042
t1和t2将直方图分割为三段独立的直方图分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (16)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure GDA0003946637630000043
b6)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure GDA0003946637630000044
定义裁剪后的直方图为h'l
Figure GDA0003946637630000045
为了不改变hl在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”l
Figure GDA0003946637630000046
其中,resl为第一段直方图经过裁剪出来的数量之和,p=0,…,t1-1;
b7)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure GDA0003946637630000047
定义裁剪后的直方图为h's
Figure GDA0003946637630000051
为了不改变hs在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”s
Figure GDA0003946637630000052
其中,ress为第二段直方图经过裁剪出来的数量之和,p=t1,…,t2-1;
b8)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure GDA0003946637630000053
定义裁剪后的直方图为h'u
Figure GDA0003946637630000054
为了不改变hu在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”u
Figure GDA0003946637630000055
其中,resu为第三段直方图经过裁剪出来的数量之和,p=t2,…,D-1;
b9)定义经过裁剪和补偿的直方图h”:
Figure GDA0003946637630000056
优选的,所述步骤c)包括:
c1)定义输入图像直方图的分割点t1和t2映射到中间高动态范围图像直方图的分割点为t'1和t'2,定义估计输出图像的模型平均亮度μm和标准差σm,输出高动态范围图像最大亮度级,通过迭代求解方程得到分割点t'1
根据估计模型计算分割点t'1,k的方程:
Figure GDA0003946637630000057
其中k是迭代次数,计算标准差σm,k的方程:
Figure GDA0003946637630000061
c2)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间高动态范围图像初始平均亮度为μm,0,计算t'1,0=f1m,0m,0),迭代开始;
c3)计算输出图像的标准差σm,k=f2(t'1,k-1m,k-1);更新自适应亮度μm,k
Figure GDA0003946637630000062
所述公式基于最大熵提出,其中,[ω0L]是从输入图像映射到高动态图像的范围;
c4)更新t1',k=f1m,km,k);
c5)若满足
Figure GDA0003946637630000063
或k>K,迭代结束,输出最终的分割点t1'=t'1,k,t2'=t1'+2σm,k;否则令k=k+1,转到步骤c3);
c6)定义直方图的累计密度函数cdf:
Figure GDA0003946637630000064
c7)定义从输入图像[0,D-1]的图像映射到高动态范围[ω0L]的图像的映射曲线函数T:
Figure GDA0003946637630000065
其中,η1为过暗区域可调增强因子,η1一般选取1~3之间;η2为过亮区域可调增强因子,η2一般选取1~3之间;
c8)定义映射后的中间高动态范围灰度图L'HDR
L'HDR(i,j)=T(LI(i,j)) (33)。
优选的,所述步骤d)包括:
d1)定义中间高动态范围亮度灰度图平均亮度μMid
Figure GDA0003946637630000071
d2)定义中心位于(i,j)大小为1×θ1的图像窗口θinfeed,中间高动态范围亮度灰度图L'HDR经过横向去伪影得到横向去伪影高动态范围亮度灰度图L”LDR;判断图像窗口θinfeed是否为横向伪影区域,若对任意的Z'j'满足下式,则图像窗口θinfeed是横向伪影区域:
Figure GDA0003946637630000072
其中,Z'j'∈{-9,-6,-3,0,3,6,9},其中,j'∈{-3,-2,-1,0,1,2,3};
d3)若图像窗口θinfeed是横向伪影区则进行横向伪影区域去伪影平滑处理:
Figure GDA0003946637630000073
d4)若图像窗口θ不是横向伪影区域则:
L”LDR(i,j)=L'LDR(i,j) (37)
d5)定义中心位于(i,j)大小为θ2×1的图像窗口θfore,横向去伪影高动态范围亮度灰度图L”LDR经过纵向去伪影得到输出高动态范围亮度灰度图L”'HDR;判断图像窗口θfore是否为纵向伪影区域,若对任意的Z”i'满足下式,则图像窗口θfore是纵向伪影区域:
Figure GDA0003946637630000074
其中,Z”i'∈{-9,-6,-3,0,3,6,9},其中,i'∈{-3,-2,-1,0,1,2,3};
d6)若图像窗口θfore是纵向伪影区则进行纵向伪影区域去伪影平滑处理:
Figure GDA0003946637630000075
d7)若图像窗口θfore不是纵向伪影区域则:
L”'LDR(i,j)=L”LDR(i,j) (40)。
优选的,所述步骤e)包括:
e1)定义输出高动态范围图像RGB三个通道数据分别为RHDR,GHDR和BHDR
Figure GDA0003946637630000081
其中γ为生成高动态范围图像自适应色彩校正因子:
Figure GDA0003946637630000082
与现有技术相比,本发明技术方案的有益效果是:
本发明首先对输入图像亮度灰度图全局细节增强;再由直方图裁剪与补偿、亮度与标准差估算模型获得输入图像到中间高动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应选出最优输出中间高动态范围图像亮度;然后对中间高动态范围图像灰度图利用高效滤波器滤波去除映射产生的伪影得到输出高动态范围图像亮度;最后合并色彩通道并对色彩进行自适应校正,生成的高动态范围图像很好的体现了真实场景。本发明能将输入图像映射到高动态范围图像,输出的高动态范围图像亮度与色彩自适应,细节重现,视觉效果真实震撼。
附图说明
图1为本发明方法的框图。
图2为本发明方法的框图的流程图。
图3为本发明中输入图像全局映射模型。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示,一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法,包括:
a)对输入图像亮度灰度图进行全局细节增强,计算所述输入图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;其中所述图像为低动态范围图像或高动态范围图像;
b)对全局细节增强的输入图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;
c)由亮度与标准差估算模型计算映射到中间高动态范围图像的平均亮度与标准差,从而求解输入图像到中间高动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应估算出最优输出中间高动态范围图像亮度;
d)利用高效滤波器对中间高动态范围图像亮度滤波去除映射产生的伪影得到输出高动态范围图像亮度;
e)将输入图像色彩通道映射到对应输出高动态范围图像色彩通道并进行自适应校正,合并色彩空间获得输出高动态范围图像。
本发明方法的具体实施过程如图2所示。
其中,所述步骤a)包括:
a1)定义输入图像红绿蓝三个色彩通道的数据分别为R,G,B,定义输入图像亮度Lw
Lw=0.299R+0.587G+0.114B (1)
a2)定义输入高动态范围图像大尺度纹理层为b:
Figure GDA0003946637630000091
其中,I为单位矩阵;α是平衡因子,一般选取25~35之间,本实施例取为30;Qx,Qy是前向差分算子;
Figure GDA0003946637630000092
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵;平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure GDA0003946637630000093
Figure GDA0003946637630000094
其中,ε1为常数,本实施例取0.0002;β是决定ln(Lw)梯度灵敏度的参数,一般选取5~5.5之间,本实施例取5;
a3)计算输入图像亮度的对数Le
Le=ln(Lw) (5)
a4)定义输入图像亮度细节层对数d:
d=Le-ln(b) (6)
a5)定义输入图像全局增强亮度的对数L'e
L'e=λ1ln(b)+λ2d (7)
其中,λ1是修正因子,一般取0.94~0.98之间,本实施例取0.95;λ2是增强因子,定义为:
Figure GDA0003946637630000101
其中,μInput为输入图像平均亮度;C为输入图像对比度;μInput和C分别定义如下:
Figure GDA0003946637630000102
Figure GDA0003946637630000103
其中,M和N是输入高动态范围图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的亮度值;δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率,本实施例像素相邻取四近邻。
其中,所述步骤b)包括:
b1)定义L'e的最大值Lmax以及最小值Lmin,直方图组数为D,本实施例取为1000;将L'e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure GDA0003946637630000104
其中,
Figure GDA0003946637630000105
表示向下取整操作;
b2)对离散后的亮度图像LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (12)
其中,p=0,…,D-1,<U>表示集合U的元素个数;
b3)定义由步骤a)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure GDA0003946637630000111
b4)定义由步骤a)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure GDA0003946637630000112
b5)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure GDA0003946637630000113
t1和t2将直方图分割为三段独立的直方图分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (16)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure GDA0003946637630000114
b6)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure GDA0003946637630000115
定义裁剪后的直方图为'hl
Figure GDA0003946637630000116
为了不改变hl在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”l
Figure GDA0003946637630000117
其中,resl为第一段直方图经过裁剪出来的数量之和,p=0,…,t1-1;
b7)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure GDA0003946637630000121
定义裁剪后的直方图为hs':
Figure GDA0003946637630000122
为了不改变hs在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”s
Figure GDA0003946637630000123
其中,ress为第二段直方图经过裁剪出来的数量之和,p=t1,…,t2-1;
b8)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure GDA0003946637630000124
定义裁剪后的直方图为h'u
Figure GDA0003946637630000125
为了不改变hu在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”u
Figure GDA0003946637630000126
其中,resu为第三段直方图经过裁剪出来的数量之和,p=t2,…,D-1;
b9)定义经过裁剪和补偿的直方图h”:
Figure GDA0003946637630000127
如图3所示为输入图像全局映射模型。
其中,所述步骤c)包括:
c1)定义输入图像直方图的分割点t1和t2映射到中间高动态范围图像直方图的分割点为t'1和t'2,定义估计输出图像的模型平均亮度μm和标准差σm,输出高动态范围图像最大亮度级,本实施例取为1000,通过迭代求解方程得到分割点t'1
根据估计模型计算分割点t'1,k的方程:
Figure GDA0003946637630000131
其中k是迭代次数,计算标准差σm,k的方程:
Figure GDA0003946637630000132
c2)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间高动态范围图像初始平均亮度为μm,0,计算t'1,0=f1m,0m,0),迭代开始;
c3)计算输出图像的标准差σm,k=f2(t'1,k-1m,k-1);更新自适应亮度μm,k
Figure GDA0003946637630000133
所述公式基于最大熵提出,其中,[ω0L]是从输入图像映射到高动态图像的范围,本实施例取[ω0L]为[0,1000];
c4)更新t'1,k=f1m,km,k);
c5)若满足
Figure GDA0003946637630000134
或k>K,迭代结束,输出最终的分割点t1'=t'1,k,t2'=t1'+2σm,k;否则令k=k+1,转到步骤c3);
c6)定义直方图的累计密度函数cdf:
Figure GDA0003946637630000135
c7)定义从输入图像[0,D-1]的图像映射到高动态范围[ω0L]的图像的映射曲线函数T:
Figure GDA0003946637630000141
其中,η1为过暗区域可调增强因子,η1一般选取1~3之间,本实施例取为2;η2为过亮区域可调增强因子,η2一般选取1~3之间,本实施例取为2;
c8)定义映射后的中间高动态范围灰度图L'HDR
L'HDR(i,j)=T(LI(i,j)) (33)。
其中,所述步骤d)包括:
d1)定义中间高动态范围亮度灰度图平均亮度μMid
Figure GDA0003946637630000142
d2)定义中心位于(i,j)大小为1×θ1的图像窗口θinfeed,本实施例取θ1为19,中间高动态范围亮度灰度图L'HDR经过横向去伪影得到横向去伪影高动态范围亮度灰度图L”LDR;判断图像窗口θinfeed是否为横向伪影区域,若对任意的Z'j'满足下式,则图像窗口θinfeed是横向伪影区域:
Figure GDA0003946637630000143
其中,Z'j'∈{-9,-6,-3,0,3,6,9},其中,j'∈{-3,-2,-1,0,1,2,3};
d3)若图像窗口θinfeed是横向伪影区则进行横向伪影区域去伪影平滑处理:
Figure GDA0003946637630000144
d4)若图像窗口θ不是横向伪影区域则:
L”LDR(i,j)=L'LDR(i,j) (37)
d5)定义中心位于(i,j)大小为θ2×1的图像窗口θfore,本实施例取θfore为19,横向去伪影高动态范围亮度灰度图L”LDR经过纵向去伪影得到输出高动态范围亮度灰度图L”'HDR;判断图像窗口θfore是否为纵向伪影区域,若对任意的Zi”'满足下式,则图像窗口θfore是纵向伪影区域:
Figure GDA0003946637630000145
其中,Z”i'∈{-9,-6,-3,0,3,6,9},其中,i'∈{-3,-2,-1,0,1,2,3};
d6)若图像窗口θfore是纵向伪影区则进行纵向伪影区域去伪影平滑处理:
Figure GDA0003946637630000151
d7)若图像窗口θfore不是纵向伪影区域则:
L”'LDR(i,j)=L”LDR(i,j) (40)。
其中,所述步骤e)包括:
e1)定义输出高动态范围图像RGB三个通道数据分别为RHDR,GHDR和BHDR
Figure GDA0003946637630000152
其中γ为生成高动态范围图像自适应色彩校正因子:
其中,
Figure GDA0003946637630000153
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种低动态范围图像逆向生成高动态范围图像的方法,其特征在于,包括:
a)对输入图像亮度灰度图进行全局细节增强,计算输入图像亮度灰度图细节增强后的对数,利用对数转换初步压缩原始场景中的亮度;其中所述图像为低动态范围图像或高动态范围图像;
b)对全局细节增强的输入图像亮度对数进行直方图统计,计算其平均值与标准差,对直方图进行分段裁剪与补偿;
c)由亮度与标准差估算模型计算映射到中间高动态范围图像的平均亮度与标准差,从而求解输入图像到中间高动态范围图像的亮度直方图全局映射曲线,其中由最大熵亮度估算方法自适应估算出最优输出中间高动态范围图像亮度;
d)利用高效滤波器对中间高动态范围图像亮度滤波去除映射产生的伪影得到输出高动态范围图像亮度;
e)将输入图像色彩通道映射到对应输出高动态范围图像色彩通道并进行自适应校正,合并色彩空间获得输出高动态范围图像;
所述步骤a)包括:
a1)定义输入图像红绿蓝三个色彩通道的数据分别为R,G,B,定义输入图像亮度Lw
Lw=0.299R+0.587G+0.114B (1)
a2)定义输入高动态范围图像大尺度纹理层为b:
Figure FDA0003946637620000011
其中,I为单位矩阵;α是平衡因子;Qx,Qy是前向差分算子;
Figure FDA0003946637620000012
是后向差分算子;Ax和Ay是分别包含平滑权重ax(Lw)和ay(Lw)的对角矩阵;平滑权重ax(Lw)和ay(Lw)分别定义如下:
Figure FDA0003946637620000013
Figure FDA0003946637620000021
其中,ε1是常数;β是决定ln(Lw)梯度灵敏度的参数;
a3)计算输入图像亮度的对数Le
Le=ln(Lw) (5)
a4)定义输入图像亮度细节层对数d:
d=Le-ln(b) (6)
a5)定义输入图像全局增强亮度的对数L'e
L'e=λ1ln(b)+λ2d (7)
其中,λ1是修正因子;λ2是增强因子,定义为:
Figure FDA0003946637620000022
其中,μInput为输入图像平均亮度;C为输入图像对比度;μInput和C分别定义如下:
Figure FDA0003946637620000023
Figure FDA0003946637620000024
其中,M和N是输入高动态范围图像的长和宽;Lw(i,j)表示位置为(i,j)像素点的亮度值;δ(τ,υ)=|τ-υ|即是相邻像素间的亮度τ和亮度υ的差值绝对值,Pδ(i,j)即相邻像素间的亮度灰度差为δ的像素分布概率。
2.根据权利要求1所述的低动态范围图像逆向生成高动态范围图像的方法,其特征在于,所述步骤b)包括:
b1)定义L'e的最大值Lmax以及最小值Lmin,直方图组数为D,将L'e的值线性映射到[0,D-1],定义离散后的亮度LI,由公式描述为:
Figure FDA0003946637620000025
其中,
Figure FDA0003946637620000026
表示向下取整操作;
b2)对离散后的亮度图像LI进行直方图统计,定义直方图为h(p):
h(p)=<{LI(i,j)|LI(i,j)=p}> (12)
其中,p=0,…,D-1,<U>表示集合U的元素个数;
b3)定义由步骤a)得到的直方图h(p),p=0,…,D-1的平均值μ,
Figure FDA0003946637620000031
b4)定义由步骤a)得到的直方图h(p),p=0,…,D-1的标准差σ,
Figure FDA0003946637620000032
b5)定义t1和t2为直方图h(p),p=0,…,D-1的两个分割点:
Figure FDA0003946637620000033
t1和t2将直方图分割为三段独立的直方图分别定义为hl、hs和hu
hl=h(p),0≤p<t1
hs=h(p),t1≤p<t2
hu=h(p),t2≤p<D (16)
定义r1,r2和r3分别为各段直方图在整体直方图中的比例:
Figure FDA0003946637620000034
Figure FDA0003946637620000035
Figure FDA0003946637620000036
b6)对第一段直方图hl进行裁剪,定义裁剪阈值Tl
Figure FDA0003946637620000037
定义裁剪后的直方图为h’l
Figure FDA0003946637620000038
为了不改变hl在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”l
Figure FDA0003946637620000039
其中,resl为第一段直方图经过裁剪出来的数量之和,p=0,…,t1-1;
b7)对第二段直方图hs进行裁剪,定义裁剪阈值Ts
Figure FDA0003946637620000041
定义裁剪后的直方图为hs':
Figure FDA0003946637620000042
为了不改变hs在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”s
Figure FDA0003946637620000043
其中,ress为第二段直方图经过裁剪出来的数量之和,p=t1,…,t2-1;
b8)对第三段直方图hu进行裁剪,定义裁剪阈值Tu
Figure FDA0003946637620000044
定义裁剪后的直方图为hu':
Figure FDA0003946637620000045
为了不改变hu在整体的比例,将裁剪多出的部分补偿到直方图中,定义补偿后的直方图为h”u
Figure FDA0003946637620000046
其中,resu为第三段直方图经过裁剪出来的数量之和,p=t2,…,D-1;
b9)定义经过裁剪和补偿的直方图h”:
Figure FDA0003946637620000047
3.根据权利要求1所述的低动态范围图像逆向生成高动态范围图像的方法,其特征在于,所述步骤c)包括:
c1)定义输入图像直方图的分割点t1和t2映射到中间高动态范围图像直方图的分割点为t’1和t'2,定义估计输出图像的模型平均亮度μm和标准差σm,输出高动态范围图像最大亮度级,通过迭代求解方程得到分割点t’1
根据估计模型计算分割点t1',k的方程:
Figure FDA0003946637620000051
其中k是迭代次数,计算标准差σm,k的方程:
Figure FDA0003946637620000052
c2)定义迭代计数器k=1,定义最大迭代次数K,定义预设误差e,定义初始标准差σm,0,映射后的中间高动态范围图像初始平均亮度为μm,0,计算t’1,0=f1m,0m,0),迭代开始;
c3)计算输出图像的标准差σm,k=f2(t’1,k-1m,k-1);更新自适应亮度μm,k
Figure FDA0003946637620000053
所述公式基于最大熵提出,其中,[ω0L]是从输入图像映射到高动态图像的范围;
c4)更新t’1,k=f1m,km,k);
c5)若满足
Figure FDA0003946637620000054
或k>K,迭代结束,输出最终的分割点t1’=t’1,k,t2’=t1’+2σm,k;否则令k=k+1,转到步骤c3);
c6)定义直方图的累计密度函数cdf:
Figure FDA0003946637620000055
c7)定义从输入图像[0,D-1]的图像映射到高动态范围[ω0L]的图像的映射曲线函数T:
Figure FDA0003946637620000061
其中,η1为过暗区域可调增强因子;η2为过亮区域可调增强因子;
c8)定义映射后的中间高动态范围灰度图L'HDR
L'HDR(i,j)=T(LI(i,j)) (33)。
4.根据权利要求1所述的低动态范围图像逆向生成高动态范围图像的方法,其特征在于,所述步骤d)包括:
d1)定义中间高动态范围亮度灰度图平均亮度μMid
Figure FDA0003946637620000062
d2)定义中心位于(i,j)大小为1×θ1的图像窗口θinfeed,中间高动态范围亮度灰度图L'HDR经过横向去伪影得到横向去伪影高动态范围亮度灰度图L”LDR;判断图像窗口θinfeed是否为横向伪影区域,若对任意的Z'j'满足下式,则图像窗口θinfeed是横向伪影区域:
Figure FDA0003946637620000063
其中,Z'j'∈{-9,-6,-3,0,3,6,9},其中,j'∈{-3,-2,-1,0,1,2,3};
d3)若图像窗口θinfeed是横向伪影区则进行横向伪影区域去伪影平滑处理:
Figure FDA0003946637620000064
d4)若图像窗口θ不是横向伪影区域则:
L”LDR(i,j)=L'LDR(i,j) (37)
d5)定义中心位于(i,j)大小为θ2×1的图像窗口θfore,横向去伪影高动态范围亮度灰度图L”LDR经过纵向去伪影得到输出高动态范围亮度灰度图L”'HDR;判断图像窗口θfore是否为纵向伪影区域,若对任意的Z”i'满足下式,则图像窗口θfore是纵向伪影区域:
Figure FDA0003946637620000065
其中,Z”i'∈{-9,-6,-3,0,3,6,9},其中,i'∈{-3,-2,-1,0,1,2,3};
d6)若图像窗口θfore是纵向伪影区则进行纵向伪影区域去伪影平滑处理:
Figure FDA0003946637620000071
d7)若图像窗口θfore不是纵向伪影区域则:
L”'LDR(i,j)=L”LDR(i,j) (40)。
5.根据权利要求1所述的低动态范围图像逆向生成高动态范围图像的方法,其特征在于,所述步骤e)包括:
e1)定义输出高动态范围图像RGB三个通道数据分别为RHDR,GHDR和BHDR
Figure FDA0003946637620000072
其中γ为生成高动态范围图像自适应色彩校正因子:
Figure FDA0003946637620000073
CN201910116580.3A 2019-02-13 2019-02-13 一种低动态范围图像逆向生成高动态范围图像的方法 Active CN110009574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910116580.3A CN110009574B (zh) 2019-02-13 2019-02-13 一种低动态范围图像逆向生成高动态范围图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910116580.3A CN110009574B (zh) 2019-02-13 2019-02-13 一种低动态范围图像逆向生成高动态范围图像的方法

Publications (2)

Publication Number Publication Date
CN110009574A CN110009574A (zh) 2019-07-12
CN110009574B true CN110009574B (zh) 2023-01-17

Family

ID=67165734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910116580.3A Active CN110009574B (zh) 2019-02-13 2019-02-13 一种低动态范围图像逆向生成高动态范围图像的方法

Country Status (1)

Country Link
CN (1) CN110009574B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428377B (zh) * 2019-07-26 2023-06-30 北京康夫子健康技术有限公司 数据扩充方法、装置、设备和介质
CN111601048B (zh) * 2020-05-13 2022-04-19 展讯通信(上海)有限公司 图像处理方法及装置
CN112348763A (zh) * 2020-11-09 2021-02-09 西安宇视信息科技有限公司 图像增强方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN103295194A (zh) * 2013-05-15 2013-09-11 中山大学 亮度可控与细节保持的色调映射方法
CN106530263A (zh) * 2016-10-19 2017-03-22 天津大学 一种适应于医学影像的单曝光高动态范围图像生成方法
CN106886386A (zh) * 2017-01-23 2017-06-23 苏州科达科技股份有限公司 从低动态图像生成高动态图像的方法

Also Published As

Publication number Publication date
CN110009574A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN109410126B (zh) 一种细节增强与亮度自适应的高动态范围图像的色调映射方法
US7881554B2 (en) Method for correcting a digital image
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN105046658B (zh) 一种低照度图像处理方法和装置
CN110009574B (zh) 一种低动态范围图像逆向生成高动态范围图像的方法
JP5669513B2 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
CN105474259A (zh) 用于在单一图像中去雾的方法和装置
CN107424132B (zh) 一种图像快速去雾的优化方法
Kumar et al. An improved Gamma correction model for image dehazing in a multi-exposure fusion framework
CN108182671B (zh) 一种基于天空区域识别的单幅图像去雾方法
JP2001313844A (ja) 局所的な色補正を実行する方法および装置
Hessel et al. An extended exposure fusion and its application to single image contrast enhancement
CN110211077A (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
CN110298792B (zh) 低光照图像增强与去噪方法、系统及计算机设备
CN107169942B (zh) 一种基于鱼类视网膜机制的水下图像增强方法
US20200106944A1 (en) Systems And Methods Of Image Enhancement
Parihar et al. A comprehensive analysis of fusion-based image enhancement techniques
Kim et al. Tone mapping with contrast preservation and lightness correction in high dynamic range imaging
Su et al. Joint contrast enhancement and noise reduction of low light images via JND transform
CN116188339A (zh) 一种基于Retinex及图像融合的暗视觉图像增强方法
CN110766622A (zh) 基于亮度区分和Gamma平滑的水下图像增强方法
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
CN111462022A (zh) 一种水下图像清晰化增强方法
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant