CN112734650B - 一种基于虚拟多曝光融合的不均匀光照图像增强方法 - Google Patents

一种基于虚拟多曝光融合的不均匀光照图像增强方法 Download PDF

Info

Publication number
CN112734650B
CN112734650B CN201910970860.0A CN201910970860A CN112734650B CN 112734650 B CN112734650 B CN 112734650B CN 201910970860 A CN201910970860 A CN 201910970860A CN 112734650 B CN112734650 B CN 112734650B
Authority
CN
China
Prior art keywords
image
exposure
component
fusion
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910970860.0A
Other languages
English (en)
Other versions
CN112734650A (zh
Inventor
徐望明
刘召
伍世虔
黄子蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910970860.0A priority Critical patent/CN112734650B/zh
Publication of CN112734650A publication Critical patent/CN112734650A/zh
Application granted granted Critical
Publication of CN112734650B publication Critical patent/CN112734650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94

Abstract

本发明公开了属于图像处理领域的一种基于虚拟多曝光融合的不均匀光照图像增强方法。包括以下步骤:1)将输入图像从RGB空间转换到HSV空间;2)对V分量,基于图像信息熵最大化原则确定两个最优曝光比,利用亮度映射函数进行两次虚拟曝光生成增强曝光图像V1和减弱曝光图像V2;3)对由V、V1和V2组成的曝光图像序列,采用带细节提升的多曝光图像融合方法进行融合得到增强后的V分量;4)用增强后的V分量和保持不变的H分量和S分量重新合成HSV图像,并将其转换回RGB空间作为最终结果输出。本发明能有效改善不均匀光照图像同时存在过曝和欠曝区域所导致的图像质量问题,产生动态范围高且能较好保持颜色和细节信息的图像。

Description

一种基于虚拟多曝光融合的不均匀光照图像增强方法
技术领域
本发明属于图像处理领域,具体涉及一种基于虚拟多曝光融合的不均匀光照图像增强方法。
背景技术
在图像采集过程中,光照环境或物体表面反光等原因会造成图像整体光照不均匀,过曝、欠曝或两者同时存在都会致使图像出现对比度低、视觉效果差等质量问题。对这样的不均匀光照图像进行增强、改善其视觉质量通常是计算机视觉任务(如目标检测、目标识别、视觉追踪、视觉导航等)的一个重要预处理步骤。目前主流的不均匀光照图像增强方法主要包括以直方图均衡化(Histogram Equalization,HE)为代表的灰度变换方法和基于Retinex理论的图像增强方法。直方图均衡化方法通过利用合适的灰度变换使图像灰度直方图的分布更加均匀,根据处理区域范围的不同又分为全局直方图均衡化方法和局部直方图均衡化方法。这类方法对于光照不均匀图像的增强具有一定的效果,但在图像较亮区域容易出现过度增强造成细节失真,对于图像不同区域的亮度很难做到自适应调整,存在偏色及区域过渡不自然的问题,而且对噪声比较敏感。基于Retinex理论的图像增强方法实质上是一种基于光照补偿的图像增强算法。Retinex理论认为图像可分解成光照分量和反射分量,有的算法通过估计并移除光照分量并保留反射分量作为图像增强结果,有的算法通过调整光照分量并融合相应的反射分量得到最终增强结果,使得图像在增强细节的同时看起来较为自然。这类方法适合处理局部灰度值低的图像,能有效增强其中暗处的对比度和细节部分,但在增强图像的同时可能造成图像边缘模糊。由于不均匀光照图像一般既存在过曝区域,又存在欠曝区域,以上基于直方图均衡或Retinex理论的单幅图像增强的方法,难以做到较好地同时增强图像中的过曝区域和欠曝区域,从而导致增强后的图像出现颜色失真、过暗或过亮区域的细节丢失的问题。Ying等人提出基于相机响应模型和曝光融合的低光照图像增强框架(参考文献Ying Z,Li G,Ren Y,et al:A New Low-Light ImageEnhancement Algorithm Using Camera Response Model,ICCV 2017;Ying Z,Li G,RenY,et al:A New Image Contrast Enhancement Algorithm Using Exposure FusionFramework,ICCAIP 2017),所提出的曝光融合方法仅适合两幅图像融合的情况,由于没有针对图像中的过亮区域进行处理,图像亮处的细节会有失真,故该方法对一般同时存在过曝和欠曝区域的不均匀光照图像的增强效果不佳。
发明内容
本发明为了克服上述技术的不足,提供一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特点在于,该方法借助相机响应模型,根据输入的不均匀光照图像,虚拟生成一个具有不同曝光的图像序列,并使用多曝光融合原理重构出一幅动态范围高、对比度强、可视化质量好的图像。其中,为了更好地保持图像颜色和细节信息,曝光图像的生成和融合是将原图像从RGB颜色空间转换到HSV颜色空间后在V通道图像中完成的,并且在图像融合过程中进行了图像细节提升处理。
具体而言,本发明提供的一种基于虚拟多曝光融合的不均匀光照图像增强方法,包括以下步骤:
步骤一:将输入的不均匀光照图像从RGB颜色空间转换到HSV颜色空间,并分离出图像的亮度分量V、色调分量H与饱和度分量S;步骤二:依据相机响应模型采用合适的亮度映射函数,对亮度分量V中曝光不足的像素寻优大于1的最佳曝光比kopt1使亮度映射后的信息熵最大,进而利用kopt1对V通道分量所有像素进行虚拟曝光,生成一幅增强曝光的图像V1,同理,对亮度分量V中曝光过多的像素寻优小于1的最佳曝光比kopt2使亮度映射后的信息熵最大,进而利用kopt2对V通道分量所有像素进行虚拟曝光,生成一幅减弱曝光的图像V2,将V、V1和V2这三幅图像组成曝光序列图像;步骤三,采用带细节提升的多曝光图像融合方法,对步骤二所得曝光序列图像进行融合,得到增强后的图像V分量;步骤四,用增强后的V分量和保持不变的H分量和S分量重新合成HSV图像,并将其转换回RGB颜色空间作为最终的图像增强结果输出。
在上述技术方案中,所述步骤一利用彩色图像的颜色空间转换公式,即可方便实现RGB颜色空间到HSV颜色空间的图像数据转换,从而得到相应的亮度分量V、色调分量H与饱和度分量S,其中亮度分量V用于后续步骤的处理。
在上述技术方案中,所述步骤二包括以下步骤:
设P0和P1分别是在同一场景不同曝光量E0和E1下拍摄的图像,且E1=kE0,这里k可称之为曝光比或曝光率,则用描述相机响应模型的亮度映射函数(Brightness MappingFunction,BMF)可反映图像P0和P1的非线性映射关系,即:P1=g(P0,k),这里,g即为亮度映射函数,在已知BMF时,通过对图像P0设置不同的曝光比k可生成具有不同曝光的图像P1,起到改变图像像素亮度值的作用;
采用BMF函数对不均匀光照图像的V通道进行增强曝光,为了找到最佳曝光比提高曝光不足的像素的亮度,先利用Q={V(x)|T(x)<τ1}过滤得到曝光不足的像素的灰度值集合Q,其中T为原始图像V的光照分量(Illumination Map),可基于Retinex理论估计T,τ1是区分曝光不足像素的灰度阈值,比它小的灰度值对应的像素被认为是曝光不足的,则曝光不足的像素点的信息熵为:
Figure GDA0003756813980000021
其中pi代表Q中每个灰度等级i出现的概率,将曝光不足的像素转化为曝光好的像素有助于提升图像可见度、增大图像信息量,所以使用图像信息熵最大化的原则来求解增强曝光的最佳曝光比为:
Figure GDA0003756813980000022
Figure GDA0003756813980000023
同理,采用BMF函数对不均匀光照图像的V通道进行减弱曝光,为了找到最佳曝光比降低曝光过多的像素的亮度,只需改变灰度阈值条件,就可得到曝光过多的像素点的灰度值集合Q={P0(x)|T(x)>τ2},其中τ2是区分曝光过多像素的灰度阈值,使用图像信息熵最大化的原则来求解减弱曝光的最佳曝光比为:
Figure GDA0003756813980000024
从而,得到增强曝光的图像V1=g(V,kopt1)和减弱曝光的图像V2=g(V,kopt2),V以及由它虚拟曝光生成的V1、V2三幅图像组成同一场景不同曝光的图像序列。
在上述技术方案中,所述步骤三包括以下步骤:
对于由V以及V1、V2组成的图像序列曝光序列中的每一幅图像,使用3个不同尺度的高斯滤波器分别对其进行滤波,得到对应的基础层Bn,1=G1*Vn,Bn,2=G2*Vn,Bn,3=G3*Vn和细节层Dn,1=Vn-Bn,1,Dn,2=Vn-Bn,2,Dn,3=Vn-Bn,3,其中,*表示卷积运算,Vn表示曝光序列中的第n张图像,G1、G2和G3分别是标准差为σ1、σ2和σ3的高斯核,且σ123;标准差代表着高斯核尺度的大小,取最小尺度的高斯核卷积得到的基础层作为后续融合的基础层,即第n张曝光图像对应的基础层取为Bn=Bn,1,后续融合的细节层图像则由3种尺度下的细节层Dn,1,Dn,2,Dn,3加权重构得到,即:Dn=(1-w1×sgn(Dn,1))×Dn,1+w2×Dn,2+w3×Dn,3,其中,sgn是符号函数,w1,w2,w3分别为3种尺度下细节层对应的加权系数,这种基于多尺度细节增强的方法不仅能突出边缘,还能增强图像中的局部纹理细节;
这样,得到不同曝光图像的基础层和增强的细节层后,需要构造相应的权重图进行融合,采用将像素显著性和空间一致性相结合的方法:首先,利用3×3大小的拉普拉斯滤波器L与每张源图像Vn进行卷积,得高通图像Hn=Vn*L,用Hn绝对值的局部高斯平滑值构建显著性图像
Figure GDA0003756813980000025
其中
Figure GDA0003756813980000026
是大小为(2rg+1)×(2rg+1)标准差为σg的高斯低通滤波器;Sn较好地反映了图像像素的显著性水平,接下来通过比较不同的Sn中相同位置像素的显著性数值确定初始权重图Pn中对应位置的权重值为
Figure GDA0003756813980000027
Figure GDA0003756813980000028
其中,N表示源图像的数量,
Figure GDA0003756813980000029
表示第n张图像在第j个像素处的显著性数值;
初始权重图Pn常含有噪声,可能会造成融合图像产生伪影,利用引导滤波具有保持像素空间一致性的优点进行改善,将初始权重图Pn作为引导滤波的输入图像,将与Pn对应的源图像Vn作为引导图像,采用引导滤波的方法得到基础层和细节层的权重图分别为:
Figure GDA00037568139800000210
Figure GDA00037568139800000211
其中,r1,∈1,r2,∈2为引导滤波参数,且满足窗口半径r1>r2、截断值∈1>∈2
Figure GDA00037568139800000212
Figure GDA00037568139800000213
分别为基础层和细节层的权重图;
确定了各个权重图后,将N个基础层权重图和N个细节层权重图在相同像素位置分别做和为1的归一化处理,再通过线性加权的方法分别进行融合,得:
Figure GDA00037568139800000214
Figure GDA00037568139800000215
最后,将融合后的基础层
Figure GDA00037568139800000216
与融合后的细节层
Figure GDA00037568139800000217
相加,重构出V通道最终的图像
Figure GDA00037568139800000218
在上述技术方案中,所述步骤四中,利用V通道增强后的图像V′和步骤一中保持不变的色调分量H与饱和度分量S,利用彩色图像的颜色空间转换公式,实现HSV颜色空间到RGB颜色空间的图像数据转换,即为原始输入的不均匀光照图像的最终增强结果。
本发明提供的一种基于虚拟多曝光融合的不均匀光照图像增强方法,具有以下有益效果:(1)利用相机响应模型和图像信息熵最大化方法自适应地求得生成虚拟曝光图像的最优曝光比,再进行虚拟曝光生成最优的增强曝光和减弱曝光图像,尽量用最少的图像进行融合得到更好的效果,有助于提升实现效率,易于在实际系统中推广应用;(2)虚拟曝光图像的生成和融合是将原图像从RGB颜色空间转换到HSV颜色空间后在V通道图像中完成的,并且在图像融合过程中进行了图像细节提升处理,可以更好地保持图像颜色和细节信息,使利用得多曝光融合原理重构出的图像动态范围高、对比度强、可视化效果好。
附图说明
图1是本发明基于虚拟多曝光融合的不均匀光照图像增强方法流程图
图2是本发明基于虚拟多曝光融合的不均匀光照图像增强方法实施效果示例
图3也是本发明基于虚拟多曝光融合的不均匀光照图像增强方法实施效果示例
具体实施方式
下面结合附图和实施例对本发明的实施方式进行详细阐述,但该实施例不应理解为对本发明的限制。
参见图1,本发明所描述的一种基于虚拟多曝光融合的不均匀光照图像增强方法,包括以下步骤:
步骤一:将输入的不均匀光照图像从RGB颜色空间转换到HSV颜色空间,并分离出图像的亮度分量V、色调分量H与饱和度分量S;步骤二:依据相机响应模型采用合适的亮度映射函数,对亮度分量V中曝光不足的像素寻优大于1的最佳曝光比kopt1使亮度映射后的信息熵最大,进而利用kopt1对V通道分量所有像素进行虚拟曝光,生成一幅增强曝光的图像V1,同理,对亮度分量V中曝光过多的像素寻优小于1的最佳曝光比kopt2使亮度映射后的信息熵最大,进而利用kopt2对V通道分量所有像素进行虚拟曝光,生成一幅减弱曝光的图像V2,将V、V1和V2这三幅图像组成曝光序列图像;步骤三,采用带细节提升的多曝光图像融合方法,对步骤二所得曝光序列图像进行融合,得到增强后的图像V分量;步骤四,用增强后的V分量和保持不变的H分量和S分量重新合成HSV图像,并将其转换回RGB颜色空间作为最终的图像增强结果输出。
在上述技术方案中,所述步骤一利用彩色图像的颜色空间转换公式,即可方便实现RGB颜色空间到HSV颜色空间的图像数据转换,从而得到相应的亮度分量V、色调分量H与饱和度分量S,其中亮度分量V用于后续步骤的处理。
在上述技术方案中,所述步骤二包括以下步骤:
设P0和P1分别是在同一场景不同曝光量E0和E1下拍摄的图像,且E1=kE0,这里k可称之为曝光比或曝光率,则用描述相机响应模型的亮度映射函数(Brightness MappingFunction,BMF)可反映图像P0和P1的非线性映射关系,即:P1=g(P0,k),这里,g即为亮度映射函数,在已知BMF时,通过对图像P0设置不同的曝光比k可生成具有不同曝光的图像P1,起到改变图像像素亮度值的作用;
采用BMF函数对不均匀光照图像的V通道进行增强曝光,为了找到最佳曝光比提高曝光不足的像素的亮度,先利用Q={V(x)|T(x)<τ1}过滤得到曝光不足的像素的灰度值集合Q,其中T为原始图像V的光照分量(Illumination Map),可基于Retinex理论估计T,τ1是区分曝光不足像素的灰度阈值,比它小的灰度值对应的像素被认为是曝光不足的,则曝光不足的像素点的信息熵为:
Figure GDA0003756813980000031
其中pi代表Q中每个灰度等级i出现的概率,将曝光不足的像素转化为曝光好的像素有助于提升图像可见度、增大图像信息量,所以使用图像信息熵最大化的原则来求解增强曝光的最佳曝光比为:
Figure GDA0003756813980000032
Figure GDA0003756813980000033
同理,采用BMF函数对不均匀光照图像的V通道进行减弱曝光,为了找到最佳曝光比降低曝光过多的像素的亮度,只需改变灰度阈值条件,就可得到曝光过多的像素点的灰度值集合Q={P0(x)|T(x)>τ2},其中τ2是区分曝光过多像素的灰度阈值,使用图像信息熵最大化的原则来求解减弱曝光的最佳曝光比为:
Figure GDA0003756813980000034
从而,得到增强曝光的图像V1=g(V,kopt1)和减弱曝光的图像V2=g(V,kopt2),V以及由它虚拟曝光生成的V1、V2三幅图像组成同一场景不同曝光的图像序列。
在上述技术方案中,所述步骤三包括以下步骤:
对于由V以及V1、V2组成的图像序列曝光序列中的每一幅图像,使用3个不同尺度的高斯滤波器分别对其进行滤波,得到对应的基础层Bn,1=G1*Vn,Bn,2=G2*Vn,Bn,3=G3*Vn和细节层Dn,1=Vn-Bn,1,Dn,2=Vn-Bn,2,Dn,3=Vn-Bn,3,其中,*表示卷积运算,Vn表示曝光序列中的第n张图像,G1、G2和G3分别是标准差为σ1、σ2和σ3的高斯核,且σ123;标准差代表着高斯核尺度的大小,取最小尺度的高斯核卷积得到的基础层作为后续融合的基础层,即第n张曝光图像对应的基础层取为Bn=Bn,1,后续融合的细节层图像则由3种尺度下的细节层Dn,1,Dn,2,Dn,3加权重构得到,即:Dn=(1-w1×sgn(Dn,1))×Dn,1+w2×Dn,2+w3×Dn,3,其中,sgn是符号函数,w1,w2,w3分别为3种尺度下细节层对应的加权系数,这种基于多尺度细节增强的方法不仅能突出边缘,还能增强图像中的局部纹理细节;
这样,得到不同曝光图像的基础层和增强的细节层后,需要构造相应的权重图进行融合,采用将像素显著性和空间一致性相结合的方法:首先,利用3×3大小的拉普拉斯滤波器L与每张源图像Vn进行卷积,得高通图像Hn=Vn*L,用Hn绝对值的局部高斯平滑值构建显著性图像
Figure GDA0003756813980000041
其中
Figure GDA0003756813980000042
是大小为(2rg+1)×(2rg+1)标准差为σg的高斯低通滤波器;Sn较好地反映了图像像素的显著性水平,接下来通过比较不同的Sn中相同位置像素的显著性数值确定初始权重图Pn中对应位置的权重值为
Figure GDA0003756813980000043
Figure GDA0003756813980000044
其中,N表示源图像的数量,
Figure GDA0003756813980000045
表示第n张图像在第j个像素处的显著性数值;
初始权重图Pn常含有噪声,可能会造成融合图像产生伪影,利用引导滤波具有保持像素空间一致性的优点进行改善,将初始权重图Pn作为引导滤波的输入图像,将与Pn对应的源图像Vn作为引导图像,采用引导滤波的方法得到基础层和细节层的权重图分别为:
Figure GDA0003756813980000046
Figure GDA0003756813980000047
其中,r1,∈1,r2,∈2为引导滤波参数,且满足窗口半径r1>r2、截断值∈1>∈2
Figure GDA0003756813980000048
Figure GDA0003756813980000049
分别为基础层和细节层的权重图;
确定了各个权重图后,将N个基础层权重图和N个细节层权重图在相同像素位置分别做和为1的归一化处理,再通过线性加权的方法分别进行融合,得:
Figure GDA00037568139800000410
Figure GDA00037568139800000411
最后,将融合后的基础层
Figure GDA00037568139800000412
与融合后的细节层
Figure GDA00037568139800000413
相加,重构出V通道最终的图像
Figure GDA00037568139800000414
在上述技术方案中,所述步骤四中,利用V通道增强后的图像V′和步骤一中保持不变的色调分量H与饱和度分量S,利用彩色图像的颜色空间转换公式,实现HSV颜色空间到RGB颜色空间的图像数据转换,即为原始输入的不均匀光照图像的最终增强结果。
为了验证本专利所提供方法的有效性,通过实验与文献A New Image ContrastEnhancement Algorithm Using Exposure Fusion Framework(Ying Z,Li G,Ren Y,etal,ICCAIP 2017)的方法进行了对比。由于各个库中图像来源的相机信息未知,实验中相机响应模型均使用该文献中的BTF函数
Figure GDA00037568139800000415
且参数a=-0.3293,b=1.1258,另外,图像灰度值归一化到区间[0,1]后灰度阈值τ1=0.4,τ2=0.75,高斯滤波器参数σ1=1,σ2=2,σ3=4,rg=σg=5,引导滤波的参数r1=45,∈1=0.3,r2=7,∈2=10-6。比较结果如图2和图3所示,左边为输入的不均匀光照图像以及放大的局部,图像中均存在过曝和欠曝区域,中间为所比较的方法的处理效果,右边为本专利提供的方法处理的效果,可见,本专利提供方法在过曝和欠曝区域的纹理细节展现得更加丰富。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特征在于,包括以下步骤:
步骤一:将输入的不均匀光照图像从RGB颜色空间转换到HSV颜色空间,并分离出图像的亮度分量V、色调分量H与饱和度分量S;
步骤二:依据相机响应模型采用合适的亮度映射函数,对亮度分量V中曝光不足的像素寻优大于1的最佳曝光比kopt1使亮度映射后的信息熵最大,进而利用kopt1对V通道分量所有像素进行虚拟曝光,生成一幅增强曝光的图像V1,同理,对亮度分量V中曝光过多的像素寻优小于1的最佳曝光比kopt2使亮度映射后的信息熵最大,进而利用kopt2对V通道分量所有像素进行虚拟曝光,生成一幅减弱曝光的图像V2,将V、V1和V2这三幅图像组成曝光序列图像;
步骤三,采用带细节提升的多曝光图像融合方法,对步骤二所得曝光序列图像进行融合,得到增强后的图像V分量;
步骤四,用增强后的V分量和保持不变的H分量和S分量重新合成HSV图像,并将其转换回RGB颜色空间作为最终的图像增强结果输出。
2.根据权利要求1所述的一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特征在于,所述步骤一的实现过程为:
利用彩色图像的颜色空间转换公式,将输入的不均匀光照图像从RGB颜色空间转换到HSV颜色空间,从而得到相应的亮度分量V、色调分量H与饱和度分量S,其中亮度分量V用于后续步骤的处理。
3.根据权利要求1所述的一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特征在于,所述步骤二的实现过程为:
描述相机响应模型的亮度映射函数即BMF函数g(V,k),以亮度分量V为参考图像,通过设置不同的曝光比k可生成具有不同曝光比的图像,起到改变图像像素亮度值的作用;
采用BMF函数对不均匀光照图像的V通道进行增强曝光,为了找到最佳曝光比提高曝光不足的像素的亮度,先利用Q={V(x)|T(x)<τ1}过滤得到曝光不足的像素的灰度值集合Q,其中T为原始图像V的光照分量,可基于Retinex理论估计T,τ1是区分曝光不足像素的灰度阈值,比它小的灰度值对应的像素被认为是曝光不足的,则曝光不足的像素点的信息熵为:
Figure FDA0003756813970000014
其中pi代表Q中每个灰度等级i出现的概率,将曝光不足的像素转化为曝光好的像素有助于提升图像可见度、增大图像信息量,所以使用图像信息熵最大化的原则来求解增强曝光的最佳曝光比为:
Figure FDA0003756813970000011
同理,采用BMF函数对不均匀光照图像的V通道进行减弱曝光,为了找到最佳曝光比降低曝光过多的像素的亮度,只需改变灰度阈值条件,就可得到曝光过多的像素点的灰度值集合Q={P0(x)|T(x)>τ2},其中τ2是区分曝光过多像素的灰度阈值,使用图像信息熵最大化的原则来求解减弱曝光的最佳曝光比为:
Figure FDA0003756813970000012
Figure FDA0003756813970000013
从而,得到增强曝光的图像V1=g(V,kopt1)和减弱曝光的图像V2=g(V,kopt2),V以及由它虚拟曝光生成的V1、V2三幅图像组成同一场景不同曝光的图像序列。
4.根据权利要求1所述的一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特征在于,所述步骤三的实现过程为:
对于由V以及V1、V2组成的图像序列曝光序列中的每一幅图像,使用3个不同尺度的高斯滤波器分别对其进行滤波,得到对应的基础层Bn,1=G1*Vn,Bn,2=G2*Vn,Bn,3=G3*Vn和细节层Dn,1=Vn-Bn,1,Dn,2=Vn-Bn,2,Dn,3=Vn-Bn,3,其中,*表示卷积运算,Vn表示曝光序列中的第n张图像,G1、G2和G3分别是标准差为σ1、σ2和σ3的高斯核,且σ123;标准差代表着高斯核尺度的大小,取最小尺度的高斯核卷积得到的基础层作为后续融合的基础层,即第n张曝光图像对应的基础层取为Bn=Bn,1,后续融合的细节层图像则由3种尺度下的细节层Dn,1,Dn,2,Dn,3加权重构得到,即:Dn=(1-w1×sgn(Dn,1))×Dn,1+w2×Dn,2+w3×Dn,3,其中,sgn是符号函数,w1,w2,w3分别为3种尺度下细节层对应的加权系数,这种基于多尺度细节增强的方法不仅能突出边缘,还能增强图像中的局部纹理细节;
这样,得到不同曝光图像的基础层和增强的细节层后,需要构造相应的权重图进行融合,采用将像素显著性和空间一致性相结合的方法:首先,利用3×3大小的拉普拉斯滤波器L与每张源图像Vn进行卷积,得高通图像Hn=Vn*L,用Hn绝对值的局部高斯平滑值构建显著性图像
Figure FDA0003756813970000021
其中
Figure FDA0003756813970000022
是大小为(2rg+1)×(2rg+1)标准差为σg的高斯低通滤波器;Sn较好地反映了图像像素的显著性水平,接下来通过比较不同的Sn中相同位置像素的显著性数值确定初始权重图Pn中对应位置的权重值为
Figure FDA0003756813970000023
Figure FDA0003756813970000024
其中,N表示源图像的数量,
Figure FDA0003756813970000025
表示第n张图像在第j个像素处的显著性数值;
初始权重图Pn常含有噪声,可能会造成融合图像产生伪影,利用引导滤波具有保持像素空间一致性的优点进行改善,将初始权重图Pn作为引导滤波的输入图像,将与Pn对应的源图像Vn作为引导图像,采用引导滤波的方法得到基础层和细节层的权重图分别为:
Figure FDA0003756813970000026
Figure FDA0003756813970000027
其中,r1,∈1,r2,∈2为引导滤波参数,且满足窗口半径r1>r2、截断值∈1>∈2
Figure FDA0003756813970000028
Figure FDA0003756813970000029
分别为基础层和细节层的权重图;
确定了各个权重图后,将N个基础层权重图和N个细节层权重图在相同像素位置分别做和为1的归一化处理,再通过线性加权的方法分别进行融合,得:
Figure FDA00037568139700000210
Figure FDA00037568139700000211
最后,将融合后的基础层
Figure FDA00037568139700000213
与融合后的细节层
Figure FDA00037568139700000214
相加,重构出V通道最终的图像
Figure FDA00037568139700000212
5.根据权利要求1所述的一种基于虚拟多曝光融合的不均匀光照图像增强方法,其特征在于,所述步骤四的实现过程为:
利用V通道增强后的图像V′和步骤一中保持不变的色调分量H与饱和度分量S,利用彩色图像的颜色空间转换公式,实现HSV颜色空间到RGB颜色空间的图像数据转换,结果即为原始输入的不均匀光照图像的最终增强图像。
CN201910970860.0A 2019-10-14 2019-10-14 一种基于虚拟多曝光融合的不均匀光照图像增强方法 Active CN112734650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910970860.0A CN112734650B (zh) 2019-10-14 2019-10-14 一种基于虚拟多曝光融合的不均匀光照图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910970860.0A CN112734650B (zh) 2019-10-14 2019-10-14 一种基于虚拟多曝光融合的不均匀光照图像增强方法

Publications (2)

Publication Number Publication Date
CN112734650A CN112734650A (zh) 2021-04-30
CN112734650B true CN112734650B (zh) 2022-09-30

Family

ID=75588716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910970860.0A Active CN112734650B (zh) 2019-10-14 2019-10-14 一种基于虚拟多曝光融合的不均匀光照图像增强方法

Country Status (1)

Country Link
CN (1) CN112734650B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436086B (zh) * 2021-05-31 2023-04-11 西安电子科技大学 非均匀光照视频的处理方法、电子设备及存储介质
WO2023272506A1 (zh) * 2021-06-29 2023-01-05 深圳市大疆创新科技有限公司 图像处理方法及装置、可移动平台及存储介质
CN114429426B (zh) * 2021-12-20 2022-08-16 哈尔滨理工大学 一种基于Retinex模型的低照度图像质量改善方法
CN114757897B (zh) * 2022-03-30 2024-04-09 柳州欧维姆机械股份有限公司 一种改善桥梁缆索锚固区成像效果的方法
CN114565608A (zh) * 2022-04-26 2022-05-31 华伦医疗用品(深圳)有限公司 一种内窥镜Ai图像识别方法及系统
CN115100081B (zh) * 2022-08-24 2022-11-15 深圳佳弟子科技有限公司 Lcd显示屏灰阶图像增强方法、装置、设备及存储介质
CN116416616B (zh) * 2023-04-13 2024-01-05 沃森克里克(北京)生物科技有限公司 一种dc细胞体外培养筛分方法、装置及计算机可读介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034986A (zh) * 2012-11-29 2013-04-10 奇瑞汽车股份有限公司 一种基于曝光融合的夜视图像增强方法
CN107833184A (zh) * 2017-10-12 2018-03-23 北京大学深圳研究生院 一种基于多曝光生成再融合框架的图像增强方法

Also Published As

Publication number Publication date
CN112734650A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734650B (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
Galdran Image dehazing by artificial multiple-exposure image fusion
Ying et al. A bio-inspired multi-exposure fusion framework for low-light image enhancement
RU2400815C2 (ru) Способ повышения качества цифрового фотоизображения
CN110428379B (zh) 一种图像灰度增强方法及系统
Lee et al. Noise reduction and adaptive contrast enhancement for local tone mapping
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
Rahman et al. Efficient image enhancement model for correcting uneven illumination images
Kinoshita et al. Automatic exposure compensation using an image segmentation method for single-image-based multi-exposure fusion
Feng et al. Low-light image enhancement based on multi-illumination estimation
Lou et al. Integrating haze density features for fast nighttime image dehazing
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
Wang et al. Low-light image enhancement based on virtual exposure
CN112614063B (zh) 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
Tung et al. ICEBIN: Image contrast enhancement based on induced norm and local patch approaches
Zhao et al. Multi-scene image enhancement based on multi-channel illumination estimation
Chung et al. Under-exposed image enhancement using exposure compensation
CN113284058B (zh) 一种基于迁移理论的水下图像增强方法
CN116228553A (zh) 一种可同时增强高照度和低照度区域清晰度的图像增强方法
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
Zhang et al. RT-VENet: a convolutional network for real-time video enhancement
CN110796609B (zh) 基于尺度感知和细节增强模型的低光图像增强方法
Zeng Low-light image enhancement algorithm based on lime with pre-processing and post-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210430

Assignee: Suzhou Yilaisheng Photoelectric Technology Co.,Ltd.

Assignor: WUHAN University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2023420000026

Denomination of invention: An Image Enhancement Method of Uneven Illumination Based on Virtual Multi-exposure Fusion

Granted publication date: 20220930

License type: Common License

Record date: 20230227