CN109035155A - 一种光晕去除的多曝光图像融合方法 - Google Patents

一种光晕去除的多曝光图像融合方法 Download PDF

Info

Publication number
CN109035155A
CN109035155A CN201810617257.XA CN201810617257A CN109035155A CN 109035155 A CN109035155 A CN 109035155A CN 201810617257 A CN201810617257 A CN 201810617257A CN 109035155 A CN109035155 A CN 109035155A
Authority
CN
China
Prior art keywords
image
exposure
brightness
clear
lock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810617257.XA
Other languages
English (en)
Other versions
CN109035155B (zh
Inventor
郁梅
邵华
蒋刚毅
宋洋
姜浩
彭宗举
陈芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810617257.XA priority Critical patent/CN109035155B/zh
Publication of CN109035155A publication Critical patent/CN109035155A/zh
Application granted granted Critical
Publication of CN109035155B publication Critical patent/CN109035155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光晕去除的多曝光图像融合方法,其计算每幅曝光图像的亮度图像的局部梯度稀疏复杂度映射图和曝光质量映射图;然后融合得到每幅曝光图像的亮度图像的初步融合权值图像,进而得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像的归一化图像;再获得所有曝光图像的最终融合图像;优点是通过针对亮度图像的梯度幅值图像的稀疏表示构建局部梯度稀疏复杂度映射图及曝光质量映射图进行图像融合,有效抑制了大幅值的无效梯度在图像融合过程中产生的影响,消除了融合图像中的光晕现象,且能更有效地提取多曝光图像序列中不同曝光条件下的图像纹理细节,因此融合图像中含有更丰富的纹理细节和具有更高的清晰度。

Description

一种光晕去除的多曝光图像融合方法
技术领域
本发明涉及一种图像处理技术,尤其是涉及一种光晕去除的多曝光图像融合方法。
背景技术
动态范围是可变化信号中的最大值和最小值的比值。对于一个实际场景,动态范围即指该实际场景中存在的最大亮度值与最小亮度值的比值。由于真实自然环境中存在着丰富的光影和颜色信息,其亮度动态范围一般都非常大,最大可以跨越1014数量级,远远超过了目前市场上通用的成像设备所能捕获的动态范围,因此,能够真实再现自然场景的高动态范围成像技术凭借其完美的纹理细节保留、逼真的视觉感知,已越来越广泛地应用在数字摄影、航天航空、卫星气象、医疗、军事等行业。
目前,高动态范围成像技术主要有两类,即基于硬件实现技术和基于软件合成技术。基于硬件实现的高动态范围成像技术需要特定的高动态范围成像设备拍摄,该类设备价格昂贵,因此未能在通用市场中流行。最初的基于软件合成的高动态范围成像技术,是通过改变曝光度来取舍亮度信息以获取场景的某一段动态范围,然后通过已获知的曝光时间来修复相机响应曲线并将图像映射至场景辐射度域,最后在场景辐射度域进行图像加权融合;该技术需获知精确的曝光时间,且所获的高动态范围图像需经过色调映射才能在普通显示设备上显示。当前基于多曝光图像融合的高动态范围合成技术已获得人们的广泛关注,该多曝光图像融合的高动态范围合成技术不需要获知精确的曝光时间来修复相机响应曲线及将图像映射到场景辐射度域,其合成图像能够提供比单幅图像更为丰富的细节信息、更接近人眼所观察到的真实景物,同时也可以直接在普通显示设备上显示,因此具有更高的计算效率。
目前,常用的多曝光图像融合方法主要有:直接融合方法、基于区域的融合方法、基于拉普拉斯、引导滤波等各类金字塔的分层融合方法。但是以上融合方法并没有充分考虑到高动态范围场景下,通过多曝光融合方式获取的高动态范围图像容易在局部亮度变化剧烈区域产生光晕现象,影响人眼视觉感知结果。多曝光图像融合过程中,在场景中亮度变化剧烈区域会产生光晕现象,其主要原因是在多曝光图像序列的获取过程中,通过改变曝光度取舍亮度信息可以获取场景的某一段动态范围,但场景局部亮度变化剧烈的程度可能远超过普通相机所能涵盖的动态范围,这在某一曝光条件下会在该亮度变化剧烈区域产生过曝光与欠曝光相邻的现象,且在该曝光条件下该相邻边界获得的梯度幅值远大于其他曝光条件下相同位置所获得的梯度幅值,将该大幅值的梯度应用于多曝光融合过程即会在融合图像中产生光晕现象。因此,研究一种新型的多曝光图像融合方法来获得既含有丰富纹理细节和高清晰度,又无光晕现象的高动态范围图像非常重要。
发明内容
本发明所要解决的技术问题是提供一种光晕去除的多曝光图像融合方法,其融合得到的高动态范围图像不存在光晕现象,且含有丰富纹理细节和具有高清晰度。
本发明解决上述技术问题所采用的技术方案为:一种光晕去除的多曝光图像融合方法,其特征在于包括以下步骤:
步骤一:选取不同场景的清晰图像共Nclear幅,选取的清晰图像包括室内场景的清晰图像和室外场景的清晰图像;然后获取每幅清晰图像的亮度图像;接着获取每幅清晰图像的亮度图像的梯度幅值图像;其中,清晰图像为RGB格式,Nclear≥2,室内场景的清晰图像的幅数与室外场景的清晰图像的幅数相同;
步骤二:通过滑动窗口技术将每幅清晰图像的亮度图像的梯度幅值图像划分成Nblock个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅清晰图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅清晰图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵;再将所有清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵构成总幅值矩阵,记为Sclear;其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,Nblock=(W-Block+1)×(H-Block+1),W表示清晰图像的宽度,H表示清晰图像的高度,Block=2n+1,n为正整数,1≤n≤5,幅值列向量的维数为(Block×Block)×1,幅值矩阵的维数为(Block×Block)×Nblock,Sclear的维数为(Block×Block)×(Nblock×Nclear);
步骤三:采用K-SVD算法对Sclear进行处理,得到最优的过饱和字典,记为Dbest;其中,Dbest的维数为(Block×Block)×K,K表示Dbest中的原子的总个数;
步骤四:选取待融合的同一场景而曝光程度不同的Nex幅曝光图像,所有曝光图像中各自含有场景中的在不同曝光条件下所能呈现出来的纹理细节,将第nex幅曝光图像记为然后扩展每幅曝光图像的尺寸大小,将扩展后的图像作为待处理图像,每幅待处理图像的宽度为W'+2n且高度为H'+2n;接着获取每幅曝光图像的亮度图像和每幅待处理图像的亮度图像,将的亮度图像记为再获取每幅待处理图像的亮度图像的梯度幅值图像;其中,曝光图像为RGB格式,Nex≥3,nex为正整数,1≤nex≤Nex,W'表示曝光图像的宽度,H'表示曝光图像的高度;
步骤五:通过滑动窗口技术将每幅待处理图像的亮度图像的梯度幅值图像划分成N'block个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅待处理图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅待处理图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵,将第nex幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵记为其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,N'block=W'×H',幅值列向量的维数为(Block×Block)×1,的维数为(Block×Block)×N'block
步骤六:计算每幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵的稀疏系数矩阵,将的稀疏系数矩阵记为 然后计算每幅曝光图像的亮度图像的局部梯度稀疏复杂度映射图,将的局部梯度稀疏复杂度映射图记为中坐标位置为(xex,yex)的像素点的像素值记为中坐标位置为(xex,yex)的像素点为中的第i'个像素点,且第nex幅待处理图像的亮度图像的梯度幅值图像中的第i'个图像块的中心像素点与中的第i'个像素点对应,则有其中,的维数为K×N'block,1≤xex≤W',1≤yex≤H',i'为正整数,1≤i'≤N'block,符号“|| ||1”为l1范数求取符号,ai'表示的第i'列的所有元素构成的向量,亦表示中的第i'个幅值列向量的稀疏系数向量;
步骤七:对每幅曝光图像的亮度图像进行归一化处理,得到每幅曝光图像的亮度图像的归一化图像,将的归一化图像记为然后计算每幅曝光图像的亮度图像的曝光质量映射图,将的曝光质量映射图记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,表示曝光质量好,表示曝光质量差,α表示曝光质量阈值,α∈[0,1],表示中坐标位置为(xex,yex)的像素点的像素值;
步骤八:计算每幅曝光图像的亮度图像的初步融合权值图像,将的初步融合权值图像记为中坐标位置为(xex,yex)的像素点的像素值记为 然后对每幅曝光图像的亮度图像的初步融合权值图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 接着通过递归滤波技术对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像进行优化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像,将的优化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 再对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,τ是一个很小的正数,Fc(xex,yex)为引入的中间变量,e表示自然基数,sigma_s表示递归滤波的标准差,sigma_r表示递归滤波的标准偏差范围, 表示中坐标位置为(xex,yex)的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,Fb(xex,yex)为引入的中间变量,若1≤yex-1≤H'则表示中坐标位置为(xex,yex-1)的像素点的像素值,若yex-1<1则令 表示中坐标位置为(xex,1)的像素点的像素值,Fa(xex,yex)为引入的中间变量,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex-1≤W'则表示中坐标位置为(xex-1,yex)的像素点的像素值,若xex-1<1则令 表示中坐标位置为(1,yex)的像素点的像素值;
步骤九:计算所有曝光图像的最终融合图像,记为IF,将IF的第m个通道中坐标位置为(xex,yex)的像素点的像素值记为IF(xex,yex,m),其中,IF为RGB格式,m=1,2,3,m=1时表示R通道,m=2时表示G通道,m=3时表示B通道,表示的第m个通道中坐标位置为(xex,yex)的像素点的像素值。
所述的步骤三中,Dbest的获取过程为:令D表示过饱和字典;然后赋予D初始值;再计算公式满足条件||ai||1<th,i∈[1,Nblock×Nclear]和||dj||2=1,j∈[1,K],得到在误差允许范围内D的最优值,并作为最优的过饱和字典Dbest;其中,D的维数为(Block×Block)×K,min()为取最小值函数,符号“|| ||2”为l2范数求取符号,符号“|| ||1”为l1范数求取符号,Aclear表示Sclear的稀疏系数矩阵,Aclear的维数为K×(Nblock×Nclear),ai表示Aclear的第i列的所有元素构成的列向量,亦表示Sclear中的第i个幅值列向量的稀疏系数向量,1≤i≤Nblock×Nclear,th表示设定的误差上限,0<th<0.1,dj表示D的第j列的所有元素构成的列向量,1≤j≤K。
与现有技术相比,本发明的优点在于:
1)由于在高动态范围场景中存在剧烈的局部亮度变化,可能远超过普通相机所能涵盖的动态范围,因此在多曝光图像序列的某一曝光条件下产生相对图像融合而言为无效的大幅值梯度,本发明充分考虑到该现象,构建局部梯度稀疏复杂度映射图进行图像融合,有效抑制了大幅值的无效梯度在图像融合过程中产生的影响,消除了融合图像中的光晕现象,提高了人眼视觉感知效果。
2)本发明方法通过针对多曝光图像序列的亮度图像的梯度幅值图像的稀疏表示构建局部梯度稀疏复杂度映射图及曝光质量映射图进行图像融合,能更有效地提取多曝光图像序列中不同曝光条件下的图像纹理细节,因此融合图像中含有更丰富的纹理细节和具有更高的清晰度。
3)本发明方法通过针对多曝光图像序列的亮度图像的梯度幅值图像的稀疏表示构建局部梯度稀疏复杂度映射图及曝光质量映射图进行图像融合,并不需要从过饱和字典中恢复出融合图像,而是利用多曝光图像序列加权叠加的模式实现图像融合,因此在获得丰富纹理细节和较高清晰度的同时,具有更高的计算效率。
附图说明
图1为本发明方法的总体流程框图;
图2a为待融合的第1幅曝光图像;
图2b为待融合的第2幅曝光图像;
图2c为待融合的第3幅曝光图像;
图2d为待融合的第4幅曝光图像;
图2e为待融合的第5幅曝光图像;
图3a为图2a所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3b为图2b所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3c为图2c所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3d为图2d所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3e为图2e所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图4a为图2a所示的曝光图像的亮度图像的曝光质量映射图;
图4b为图2b所示的曝光图像的亮度图像的曝光质量映射图;
图4c为图2c所示的曝光图像的亮度图像的曝光质量映射图;
图4d为图2d所示的曝光图像的亮度图像的曝光质量映射图;
图4e为图2e所示的曝光图像的亮度图像的曝光质量映射图;
图5a为图2a所示的曝光图像的亮度图像的初步融合权值图像;
图5b为图2b所示的曝光图像的亮度图像的初步融合权值图像;
图5c为图2c所示的曝光图像的亮度图像的初步融合权值图像;
图5d为图2d所示的曝光图像的亮度图像的初步融合权值图像;
图5e为图2e所示的曝光图像的亮度图像的初步融合权值图像;
图6a为图5a所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6b为图5b所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6c为图5c所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6d为图5d所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6e为图5e所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图7a为利用本发明方法融合图2a至图2e所示的曝光图像得到的融合图像;
图7b为利用现有方法融合图2a至图2e所示的曝光图像得到的融合图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
由于高动态范围场景中存在剧烈的局部亮度变化,可能远超过普通相机所能涵盖的动态范围,因此由曝光参数渐变而获得的多曝光图像序列会在某一曝光条件下在局部亮度变化剧烈区域产生过曝光与欠曝光相邻的现象,且在该曝光条件下该相邻边界获得的梯度幅值远大于其他曝光条件下相同位置所获得的梯度幅值。如果以梯度幅值的强弱作为图像融合依据,那么会在该幅值较大的无效梯度邻域产生光晕现象。因此,可以认为该大幅值梯度为多曝光图像融合过程中的无效梯度。本发明通过详细分析多曝光图像融合过程中出现的光晕现象是由于场景中存在局部亮度变化剧烈区域,从而在多曝光图像序列中产生了非自然场景真实存在的过曝光与欠曝光相邻现象导致存在大幅值的无效梯度。同时也正是由于该大幅值无效梯度是由于过曝光和欠曝光相邻边界产生,其邻域的其他梯度变化值几乎为0,因此可以利用稀疏表示算法强有力的细节提取能力,有效获取其他曝光条件下曝光图像在该区域的纹理细节信息,来抑制大幅值无效梯度在图像融合过程中产生影响,从而消除光晕的存在。
本发明提出的一种光晕去除的多曝光图像融合方法,其总体流程框图如图1所示,其包括以下步骤:
步骤一:选取不同场景的清晰图像共Nclear幅,选取的清晰图像包括室内场景的清晰图像和室外场景的清晰图像;然后获取每幅清晰图像的亮度图像;接着获取每幅清晰图像的亮度图像的梯度幅值图像;其中,清晰图像为RGB格式,Nclear≥2,在本实施例中取Nclear=4,室内场景的清晰图像的幅数与室外场景的清晰图像的幅数相同,如选取2幅室内场景的清晰图像和2幅室外场景的清晰图像。
步骤二:通过滑动窗口技术将每幅清晰图像的亮度图像的梯度幅值图像划分成Nblock个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅清晰图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅清晰图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵;再将所有清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵构成总幅值矩阵,记为Sclear;其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,Nblock=(W-Block+1)×(H-Block+1),W表示清晰图像的宽度,H表示清晰图像的高度,Block=2n+1,n为正整数,1≤n≤5,在本实施例中取n=2,即Block=5,也即图像块的尺寸大小为5×5,幅值列向量的维数为(Block×Block)×1,幅值矩阵的维数为(Block×Block)×Nblock,Sclear的维数为(Block×Block)×(Nblock×Nclear)。
步骤三:采用现有的K-SVD算法对Sclear进行处理,得到最优的过饱和字典,记为Dbest;其中,Dbest的维数为(Block×Block)×K,K表示Dbest中的原子的总个数,在本实施例中取K=256。
在本实施例中,步骤三中,Dbest的获取过程为:令D表示过饱和字典;然后赋予D初始值;再计算公式满足条件||ai||1<th,i∈[1,Nblock×Nclear]和||dj||2=1,j∈[1,K],得到在误差允许范围内D的最优值,并作为最优的过饱和字典Dbest;其中,D的维数为(Block×Block)×K,赋予D的初始值可为任意值,如值全为1的维数为(Nblock×Nblock)×K的矩阵,min()为取最小值函数,符号“|| ||2”为l2范数求取符号,符号“|| ||1”为l1范数求取符号,Aclear表示Sclear的稀疏系数矩阵,Aclear的维数为K×(Nblock×Nclear),ai表示Aclear的第i列的所有元素构成的列向量,亦表示Sclear中的第i个幅值列向量的稀疏系数向量,1≤i≤Nblock×Nclear,th表示设定的误差上限,0<th<0.1,在本实施例中取th=0.05,dj表示D的第j列的所有元素构成的列向量,1≤j≤K。
步骤四:选取待融合的同一场景而曝光程度不同的Nex幅曝光图像,所有曝光图像中各自含有场景中的在不同曝光条件下所能呈现出来的纹理细节,将第nex幅曝光图像记为然后扩展每幅曝光图像的尺寸大小,将扩展后的图像作为待处理图像,每幅待处理图像的宽度为W'+2n且高度为H'+2n;接着获取每幅曝光图像的亮度图像和每幅待处理图像的亮度图像,将的亮度图像记为再获取每幅待处理图像的亮度图像的梯度幅值图像;其中,曝光图像为RGB格式,Nex≥3,如取Nex=5,nex为正整数,1≤nex≤Nex,每幅曝光图像的左侧和右侧各自扩充的2n列像素点及上侧和下侧各自扩充的2n行像素点的像素值均为0,W'表示曝光图像的宽度,H'表示曝光图像的高度,W'可与W相同或不相同,H'可与H相同或不相同。
图2a至图2e给出了同一场景而曝光程度不同的5幅曝光图像。
步骤五:通过滑动窗口技术将每幅待处理图像的亮度图像的梯度幅值图像划分成N'block个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅待处理图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅待处理图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵,将第nex幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵记为其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,N'block=W'×H',幅值列向量的维数为(Block×Block)×1,的维数为(Block×Block)×N'block
步骤六:计算每幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵的稀疏系数矩阵,将的稀疏系数矩阵记为 然后计算每幅曝光图像的亮度图像的局部梯度稀疏复杂度映射图,将的局部梯度稀疏复杂度映射图记为中坐标位置为(xex,yex)的像素点的像素值记为中坐标位置为(xex,yex)的像素点为中的第i'个像素点,且第nex幅待处理图像的亮度图像的梯度幅值图像中的第i'个图像块的中心像素点与中的第i'个像素点对应,则有其中,的维数为K×N'block,1≤xex≤W',1≤yex≤H',i'为正整数,1≤i'≤N'block,符号“|| ||1”为l1范数求取符号,ai'表示的第i'列的所有元素构成的向量,亦表示中的第i'个幅值列向量的稀疏系数向量。
图3a至图3e对应给出了图2a至图2e所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图。
步骤七:对每幅曝光图像的亮度图像进行归一化处理,得到每幅曝光图像的亮度图像的归一化图像,将的归一化图像记为然后计算每幅曝光图像的亮度图像的曝光质量映射图,将的曝光质量映射图记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,对每幅曝光图像的亮度图像进行归一化处理采用常规的归一化处理技术,表示曝光质量好,表示曝光质量差,α表示曝光质量阈值,α∈[0,1],在本实施例中取α=0.1,表示中坐标位置为(xex,yex)的像素点的像素值。
图4a至图4e对应给出了图2a至图2e所示的曝光图像的亮度图像的曝光质量映射图。
步骤八:计算每幅曝光图像的亮度图像的初步融合权值图像,将的初步融合权值图像记为中坐标位置为(xex,yex)的像素点的像素值记为 然后对每幅曝光图像的亮度图像的初步融合权值图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 接着通过递归滤波技术对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像进行优化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像,将的优化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 再对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,τ是一个很小的正数,在本实施例中取τ=10-25,Fc(xex,yex)为引入的中间变量,e表示自然基数,e=2.1718218…,sigma_s表示递归滤波的标准差,在本实施例中取sigma_s=100,sigma_r表示递归滤波的标准偏差范围,在本实施例中取sigma_r=4, 表示中坐标位置为(xex,yex)的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,Fb(xex,yex)为引入的中间变量,若1≤yex-1≤H'则表示中坐标位置为(xex,yex-1)的像素点的像素值,若yex-1<1则令 表示中坐标位置为(xex,1)的像素点的像素值,Fa(xex,yex)为引入的中间变量,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex-1≤W'则表示中坐标位置为(xex-1,yex)的像素点的像素值,若xex-1<1则令 表示中坐标位置为(1,yex)的像素点的像素值。
图5a至图5e对应给出了图2a至图2e所示的曝光图像的亮度图像的初步融合权值图像;图6a至图6e对应给出了图5a至图5e所示的初步融合权值图像的归一化图像的优化图像的归一化图像。
步骤九:计算所有曝光图像的最终融合图像,记为IF,将IF的第m个通道中坐标位置为(xex,yex)的像素点的像素值记为IF(xex,yex,m),其中,IF为RGB格式,m=1,2,3,m=1时表示R通道,m=2时表示G通道,m=3时表示B通道,表示的第m个通道中坐标位置为(xex,yex)的像素点的像素值。
图7a给出了利用本发明方法融合图2a至图2e所示的曝光图像得到的融合图像;图7b给出了利用现有方法(S.Li,X.Kang,J.Hu,“Image Fusion with Guided Filtering,”IEEE Transactions on Image Processing,22(7),28-64(2013).(基于引导滤波的图像融合))融合图2a至图2e所示的曝光图像得到的融合图像。比较图7a和图7b可以看出,利用本发明方法获得的融合图像明显地消除了光晕现象。
为进一步试验本发明方法的可行性和有效性,对本发明方法进行实验。
在此利用传统的图像质量评价方法来评价本发明方法及现有的5种融合方法的实验结果,传统的图像质量评价方法为图像梯度信息评价方法和无参考图像质量评价DIIVINE方法,图像梯度信息评价方法主要用于分析曝光图像中的边缘信息在融合图像中的保留情况,保留越多,其值越大;无参考图像质量评价DIIVINE方法主要用于评价融合图像对人眼的感知情况,所获得值越大,则表明融合图像越符合人眼感知需求。
现有的5种融合方法分别为:T.Mertens,J.Kautz,F.Van Reeth,“ExposureFusion:A Simple and Practical Alternative to High Dynamic Range Photography,”Computer Graphics Forum,28(1),161–171(2010).(一种简单实用的高动态范围摄影方法(在此简称为Mertens10))、V.Vonikakis,O.Bouzos,I.Andreadis,“Multi-exposure ImageFusion Based on Illumination Estimation,”Specialized Information PublishersAssociation,pp.135–142,Heraklion,Crete,Greece(2011).(基于光照估计的多曝光图像融合(在此简称为Vonikakis11))、S.Li,X.Kang,J.Hu,“Image Fusion with GuidedFiltering,”IEEE Transactions on Image Processing,22(7),28-64(2013).(基于引导滤波的图像融合(在此简称为Li13))、Y.Liu,Z.Wang,“Dense SIFT for Ghost-freeMulti-exposure Fusion,”Journal of Visual Communication&Image Representation,31(C),208–224(2105).(基于稠密SIFT特征的鬼影去除多曝光图像融合(在此简称为Liu15))、K.Ma,H.Li,H.Yong,et al.,“Robust Multi-exposure Image Fusion:AStructural Patch Decomposition Approach,”IEEE Transactions on ImageProcessing,26(5),2519–2532(2017).(高鲁棒的多曝光图像融合:一种基于结构块分解的方法(在此简称为Ma17))。
表1给出了分别利用本发明方法及现有的5种融合方法得到的融合图像的图像梯度信息评价的评价值,表2给出了分别利用本发明方法及现有的5种融合方法得到的融合图像的无参考图像质量评价的评价值。
表1分别利用本发明方法及现有的5种融合方法得到的融合图像的图像梯度信息评价的评价值
表2分别利用本发明方法及现有的5种融合方法得到的融合图像的无参考图像质量评价的评价值
从表1所列的数据中可以看出,利用本发明方法得到的融合图像的图像梯度信息的评价值最高,表明曝光图像中的边缘信息在利用本发明方法得到的融合图像中保留的最多。从表2所列的数据中可以看出,本发明方法得到的融合图像最符合人眼感知。实验结果以及数据分析充分表明了本发明的优点,实验结果也契合了本发明提出的理念:通过抑制高幅值无效梯度,有效地提高了图像融合质量,消除了光晕现象。

Claims (2)

1.一种光晕去除的多曝光图像融合方法,其特征在于包括以下步骤:
步骤一:选取不同场景的清晰图像共Nclear幅,选取的清晰图像包括室内场景的清晰图像和室外场景的清晰图像;然后获取每幅清晰图像的亮度图像;接着获取每幅清晰图像的亮度图像的梯度幅值图像;其中,清晰图像为RGB格式,Nclear≥2,室内场景的清晰图像的幅数与室外场景的清晰图像的幅数相同;
步骤二:通过滑动窗口技术将每幅清晰图像的亮度图像的梯度幅值图像划分成Nblock个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅清晰图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅清晰图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵;再将所有清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵构成总幅值矩阵,记为Sclear;其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,Nblock=(W-Block+1)×(H-Block+1),W表示清晰图像的宽度,H表示清晰图像的高度,Block=2n+1,n为正整数,1≤n≤5,幅值列向量的维数为(Block×Block)×1,幅值矩阵的维数为(Block×Block)×Nblock,Sclear的维数为(Block×Block)×(Nblock×Nclear);
步骤三:采用K-SVD算法对Sclear进行处理,得到最优的过饱和字典,记为Dbest;其中,Dbest的维数为(Block×Block)×K,K表示Dbest中的原子的总个数;
步骤四:选取待融合的同一场景而曝光程度不同的Nex幅曝光图像,所有曝光图像中各自含有场景中的在不同曝光条件下所能呈现出来的纹理细节,将第nex幅曝光图像记为然后扩展每幅曝光图像的尺寸大小,将扩展后的图像作为待处理图像,每幅待处理图像的宽度为W'+2n且高度为H'+2n;接着获取每幅曝光图像的亮度图像和每幅待处理图像的亮度图像,将的亮度图像记为再获取每幅待处理图像的亮度图像的梯度幅值图像;其中,曝光图像为RGB格式,Nex≥3,nex为正整数,1≤nex≤Nex,W'表示曝光图像的宽度,H'表示曝光图像的高度;
步骤五:通过滑动窗口技术将每幅待处理图像的亮度图像的梯度幅值图像划分成N'block个部分重叠的尺寸大小为Block×Block的图像块;然后将每幅待处理图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅待处理图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵,将第nex幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵记为其中,滑动窗口的窗口大小为Block×Block、滑动步长为1个像素点,N'block=W'×H',幅值列向量的维数为(Block×Block)×1,的维数为(Block×Block)×N'block
步骤六:计算每幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵的稀疏系数矩阵,将的稀疏系数矩阵记为 然后计算每幅曝光图像的亮度图像的局部梯度稀疏复杂度映射图,将的局部梯度稀疏复杂度映射图记为中坐标位置为(xex,yex)的像素点的像素值记为中坐标位置为(xex,yex)的像素点为中的第i'个像素点,且第nex幅待处理图像的亮度图像的梯度幅值图像中的第i'个图像块的中心像素点与中的第i'个像素点对应,则有其中,的维数为K×N'block,1≤xex≤W',1≤yex≤H',i'为正整数,1≤i'≤N'block,符号“|| ||1”为l1范数求取符号,ai'表示的第i'列的所有元素构成的向量,亦表示中的第i'个幅值列向量的稀疏系数向量;
步骤七:对每幅曝光图像的亮度图像进行归一化处理,得到每幅曝光图像的亮度图像的归一化图像,将的归一化图像记为然后计算每幅曝光图像的亮度图像的曝光质量映射图,将的曝光质量映射图记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,表示曝光质量好,表示曝光质量差,α表示曝光质量阈值,α∈[0,1],表示中坐标位置为(xex,yex)的像素点的像素值;
步骤八:计算每幅曝光图像的亮度图像的初步融合权值图像,将的初步融合权值图像记为中坐标位置为(xex,yex)的像素点的像素值记为 然后对每幅曝光图像的亮度图像的初步融合权值图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 接着通过递归滤波技术对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像进行优化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像,将的优化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 再对每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像进行归一化处理,得到每幅曝光图像的亮度图像的初步融合权值图像的归一化图像的优化图像的归一化图像,将的归一化图像记为中坐标位置为(xex,yex)的像素点的像素值记为 其中,τ是一个很小的正数,Fc(xex,yex)为引入的中间变量,e表示自然基数,sigma_s表示递归滤波的标准差,sigma_r表示递归滤波的标准偏差范围, 表示中坐标位置为(xex,yex)的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,若1≤yex+1≤H'则表示中坐标位置为(xex,yex+1)的像素点的像素值,若yex+1>H'则令 表示中坐标位置为(xex,H')的像素点的像素值,Fb(xex,yex)为引入的中间变量,若1≤yex-1≤H'则表示中坐标位置为(xex,yex-1)的像素点的像素值,若yex-1<1则令 表示中坐标位置为(xex,1)的像素点的像素值,Fa(xex,yex)为引入的中间变量,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex+1≤W'则表示中坐标位置为(xex+1,yex)的像素点的像素值,若xex+1>W'则令 表示中坐标位置为(W',yex)的像素点的像素值,若1≤xex-1≤W'则表示中坐标位置为(xex-1,yex)的像素点的像素值,若xex-1<1则令 表示中坐标位置为(1,yex)的像素点的像素值;
步骤九:计算所有曝光图像的最终融合图像,记为IF,将IF的第m个通道中坐标位置为(xex,yex)的像素点的像素值记为IF(xex,yex,m),其中,IF为RGB格式,m=1,2,3,m=1时表示R通道,m=2时表示G通道,m=3时表示B通道,表示的第m个通道中坐标位置为(xex,yex)的像素点的像素值。
2.根据权利要求1所述的一种光晕去除的多曝光图像融合方法,其特征在于所述的步骤三中,Dbest的获取过程为:令D表示过饱和字典;然后赋予D初始值;再计算公式满足条件||ai||1<th,i∈[1,Nblock×Nclear]和||dj||2=1,j∈[1,K],得到在误差允许范围内D的最优值,并作为最优的过饱和字典Dbest;其中,D的维数为(Block×Block)×K,min()为取最小值函数,符号“|| ||2”为l2范数求取符号,符号“|| ||1”为l1范数求取符号,Aclear表示Sclear的稀疏系数矩阵,Aclear的维数为K×(Nblock×Nclear),ai表示Aclear的第i列的所有元素构成的列向量,亦表示Sclear中的第i个幅值列向量的稀疏系数向量,1≤i≤Nblock×Nclear,th表示设定的误差上限,0<th<0.1,dj表示D的第j列的所有元素构成的列向量,1≤j≤K。
CN201810617257.XA 2018-06-15 2018-06-15 一种光晕去除的多曝光图像融合方法 Active CN109035155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810617257.XA CN109035155B (zh) 2018-06-15 2018-06-15 一种光晕去除的多曝光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810617257.XA CN109035155B (zh) 2018-06-15 2018-06-15 一种光晕去除的多曝光图像融合方法

Publications (2)

Publication Number Publication Date
CN109035155A true CN109035155A (zh) 2018-12-18
CN109035155B CN109035155B (zh) 2021-10-22

Family

ID=64609705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810617257.XA Active CN109035155B (zh) 2018-06-15 2018-06-15 一种光晕去除的多曝光图像融合方法

Country Status (1)

Country Link
CN (1) CN109035155B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898609A (zh) * 2018-06-21 2018-11-27 深圳辰视智能科技有限公司 一种图像边缘检测方法、检测装置及计算机存储介质
CN110517210A (zh) * 2019-07-08 2019-11-29 河北工业大学 基于Haar小波梯度重建的多曝光焊区图像融合方法
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN112651887A (zh) * 2020-11-25 2021-04-13 深圳龙岗智能视听研究院 过曝光图像修复方法、修复系统、数字相机、介质及应用
CN116563279A (zh) * 2023-07-07 2023-08-08 山东德源电力科技股份有限公司 基于计算机视觉的量测开关检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
US20110176024A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Image Fusion Apparatus and Method
CN102622737A (zh) * 2012-02-29 2012-08-01 宁波大学 一种基于区域生长的显微图像融合方法
US20130329093A1 (en) * 2012-06-06 2013-12-12 Apple Inc. Nosie-Constrained Tone Curve Generation
CN106920221A (zh) * 2017-03-10 2017-07-04 重庆邮电大学 兼顾亮度分布和细节呈现的曝光融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
US20110176024A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Image Fusion Apparatus and Method
CN102622737A (zh) * 2012-02-29 2012-08-01 宁波大学 一种基于区域生长的显微图像融合方法
US20130329093A1 (en) * 2012-06-06 2013-12-12 Apple Inc. Nosie-Constrained Tone Curve Generation
CN106920221A (zh) * 2017-03-10 2017-07-04 重庆邮电大学 兼顾亮度分布和细节呈现的曝光融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王春萌: "多曝光图像融合关键技术的研究", 《中国优秀博硕士学位论文全文数据库(博士)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898609A (zh) * 2018-06-21 2018-11-27 深圳辰视智能科技有限公司 一种图像边缘检测方法、检测装置及计算机存储介质
CN110517210A (zh) * 2019-07-08 2019-11-29 河北工业大学 基于Haar小波梯度重建的多曝光焊区图像融合方法
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112085673A (zh) * 2020-08-27 2020-12-15 宁波大学 一种强鬼影去除多曝光图像融合方法
CN112085673B (zh) * 2020-08-27 2023-06-02 宁波大学 一种强鬼影去除多曝光图像融合方法
CN112651887A (zh) * 2020-11-25 2021-04-13 深圳龙岗智能视听研究院 过曝光图像修复方法、修复系统、数字相机、介质及应用
CN112651887B (zh) * 2020-11-25 2023-05-02 深圳龙岗智能视听研究院 过曝光图像修复方法、修复系统、数字相机、介质及应用
CN116563279A (zh) * 2023-07-07 2023-08-08 山东德源电力科技股份有限公司 基于计算机视觉的量测开关检测方法
CN116563279B (zh) * 2023-07-07 2023-09-19 山东德源电力科技股份有限公司 基于计算机视觉的量测开关检测方法

Also Published As

Publication number Publication date
CN109035155B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN109035155B (zh) 一种光晕去除的多曝光图像融合方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN107292830B (zh) 低照度图像增强及评价方法
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN112508812B (zh) 图像色偏校正方法、模型训练方法、装置及设备
US11763432B2 (en) Multi-exposure image fusion method based on feature distribution weight of multi-exposure image
Fang et al. Single image dehazing and denoising with variational method
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN110853027A (zh) 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111612725A (zh) 一种基于可见光图像对比度增强的图像融合方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
Lee et al. Correction of the overexposed region in digital color image
Wang et al. Exposure fusion based on sparse coding in pyramid transform domain
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN103996179B (zh) 一种基于单尺度Retinex的快速实时图像增强方法
CN113409247B (zh) 一种多曝光融合图像质量评价方法
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
CN110246086A (zh) 彩色图像增强的图像处理方法及其图像处理系统
CN117237207A (zh) 针对动态场景的无鬼影高动态范围光场成像方法
Toh et al. Implementation of high dynamic range rendering on acute leukemia slide images using contrast stretching
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
Vavilin et al. Fast HDR image generation from multi-exposed multiple-view LDR images
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN106993186B (zh) 一种立体图像显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant