CN109345525A - 一种去鬼影高动态范围图像质量评价方法 - Google Patents
一种去鬼影高动态范围图像质量评价方法 Download PDFInfo
- Publication number
- CN109345525A CN109345525A CN201811134015.1A CN201811134015A CN109345525A CN 109345525 A CN109345525 A CN 109345525A CN 201811134015 A CN201811134015 A CN 201811134015A CN 109345525 A CN109345525 A CN 109345525A
- Authority
- CN
- China
- Prior art keywords
- image
- formula
- dynamic
- area
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000003068 static effect Effects 0.000 claims abstract description 58
- 238000013441 quality evaluation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract 1
- 238000012772 sequence design Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 5
- 238000001303 quality assessment method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明针对去鬼影高动态范围图像提出了有效的客观质量评价模型,其特征在于:首先,基于去鬼影高动态范围图像的源曝光级序列设计了基于亮度、对比度和结构特征的块分解的图像融合算法,以获得参考图像;然后,基于纹理不一致性原理检测去鬼影高动态范围图像的源曝光级序列中的静态区域和动态区域;接下来,分别对针对静态区域和动态区域设计基于结构相似性的客观质量评价模型;最后,采用不确定性权重策略结合静态区域和客观区域的客观质量分数,以计算去鬼影高动态范围图像的总体质量分数。实验结果表明本发明提出客观质量评价模型对去鬼影高动态范围图像展现良好的效果。
Description
技术领域
本发明提出了一种去鬼影高动态范围图像质量评价方法。属于多媒体技术领域,具体属于数字图像和数字视频处理技术领域。
背景技术
当前传感器和显示器主要的缺陷之一就是它们有限的动态范围,造成一些真实自然场景的全部亮度信息很难表现出来,在过去的几十年间高动态范围图像合成技术得到了一定的发展,普遍的方法是在相同的场景拍摄不同的曝光级别的图像序列,基于不同曝光级别的图像序列去合成高动态范围图像,然后通过色调映射技术把所得的高动态范围图像转换成低动态范围图像以便在普通设备上显示。目前,出现了另外一个高效地得到高动态范围图像的范围的方法是多曝光融合方法,多曝光融合算法直接把拍摄所得的一组不同曝光级别的图像序列融合成一张细节丰富的低动态范围图像。
大多数高动态范围图像合成技术和多曝光融合算法的主要技术难点在于动态场景,也就是场景中包含移动的物体或相机、手的抖动,使获得的源曝光级序列中包含动态信息,但是不同曝光级别图像间小小的位移都会导致最终融合的图像中产生鬼影。最近几年,越来越多人尝试针对动态的源曝光级序列合成无鬼影的高动态范围图像,该类算法通常被称作为高动态范围去鬼影算法,并且已经有很多去鬼影算法被提出,每种算法得到的去鬼影效果都不相同。然而,很少有人开展去鬼影高动态范围图像的进行视觉质量评价工作。现存只有去鬼影算法的主观评价,并且只包含小部分图像以及有限的高动态范围去鬼影图像算法,这些实验结果与最近提出的新算法间的相关性较低。对于客观质量评价来说,针对静态的源曝光级序列以设计出十分有效的客观质量评价模型,比如MEF-SSIM,但是,就本发明所知的,目前没有提出任何针对高动态范围图像合成以及动态场景多曝光图像融合的客观质量评价算法。因此,为解决主观实验消耗人力物力的缺陷,并且填补去鬼影高动态范围图像质量评价的空白,本发明旨在设计针对去鬼影高动态范围图像的客观质量算法,有效的实现对去鬼影高动态范围图像客观质量的自动预测。
发明内容
本发明提出了一种有效的评价去鬼影高动态范围图像的客观质量算法,该算法主要分为为五个部分:融合获得参考图像;动态、静态区域划分;静态区域质量评价;动态区域质量评价;不确定权重策略。
为了实现上述目的,本发明采用的技术方案为:
具体过程步骤如下:
步骤1:对去鬼影高动态范围图像的源曝光级序列进行块分解,通过分解得到的图像块生成参考图像,然后两两计算不同曝光级图像的纹理不一致性进行区域分割。
步骤2:二值化所得的纹理不一致性图生成相应的二值图,并使用与运算融合二值图得到源曝光级序列的静态区域和动态区域。
步骤3:分别计算静态区域和动态区域的质量分数。在静态区域上计算参考图像与去鬼影图像的局部质量分数,然后采用多尺度的方法得到静态区域的客观质量分数。在计算动态区域质量分数时,采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列,并对每组新的曝光级序列融合一张新的参考图像,并分别计算新参考图像与去鬼影图像间的质量分数,取最大的质量分数作为动态区域的客观质量分数。
步骤4:采用不确定性权重策略,分别计算图像静态区域和动态区域梯度值的熵,并把所得的熵值作为权重合并两个区域的质量分数,最终获得去鬼影高动态范围图像的总体质量分数。
一种去鬼影高动态范围图像质量评价方法,其特征在于,包括以下几个步骤:
A.对去鬼影高动态范围图像的源曝光级序列进行块分解,提出了一种基于亮度、对比度和结构特征的图像融合方法,获得参考图像。
B.对源曝光级序列两两计算不同曝光级图像的纹理不一致性,二值化得到的纹理不一致性图生成相应的二值图,通过与运算融合二值图,获得源曝光级序列的动态区域与静态区域的最终二值图。
C.根据已划分的区域,在静态区域上计算参考图像与去鬼影图像的局部质量分数,然后采用多尺度的方法得到静态区域的客观质量分数。
D.计算动态区域的质量分数,采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列,并对每组新的曝光级序列使用(A)步骤融合一张新的参考图像,并分别计算新参考图像与去鬼影图像间的质量分数,取最大的质量分数作为动态区域的客观质量分数。
E.分别计算去鬼影高动态范围图像静态区域的梯度图和动态区域的梯度图,并求得相应区域梯度图的熵值,把所求的熵值分别作为动态区域与静态区域质量分数的权重,合并得到去鬼影高动态范围图像的客观质量分数。
进一步地,通过对源曝光级序列进行基于亮度、对比度和结构块的分解操作,以生成参考图像;通过纹理不一致性检测源曝光级序列中的静态、动态区域;分别针对静态、动态区域设计基于结构相似性原理的质量评价模型;使用不确定性权重策略融合静态、动态区域的质量分数得到去鬼影融合高动态范围图像的最终质量分数,其具体步骤是:
A.对源曝光级序列进行块分解,分解为11×11的图像块,进而生成参考图像块,参考图像块的计算公式如式(1)所示:
其中,{xk}={xk|1≤k≤K}表示K张不同曝光图像在相同位置上的一组图像块;‖·‖表示向量的二范式运算;和分别表示图像块的均值和减去均值的图像块;ck,sk和lk分别表示图像块xk的对比度,结构和平均亮度值;其中参考图像块对比度和结构特征的计算如式(2),式(3)所示:
其中是决定每一个图像块在融合过程中作用大小的权重函数,p是一个自适应参数;得到和后,将二者结合便可得到一个新的向量,如式(4)所示:
B.随后计算源曝光级序列中不同曝光级图像间的纹理不一致性,将所得的纹理不一致性图二值化,得到相应的二值图,计算过程如式(5),式(6)所示:
其中,k,k′∈{1,…,K},k≠k′,同时有对<k,k′>产生,因此有张纹理不一致性图生成,C是一个提高算式稳定性的常量,C=(0.03×255)2;T是提前设置的阈值T=0.5;通过式(6)可以得到张二值图,根据所得的二值图,用与运算融合二值图得到源曝光级序列的最终二值图,该二值图中0表示动态区域,1表示静态区域,如式(7)所示:
C.根据所述的对于去鬼影高动态范围图像质量评价方法,要分别对图像的静态区域和动态区域两部分进行质量评价,局部静态区域的质量计算如式(8)所示:
其中,{xk}是式(4)算出的参考图像块,y是去鬼影高动态范围图像的图像块;σy分别是图像块y的方差,是图像块和y的协方差;随后采用多尺度的方法计算总体静态区域的客观质量分数,如式(9)所示:
其中,Qs代表去鬼影高动态范围图像中静态区域的总体分数,L表示多尺度方法中的尺度个数L=3;ωj表示第j个尺度的权重,其中{ω1=0.0710,ω2=0.4530,ω3=0.4760};i表示图像块的索引,M表示总的静态图像块的个数。
D.计算动态区域的质量分数时,依次从源曝光级序列中选出一张曝光图像作为目标图像,用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像,生成一组新的无动态信息的曝光级序列,这样可以生成K组新的曝光级序列,并用式(1)计算出K张新的参考图像,再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数,得到K张质量图,局部质量分数如式(10)所示:
其中,k表示第k张曝光图像作为目标图像得出其它曝光级别图像;分别表示图像块y的方差,表示图像块与y的协方差;根据所得的K张质量图,取质量图均值最大的质量分数作为动态区域的质量分数,如式(11)所示:
其中,Qd表示图像动态区域的质量分数;N表示图像动态区域的图像块总个数。
E.为了合并静态区域和动态区域的客观质量分数,本发明提出了基于去鬼影高动态范围图像静态、动态区域梯度图熵值的加权方法,最终获得客观质量分数,熵的计算公式如式(12)所示:
其中,B表示集合Ω中的最大值;pi表示值等于i时的概率;因此计算静态区域和动态区域质量分数的权重的方法如式(13),式(14)所示:
Us=U(G⊙B) (13)
其中,G表示去鬼影高动态范围图像的梯度值图;B是式(7)所得的二值图,而表示B的非运算结果;⊙表示逐点相乘。最后用所求的权重Us,Ud合并静态区域和动态区域的质量分数,最终得到去鬼影高动态范围图像的总体客观质量分数,如式(15)所示:
实验证明本发明提出的去鬼影高动态范围图像质量评价模型明显优于目前的其他模型。通过与常见的5个质量评价模型来比较,评估的指标:PLCC(Pearsonlinearcorrelation coefficient)和SRCC(Spearman correlation coefficient)。PLCC系数表示的是客观质量评价算法预测的准确性,准确性越高,其绝对值大小越接近1,反之准确性越低,其绝对值越接近0;SRCC系数表示的事客观质量评价算法预测的单调性,其值越接近于1说明单调性越高,越接近0说明单调性越低。一个出色的客观质量评价算法的PLCC系数和SRCC系数的绝对值都应该接近1。
附图说明
图1为本发明的算法流程框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明作进一步详细说明。
本发明各个部分的具体操作如下:
●融合获得参考图像:
去鬼影高动态范围图像是由一组不同曝光级别的图像序列融合而成,首先,将每个曝光级图像分解11×11的图像块,进而计算想要的亮度、对比度和结构特征融合获得理想的参考图像块,计算方如式(16)所示:
其中,{xk}={xk|1≤k≤K}表示K张不同曝光级别图像在相同位置上的一组图像块;‖·‖表示向量的二范式;和分别表示图像块的均值和减去均值的图像块;ck,sk和lk分别表示图像块xk的对比度,结构特征和平均亮度值。ck和sk的计算方式如式(17),(18)所示:
其中是决定每一个图像块在融合过程中作用大小的权重函数,p是一个自适应参数。得到和后,将二者结合便可得到一个新的向量,该向量即为所求的参考图像的图像块,计算方式如式(19)所示:
●动态、静态区域划分:
随后计算源曝光级序列中不同曝光级图像间的纹理不一致性,将所得的纹理不一致性图二值化,得到相应的二值图,计算过程如式(20),式(21)所示:
其中,k,k′∈{1,...,K},k≠k′,同时有对<k,k′>产生,因此有张纹理不一致性图生成,C是一个提高算式稳定性的常量,C=(0.03×255)2;T是提前设置的阈值T=0.5;通过式(21)可以得到张二值图,根据所得的二值图,用与运算融合二值图得到源曝光级序列的最终二值图,如式(22)所示:
●静态区域质量评价:
根据上一步得到的区域划分二值图,首先对图像的静态区域进行质量评价。因为在原图像块中高曝光图像块或低曝光图像块对评估图像总体质量的作用很小,因此使用SSIM中的对比度相似度和结构相似度来计算相同位置上的参考图像块{xk}(由式(16)所得)和去鬼影高动态范围图像块y间的局部图像质量分数,图像局部质量的计算如式(23)所示:
其中,σy分别是图像块y的方差,是图像块和y的协方差。随后采用多尺度的方法计算总体静态区域的质量分数,如式(24)所示:
其中,Qs代表去鬼影高动态范围图像中静态区域的总体分数,L表示多尺度方法中的尺度个数L=3;ωj表示第j个尺度的权重,其中{ω1=0.0710,ω2=0.4530,ω3=0.4760};i表示图像块的索引,M表示总的静态区域块的个数。
●动态区域质量评价:
计算动态区域的质量分数时,依次从源曝光级序列中选出一张曝光图像作为目标图像,用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像,生成一组新的无动态信息的曝光级序列,这样可以生成K组新的曝光级序列,并用式(16)计算出K张新的参考图像,再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数,得到K张质量图,局部质量分数计算公式如(25)所示:
其中,k表示第k张曝光图像作为目标图像得出新的曝光级别序列;分别表示图像块y的方差,表示图像块与y的协方差。根据所得的K张质量图,取质量图均值最大的质量分数作为动态区域的质量分数,如式(26)所示:
其中,Qd表示图像动态区域的质量分数;N表示图像动态区域的图像块总个数。
●不确定性权重策略:
为了合并静态区域和动态区域的客观质量分数,本发明提出了基于去鬼影高动态范围图像静态、动态区域梯度图的熵值的方法,加权获得最终的客观质量分数,熵的计算公式如式(27)所示:
其中,B表示集合Ω中的最大值;pi表示像素值等于i时的概率。因此计算静态区域和动态区域质量分数的权重的方法如式(28),式(29)所示:
Us=U(G⊙B) (28)
其中,G表示去鬼影高动态范围图像的梯度值图;B是式(7)所得的二值图,而表示B的非运算结果;⊙表示点乘运算。最后用所求的权重Us,Ud合并静态区域和动态区域的质量分数,最终得到去鬼影高动态范围图像的总体客观质量分数,如式(30)所示:
对于去鬼影高动态范围图像,通过上述操作将图像分为静态区域和动态区域,并分别求出两个区域的质量分数,最后通过自适应的方法合并两个质量分数得到最终的总体分数。
在实验中,为验证本发明提出的针对去鬼影高动态范围图像质量评价模型的有效性,本发明选择9个最新的去鬼影算法,针对20组源曝光级序列生成180张去鬼影高动态范围图像,构建一个全新的大型去鬼影高动态范围图像数据库(数据库Ⅰ)。这9个去鬼影算法包含了不同算法设计思想,比如基于像素的算法、基于图像块的算法等等,并针对该180张去鬼影高动态范围图像进行主观实验,并对主观实验数据进行分析,得到主观评价分数。将本发明设计的客观质量评估模型数据库Ⅰ与另外一个大型去鬼影高动态范围质量评价图像数据库(数据库Ⅱ)上进行验证。
其它不同质量评价方法模型和本发明的性能比较如下表。
表1:本发明和现有的图像质量评价方法在数据库Ⅰ上性能的比较
分组 | Ma | Hossny | Xydeas | Piella | Chen | 本发明 |
PLCC | 0.6084 | 0.6588 | 0.4673 | 0.5574 | 0.2909 | 0.8066 |
SRCC | 0.4250 | 0.5400 | 0.3317 | 0.4100 | 0.2525 | 0.7142 |
表2:本发明和现有的图像质量评价方法在数据库Ⅱ上性能的比较
分组 | Ma | Hossny | Xydeas | Piella | Chen | 本发明 |
PLCC | 0.7215 | 0.6484 | 0.7418 | 0.7559 | 0.7623 | 0.8445 |
SRCC | 0.6521 | 0.5183 | 0.5944 | 0.6252 | 0.6005 | 0.7616 |
表1-2为不同融合图像客观质量评价方法比较的实例。
可以发现,本发明提出的去鬼影高动态范围图像质量评价方法与主观分数相关性更高,性能最好。
上述实施方式是对本发明的说明,不是对本发明的限定,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的保护范围由所附权利要求及其等同物限定。
Claims (2)
1.一种去鬼影高动态范围图像质量评价方法,其特征在于,包括以下步骤:
A.对去鬼影高动态范围图像的源曝光级序列进行块分解,采用基于亮度、对比度和结构特征的图像融合方法,获得参考图像;
B.对源曝光级序列两两计算不同曝光级图像的纹理不一致性,二值化得到的纹理不一致性图生成相应的二值图,通过与运算融合二值图,获得源曝光级序列的动态区域与静态区域的最终二值图;
C.根据已划分的区域,在静态区域上计算参考图像与去鬼影图像的局部质量分数,然后采用多尺度的方法得到静态区域的客观质量分数;
D.计算动态区域的质量分数,采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列,并对每组新的曝光级序列使用步骤A融合一张新的参考图像,并分别计算新参考图像与去鬼影图像间的质量分数,取最大的质量分数作为动态区域的客观质量分数;
E.分别计算去鬼影高动态范围图像静态区域的梯度图和动态区域的梯度图,并求得相应区域梯度图的熵值,把所求的熵值分别作为动态区域与静态区域质量分数的权重,合并得到去鬼影高动态范围图像的客观质量分数。
2.根据权利要求1所述的一种去鬼影高动态范围图像质量评价方法,其特征在于:通过对源曝光级序列进行基于亮度、对比度和结构块的分解操作,以生成参考图像;通过纹理不一致性检测源曝光级序列中的静态、动态区域;分别针对静态、动态区域设计基于结构相似性原理的质量评价模型;使用不确定性权重策略融合静态、动态区域的质量分数得到去鬼影融合高动态范围图像的最终质量分数,其具体步骤是:
A.对源曝光级序列进行块分解,分解为11×11的图像块,进而生成参考图像块,参考图像块的计算公式如式(1)所示:
其中,{xk}={xk|1≤k≤K}表示K张不同曝光图像在相同位置上的一组图像块;‖·‖表示向量的二范式运算;和分别表示图像块的均值和减去均值的图像块;ck,sk和lk分别表示图像块xk的对比度,结构和平均亮度值,其中参考图像块对比度和结构特征的计算如式(2),式(3)所示:
其中是决定每一个图像块在融合过程中作用大小的权重函数,p是一个自适应参数,得到和后,将二者结合便可得到一个新的向量,如式(4)所示:
B.随后计算源曝光级序列中不同曝光级图像间的纹理不一致性,将所得的纹理不一致性图二值化,得到相应的二值图,计算过程如式(5),式(6)所示:
其中,k,k′∈{1,...,K},k≠k′,同时有对<k,k′>产生,因此有张纹理不一致性图生成,C是一个提高算式稳定性的常量,C=(0.03×255)2;T是提前设置的阈值T=0.5;通过式(6)可以得到张二值图,根据所得的二值图,用与运算融合二值图得到源曝光级序列的最终二值图,该二值图中0表示动态区域,1表示静态区域,如式(7)所示:
C.分别对图像的静态区域和动态区域两部分进行质量评价,局部静态区域的质量计算如式(8)所示:
其中,{xk}是式(4)算出的参考图像块,y是去鬼影高动态范围图像的图像块;σy分别是图像块y的方差,是图像块和y的协方差,随后采用多尺度的方法计算总体静态区域的客观质量分数,如式(9)所示:
其中,Qs代表去鬼影高动态范围图像中静态区域的总体分数,L表示多尺度方法中的尺度个数L=3;ωj表示第j个尺度的权重,其中{ω1=0.0710,ω2=0.4530,ω3=0.4760};i表示图像块的索引,M表示总的静态图像块的个数;
D.计算动态区域的质量分数时,依次从源曝光级序列中选出一张曝光图像作为目标图像,用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像,生成一组新的无动态信息的曝光级序列,这样可以生成K组新的曝光级序列,并用式(1)计算出K张新的参考图像,再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数,得到K张质量图,局部质量分数如式(10)所示:
其中,k表示第k张曝光图像作为目标图像得出其它曝光级别图像;分别表示图像块y的方差,表示图像块与y的协方差,根据所得的K张质量图,取质量图均值最大的质量分数作为动态区域的质量分数,如式(11)所示:
其中,Qd表示图像动态区域的质量分数;N表示图像动态区域的图像块总个数;
E.为了合并静态区域和动态区域的客观质量分数,采用基于去鬼影高动态范围图像静态、动态区域梯度图熵值的加权方法,最终获得客观质量分数,熵的计算公式如式(12)所示:
其中,B表示集合Ω中的最大值;pi表示值等于i时的概率,因此计算静态区域和动态区域质量分数的权重的方法如式(13),式(14)所示:
Us=U(G⊙B) (13)
其中,G表示去鬼影高动态范围图像的梯度值图;B是式(7)所得的二值图,而表示B的非运算结果;⊙表示逐点相乘;最后用所求的权重Us,Ud合并静态区域和动态区域的质量分数,最终得到去鬼影高动态范围图像的总体客观质量分数,如式(15)所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811134015.1A CN109345525B (zh) | 2018-09-27 | 2018-09-27 | 一种去鬼影高动态范围图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811134015.1A CN109345525B (zh) | 2018-09-27 | 2018-09-27 | 一种去鬼影高动态范围图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109345525A true CN109345525A (zh) | 2019-02-15 |
CN109345525B CN109345525B (zh) | 2022-03-29 |
Family
ID=65306893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811134015.1A Active CN109345525B (zh) | 2018-09-27 | 2018-09-27 | 一种去鬼影高动态范围图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109345525B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189312A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 眼底图像的亮度评估方法、装置、电子设备及存储介质 |
CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN111127353A (zh) * | 2019-12-16 | 2020-05-08 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN112330585A (zh) * | 2019-07-31 | 2021-02-05 | 北京金山云网络技术有限公司 | 图像质量的检测方法、装置及电子设备 |
CN117611471A (zh) * | 2024-01-22 | 2024-02-27 | 中国科学院长春光学精密机械与物理研究所 | 基于纹理分解模型的高动态图像合成方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158653A (zh) * | 2011-05-03 | 2011-08-17 | 东华大学 | 一种实时高动态范围数字图像获取装置及方法 |
CN104346809A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 采用高动态范围的图像质量数据集的图像质量评价方法 |
CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
CN106709945A (zh) * | 2017-01-09 | 2017-05-24 | 方玉明 | 一种对于超分辨率图像的质量评价方法 |
EP3203442A1 (en) * | 2016-02-02 | 2017-08-09 | Dolby Laboratories Licensing Corp. | Block-based content-adaptive reshaping for high dynamic range images |
CN107451970A (zh) * | 2017-07-28 | 2017-12-08 | 电子科技大学 | 一种基于单帧图像的高动态范围图像生成方法 |
CN107464222A (zh) * | 2017-07-07 | 2017-12-12 | 宁波大学 | 基于张量空间的无参考高动态范围图像客观质量评价方法 |
CN108492262A (zh) * | 2018-03-06 | 2018-09-04 | 电子科技大学 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
-
2018
- 2018-09-27 CN CN201811134015.1A patent/CN109345525B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158653A (zh) * | 2011-05-03 | 2011-08-17 | 东华大学 | 一种实时高动态范围数字图像获取装置及方法 |
CN104346809A (zh) * | 2014-09-23 | 2015-02-11 | 上海交通大学 | 采用高动态范围的图像质量数据集的图像质量评价方法 |
EP3203442A1 (en) * | 2016-02-02 | 2017-08-09 | Dolby Laboratories Licensing Corp. | Block-based content-adaptive reshaping for high dynamic range images |
CN105894484A (zh) * | 2016-03-30 | 2016-08-24 | 山东大学 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
CN106709945A (zh) * | 2017-01-09 | 2017-05-24 | 方玉明 | 一种对于超分辨率图像的质量评价方法 |
CN107464222A (zh) * | 2017-07-07 | 2017-12-12 | 宁波大学 | 基于张量空间的无参考高动态范围图像客观质量评价方法 |
CN107451970A (zh) * | 2017-07-28 | 2017-12-08 | 电子科技大学 | 一种基于单帧图像的高动态范围图像生成方法 |
CN108492262A (zh) * | 2018-03-06 | 2018-09-04 | 电子科技大学 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
Non-Patent Citations (5)
Title |
---|
ANDERS BALLESTAD .ETC: "高动态范围 LCD 区域亮度控制伪像的评价方法", 《现代显示》 * |
KEDE MA .ETC: "Perceptual Quality Assessment for Multi-Exposure Image Fusion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
KEDE MA .ETC: "Robust Multi-Exposure Image Fusion: A Structural Patch Decomposition Approach", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
ZHOU WANG .ETC: "Image Quality Assessment: From Error Visibility to Structural Similarity", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
胡胜男等: "高动态范围成像技术中的鬼影检测与去除方法综述", 《计算机科学》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189312A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 眼底图像的亮度评估方法、装置、电子设备及存储介质 |
CN112330585A (zh) * | 2019-07-31 | 2021-02-05 | 北京金山云网络技术有限公司 | 图像质量的检测方法、装置及电子设备 |
CN111127353A (zh) * | 2019-12-16 | 2020-05-08 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111127353B (zh) * | 2019-12-16 | 2023-07-25 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN111091522B (zh) * | 2019-12-24 | 2022-09-13 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN117611471A (zh) * | 2024-01-22 | 2024-02-27 | 中国科学院长春光学精密机械与物理研究所 | 基于纹理分解模型的高动态图像合成方法 |
CN117611471B (zh) * | 2024-01-22 | 2024-04-09 | 中国科学院长春光学精密机械与物理研究所 | 基于纹理分解模型的高动态图像合成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109345525B (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345525B (zh) | 一种去鬼影高动态范围图像质量评价方法 | |
Cao et al. | Underwater image restoration using deep networks to estimate background light and scene depth | |
US9471964B2 (en) | Non-local mean-based video denoising method and apparatus | |
CN111861925B (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
CN109558901B (zh) | 一种语义分割训练方法及装置、电子设备、存储介质 | |
CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
CN102572223B (zh) | 一种用于视频降噪的相似块搜索方法 | |
Huang et al. | Towards unsupervised single image dehazing with deep learning | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN106570874A (zh) | 一种结合图像局部约束与对象全局约束的图像标记方法 | |
Liao et al. | Unsupervised foggy scene understanding via self spatial-temporal label diffusion | |
CN107169417A (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
Fu et al. | Blind image quality assessment for multiply distorted images via convolutional neural networks | |
Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
CN104202603B (zh) | 一种应用于视频帧速率上转换的运动向量场生成方法 | |
Shokrollahi et al. | Image quality assessment for contrast enhancement evaluation | |
CN112004078A (zh) | 基于生成对抗网络的虚拟现实视频质量评价方法及系统 | |
Yuan et al. | A confidence prior for image dehazing | |
CN111310609A (zh) | 基于时序信息和局部特征相似性的视频目标检测方法 | |
Ho et al. | Sme-net: Sparse motion estimation for parametric video prediction through reinforcement learning | |
CN109308709B (zh) | 基于图像分割的Vibe运动目标检测算法 | |
CN105491370B (zh) | 基于图的协同低高级特征的视频显著性检测方法 | |
CN109801257A (zh) | 无参考dibr生成图像质量评价方法 | |
CN112084855B (zh) | 一种基于改进ransac方法对视频流的外点剔除方法 | |
JP2022037804A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |