CN110046673B - 基于多特征融合的无参考色调映射图像质量评价方法 - Google Patents

基于多特征融合的无参考色调映射图像质量评价方法 Download PDF

Info

Publication number
CN110046673B
CN110046673B CN201910337321.3A CN201910337321A CN110046673B CN 110046673 B CN110046673 B CN 110046673B CN 201910337321 A CN201910337321 A CN 201910337321A CN 110046673 B CN110046673 B CN 110046673B
Authority
CN
China
Prior art keywords
image
tone mapping
quality
value
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910337321.3A
Other languages
English (en)
Other versions
CN110046673A (zh
Inventor
沈礼权
赵旻
姜明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910337321.3A priority Critical patent/CN110046673B/zh
Publication of CN110046673A publication Critical patent/CN110046673A/zh
Application granted granted Critical
Publication of CN110046673B publication Critical patent/CN110046673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多特征融合的无参考色调映射图像质量评价方法。该方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征,在像素领域提取了图像的熵特征,基于灰度共生矩阵的纹理特征和自然场景统计特征;在模糊度领域我们采用局部相位一致性评估整体模糊度,在边缘区域提取小块特征测量晕轮效应;在色彩领域我们将图像转换到对立颜色空间,测量整体颜色信息和各个通道的对比度信息。最后运用机器学习的方法预测色调映射图像的质量。本发明提出的算法能够准确有效地预测色调映射图像的质量。

Description

基于多特征融合的无参考色调映射图像质量评价方法
技术领域
本发明涉及色调映射图像质量评价技术领域,是一种基于特征提取的图像质量评价方法,具体地指,涉及一种基于多特征融合的无参考色调映射图像质量评价方法。
背景技术
高动态范围(High Dynamic Range,HDR)图像能够准确地显示从阴沉星光到明亮阳光之间的亮度差异(10-3cd/m2到105cd/m2),能带给观看者更真实丰富的视觉体验。然而,现有图像处理系统主要使用的是传统的8位低动态范围(Low Dynamic Range,LDR)显示设备。为使HDR图像向后兼容于LDR显示设备,人们提出了将HDR图像转换为LDR图像的色调映射算子(Tone-Mapping Operator,TMO)。理想情况下,色调映射图像(Tone-Mapped Image,TMI)应该保有原来的结构以及细节信息,并且颜色等方面的信息没有变化。但是,实际情况中图像动态范围的改变会不可避免地引入失真。正因如此,现阶段亟需针对TMI的质量评价方法(Tone-Mapping Image Quality Assessment,TM-IQA),以判别TMI质量的优劣,也可作为改进TMO的目标函数。
由于在大多数场合原始图像难以获取,因此无参考图像质量评价算法一直是关注重点。无参考图像质量评价算法是一种客观评价算法,主要通过提取失真图像的特征而不获取原始图像,来预测图像的客观质量,评价的目标是使预测的图像客观质量尽量与人眼对图像的主观评价质量分数相同。目前无参考图像质量评价算法已发展到通用型,可以分为两种:第一种是基于机器学习思想,通过学习训练来构建评价模型,再通过测试集评估其性能;第二种是直接提取特征将其映射,得到图像质量的评估值,不需要模型训练过程。但是以上两种方法在TM-IQA应用中仍然存在如下缺陷:
1、目前算法仅考虑某些单一类别特征,没有从多角度出发,因此预测准确度较差;
2、目前算法仅从人眼视觉系统的角度评价图像质量,没有考虑到TMI图像独有的特征,比如TMI图像存在独有的晕轮效应。
发明内容
针对现有技术中存在的上述不足,本发明提供了一种基于多特征融合的无参考色调映射图像(TMI)质量评价方法,该方法属于背景技术中所述的第一种算法,包括像素领域,模糊度和色彩领域,能够提高无参考色调映射图像(TMI)质量评价技术的性能及主观一致性,以及提高算法的效率,准确有效地预测TMI图像的质量。
本发明提供的基于多特征融合的无参考色调映射图像(TMI)质量评价方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征,在像素领域提取了图像的熵特征,基于灰度共生矩阵(gray level co-occurrence matrix,GLCM)的纹理特征和自然场景统计特征;在模糊度领域本发明采用局部相位一致性(local phasecoherence,LPC)评估整体模糊度,在边缘区域提取小块特征测量晕轮效应;在色彩领域本发明将图像转换到对立颜色空间,测量整体颜色信息和各个通道的对比度信息。最后运用支持向量机预测TMI图像的质量。
本发明是通过以下技术方案实现的。
一种基于多特征融合的无参考色调映射图像质量评价方法,包括:
-像素领域特征值计算,包括:
信息熵图像特征提取,通过将TMI图像转换到灰度域并倍增或倍减亮度值的方式估计TMI图像和变换后图像的详细信息量,并使用信息熵的方法计算细节信息量;
灰度共生矩阵特征提取,将TMI图像转换为灰度共生矩阵,并提取体现边缘特性的三个特征:能量、相关性和均匀度;
图像自然场景统计特征提取,通过在空域对TMI图像进行均值对比规范化,得到MSCN系数;将得到的MSCN系数进行自然场景统计分析,以提取的参数作为统计特征值;
-模糊度领域特征值计算,包括:
LPC特征提取,采用局部相位一致性评价TMI图像的模糊度;
图像边缘特征提取,测量TMI图像中物体周围产生光圈的晕轮效应,先使用Canny算子提取TMI图像的边缘,再计算边缘像素点周围的n×n小块亮度的均值、方差以及偏度,来衡量图像边缘的亮度以及边缘区域发散的程度;
-色彩领域特征值提取,包括:
全局颜色特征提取,将图像转换到对立颜色空间,测量整体颜色信息;
局部对比度特征提取,在对立颜色空间的三个颜色通道上,分别测量局部小块的对比度情况;
-训练模型并测试:
将上述步骤提取的各领域特征值以及图像数据库中提供的相应主观质量分数构成数据集,使用数据集中的训练数据训练支持向量回归器;测试时,将数据集中的测试数据的特征值输入训练好的支持向量回归器,得到预测的图像客观质量分数,并将图像客观质量分数与图像数据库中提供的相应主观质量分数相比较验证预测准确度。
优选地,所述信息熵图像特征提取,包括如下步骤:
将TMI图像转换到灰度域并倍增或倍减亮度值的方式估计TMI图像和变换后图像的详细信息量,变换后图像的计算公式如下:
Ij=min(max(I×muIj,0),255)
其中,I是一张TMI图像,muIj是第i个乘子,在这里选取
Figure BDA0002039572510000031
max和min算子取两数中的较大或较小值,用来将图像的像素区域转换到0-255区间;接下来,使用信息熵来衡量图片的信息量;对于任意信号,熵表示该信号无序程度,采用熵用来测量图像I信号及其变换后的图像Ij信号所携带的细节信息量,公式如下:
Hj=-Σpi(Ij)log2pi(Ij)
其中,Hj代表了Ij的信息熵,pi(Ij)是变换后的图像Ij在灰度域的概率密度。
优选地,所述灰度共生矩阵特征提取,包括如下步骤:
选取体现边缘特性的三个特征:能量(E)、相关性(C)和均匀度(V),分别进行计算:
Figure BDA0002039572510000032
Figure BDA0002039572510000033
Figure BDA0002039572510000034
其中,μ和σ分别表示像素的均值和方差,
Figure BDA0002039572510000035
G(x,y)是灰度共生矩阵第x行、第y列的元素,k是灰度域的尺度范围,在这里取值为256。
优选地,所述图像自然场景统计特征提取,包括如下步骤:
假设图片I的大小为M×N,I(i,j)代表图像第(i,j)个空域位置的亮度值,i∈{1,2,...M},j∈{1,2,...N},MSCN系统的计算公式如下所示:
Figure BDA0002039572510000036
其中,局部均值μI(i,j)和标准差σI(i,j)的定义如下:
Figure BDA0002039572510000041
Figure BDA0002039572510000042
其中,W={Wp,q|p=-P,...P,q=-Q,...Q}是中心位于第(i,j)个像素点的对称局部高斯卷积窗,窗口的大小设置为7×7;
MSCN系统的分布存在一定统计规律并可以通过广义高斯密度分布拟合,零均值的广义高斯密度分布函数表示为:
Figure BDA0002039572510000043
其中,尺度参数特征
Figure BDA0002039572510000044
Γ(·)是伽马函数,其表达式为:
Figure BDA0002039572510000045
提取拟合的高斯密度分布函数中的参数α和δ2作为图像特征,以衡量图像的失真程度;其中,α是形状参数,控制广义高斯密度分布的包络,δ2表示广义高斯分布的方差;
优选地,所述LPC特征提取,包括如下步骤:
利用可控制金字塔分解的复杂形式,输入图像被分解为多方向的3尺度子带;分解图的LPC系数定义为:
Figure BDA0002039572510000046
其中,L是可控制金字塔分解的方向数,Φ({ci,l}是第L个方向上的最佳子带的系数为i的相位,
Figure BDA0002039572510000047
是相应的预测相位,K是一个用于防止在小能量处不稳定的常数;
整张图的LPC系数被定义为:
Figure BDA0002039572510000048
其中,Pi是由LPC图像派生的排序后的LPC值,Wi是分配给第i个LPC值的权重。
优选地,所述图像边缘特征提取,包括如下步骤:
首先利用Canny算子提取图像的边缘,然后计算统计特征来测量边缘的晕轮效应;所述统计特征是指,对于边缘像素点周围的n×n小块区域,提取出三类特征:
fh1=E(he)
fh2=E(he 2)-E(he)2
Figure BDA0002039572510000051
其中,he是每个小块亮度值的直方图,E(·)代表期望值,σh表示he的方差,偏度fh3是度量变量分布对称性的特征;
所述n×n取值为8×8。
优选地,所述全局颜色特征提取,包括如下步骤:
首先将RGB图像转换到对立颜色空间,具体公式如下:
Figure BDA0002039572510000052
其中,R,G,B分别表示RGB颜色空间的红,绿,蓝三个颜色通道;L1是相应的红绿通道,L2是相应的蓝绿通道,L3是相应的亮度通道;则全局的颜色属性表示如下:
Figure BDA0002039572510000053
其中,
Figure BDA0002039572510000054
μL1,μL2分别表示两个颜色通道的方差和均值。
优选地,所述局部对比度特征提取,包括如下步骤:
将图像的亮度分为三个颜色通道的值,使用两个特征C1和C2,分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度;计算公式如下:
Figure BDA0002039572510000055
Figure BDA0002039572510000056
M和N表示块的大小,i和j分别表示块中像素点的位置,这里块的大小设置为8×8,Imean代表了该小块亮度的均值,Imin和Imax分别代表亮度的最小值和最大值。
优选地,所述训练模型并测试,包括如下步骤:
将数据集中80%的数据作为训练数据用于训练支持向量回归器,其余20%的数据作为测试数据用于进行测试,训练数据和测试数据在内容上的不重叠;
将测试数据中每张TMI图像的特征值输入训练好的支持向量回归器,输出预测的图像客观质量分数。
与现有技术相比,本发明具有如下有益效果:
1、本发明提出的方法考虑到TMI图像独有的晕轮效应,更符合人眼对TMI图像的视觉感知特性;
2、本发明提出方法从多个不同领域考虑了TMI图像的特征,在特征选取的角度考虑周全,且特征维度不高,算法运行复杂度低;
3、本发明提出的方法能够更准确、更有效地评价TMI图像的质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明提出的无参考TMI图像质量评价算法的总框图。
图2是8个不同TMO产生TMI图片的LPC特征值及其对应的MOS值示意图。
图3是3张同一场景不同TMO产生的TMI图片。
图4是图3中的3张图片经过Canny算子转换后的对应的边缘信息图片。
图5是图4中3张图片对应的相同的边缘点处小块的亮度直方图。
图6是支持向量机的训练和测试过程示意图。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
本发明实施例提供了一种基于多特征融合的无参考色调映射图像质量评价方法,包括:
像素领域特征值计算:通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量,使用信息熵的方法计算图像细节信息量;将图像转换为灰度共生矩阵,并提取能体现细节边缘特性的三个特征:能量,相关性和均匀度;通过在空域对图像进行均值对比规范化(Mean Subtracted Contrast Normalized,MSCN),得到MSCN系数。将得到的MSCN系数进行自然场景统计分析,以提取的参数作为统计特征值;
模糊度领域特征值计算:采用局部相位一致性(local phase coherence,LPC)来评价图像的模糊度,该方法不受图像亮度或对比度变化的影响。此外,本发明实施例测量了图像物体周围产生光圈的晕轮效应,先使用Canny算子提取TMI图像的边缘,再计算边缘像素点周围的8*8小块亮度的均值,方差,以及偏度,来衡量图像边缘的亮度以及边缘区域发散的程度;
色彩领域特征提取:首先将图像转换到对立颜色空间,测量整体颜色信息衡量颜色的丰富程度;然后,在对立颜色空间的三个颜色通道上,分别测量局部小块的对比度情况;
训练模型并预测:将上述步骤提取的各领域特征值及图像数据库中提供的相应主观质量分数构成数据集,使用数据集中的训练数据训练支持向量回归器;测试时,将数据集中的测试数据的特征值输入训练好的支持向量回归器,得到预测的图像客观质量分数,与图像数据库中的实际主观质量分数相比较验证预测准确度。
进一步地,所述像素领域特征值计算,包括如下步骤:
信息熵图像特征提取:本发明实施例通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量。计算转换图像的公式如下:
Ij=min(max(I×muIj,0),255)
其中,I是一张TMI图像,muIj是第i个乘子,在这里选取
Figure BDA0002039572510000071
max和min算子取两数中的较大或较小值,用来将图像的像素区域转换到0-255区间;接下来,使用信息熵来衡量图片的信息量;对于任意信号,熵表示该信号无序程度,采用熵用来测量图像I信号及其变换后的图像Ij信号所携带的细节信息量,公式如下:
Hj=-Σpi(Ij)log2pi(Ij)
其中,Hj代表了Ij的信息熵,pi(Ij)是转换后的图像Ij在灰度域的概率密度。
灰度共生矩阵特征提取:通常提取图像纹理特征是采用在灰度共生矩阵的基础上计算出来一些统计量。本发明实施例结合TMI图像特点,选取了更能体现细边缘特性的三个特征:能量(E),相关性(C)和均匀度(V),计算方式分别如下:
Figure BDA0002039572510000072
Figure BDA0002039572510000073
Figure BDA0002039572510000074
其中,μ和σ表示像素的均值和方差,
Figure BDA0002039572510000081
G(x,y)是灰度共生矩阵第x行、第y列的元素,k是灰度域的尺度范围,在这里取256;图像自然场景统计特征提取:通过在空域对图像进行均值对比规范化,得到MSCN系数;假设图片I的大小为M×N,I(i,j)代表图像第(i,j)个空域位置的亮度值,i∈{1,2,...M},j∈{1,2,...N}。MSCN系统的计算公式如下所示:
Figure BDA0002039572510000082
其中,局部均值μI(i,j)和标准差σI(i,j)的定义如下:
Figure BDA0002039572510000083
Figure BDA0002039572510000084
其中,W={Wp,q|p=-P,...P,q=-Q,...Q}是中心位于第(i,j)个像素点的对称局部高斯卷积窗,窗口的大小设置为7×7;
MSCN系统的分布存在一定统计规律并可以通过广义高斯密度分布拟合,零均值的广义高斯密度分布函数表示为:
Figure BDA0002039572510000085
其中,尺度参数特征
Figure BDA0002039572510000086
Γ(·)是伽马函数,其表达式为:
Figure BDA0002039572510000087
提取拟合的高斯密度分布函数中的参数α和δ2作为图像特征,以衡量图像的失真程度;其中,α是形状参数,控制广义高斯密度分布的包络,δ2表示广义高斯分布的方差;
进一步地,所述步骤2中,模糊度领域特征值计算,具体步骤为:
步骤2.1.LPC特征提取:利用可控制金字塔分解的复杂形式,输入图像被分解为多方向的3尺度子带;分解图的LPC系数定义为:
Figure BDA0002039572510000088
其中,L是可控制金字塔分解的方向数,Φ({ci,l}是第L个方向上的最佳子带的系数为i的相位,
Figure BDA0002039572510000091
是相应的预测相位,K是一个用来防止在小能量处不稳定的常数;
整张图的LPC系数被定义为:
Figure BDA0002039572510000092
其中,Pi是由LPC图像派生的排序后的LPC值,Wi是分配给第i个LPC值的权重。
步骤2.2.图像边缘特征提取:TMI图像可能会产生晕轮效应,即过度曝光区域会出现明亮的晕轮,首先利用Canny算子提取图像的边缘,然后计算统计特征来测量边缘的晕轮效应;所述统计特征是指,对于边缘像素点周围的n×n小块区域,提取出三类特征:
fh1=E(he)
fh2=E(he 2)-E(he)2
Figure BDA0002039572510000093
其中,he是每个小块亮度值的直方图,E(·)代表期望值,σh表示he的方差,偏度fh3是度量变量分布对称性的特征;这本发明实施例中所述n×n取值为8×8;
进一步地,所述步骤3中,提取色彩度特征值,具体步骤为:
步骤3.1.全局颜色特征提取:本发明实施例将RGB图像转换到对立颜色空间,具体公式如下:
Figure BDA0002039572510000094
其中,R,G,B分别表示RGB颜色空间的红,绿,蓝三个颜色通道;L1是相应的红绿通道,L2是相应的蓝绿通道,L3是相应的亮度通道;则全局的颜色属性表示如下:
Figure BDA0002039572510000095
其中
Figure BDA0002039572510000096
μL1,μL2分别表示两个颜色通道的方差和均值。
步骤3.2.局部对比度特征提取:将图像的亮度分为三个颜色通道的值,使用两个特征C1和C2,分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度,计算公式如下:
Figure BDA0002039572510000097
Figure BDA0002039572510000101
M和N表示块的大小,i和j表示块中像素点的位置,这里块的大小设置为8×8,Imean代表了该小块亮度的均值,Imin和Imax分别代表亮度的最小值和最大值。
进一步地,所述步骤4中,训练模型并预测,具体步骤为:
步骤4.1.将数据集中80%的数据作为训练数据用于训练支持向量回归器,其余20%的数据作为测试数据用于进行测试,训练数据和测试数据在内容上的不重叠;
步骤4.2.把测试集中每张TMI图像的统计特征输入训练好的SVR模型,输出预测的图像客观质量分数。
下面结合附图对本发明上述实施例进一步详细说明。
参见图1,一种基于多特征融合的无参考色调映射图像质量评价方法,本实施例在epsilon-SVR类型的支持向量机、Matlab 2014a以及ESPL-LIVE HDR数据库上进行了实施。
具体实施步骤如下:
步骤1.像素领域特征值计算:通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量,使用信息熵的方法计算图像信息量;将图像转换为灰度共生矩阵,并提取能体现细边缘特性的三个特征:能量,相关性和均匀度;通过在空域对图像进行均值对比规范化得到MSCN系数。将得到的MSCN系数进行自然场景统计分析,以提取的参数作为统计特征值;
步骤2.模糊度领域特征值计算:采用LPC来评价图像的模糊度,该方法不受图像亮度或对比度变化的影响;此外,本发明实施例测量了图像物体周围产生光圈的晕轮效应,先使用Canny算子提取TMI图像的边缘,再计算边缘像素点周围的8×8小块亮度的均值、方差以及偏度,来衡量图像边缘的亮度以及边缘区域发散的程度;
步骤3.色彩领域特征提取:全局颜色特征提取,将图像转换到对立颜色空间,测量整体颜色信息;局部对比度特征提取,在对立颜色空间的三个颜色通道上,分别测量局部小块的对比度情况;
步骤4.训练模型并预测:将上述步骤提取的各领域特征值及图像数据库中提供的相应主观质量分数构成数据集,使用数据集中的训练数据训练支持向量回归器;测试时,将数据集中的测试数据的特征值输入训练好的支持向量回归器,得到预测的图像客观质量分数,将图像客观质量分数与图像数据库中的实际主观质量分数相比较验证预测准确度。
所述步骤1中,像素领域特征值计算,具体步骤为:
步骤1.1.信息熵图像特征提取:本发明实施例通过将TMI图像转换到灰度域并倍增或倍减亮度值估计TMI图像和变换后图像的详细信息量,变换后图像的计算公式如下:
Ij=min(max(I×muIj,0),255) (1)
其中,I是一张TMI图像,muIj是第i个乘子,在这里选取
Figure BDA0002039572510000111
max和min算子取两数中的较大或较小值,用来将图像的像素区域转换到0-255区间;接下来,使用信息熵来衡量图片的信息量;对于任意信号,熵表示该信号无序程度,采用熵来测量图像I信号及其变换后的图像Ij信号所携带的细节信息量,公式如下:
Hj=-∑pi(Ij)log2pi(Ij) (2)
其中,Hj代表了Ij的信息熵,pi(Ij)是转换后的图像Ij在灰度域的概率密度。
步骤1.2.GLCM特征提取:通常提取图像纹理特征是采用在GLCM的基础上计算出来一些统计量。GLCM主要以条件概率提取纹理特征,获取像素级灰度纹理在空间上的相互关系。一般首先根据图像像素间的方向和距离构造矩阵,然后从该矩阵提取有意义的统计特征来描述纹理。
本发明实施例结合TMI图像特点,选取了更能体现细边缘特性的三个特征:能量(E),相关性(C)和均匀度(V),分别进行计算:
Figure BDA0002039572510000112
Figure BDA0002039572510000113
Figure BDA0002039572510000114
其中,μ和σ表示像素的均值和方差,
Figure BDA0002039572510000115
G(x,y)是灰度共生矩阵第x行、第y列的元素,k是灰度域的尺度范围,在这里取256。
步骤1.3.图像自然场景统计特征提取:通过在空域对图像进行均值对比规范化,得到MSCN系数;假设图片I的大小为M×N,I(i,j)代表图像第(i,j)个空域位置的亮度值,i∈{1,2,...M},j∈{1,2,...N},MSCN系统的计算公式如下所示:
Figure BDA0002039572510000121
其中,局部均值μI(i,j)和标准差σI(i,j)的定义如下:
Figure BDA0002039572510000122
Figure BDA0002039572510000123
其中,W=(Wp,q|p=-P,...P,q=-Q,...Q}是中心位于第(i,j)个像素点的对称局部高斯卷积窗,窗口的大小设置为7×7;
MSCN系统的分布存在一定统计规律并可以通过广义高斯密度分布拟合,零均值的广义高斯密度分布函数表示为:
Figure BDA0002039572510000128
其中,尺度参数特征
Figure BDA0002039572510000124
Γ(·)是伽马函数,其表达式为:
Figure BDA0002039572510000125
提取拟合的高斯密度分布函数中的参数α和δ2作为图像特征,以衡量图像的失真程度;其中,α是形状参数,控制广义高斯密度分布的包络,δ2表示广义高斯分布的方差;
步骤2.1.LPC特征提取:LPC描述了在图像特征点处局部相位在尺度空间上成一条直线,这种现象称为相位一致,即全局或局部相位在尺度空间上独特的图像特征;考虑到人眼观察图像时,首先关注全局信息其次关注局部信息,而小波具有时频局部性,它更符合人的视觉系统,因此,采用基于小波域中局部相位一致性来评价图像的模糊度,该方法不受图像亮度或对比度变化的影响;利用可控制金字塔分解的复杂形式,输入图像被分解为多方向的3尺度子带。分解图的LPC系数定义为:
Figure BDA0002039572510000126
其中,L是可控制金字塔分解的方向数,Φ({ci,l}是第L个方向上的最佳子带的系数为i的相位,
Figure BDA0002039572510000127
是相应的预测相位,K是一个用来防止在小能量处不稳定的常数。
整张图的LPC系数被定义为:
Figure BDA0002039572510000131
其中,Pi是由LPC图像派生的排序后的LPC值,Wi是分配给第i个LPC值的权重。
图2是8个不同TMO产生TMI图片的LPC特征值及其对应的MOS值示意图。图中虚线表示各个图片的LPC值,实线是进过归一化之后它们各自的MOS值。由图可见两者有很强的相关性,可见图像的模糊程度影响了人眼对图像的主观评价。
步骤2.2.图像边缘特征提取:TMI图像可能会产生晕轮效应,即过度曝光区域会出现明亮的晕轮,首先利用Canny算子提取图像的边缘,然后计算统计特征来测量边缘的晕轮效应;所述统计特征是指,对于边缘像素点周围的n×n小块区域,提取出三类特征:
fh1=E(he) (13)
fh2=E(he 2)-E(he)2 (14)
Figure BDA0002039572510000132
其中,he是每个小块亮度值的直方图,E(·)代表期望值,σh表示he的方差,偏度fh3是度量变量分布对称性的特征;这里本发明实施例中所述n×n取值为8×8;图3是一组同一场景不同TMO产生的实例TMI图片,图中,(a)、(b)、(c)分别对应一张不同TMO产生的TMI图片,图4是图3中的3张图片经过Canny算子转换后的对应的边缘信息图片,图中,(a)、(b)、(c)分别对应图3中(a)、(b)、(c)所示的TMI图片;图5是图4中3张图片对应的相同的边缘点处小块的亮度直方图,图中,(a)、(b)、(c)分别对应图4中(a)、(b)、(c)所示的边缘信息图片,从直方图可以看出(a)图的均值最大,波动最小,这与图3中晕轮效应的结果相对应,即(a)图的光圈最亮,扩散最广。
所述步骤3中,提取色彩度特征值,具体步骤为:
步骤3.1.全局颜色特征提取:由于人眼在捕捉图像时会首先将图像转换到对立颜色空间,基于这种考虑,本发明实施例首先将RGB图像转换到对立颜色空间,具体公式如下:
Figure BDA0002039572510000133
其中,R,G,B分别表示RGB颜色空间的红,绿,蓝三个颜色通道;L1是相应的红绿通道,L2是相应的蓝绿通道,L3是相应的亮度通道;则全局的颜色属性表示如下:
Figure BDA0002039572510000141
其中,
Figure BDA0002039572510000142
μL1,μL2分别表示两个颜色通道的方差和均值。
步骤3.2.局部对比度特征提取:将图像的亮度分为三个颜色通道的值,使用两个特征C1,C2,分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度;计算公式如下:
Figure BDA0002039572510000143
Figure BDA0002039572510000144
M和N表示块的大小,i和j表示块中像素点的位置,这里块的大小设置为8×8,Imean代表了该小块亮度的均值,Imin和Imax分别代表亮度的最小值和最大值。
所述步骤4中,训练模型并预测,具体步骤为:
步骤4.1.如图5所示,将数据集中80%的数据,包括提取的图像特征值和主观质量分数,作为训练数据用于训练支持向量回归器,其余20%的数据作为测试数据用于进行测试,训练数据和测试数据在内容上的不重叠;
步骤4.2.把测试集中每张TMI图像的统计特征输入训练好的SVR模型,输出预测的图像客观质量分数。
本发明上述实施例的算法在ESPL-LIVE HDR数据库进行了实施。该数据库是目前发布的最大的TMI图像数据库,拥有1811张通过色调映射、多曝光融合算法和后处理方法生成的色调映射HDR图像。实验中选择了几种优秀的自然图像和TMI图像质量评价算法作为对比算法。自然图像评价方法有:结构退化算法(BSD),自由能算法(NFERM),梯度幅值和拉普拉斯特征算法(GM-LOG)。TMI评价算法有:细节保留法(BTMQI),基于梯度的自然特征算法(HIGRADE-2),颜色自然度和结构特征算法(Yue’s)。斜体的是自然图像质量评价算法。
本发明使用了三个常用的评价指标PLCC(Pearson Linear CorrelationCoefficient)、SROCC(Spearman’s Rank Order Correlation Coefficient)、RMSE(RootMean Square Error)来衡量算法性能,PLCC和SROCC的值越大,RMSE的值越小,表明客观图像质量评价算法结果与主观评价结果更相似,即算法结果更好。
为了提高算法的准确性,实验采取了将训练-测试过程在支持向量机上执行1000次,最后取这1000次结果的均值来表示算法的性能结果。表1给出了本发明与其它优秀算法在ESPL-LIVE HDR数据库的总体性能。可以看出本发明的算法的总体性能明显优于其他几种算法的性能。
另外,针对不同失真类型的性能评估(见表2)。算法性能最好的结果已用黑体标出。可以看出本发明提出的算法在色调映射和多曝光融合失真中表现最好,在后处理失真中表现第二,故本发明的算法能够更准确、更有效地评价TMI图像的质量。
表1本文的算法同几种主流的无参考算法在ESPL-LIVE HDR数据库上的总体性能比较
Figure BDA0002039572510000151
表2本文算法和其他无参考质量评价算法在ESPL-LIVE HDR数据库上针对不同失真类型的
性能评估
Figure BDA0002039572510000152
本发明上述实施例提供的一种基于多特征融合的无参考色调映射图像质量评价方法,主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个领域提取图像的特征,在像素领域提取了图像的熵特征,基于灰度共生矩阵的纹理特征和自然场景统计特征;在模糊度领域我们采用局部相位一致性评估整体模糊度,在边缘区域提取小块特征测量晕轮效应;在色彩领域我们将图像转换到对立颜色空间,测量整体颜色信息和各个通道的对比度信息。最后运用机器学习的方法预测色调映射图像的质量。本发明上述实施例提供的基于多特征融合的无参考色调映射图像质量评价方法,能够准确有效地预测色调映射图像的质量。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (9)

1.一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,包括:
-像素领域特征值计算,包括:
信息熵图像特征提取,通过将色调映射图像转换到灰度域并倍增或倍减亮度值的方式估计色调映射图像和变换后图像的详细信息量,并使用信息熵的方法计算细节信息量;
灰度共生矩阵特征提取,将色调映射图像转换为灰度共生矩阵,并提取体现边缘特性的三个特征:能量、相关性和均匀度;
图像自然场景统计特征提取,通过在空域对色调映射图像进行均值对比规范化,得到MSCN系数;将得到的MSCN系数进行自然场景统计分析,以提取的参数作为统计特征;
-模糊度领域特征值计算,包括:
LPC特征提取,采用局部相位一致性评价色调映射图像的模糊度;
图像边缘特征提取,测量色调映射图像中物体周围产生光圈的晕轮效应,先使用Canny算子提取色调映射图像的边缘,再计算边缘像素点周围的n×n小块亮度的均值、方差以及偏度,来衡量图像边缘的亮度以及边缘区域发散的程度;
-色彩领域特征值提取,包括:
全局颜色特征提取,将图像转换到对立颜色空间,测量整体颜色信息;
局部对比度特征提取,在对立颜色空间的三个颜色通道上,分别测量局部小块的对比度情况;
-训练模型并测试:
将提取的各领域特征值以及图像数据库中提供的相应主观质量分数构成数据集,使用数据集中的训练数据训练支持向量回归器;测试时,将数据集中的测试数据的特征值输入训练好的支持向量回归器,得到预测的图像客观质量分数,并将图像客观质量分数与图像数据库中提供的相应主观质量分数相比较验证预测准确度。
2.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述信息熵图像特征提取,包括如下步骤:
将色调映射图像转换到灰度域并倍增或倍减亮度值估计色调映射图像和变换后图像的详细信息量,变换后图像的计算公式如下:
Ij=min(max(I×muIj,0),255)
其中,I是一张色调映射图像,muIj是第j个乘子,
在这里选取
Figure DEST_PATH_IMAGE002
max和min算子取两数中的较大或较小值,用来将图像的像素区域转换到0-255区间;接下来,使用信息熵来衡量图片的信息量;对于任意信号,熵表示该信号无序程度,采用熵来测量图像I信号及其变换后的图像Ij信号所携带的细节信息量,公式如下:
Hj=-∑pi(Ij)log2pi(Ij)
其中,Hj代表了Ij的信息熵,pi(Ij)是变换后的图像Ij在灰度域的概率密度。
3.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述灰度共生矩阵特征提取,包括如下步骤:
选取体现边缘特性的三个特征:能量E、相关性C和均匀度V,分别进行计算:
Figure FDA0002999005820000022
Figure FDA0002999005820000023
Figure FDA0002999005820000024
其中,μ和σ分别表示像素的均值和方差,
Figure FDA0002999005820000025
Figure FDA0002999005820000026
G(x,y)是灰度共生矩阵第x行、第y列的元素,k是灰度域的尺度范围,在这里取值为256。
4.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述图像自然场景统计特征提取,包括如下步骤:
假设图片I的大小为M×N,I(i,j)代表图像第(i,j)个空域位置的亮度值,i∈{1,2,…M},j∈{1,2,…N},MSCN系统的计算公式如下所示:
Figure FDA0002999005820000027
其中,局部均值μI(i,j)和标准差σI(i,j)的定义如下:
Figure FDA0002999005820000028
Figure FDA0002999005820000029
其中,W={Wp,q|p=-P,…P,q=-Q,…Q}是中心位于第(i,j)个像素点的对称局部高斯卷积窗,窗口的大小设置为7×7;
MSCN系统的分布存在一定统计规律并可以通过广义高斯密度分布拟合,零均值的广义高斯密度分布函数表示为:
Figure FDA0002999005820000031
其中,尺度参数特征
Figure FDA0002999005820000032
Γ(·)是伽马函数,其表达式为:
Figure FDA0002999005820000033
提取拟合的高斯密度分布函数中的参数α和δ2作为图像特征,以衡量图像的失真程度;其中,α是形状参数,控制广义高斯密度分布的包络,δ2表示广义高斯分布的方差。
5.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述LPC特征提取,包括如下步骤:
利用可控制金字塔分解的复杂形式,输入图像被分解为多方向的3尺度子带;分解图的LPC系数定义为:
Figure FDA0002999005820000034
其中,L是可控制金字塔分解的方向数,Φ({ci,l}是第L个方向上的最佳子带的系数为i的相位,
Figure FDA0002999005820000035
是相应的预测相位,K是一个用于防止在小能量处不稳定的常数;
整张图的LPC系数被定义为:
Figure FDA0002999005820000036
其中,Pi是由LPC图像派生的排序后的LPC值,Wi是分配给第i个LPC值的权重。
6.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述图像边缘特征提取,包括如下步骤:
首先利用Canny算子提取图像的边缘,然后计算统计特征来测量边缘的晕轮效应;所述统计特征是指,对于边缘像素点周围的n×n小块区域,提取出三类特征:
fh1=E(he)
fh2=E(he 2)-E(he)2
Figure FDA0002999005820000041
其中,he是每个小块亮度值的直方图,E(·)代表期望值,σh表示he的方差,偏度fh3是度量变量分布对称性的特征;
所述n×n取值为8×8。
7.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述全局颜色特征提取,包括如下步骤:
首先将RGB图像转换到对立颜色空间,具体公式如下:
Figure FDA0002999005820000042
其中,R,G,B分别表示RGB颜色空间的红,绿,蓝三个颜色通道;L1是相应的红绿通道,L2是相应的蓝绿通道,L3是相应的亮度通道;则全局的颜色属性表示如下:
Figure FDA0002999005820000043
其中,
Figure FDA0002999005820000044
μL1,μL2分别表示两个颜色通道的方差和均值。
8.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述局部对比度特征提取,包括如下步骤:
将图像的亮度分为三个颜色通道的值,使用两个特征C1和C2,分别计算图像每个小块亮度的差值和小块中像素点亮度的发散程度;计算公式如下:
Figure FDA0002999005820000045
Figure FDA0002999005820000046
M和N表示块的大小,i和j分别表示块中像素点的位置,这里块的大小设置为8×8,Imean代表了该小块亮度的均值,Imin和Imax分别代表亮度的最小值和最大值。
9.根据权利要求1所述的一种基于多特征融合的无参考色调映射图像质量评价方法,其特征在于,所述训练模型并测试,包括如下步骤:
将数据集中80%的数据作为训练数据用于训练支持向量回归器,其余20%的数据作为测试数据用于进行测试,训练数据和测试数据在内容上不重叠;
将测试数据中每张色调映射图像的特征值输入训练好的支持向量回归器,输出预测的图像客观质量分数。
CN201910337321.3A 2019-04-25 2019-04-25 基于多特征融合的无参考色调映射图像质量评价方法 Active CN110046673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337321.3A CN110046673B (zh) 2019-04-25 2019-04-25 基于多特征融合的无参考色调映射图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337321.3A CN110046673B (zh) 2019-04-25 2019-04-25 基于多特征融合的无参考色调映射图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110046673A CN110046673A (zh) 2019-07-23
CN110046673B true CN110046673B (zh) 2021-05-07

Family

ID=67279227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337321.3A Active CN110046673B (zh) 2019-04-25 2019-04-25 基于多特征融合的无参考色调映射图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110046673B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132774A (zh) * 2019-07-29 2020-12-25 方玉明 一种色调映射图像的质量评价方法
CN110473181A (zh) * 2019-07-31 2019-11-19 天津大学 基于边缘特征信息的屏幕内容图像的无参质量评价方法
CN111193923B (zh) * 2019-09-24 2022-06-21 腾讯科技(深圳)有限公司 视频质量评估方法、装置、电子设备及计算机存储介质
CN110827237B (zh) * 2019-09-27 2022-10-04 浙江工商职业技术学院 基于拮抗颜色空间半参考色调映射图像质量评价方法
CN111105387B (zh) * 2019-11-08 2023-05-26 西安电子科技大学 基于统计特征视角合成质量预测方法、信息数据处理终端
CN111028199A (zh) * 2019-11-09 2020-04-17 天津大学 一种基于端到端的质量评价机制的色调映射方法
CN110853027A (zh) * 2019-11-18 2020-02-28 方玉明 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN111080563B (zh) * 2019-12-13 2023-03-14 华侨大学 一种基于遍历寻优的直方图均衡方法
CN110864902B (zh) * 2019-12-24 2021-03-23 安徽工业大学 一种基于分数阶散布熵的滚动轴承早期故障检测方法
CN110996096B (zh) * 2019-12-24 2021-05-25 嘉兴学院 一种基于结构相似性差异度的色调映射图像质量评价方法
CN111368842A (zh) * 2020-02-29 2020-07-03 贵州电网有限责任公司 一种基于多层次最大稳定极值区域的自然场景文本检测方法
CN111539913B (zh) * 2020-03-24 2022-12-20 上海交通大学 一种移动设备拍照清晰度质量评价方法、系统和终端
CN111489333B (zh) * 2020-03-31 2022-06-03 天津大学 一种无参考夜间自然图像质量评价方法
CN111768362B (zh) * 2020-05-13 2023-05-23 上海大学 基于多特征融合的全参考高动态图像质量评价方法
CN113313665A (zh) * 2020-06-18 2021-08-27 阿里巴巴集团控股有限公司 评估图像质量的方法和装置
CN111836073B (zh) * 2020-07-10 2022-02-22 腾讯科技(深圳)有限公司 视频清晰度的确定方法、装置、设备及存储介质
CN112330648B (zh) * 2020-11-12 2024-01-05 深圳大学 基于半监督学习的无参考图像质量评价方法及装置
CN112419300A (zh) * 2020-12-04 2021-02-26 清华大学深圳国际研究生院 一种水下图像的质量评价方法和系统
CN113038123A (zh) * 2021-03-22 2021-06-25 上海大学 无参考全景视频质量评价方法、系统、终端及介质
CN113362354B (zh) * 2021-05-07 2024-04-30 安徽国际商务职业学院 色调映射图像的质量评价方法、系统、终端及存储介质
CN113554564A (zh) * 2021-07-26 2021-10-26 严大莲 质量评价驱动的自适应对比度颜色射影法
CN114549492B (zh) * 2022-02-27 2024-05-31 北京工业大学 一种基于多粒度图像信息内容的质量评价方法
CN116330319B (zh) * 2023-05-26 2023-07-21 泓浒(苏州)半导体科技有限公司 一种搬运机械手状态监测系统及监测方法
CN117933763B (zh) * 2024-03-22 2024-06-21 国网安徽省电力有限公司经济技术研究院 基于输变电工程地质分布图的评审应用分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778788A (zh) * 2017-01-13 2017-05-31 河北工业大学 对图像进行美学评价的多特征融合方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
US8086007B2 (en) * 2007-10-18 2011-12-27 Siemens Aktiengesellschaft Method and system for human vision model guided medical image quality assessment
CN103136734B (zh) * 2013-02-27 2016-01-13 北京工业大学 一种凸集投影超分辨率图像重建时边缘晕轮效应的抑制方法
CN103475898B (zh) * 2013-09-16 2015-05-20 北京理工大学 一种基于信息熵特征的无参考图像质量评价方法
CN105719252B (zh) * 2016-01-19 2018-08-14 中国铁道科学研究院 一种铁路巡检图像实时高动态范围绘制方法和装置
CN106651829B (zh) * 2016-09-23 2019-10-08 中国传媒大学 一种基于能量和纹理分析的无参考图像客观质量评价方法
CN109218716B (zh) * 2018-10-22 2020-11-06 天津大学 基于色彩统计和信息熵无参考色调映射图像质量评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778788A (zh) * 2017-01-13 2017-05-31 河北工业大学 对图像进行美学评价的多特征融合方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法

Also Published As

Publication number Publication date
CN110046673A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Qureshi et al. Towards the design of a consistent image contrast enhancement evaluation measure
Fu et al. Screen content image quality assessment using multi-scale difference of Gaussian
Celik Spatial mutual information and PageRank-based contrast enhancement and quality-aware relative contrast measure
CN107172418B (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
CN109919959B (zh) 基于色彩、自然性及结构的色调映射图像质量评价方法
CN111079740A (zh) 图像的质量评价方法、电子设备和计算机可读存储介质
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
Xiang et al. Blind night-time image quality assessment: Subjective and objective approaches
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
El Khoury et al. Color and sharpness assessment of single image dehazing
Chen et al. Blind quality index for tone-mapped images based on luminance partition
Lisani et al. An inquiry on contrast enhancement methods for satellite images
CN107146220B (zh) 一种通用型无参考图像质量评价方法
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN111489333B (zh) 一种无参考夜间自然图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN112651945A (zh) 一种基于多特征的多曝光图像感知质量评价方法
Xu et al. Remote-sensing image usability assessment based on ResNet by combining edge and texture maps
CN114202491B (zh) 一种增强光学图像的方法及系统
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
CN113409247B (zh) 一种多曝光融合图像质量评价方法
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
Ayunts et al. No-Reference Quality Metrics for Image Decolorization
CN115457614B (zh) 一种图像质量评价方法、模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant