CN107767363A - 一种基于自然场景的无参考高动态图像质量评价算法 - Google Patents

一种基于自然场景的无参考高动态图像质量评价算法 Download PDF

Info

Publication number
CN107767363A
CN107767363A CN201710792267.2A CN201710792267A CN107767363A CN 107767363 A CN107767363 A CN 107767363A CN 201710792267 A CN201710792267 A CN 201710792267A CN 107767363 A CN107767363 A CN 107767363A
Authority
CN
China
Prior art keywords
mrow
image
msub
mover
msup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710792267.2A
Other languages
English (en)
Inventor
张淑芳
丁文鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710792267.2A priority Critical patent/CN107767363A/zh
Publication of CN107767363A publication Critical patent/CN107767363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自然场景的无参考高动态图像质量评价算法，包括第一步：对HDR图像进行PU编码，获得对应LDR图像；第二步：对LDR图像进行均值减损归一化；第三步：提取显著区域图像块的图像特征；第四步：图像质量计算，在获得原始HDR图像和失真HDR图像的特征后，分别用多元高斯模型(MVG)进行拟合，获得均值和方差矩阵和∑。与现有技术相比，本发明与人眼主观高动态图像质量评价取得较好的一致性，并且计算过程不需要复杂的变换域变换，复杂度低，可以实现实时的高动态图像质量评价；与此同时，该算法将高动态图像与无参考图像质量评价相结合，通用性较强，也为高动态图像质量评价的研究丰富了思路。

Description

一种基于自然场景的无参考高动态图像质量评价算法
技术领域
本发明涉及图像质量评价技术，特别是涉及一种无参考的高动态图像质量评价算法。
背景技术
自然界中的场景都有着非常大的动态范围，最亮的物体亮度和最暗的物体亮度之比为108cd/m2，而人类眼睛所能看到的范围是105cd/m2左右。但是，传统的电视系统提供标准的动态范围(SDR)大约为1000:1(最亮和最暗的亮度之间的比例)，与人眼所能感知的范围相差甚远，导致了人眼最终所感知到的画面层次感较差，大量细节丢失。
高动态范围(High Dynamic Range，HDR)图像能够记录具有很高亮度动态范围的景象，更加符合人眼视觉特性。HDR能够很好的解决电视显示问题，使色彩更加饱满和真实，色调的渐变也更加细腻。与低动态范围(Low Dynamic Range，LDR)图像类似，HDR图像在获取、处理、压缩、存储和传输时也会存在不同程度的失真，这些失真会影响HDR图像的视觉效果。因此，为保证系统能够提供良好的视觉体验，对HDR图像质量的评估是至关重要的。
由于HDR图像有着更大的动态范围，目前应用于LDR图像的典型质量评价算法，如依赖于输入像素值之间的感知线性度，没有考虑亮度掩蔽等因素的PSNR、SSIM评价算法，并不能很好的评价HDR图像质量。
主观的图像质量评价方法需针对多个测试图像进行多次重复实验，耗时多、费用高，难以操作，所以需要一种客观的图像质量评价方法。依据对参考图像的依赖程度，图像客观质量评价可分为全参考(FR)、半参考(RR)和无参考(NR)。根据韦伯定律，人类视觉系统(HVS)对光亮度值的敏感性近似于一个对数函数。为了扩展LDR指标的应用范围，并考虑HVS的敏感性，Aydin等人已经提出了感知一致(Perceptually Uniform，PU)编码的方法，将HDR图像转换为LDR，结合已经存在的LDR全参考算法对图像进行评价。Mantiuk等人通过合理地模拟HVS，建立一系列人眼视觉模型，综合HDR图像的亮度和对比度特征，提出了视觉差异预测方法HDR-VDP-2及其权重修正的HDR-VDP-2.2算法。由于HDR-VDP-2及HDR-VDP-2.2评价方法适应自然界图像的所有亮度范围，很好地模拟了人类对HDR图像的高亮度范围的感知，所以该评价方法得到了广泛的应用。
发明内容
借鉴现有技术中Aydin等人提出的PU编码的方法，本发明提出一种基于自然场景的无参考HDR图像质量评价算法，将HDR图像降为LDR图像，根据HVS特性和自然场景统计特性(NSS)，构造一系列质量感知特征，并将这些特征拟合到多元高斯(MVG)模型上，进而对HDR图像进行评价。
本发明的一种基于自然场景的无参考高动态图像质量评价算法，该方法包括以下步骤：
第一步：对HDR图像进行PU编码，获得对应LDR图像；
首先，计算HDR图像的对比与强度cvi，计算公式如下：
其中，CSF表示对比度函数，X表示除了适应亮度Lα和背景亮度L之外的所有影响HVS的参数；MA()函数为灵敏度损失估计计算函数；
基于两个假设：假设人眼存在最小的适应亮度水平Lα-min；假设眼睛适应了高于Lα-min的所有亮度水平，将检验阈值估计值计算公式表示如下：
t(L)＝cvi(L,max(L,Lα-min)) (2)
采用递归公式寻找映射关系。递归公式如下：
fi＝fi-1(1+t(fi-1)) f:Lm’→Lm,i∈[2...N] (3)
其中，fi-1表示上一个亮度索引值i-1对应的亮度值；t(fi-1)表示亮度值为fi-1时对应的检测阈值；L’m表示经过γ压缩处理后的亮度域；Lm表示真实亮度域；f为映射函数，每一个L’m域中的亮度索引i都对应Lm域中的一个真实亮度值fi；i表示L’m域中的亮度索引值，取值范围为[2…N]；f1表示最小的编码亮度Lmin；PU:Lm→Lm'表示正向映射函数，将f的值作为查找表中的值，并对于给定的亮度值fi找到最近的插值索引i；
根据上述公式(1)～(3)，将HDR图像转换为对应的LDR图像；
第二步：对LDR图像进行均值减损归一化，像素归一化计算公式为：
其中，表示位置在(m,n)处像素的均值减损对比归一化(Mean SubtractedContrast Normalized，MSCN)系数；I(m,n)表示LDR图像中位于(m,n)位置处像素点的亮度分量，m∈1,2,...,P,n∈1,2,...,Q表示图像空域坐标；P、Q分别表示图像的高度和宽度；C是常数，取1；w＝{wk,l|k＝-3,...,3,l＝-3,...,3}为圆形对称的高斯权重函数，K＝L＝3；μ(m,n)表示LDR图像(m,n)位置处像素点的均值；σ(m,n)表示LDR图像(m,n)位置处像素点的标准差；
第三步：提取显著区域图像块的图像特征。公式(6)中的标准差σ(m,n)具有丰富的结构信息，可以利用σ(m,n)来量化局部图像的锐度。首先，按列从左至右，行从上到下的顺序将LDR图像分为96×96大小的互不重叠的图像块；然后，计算图像块patchb的平均方差δ，计算公式如下
δ(m,n)＝∑∑m,n∈patchbσ(m,n) (7)
其中，patchb表示LDR图像中大小为96×96的图像块；m,n表示patchb中像素所在的行和列；δ表示局部图像块的平均方差；选取δ＞T的图像块作为特征显著图像块，T通常取最大局部平均方差的0.6～0.9倍，在本实验中T为最大局部平均方差的0.75倍；根据公式(7)选取LDR图像中纹理和边界都明显的图像块作为显著区域图像块；
在提取的显著区域图像块上，对MSCN系数利用广义高斯分布模型(GGD)进行拟合，采用快速匹配法估计归一化后的广义高斯分布参数(a,σ2)。GGD模型如下所示：
其中，x表示归一化后的像素值，即MSCN系数；a表示形状参数，决定GGD密度函数的衰减速度，且a越小衰减得越厉害，因而a也称为衰减率；σ为GGD的标准差；Γ(.)是gamma函数；β为GGD的尺寸参数，
利用MSCN系数对LDR图像分别从水平方向、垂直方向、主对角线方向和次对角线方向计算图像相关性，如下：
上式中，m,n分别表示像素的行和列，取值为m∈1,2,...,P,n∈1,2,...,Q；H(m,n)，V(m,n)，D1(m,n)和D2(m,n)分别表示位于(m,n)处像素点的水平、垂直、主对角线和次对角线方向的相关性。表示位于(m,n)处的像素点的MSCN系数，其余像素点的含义与类似；
采用非对称高斯分布(AGGD)对式(9)中得到的4个方向的相关性图像进行拟合，每个方向的估计参数(η,v,σl,σr)利用快速匹配法进行估计。将4个方向估计的16个参数作为相邻系数相关性特征。由于自然图像统计特性的多尺度性，通过对LDR图像进行下采因子为2的下采样，实现在两个尺度下提取图像统计特征，每个尺度下包括2个高斯分布特征和16个相邻系数相关性特征，一共有2×(2+16)＝36个特征。
第四步：图像质量计算，对提取的36个特征，通过拟合多元高斯MVG模型计算模型参数和∑，MVG模型公式为：
其中，是通过式(4)-(9)计算的图像特征向量，其中k＝36；∑代表MVG模型的36×36维方差矩阵，表示图像特征向量对应的均值向量；和∑可利用最大似然估计方法进行计算得到。∑-1表示∑的逆，|Σ|表示∑的行列式。表示的转置。计算失真图像与自然图像拟合参数之间的距离来衡量图像质量：
其中，和Σ1分别代表自然图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；和Σ2分别代表失真图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；表示两个均值向量差值的转置；表示两方差矩阵对应元素相减取平均后的逆矩阵。
与现有技术相比，本发明与人眼主观高动态图像质量评价取得较好的一致性，并且计算过程不需要复杂的变换域变换，复杂度低，可以实现实时的高动态图像质量评价。与此同时，该算法将高动态图像与无参考图像质量评价相结合，通用性较强，也为高动态图像质量评价的研究丰富了思路。
附图说明
图1是一种基于自然场景的无参考HDR图像质量评价算法模型框图。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明的一种基于自然场景的无参考HDR图像质量评价算法，具体包括如下步骤：
第一步：对HDR图像进行PU编码，获得对应LDR图像。本发明使用Aydin等人在官网上提供的Matlab版本PU编码，PU编码的思路为：
首先，计算HDR图像的对比与强度cvi，计算公式如下：
其中，CSF表示对比度函数，X表示除了适应亮度Lα和背景亮度L之外的所有影响HVS的参数(空间频率、方向、刺激大小等)；MA()函数为灵敏度损失估计计算函数，用于估计由于适应不良而造成的灵敏度损失。
在PU编码中，假设人眼存在最小的适应亮度水平Lα-min；也即假设眼睛适应了高于Lα-min的所有亮度水平，则适应亮度等于背景亮度(Lα＝L)。基于上面两个假设，检验阈值估计值计算公式如下：
t(L)＝cvi(L,max(L,Lα-min)) (2)
获得检测阈值估计值t(L)后，采用递归公式寻找映射关系。递归公式如下：
fi＝fi-1(1+t(fi-1)) f:L’m→Lm,i∈[2...N] (3)
其中，fi-1表示上一个亮度索引值i-1对应的亮度值；t(fi-1)表示亮度值为fi-1时对应的检测阈值；L’m表示经过γ压缩处理后的亮度域；Lm表示以cd/m2为单位的真实亮度域。f为映射函数，每一个L’m域中的亮度索引i都对应Lm域中的一个真实亮度值fi。i表示L’m域中的亮度索引值，取值范围为[2…N]。为保证fi-1有意义，i的最小值为2，f1表示最小的编码亮度Lmin(Lmin通常取值为10-5cd/m2)。N取值要足够大，使得fN大于最大编码亮度Lmax(Lmax通常为1010cd/m2)。Aydin等人用PU:Lm→Lm'表示正向映射函数，将f的值作为查找表中的值，并对于给定的亮度值fi找到最近的(插值)索引i。根据上面3个公式，就可以将HDR图像转换为对应的LDR图像。
第二步：对LDR图像进行均值减损归一化，像素归一化计算公式为：
其中，表示位置在(m,n)处像素的均值减损对比归一化(Mean SubtractedContrast Normalized，MSCN)系数；I(m,n)表示LDR图像中位于(m,n)位置处像素点的亮度分量，m∈1,2,...,P,n∈1,2,...,Q表示图像空域坐标；P、Q分别表示图像的高度和宽度；C是常数，取1；w＝{wk,l|k＝-3,...,3,l＝-3,...,3}为圆形对称的高斯权重函数，K＝L＝3；μ(m,n)表示LDR图像(m,n)位置处像素点的均值；σ(m,n)表示LDR图像(m,n)位置处像素点的标准差。与I(m,n)相比，减少了相邻像素之间的相关性。
第三步：提取显著区域图像块的图像特征。公式(6)中的标准差σ(m,n)具有丰富的结构信息，可以利用σ(m,n)来量化局部图像的锐度。首先，按列从左至右，行从上到下的顺序将LDR图像分为96×96大小的互不重叠的图像块；然后，计算图像块patchb的平均方差δ，计算公式如下
δ(m,n)＝∑∑m,n∈patchbσ(m,n) (7)
其中，patchb表示LDR图像中大小为96×96的图像块；m，n表示patchb中像素所在的行和列；δ表示局部图像块的平均方差。选取δ＞T的图像块作为特征显著图像块，T通常取最大局部平均方差的0.6～0.9倍，在本实验中T为最大局部平均方差的0.75倍。根据公式(7)选取LDR图像中纹理和边界都明显的图像块作为显著区域图像块。
失真的存在会破坏相邻MSCN系数之间存在的规律性。MSCN系数的特征包括广义高斯分布(GGD)特征和相邻系数相关性。在提取的显著区域图像块上，对MSCN系数利用广义高斯分布模型(GGD)进行拟合，采用快速匹配法估计归一化后的广义高斯分布参数(a,σ2)。GGD模型如下所示：
其中，x表示归一化后的像素值，即MSCN系数；a表示形状参数，决定GGD密度函数的衰减速度，且a越小衰减得越厉害，因而a也称为衰减率；σ为GGD的标准差；Γ(.)是gamma函数；β为GGD的尺寸参数，
利用MSCN系数对LDR图像分别从水平方向、垂直方向、主对角线方向和次对角线方向计算图像相关性，如下：
上式中，m,n分别表示像素的行和列，取值为m∈1,2,...,P,n∈1,2,...,Q；H(m,n)，V(m,n)，D1(m,n)和D2(m,n)分别表示位于(m,n)处像素点的水平、垂直、主对角线和次对角线方向的相关性。表示位于(m,n)处的像素点的MSCN系数，其余像素点的含义与类似。
采用非对称高斯分布(AGGD)对式(9)中得到的4个方向的相关性图像进行拟合，每个方向的估计参数(η,v,σl,σr)利用快速匹配法进行估计。将4个方向估计的16个参数作为相邻系数相关性特征。由于自然图像统计特性的多尺度性，通过对LDR图像进行下采因子为2的下采样，实现在两个尺度下提取图像统计特征，每个尺度下包括2个高斯分布特征和16个相邻系数相关性特征，一共有2×(2+16)＝36个特征。
第四步：图像质量计算，对提取的36个特征，通过拟合多元高斯MVG模型计算模型参数和∑，MVG模型公式为：
其中，是通过式(4)-(9)计算的图像特征向量，其中k＝36；∑代表MVG模型的36×36维方差矩阵，表示图像特征向量对应的均值向量；和∑可利用最大似然估计方法进行计算得到。∑-1表示∑的逆，|Σ|表示∑的行列式。表示的转置。计算失真图像与自然图像拟合参数之间的距离来衡量图像质量：
其中，和Σ1分别代表自然图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；和Σ2分别代表失真图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；表示两个均值向量差值的转置；表示两方差矩阵对应元素相减取平均后的逆矩阵。
最佳实施方式说明：
1、图像库选取：本发明使用Giuseppe Valenzise等人在2014年发布的HDR图像库。HDR图像库具体内容如表1所示：
表1、HDR图像库说明
图像库来源 原始HDR图像 失真HDR图像 失真种类 有无主观分数
Giuseppe等人 5 44 10 有MOS值
2、HDR图像PU编码及特征提取：首先使用Aydin等人在官网上提供的Matlab版本PU编码，对输入的HDR图像进行PU编码，获得对应的LDR图像。再按照公式(4)～(6)对LDR图像进行均值减损归一化，获得MSCN系数。接着根据公式(7)～(9)，分别提取原始HDR图像及失真HDR图像的两个尺度下的36个特征。
3、HDR图像质量评价：在获得原始HDR图像和失真HDR图像的特征后，分别用多元高斯模型(MVG)进行拟合，获得均值和方差矩阵和∑。最后，根据公式(11)计算两张图像之间距离。
4、性能测试
选取表1中所描述的HDR数据库，并且使用斯皮尔曼等级次序相关系数(SROCC)、皮尔森线性相关系数(PLCC)、肯德尔秩次相关系数(KROCC)及均方根误差(RMSE)作为评价算法性能的指标。SROCC、PLCC和KROCC三个相关系数的绝对值越接近于1，RMSE值越小，说明算法越准确。表2给出了所提算法对不同失真类型HDR图像的评价性能。本发明提出的无参考算法评价结果显示，SROCC和PLCC的绝对值达到0.7以上，KROCC的绝对值达到0.5以上，RMSE也较小，说明本发明能够有效的对HDR图像进行评价。对比表2中的其他算法，作为无参考算法，本算法的预测准确度可以与PU_MSE和PU_PSNR通用全参考算法相比拟。综上所述，本算法与人眼主观质量评价的一致性较好，算法复杂度较低，并且对各种失真类型的HDR图像进行质量评价时都具有很好的鲁棒性。
表2、不同算法的评价性能
评价指标 |SROCC| |PLCC| |KROCC| RMSE
PU_MSE 0.736 0.573 0.495 21.254
PU_PSNR 0.736 0.801 0.495 15.555
NR_HDR_IQA 0.755 0.775 0.572 16.396

Claims (1)

1.一种基于自然场景的无参考高动态图像质量评价算法，其特征在于，该方法包括以下步骤：
第一步：对HDR图像进行PU编码，获得对应LDR图像；
首先，计算HDR图像的对比与强度cvi，计算公式如下：
<mrow> <mi>c</mi> <mi>v</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>L</mi> <mo>,</mo> <msub> <mi>L</mi> <mi>&amp;alpha;</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>(</mo> <munder> <mi>max</mi> <mi>X</mi> </munder> <mo>&amp;lsqb;</mo> <mi>C</mi> <mi>S</mi> <mi>F</mi> <mo>(</mo> <mrow> <msub> <mi>L</mi> <mi>&amp;alpha;</mi> </msub> <mo>,</mo> <mi>X</mi> </mrow> <mo>)</mo> <mi>M</mi> <mi>A</mi> <mo>(</mo> <mrow> <mo>|</mo> <mi>L</mi> <mo>-</mo> <msub> <mi>L</mi> <mi>&amp;alpha;</mi> </msub> <mo>|</mo> </mrow> <mo>)</mo> <mo>&amp;rsqb;</mo> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，CSF表示对比度函数，X表示除了适应亮度Lα和背景亮度L之外的所有影响HVS的参数；MA()函数表示灵敏度损失估计计算函数；
基于两个假设：假设人眼存在最小的适应亮度水平Lα-min；假设眼睛适应了高于Lα-min的所有亮度水平，将检验阈值估计值计算公式表示如下：
t(L)＝cvi(L,max(L,Lα-min)) (2)
采用递归公式寻找映射关系。递归公式如下：
fi＝fi-1(1+t(fi-1)) f:Lm’→Lm,i∈[2...N] (3)
其中，fi-1表示上一个亮度索引值i-1对应的亮度值；t(fi-1)表示亮度值为fi-1时对应的检测阈值；L’m表示经过γ压缩处理后的亮度域；Lm表示真实亮度域；f为映射函数，每一个L’m域中的亮度索引i都对应Lm域中的一个真实亮度值fi；i表示L’m域中的亮度索引值，取值范围为[2…N]；f1表示最小的编码亮度Lmin；PU:Lm→Lm'表示正向映射函数，将f的值作为查找表中的值，并对于给定的亮度值fi找到最近的插值索引i；
根据上述公式(1)～(3)，将HDR图像转换为对应的LDR图像；
第二步：对LDR图像进行均值减损归一化，像素归一化计算公式为：
<mrow> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;mu;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>C</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>&amp;mu;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mo>-</mo> <mi>K</mi> </mrow> <mi>K</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <mi>L</mi> </mrow> <mi>L</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <mi>I</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mi>k</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mo>-</mo> <mi>K</mi> </mrow> <mi>K</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mo>-</mo> <mi>L</mi> </mrow> <mi>L</mi> </munderover> <msub> <mi>w</mi> <mrow> <mi>k</mi> <mo>,</mo> <mi>l</mi> </mrow> </msub> <msup> <mrow> <mo>&amp;lsqb;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mi>k</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>&amp;mu;</mi> <msup> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，表示位置在(m,n)处像素的均值减损对比归一化(Mean SubtractedContrastNormalized，MSCN)系数；I(m,n)表示LDR图像中位于(m,n)位置处像素点的亮度分量，m∈1,2,...,P,n∈1,2,...,Q表示图像空域坐标；P、Q分别表示图像的高度和宽度；C是常数，取1；w＝{wk,l|k＝-3,...,3,l＝-3,...,3}为圆形对称的高斯权重函数，K＝L＝3；μ(m,n)表示LDR图像(m,n)位置处像素点的均值；σ(m,n)表示LDR图像(m,n)位置处像素点的标准差；
第三步：提取显著区域图像块的图像特征。公式(6)中的标准差σ(m,n)具有丰富的结构信息，可以利用σ(m,n)来量化局部图像的锐度。首先，按列从左至右，行从上到下的顺序将LDR图像分为96×96大小的互不重叠的图像块；然后，计算图像块patchb的平均方差δ，计算公式如下
δ(m,n)＝∑∑m,n∈patchbσ(m,n) (7)
其中，patchb表示LDR图像中大小为96×96的图像块；m,n表示patchb中像素所在的行和列；δ表示局部图像块的平均方差；选取δ＞T的图像块作为特征显著图像块，T通常取最大局部平均方差的0.6～0.9倍，在本实验中T为最大局部平均方差的0.75倍；根据公式(7)选取LDR图像中纹理和边界都明显的图像块作为显著区域图像块；
在提取的显著区域图像块上，对MSCN系数利用广义高斯分布模型(GGD)进行拟合，采用快速匹配法估计归一化后的广义高斯分布参数(a,σ2)。GGD模型如下所示：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>;</mo> <mi>a</mi> <mo>,</mo> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mi>a</mi> <mrow> <mn>2</mn> <mi>&amp;beta;</mi> <mi>&amp;Gamma;</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>/</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> </mrow> <mi>&amp;beta;</mi> </mfrac> <mo>)</mo> </mrow> <mi>a</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，x表示归一化后的像素值，即MSCN系数；a表示形状参数，决定GGD密度函数的衰减速度，且a越小衰减得越厉害，因而a也称为衰减率；σ为GGD的标准差；Γ(.)是gamma函数；β为GGD的尺寸参数，
利用MSCN系数对LDR图像分别从水平方向、垂直方向、主对角线方向和次对角线方向计算图像相关性，如下：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>V</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>D</mi> <mn>1</mn> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>D</mi> <mn>2</mn> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mover> <mi>I</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
上式中，m,n分别表示像素的行和列，取值为m∈1,2,...,P,n∈1,2,...,Q；H(m,n)，V(m,n)，D1(m,n)和D2(m,n)分别表示位于(m,n)处像素点的水平、垂直、主对角线和次对角线方向的相关性。表示位于(m,n)处的像素点的MSCN系数，其余像素点的含义与类似；
采用非对称高斯分布(AGGD)对式(9)中得到的4个方向的相关性图像进行拟合，每个方向的估计参数(η,v,σl,σr)利用快速匹配法进行估计。将4个方向估计的16个参数作为相邻系数相关性特征。由于自然图像统计特性的多尺度性，通过对LDR图像进行下采因子为2的下采样，实现在两个尺度下提取图像统计特征，每个尺度下包括2个高斯分布特征和16个相邻系数相关性特征，一共有2×(2+16)＝36个特征。
第四步：图像质量计算，对提取的36个特征，通过拟合多元高斯MVG模型计算模型参数和∑；MVG模型公式为：
<mrow> <msub> <mi>f</mi> <mi>X</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>)</mo> </mrow> <mrow> <mi>k</mi> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mo>|</mo> <mo>&amp;Sigma;</mo> <msup> <mo>|</mo> <mrow> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> </mrow> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <mrow> <mover> <mi>x</mi> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mo>&amp;Sigma;</mo> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>(</mo> <mrow> <mover> <mi>x</mi> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中，是通过式(4)-(9)计算的图像特征向量，其中k＝36；∑代表MVG模型的36×36维方差矩阵，表示图像特征向量对应的均值向量；和∑可利用最大似然估计方法进行计算得到。∑-1表示∑的逆，|Σ|表示∑的行列式。表示的转置。计算失真图像与自然图像拟合参数之间的距离来衡量图像质量：
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mo>,</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>&amp;Sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>&amp;Sigma;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mo>-</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>&amp;Sigma;</mi> <mn>2</mn> </msub> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>1</mn> </msub> <mo>-</mo> <msub> <mover> <mi>v</mi> <mo>&amp;OverBar;</mo> </mover> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中，和Σ1分别代表自然图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；和Σ2分别代表失真图像MVG模型的36×1维的均值向量和36×36维的方差矩阵；表示两个均值向量差值的转置；表示两方差矩阵对应元素相减取平均后的逆矩阵。
CN201710792267.2A 2017-09-05 2017-09-05 一种基于自然场景的无参考高动态图像质量评价算法 Pending CN107767363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710792267.2A CN107767363A (zh) 2017-09-05 2017-09-05 一种基于自然场景的无参考高动态图像质量评价算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710792267.2A CN107767363A (zh) 2017-09-05 2017-09-05 一种基于自然场景的无参考高动态图像质量评价算法

Publications (1)

Publication Number Publication Date
CN107767363A true CN107767363A (zh) 2018-03-06

Family

ID=61265092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710792267.2A Pending CN107767363A (zh) 2017-09-05 2017-09-05 一种基于自然场景的无参考高动态图像质量评价算法

Country Status (1)

Country Link
CN (1) CN107767363A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596169A (zh) * 2018-03-12 2018-09-28 北京建筑大学 基于视频流图像的分块信号转换与目标检测方法及装置
CN109191431A (zh) * 2018-07-27 2019-01-11 天津大学 基于特征相似度的高动态彩色图像质量评价方法
CN109377472A (zh) * 2018-09-12 2019-02-22 宁波大学 一种眼底图像质量评价方法
CN109598681A (zh) * 2018-11-01 2019-04-09 兰州理工大学 一种对称唐卡修复后图像的无参考质量评价方法
CN109801257A (zh) * 2018-12-17 2019-05-24 天津大学 无参考dibr生成图像质量评价方法
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN110505472A (zh) * 2019-07-15 2019-11-26 武汉大学 一种h.265超高清视频质量评价方法
CN111539909A (zh) * 2020-03-12 2020-08-14 上海交通大学 一种相似场景图像组的图像质量评估方法、系统及终端
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN112132775A (zh) * 2020-08-05 2020-12-25 浙江万里学院 一种基于Fisher编码的屏幕内容图像无参考质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778636A (zh) * 2014-01-22 2014-05-07 上海交通大学 一种用于无参考图像质量评价的特征构建方法
CN105451016A (zh) * 2015-12-07 2016-03-30 天津大学 一种适用于视频监控系统的无参考视频质量评价方法
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法
CN106485702A (zh) * 2016-09-30 2017-03-08 杭州电子科技大学 基于自然图像特征统计的图像模糊检测方法
CN106815839A (zh) * 2017-01-18 2017-06-09 中国科学院上海高等研究院 一种图像质量盲评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778636A (zh) * 2014-01-22 2014-05-07 上海交通大学 一种用于无参考图像质量评价的特征构建方法
CN105451016A (zh) * 2015-12-07 2016-03-30 天津大学 一种适用于视频监控系统的无参考视频质量评价方法
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法
CN106485702A (zh) * 2016-09-30 2017-03-08 杭州电子科技大学 基于自然图像特征统计的图像模糊检测方法
CN106815839A (zh) * 2017-01-18 2017-06-09 中国科学院上海高等研究院 一种图像质量盲评估方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
PHILIPPE HANHART等: "Benchmarking of objective quality metrics for HDR image quality assessment", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》 *
TUNC OZAN AYDIN等: "Extending Quality Metrics to Full Luminance Range Images", 《SPIE PROCEEDINGS》 *
张淑芳等: "通用型无参考图像质量评价算法综述", 《计算机工程与应用》 *
张聪: "视频质量客观评价算法研究", 《万方数据》 *
邵雪等: "基于亮度阈值效应的无参考图像质量评价方法", 《包装工程》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596169B (zh) * 2018-03-12 2021-05-14 北京建筑大学 基于视频流图像的分块信号转换与目标检测方法及装置
CN108596169A (zh) * 2018-03-12 2018-09-28 北京建筑大学 基于视频流图像的分块信号转换与目标检测方法及装置
CN109191431A (zh) * 2018-07-27 2019-01-11 天津大学 基于特征相似度的高动态彩色图像质量评价方法
CN109377472A (zh) * 2018-09-12 2019-02-22 宁波大学 一种眼底图像质量评价方法
CN109377472B (zh) * 2018-09-12 2021-08-03 宁波大学 一种眼底图像质量评价方法
CN109598681A (zh) * 2018-11-01 2019-04-09 兰州理工大学 一种对称唐卡修复后图像的无参考质量评价方法
CN109598681B (zh) * 2018-11-01 2022-09-13 兰州理工大学 一种对称唐卡修复后图像的无参考质量评价方法
CN109801257A (zh) * 2018-12-17 2019-05-24 天津大学 无参考dibr生成图像质量评价方法
CN110505472A (zh) * 2019-07-15 2019-11-26 武汉大学 一种h.265超高清视频质量评价方法
CN110415242B (zh) * 2019-08-02 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN110415242A (zh) * 2019-08-02 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于参考图像的超分辨倍率评价方法
CN111539909A (zh) * 2020-03-12 2020-08-14 上海交通大学 一种相似场景图像组的图像质量评估方法、系统及终端
CN111539909B (zh) * 2020-03-12 2023-04-28 上海交通大学 一种相似场景图像组的图像质量评估方法、系统及终端
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN112132775A (zh) * 2020-08-05 2020-12-25 浙江万里学院 一种基于Fisher编码的屏幕内容图像无参考质量评价方法
CN112132775B (zh) * 2020-08-05 2023-10-31 浙江万里学院 一种基于Fisher编码的屏幕内容图像无参考质量评价方法

Similar Documents

Publication Publication Date Title
CN107767363A (zh) 一种基于自然场景的无参考高动态图像质量评价算法
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Wang et al. Simple low-light image enhancement based on Weber–Fechner law in logarithmic space
Qureshi et al. Towards the design of a consistent image contrast enhancement evaluation measure
Sandić-Stanković et al. DIBR synthesized image quality assessment based on morphological wavelets
Panetta et al. No reference color image contrast and quality measures
Maalouf et al. CYCLOP: A stereo color image quality assessment metric
CN108010024B (zh) 一种盲参考色调映射图像质量评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103426173B (zh) 一种立体图像质量的客观评价方法
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN105049851A (zh) 基于色彩感知的通用无参考图像质量评价方法
Gao et al. No reference color image quality measures
CN107105223A (zh) 一种基于全局特征的色调映射图像质量客观评价方法
CN104318545A (zh) 一种用于雾天偏振图像的质量评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
Narasimhan et al. A comparison of contrast enhancement techniques in poor illuminated gray level and color images
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN102722888A (zh) 基于生理与心理立体视觉的立体图像客观质量评价方法
CN111462002B (zh) 一种基于卷积神经网络的水下图像增强与复原方法
Tsai et al. Quality assessment of 3D synthesized views with depth map distortion
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN104346809A (zh) 采用高动态范围的图像质量数据集的图像质量评价方法
Tian et al. SC-IQA: Shift compensation based image quality assessment for DIBR-synthesized views
Kudelka Jr Image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180306