CN110706196A

CN110706196A - 基于聚类感知的无参考色调映射图像质量评价算法

Info

Publication number: CN110706196A
Application number: CN201811337431.1A
Authority: CN
Inventors: 马华林; 张立燕
Original assignee: Zhejiang Business Technology Institute
Current assignee: Zhejiang Business Technology Institute
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2020-01-17
Anticipated expiration: 2038-11-12
Also published as: CN110706196B

Abstract

基于聚类感知的无参考色调映射图像质量评价算法，包含以下几个步骤：步骤A：提取聚类感知特征，分别提取面积比率和信息熵两个特征；步骤B：提取显著性区域特征，提取块比例和信息熵两个特征；步骤C：提取自然度特征，自然度特征提取包括亮度统计特征和颜色通道统计特征；步骤D：使用机器学习的方法对所有特征进行回归，得到图像质量评价分。与现有技术相比，本发明的有益效果是：本发明评价测试图像时不需要参考图像的存在；对K‑means聚类的分区结果进行改进提升算法的精度；矩阵非负分解速度快，此检测方法有很好的运算速度；自然度特征结合了亮度自然度和颜色自然度，相对单种自然度大幅提高了算法的SROCC性能。

Description

基于聚类感知的无参考色调映射图像质量评价算法

技术领域

本发明涉及图像质量评价算法，尤其涉及基于聚类感知的无参考色调映射图像质量评价算法。

背景技术

高动态范围(High Dynamic Range, HDR)图像相比低动态范围(Low DynamicRange，LDR)图像能够表示更大的亮度范围，其亮度范围大约是10^-4cd/m²~10⁵cd/m²。LDR图像能表示的动态范围不超过3个数量级，但人类视觉系统在真实场景中可以接受的动态范围可以达到6个数量级。因此，HDR图像对用户来说感受更真实更有吸引力。随着成像和计算机图形学技术的发展，HDR图像的获得越来越容易。然而，HDR显示设备比较昂贵，超出了普通消费者的承受范围。为了解决这个问题，产业界和学术界开发了许多色调映射算子(Tone-mapped Operator, TMO)，TMO能够把HDR图像转换成LDR图像，转换后的LDR图像被称为色调映射图像(Tone-mapped Image, TMI)。由于TMI相对HDR图像缩小了动态范围，TMI不可避免的产生失真，例如亮度信息丢失、结构信息丢失、不自然的颜色等。准对一个HDR图像，不同的TMO产生的效果不一样。因此，TMI质量评价对于选择合适的TMO和改进TMO本身具有重要的研究意义。

TMI质量评价分为主观质量评价和客观质量评价，而早期的TMO性能评价主要采用主观质量评价。然而，主观质量评价具有三方面的缺点。首先主观质量评价比较耗时费力，需要昂贵的HDR显示器和多个测试人员多次实验。其次主观质量不能嵌入到图像处理系统来改进TMO。最后主观评价由于人为的一些不确定因素导致评价的误差，传统的客观质量评价方法假定参考图像和测试图像具有相同的动态范围，因此传统的客观质量评价方法不能直接评价TMI。近年来，全参考TMI质量评价算法取得了丰硕的成果。Yeganeh等人首次建立了色调映射图像数据库（Tone-mapped Image Database, TMID），TMID可以下载并用于评价TMI质量评价算法的性能。同时，他们提出了一种全参考TMI质量评价方法（Tone MappedImage Quality Index, TMQI），这个方法的基本思想是高质量的TMI不但要保护HDR图像的结构信息，还要保留图像的自然场景统计特性 (Natural Scene Statistics，NSS)。Nafchi等人基于图像的局部相位信息提出了FSITM方法，该方法考虑了图像的颜色信息，但没有考虑图像的自然度。Kundu等人准对TMQI均匀池化的缺点，在TMQI基础上加入了视觉注意力模型，运用感知池化策略提升质量评价算法的性能。Xie等人使用字典学习技术在稀疏域提取局部结构相似度和全局自然度，合并这两个特征提出了一种全参考质量评价算法SMTI。鉴于色调映射图像失真类型多的特点，Hadizadeh等人从结构保真度、自然度、亮度、颜色等方面提取了八类特征来评价TMI质量。由于TMI失真通常不会出现模糊、块效应等类型的失真，传统的质量评价算法不适合评价TMI。普通（低动态）图像的质量评价方法不适用于色调映射图像质量评价，因为色调映射图像的失真类型和低动态图像的失真类型不同，低动态图像的失真类型主要是块效应、模糊、振铃效应，而色调映射图像的失真类型主要是高亮区域和低暗区域的失真。面向色调映射图像的全参考图像质量评价方法要求评价图像时存在参考图像，在很多应用场景中无法获得参考图像，即全参考图像的应用范围有限，国际上现有具有代表性的无参考色调映射图像质量评价方法关键性能指标SROCC在0.8282，性能不够好。

发明内容

为了解决上述所存在的问题，本发明所要解决的技术问题提供了基于聚类感知的无参考色调映射图像质量评价算法，该种算法在评价测试图像时不需要参考图像的存在。

基于聚类感知的无参考色调映射图像质量评价算法，实现基于聚类感知的无参考色调映射图像质量评价算法，包含以下几个步骤：

步骤A：在亮度域上提取聚类感知特征，先把TMI转换成灰度图，再根据亮度信息进行聚类划分，所述聚类划分采用K-means聚类算法来自动识别图像的高亮区、中间区、低暗区，在每个区域分别提取面积比率和信息熵两个特征；

步骤B：在显著性区域上提取显著性区域特征，对TMI的非负矩阵分解得到测试图像对应的系数，对系数进行分析识别出TMI的混合区域，在所述混合区域提取块比例和信息熵两个特征；

步骤C：提取自然度特征，所述自然度特征提取包括亮度统计特征和颜色通道统计特征；

步骤D：使用机器学习的方法对所有特征进行回归，得到图像质量评价分。

上述技术方案中，在步骤A中所述K-means聚类算法在聚类时只考虑像素点到聚类中心的距离来确定像素点的类别，不考虑人眼对亮度感知的非线性特性，对于相近的人眼感知差，物理亮度距离与聚类中心的亮度值成正比，即人眼对暗区聚类时与聚类中心的距离要短一些，对中间区域聚类时与聚类中心的距离要长一些。在图像质量评价领域采用K-means聚类算法来自动识别图像的高亮区、中间区、低暗区，并根据人眼感知原理对K-means聚类的分区结果进行了改进，增加了中间区的亮度范围。对图像高亮区、中间区、低暗区的自动识别相对固定百分比的识别增加了不同场景的适用性，对K-means聚类的分区结果进行改进提升了算法的精度。

上述技术方案中，在步骤A中所述面积比率包括高亮区面积比率、中间区面积比率和低暗区面积比率；在步骤A中所述信息熵包括高亮区信息熵、中间区信息熵和低暗区信息熵，信息熵是衡量信息量的有效方法，所以对暗区、中间区、亮区和灰度图像分别求信息熵。考虑到人眼观察图像时先整体后局部的特点，同时提取全局信息熵E_G为特征，由于TMI图像容易出现过曝光或欠曝光的区域，这些区域的大小会影响图像的质量，因此提取了三个区域的面积比例作为特征。

上述技术方案中，在步骤B中所述非负矩阵的分解是把一个数据矩阵M分解为两个非负矩阵W和的乘积，W为特征矩阵，S为编码矩阵，数据矩阵M可以看作特征矩阵W中每一列和S中对应系数的线性组合，由于S的非负性，M是有W中的每一列按照S决定的权重系数累加而成，由于W中的每一列就是一个图像块，因此非负矩阵分解与部分组成整体的直观认知相符。基于这种新的感兴趣区域检测方法的特征适合色调映射图像质量评价，由于矩阵非负分解速度快，因此这种新的感兴趣区域检测方法有很好的运算速度。

上述技术方案中，所述特征矩阵W通过训练库训练得到，所述训练库N与所述数据矩阵M相同，从TMID数据库中随机选取了不同场景和纹理的十幅色调映射图像，先把每一幅TMI转换成灰度图像，然后把灰度图像分成

的图像块，把每个图像块转换成m维的列向量N_i，组合所有训练图像块的列向量生成所述训练库N，所述训练库N为m×n大小。

上述技术方案中，在步骤B中所述混合区域是指具有高亮区、中间区、低暗区这三个区域两个或两个以上的区域，混合区域中像素间的亮度值差异比较大，具有显著性区域的特点。例如一个图像块的有三分之一的亮区像素和三分之二的中间区像素。把亮区、暗区、中间区、混合区图像块分别进行非负矩阵分解，图像暗区、中间区、亮区的编码矩阵的系数值比较小，混合区系数有较大值。因此可以通过分析编码矩阵的最大值来判断显著性区域，信息熵能有效衡量图像的信息量，对所述S的所有像素求信息熵获得显著性区域的信息量，显著性区域面积越大，对图像质量的影响越大。

上述技术方案中，在步骤C中所述亮度统计特征提取使用了十四个不同类别场景的自然图像，首先把每一幅图像转化成灰度图像，把灰度图像分割成11×11的图像块，分别求出每个图像块的均值与标准差，最后统计一幅图像中所有图像块的均值与标准差的均值，获得一幅图像的均值和标准差，图像的均值、标准差分别与高斯概率密度函数和Beta概率密度函数能够很好地拟合。

上述技术方案中，在步骤C中所述颜色通道统计特征通过RGB颜色空间来提取。所述自然度特征结合了亮度统计特征和颜色通道统计特征，相对单种自然度大幅提高了算法的SROCC性能。

上述技术方案中，在步骤D中所述机器学习的方法包括SVM。由于支持向量机（Support Vector Machine, SVM）在图像处理领域得到广泛的应用，因此把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个预测模型f(·)，把测试图像的特征向量输入预测模型获得图像的客观质量预测值。

上述技术方案中，在步骤D中所述回归是指通过一个回归模型建立一个函数，这个函数能够映射特征向量到主观图像质量评价分，所述回归模型是指把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个预测模型。

与现有技术相比，本发明的有益效果是：由于普通（低动态）图像的质量评价方法不适用于色调映射图像质量评价，因此本发明要针对色调映射图像的特点设计了质量评价算法，解决的技术问题是设计特征表达色调映射图像的细节丢失程度、图像自然度、图像感兴趣区域检测；面向色调映射图像的全参考图像质量评价方法要求评价图像时存在参考图像，本发明是一种无参考色调映射图像质量评价方法，评价测试图像时，不需要参考图像的存在；本发明采用K-means聚类算法来自动识别图像根据人眼感知原理对K-means聚类的分区结果进行了改进对K-means聚类的分区结果进行改进提升了算法的精度；并提出了一种新的感兴趣区域检测方法，基于这种新的感兴趣区域检测方法的特征适合色调映射图像质量评价，由于矩阵非负分解速度快，因此这种新的感兴趣区域检测方法有很好的运算速度；自然度特征结合了亮度自然度和颜色自然度，相对单种自然度大幅提高了算法的SROCC性能，本发明的关键性能指标SROCC在0.8313，超过了国际上现有代表性的算法。

附图说明

图1 为基于聚类感知的无参考色调映射图像质量评价算法的流程框架图。

具体实施方式

下面结合附图，对本发明的具体实施方式作详细说明。

如图1所示，基于聚类感知的无参考色调映射图像质量评价算法，实现基于聚类感知的无参考色调映射图像质量评价算法，包含以下几个步骤：

步骤B：在显著性区域上提取显著性区域特征， TMI的非负矩阵分解得到测试图像对应的系数，对系数进行分析识别出TMI的混合区域，在所述混合区域提取块比例和信息熵两个特征；

步骤D：提取了聚类感知、显著性区域和自然度特征三类特征后，使用机器学习的方法对所有特征进行回归，得到图像质量评价分。

本发明提取了聚类感知特征、显著性区域特征、自然度特征。聚类感知特征在亮度域上提取，先把TMI转换成灰度图，根据亮度信息进行聚类，把图像分成亮区、暗区、中间区三个区域，在每个区域分别提取面积比率和信息熵两个特征。生理学和心理学的一些证据表明人眼观察一幅图像时先看图像的整体，人脑会抑制图像中高频出现的特征，视觉注意力容易关注偏差比较大的区域，即显著性区域。假设图像中一个M×M区域具有亮区、暗区、中间区这三个区域中两个或两个以上区域的像素，这样的区域称为混合区域。混合区域中像素间的亮度值差异比较大，具有显著性区域的特点。本文通过对TMI的非负矩阵分解得到测试图像对应的系数，对系数进行分析识别出TMI的混合区域，在混合区域提出块比例、信息熵特征。由于TMO处理过程缩小了HDR图像的动态范围，影响了TMI的自然度，因此提取了亮度通道和颜色通道的自然统计特征。最后使用机器学习方法对所有特征进行回归，提出了无参考TMI质量评价方法。

在步骤A中所述K-means聚类算法在聚类时只考虑像素点到聚类中心的距离来确定像素点的类别，不考虑人眼对亮度感知的非线性特性。K-means聚类时只考虑像素点到聚类中心的距离来确定像素点的类别，没有考虑人眼对亮度感知的非线性特性。设聚类中心亮度值为S₁，感知亮度为P₁，某个像素点像素亮度值为S₂，感知亮度为P₂。根据费希纳定理：

（1）

则亮度感知差P₂－P₁和S₂与S₁的关系为：

（2）

在K-means算法中和S₂的物理亮度距离为:

对于相近的人眼感知差P₂－P₁，物理亮度距离与聚类中心的亮度值成正比，即人眼对暗区聚类时与聚类中心的距离要短一些，对中间区域聚类时与聚类中心的距离要长一些。因此，采用如下算法对色调映射图像的三个区域进行调整。

设计L为图像像素亮度值，C₁，C₂，C₃分别为暗区、中间区，亮区的聚类中心，则三个区域的分类如下：

（4）

在视觉注意处理中，人类视觉系统对视觉细胞产生的刺激进行融合，通过不同的信息特征进行聚类，形成人类视觉系统的注意力分配图，因此聚类是人类视觉系统的固有功能。设m×n的灰度图像I，I(x,y)表示图像I中(x,y)像素点的亮度值，设暗区、中间区、亮区的像素亮度值集合分别为R_L，R_M，R_H，则

（5）

其中C₃，C₁为亮区和暗区的聚类中心。

在步骤A中所述面积比率包括高亮区面积比率、中间区面积比率和低暗区面积比率；在步骤A中所述信息熵包括高亮区信息熵、中间区信息熵和低暗区信息熵。信息熵是衡量信息量的有效方法，设P为概率密度，对R_L，R_M，R_H，I分别求信息熵为：

（6）

E_L，E_M，E_H分别表示暗区、中间区、亮区的信息熵。考虑到人眼观察图像时先整体后局部的特点，同时提取全局信息熵E_G为特征。

由于TMI图像容易出现过曝光或欠曝光的区域，这些区域的大小会影响图像的质量，因此提取了三个区域的面积比例作为特征。设N(·)函数表示计算图像或者图像块的像素个数，则每个区域的面积比例可以表示为：

（7）

Ratio_L，Ratio_H，Ratio_M分别表示暗区、亮区、中间区的面积比率。聚类感知特征向量F_cluster为：

F_cluster={E_L,E_M,E_H,E_G, Ratio_L，Ratio_H，Ratio_M}

当人眼看一幅图像时注意力会被吸引到图像中的一部分区域，这部分区域被称为显著性区域，是大部分人认为图像中重要的或者显著的部分。显著性区域的图像质量显然影响人眼对图像整体质量的评价。Goferman等人认为人眼观察一幅图像时先看图像的整体，人脑会抑制图像中高频出现的特征，视觉注意力容易关注偏差比较大的区域，即显著性区域。本文对TMI灰度图像的非负矩阵分解获得对应图像的系数，通过对系数的直方图的分析，提出了一种混合区域的识别方法，然后对混合区域提取信息熵，块比率等特征。许多研究表明稀疏表示符合人脑对图像信号的认知，非负矩阵分解（NMF）与稀疏表示的字典学习类似。在步骤B中所述非负矩阵的分解是把一个数据矩阵M分解为两个非负矩阵W和S的乘积，W为特征矩阵，S为编码矩阵。

所述特征矩阵W通过训练库训练得到，所述训练库N与所述数据矩阵M相同,从TMID数据库中随机选取了不同场景和纹理的十幅色调映射图像，先把每一幅TMI转换成灰度图像，然后把灰度图像分成

的图像块，把每个图像块转换成m维的列向量N_i，组合所有训练图像块的列向量生成所述训练库N，所述训练库N为m×n大小。本发明中m=4900, n>20000。对于训练样本库N，NMF的目标是寻找特征矩阵W=[W₁,W₂,…,W_r] ∈R^m×r和S=[S₁，S₂，…，S_n]∈R^r×n来近似训练样本矩阵M，即

M=WS（8）

其中r是大于零的整数，表示特征矩阵中列向量的个数。W和S的寻找过程可以转化为如下优化问题：

（9）

本发明用Lin[14]的方法计算出了W和S。对于一个测试图像块转化而成的列向量T_i∈R^m×1，则得到T_i非负矩阵分解后的编码矩阵F_i∈R^r×1为：

（10）

其中(W^TW)^-1W^T 是W的伪逆矩阵。对于测试图像T=[T₁，T₂，…,T_n]获得编码矩阵F=[F₁，F₂，…,F_n]，n为一幅测试图像包含的图像块的个数。

在步骤B中所述混合区域是指具有高亮区、中间区、低暗区这三个区域两个或两个以上的区域，混合区域中像素间的亮度值差异比较大，具有显著性区域的特点。例如一个图像块的有三分之一的亮区像素和三分之二的中间区像素。把亮区、暗区、中间区、混合区图像块分别进行非负矩阵分解，图像暗区、中间区、亮区的编码矩阵的系数值比较小，混合区系数有较大值。因此可以通过分析编码矩阵的最大值来判断显著性区域，设阈值TH，定义显著性区域S如下：

，其中i=1,2…,n （11）

信息熵能有效衡量图像的信息量，根据式（6）对S的所有像素求信息熵获得显著性区域的信息量E_S。显著性区域面积越大，对图像质量的影响越大，因此提取显著性区域的面积比例Ratio_S：

（12）

其中N(·)函数表示计算图像或者图像块的像素个数，I表示图像。显著性特征F_S为：

F_S={E_S,Ratio_s}

HDR图像经过色调映射后可能会出现曝光过度或者曝光不足的现象，造成TMI看起来不自然。然而，高质量的TMI不应当破坏其自然特性。TMI的自然度失真主要体现在图像过亮、过暗、不自然的颜色，因此考虑基于亮度和颜色提取自然度特征。在步骤C中所述亮度统计特征提取使用了十四个不同类别场景的自然图像，首先把每一幅图像转化成灰度图像，把灰度图像分割成的图像块，分别求出每个图像块的均值与标准差，最后统计一幅图像中所有图像块的均值与标准差的均值，获得一幅图像的均值和标准差，图像的均值、标准差分别与高斯概率密度函数和Beta概率密度函数能够很好地拟合。两个概率密度函数计算如(13)、(14)。

(13)

(14)

其中，B(·)是Beta函数，模型的参数设置为μ_m=115.94，α_m=27.99，α_d=4.4，β_d=10.1，亮度和对比度的联合概率如下：

(15)

其中，𝐾是随着P_m和P_d改变的标准化因子，K=max{P_m，P_d}使得统计自然度N标准化。

在步骤C中所述颜色通道统计特征通过RGB颜色空间来提取，局部标准化颜色系数（local normalized color coefficients, LNCC）服从高斯分布，LNCC可以表示为：

（16）

其中是给定图像的C颜色通道某个像素的值，(i,j)是图像的空域坐标。

（17）

（18）

采用广义高斯函数（generalized Gaussian distribution, GGD）来拟合LNCC参数。GGD概率密度函数如下：

（19）

其中，

是伽马函数，β为:

(20)

α是形状参数，σ²是尺度参数，准对每一个颜色通道C，用GGD进行拟合获得高斯分布参数（α_C，σ²）。因此选择RGB颜色空间来提取颜色自然度特征F_C：

F_C={α_C，σ²|C∈{R,G,B}}

在步骤D中所述机器学习的方法包括SVM，提取了聚类感知、显著性区域、自然度三类特征共十六个，设V是TMI的特征向量，可以表示为：

V={F_C,F_S,N,F_C}（21）

在步骤D中所述回归是指通过一个回归模型建立一个函数，这个函数能够映射特征向量到主观图像质量评价分，所述回归模型是指把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个预测模型。由于支持向量机（Support Vector Machine, SVM）在图像处理领域得到广泛的应用，因此把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个预测模型f(·)，把测试图像的特征向量输入预测模型获得图像的客观质量预测值Q。

Q=f(V) （22）

在本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims

1.基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，实现基于聚类感知的无参考色调映射图像质量评价算法，包含以下几个步骤：

步骤B：在显著性区域上提取显著性区域特征，TMI的非负矩阵分解得到测试图像对应的系数，对系数进行分析识别出TMI的混合区域，在所述混合区域提取块比例和信息熵两个特征；

2.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤A中所述K-means聚类算法在聚类时只考虑像素点到聚类中心的距离来确定像素点的类别。

3.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤A中所述面积比率包括高亮区面积比率、中间区面积比率和低暗区面积比率；在步骤A中所述信息熵包括高亮区信息熵、中间区信息熵和低暗区信息熵。

4.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤B中所述非负矩阵的分解是把一个数据矩阵 M分解为两个非负矩阵W和S的乘积，W为特征矩阵，S为编码矩阵。

5.根据权利要求4中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，所述特征矩阵W通过训练库训练得到，所述训练库N与所述数据矩阵M相同，从TMID数据库中随机选取了不同场景和纹理的十幅色调映射图像，先把每一幅TMI转换成灰度图像，然后把灰度图像分成的图像块，把每个图像块转换成m维的列向量N_i，组合所有训练图像块的列向量生成所述训练库N，所述训练库N为m×n大小。

6.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤B中所述混合区域是指具有高亮区、中间区、低暗区这三个区域两个或两个以上的区域，混合区域中像素间的亮度值差异比较大，具有显著性区域的特点。

7.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤C中所述亮度统计特征提取使用了十四个不同类别场景的自然图像，首先把每一幅图像转化成灰度图像，把灰度图像分割成11×11的图像块，分别求出每个图像块的均值与标准差，最后统计一幅图像中所有图像块的均值与标准差的均值，获得一幅图像的均值和标准差。

8.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤C中所述颜色通道统计特征通过RGB颜色空间来提取。

9.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤D中所述机器学习的方法包括SVM。

10.根据权利要求1中所述的基于聚类感知的无参考色调映射图像质量评价算法，其特征在于，在步骤D中所述回归是指通过一个回归模型建立一个函数，这个函数能够映射特征向量到主观图像质量评价分，所述回归模型是指把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个预测模型。