CN110827237B - 基于拮抗颜色空间半参考色调映射图像质量评价方法 - Google Patents

Abstract

基于拮抗颜色空间半参考色调映射图像质量评价方法，获取结构保真度特征F₁、梯度域自然度特征F₂、拮抗空间颜色自然度特征F₃，支持向量机训练出函数模型，得到图像质量评价分。与现有技术相比，本发明的有益效果是：由于本发明在拮抗颜色空间提取了HDR图像和TM图像的结构保真度特征，有效地表达了HDR在色调映射过程中的结构失真；本发明还将TM图像从RGB颜色空间转换成拮抗颜色空间，分别利用GGD作特征提取，考虑到了颜色信息，提高算法的性能；同时，本发明的关键性能指标PLCC和SROCC超过了国际上现有代表性的算法。

Description

基于拮抗颜色空间半参考色调映射图像质量评价方法

技术领域

本发明涉及一种色调映射图像质量评价方法，尤其涉及基于拮抗颜色空间半参考色调映射图像质量评价方法。

背景技术

在近几年，HDR图像已经收到了欢迎，因为它能表达10000：1的亮度数量级，能够提供更好的对比度、细节保护和表达。然后为了显示HDR图像在传统显示器上，需要对HDR图像做色调映射，不同的TM算子会产生不同的结果，如何评价色调映射后的图像成为一个自然的问题。由于色调映射过程压缩了动态范围，一些图像属性会被改变，一些不同的失真和伪影会被产生。不同的图像属性表达了TM图像的视觉质量，这些包括亮度、对比度、颜色、细节、伪影。随着多媒体应用的快速发展，如视频压缩优化、图像/视频增强和重定目标优化等对客观图像质量评估的需求显著增加。在过去的几十年中，已经为LDR图像开发了几种 IQA方法，但为HDR和色调映射图像设计的方法还不多。在TM质量评价，最早的方法是TMQI，使用了SSIM启发的结构保真度测量和自然度统计，这两个特征都使用了亮度，并没有使用颜色信息。Wang等人将改进的MS-SSIM算法与自然场景统计特性相结合，提出了TMQI算法，该方法提取了动态范围差异较小的特征，考虑了TM图像的自然度，因此效果相比传统方法有所提升，但是它没有考虑TM图像的颜色失真。Hossein等人将HDR图像的RGB三个通道的动态范围分别进行压缩，再使用改进的FSIM模型对每个通道的图像进行评价，提出了FSITM 算法，其优点在于对HDR图像的预处理缩小了动态范围的差异，也考虑了颜色信息，其缺点在于压缩导致的失真以及未考虑的图像自然度。针对这些方法的不足， Song等人从亮度、感知颜色、图像对比度、细节信息四个方面对TM图像进行评价，提出了NITI算法，该方法从图像自然度的角度建立较全面的质量评价算法，取得了较好的效果。其他方法还有TMQI-NSS-σ，TMQI-NSS-Entropy,TMQI-NSS- σ合并了MSCN方法，TMQI-NSS-Entropy使用了信息熵来池化，最近又有了TMQI。现有半参考TM图像质量评价方法很少考虑颜色信息，即使部分算法考虑了颜色信息，也不是在拮抗颜色空间中提取特征。在TM中颜色信息依赖亮度信息，因为色调映射过程中亮度范围被减少。因此颜色信息的适当使用可以提高质量评价的效果。有些TM算子使用颜色信息来产生TM图像获得好的效果，因此质量评价时使用颜色信息是有帮助的。现有最具代表性的算法TMQI的PLCC指标是 0.7715，SROCC指标是0.7407，相对本发明性能较低。现有算法的自然度统计主要在亮度域上做，没有考虑颜色自然度。

发明内容

本发明所要解决的技术问题是提供了基于拮抗颜色空间半参考色调映射图像质量评价方法，本发明所述方法设计了一组特征，分别称为结构保真度特征、梯度域自然度特征、拮抗空间颜色自然度特征，三类特征值获得后，用支持向量机进行聚合获得质量分。

基于拮抗颜色空间半参考色调映射图像质量评价方法，包括以下步骤：

步骤A：对HDR图像和TM图像在RGB空间分别做二维一阶高斯导数处理，然后处理后的图像转换到拮抗颜色空间，在拮抗颜色空间计算拮抗角，最后以拮抗角为元素计算HDR和TM图像的结构保真度，作为结构保真度特征F₁；

步骤B：把TM图像转换成灰度图像，然后用Sobel算子计算TM图像的梯度， M(i,j)为图像I在(i,j)位置的像素的梯度幅值

其中H_x、H_y分别表示水平和垂直方向Sobel算子分量。

然后，对M(i,j)计算局部标准化系数LNCC，

采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α、σ²，从而得到梯度域自然度特征F₂；

步骤C:根据式

把TM图像从RGB颜色空间换成拮抗颜色空间，其中R，G，B为图像的红色、绿色、蓝色的值，OP₁和OP₂表示色调分量， OP₃表示亮度分量，得到OP_e，其中e＝{1,2,3}，op_e(i,j)表示在位置(i,j)的某个拮抗颜色空间分量值，计算关于op_e(i,j)的局部标准化系数LNCC，采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α、σ²，从而得到拮抗空间颜色自然度特征F₃；

步骤D：提取了结构保真度特征、梯度域自然度特征、拮抗空间颜色自然度特征，组成特征集合向量

V＝{F₁,F₂,F₃}

将三个特征和对应的MOS值输入支持向量机训练出函数模型，支持向量机使用已经训练得到的模型对新图像进行预测得到图像质量评价分。

与现有技术相比，本发明的有益效果是：由于本发明在拮抗颜色空间提取了 HDR图像和TM图像的结构保真度特征，有效地表达了HDR在色调映射过程中的结构失真；本发明还将TM图像从RGB颜色空间转换成拮抗颜色空间，分别利用 GGD作特征提取，考虑到了颜色信息，提高算法的性能；同时，本发明的关键性能指标(PLCC和SROCC)超过了国际上现有代表性的算法。

附图说明

图1为本发明所述评价方法的步骤流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所述，基于拮抗颜色空间半参考色调映射图像质量评价方法，包括以下步骤：

步骤A：对HDR图像和TM图像在RGB空间分别做二维一阶高斯导数处理，然后处理后的图像转换到拮抗颜色空间，在拮抗颜色空间计算拮抗角，最后以拮抗角为元素计算HDR和TM图像的结构保真度，作为结构保真度特征F₁；

结构保真度特征F₁计算具体过程如下：图像从RGB颜色空间转换到拮抗颜色空间的计算如下：

其中R，G，B为图像的红色、绿色、蓝色的值，OP₁和OP₂表示色调分量，OP₃表示亮度分量。对于HDR和TM图像的RGB颜色通道上分别计算图像的一阶高斯导数，公式如下：

通过公式(2)和公式(3)生成7×7的高斯掩模窗口w,把w与图像做卷积，在RGB通道上分别做这样的计算得到R_v，G_v，B_v，其中v∈{x,y}，x,y分别表示水平方向和垂直方向。然后，通过如下公式把R_v，G_v，B_v转换到拮抗空间得到：

接着计算拮抗角图

其中w∈{h,l}，h表示HDR图像，l表示TM图像。保真度S_v如下：

其中函数multiple(·)表示两个矩阵对应元素相乘。根据式(6)可以得到结构保真度特征F₁。

F₁＝{mean(S_x),mean(S_y)} (7)

mean(·)函数表示求均值。

步骤B：把TM图像转换成灰度图像，然后用Sobel算子计算TM图像的梯度， H_x，H_y分别表示水平和垂直方向Sobel算子分量，

H_y＝H_x' (9)

则图像I在(i,j)位置的像 素的梯度幅值

其中*表示卷积；然后对M(i,j)求局部标准化系数LNCC

α是形状参数，σ²是尺度参数，采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α、σ²，GGD概率密度函数如下：

其中，Γ(·)是伽马函数，β为:

从而得到梯度域自然度特征F₂：

F₂＝{α,σ²} (15)。

步骤C:根据式

把RGB颜色空间换成拮抗颜色空间，得到OP_e，其中e＝{1,2,3}，op_e(i,j)表示在位置(i,j)的某个拮抗颜色空间分量值，计算关于op_e(i,j)的局部标准化系数LNCC，采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α、σ²，从而得到拮抗空间颜色自然度特征F₃；

计算关于op_e(i,j)的局部标准化系数LNCC如下：

采用广义高斯函数GGD)来拟合LNCC参数。得到F₃

步骤D：提取了结构保真度特征、梯度域自然度特征、拮抗空间颜色自然度特征，组成特征集合向量

V＝{F₁,F₂,F₃}

将三个特征和对应的MOS值输入支持向量机训练出函数模型，得到图像质量评价分。

由于支持向量机(Support Vector Machine,SVM)在图像处理领域得到广泛的应用，因此把训练图像的特征向量和对应的MOS值输入支持向量机训练出一个函数模型f(·)，把测试图像的特征向量输入函数模型获得图像质量评价分Q。

Q＝f(V) (22)。

TM图像的失真主要表现在结构保真度失真、颜色失真、自然度失真，因此半参考TM图像质量评价算法应当考虑颜色信息，由于RGB颜色通道并非独立的颜色通道，因此本发明在拮抗颜色通道提取特征做HDR图像和TM图像的结构保真度度量。

PLCC指标和SROCC指标用于评价算法的性能，现有最具代表性的算法TMQI 的PLCC指标是0.7715，SROCC指标是0.7407，相对本发明性能较低；而本发明的关键性能指标PLCC达到0.8129，SROCC在0.7648，超过了国际上现有代表性的算法。

在本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.基于拮抗颜色空间半参考色调映射图像质量评价方法，其特征在于，包括以下步骤：

步骤A：对HDR图像和TM图像在RGB空间分别做二维一阶高斯导数处理，然后处理后的图像转换到拮抗颜色空间，在拮抗颜色空间计算拮抗角，最后以拮抗角为元素计算HDR和TM图像的结构保真度，作为结构保真度特征F₁；

结构保真度特征F₁计算具体过程如下：图像从RGB颜色空间转换到拮抗颜色空间的计算如下：

其中R，G，B为图像的红色、绿色、蓝色的值，OP₁和OP₂表示色调分量，OP₃表示亮度分量,对于HDR和TM图像的RGB颜色通道上分别计算图像的一阶高斯导数，公式如下：

通过公式(2)和公式(3)生成7×7的高斯掩模窗口w,把w与图像做卷积，在RGB通道上分别做这样的计算得到R_v，G_v，B_v，其中v∈{x,y}，x,y分别表示水平方向和垂直方向，然后，通过如下公式把R_v，G_v，B_v转换到拮抗空间得到：

接着计算拮抗角图

其中w∈{h,l}，h表示HDR图像，l表示TM图像； 保真度S_v如下：

其中函数multiple(·)表示两个矩阵对应元素相乘，根据式(6)可以得到结构保真度特征F₁；

F₁＝{mean(S_x),mean(S_y)} (7)

其中mean(·)函数表示求均值；

步骤B：把TM图像转换成灰度图像，然后用Sobel算子计算TM图像的梯度，M(i,j)为图像I在(i,j)位置的像素的梯度幅值

其中H_x，H_y分别表示水平和垂直方向Sobel算子分量，其中*表示卷积,

H_y＝H_x' (10)

然后对M(i,j)计算局部标准化系数LNCC，

采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α_M、

从而得到梯度域自然度特征F₂；

步骤C:根据公式(1)把TM图像从RGB颜色空间换成拮抗颜色空间，其中R，G，B为图像的红色、绿色、蓝色的值，OP₁和OP₂表示色调分量，OP₃表示亮度分量，得到OP_e，其中e＝{1,2,3}，op_e(i,j)表示在位置(i,j)的某个拮抗颜色空间分量值，计算关于op_e(i,j)的局部标准化系数LNCC，采用广义高斯函数曲线拟合LNCC参数，获得高斯分布参数α_e、

从而得到拮抗空间颜色自然度特征F₃，

步骤D：提取了结构保真度特征、梯度域自然度特征、拮抗空间颜色自然度特征，组成特征集合向量

V＝{F₁,F₂,F₃} (20)

将三个特征和对应的MOS值输入支持向量机进行训练得到训练模型，支持向量机使用已经训练得到的训练模型对新图像进行预测得到图像质量评价分。

Images