CN105046708A - 一种与主观感知相一致的颜色校正客观评估方法 - Google Patents

Abstract

本发明涉及一种与主观感知相一致的颜色校正客观评估方法，包括以下步骤：步骤S1：读取参考图像和目标图像，使用场景映射算法生成匹配图像作为新的参考图像；步骤S2：使用对比度相似度评估方法对目标图像进行评估获得对比度相似度评估结果CS；步骤S3：使用基于平均值的像素差值评估方法对目标图像进行评估获得差值评估结果DV1；步骤S4：使用融合最大差值的像素差值评估方法对目标图像进行评估获得差值评估结果DV2；步骤S5：使用线性融合模型对评估结果CS、DV1和DV2进行融合获得最终的客观评估得分值V。该方法可有效对图像间颜色一致性进行评估，与用户主观评分之间具有较好的相关性与准确性，可应用于图像拼接和三维图像左右视图颜色一致性评估领域。

Description

一种与主观感知相一致的颜色校正客观评估方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是图像质量评估中一种与主观感知相一致的颜色校正客观评估方法。

背景技术

颜色校正算法使用源图像对存在颜色差异的目标图像进行颜色校正，使目标图像的颜色特征尽可能的与源图像保持一致。确保图像间颜色的一致性在多视角图像/视频拼接和降低三维图像左右视图颜色差异导致的视觉疲劳上有重要的意义。目前已提出多种颜色校正算法，但是对颜色校正结果评估方法的研究却很少。Xu等人提出了基于颜色相似度和结构相似度的评估方法，该方法主要面向图像和视频拼接应用，但是该方法没有考虑用户的主观感知，因此不能保证客观度量结果与用户主观评估一致。

早期的图像质量评估方法设计简单，只是单纯的通过计算两幅图像灰度空间下的像素差进行评估。典型的评估方法有均方误差（MSE）和峰值信噪比（PSNR）。同时，虽然均方根误差（RMSE）和绝对误差（MAE）也属于该类评估方法，但是更多情况下我们将其作为评价评估方法准确性的一种指标参数。这些评估方法设计简单，无法与用户主观评估结果保持较好的一致性。随着对人类视觉系统（HSV）的不断了解，图像质量评估方法开始引入人类视觉系统中的某些特征进行评估，提出了基于HVS的评估方法，使评估结果更加接近于用户主观评估。

基于HVS的图像质量评估方法考虑了人类视觉系统在感知图像质量时固有的一些特征，如对结构差异较为敏感以及对不同图像区域的显著性具有差别等。典型的评估方法有SSIM评估方法，该方法假设人类视觉系统在对图像进行评估时对结构差异更为敏感。分别从亮度、对比度和结构相似度三个方面进行评估。基于SSIM评估方法，许多改进的评估方法被提出。Wang等人将SSIM的单尺度质量评估拓展为多尺度质量评估，提出MS-SSIM算法。Chen等人将SSIM算法应用到梯度图像上，提出了GSSIM算法。除了从结构上对图像进行评估外，Zhang等人通过引入相位相一致信息和梯度信息模拟人类视觉系统的特征，提出了基于特征相似性的图像质量评估方法FSIM。为了与主观评估保持更好的一致性，Zhang等人还从视觉显著性方面对图像进行评估，提出了基于显著性图像的质量评估方法VSI，将显著性图作为评估时不同区域像素重要性的权重值，模拟图像不同区域引起人类视觉系统不同程度的注意力。Preiss等人提出了颜色差异评估方法CID，该方法综合考虑图像间的结构相似度、对比度以及像素差值等评估分量，从多个角度对图像进行评估，在图像颜色一致性评估上取得了较好的评估效果。

目前存在的全参考图像质量评估方法由于不是针对颜色校正评估问题进行设计的，因此无法直接用来对颜色校正结果进行评估。同时，全参考图像质量评估方法要求提供一幅参考图像作为评估标准，只能对与参考图像场景完全一致的另一幅目标图像进行质量评估，因此这类方法无法直接对场景相似的图像进行评估。然而在实际应用中往往无法提供场景完全一致的参考图像和目标图像，但是通常存在场景相似的参考图像和目标图像。另外，一些质量评估方法在设计时没有考虑人类视觉系统在图像质量评估中的作用，导致评估结果与用户的主观感知相差较大。

发明内容

有鉴于此，本发明的目的是提供一种与主观感知相一致的颜色校正客观评估方法,该方法在对图像质量进行评估时引入人类视觉特征，同时通过场景映射算法解决图像间场景相似的评估问题。最后通过对比度相似度和像素差值两个方面对图像间颜色差异进行评估，使评估结果与用户主观评分之间具有较好的相关性和准确性。

本发明采用以下方案实现：一种与主观感知相一致的颜色校正客观评估方法，包括以下步骤：

步骤S1：读取参考图像和目标图像，采用场景映射算法生成匹配图像作为新的参考图像；

步骤S2：采用对比度相似度评估方法对所述目标图像进行评估，获得对比度相似度评估结果CS；

步骤S3：采用基于平均值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV1；

步骤S4：采用融合最大差值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV2；

步骤S5：采用线性融合模型对评估结果CS、DV1和DV2进行融合，获得最终的客观评估得分值V。

进一步地，所述步骤S2采用对比度相似度评估方法对所述目标图像进行评估，具体包括以下步骤：

步骤S21：采用对比度相似度计算公式对所述目标图像进行对比度相似度评估，计算公式为：

，

其中c1为可调节权重参数，用以解决接近于0时的稳定性问题；x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集；和分别代表高斯窗口内像素集x，y的高斯加权标准差，定义为：

，

其中为两幅图像中高斯窗口内像素i的高斯数值，并作为高斯窗口内像素集x的平均值和标准差计算的权重，代表高斯窗口内像素集x的高斯加权平均值；

步骤S22：采用对比度相似度评估公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅对比度相似度评估分量图，记为；

步骤S23：求出每幅评估分量图对应的加权平均评估分量值（n=1,2,3,4），计算公式为：

，

其中p，q代表目标图像的行数和列数，i，j代表当前行和列，（n=1,2,3,4）代表CMYK颜色空间下每个颜色通道的对比度相似度评估分量图，m代表权重图像，定义为：

，

其中和分别代表匹配图像使用SSIM算法求出的置信度图和目标图像使用GBVS算法求出的显著性图；

步骤S24：对4个加权平均评估分量值（n=1,2,3,4）求算术平均值并作为对比度相似度评估得分值CS，CS的取值范围为0-1，且值越大越好。

进一步地，所述步骤S3采用基于平均值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S31：采用基于平均值的差值计算公式对目标图像进行差值评估，计算公式为：

，

其中c2为可调节权重参数，x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集，代表高斯窗口内像素集x的高斯加权平均值；

步骤S32：采用基于平均值的差值计算公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅差值评估分量图，记为；

步骤S33：求出每幅评估分量图对应的加权平均评估分量值（n=5,6,7,8），计算公式为：

；

步骤S34：对4个加权平均评估分量值（n=5,6,7,8）进行求算术平均值并作为差值评估得分值DV1，DV1的取值范围为0-1之间，且值越大越好。

进一步地，所述步骤S4采用融合最大差值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S41：对目标图像进行融合最大差值的像素差值评估，计算公式为：

，

其中X，Y分别代表两幅图像，代表将两幅图像求差后取绝对值得到的绝对差值图像，p、q代表图像的行数和列数，代表绝对差值图像中第i大的像素值，代表绝对差值图像第i小的像素值，k代表需考虑的像素差值的个数，定义为：

；

步骤S42：采用融合最大差值的像素差值评估公式分别对HSV颜色空间下每个颜色通道进行评估得到3幅差值评估分量图，记为；

步骤S43：求出每幅评估分量图对应的加权平均评估分量值(n=9,10,11)，计算公式为：

；

步骤S44：对3个加权平均评估分量值（n=9,10,11）进行求算术平均值并作为差值评估得分值DV2，DV2的取值范围为0-1，且值越大越好。

进一步地，所述步骤S5中采用线性融合模型对评估结果CS、DV1和DV2进行融合，融合后的客观评估得分值V的取值范围为0-1，且值越大越好；其中线性融合模型的定义为：

，

其中分别用以调节对比度相似度评估、基于平均值的像素差值评估和融合最大差值的像素差值评估在客观评估得分值V中所占的权重大小，满足条件：

。

相较于现有图像质量评估方法，本发明的有益效果是：本发明通过场景映射算法自动生成一副匹配图像作为新的参考图像，解决了全参考图像质量评估方法中要求两幅图像场景一致的约束，可对场景相似图像进行评估，具有更好的使用价值。同时，通过引入匹配图像的置信度图和目标图像的显著性图更好的模拟了人类视觉系统的特征，提高了评估结果的准确性。最后，通过从对比度相似性和像素差值两个方面对图像之间的颜色一致性进行评估，使评估结果与用户主观评估得分值保持较好的一致性，具有较高的相关性和准确性。综上，本发明的方法能够有效的对图像颜色一致性进行评估，可应用于多视角图像拼接以及三维图像左右视频颜色一致性评估等领域。

附图说明

图1是本发明的方法流程框图。

图2是本发明的一实施例的整体方法的实现流程图。

图3是本发明的一实施例中步骤S2的实现流程图。

图4是本发明的一实施例中步骤S3的实现流程图。

图5是本发明的一实施例中步骤S4的实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供一种与主观感知相一致的颜色校正客观评估方法，如图1和图2所示，包括以下步骤：

步骤S1：读取参考图像和目标图像，采用场景映射算法生成匹配图像作为新的参考图像；

步骤S2：采用对比度相似度评估方法对所述目标图像进行评估，获得对比度相似度评估结果CS；

步骤S3：采用基于平均值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV1；

步骤S4：采用融合最大差值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV2；

步骤S5：采用线性融合模型对评估结果CS、DV1和DV2进行融合，获得最终的客观评估得分值V。

在本实施例中，所述步骤S1若使用场景映射算法SIFTFlow来建立两个场景之间的映射关系，SIFTFlow算法自动生成一副匹配图像，该匹配图像在颜色上和参考图像保持一致，而在结构上与待评估的目标图像保持一致。

在本实施例中，如图3所示，所述步骤S2采用对比度相似度评估方法对所述目标图像进行评估，具体包括以下步骤：

步骤S21：采用对比度相似度计算公式对所述目标图像进行对比度相似度评估，计算公式为：

，

其中c1为可调节权重参数，用以解决接近于0时的稳定性问题；x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集；和分别代表高斯窗口内像素集x，y的高斯加权标准差，定义为：

，

其中为两幅图像中高斯窗口内像素i的高斯数值，并作为高斯窗口内像素集x的平均值和标准差计算的权重，代表高斯窗口内像素集x的高斯加权平均值；

步骤S22：采用对比度相似度评估公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅对比度相似度评估分量图，记为；

步骤S23：求出每幅评估分量图对应的加权平均评估分量值（n=1,2,3,4），计算公式为：

，

其中p，q代表目标图像的行数和列数，i，j代表当前行和列，（n=1,2,3,4）代表CMYK颜色空间下每个颜色通道的对比度相似度评估分量图，m代表权重图像，定义为：

，

其中和分别代表匹配图像使用SSIM算法求出的置信度图和目标图像使用GBVS算法求出的显著性图；

步骤S24：对4个加权平均评估分量值（n=1,2,3,4）求算术平均值并作为对比度相似度评估得分值CS，CS的取值范围为0-1，且值越大越好。

在本实施例中，如图4所示，所述步骤S3采用基于平均值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S31：采用基于平均值的差值计算公式对目标图像进行差值评估，计算公式为：

，

其中c2为可调节权重参数，x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集，代表高斯窗口内像素集x的高斯加权平均值；

步骤S32：采用基于平均值的差值计算公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅差值评估分量图，记为；

步骤S33：求出每幅评估分量图对应的加权平均评估分量值（n=5,6,7,8），计算公式为：

；

步骤S34：对4个加权平均评估分量值（n=5,6,7,8）进行求算术平均值并作为差值评估得分值DV1，DV1的取值范围为0-1之间，且值越大越好。

在本实施例中，如图5所示，所述步骤S4采用融合最大差值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S41：对目标图像进行融合最大差值的像素差值评估，计算公式为：

，

其中X，Y分别代表两幅图像，代表将两幅图像求差后取绝对值得到的绝对差值图像，p、q代表图像的行数和列数，代表绝对差值图像中第i大的像素值，代表绝对差值图像第i小的像素值，k代表需考虑的像素差值的个数，定义为：

；

步骤S42：采用融合最大差值的像素差值评估公式分别对HSV颜色空间下每个颜色通道进行评估得到3幅差值评估分量图，记为；

步骤S43：求出每幅评估分量图对应的加权平均评估分量值(n=9,10,11)，计算公式为：

；

步骤S44：对3个加权平均评估分量值（n=9,10,11）进行求算术平均值并作为差值评估得分值DV2，DV2的取值范围为0-1，且值越大越好。

在本实施例中，所述步骤S5中采用线性融合模型对评估结果CS、DV1和DV2进行融合，融合后的客观评估得分值V的取值范围为0-1，且值越大越好；其中线性融合模型的定义为：

，

其中分别用以调节对比度相似度评估、基于平均值的像素差值评估和融合最大差值的像素差值评估在客观评估得分值V中所占的权重大小，满足条件：

。

本发明的与主观评估相一致的颜色校正客观评估方法，首先为了解决全参考质量评估方法无法对颜色校正问题中场景相似的两幅图像进行评估的问题，采用场景映射算法对两幅图像（参考图像和目标图像）进行区域配准。配准后的匹配图像是作为评估问题真正的参考图像。同时，使用SSIM算法和GBVS算法分别求出匹配图像的置信度图和目标图像对应的显著性图。通过引入显著性图和置信度图更好地模拟人类视觉系统在评估中的作用，提高评估方法的结果与用户主观感知之间的一致性；第二步，将对参考图像和目标图像的评估转变为对匹配图像和目标图像的评估，主要从对比度相似度和像素差值两个方面进行评估，生成多个评估分量图；接着将置信度图和显著性图作为每一幅评估分量图的权重得到加权平均后的评估分量值，即CS、DV1和DV2；最后一步，使用线性融合模型对加权评估分量值CS、DV1和DV2进行融合，获得最终的客观评估得分值V。所述方法能够有效的对图像间颜色一致性进行评估，评估结果与用户主观评估得分值保持较好的一致性，具有较高的相关性和准确性。可应用于多视角图像/视频拼接以及三维图像左右视图质量评估等领域。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种与主观感知相一致的颜色校正客观评估方法，其特征在于包括以下步骤：

步骤S1：读取参考图像和目标图像，采用场景映射算法生成匹配图像作为新的参考图像；

步骤S2：采用对比度相似度评估方法对所述目标图像进行评估，获得对比度相似度评估结果CS；

步骤S3：采用基于平均值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV1；

步骤S4：采用融合最大差值的像素差值评估方法对所述目标图像进行评估，获得差值评估结果DV2；

步骤S5：采用线性融合模型对评估结果CS、DV1和DV2进行融合，获得最终的客观评估得分值V。

2.根据权利要求1所述的一种与主观感知相一致的颜色校正客观评估方法，其特征在于：所述步骤S2采用对比度相似度评估方法对所述目标图像进行评估，具体包括以下步骤：

步骤S21：采用对比度相似度计算公式对所述目标图像进行对比度相似度评估，计算公式为：

，

其中c1为可调节权重参数，用以解决接近于0时的稳定性问题；x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集；和分别代表高斯窗口内像素集x，y的高斯加权标准差，定义为：

，

其中为两幅图像中高斯窗口内像素i的高斯数值，并作为高斯窗口内像素集x的平均值和标准差计算的权重，代表高斯窗口内像素集x的高斯加权平均值；

步骤S22：采用对比度相似度评估公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅对比度相似度评估分量图，记为；

步骤S23：求出每幅评估分量图对应的加权平均评估分量值（n=1,2,3,4），计算公式为：

，

其中p，q代表目标图像的行数和列数，i，j代表当前行和列，（n=1,2,3,4）代表CMYK颜色空间下每个颜色通道的对比度相似度评估分量图，m代表权重图像，定义为：

，

其中和分别代表匹配图像使用SSIM算法求出的置信度图和目标图像使用GBVS算法求出的显著性图；

步骤S24：对4个加权平均评估分量值（n=1,2,3,4）求算术平均值并作为对比度相似度评估得分值CS，CS的取值范围为0-1。

3.根据权利要求1所述的一种与主观感知相一致的颜色校正客观评估方法，其特征在于：所述步骤S3采用基于平均值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S31：采用基于平均值的差值计算公式对目标图像进行差值评估，计算公式为：

，

其中c2为可调节权重参数，x，y代表两幅图像中像素数为N（N=121）的对称高斯窗口内的像素集，代表高斯窗口内像素集x的高斯加权平均值；

步骤S32：采用基于平均值的差值计算公式分别对CMYK颜色空间下每个颜色通道进行评估得到4幅差值评估分量图，记为；

步骤S33：求出每幅评估分量图对应的加权平均评估分量值（n=5,6,7,8），计算公式为：

；

步骤S34：对4个加权平均评估分量值（n=5,6,7,8）进行求算术平均值并作为差值评估得分值DV1，DV1的取值范围为0-1之间。

4.根据权利要求1所述的一种与主观感知相一致的颜色校正客观评估方法，其特征在于：所述步骤S4采用融合最大差值的像素差值评估方法对目标图像进行评估，具体包括以下步骤：

步骤S41：对目标图像进行融合最大差值的像素差值评估，计算公式为：

，

其中X，Y分别代表两幅图像，代表将两幅图像求差后取绝对值得到的绝对差值图像，p、q代表图像的行数和列数，代表绝对差值图像中第i大的像素值，代表绝对差值图像第i小的像素值，k代表需考虑的像素差值的个数，定义为：

；

步骤S42：采用融合最大差值的像素差值评估公式分别对HSV颜色空间下每个颜色通道进行评估得到3幅差值评估分量图，记为；

步骤S43：求出每幅评估分量图对应的加权平均评估分量值(n=9,10,11)，计算公式为：

；

步骤S44：对3个加权平均评估分量值（n=9,10,11）进行求算术平均值并作为差值评估得分值DV2，DV2的取值范围为0-1。

5.根据权利要求1所述的一种与主观感知相一致的颜色校正客观评估方法，其特征在于，所述步骤S5中采用线性融合模型对评估结果CS、DV1和DV2进行融合，融合后的客观评估得分值V的取值范围为0-1；其中线性融合模型的定义为：

，

其中分别用以调节对比度相似度评估、基于平均值的像素差值评估和融合最大差值的像素差值评估在客观评估得分值V中所占的权重大小，满足条件：

。