CN105678775A - 一种基于机器学习的颜色校正评估方法 - Google Patents

Abstract

本发明涉及一种基于机器学习的颜色校正评估方法，包括以下步骤：S1：输入参考图像和目标图像，目标图像即为失真图像，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，获得特征集F1；S2：采用图像重定向评估方法对目标图像进行特征提取，获得特征集F2；S3：综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型；S4：采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值。该方法可有效的对图像间颜色一致性进行评估，与用户主观感知之间具有较高的相关性与准确性。

Description

一种基于机器学习的颜色校正评估方法

技术领域

本发明涉及图像处理及计算机视觉技术领域，特别是一种与主观感知相一致的基于机器学习的颜色校正评估方法。

背景技术

保证图像间颜色的一致性在图像/视频拼接和三维立体图像/视频左右视图颜色校正等领域中具有重要的意义。在图像/视频拼接过程中，图像的颜色差异会导致生成的全景图存在明显的拼接痕迹；三维左右视图的颜色差异不但会降低三维立体图像/视频后期处理的性能，还会影响用户体验，导致三维视觉疲劳。为了解决图像间颜色差异的问题，颜色校正算法被提出。颜色校正算法用于校正两幅或多幅图像间的颜色差异，使之在颜色特征上尽量保持一致。目前已经被广泛应用于图像/视频拼接、颜色转换和三维图像/视频左右视图颜色校正等领域。

虽然颜色校正算法被不断提出，但是针对颜色校正结果的图像质量评估方法却很少。Xu等人提出了基于颜色相似性和结构相似性的颜色校正评估方法，但是该方法未考虑到用户主观评估，无法保证评估结果与主观评估的一致性。Preiss等人提出从结构相似度、对比度和像素差值等角度进行评估的颜色校正评估方法，但是该方法未考虑到图像间场景不一致的问题，评估结果与主观评估的一致性较差。

当前对图像质量评估方法研究较为有效的为全参考图像质量评估方法，目前已经提出许多与主观感知一致性较好的全参考图像质量评估方法。然而全参考图像质量评估方法要求待评估图像间的场景一致，而在实际应用中，图像间往往是场景相似但不一致的。为了将高性能的全参考图像质量评估方法应用到颜色校正评估中，本发明提出了基于图像配准的全参考图像质量评估方法，使用图像配准算法进行场景映射，同时通过显著度图和置信度图来进一步提高图像配准的准确性和评估结果的一致性。

随着显示设备的多样化，人们对图像缩放质量的要求不断提高，许多图像重定向方法被提出。由于重定向前后的图像在场景上相似但不相同，因此针对图像重定向结果的评估方法能够高效地对场景不一致的图像进行评估，无需在评估前进行图像配准等处理。

目前针对颜色校正结果图像的质量评估方法大部分是通过对全参考图像质量评估方法的简单修改或整合来进行颜色校正评估。然而颜色校正结果的质量与多种因素有关，简单的使用少数几个因素进行评估的效果并不理想。为了有效的对颜色校正结果进行评估，避免单一评估方法和基于对少数评估方法简单整合的方法的局限性，同时最大限度的利用已提出的有效的评估方法，本发明提出了基于机器学习的颜色校正评估方法，挖掘并综合各评估因素对校正结果质量的影响。机器学习的特征来自于本发明提出的基于图像配准的全参考图像质量评估方法和被广泛使用的图像重定向评估方法。这两类特征分别保证了特征提取的高性能和高效率，从而保证本发明提出的基于机器学习的颜色校正评估方法的高效性。提出的机器学习评估方法可应用于图像/视频拼接和三维立体图像/视频左右视图颜色校正领域。

发明内容

有鉴于此，本发明的目的是提供一种与主观感知相一致的基于机器学习的颜色校正评估方法，该方法能够使评估结果与用户主观感知之间具有较好的相关性和准确性。

本发明采用以下方案实现：一种基于机器学习的颜色校正评估方法，包括以下步骤：

步骤S1：输入参考图像和目标图像，目标图像即为失真图像，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，获得特征集F1；

步骤S2：采用图像重定向评估方法对目标图像进行特征提取，获得特征集F2；

步骤S3：综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型；

步骤S4：采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值。

进一步地，在步骤S1中，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，具体包括以下步骤：

步骤S11：采用图像配准算法SIFTFlow对参考图像和目标图像进行图像配准，生成匹配图像作为新的参考图像；

步骤S12：采用结构相似度评估方法SSIM对目标图像和匹配图像进行相似度评估，生成置信度图C；

步骤S13：采用图像显著度求解方法GBVS对目标图像进行显著度求解，生成显著度图S；

步骤S14：分别采用MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI这9种全参考图像质量评估方法对目标图像进行质量评估，生成质量图Q_k，k=1,2,…,9，分别对应MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI算法；

步骤S15：将置信度图C和显著度图S作为权重值，对质量图Q_k进行加权求和，得到最终的特征值f1_k，计算公式为：

其中，p、q为目标图像的行数和列数，i、j为图像的当前行和当前列，C(i,j)为置信度图中第i行、第j列的像素值，S(i,j)为显著度图中第i行、第j列的像素值，Q_k(i,j)为第k种全参考图像质量评估方法求出的目标图像的质量图中第i行、第j列的像素值；

步骤S16：采用得到的特征值f1_k组成特征集F1={f1₁,f1₂,…,f1₉}。

进一步地，在步骤S2中，分别采用CLD、EHD、HTD、SCD、GD和EMD这6种图像重定向评估方法对目标图像进行图像重定向评估，得到图像重定向评估结果f2_k，直接将图像重定向评估结果作为特征值，然后采用得到的特征值f2_k组成特征集F2={f2₁,f2₂,…,f2₆}。

进一步地，在步骤S3中，综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型，具体包括以下步骤：

步骤S31：组成特征集F={F1,F2}，并将特征集F随机三等分为T₁、T₂和T₃；

步骤S32：计算用于求解特征集T₁、T₂和T₃所对应的图像集的主观平均得分值MOS的集合，分别记为MOS₁、MOS₂和MOS₃；

步骤S33：将T₁、T₂和MOS₁、MOS₂作为机器学习的训练数据集，学习得到图像质量评估模型M₁；

步骤S34：重复步骤S33，分别求出T₁、T₃和MOS₁、MOS₃作为训练数据集的图像质量评估模型M₂与T₂、T₃和MOS₂、MOS₃作为训练数据集的图像质量评估模型M₃。

进一步地，在步骤S4中，采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值，具体包括以下步骤：

步骤S41：采用模型M₁对特征集T₃进行计算，得到特征集T₃对应的全参考图像质量评估得分值集合AS₁；

步骤S42：采用模型M₂对特征集T₂进行计算，得到特征集T₂对应的全参考图像质量评估得分值集合AS₂；

步骤S43：采用模型M₃对特征集T₁进行计算，得到特征集T₁对应的全参考图像质量评估得分值集合AS₃；

步骤S44：综合评估得分值集合AS={AS₁,AS₂,AS₃}，得到最终的目标图像的质量评估得分值集合AS。

相较于现有技术，本发明的有益效果是：本发明通过图像配准算法进行场景映射，解决了全参考图像质量评估方法无法应用于场景相似图像间的评估问题，具有较好的使用价值。同时，在图像配准过程中，引入置信度图和显著度图来更好的模拟人类视觉系统对图像质量感知的特征，提高了图像配准的准确性和特征提取的质量。此外，本发明提出的基于机器学习的颜色校正评估方法能够有效地对颜色校正结果进行评估，使评估结果与主观感知结果保持较高的一致性。该方法通过基于图像配准的全参考图像质量评估方法和图像重定向评估方法所提取出的特征集进行机器学习，学习得到的评估模型能够综合各单一评估方法的优点，使评估结果明显优于各单一评估方法。综上，本发明的方法能够有效的对图像颜色一致性进行评估，可应用于多视角图像/视频拼接以及三维图像左右视频颜色一致性评估等领域。

附图说明

图1是本发明方法的实现流程图。

图2是本发明一实施例的整体方法的实现流程图。

图3是本发明实施例中步骤S1的实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供一种基于机器学习的颜色校正评估方法，如图1、2所示，包括以下步骤：

步骤S1：输入参考图像和目标图像，目标图像即为失真图像，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，获得特征集F1。

在本实施例中，如图3所示，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，具体包括以下步骤：

步骤S11：采用图像配准算法SIFTFlow对参考图像和目标图像进行图像配准，生成匹配图像作为新的参考图像；

步骤S12：采用结构相似度评估方法SSIM对目标图像和匹配图像进行相似度评估，生成置信度图C；

步骤S13：采用图像显著度求解方法GBVS对目标图像进行显著度求解，生成显著度图S；

步骤S14：分别采用MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI这9种全参考图像质量评估方法对目标图像进行质量评估，生成质量图Q_k，k=1,2,…,9，分别对应MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI算法；

步骤S15：将置信度图C和显著度图S作为权重值，对质量图Q_k进行加权求和，得到最终的特征值f1_k，计算公式为：

其中，p、q为目标图像的行数和列数，i、j为图像的当前行和当前列，C(i,j)为置信度图中第i行、第j列的像素值，S(i,j)为显著度图中第i行、第j列的像素值，Q_k(i,j)为第k种全参考图像质量评估方法求出的目标图像的质量图中第i行、第j列的像素值；

步骤S16：采用得到的特征值f1_k组成特征集F1={f1₁,f1₂,…,f1₉}。

步骤S2：采用图像重定向评估方法对目标图像进行特征提取，获得特征集F2。

具体地，分别采用CLD、EHD、HTD、SCD、GD和EMD这6种图像重定向评估方法对目标图像进行图像重定向评估，得到图像重定向评估结果f2_k，直接将图像重定向评估结果作为特征值，然后采用得到的特征值f2_k组成特征集F2={f2₁,f2₂,…,f2₆}。

步骤S3：综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型。如图2中评估模型学习阶段所示，具体包括以下步骤：

步骤S31：组成特征集F={F1,F2}，并将特征集F随机三等分为T₁、T₂和T₃；

步骤S32：计算用于求解特征集T₁、T₂和T₃所对应的图像集的主观平均得分值MOS的集合，分别记为MOS₁、MOS₂和MOS₃；

步骤S33：将T₁、T₂和MOS₁、MOS₂作为机器学习的训练数据集，学习得到图像质量评估模型M₁；本发明采用RandomForestRegression(RFR)机器学习方法进行评估模型的学习；

步骤S34：重复步骤S33，分别求出T₁、T₃和MOS₁、MOS₃作为训练数据集的图像质量评估模型M₂与T₂、T₃和MOS₂、MOS₃作为训练数据集的图像质量评估模型M₃。

步骤S4：采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值。如图2中评估过程所示，具体包括以下步骤：

步骤S41：采用模型M₁对特征集T₃进行计算，得到特征集T₃对应的全参考图像质量评估得分值集合AS₁；

步骤S42：采用模型M₂对特征集T₂进行计算，得到特征集T₂对应的全参考图像质量评估得分值集合AS₂；

步骤S43：采用模型M₃对特征集T₁进行计算，得到特征集T₁对应的全参考图像质量评估得分值集合AS₃；

步骤S44：综合评估得分值集合AS={AS₁,AS₂,AS₃}，得到最终的目标图像的质量评估得分值集合AS。

本发明基于机器学习的颜色校正评估方法，使用机器学习算法挖掘并综合了与主观感知评估相关的特征，并基于这些特征学习得出与主观感知相一致的评估模型。本发明采用两种有效的特征用于机器学习。第一种特征提取自本发明提出的基于图像配准的全参考图像质量评估方法。全参考图像质量评估方法要求待评估图像间的场景一致，为了消除场景一致的限制，同时将高性能的全参考图像质量评估方法用于特征提取，本发明提出基于图像配准的全参考图像质量评估方法。通过图像配准算法进行图像间场景映射，并引入置信度图和显著度图来模拟人类视觉感知的特征，提高特征提取的质量。第二种特征提取自图像重定向评估方法，该方法可直接对场景不一致的图像进行特征提取，无需进行图像配准处理，保证了特征提取的高效率。基于这两种特征的机器学习评估方法能够综合各单一评估方法的优点，使评估结果明显优于各单一评估方法，提高了评估结果与主观评估之间的一致性。可应用于多视角图像/视频拼接以及三维图像左右视图质量评估等领域。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于机器学习的颜色校正评估方法，其特征在于，包括以下步骤：

步骤S1：输入参考图像和目标图像，目标图像即为失真图像，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，获得特征集F1；

步骤S2：采用图像重定向评估方法对目标图像进行特征提取，获得特征集F2；

步骤S3：综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型；

步骤S4：采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值。

2.根据权利要求1所述的一种基于机器学习的颜色校正评估方法，其特征在于：在步骤S1中，采用基于图像配准的全参考图像质量评估方法对目标图像进行特征提取，具体包括以下步骤：

步骤S11：采用图像配准算法SIFTFlow对参考图像和目标图像进行图像配准，生成匹配图像作为新的参考图像；

步骤S12：采用结构相似度评估方法SSIM对目标图像和匹配图像进行相似度评估，生成置信度图C；

步骤S13：采用图像显著度求解方法GBVS对目标图像进行显著度求解，生成显著度图S；

步骤S14：分别采用MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI这9种全参考图像质量评估方法对目标图像进行质量评估，生成质量图Q_k，k=1,2,…,9，分别对应MSE、PSNR、UQI、SSIM、MAD、FSIM、GSM、CID和VSI算法；

步骤S15：将置信度图C和显著度图S作为权重值，对质量图Q_k进行加权求和，得到最终的特征值f1_k，计算公式为：

其中，p、q为目标图像的行数和列数，i、j为图像的当前行和当前列，C(i,j)为置信度图中第i行、第j列的像素值，S(i,j)为显著度图中第i行、第j列的像素值，Q_k(i,j)为第k种全参考图像质量评估方法求出的目标图像的质量图中第i行、第j列的像素值；

步骤S16：采用得到的特征值f1_k组成特征集F1={f1₁,f1₂,…,f1₉}。

3.根据权利要求1所述的一种基于机器学习的颜色校正评估方法，其特征在于：在步骤S2中，分别采用CLD、EHD、HTD、SCD、GD和EMD这6种图像重定向评估方法对目标图像进行图像重定向评估，得到图像重定向评估结果f2_k，直接将图像重定向评估结果作为特征值，然后采用得到的特征值f2_k组成特征集F2={f2₁,f2₂,…,f2₆}。

4.根据权利要求1所述的一种基于机器学习的颜色校正评估方法，其特征在于：在步骤S3中，综合特征集F1和F2，将其作为机器学习算法的特征集F，并通过机器学习算法和三等分交叉验证方法学习得出客观评估模型，具体包括以下步骤：

步骤S31：组成特征集F={F1,F2}，并将特征集F随机三等分为T₁、T₂和T₃；

步骤S32：计算用于求解特征集T₁、T₂和T₃所对应的图像集的主观平均得分值MOS的集合，分别记为MOS₁、MOS₂和MOS₃；

步骤S33：将T₁、T₂和MOS₁、MOS₂作为机器学习的训练数据集，学习得到图像质量评估模型M₁；

步骤S34：重复步骤S33，分别求出T₁、T₃和MOS₁、MOS₃作为训练数据集的图像质量评估模型M₂与T₂、T₃和MOS₂、MOS₃作为训练数据集的图像质量评估模型M₃。

5.根据权利要求1所述的一种基于机器学习的颜色校正评估方法，其特征在于：在步骤S4中，采用客观评估模型对目标图像进行客观评估，得到最终的目标图像的质量评估得分值，具体包括以下步骤：

步骤S41：采用模型M₁对特征集T₃进行计算，得到特征集T₃对应的全参考图像质量评估得分值集合AS₁；

步骤S42：采用模型M₂对特征集T₂进行计算，得到特征集T₂对应的全参考图像质量评估得分值集合AS₂；

步骤S43：采用模型M₃对特征集T₁进行计算，得到特征集T₁对应的全参考图像质量评估得分值集合AS₃；

步骤S44：综合评估得分值集合AS={AS₁,AS₂,AS₃}，得到最终的目标图像的质量评估得分值集合AS。