CN102421007A - 基于多尺度结构相似度加权综合的图像质量评价方法 - Google Patents

Abstract

本发明公布了基于多尺度结构相似度加权综合的图像质量评价方法。传统的基于结构相似度的方法存在多方面的缺陷，本发明方法充分考虑人类视觉系统的视觉注意特征和多层视觉特性，实现在尺度内和尺度间对结构相似度的加权综合，开展全参考图像质量的客观评价。主要包括：在尺度内，基于视觉显著性图产生相应图像块的权重系数，对结构相似度进行尺度内的加权综合；在尺度间，通过基于训练或经验获得的权重系数，对结构相似度进行尺度间的加权综合。本发明大幅提高了图像质量评价的性能，明显改善了传统结构相似度方法中预测准确性偏低的问题，而且克服了传统方法中对于不同失真类型和不同失真强度的图像质量评价缺乏一致性的缺陷。

Description

基于多尺度结构相似度加权综合的图像质量评价方法

技术领域

本发明属于数字视频图像质量评价技术领域，涉及一种全参考型基于多尺度结构相似度加权综合的图像质量客观评价方法。

背景技术

视频图像在获取、压缩、存储、传输和重建的过程中会引入各种失真，从而导致图像质量的损失。如何在一定的成本条件下最大限度地提高图像质量，或者在保证图像质量的前提下改进图像处理的性能，设计性价比最优的系统方案，变得尤为重要。图像质量评价作为视频图像处理系统性能的关键评价指标之一，对提升系统的整体性能的具有重要的意义。因此，高效的视频图像质量评价方法成为数字视频图像处理技术研究的基础和关键。

图像质量评价方法主要分主观评价方法与客观评价方法两类。虽然主观评价是最为可靠的图像质量评价方法，但它的缺陷也显而易见。第一，由于受到观察者知识背景、观测动机、心理状态和观测环境等因素的影响，无法成为一种精确可重复的测量方法，很难作为工程测量手段采用；第二，主观评价费时费力，需要很多测试人员对大量的图像进行观测，可操作性差；第三，在实际应用中，主观评价无法嵌入到图像处理系统中，难以满足实时性的需求。上述特点使得主观评价很少直接应用于图像质量的度量，而更多时候作为定性分析图像质量的一种手段，或作为算法性能分析的参考标准。因此，图像质量评价的“客观化”趋势变得越来越明显，研究符合人类主观感受的图像客观质量评价方法具有重要的理论意义和应用价值。图像质量客观评价方法是指通过设计数学模型，对图像进行智能分析，并按照设计的质量尺度进行自动评分的评价方法。这种方法通过量化输入原始参考图像和待评价失真图像之间的差异，提供可重复的、与人的主观感知质量接近的客观质量。根据对参考图像的依赖程度，客观评价算法可以分为全参考、部分参考和无参考三类。本发明是一种基于结构相似度的全参考图像质量评价方法。

基于结构相似度全参考质量评价方法在总结图像质量评价研究成果及人类视觉特性的基础上，提出了结构信息的概念，认为人类视觉的主要功能是提取场景中的结构信息。该类方法采用参考图像和待评价失真图像间的结构相似度度量图像感知质量，摒弃由误差可见度决定图像感知质量的假设，通过比较参考图像与待评价失真图像之间的亮度、对比度和结构相似度，量化图像的失真程度，实现对失真图像质量的评价，取得了较好的评价效果。但是，传统的基于结构相似度的方法存在几方面的缺陷：一是没有考虑人眼的视觉注意特征，无法充分拟合人类视觉系统的多层视觉特性，从而导致对图像质量的评价准确性较低；二是对于不同失真类型和不同失真强度的图像质量评价缺乏一致性。

发明内容

本发明的目的，就是针对传统的基于结构相似度的图像客观质量评价方法在准确性方面的不足，充分考虑人类视觉系统的视觉注意特征和多层视觉特性，提供一种基于多尺度结构相似度加权综合的全参考型图像质量客观评价方法。首先基于视觉显著性图产生尺度内权重实现对于结构相似度的加权综合；并进一步通过多尺度的尺度间加权综合，拟合人类视觉系统的多层视觉特性到，从而提高图像质量评价的准确性。

为实现上述目的，本发明基于多尺度结构相似度加权综合的图像质量客观评价方法的技术方案包括以下步骤：

步骤(1).分别读取原始图像和失真图像，并将原始图像作为参考图像；

步骤(2).对参考图像进行低通滤波处理，将低通滤波处理后的参考图像定义为第一尺度参考图像；对第一尺度参考图像进行迭代低通滤波和降采样处理后得到第二尺度参考图像，对第二尺度参考图像进行迭代低通滤波和降采样处理后得到第三尺度参考图像，以此类推，得到第M尺度参考图像；

对失真图像进行低通滤波处理，将低通滤波处理后的失真图像定义为第一尺度失真图像；对第一尺度失真图像进行迭代低通滤波和降采样处理后得到第二尺度失真图像，对第二尺度失真图像进行迭代低通滤波和降采样处理后得到第三尺度失真图像，以此类推，得到第M尺度失真图像；

所述的降采样处理是水平方向和垂直方向各自减半；

步骤(3).利用视觉注意检测模型对步骤(2)处理得到的第一尺度参考图像、第二尺度参考图像……第M尺度参考图像分别进行视觉注意检测，分别获得第一尺度参考图像、第二尺度参考图像……第M尺度参考图像的视觉显著性图，从而构成参考图像的多尺度视觉显著性图；

所述的视觉注意检测模型是指基于显著性计算，利用时间域和空间域HVS(人类视觉系统，HUMAN VISUAL SYSTEM)感知特性，模拟HVS通过自底向上和自顶向下两种处理方式，从而完成视觉注意焦点的提取。

步骤(4).计算多尺度视觉显著性图中各个尺度的尺度内结构相似度加权综合权重；

尺度内结构相似度加权综合权重公式如下：

w_j(x，y)＝VSM_j(x，y)                    (1)

w_j(x，y)＝VSM_j(x，y)+1                  (2)

$w_j(x,y)=\left\{\begin{array}{cc}1-{\mathrm{VSM}}_j(x,y)& {\mathrm{VSM}}_j(x,y)<0.5\\ {\mathrm{VSM}}_j(x,y)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

$w_j(x,y)=1-\frac{1}{2}\exp (-{\mathrm{VSM}}_j(x,y)/0.5)---\left(4\right)$

其中，x和y分别是多尺度视觉显著性图中像素对应的横坐标和纵坐标；j为任一尺度；w_j(x，y)为j尺度的尺度内加权系数，VSM_j(x，y)为j尺度的视觉显著性图。

步骤(5).分别计算第一尺度参考图像和第一尺度失真图像、第二尺度参考图像和第二尺度失真图像……第M尺度参考图像和第M尺度失真图像的结构相似度，并利用步骤(4)得到的各个尺度的尺度内结构相似度加权综合权重对相应尺度的结构相似度进行加权，获得各个尺度的尺度内加权综合结构相似度。

各个尺度的尺度内加权综合的结构相似度计算：

$W\_\mathrm{MS}(R,D;j)=\left\{\begin{array}{cc}{w}_j(x,y)\&CenterDot;{\left[c_j(R,D)\right]}^{{\mathrm{\&beta;}}_j}\&CenterDot;{\left[s_j(R,D)\right]}^{{\mathrm{\&gamma;}}_j}& j<M\\ w_M(x,y)\&CenterDot;{\left[l_M(R,D)\right]}^{{\mathrm{\&alpha;}}_M}\&CenterDot;{\left[c_M(R,D)\right]}^{{\mathrm{\&beta;}}_M}\&CenterDot;{\left[s_M(R,D)\right]}^{{\mathrm{\&gamma;}}_M}& j=M\end{array}\right.---\left(5\right)$

其中，W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；R和D分别代表参考图像和失真图像；β_j为对比度相关函数c_j(R，D)的加权系数，γ_j为结构相关函数s_j(R，D)的加权系数；w_j(x，y)为j尺度的尺度内加权系数；M为最高尺度；α_M、β_M和γ_M分别为最高尺度亮度相关函数l_M(R，D)、最高尺度对比度相关函数c_M(R，D)和最高尺度结构相关函数s_M(R，D)的加权系数；w_M(x，y)为最高尺度M的尺度内加权系数；w_j(x，y)和w_M(x，y)由公式(1)或公式(2)或公式(3)或公式(4)计算得到。

计算最高尺度亮度相关函数l_M(R，D)：

$l_M(R,D)=\frac{2{\mathrm{\&mu;}}_R{\mathrm{\&mu;}}_D+C_1}{{\mathrm{\&mu;}}_R^2+{\mathrm{\&mu;}}_D^2+C_1}---\left(6\right)$

对于任一尺度，利用式(7)计算对比度相关函数c_j(R，D)：

$c_j(R,D)=\frac{2{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C_2}{{\mathrm{\&sigma;}}_R^2+{\mathrm{\&sigma;}}_D^2+C_2}---\left(7\right)$

对于任一尺度，利用式(8)计算结构相关函数s_j(R，D)：

$s_j(R,D)=\frac{{\mathrm{\&sigma;}}_{\mathrm{RD}}+C_3}{{{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C}_3}---\left(8\right)$

其中，μ_R和μ_D分别是j尺度参考图像和失真图像的局部亮度均值；σ_R和σ_D分别是j尺度参考图像和失真图像的方差；σ_RD为j尺度参考图像和失真图像的协方差；C₁、C₂和C₃为很小的正常数；

步骤(6).对步骤(5)得到的各个尺度的尺度内加权综合的结构相似度进行尺度间加权综合，计算得到失真图像的多尺度加权结构相似度图像质量客观评价值；

失真图像的多尺度加权结构相似度图像质量客观评价值计算如下：

$W\_\mathrm{MS}=\underset{j=1}{\overset{M}{\mathrm{\&Pi;}}}{[W\_\mathrm{MS}(R,D;j)]}^{{\mathrm{\&phi;}}_j}---\left(9\right)$

其中，W_MS为失真图像的多尺度加权结构相似度图像质量客观评价值；W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；Φ_j为j尺度的尺度间综合权重。

与现有技术相比，本发明的有益效果：

本发明提出的一种基于多尺度结构相似度加权综合的图像质量评价方法，充分考虑人类视觉系统的视觉注意特征和多层视觉特性，实现在尺度内和尺度间对结构相似度的加权综合，开展全参考图像质量的客观评价。主要包括：在尺度内，基于视觉显著性图产生相应图像块的权重系数，对结构相似度进行尺度内的加权综合；在尺度间，通过基于训练或经验获得的权重系数，对结构相似度进行尺度间的加权综合。本发明大幅提高了图像质量评价的性能，明显改善了传统结构相似度方法中预测准确性偏低的问题，而且克服了传统方法中对于不同失真类型和不同失真强度的图像质量评价缺乏一致性的缺陷。

附图说明

图1为本发明方法框图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，基于多尺度结构相似度加权综合的图像质量评价方法其步骤如下：

步骤(1).分别读取原始图像和失真图像，并将原始图像作为参考图像；

步骤(2).对参考图像进行低通滤波处理，将低通滤波处理后的参考图像定义为第一尺度参考图像；对第一尺度参考图像进行迭代低通滤波和降采样处理后得到第二尺度参考图像，对第二尺度参考图像进行迭代低通滤波和降采样处理后得到第三尺度参考图像，以此类推，得到第五尺度参考图像；

对失真图像进行低通滤波处理，将低通滤波处理后的失真图像定义为第一尺度失真图像；对第一尺度失真图像进行迭代低通滤波和降采样处理后得到第二尺度失真图像，对第二尺度失真图像进行迭代低通滤波和降采样处理后得到第三尺度失真图像，以此类推，得到第五尺度失真图像；

所述的降采样处理是水平方向和垂直方向各自减半；低通滤波器选用[1/4，1/4，1/4，1/4]。

步骤(3).利用视觉注意检测模型对步骤(2)处理得到的第一尺度参考图像、第二尺度参考图像……第五尺度参考图像分别进行视觉注意检测，分别获得第一尺度参考图像、第二尺度参考图像……第五尺度参考图像的视觉显著性图，从而构成参考图像的多尺度视觉显著性图；

所述的视觉注意检测模型是指基于显著性计算，利用时间域和空间域HVS(人类视觉系统，HUMAN VISUAL SYSTEM)感知特性，模拟HVS通过自底向上和自顶向下两种处理方式，从而完成视觉注意焦点的提取。

步骤(4).计算多尺度视觉显著性图中各个尺度的尺度内结构相似度加权综合权重；

尺度内结构相似度加权综合权重公式如下：

w_j(x，y)＝VSM_j(x，y)                   (1)

w_j(x，y)＝VSM_j(x，y)+1                 (2)

$w_j(x,y)=\left\{\begin{array}{cc}1-{\mathrm{VSM}}_j(x,y)& {\mathrm{VSM}}_j(x,y)<0.5\\ {\mathrm{VSM}}_j(x,y)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

$w_j(x,y)=1-\frac{1}{2}\exp (-{\mathrm{VSM}}_j(x,y)/0.5)---\left(4\right)$

其中，x和y分别是多尺度视觉显著性图中像素对应的横坐标和纵坐标；j为任一尺度；w_j(x，y)为j尺度的尺度内加权系数，VSM_j(x，y)为j尺度的视觉显著性图。

步骤(5).分别计算第一尺度参考图像和第一尺度失真图像、第二尺度参考图像和第二尺度失真图像……第五尺度参考图像和第五尺度失真图像的结构相似度，并利用步骤(4)得到的各个尺度的尺度内结构相似度加权综合权重对相应尺度的结构相似度进行加权，获得各个尺度的尺度内加权综合结构相似度。

各个尺度的尺度内加权综合的结构相似度计算：

$W\_\mathrm{MS}(R,D;j)=\left\{\begin{array}{cc}{w}_j(x,y)\&CenterDot;{\left[c_j(R,D)\right]}^{{\mathrm{\&beta;}}_j}\&CenterDot;{\left[s_j(R,D)\right]}^{{\mathrm{\&gamma;}}_j}& j<5\\ w_5(x,y)\&CenterDot;{\left[l_5(R,D)\right]}^{{\mathrm{\&alpha;}}_5}\&CenterDot;{\left[c_5(R,D)\right]}^{{\mathrm{\&beta;}}_5}\&CenterDot;{\left[s_5(R,D)\right]}^{{\mathrm{\&gamma;}}_5}& j=5\end{array}\right.---\left(5\right)$

其中，W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；R和D分别代表参考图像和失真图像；β_j为对比度相关函数c_j(R，D)的加权系数，γ_j为结构相关函数s_j(R，D)的加权系数；w_j(x，y)为j尺度的尺度内加权系数；α₅、β₅和γ₅分别为第五尺度亮度相关函数l₅(R，D)、第五尺度对比度相关函数c₅(R，D)和第五尺度结构相关函数s₅(R，D)的加权系数；w₅(x，y)为第五尺度的尺度内加权系数；w_j(x，y)和w₅(x，y)由公式(1)或公式(2)或公式(3)或公式(4)计算得到。步骤(5)中，α₁＝0.04448，α₂＝0.2856，α₃＝0.3001，α₄＝0.2363，α₅＝0.1333，且满足α_j＝β_j＝γ_j，

计算第五尺度亮度相关函数l₅(R，D)：

$l_5(R,D)=\frac{2{\mathrm{\&mu;}}_R{\mathrm{\&mu;}}_D+C_1}{{\mathrm{\&mu;}}_R^2+{\mathrm{\&mu;}}_D^2+C_1}---\left(6\right)$

对于任一尺度，利用式(7)计算对比度相关函数c_j(R，D)：

$c_j(R,D)=\frac{2{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C_2}{{\mathrm{\&sigma;}}_R^2+{\mathrm{\&sigma;}}_D^2+C_2}---\left(7\right)$

对于任一尺度，利用式(8)计算结构相关函数s_j(R，D)：

$s_j(R,D)=\frac{{\mathrm{\&sigma;}}_{\mathrm{RD}}+C_3}{{{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C}_3}---\left(8\right)$

其中，μ_R和μ_D分别是j尺度参考图像和失真图像的局部亮度均值；σ_R和σ_D分别是j尺度参考图像和失真图像的方差；σ_RD为j尺度参考图像和失真图像的协方差；C₁＝6.5025，C₂＝58.5225，C₃＝29.2613；在计算结构相似度时，采用11×11的结构块。

步骤(6).对步骤(5)得到的各个尺度的尺度内加权综合的结构相似度进行尺度间加权综合，计算得到失真图像的多尺度加权结构相似度图像质量客观评价值；

失真图像的多尺度加权结构相似度图像质量客观评价值计算如下：

$W\_\mathrm{MS}=\underset{j=1}{\overset{5}{\mathrm{\&Pi;}}}{[W\_\mathrm{MS}(R,D;j)]}^{{\mathrm{\&phi;}}_j}---\left(9\right)$

其中，W_MS为失真图像的多尺度加权结构相似度图像质量客观评价值；W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；Φ_j为j尺度的尺度间综合权重。步骤(6)所述的五个尺度间加权综合权重由经验获得，分别为

本发明结合尺度内和尺度间两种加权综合策略对结构相似度进行加权综合，获得全参考图像质量的客观评价，大幅提高了图像质量评价的性能，明显改善了传统算法预测准确性偏低的问题。本发明在尺度内基于视觉显著性图产生相应图像块的尺度内加权系数，对结构相似度进行尺度内的加权综合；在尺度间基于人类视觉特性训练获得的权重系数对结构相似度进行尺度间的加权综合。

Claims (1)

1.基于多尺度结构相似度加权综合的图像质量评价方法，其特征在于如下步骤：

步骤(1).分别读取原始图像和失真图像，并将原始图像作为参考图像；

步骤(2).对参考图像进行低通滤波处理，将低通滤波处理后的参考图像定义为第一尺度参考图像；对第一尺度参考图像进行迭代低通滤波和降采样处理后得到第二尺度参考图像，对第二尺度参考图像进行迭代低通滤波和降采样处理后得到第三尺度参考图像，以此类推，得到第M尺度参考图像；

对失真图像进行低通滤波处理，将低通滤波处理后的失真图像定义为第一尺度失真图像；对第一尺度失真图像进行迭代低通滤波和降采样处理后得到第二尺度失真图像，对第二尺度失真图像进行迭代低通滤波和降采样处理后得到第三尺度失真图像，以此类推，得到第M尺度失真图像；

所述的降采样处理是水平方向和垂直方向各自减半；

步骤(3).利用视觉注意检测模型对步骤(2)处理得到的第一尺度参考图像、第二尺度参考图像直到第M尺度参考图像分别进行视觉注意检测，分别获得第一尺度参考图像、第二尺度参考图像直到第M尺度参考图像的视觉显著性图，从而构成参考图像的多尺度视觉显著性图；

步骤(4).计算多尺度视觉显著性图中各个尺度的尺度内结构相似度加权综合权重；

尺度内结构相似度加权综合权重公式如下：

w_j(x，y)＝VSM_j(x，y)                     (1)

w_j(x，y)＝VSM_j(x，y)+1                   (2)

$w_j(x,y)=\left\{\begin{array}{cc}1-{\mathrm{VSM}}_j(x,y)& {\mathrm{VSM}}_j(x,y)<0.5\\ {\mathrm{VSM}}_j(x,y)& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

$w_j(x,y)=1-\frac{1}{2}\exp (-{\mathrm{VSM}}_j(x,y)/0.5)---\left(4\right)$

其中，x和y分别是多尺度视觉显著性图中像素对应的横坐标和纵坐标；j为任一尺度；w_j(x，y)为j尺度的尺度内加权系数，VSM_j(x，y)为j尺度的视觉显著性图；

步骤(5).分别计算第一尺度参考图像和第一尺度失真图像、第二尺度参考图像和第二尺度失真图像直到第M尺度参考图像和第M尺度失真图像的结构相似度，并利用步骤(4)得到的各个尺度的尺度内结构相似度加权综合权重对相应尺度的结构相似度进行加权，获得各个尺度的尺度内加权综合结构相似度；

各个尺度的尺度内加权综合的结构相似度计算：

$W\_\mathrm{MS}(R,D;j)=\left\{\begin{array}{cc}{w}_j(x,y)\&CenterDot;{\left[c_j(R,D)\right]}^{{\mathrm{\&beta;}}_j}\&CenterDot;{\left[s_j(R,D)\right]}^{{\mathrm{\&gamma;}}_j}& j<M\\ w_M(x,y)\&CenterDot;{\left[l_M(R,D)\right]}^{{\mathrm{\&alpha;}}_M}\&CenterDot;{\left[c_M(R,D)\right]}^{{\mathrm{\&beta;}}_M}\&CenterDot;{\left[s_M(R,D)\right]}^{{\mathrm{\&gamma;}}_M}& j=M\end{array}\right.---\left(5\right)$

其中，W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；R和D分别代表参考图像和失真图像；β_j为对比度相关函数c_j(R，D)的加权系数，γ_j为结构相关函数s_j(R，D)的加权系数；w_j(x，y)为j尺度的尺度内加权系数；M为最高尺度；α_M、β_M和γ_M分别为最高尺度亮度相关函数l_M(R，D)、最高尺度对比度相关函数c_M(R，D)和最高尺度结构相关函数s_M(R，D)的加权系数；w_M(x，y)为最高尺度M的尺度内加权系数；w_j(x，y)和w_M(x，y)由公式(1)或公式(2)或公式(3)或公式(4)计算得到；

计算最高尺度亮度相关函数l_M(R，D)：

$l_M(R,D)=\frac{2{\mathrm{\&mu;}}_R{\mathrm{\&mu;}}_D+C_1}{{\mathrm{\&mu;}}_R^2+{\mathrm{\&mu;}}_D^2+C_1}---\left(6\right)$

对于任一尺度，利用式(7)计算对比度相关函数c_j(R，D)：

$c_j(R,D)=\frac{2{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C_2}{{\mathrm{\&sigma;}}_R^2+{\mathrm{\&sigma;}}_D^2+C_2}---\left(7\right)$

对于任一尺度，利用式(8)计算结构相关函数s_j(R，D)：

$s_j(R,D)=\frac{{\mathrm{\&sigma;}}_{\mathrm{RD}}+C_3}{{{\mathrm{\&sigma;}}_R{\mathrm{\&sigma;}}_D+C}_3}---\left(8\right)$

其中，μ_R和μ_D分别是j尺度参考图像和失真图像的局部亮度均值；σ_R和σ_D分别是j尺度参考图像和失真图像的方差；σ_RD为j尺度参考图像和失真图像的协方差；C₁、C₂和C₃为很小的正常数；

步骤(6).对步骤(5)得到的各个尺度的尺度内加权综合的结构相似度进行尺度间加权综合，计算得到失真图像的多尺度加权结构相似度图像质量客观评价值；

失真图像的多尺度加权结构相似度图像质量客观评价值计算如下：

$W\_\mathrm{MS}=\underset{j=1}{\overset{M}{\mathrm{\&Pi;}}}{[W\_\mathrm{MS}(R,D;j)]}^{{\mathrm{\&phi;}}_j}---\left(9\right)$

其中，W_MS为失真图像的多尺度加权结构相似度图像质量客观评价值；W_MS(R，D；j)为j尺度的尺度内加权综合的结构相似度；Φ_j为j尺度的尺度间综合权重。

Images