CN107392952A

CN107392952A - 一种无参考混合失真图像质量评价方法

Info

Publication number: CN107392952A
Application number: CN201710591642.7A
Authority: CN
Inventors: 冯丹丹; 侯春萍; 岳广辉; 马彤彤; 刘月
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2017-11-24
Anticipated expiration: 2037-07-19
Also published as: CN107392952B

Abstract

本发明涉及一种无参考混合失真图像质量评价方法，包括：对图像I进行三级双树复小波变换。利用第一尺度下6个方向子带的幅值信息求权重值来反映图像的对比度信息。利用旋转不变LBP算子对第一尺度下6个方向的小波系数信息与低频子带信息进行统计。对第一级分解尺度下6个方向小波系数幅值分别求取其能量和能量偏差，将第一分解尺度下六个方向的小波系数统计特征，低频子带幅值信息统计特征和能量与能量偏差统计特征进行组合，得到最终特征向量；利用上述步骤提取图像特征，运用SVM网络对训练图像的特征以及与其对应的主观分数进行训练，得到特征到主观质量分数的映射关系模型。利用此关系模型对测试图像的质量进行预测。

Description

一种无参考混合失真图像质量评价方法

技术领域

本发明属于图像处理领域，尤其平面图像的客观评价方法。

背景技术

图像质量评价是图像处理领域的研究热点。数字图像的获取、压缩编码、存储或传输过程会给图像带来多种失真，因此研究混合失真图像质量评价具有重要的理论和实际意义。图像质量评价分为主观评价和客观评价，通过主观实验获得人的感知质量即为主观评价，但是主观评价费用高、耗时长且难以嵌入系统实现，因此客观图像质量评价成为目前的研究热点。客观质量评价依据依赖原始图像的程度可分为全参考型、半参考型和无参考型。全参考方法在评价图像提供一张无失真的参考图像，但在实际中无失真原始图像往往很难得到。半参考方法仅仅将失真图像中的某些特征与原始图像的相同特征进行比较。无参考方法则完全不需要参考图像，仅根据失真图像的自身特征来估计图像的质量。无参考方法最具有实用价值，有着非常广泛的应用范围。

发明内容

本发明的目的是提供一种与主观评价结果有较好的一致性的无参考混合失真图像质量评价方法。技术方案如下：

一种无参考混合失真图像质量评价方法，包括下列步骤：

第一步，对图像I进行三级双树复小波变换，变换后，每个尺度下有6个方向子带，记为W_l,n(i,j)，l＝1,2,3表示分解尺度，n＝1,2,3,4,5,6为方向数，M,N表示图像尺寸大小。

第二步，利用第一尺度下6个方向子带的幅值信息求权重值来反映图像的对比度信息。

第一分解尺度下6个方向子带图像的小波系数均为复数为：

W_1,n(i,j)＝a_1,n(i,j)+jb_1,n(i,j)

其中W_1,n(i,j)表示子带图像的小波复系数，a_1,n(i,j)为小波复系数的实部，b_1,n(i,j)为虚部，将6个方向的小波复系数实部与虚部分别相加，得到：

W^real与W^imag分别为小波复系数实部求和结果与虚部求和结果。

最终的权重值为：

weight即为得到的最终权重图。

第三步，利用旋转不变LBP算子对第一尺度下6个方向的小波系数信息与低频子带信息进行统计。

首先得到每个方向下小波复系数的幅值信息，如下：

即为得到的每个方向子带图像的幅值图。

进行三级分解后得到的低频子带的幅值信息如下：

其中W_LL为分解后得到的低频子带，为求得的低频子带幅值图，

考虑第二步中求得的权重值，由LBP算子对6个方向小波系数进行统计的特征如下：

其中即为利用LBP算子分别对6个方向小波系数进行统计得到的特征向量，LBP_P,R为利用LBP算子得到的特征统计图，P为选取的领域像素点的个数，R为半径，为待统计图中像素点的个数，i表示待统计图像的第i个像素点，weight_i为待统计图所对应的权值图中第i个像素点的权重值，m为LBP算子产生的不同模式。

利用旋转不变LBP算子对低频子带幅值特征进行统计，但在对LBP编码图进行直方图统计时不考虑权值信息，如下：

其中即为利用LBP算子对低频子带幅值信息进行统计得到的特征向量，为待统计图中像素点的个数，i表示待统计图像的第i个像素点。

第四步，对第一级分解尺度下6个方向小波系数幅值分别求取其能量和能量偏差分别为μ_1,n和σ_1,n，由能量与能量偏差组成的特征向量为：

f_μσ＝{μ_1,1,σ_1,1,μ_1,2,σ_1,2,...,μ_1,6,μ_1,6}

将第一分解尺度下六个方向的小波系数统计特征，低频子带幅值信息统计特征和能量与能量偏差统计特征进行组合，得到最终特征向量为：

第五步，利用上述步骤提取图像特征，运用SVM网络对训练图像的特征以及与其对应的主观分数进行训练，得到特征到主观质量分数的映射关系模型。利用此关系模型对测试图像的质量进行预测。

本发明的基于双树复小波变换匹配于人类视觉系统的多信道模型的性质和在提取纹理特征时具有近似平移不变性和更多方向选择性的优点，并考虑LBP在进行纹理描述时具有旋转不变性和灰度不变性的显著优点，本发明提出一种基于双树复小波变换与LBP算子的无参考混合失真图像质量评价方法。本发明对图像进行三级双树复小波变换，利用LBP算子对第一尺度下的六个方向子带和分解出的低频子带的幅度信息进行统计，考虑到图像对比度信息，又将第一尺度下六个方向子带的幅度信息进行处理后作为权重值，并利用每个子带的幅值信息求取能量与能量偏差，最后利用svm网络对由LBP算子统计每个子带幅度信息得到的特征与由幅值得到的能量与能量偏差特征进行训练，获得特征到质量分数的映射关系。实验表明，本发明在MDID2013与MLIVE数据上的评价结果与主观评价结果具有较好的相关性与较高的准确度，因此能够很好地评价混合失真图像质量。

附图说明

图1ψ^c(x,y)的理想傅里叶频谱。

具体实施方式

下面结合附图对本发明做进一步阐述。

本发明首先对图像进行三级双树复小波变换，然后对第一尺度下的六个子带的幅值信息和分解出的低频子带的幅值信息进行处理，具体做法如下：

第一步，对图像进行三级双树复小波变换。一维双树复小波定义为：

ψ_c(n)＝ψ_h(n)+jψ_g(n) (1)

其中ψ_h(n)与ψ_g(n)分别是正交或双正交的实小波。可以由一维双树复小波构造二维双树复小波。二维双树复小波可定义为：

ψ^c(x,y)的傅里叶频谱可用图1所示的理想图表来表示。由图可以看出二维复小波ψ^c(x,y)的频谱只出现在频谱的一角，因此二维复小波是具有方向性的。用类似的方法可以得到φ(x)ψ(y)、ψ(x)φ(y)、φ(x)ψ^*(y)、ψ(x)φ^*(y)、ψ(x)ψ^*(y)这5个二维复小波，其中φ(x)＝φ_h(x)+jφ_g(x)、ψ(x)＝ψ_h(x)+jψ_g(x)。用进行规范化，6个二维复小波的实部为：

虚部为：

构造六个复小波为:

其中k＝1,2,3。由这种方法得到具有6个方向的二维双树复小波，其中每个实部与虚部具有相同的方向。6个方向分别为-75°、-45°、-15°、15°、45°、75°。

对于输入图像I，首先使用滤波器{g₀(n),g₁(n)}做行变换，再使用滤波器{h₀(n),h₁(n)}做列变换，得到1个低频子带LL和3个高频子带HL、LH、HH；然后使用滤波器{h₀(n),h₁(n)}做行变换，再使用滤波器{g₀(n),g₁(n)}做列变换，再得到一个低频子带LL和3个高频子带HL、LH、HH。对图像进行3级双树复小波分解，每个尺度下有6个方向子带，记为W_l,n(i,j)，l＝1,2,3表示分解尺度，n＝1,2,3,4,5,6为方向数。

第二步，利用第一尺度下6个方向子带的幅值信息求权重值来反映图像的对比度信息。第一分解尺度下6个方向子带图像的小波系数均为复数，为：

W_1,n(i,j)＝a_1,n(i,j)+jb_1,n(i,j) (6)

其中a_1,n(i,j)为小波复系数的实部，b_1,n(i,j)为虚部，n＝1,2,3,4,5,6， M,N表示图像尺寸大小。本发明将6个方向的小波复系数实部与虚部分别相加，得到：

最终的权重值为：

第三步，利用旋转不变LBP算子对第一尺度下6个方向的小波系数信息与低频子带信息进行统计。首先得到每个方向下小波复系数的幅值信息，如下：

其中n＝1,2,3,4,5,6。进行三级分解后得到的低频子带的幅值信息如下：

其中

LBP算子通过计算灰度水平描述了中心像素点与其邻域像素点间的关系。本发明首先利用旋转不变LBP算子统计在第一尺度下6个方向的小波复系数幅值信息。这里LBP码表示为8位二进制数的十进制形式：

其中P为领域像素点的个数，R为半径。W_c表示中心点(i_c,j_c)的幅值，W_k为其8个领点的幅值。阈值函数S(·)定义如下：

为了获得旋转不变性，旋转不变LBP_P,R定义如下：

其中U为：

为了反映对比度信息，本发明在对LBP编码图进行统计时，考虑第二步中求得的权值图，则由LBP算子对6个方向小波系数进行统计的特征如下：

其中n＝1,2,3,4,5,6，M为待统计图中像素点的个数，m为LBP算子产生的不同模式。

然后，本发明利用旋转不变LBP算子对低频子带幅值特征进行统计，但在对LBP编码图进行直方图统计时不考虑权值信息，如下：

N为待统计图中像素点的个数。

第四步，对第一级分解尺度下6个方向小波系数幅值分别求取其能量和能量偏差，如下：

其中，M×N表示子带图像W_1,n(i,j)的大小。由能量与能量偏差组成的特征向量为：

f_μσ＝{μ_1,1,σ_1,1,μ_1,2,σ_1,2,...,μ_1,6,μ_1,6} (21)

最后，本发明将第一分解尺度下六个方向的小波系数统计特征，低频子带幅值信息统计特征和能量与能量偏差统计特征进行组合，得到最终特征向量为：

第五步，利用上述步骤提取图像特征，运用SVM网络对训练图像的特征以及与其对应的主观分数进行训练，得到特征到主观质量分数的映射关系模型，利用此关系模型对测试图像的质量进行预测。

在MDID2013与MLIVE两个混合失真数据库上，通过SVM网络对算法性能进行测试。在测试本发明在每个数据库上的性能时，从每个数据库中随机选取80％的图像作为训练图像，其余20％的图像作为测试图像。通过计算客观质量分数与主观质量分数的PLCC、SRCC与RMSE值来反映算法性能，本发明在两个混合失真数据库上结果性能如表1所示。

表1算法性能

从表1中可以看出本发明的客观评价结果与主观评价结果具有较好的相关性与较高的准确度，因此对图像进行双树复小波分解，采用LBP算子进行统计，并考虑对比度信息以及能量与能量偏差特征能够很好地评价混合失真图像质量。

Claims

1.一种无参考混合失真图像质量评价方法，包括下列步骤：

第一步，对图像I进行三级双树复小波变换，变换后，每个尺度下有6个方向子带，记为W_l,n(i,j)，l＝1,2,3表示分解尺度，n＝1,2,3,4,5,6为方向数，M,N表示图像尺寸大小；

第二步，利用第一尺度下6个方向子带的幅值信息求权重值来反映图像的对比度信息；

第一分解尺度下6个方向子带图像的小波系数均为复数为：

W_1,n(i,j)＝a_1,n(i,j)+jb_1,n(i,j)

<mrow> <msup> <mi>W</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mi>l</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>6</mn> </msubsup> <msub> <mi>a</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msup> <mi>W</mi> <mrow> <mi>i</mi> <mi>m</mi> <mi>a</mi> <mi>g</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>6</mn> </msubsup> <msub> <mi>b</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow>

W^real与W^imag分别为小波复系数实部求和结果与虚部求和结果；

最终的权重值为：

weight即为得到的最终权重图；

第三步，利用旋转不变LBP算子对第一尺度下6个方向的小波系数信息与低频子带信息进行统计；

首先得到每个方向下小波复系数的幅值信息，如下：

即为得到的每个方向子带图像的幅值图；

进行三级分解后得到的低频子带的幅值信息如下：

<mrow> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>Q</mi> </munderover> <msub> <mi>weight</mi> <mi>i</mi> </msub> <mo>*</mo> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>LBP</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>R</mi> </mrow> </msub> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow>

其中即为利用LBP算子分别对6个方向小波系数进行统计得到的特征向量，LBP_P,R为利用LBP算子得到的特征统计图，P为选取的领域像素点的个数，R为半径，为待统计图中像素点的个数，i表示待统计图像的第i个像素点，weight_i为待统计图所对应的权值图中第i个像素点的权重值，m为LBP算子产生的不同模式；

<mrow> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mi>L</mi> </msubsup> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>S</mi> </munderover> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>LBP</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>R</mi> </mrow> <mi>L</mi> </msubsup> <mo>(</mo> <mi>i</mi> <mo>)</mo> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> </mrow>

其中即为利用LBP算子对低频子带幅值信息进行统计得到的特征向量，为待统计图中像素点的个数，i表示待统计图像的第i个像素点；

f_μσ＝{μ_1,1,σ_1,1,μ_1,2,σ_1,2,...,μ_1,6,μ_1,6}

<mrow> <mi>f</mi> <mi>e</mi> <mi>a</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> <mo>=</mo> <mo>{</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>2</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>3</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>4</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>5</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mrow> <mn>1</mn> <mo>,</mo> <mn>6</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>h</mi> <mrow> <mi>L</mi> <mi>B</mi> <mi>P</mi> </mrow> <mi>L</mi> </msubsup> <mo>,</mo> <msub> <mi>f</mi> <mrow> <mi>&mu;</mi> <mi>&sigma;</mi> </mrow> </msub> <mo>}</mo> </mrow>

第五步，利用上述步骤提取图像特征，运用SVM网络对训练图像的特征以及与其对应的主观分数进行训练，得到特征到主观质量分数的映射关系模型,利用此关系模型对测试图像的质量进行预测。