CN104574381A - 一种基于局部二值模式的全参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于局部二值模式的全参考图像质量评价方法，该方法读入参考图像与失真图像，做灰度化处理以去除彩色信息，仅保留亮度分量进行后续处理；为减小计算复杂度，对亮度分量进行简单的2×2平均低通滤波，之后在像素域进行1/2的空间下采样，获得宽高均为输入图像尺寸一半的对应图像进行质量分析；计算空间下采样后的参考图像与失真图像在每一像素位置的局部二值模式(LBP)值；计算参考图像与失真图像每一像素位置上的LBP值差异；最后通过统计所有像素位置上LBP值差异的算术平均来获得失真图像的质量评价分。

Description

一种基于局部二值模式的全参考图像质量评价方法

技术领域

本发明涉及图像质量评价的技术领域，特别是涉及一种基于局部二值模式的全参考图像质量评价方法。

背景技术

在图像处理的不同阶段(如采集、编码、传输及后处理)都会引入不同类型的失真，如何进行有效的图像质量评价成为图像处理领域一项重要的研究课题。目前图像质量评价可分为主观评价与客观评价两大类。主观评价通过人类观察者对失真图像进行主观评分，并通过统计学的方法得到失真图像的最终评价分。主观评价方法最为准确可靠，但步骤复杂，必须依靠人力给出评价分，不能进行自动的图像质量评价，不易应用到实时图像处理系统中。而客观评价通过计算模型实现了自动的质量分析，虽然评价准确性不如主观评价，但由于解放了人力，可以方便地实现大批量的图像质量分析，成为目前图像质量评价研究的主流。根据参考图像的可用情况，对失真图像质量分析的客观评价分为全参考、部分参考或无参考的评价方法。其中全参考的图像质量评价研究最为广泛。

目前应用最广泛的全参考图像质量评价方法是均方误差(MSE)或峰值信噪比(PSNR)。MSE或PSNR根据参考图像与失真图像所有像素平均意义上的信号误差来测量图像质量，把所有像素误差孤立看待，没有考虑图像中固有的结构信息，导致评价结果常与主观评价不一致。之后有学者根据人类视觉系统(HVS)对图像中的结构信息非常敏感的特性，提出了基于局部结构失真的图像质量评价方法，其中最著名的是2004年王舟等人提出的结构相似性测量(SSIM)(Zhou Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Imagequality assessment:from error visibility to structural similarity,”IEEE Transactionson Image Processing,vol.13,no.4,pp.600-612,Apr.2004.)，SSIM首先对参考图像与失真图像分块比较亮度、对比度与结构相似性，之后通过平均得到失真图像的最终评价分。SSIM考虑了HVS特性，其评价效果相比MSE与主观评价更为接近。杨春玲等人认为SSIM对模糊图像的失真不能很好地评价，根据局部梯度信息对SSIM进行改进，提出了基于梯度与基于边缘的SSIM(杨春玲,陈冠豪,谢胜利.基于梯度信息的图像质量评判方法的研究.电子学报,2007,35(7):1313-1317.)，改进了SSIM的质量评价效果。目前图像质量评价领域的国内专利还比较少，相关的比如2012年黄联芬等人获得授权的发明专利：基于视觉特性与结构相似度的图像质量评测方法(CN101853504B)，该发明专利基于SSIM，首先对参考图像与失真图像进行分块，之后分块测量SSIM，最后融合时为不同分块分配不同权重以表达不同分块的重要性来得到总体评价分。

目前这类基于局部结构的图像质量评价方法大多只考虑局部亮度变化的幅度信息，如使用Sobel算子检测水平与垂直方向的亮度变化，进而得到幅度信息作为质量分析的依据，而很少利用局部亮度变化的方向信息，因此局部结构信息表达不够充分。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于提供一种基于局部二值模式的全参考图像质量评价方法，该方法应用于全参考图像质量评价，在进行图像质量评价时利用局部二值模式(即：LBP)来表达局部结构信息，LBP模式值在计算时不仅利用了8个方向的亮度变化幅度，还通过为不同方向的变化幅度设置不同权重有效表达了亮度变化的方向信息，因此更充分地表达了图像每一像素位置上的局部结构信息，得到了更好的质量评价结果。

本发明解决其技术问题所采取的技术方案是：一种基于局部二值模式的全参考图像质量评价方法，该方法包括如下步骤：

步骤1：读入参考图像与失真图像；

步骤2：将参考图像与失真图像进行灰度化处理以去除彩色信息，仅保留亮度分量进行后续的图像质量分析；

步骤3：对参考图像与失真图像的亮度分量进行简单的2×2平均低通滤波，2×2平均低通滤波器定义如下：

$T_{\mathrm{ave}}=\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right]---\left(1\right)$

对平均低通滤波后的图像宽度与高度在像素域进行1/2的空间下采样，得到宽高均为输入图像尺寸一半的对应参考图像R与对应失真图像D进行后续质量分析；

步骤4：对上述步骤3得到的空间下采样后的参考图像R与失真图像D，分别计算每一像素位置上的局部二值模式(即：LBP)值。本发明所采用的LBP模式是近似半径为2的8邻域模式，即P8R2模式。在计算中心像素的LBP模式值时共涉及周围12个像素，分别包括左、下、右、上距离为2的4个像素，以及左下、右下、右上、左上的8个像素。本发明采用中心像素左边为起始位置，顺序为逆时针，权值依次为2ⁱ,i∈{7,6,5,4,3,2,1,0}。

步骤5：计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值，计算公式如下：

${\mathrm{LBP}}_{R-D}^{i,j}=|{\mathrm{LBP}}_R^{i,j}-{\mathrm{LBP}}_D^{i,j}|---\left(2\right)$

其中与分别表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值，则表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值差异的绝对值；

步骤6：计算参考图像R与失真图像D所有像素位置上LBP值差异绝对值的算术平均来获得失真图像的质量评价分S，公式如下：

$S=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{LBP}}_{R-D}^{i,j}---\left(3\right)$

S值越小，表示参考图像R与失真图像D所有像素位置上的平均局部结构变化越小，失真图像的质量越好。

本发明上述步骤4计算每一像素位置的LBP模式值(近似半径为2的8邻域模式，即P8R2模式)的方法包括：

1)对空间下采样后的参考图像R与失真图像D在左、下、右、上四个边界分别向外扩充2个像素，扩充的像素亮度值设为0；

2)对参考图像R与失真图像D原有的(即非扩充的)每一像素分别计算8个方向的亮度差值，以参考图像为例的计算公式如下：

$\left\{\begin{array}{c}{d}_{R,0}^{i,j}=R^{i,j-2}-R^{i,j}\\ d_{R,1}^{i,j}=0.5*R^{i+1,j-1}+0.5*R^{i+2,j-2}-R^{i,j}\\ d_{R,2}^{i,j}=R^{i+2,j}-R^{i,j}\\ d_{R,3}^{i,j}=0.5*R^{i+1,j+1}+0.5*R^{i+2,j+2}-R^{i,j}\\ d_{R,4}^{i,j}=R^{i,j+2}-R^{i,j}\\ d_{R,5}^{i,j}=0.5*R^{i-1,j+1}+0.5*R^{i-2,j+2}-R^{i,j}\\ d_{R,6}^{i,j}=R^{i-2,j}-R^{i,j}\\ d_{R,7}^{i,j}=0.5*R^{i-1,j-1}+0.5*R^{i-2,j-2}-R^{i,j}\end{array}\right.---\left(4\right)$

其中R^i,j表示参考图像R在像素位置为(i,j)的亮度值，表示参考图像R在像素位置为(i,j)的k,k∈[0,7]方向的亮度差值；按同样方法可计算得到失真图像D在像素位置为(i,j)的k方向的亮度差值

3)计算参考图像R与失真图像D原有的(即非扩充的)每一像素位置上的LBP模式值，计算公式如下：

${\mathrm{LBP}}_R^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{R,k}^{i,j}---\left(5\right)$

${\mathrm{LBP}}_D^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{D,k}^{i,j}---\left(6\right)$

其中与分别为参考图像R与失真图像D在像素位置为(i,j)的LBP模式值。

本发明上述步骤4使用LBP来提取图像每一像素位置的局部结构信息；对中心像素计算了8个方向的亮度变化情况，且通过给8个方向的亮度差值分配不同的权重表达了不同方向亮度差值的影响。

本发明上述步骤5直接计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值来表达图像局部结构的差异。

本发明上述步骤6直接计算各像素LBP值差异绝对值的算术平均来测量失真图像的质量。

有益效果：

1、本发明在进行全参考图像质量评价时，使用局部二值模式(即：LBP)更有效地表达了图像的局部结构信息，LBP模式值在计算时不仅利用了8个方向的亮度变化幅度。

2、本发明通过为不同方向的变化幅度设置不同权重有效表达了亮度变化的方向信息，通过比较参考图像与失真图像的LBP差异得到了更好的全参考质量评价结果。

3、本发明不仅有效利用了图像局部结构变化信息，而且计算简单。

附图说明

图1为本发明的方法流程图。

图2为本发明的LBP模式值计算示意图。

具体实施方式

下面结合说明书附图对本发明创造作进一步详细的说明。

如图1和图2所示，本发明的一种基于局部二值模式的全参考图像质量评价方法，该方法具体实施步骤如下：

步骤1：读入参考图像与失真图像；

步骤2：将参考图像与失真图像进行灰度化处理以去除彩色信息，仅保留亮度分量进行后续的图像质量分析；

步骤3：对参考图像与失真图像的亮度分量进行简单的2×2平均低通滤波，2×2平均低通滤波器定义如下：

$T_{\mathrm{ave}}=\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right]---\left(1\right)$

对平均低通滤波后的图像宽度与高度在像素域进行1/2的空间下采样，得到宽高均为输入图像尺寸一半的对应参考图像R与对应失真图像D进行后续质量分析；

步骤4：对上述步骤3得到的空间下采样后的参考图像R与失真图像D，分别计算每一像素位置上的局部二值模式(LBP)值。本发明所采用的LBP模式是近似半径为2的8邻域模式，即P8R2模式。在计算中心像素的LBP模式值时共涉及周围12个像素，分别包括左、下、右、上距离为2的4个像素，以及左下、右下、右上、左上的8个像素。本发明采用中心像素左边为起始位置，顺序为逆时针，权值依次为2ⁱ,i∈{7,6,5,4,3,2,1,0}。

步骤5：计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值，计算公式如下：

${\mathrm{LBP}}_{R-D}^{i,j}=|{\mathrm{LBP}}_R^{i,j}-{\mathrm{LBP}}_D^{i,j}|---\left(2\right)$

其中与分别表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值，则表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值差异的绝对值；

步骤6：计算参考图像R与失真图像D所有像素位置上LBP值差异绝对值的算术平均来获得失真图像的质量评价分S，公式如下：

$S=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{LBP}}_{R-D}^{i,j}---\left(3\right)$

S值越小，表示参考图像R与失真图像D所有像素位置上的平均局部结构变化越小，失真图像的质量越好。

本发明上述步骤4计算每一像素位置的LBP模式值(近似半径为2的8邻域模式，即P8R2模式)的方法包括：

1)对空间下采样后的参考图像R与失真图像D在左、下、右、上四个边界分别向外扩充2个像素，扩充的像素亮度值设为0；

2)对参考图像R与失真图像D原有的(即非扩充的)每一像素分别计算8个方向的亮度差值，以参考图像为例的计算公式如下：

$\left\{\begin{array}{c}{d}_{R,0}^{i,j}=R^{i,j-2}-R^{i,j}\\ d_{R,1}^{i,j}=0.5*R^{i+1,j-1}+0.5*R^{i+2,j-2}-R^{i,j}\\ d_{R,2}^{i,j}=R^{i+2,j}-R^{i,j}\\ d_{R,3}^{i,j}=0.5*R^{i+1,j+1}+0.5*R^{i+2,j+2}-R^{i,j}\\ d_{R,4}^{i,j}=R^{i,j+2}-R^{i,j}\\ d_{R,5}^{i,j}=0.5*R^{i-1,j+1}+0.5*R^{i-2,j+2}-R^{i,j}\\ d_{R,6}^{i,j}=R^{i-2,j}-R^{i,j}\\ d_{R,7}^{i,j}=0.5*R^{i-1,j-1}+0.5*R^{i-2,j-2}-R^{i,j}\end{array}\right.---\left(4\right)$

其中R^i,j表示参考图像R在像素位置为(i,j)的亮度值，表示参考图像R在像素位置为(i,j)的k,k∈[0,7]方向的亮度差值；按同样方法可计算得到失真图像D在像素位置为(i,j)的k方向的亮度差值

3)计算参考图像R与失真图像D原有的(即非扩充的)每一像素位置上的LBP模式值，计算公式如下：

${\mathrm{LBP}}_R^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{R,k}^{i,j}---\left(5\right)$

${\mathrm{LBP}}_D^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{D,k}^{i,j}---\left(6\right)$

其中与分别为参考图像R与失真图像D在像素位置为(i,j)的LBP模式值。某一像素的LBP模式值计算示意图如图2所示。

本发明上述步骤4使用LBP来提取图像每一像素位置的局部结构信息；对中心像素计算了8个方向的亮度变化情况，且通过给8个方向的亮度差值分配不同的权重表达了不同方向亮度差值的影响。

本发明上述步骤5直接计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值来表达图像局部结构的差异。

本发明上述步骤6直接计算各像素LBP值差异绝对值的算术平均来测量失真图像的质量。

本发明读入参考图像与失真图像，做灰度化处理以去除彩色信息，仅保留亮度分量进行后续处理；为减小计算复杂度，对亮度分量进行简单的2×2平均低通滤波，之后在像素域进行1/2的空间下采样，获得宽高均为输入图像尺寸一半的对应图像进行质量分析；计算空间下采样后的参考图像与失真图像在每一像素位置的局部二值模式(即：LBP)值；计算参考图像与失真图像每一像素位置上的LBP值差异；最后通过统计所有像素位置上LBP值差异的算术平均来获得失真图像的质量评价分。本发明所提出的全参考图像质量评价方法利用局部二值模式来提取图像局部结构特征，并通过比较LBP值的差异程度来描述失真图像的质量下降程度，定量地描述了不同类型失真对图像局部结构信息的影响，其客观评价结果与人眼主观评价结果非常一致。

Claims (7)

1.一种基于局部二值模式的全参考图像质量评价方法，其特征在于，包括如下步骤：

步骤1：读入参考图像与失真图像；

步骤2：将参考图像与失真图像进行灰度化处理以去除彩色信息，仅保留亮度分量进行后续的图像质量分析；

步骤3：对参考图像与失真图像的亮度分量进行简单的2×2平均低通滤波，2×2平均低通滤波器定义如下：

$T_{\mathrm{ave}}=\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right]---\left(1\right)$

对平均低通滤波后的图像宽度与高度在像素域进行1/2的空间下采样，得到宽高均为输入图像尺寸一半的对应参考图像R与对应失真图像D进行后续质量分析；

步骤4：对上述步骤3得到的空间下采样后的参考图像R与失真图像D，分别计算每一像素位置上的局部二值模式，即：LBP值；采用的LBP模式是近似半径为2的8邻域模式，即P8R2模式；在计算中心像素的LBP模式值时共涉及周围12个像素，分别包括左、下、右、上距离为2的4个像素，以及左下、右下、右上、左上的8个像素；

计算中心像素的LBP模式值时需要确定LBP编码的起始位置和顺序；采用中心像素左边为起始位置，顺序为逆时针，权值依次为2ⁱ,i∈{7,6,5,4,3,2,1,0}；

步骤5：计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值，计算公式如下：

${\mathrm{LBP}}_{R-D}^{i,j}=|{\mathrm{LBP}}_R^{i,j}-{\mathrm{LBP}}_D^{i,j}|---\left(2\right)$

其中与分别表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值，则表示参考图像R与失真图像D在像素位置为(i,j)的LBP模式值差异的绝对值；

步骤6：计算参考图像R与失真图像D所有像素位置上LBP值差异绝对值的算术平均来获得失真图像的质量评价分S，其公式为：

$S=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{LBP}}_{R-D}^{i,j}---\left(3\right)$

S值越小，表示参考图像R与失真图像D所有像素位置上的平均局部结构变化越小，失真图像的质量越好。

2.根据权利要求1所述的一种基于局部二值模式的全参考图像质量评价方法，其特征在于，所述方法的步骤4使用LBP来提取图像每一像素位置的局部结构信息；对中心像素计算了8个方向的亮度变化情况，且通过给8个方向的亮度差值分配不同的权重表达了不同方向亮度差值的影响。

3.根据权利要求1或2所述的一种基于局部二值模式的全参考图像质量评价方法，其特征在于，所述方法的步骤步骤4计算每一像素位置的LBP模式值，即：近似半径为2的8邻域模式，包括如下步骤：

1)对空间下采样后的参考图像R与失真图像D在左、下、右、上四个边界分别向外扩充2个像素，扩充的像素亮度值设为0；

2)对参考图像R与失真图像D原有的，即：非扩充的每一像素分别计算8个方向的亮度差值，以参考图像为例的计算公式如下：

$\left\{\begin{array}{c}{d}_{R,0}^{i,j}=R^{i,j-2}-R^{i,j}\\ d_{R,1}^{i,j}=0.5*R^{i+1,j-1}+0.5*R^{i+2,j-2}-R^{i,j}\\ d_{R,2}^{i,j}=R^{i+2,j}-R^{i,j}\\ d_{R,3}^{i,j}=0.5*R^{i+1,j+1}+0.5*R^{i+2,j+2}-R^{i,j}\\ d_{R,4}^{i,j}=R^{i,j+2}-R^{i,j}\\ d_{R,5}^{i,j}=0.5*R^{i-1,j+1}+0.5*R^{i-2,j+2}-R^{i,j}\\ d_{R,6}^{i,j}=R^{i-2,j}-R^{i,j}\\ d_{R,7}^{i,j}=0.5*R^{i-1,j-1}+0.5*R^{i-2,j-2}-R^{i,j}\end{array}\right.---\left(4\right)$

其中R^i,j表示参考图像R在像素位置为(i,j)的亮度值，表示参考图像R在像素位置为(i,j)的k,k∈[0,7]方向的亮度差值；按同样方法可计算得到失真图像D在像素位置为(i,j)的k方向的亮度差值

3)计算参考图像R与失真图像D原有的，即：非扩充的每一像素位置上的LBP模式值，计算公式如下：

${\mathrm{LBP}}_R^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{R,k}^{i,j}---\left(5\right)$

${\mathrm{LBP}}_D^{i,j}=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}{2}^{7-k}{d}_{D,k}^{i,j}---\left(6\right)$

其中与分别为参考图像R与失真图像D在像素位置为(i,j)的LBP模式值。

4.根据权利要求1所述的一种基于局部二值模式的全参考图像质量评价方法，其特征在于，所述方法的步骤5直接计算参考图像R与失真图像D每一像素位置上的LBP值差异的绝对值来表达图像局部结构的差异。

5.根据权利要求1所述的一种基于局部二值模式的全参考图像质量评价方法，其特征在于：所述方法的步骤6直接计算各像素LBP值差异绝对值的算术平均来测量失真图像的质量。

6.根据权利要求1所述的一种基于局部二值模式的全参考图像质量评价方法，其特征在于：所述方法利用局部二值模式来提取图像局部结构特征，并通过比较LBP值的差异程度来描述失真图像的质量下降程度，定量地描述了不同类型失真对图像局部结构信息的影响。

7.一种如权利要求1所述的基于局部二值模式的全参考图像质量评价方法应用于全参考图像质量评价。