CN103778636A - 一种用于无参考图像质量评价的特征构建方法 - Google Patents

Abstract

本发明公开一种用于无参考图像质量评价的特征构建方法，该方法首先对进行预处理，得到均值对比度归一化图像即MSCN图像；然后在多个尺度下对MSCN图像及邻域MSCN乘积图像计算统计直方图；接着将所有直方图进行串行级联，形成一个串联直方图；以此串联直方图为特征，训练分类器得到预测模型，对测试图像进行质量评价。与现有技术相比，本发明保留了更多原始图像的统计信息，具有更好的泛化性能。

Description

一种用于无参考图像质量评价的特征构建方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种用于无参考图像质量评价的特征构建方法。

背景技术

无参考图像质量评价直接对输入图像进行分析，进而做出质量好坏评价。由于不需要原始图像源信息，对于实际应用非常方便。无参考客观图像质量评价方法分为两大类，第一类是基于训练模型的，这种方法往往根据具体失真种类提取一些特征，然后通过训练模型得到特征与预测主观分值的映射关系，不便之处在于对于不同失真都要设计方法提取相应特征，通用性比较差；另一类基于图像的自然统计特征，这种方法认为失真图像相对于无损图像一些特征存在着差异，并且这种差异会根据失真种类，损伤程度的不同而改变，从而能够通过这些特征评估图像的质量，此类方法无需知道图像的失真种类，通用性较强。

通过对现有文献的检索，目前无参考图像质量评价的代表性方法是AnishMittal等人在2012年IEEE Transactions on Image Processing,vol.21(12),pp.4695-4708（2012年IEEE图像处理会刊第21卷12期，4695至4708页）上发表的“No-reference image quality assessment in the spatial domain（空间域无参考图像质量评价）”一文中提出的一种用于无参考图像质量评价的自然图像统计特征构建方法(简称为BRISQUE)。该方法直接对多个不同尺度或方位的预处理图像拟合广义高斯分布模型，将模型参数共计36个系数值作为图像自然统计特征，采用支持向量机(Support Vector Machine,简称SVM)进行模型训练和测试。然而拟合广义高斯分布模型的步骤对输入图像做了过强的假设，不可避免地降低了图像的原始信息量，进而影响了模型的精度。

发明内容

本发明在现有基于自然统计特性的无参考客观质量评价方法的基础上，设计了一种新的特征构建方法，可以保留很多图像的原始信息量，可以获得更高的图像质量评价效果。

本发明在Anish Mittal等人方法的基础上，简化了特征提取方法，创新点在于：用分布直方图参数取代了广义高斯分布参数，广义高斯分布参数属于粗粒度的特征因而会损失部分原始图像的信息；而本发明在预处理图像上直接构建串联直方图特征，尽可能地保留原始图像的统计特性，进而降低了复杂度并提升了泛化特能。

为实现上述目的，本发明采用以下技术方案：

一种用于无参考图像质量评价的特征构建方法，该方法包括如下步骤：

1）图像预处理，得到均值对比度归一化（Mean Subtracted ContrastNormalized，简称MSCN）图像；

本步骤中，对于原图I(i,j),用下列公式进行预处理，从而得到均值对比度归一化的MSCN图像：

$I^{\′}(i,j)=\frac{I(i,j)-\mathrm{\μ}(i,j)}{\mathrm{\σ}(i,j)+C}$

其中，i,j是像素坐标，i∈1,2,…,M,j∈1,2,…,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像；μ(i,j)和σ(i,j)通过如下公式获得：

$\mathrm{\μ}(i,j)=\underset{k=-K}{\overset{K}{\mathrm{\Σ}}}\underset{l=-L}{\overset{L}{\mathrm{\Σ}}}{w}_{k,l}{I}_{k,l}(i,j)$

$\mathrm{\σ}(i,j)=\sqrt{\underset{k=-K}{\overset{K}{\mathrm{\Σ}}}\underset{l=-L}{\overset{L}{\mathrm{\Σ}}}{w}_{k,l}{(I_{k,l}(i,j)-\mathrm{\μ}(i,j))}^2}$

其中w={w_k,l|k=-K,…,K,l=-L,…,L}是二维高斯窗口；K=L=3；μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差；

2）计算MSCN图像与邻域MSCN图像的乘积图像：水平H，垂直V，正斜D1，反斜D2，乘积图像的公式如下：

H(i,j)=I′(i,j)I′(i,j+1)

V(i,j)=I′(i,j)I′(i+1,j)

D1(i,j)=I′(i,j)I′(i+1,j+1)

D2(i,j)=I′(i,j)I′(i+1,j-1)

3）统计MSCN图像以及H,V,D1,D2四个方向MSCN乘积图像的直方图；

4）在多个尺度下重复执行1)-3)，并将所有直方图串行排列起来，形成串联直方图，作为图像质量评价的特征。

进一步的，所述方法用于无参考图像质量评价时，对训练图像库中的图像提取串联直方图特征，并可以将其与主观分值一起放入分类器中进行训练，得到预测模型；利用典型的分类器，如SVM或者神经网络进行模型训练，并用于图像质量评价。

与现有技术相比，本发明具有如下的有益效果：

本发明提取的自然统计特征保留了原始图像的很多信息，因此用来评价图像质量能够获得更好的效果，具有更好的泛化性能。

附图说明

通过阅读参照以下附图，对于本发明的特征、目的和优点将会变得更明显：

图1是基于自然统计特性直方图特征的无参考客观质量评价方法框图。

图2a-图2k是本发明实施例中串联直方图构建示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处结合本发明在无参考客观图像质量评价应用将以描述，具体是将本发明构建的反映自然图像统计特性的特征，采用SVM进行训练和测试，应用于质量评价，具体框图如图1所示。

下面首先介绍图像预处理的步骤，然后将在此基础之上详细介绍自然统计特性直方图特征的提取方式，最后介绍支持向量机分类器的使用方法。

1）图像预处理

对于原图I(i,j),用下列公式进行预处理，从而得到均值对比度归一化的MSCN图像：

$I^{\′}(i,j)=\frac{I(i,j)-\mathrm{\μ}(i,j)}{\mathrm{\σ}(i,j)+C}---\left(1\right)$

其中，i,j是像素坐标，i∈1,2,…,M,j∈1,2,…,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像；μ(i,j)和σ(i,j)通过如下公式获得：

$\mathrm{\μ}(i,j)={\mathrm{\Σ}}_{k=-K}^K{\mathrm{\Σ}}_{l=-L}^L{w}_{k,l}{I}_{k,l}(i,j)---\left(2\right)$

$\mathrm{\σ}(i,j)=\sqrt{{\mathrm{\Σ}}_{k=-K}^K{\mathrm{\Σ}}_{l=-L}^L{w}_{k,l}{(I_{k,l}(i,j)-\mathrm{\μ}(i,j))}^2}---\left(3\right)$

其中w={w_k,l|k=-K,…,K,l=-L,…,L}是二维高斯窗口；K=L=3；μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差。

2）直方图计算

计算MSCN图像与邻域图像（水平H，垂直V，正斜D1，反斜D2）的乘积图像：

H(i,j)=I′(i,j)I′(i,j+1)      (4)

V(i,j)=I′(i,j)I′(i+1,j)      (5)

D1(i,j)=I′(i,j)I′(i+1,j+1)   (6)

D2(i,j)=I′(i,j)I′(i+1,j-1)   (7)

连同MSCN图像I′(i,j)在内，共有五副图像。另外，对原始图像的低分辨图像也做相同的前述步骤，一共可以得到十副图像。

3）串联直方图特征构建

经过分析，MSCN图像的像素值绝大多数集中在[-2,2]，邻域乘积图像像素值绝大多数集中在[-1,1]，因此可将这两个区间等分成40个子区间，然后在这个区间上计算前述十副图像的分布直方图，则每个分布直方图都相当于一个40维向量。在串联了10个分布直方图后，总共提取了400维向量，作为反映自然图像统计特性的串联直方图特征。该构建过程如图2所示。图2a为原始分辨率下MSCN图像（I'）直方图；图2b为原始分辨率下水平方向MSCN乘积图像（H）直方图；图2c原始分辨率下垂直方向MSCN乘积图像（V）直方图；图2d原始分辨率下正斜方向MSCN乘积图像（D1）直方图；图2e为原始分辨率下反斜方向MSCN乘积图像（D2）直方图；图2f为低分辨率下MSCN图像（I'）直方图；图2g为低分辨率下水平方向MSCN乘积图像（H）直方图；图2h为低分辨率下垂直方向MSCN乘积图像（V）直方图；图2i为低分辨率下正斜方向MSCN乘积图像（D1）直方图；图2j为低分辨率下反斜方向MSCN乘积图像（D2）直方图；图2k为本发明形成的串联直方图特征。

4）使用SVM执行无参考图像质量评价

对训练图像集采用本发明的方法构建串联直方图特征，将这些特征与相应的主观分值输入到SVM中训练，获得训练好的SVM；评价时候，首先对测试图像提取串联直方图特征，然后输入训练好的SVM中，得到预测分值。

以公开的视频质量评价数据库LIVE IQA数据库为例，该数据库以29个参考图像为基础，并给出相应的主观DMOS值。噪声形式为JPEG2000(JP2K)，JPEG，white noise(WN)，Gaussian blur(Blur)和fast-fading。将数据库随机分成训练集(80%)和测试集(20%)。对于每种分割方式，首先输入训练集来训练方法模型，然后将测试集验证该模型得到最终的预测准确率。斯皮尔曼系数(SROCC)和皮尔森系数(LCC)被用来作为衡量预测准确性的指标。

下表是迭代1000次取平均值获得的结果，同时给出了广泛使用的全参考图像质量评价方法（PSNR，SSIM）与代表性的无参考质量评价方法BRISQUE结果作为对比。从表中可以看出本发明的性能最为出色。

表一不同方法的性能比较

以上所述仅是本发明的优选实施方式，本发明的保护范围不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范畴。应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也都应视为本发明的保护范围。

Claims (2)

1.一种用于无参考图像质量评价的特征构建方法，其特征在于所述方法包括如下步骤：

第一步，图像预处理，得到均值对比度归一化图像即MSCN图像；

对于原图I(i,j),用下列公式进行预处理，从而得到均值对比度归一化的MSCN图像：

$I^{\′}(i,j)=\frac{I(i,j)-\mathrm{\μ}(i,j)}{\mathrm{\σ}(i,j)+C}$

其中，i,j是像素坐标，i∈1,2,…,M,j∈1,2,…,N;M,N分别是图像的长宽;C=1防止分母为零;I′是MSCN图像；μ(i,j)和σ(i,j)通过如下公式获得：

$\mathrm{\μ}(i,j)=\underset{k=-K}{\overset{K}{\mathrm{\Σ}}}\underset{l=-L}{\overset{L}{\mathrm{\Σ}}}{w}_{k,l}{I}_{k,l}(i,j)$

$\mathrm{\σ}(i,j)=\sqrt{\underset{k=-K}{\overset{K}{\mathrm{\Σ}}}\underset{l=-L}{\overset{L}{\mathrm{\Σ}}}{w}_{k,l}{(I_{k,l}(i,j)-\mathrm{\μ}(i,j))}^2}$

其中w={w_k,l|k=-K,…,K,l=-L,…,L}是二维高斯窗口；K=L=3；μ(i,j)是在窗口内的局部均值,σ(i,j)是窗口内的局部方差；

第二步，计算MSCN图像与邻域MSCN图像的乘积图像：水平H，垂直V，正斜D1，反斜D2，乘积图像的公式如下：

H(i,j)=I′(i,j)I′(i,j+1)

V(i,j)=I′(i,j)I′(i+1,j)

D1(i,j)=I′(i,j)I′(i+1,j+1)

D2(i,j)=I′(i,j)I′(i+1,j-1)

第三步，统计MSCN图像以及H,V,D1,D2四个方向MSCN乘积图像的直方图；

第四步，在多个尺度下重复执行第一步到第三步，并将所有直方图串行排列起来，形成串联直方图，作为图像质量评价的特征。

2.根据权利要求1所述的一种用于无参考图像质量评价的特征构建方法，其特征在于所述方法用于无参考图像质量评价时，对训练图像库中的图像提取串联直方图特征，与主观分值一起放入分类器中进行训练，得到预测模型；对测试图像计算图像级联直方图特征，用训练好的分类器进行评价。

Images