CN104268590A - 基于互补性组合特征与多相回归的盲图像质量评价方法 - Google Patents

Abstract

本发明提供一种基于互补性组合特征与多相回归的盲图像质量评价方法，在特征提取方面，采有互补性的全局频域和局部空频图像特征，来更准确地捕捉图像感知相关信息。在预测模型构建方面，引入多项支撑矢量回归方案，并通过搜索每幅测试图像的K副近邻来构建其独立的训练样本集。通过该分段回归操作，可以有效提高感知质量预测模型的预测精度。本发明相比于现有的代表性盲图像质量评价方法，该方法更加鲁棒，并且可以取得和人工打分更一致的预测质量打分。

Description

基于互补性组合特征与多相回归的盲图像质量评价方法

技术领域

本发明涉及图像处理技术，特别涉及感知视觉信号处理技术。

背景技术

图像感知质量评价方法是实现智能图像质量评价，网络质量监控和图像增强等应用的关键技术。目前，成熟的全参考与弱参考图像质量评价方法要求获取成对的原始图像和失真图像信息，并通过比较两者差异来进行质量评价。然而，在实际应用当中，原始图像的信息往往无法获得。因此，高效的盲图像质量评价方法便成为了该瓶颈的突破口。

盲图像质量评价方法只需要失真图像自身的信息即可预测其感知质量，可以应用于相机对焦的判断、去除图片噪声的判断。现有的盲图像质量评价方法主要由两步组成：感知质量相关特征提取和质量预测模型回归。(1)在特征提取方面，最为广泛采用的特征是图像的自然场景统计信息。其主要局限是，不考虑人眼视觉感知系统的分层属性，仅采用单一特征域(如空域、DCT域和小波域)的全局统计信息；(2)在感知质量回归方面，现有方法主要采用单相支撑矢量回归，即将全部训练样本用于学习统一的支撑矢量回归(SVR)模型。其明显缺陷是不考虑测试图像的局部特性，在处理复杂的特征空间分布时无法有效拟合训练数据。

发明内容

本发明所要解决的技术问题是，提供一种鲁棒性更强的盲图像质量评价方法。

本发明为解决上述技术问题所采样的技术方案是，一种基于互补性组合特征与多相回归的盲图像质量评价方法，包括以下步骤：

步骤1)对测试图像进行互补性组合特征提取：

1-1：将测试图像统一转换为YCbCr通道；

1-2：分别在亮度分量Y通道、蓝色色度分量Cb通道、红色色度分量Cr通道上计算小波域全局幅度分布特征P＝[P^Y,P^Cb,P^Cr]；

1-3：在各通道上计算局部小波域方向梯度直方图HoG特征Q＝[Q^Y,Q^Cb,Q^Cr]；

1-4：在亮度分量Y通道上计算局部二值模式特征LBP；

1-5：将小波域全局分布特征P、局部小波域方向梯度直方图HoG特征以及局部二值模式特征LBP联起来得到总的互补性组合特征，

步骤2)将测试图像的互补性组合特征输入训练好的支持向量机SVM分类器对测试图像进行分类，SVM分类器输出该测试图像所属失真类型标签；

步骤3步骤3)计算测试图像与所属失真类型中所有训练图像的相似度，根据相似度从大到顺序选择前K个测试图像组成训练集，用训练集训练支持向量回归器SVR；

步骤4)将测试图像的互补性组合特征输入SVR，SVR输出测试图像的质量打分。

传统的特征提取方法不考虑图像的局部空频信息，并仅仅从单一变换域上提取特征。此外，基于单相支撑矢量回归的预测方法在处理复杂特征空间分布时表现不理想。本发明在特征提取方面，采有互补性的全局频域和局部空频图像特征，来更准确地捕捉图像感知相关信息。在预测模型构建方面，引入多项支撑矢量回归方案，并通过搜索每幅测试图像的K副近邻来构建其独立的训练样本集。通过该分段回归操作，可以有效提高感知质量预测模型的预测精度。

本发明的有益效果是，相比于现有的代表性盲图像质量评价方法，该方法更加鲁棒，并且可以取得和人工打分更一致的预测质量打分。

附图说明

图1为本发明示意图。

具体实施方式

本发明首先训练SVM分类器对图像失真类型进行识别。这里，分类器的输入为图像在小波域上各个子带的分布和HoG特征，以及空域上的LBP特征，输出为图像所属失真类型的标签。

其次，根据失真类型分类器的输出，在测试图像所属的失真类型的训练样本内寻找其K近邻。实施例中图像间的相似度采用特征的卡方距离来计算。

再次，将当前测试图像K近邻所构建的训练样本集用于训练其的专有的SVR回归器。

最后，将每幅测试图像的互补性组合特征输入其专有的SVR回归器，从而得到该测试图像质量的预测打分。

对于SVM分类器以及SVR回归器的训练为本领域的常用技术手段，不在此赘述。

实施例在matlab2013a软件平台上进行实现，主要包括四个步骤，分别是互补性组合特征提取，失真类型分类，每种失真类型下的K近邻搜索和计算每幅图像的SVR输出。具体如下：

步骤一、互补性组合特征提取，具体预测步骤如下：

第1步：将作为测试图像的彩色图像由RGB通道转换为YCbCr通道。

第2步：在每个颜色通道上计算小波域全局幅度分布特征。令表示通道i的第k个子带的小波系数幅度集合，i＝Y,Cb,Cr，则其系数分布可表示为L表示每个同道中小波子带总数，h(.)表示直方图统计算子，norm(.)表示归一化算子，则每个色度通道的全局小波系数幅度分布可表示为：

$P^Y=[p_1^Y,p_2^Y,...,p_L^Y]$

$P^{\mathrm{Cb}}=[p_1^{\mathrm{Cb}},p_2^{\mathrm{Cb}},...,p_L^{\mathrm{Cb}}]$

$P^{\mathrm{Cr}}=[p_1^{\mathrm{Cr}},p_2^{\mathrm{Cr}},...,p_L^{\mathrm{Cr}}]$

其总的多通道表示为：

P＝[P^Y,P^Cb,P^Cr]；

第3步：在每个颜色通道上计算局部小波域HoG特征。令g_x和g_y分别表示小波域上水平和垂直方向小波系数梯度。令和r分别表示梯度方向和幅值，即：

$r=\sqrt{g_x^2+g_y^2}$

这里，我们将梯度方向量化到8个方向，并采用梯度幅值投票方案进行HoG直方图统计。每个颜色通道上小波子带HoG分布可表示为：

$Q^Y=[q_1^Y,q_2^Y,...,q_L^Y]$

$Q^{\mathrm{Cb}}=[q_1^{\mathrm{Cb}},q_2^{\mathrm{Cb}},...,q_L^{\mathrm{Cb}}]$

$Q^{\mathrm{Cr}}=[q_1^{\mathrm{Cr}},q_2^{\mathrm{Cr}},...,q_L^{\mathrm{Cr}}]$

其总的多通道表示为：

Q＝[Q^Y,Q^Cb,Q^Cr]；

第4步：在亮度通道上计算LBP特征。

第5步：将全局和局部特征级联起来得到总的互补性组合特征，即

F¹＝P；F²＝Q；F³＝LBP

步骤二、采用训练好的SVM分类器对测试图像进行分类。该分类器的输入为测试图像的互补性组合特征向量输出为该图像所属失真类型标签。失真类型可以是模糊、噪声、压缩失真等。

步骤三、在步骤二确定的失真类型内，计算测试图像与训练图像的相似度。让表示第i个测试图像和第j个训练图像的第k类特征的卡方距离。所有特征总的距离即为N_F表示特征种类的数目，N_F＝3，∏为累乘。D_ij越小，表示两幅图像相似度越大。根据Di_j大小按从小打到大顺序选择测试图像的前K个近邻，这里我们设置K为30。

步骤四、将步骤三确定的K近邻组成训练集，训练SVR回归器。并将测试图像的特征作为SVR回归器的输入，并输出预测的质量打分。

Claims (5)

1.基于互补性组合特征与多相回归的盲图像质量评价方法，其特征在于，包括以下步骤：

步骤1)对测试图像进行互补性组合特征提取：

1-1：将测试图像统一转换为YCbCr通道；

1-2：分别在亮度分量Y通道、蓝色色度分量Cb通道、红色色度分量Cr通道上计算小波域全局幅度分布特征P＝[P^Y,P^Cb,P^Cr]；

1-3：在各通道上计算局部小波域方向梯度直方图HoG特征Q＝[Q^Y,Q^Cb,Q^Cr]；

1-4：在亮度分量Y通道上计算局部二值模式特征LBP；

1-5：将小波域全局分布特征P、局部小波域方向梯度直方图HoG特征以及局部二值模式特征LBP联起来得到总的互补性组合特征，

步骤2)将测试图像的互补性组合特征输入训练好的支持向量机SVM分类器对测试图像进行分类，SVM分类器输出该测试图像所属失真类型标签；

步骤3)计算测试图像与所属失真类型中所有训练图像的相似度，根据相似度从大到顺序选择前K个测试图像组成训练集，用训练集训练支持向量回归器SVR；

步骤4)将测试图像的互补性组合特征输入SVR，SVR输出测试图像的质量打分。

2.如权利要求1所述基于互补性组合特征与多相回归的盲图像质量评价方法，其特征在于，使用卡方距离来表示测试图像与分类中所有训练图像的相似度，卡方距离越小，两幅图像相似度越大。

3.如权利要求1所述基于互补性组合特征与多相回归的盲图像质量评价方法，其特征在于，K为30。

4.如权利要求1所述基于互补性组合特征与多相回归的盲图像质量评价方法，其特征在于，计算小波域全局幅度分布特征P＝[P^Y,P^Cb,P^Cr]的具体方法是：

$P^Y=[p_1^Y,p_2^Y,...,p_L^Y]$

$P^{\mathrm{Cb}}=[p_1^{\mathrm{Cb}},p_2^{\mathrm{Cb}},...,p_L^{\mathrm{Cb}}]$

$P^{\mathrm{Cr}}=[p_1^{\mathrm{Cr}},p_2^{\mathrm{Cr}},...,p_L^{\mathrm{Cr}}]$

其中， 表示通道i的第k个子带的小波系数幅度集合，i＝Y,Cb,Cr，L表示每个同道中小波子带总数，h(.)表示直方图统计算子，norm(.)表示归一化算子。

5.如权利要求1所述基于互补性组合特征与多相回归的盲图像质量评价方法，其特征在于，计算局部小波域方向梯度直方图HoG特征时，将梯度方向量化到8个方向，采用梯度幅值投票进行HoG统计，8个方向分别为0度、45度、90度、145度、180度、225度、270度、315度。