CN104036493B - 一种基于多重分形谱的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多重分形谱的无参考图像质量评价方法，属于图像处理领域。本发明方法具体实施包括如下步骤：（一）输入失真图像，对图像进行灰度处理，并去掉边框；（二）将图像的长和宽进行裁剪，成为64的整数倍，并分割为多个64×64像素的图像碎片；（三）建立同一种类型的失真图像数据库，从中训练出多重分形谱的参考数据；（四）输入失真图像，得到其多重分形谱aq,fq；（五）与数据库中的多重分形谱对应点求距离。本发明通过建立多重分形谱提取图像特征，并基于数据训练进行图像质量评价，评价结果符合人类视觉主观认识。

Description

一种基于多重分形谱的无参考图像质量评价方法

技术领域

本发明属于数字图像质量评价技术领域，涉及一种无参考型基于多重分形谱的图像质量客观评价方法。

背景技术

图像质量评价方法有两大类。1)主观评价方法。由观察者对图像质量进行评分。人是图像的最终使用者，主观质量评价是最为准确、可靠的图像质量评价方法。但是由于其耗时、昂贵，且易受实验环境、观察者的知识水平、喜好等自身条件等因素影响，评价结果往往不稳定，更不适用于实时系统。2)客观评价方法。具有简单、实时、可重复和易集成等优点，近几十年发展快速，成为图像质量评价体系中的研究热点。利用数学和工程方法对图像质量进行度量，弥补了主观评价方法的不足。由于人是图像的最终受体，客观评价与主观评价结果的一致越来越受到关注，且可作为一种客观评价方法好坏的衡量指标。结合图像自身特点和人类视觉系统的生理和心理特性的方法成为了当今研究的热点。

根据对原始图像信息的依赖程度，客观质量评价可分为3类。1)全参考，需要原始图像的所有信息；2)部分参考，需要原始图像的特征信息；3)无参考型，不需要原始图像。无参考方法不需要原始图像的任何信息，直接对失真图像进行质量评价。无参考型质量评估算法难点在于：图像特征难以定义和提取，人眼感知难以模型化表示。其优点是不需要传输原始图像，就能对失真图像进行质量评价。极大地减少了信息传输量。因此受到了很多人的关注，呈蓬勃发展之势。无参考方法一般都是基于图像统计特性。

基于数据训练的无参考评价方法无需分析失真的原因，而是将训练得到的数据直接作为图像质量评价的标准。它可应用于所有失真图像，使用范围广泛；但需要进行复杂的数据训练，且评价结果易受图像内容以及训练策略的影响。

基于分形维数质量评价方法在总结分形维数理论的基础上，提出了用分形作为指标来进行图像质量评价的方法。该类方法基于以下原理：人眼视觉系统的一个基本特征是局部对比的敏感性，即视觉只对视场中亮度或纹理发生显著变化的区域感兴趣，尤其是对图像边缘、轮廓信息的失真以及中高亮度背景中的纹理细节的变化较为敏感。由于自然界绝大多数自然景物具有分形特征，因此分形维数具有从非线性角度表征图像纹理的粗糙程度以及模式复杂性信息的特点。但是，现有的基于单一分形维数的方法存在以下缺陷：由于单一分形维数不能描述图像纹理变化的快慢，因此很多视觉差别很大的图像具有相似的单一分形维数。其他的基于分形理论的评价方法认识到这种缺陷，提出结合别的参数作为分形维数的补偿。但是也存在对于不同失真类型和不同失真强度的图像质量评价缺乏一致性的问题。

发明内容

本发明的目的，就是针对传统的基于单一分形的图像客观质量评价方法在测量直观性和准确性方面的不足，充分考虑多重分形谱中包含的多个(甚至无穷多)参量能完整地描述图像中包含的复杂分形细节，提供一种基于多重分形谱的全参考型图像质量客观评价方法。为实现上述目的，本方法具体包括以下步骤：

步骤(1)：输入参考图像R；

步骤(2)：对参考图像R进行灰度化处理，当参考图像R有边框时，裁剪掉边框；

步骤(3)：对步骤(2)处理后的图像的长和宽进行裁剪，使其像素成为64的整数倍，并分割成为64×64像素大小的图像碎片；

步骤(4)：对每一个图像碎片建立多重分形谱；

多重分形谱的建立步骤如下：

1)由于计算机存储的8位bmp格式图像的灰度有256阶，将Sums作为该图像碎片的所有像素点的灰度值相加得到的和，

$\mathrm{Sums}=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}\underset{j=1}{\overset{64}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}$

其中aij表示第i行第j列的像素点的灰度值；

2)将图像碎片分割为边长w为2的小盒子，即大小为2×2的小盒子，总共可分成32×32共1024块小盒子，求每个小盒子的灰度值的和nLk，

${\mathrm{nL}}_k=\underset{m=1}{\overset{2}{\mathrm{\Σ}}}\underset{n=1}{\overset{2}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}$

其中，amn表示每个小盒子内部第m行第n列的像素点的灰度值；k作为小盒子的序号，取值随小盒子边长w的改变而改变，其最大值

$k_{\max }=\frac{{64}^2}{w^2}$

由于此时图像大小为2×2，则k的取值范围为1～1024；

3)使每个小盒子的灰度值的和nLk与总的灰度值的和Sums做比例，得到比值pLk，

${\mathrm{pL}}_k=\frac{{\mathrm{nL}}_k}{\mathrm{Sums}}$

4)设置统计矩的阶q，表征多重分形不均匀程度的量，根据q对各个小盒子进行概率加权求和得到Xq，

$\mathrm{Xq}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}{{\mathrm{pL}}_k}^q$

其中根据参数设定，q取最小值为-50.5，最大值为+50.5，步长为1，共102个值，所以count取1～102，且count与统计矩的阶q的函数关系为：

count＝q+50.5+1

而由于图像碎片大小为64×64，小盒子边长w的值可以是2,4,8,16,32即小盒子大小为2×2，4×4，8×8，16×16，32×32共5种情况，所以L的取值为1～5，且L与小盒子边长w的函数关系为

L＝log₂w

所以得到的Xq矩阵大小为[5,102]；

5)根据多重分形谱的原理，计算奇异性指数aq和多重分形奇异谱fq，得到aq-fq图像；

首先计算奇异性指数aq的中间变量矩阵aql和多重分形奇异谱fq的中间变量矩阵fql：

$\mathrm{\αql}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\ln \left({\mathrm{pL}}_k\right)$

$\mathrm{fql}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\ln \left(\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\right)$

分别更改小盒子边长w的大小和统计矩的阶q的取值，填充质量指数函数矩阵Xq，和中间变量矩阵αql，fql；

当边长w取4时，在每个小盒子的灰度值的和nLk时，m和n的取值范围为1～4，而小盒子的序号k的取值范围为1～256，当w取8,16,32时以此类推；

6)以横坐标为小盒子边长相对于图像碎片边长的对数值le

$\mathrm{le}\left[L\right]=\ln \left(\frac{w}{64}\right)$

其中，w取2,4,8,16,32，L取1～5，得到图像碎片边长的对数值数列le[5]；

以纵坐标为当前边长w下的小盒子的中间变量αql的值αql，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前统计矩的阶q的奇异性指数aq[count]；改变统计矩的阶q值，则奇异性指数aq共有102个结果，得到数列aq[102]；

同理，以横坐标为小盒子边长w相对于图像碎片边长的对数值数列le[5]，以纵坐标为当前边长w下的小盒子的中间变量fql值，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前q值的多重分形奇异谱fq[count]，改变q值，则多重分形奇异谱fq共有102个结果，得到数列fq[102]；

则奇异性指数aq和多重分形奇异谱fq即为多重分形谱的横轴与纵轴；

步骤(5)：对相同种类图片的相同位置的奇异性指数aq和多重分形奇异谱fq求平均数，作为本类图像经数据训练后的数据

步骤(6)：将待评价图像经步骤(2)至步骤(4)处理，得到待评价图像多重分形谱的奇异性指数aq’和多重分形奇异谱fq’

将步骤(5)得到的本类图像经数据训练后的数据与待评价图像多重分形谱的奇异性指数aq’和多重分形奇异谱fq’对应点之间逐点进行取距离dis，其计算公式为：

$\mathrm{dis}=\sqrt{{({\mathrm{\αq}}^{\′}-\stackrel{\‾}{\mathrm{\αq}})}^2+{({\mathrm{fq}}^{\′}-\stackrel{\‾}{\mathrm{fq}})}^2};$

步骤(7)：求距离dis的平均值，并作为得到的分数，平均值越小，表示图像质量越高。

本发明充分考虑多重分形谱中包含的多个参量能完整地描述图像中包含的复杂分形细节，获得无参考图像质量的客观评价，提高了图像质量评价的性能，改善了传统算法预测准确性偏低的问题。

附图说明

图1为本发明方法框图。

图2为图像示例，LIVE数据库中bikes图像。

图3为图2中的图像经过灰度和边框裁剪所得图像。

图4为图3中的图像经过大小裁剪及分割后所得。

图5为图4中图像左上角的放大图。

图6为奇异性指数q为-1.5时bikes左上角的图像碎片le-αql图像。

图7为奇异性指数q为-1.5时bikes左上角的图像碎片le-fql图像。

图8为bikes左上角的图像碎片经过数据训练后得到的数据图像。

图9为bikes左上角的图像碎片待评价图像与参考数据图像对比。

具体实施方式

步骤(1)：输入参考图像R，如图1所示为LIVE数据库中的bikes图像；

步骤(2)：对参考图像R进行灰度化处理，当参考图像R有边框时，裁剪掉边框，根据图1所示，可看出它有灰色边框，可去掉上下左右各5个像素，如图2所示；

步骤(3)：对步骤(2)处理后的图像的长和宽进行裁剪，使其像素成为64的整数倍，并分割成为64×64像素大小的图像碎片，如图3所示；

步骤(4)：对每一个图像碎片建立多重分形谱，比如从图3中抽取左上角图像如图4，建立多重分形谱；

多重分形谱的建立步骤如下：

1)由于计算机存储的8位bmp格式图像的灰度有256阶，将Sums作为该图像碎片的所有像素点的灰度值相加得到的和，

$\mathrm{Sums}=\underset{i=1}{\overset{64}{\mathrm{\Σ}}}\underset{j=1}{\overset{64}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}$

其中aij表示第i行第j列的像素点的灰度值；

2)将图像碎片分割为边长w为2的小盒子，即大小为2×2的小盒子，总共可分成32×32共1024块小盒子，求每个小盒子的灰度值的和nLk，

${\mathrm{nL}}_k=\underset{m=1}{\overset{2}{\mathrm{\Σ}}}\underset{n=1}{\overset{2}{\mathrm{\Σ}}}{a}_{\mathrm{mn}}$

其中，amn表示每个小盒子内部第m行第n列的像素点的灰度值；k作为小盒子的序号，取值随小盒子边长w的改变而改变，其最大值

$k_{\max }=\frac{{64}^2}{w^2}$

由于此时图像大小为2×2，则k的取值范围为1～1024；

3)使每个小盒子的灰度值的和nLk与总的灰度值的和Sums做比例，得到比值pLk，

${\mathrm{pL}}_k=\frac{{\mathrm{nL}}_k}{\mathrm{Sums}}$

4)设置统计矩的阶q，表征多重分形不均匀程度的量，根据q对各个小盒子进行概率加权求和得到Xq，

$\mathrm{Xq}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}{{\mathrm{pL}}_k}^q$

其中根据参数设定，q取最小值为-50.5，最大值为+50.5，步长为1，共102个值，所以count取1～102，且count与统计矩的阶q的函数关系为：

count＝q+50.5+1

而由于图像碎片大小为64×64，小盒子边长w的值可以是2,4,8,16,32即小盒子大小为2×2，4×4，8×8，16×16，32×32共5种情况，所以L的取值为1～5，且L与小盒子边长w的函数关系为

L＝log₂w

所以得到的Xq矩阵大小为[5,102]；

5)根据多重分形谱的原理，计算奇异性指数aq和多重分形奇异谱fq，得到aq-fq图像；

首先计算奇异性指数aq的中间变量矩阵aql和多重分形奇异谱fq的中间变量矩阵fql：

$\mathrm{\αql}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\ln \left({\mathrm{pL}}_k\right)$

$\mathrm{fql}[L,\mathrm{count}]=\underset{k=1}{\overset{1024}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\ln \left(\frac{{{\mathrm{pL}}_k}^q}{\mathrm{Xq}[L,\mathrm{count}]}\right)$

分别更改小盒子边长w的大小和统计矩的阶q的取值，填充质量指数函数矩阵Xq，和中间变量矩阵αql，fql；

当边长w取4时，在每个小盒子的灰度值的和nLk时，m和n的取值范围为1～4，而小盒子的序号k的取值范围为1～256，当w取8,16,32时以此类推；

6)以横坐标为小盒子边长相对于图像碎片边长的对数值le

$\mathrm{le}\left[L\right]=\ln \left(\frac{w}{64}\right)$

其中，w取2,4,8,16,32，L取1～5，得到图像碎片边长的对数值数列le[5]；

以纵坐标为当前边长w下的小盒子的中间变量αql的值αql，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前统计矩的阶q的奇异性指数aq[count]；改变统计矩的阶q值，则奇异性指数aq共有102个结果，得到数列aq[102]，如图5所示为当q为-1.5时得到的le-αql图像；

同理，以横坐标为小盒子边长w相对于图像碎片边长的对数值数列le[5]，以纵坐标为当前边长w下的小盒子的中间变量fql值，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前q值的多重分形奇异谱fq[count]，改变q值，则多重分形奇异谱fq共有102个结果，得到数列fq[102]，如图6所示为当q为-1.5时得到的le-fql图像；

则奇异性指数aq和多重分形奇异谱fq即为多重分形谱的横轴与纵轴，如图7所示；

步骤(5)：对相同种类图片的相同位置的奇异性指数aq和多重分形奇异谱fq求平均数，作为本类图像经数据训练后的数据如图8所示为bikes左上角的图像碎片的经过数据训练后的数据图像；

步骤(6)：将待评价图像经步骤(2)至步骤(4)处理，得到待评价图像多重分形谱的奇异性指数aq’和多重分形奇异谱fq’

将步骤(5)将得到的本类图像经数据训练后的数据与待评价图像多重分形谱的奇异性指数aq’和多重分形奇异谱fq’放在同一图像中，如图9所示为经数据训练后得到的数据(圆圈线)和待评价图像得到的数据(三角线)二者多重分形谱之间的差异，对两个图像对应点之间逐点取距离dis，其计算公式为：

$\mathrm{dis}=\sqrt{{({\mathrm{\αq}}^{\′}-\stackrel{\‾}{\mathrm{\αq}})}^2+{({\mathrm{fq}}^{\′}-\stackrel{\‾}{\mathrm{fq}})}^2};$

步骤(7)：求距离dis的平均值，并作为得到的分数，平均值越小，表示图像质量越高。

Claims (1)

1.一种基于多重分形谱的无参考图像质量评价方法，其特征在于它包括以下步骤：

步骤(1)：输入参考图像R；

步骤(2)：对参考图像R进行灰度化处理，当参考图像R有边框时，裁剪掉边框；

步骤(3)：对步骤(2)处理后的图像的长和宽进行裁剪，使其像素成为64的整数倍，并分割成为64×64像素大小的图像碎片；

步骤(4)：对每一个图像碎片建立多重分形谱；

多重分形谱的建立步骤如下：

1)由于计算机存储的8位bmp格式图像的灰度有256阶，将Sums作为该图像碎片的所有像素点的灰度值相加得到的和，

$Sums=\underset{i=1}{\overset{64}{\Σ}}\underset{j=1}{\overset{64}{\Σ}}{a}_{ij}$

其中a_ij表示第i行第j列的像素点的灰度值；

2)将图像碎片分割为边长w为2的小盒子，即大小为2×2的小盒子，总共可分成32×32共1024块小盒子，求每个小盒子的灰度值的和nL_k，

${\mathrm{nL}}_k=\underset{m=1}{\overset{w}{\Σ}}\underset{n=1}{\overset{w}{\Σ}}{a}_{mn}$

其中，a_mn表示每个小盒子内部第m行第n列的像素点的灰度值；k作为小盒子的序号，取值随小盒子边长w的改变而改变，其最大值

$k_{max}=\frac{{64}^2}{w^2}$

由于此时小盒子大小为2×2，则k的取值范围为1～1024；

3)使每个小盒子的灰度值的和nL_k与总的灰度值的和Sums做比例，得到比值pL_k，

${\mathrm{pL}}_k=\frac{{\mathrm{nL}}_k}{Sums}$

4)设置统计矩的阶q，表征多重分形不均匀程度的量，根据q对各个小盒子进行概率加权求和得到Xq，

$Xq\[L,count\]=\underset{k=1}{\overset{k_{\max }}{\mathrm{\Σ}}}{{\mathrm{pL}}_k}^q$

其中根据参数设定，q取最小值为-50.5，最大值为+50.5，步长为1，共102个值，所以count取1～102，且count与统计矩的阶q的函数关系为：

count＝q+50.5+1

而由于图像碎片大小为64×64，小盒子边长w的值是2,即小盒子大小为2×2，所以L的取值为1，且L与小盒子边长w的函数关系为

L＝log₂ w

所以得到的Xq矩阵为Xq[1,102]；

5)根据多重分形谱的原理，计算奇异性指数aq和多重分形奇异谱fq，得到aq-fq图像；

首先计算奇异性指数aq的中间变量矩阵αql和多重分形奇异谱fq的中间变量矩阵fql：

$\mathrm{\α}ql\[L,count\]=\underset{k=1}{\overset{k_{\max }}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{Xq\[L,count\]}\ln \left({\mathrm{pL}}_k\right)$

$fql\[L,count\]=\underset{k=1}{\overset{k_{\max }}{\mathrm{\Σ}}}\frac{{{\mathrm{pL}}_k}^q}{Xq\[L,count\]}\ln \left(\frac{{{\mathrm{pL}}_k}^q}{Xq\[L,count\]}\right)$

分别更改小盒子边长w的大小和统计矩的阶q的取值，填充质量指数函数矩阵Xq，和中间变量矩阵αql，fql；

当边长w取4时，在计算每个小盒子的灰度值的和nL_k时，m和n的取值范围为1～4，而小盒子的序号k的取值范围为1～256，当w取8,16,32时以此类推；

6)以横坐标为小盒子边长相对于图像碎片边长的对数值le

$le\[L\]=ln\left(\frac{w}{64}\right)$

其中，w取2,4,8,16,32，L取1～5，得到图像碎片边长的对数值数列le[5]；

以纵坐标为当前边长w下的小盒子的中间变量矩阵αql的中间变量值，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前统计矩的阶q的奇异性指数aq；改变统计矩的阶q值，则奇异性指数aq共有102个结果，得到数列aq[102]；

同理，以横坐标为小盒子边长w相对于图像碎片边长的对数值数列le[5]，以纵坐标为当前边长w下的小盒子的中间变量矩阵fql的中间变量值，进行最小二乘法直线拟合，则拟合出的直线斜率即为当前q值的多重分形奇异谱fq，改变q值，则多重分形奇异谱fq共有102个结果，得到数列fq[102]；

则奇异性指数aq和多重分形奇异谱fq即为多重分形谱的横轴与纵轴；

步骤(5)：对相同种类图片的相同位置的奇异性指数aq和多重分形奇异谱fq求平均数，作为本类图像经数据训练后的数据

步骤(6)：将待评价图像经步骤(2)至步骤(4)处理，得到待评价图像多重分形谱的奇异性指数αq'和多重分形奇异谱fq'；

将步骤(5)得到的本类图像经数据训练后的数据与待评价图像多重分形谱的奇异性指数αq'和多重分形奇异谱fq’对应点之间逐点进行取距离dis，其计算公式为：

$dis=\sqrt{{({\mathrm{\αq}}^{\′}-\stackrel{\‾}{\mathrm{\α}q})}^2+{({\mathrm{fq}}^{\′}-\stackrel{\‾}{fq})}^2};$

步骤(7)：求距离dis的平均值，并作为得到的分数，平均值越小，表示图像质量越高。