CN104794716A - 基于图像分形特征的图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于图像分形特征的图像质量客观评价方法。本发明具体实施包括如下步骤：1.在预处理环节，使用公知数据库中的原始图像进行训练和拟合，得到图像质量评价的基准特征信息——分形维数矩阵和多重分形谱；2.采用盒子记数法分别计算待测失真图像的分形维数矩阵和多重分形谱等图像特征信息；3.将获取的失真图像特征信息与基准参考特征信息进行对比处理，得到其差异，并基于此通过综合处理以客观度量失真图像的质量。本发明所提出的图像质量客观评价与主观评价具有很好的一致性，对于含有特定失真类型的图像质量评价性能更优异。

Description

基于图像分形特征的图像质量客观评价方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于图像分形特征的图像质量客观评价方法。

背景技术

图像处理也广泛的应用在医疗，军事，遥感，监测等诸多学科和领域。然而，由于多种因素的影响，图像在获取、处理、传输和存储的过程中，将不可避免地产生图像降质问题，这给信息获取和后期处理带来了极大的困难。因此，通过图像质量的客观评价，进而监控和优化图像处理系统性能，已经成为图像处理领域的重要研究内容，具有十分重要的理论和工程应用价值。

一般来讲，根据对原始图像信息的依赖程度，图像质量客观评价可以分为三类：全参考质量评价方法、半参考质量评价方法和无参考质量评价方法。在很多实际应用场景中，由于无法给传输和处理的图像找到充分的原始参考信息，因此无参考图像质量评价具有更加重要的现实意义。

然而，由于缺乏图像的先验知识，而且现阶段对于人类视觉系统、视觉生理心理、自然图像统计特性和图像质量等方面的理解与研究并不充分，无参考图像质量评价的研究进展相对缓慢。

发明内容

本发明的目的是将分形几何学中的理论，如分形维数和多重分形谱分析方法，应用到图像质量评价的研究领域。通过对图像分形维数和多重分形谱进行分析和特征提取，提出一种基于图像分形特征的图像质量客观评价方法。

由于自然图像具有自相似性，具有明显的分形特征，本发明基于分形理论对图像建模反映图像的失真情况，利用分形维数和多重分形谱等作为图像的特征信息，实现对图像质量的度量，从而取得良好的图像质量评价效果。

本发明采取的技术方案是：

首先，结合函数拟合的方法和机器学习的思想，在预处理的环节，使用公知数据库(如美国德州大学奥斯汀分校的LIVE数据库)中的原始图像进行训练和拟合，得到后续图像质量评价的基准特征信息——分形维数矩阵和多重分形谱；然后，分别提取待测失真图像的分形维数矩阵和多重分形谱等图像特征；进而，将获取的失真图像特征信息与基准参考特征信息进行对比处理，并通过综合(pooling)处理得到失真图像的客观质量度量。

本发明解决其技术问题所采用的技术方案如下：

步骤(1).根据公知数据库(如美国德州大学奥斯汀分校的LIVE图像数据库)中的原始图像顺序编号，循环读入所有原始图像。

步骤(2).分别计算步骤(1)读入的原始图像的分形维数。

分形维数的计算采用盒子记数法，将原始图像转化为二值图像，然后通过划分格子并记数来计算分形维数，具体如下：

将原始图像用边长为r的盒子进行覆盖，然后根据边长r的不同，分别计算不同r对应的盒子数N(r)，最后对r和N(r)取对数求其比值，进而得出原始图像的分形维数FD：

$\mathrm{FD}=-\underset{r\→0}{\lim }\frac{\log N\left(r\right)}{\log r}---\left(1\right)$

其中，r为盒子边长，N(r)是完全覆盖信号所需的盒子数量。

步骤(3).采用盒子记数法分别绘制出步骤(1)循环读入的原始图像的多重分形谱。此方法和步骤(2)FD估算基于同样的原理。循环读入的原始图像被划分为边长为r的盒子，然后在每个盒子中进行规范化的测量和计算。

3-1.利用标准的盒子记数法来分析点集，具体如下：

首先将循环读入的原始图像转化为灰度图像；

然后将灰度图像视为三维空间的一个曲面，其中，X和Y坐标为灰度图像中像素的位置，Z坐标为灰度值；

接着依据灰度值变化的剧烈程度，灰度图像上的点被划分为一系列的子集E_i(a)，对子集E_i(a)求取其密集程度，用f(a)来表示，其中，i为子集个数，(a,f(a))为分形谱的点坐标；

最后随着a的变化得到一系列的f(a)，f(a)进一步刻画了各个子集E_i(a)的特性，也就提取了原始图像特征。

3-2.多重分形谱的计算具体如下：

①将原始图像读入m×n矩阵中，记作A_m×n，其中m和n分别为矩阵A_m×n的行数与列数；

②从a＝0，以第一步长逐步增大a(例如令其以步长0.1增加)。对于每一个a，分别计算当r→0，且满足lim{lnμB_r/ln(r)}＝a的(i,j)点，并把(i,j)点收入到E_i(a)中。其中，μB_r是边长r对应的盒子中像素灰度值总和；

③对子集E_i(a)求取f(a)；

④随着a的增长，给出f(a)的曲线(二维平面空间曲线)。该曲线即矩阵A_m×n的多重分形谱。

步骤(4).利用步骤(2)所获取的分形维数，计算循环读入的原始图像的分形维数矩阵；具体如下：

①对原始图像的尺寸进行调整，具体的通过插值处理将图像的行列变为k的倍数。

②然后对调整后的原始图像进行分割，分割成边长为k×k的正方形，得到分割后的原始图像矩阵。

③对原始图像矩阵中的每个正方形分别计算分形维数，得到分形维数矩阵。原始图像的分形维数矩阵是一个包含有原始图像分块分形维数的l×p矩阵，其中l和p分别为行和列包含图像分块的个数。

步骤(5).利用步骤(4)所获取的分形维数，将同类的分形维数归为一组。同类的原始图像因为内容相同，所以尺寸大小也一致，分形维数矩阵大小相同，分形维数数组大小也相同。由于失真类型是随机的，而这种随机性在统计上符合高斯分布，因此，本发明利用此随机性，计算分形维数数组中数据的平均值，将其作为可供参考的分形维数矩阵谱T_ref。

步骤(6).通过求和来抵消掉步骤(3)所得到的多重分形谱的随机变化。也就是，对步骤(3)所得到的多重分形谱求取平均值，从而实现训练，得到可供参考的多重分形谱。具体方法是：分别计算原始图像组中多幅原始图像的分形谱s个点的平均值来得到一条均值分形谱线。

步骤(7).输入待测试的失真图像。

步骤(8).利用步骤(2)和(4)的方法计算步骤(7)输入的待测试图像的分形维数矩阵谱T_test。

步骤(9).利用步骤(3)的方法计算步骤(7)输入的待测试图像的多重分形谱。

步骤(10).利用步骤(5)训练得到的可供参考的分形维数矩阵谱T_ref和步骤(8)得到的待测试图像的分形维数矩阵谱T_test，实现分形维数的比较，计算二者之间的差异D_T：

D_T＝∑|T_test–T_ref|                       (2)

步骤(11).利用步骤(6)得到的均值分形谱线和步骤(9)得到的待测试图像的多重分形谱，分别计算不同坐标(a,f(a))点对应的均值分形谱线和多重分形谱的距离，实现对应图像块多重分形谱的比较，累计计算得到均值分形谱线和多重分形谱之间的谱距离D_M。设可供参考的均值分形谱坐标为(α_ref，f(a)_ref)，其中α和f分别是一个包含了多个数据的数组，而待测图像分形谱坐标为(α_test，f(a)_test)。则有：

$d\left(i\right)=\sqrt{{({\mathrm{\α}}_{\mathrm{test}}\left(i\right)-{\mathrm{\α}}_{\mathrm{ref}}\left(i\right))}^2+{(f_{\mathrm{test}}\left(i\right)-f_{\mathrm{ref}}\left(i\right))}^2}---\left(3\right)$

$D_M=\underset{i=0}{\overset{s}{\mathrm{\Σ}}}\mathrm{dist}\left(i\right)---\left(4\right)$

其中，d(i)为第i个数据点的分形谱距离，s为数据点数。

步骤(12).利用步骤(10)和(11)计算得到的分形维数差异D_T和多重分形谱距离D_M，计算无参考图像的质量评价度量Q。

Q＝ω₁×D_T+ω₂×D_M                   (5)

其中，ω₁和ω₂为可以调节的加权系数，ω₁+ω₂＝1，且ω₁∈[0,1]，ω₂∈[0,1]。

本发明的有益效果：

本发明利用分形维数和多重分形谱作为图像质量评价的特征信息，通过预处理训练得到作为参考的评价基准，与待测失真图像的特征信息进行对比，进而通过综合处理获得图像质量的度量，实现对失真图像质量的客观评价。实验结果表明，基于本发明所提出方法的图像质量客观评价与主观评价具有很好的一致性，对于含有特定失真类型(如Gauss blur，fast fading等)的图像质量评价性能更优异。

附图说明

图1为本发明基于图像分形特征的图像质量客观评价的原理框图。

图2为本发明多重分形谱测距原理图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，基于图像分形特征的图像质量客观评价方法，其具体实施步骤如下：

步骤(1).在Matlab环境下进行编程，将公知数据库——美国德州大学奥斯汀分校的LIVE图像数据库中的原始图片顺序编号，循环读入29幅原始图像。

步骤(2).分别计算步骤(1)读入的原始图像的分形维数。

分形维数的计算采用盒子记数法，将原始图像转化为二值图像，然后通过划分格子并记数来计算分形维数，具体如下：

将原始图像用边长为r的盒子进行覆盖，然后根据边长r的不同，分别计算不同r对应的盒子数N(r)，最后对r和N(r)取对数求其比值，进而得出原始图像的分形维数FD：

$\mathrm{FD}=-\underset{r\→0}{\lim }\frac{\log N\left(r\right)}{\log r}---\left(1\right)$

其中，r为盒子边长，N(r)是完全覆盖信号所需的盒子数量。需要指出的是，盒子边长r不可无限制的趋近于0，本实施例中，选取的最小r为2个像素。而且，由于r是离散并且是有限的，本实施例中，取logN(r)～ln(r)直线的斜率作为分形维数。

由于图像尺寸未经分割，数据量过大，在现有实验环境内存限制下无法使用三维数据的分形维数计算程序，本实施例中，采用的是转化为二值图像计算其分形维数。

步骤(3).采用盒子记数法分别绘制出步骤(1)循环读入的原始图像的多重分形谱。此方法和步骤(2)FD估算基于同样的原理。循环读入的原始图像被划分为边长为r的盒子，然后在每个盒子中进行规范化的测量和计算。

3.1利用标准的盒子记数法来分析点集。

首先将循环读入的原始图像转化为灰度图像；

然后将灰度图像视为三维空间的一个曲面，其中，X和Y坐标为灰度图像中像素的位置，Z坐标为灰度值；

接着依据灰度值变化的剧烈程度，灰度图像上的点被划分为一系列的子集E_i(a)，对子集E_i(a)求取其密集程度，用f(a)来表示，其中，i为子集个数，(a,f(a))为分形谱的点坐标。

最后随着a的变化得到一系列的f(a)，f(a)进一步刻画了各个子集E_i(a)的特性，也就提取了原始图像特征。

3.2多重分形谱的计算具体如下：

①将原始图像读入m×n矩阵中，记作A_m×n，其中m和n分别为矩阵A_m×n的行数与列数；

②从a＝0，逐步增大a(例如令其以步长0.1增加)。对于每一个a，分别计算当r→0，且满足lim{lnμB_r/ln(r)}＝a的(i,j)点，并把(i,j)点收入到E_i(a)中。其中，μB_r是边长r对应的盒子中像素灰度值总和；

③对E_i(a)求取f(a)；

④随着a的增长，给出f(a)的曲线(二维平面空间曲线)。该曲线即A_m×n的多重分形谱。

步骤(4).利用步骤(2)所获取的分形维数，计算循环读入的原始图像的分形维数矩阵；具体如下：

①对原始图像的尺寸进行调整。尺寸调整是指通过插值处理将图像的行列变为k的倍数。

②对调整后的原始图像进行分割，分割成边长为k×k的正方形，得到分割后的原始图像矩阵。

③对原始图像矩阵中的每个正方形分别计算分形维数，得到分形维数矩阵。原始图像的分形维数矩阵是一个包含有原始图像分块分形维数的l×p矩阵，其中l和p分别为行和列包含图像分块的个数。

本实施例中，由于LIVE数据库中的图像尺寸大小并非完全相等，本发明步骤(4)将图像分割成64×64的块。对于长宽无法被64整除的图像，通过插值放大至64的整数倍。

步骤(5).利用步骤(4)所获取的分形维数，将同类的分形维数归为一组。为了排除图像的多重分形谱特征对于图像内容的依赖，本实施例依据图像内容将LIVE数据库分为29类。同类的原始图像因为内容相同，所以尺寸大小也一致，分形维数矩阵大小相同，分形维数数组大小也相同。由于失真类型是随机的，而这种随机性在统计上符合高斯分布，因此，本发明利用此随机性，计算分形维数数组中数据的平均值，作为可供参考的分形维数矩阵谱T_ref。

步骤(6).通过求和来抵消掉步骤(3)所得到的多重分形谱的随机变化。也就是，对步骤(3)所得到的多重分形谱求取平均值，从而实现训练，得到可供参考的多重分形谱。本实施例中的具体方法是：分别计算原始图像组中29幅图像的分形谱121个点的平均值来得到一条均值分形谱线。

步骤(7).输入待测试的失真图像。

步骤(8).利用步骤(2)和(4)的方法计算步骤(7)输入的待测试图像的分形维数矩阵谱T_test。

步骤(9).利用步骤(3)的方法计算步骤(7)输入的待测试图像的多重分形谱。

步骤(10).利用步骤(5)训练得到的可供参考的分形维数矩阵谱T_ref和步骤(8)得到的待测试图像的分形维数矩阵谱T_test，实现分形维数的比较，计算二者之间的差异D_T：

D_T＝∑|T_test–T_ref|               (2)

步骤(11).利用步骤(6)得到的均值分形谱线和步骤(9)得到的待测试图像的多重分形谱，分别计算不同坐标(a,f(a))点对应的均值分形谱线和多重分形谱的距离，实现对应图像块多重分形谱的比较，累计计算得到均值分形谱线和多重分形谱之间的谱距离D_M。设可供参考的均值分形谱坐标为(α_ref，f(a)_ref)，其中α和f分别是一个包含了多个数据的数组，而待测图像分形谱坐标为(α_test，f(a)_test)。则有：

$d\left(i\right)=\sqrt{{({\mathrm{\α}}_{\mathrm{test}}\left(i\right)-{\mathrm{\α}}_{\mathrm{ref}}\left(i\right))}^2+{(f_{\mathrm{test}}\left(i\right)-f_{\mathrm{ref}}\left(i\right))}^2}---\left(3\right)$

$D_M=\underset{i=0}{\overset{s}{\mathrm{\Σ}}}\mathrm{dist}\left(i\right)---\left(4\right)$

其中，d(i)为第i个数据点的分形谱距离，s为数据点数。

本实施例中，如图2所示，步骤(11)所述分形谱差异D_M是累计计算121个点的分形谱距离。

步骤(12).利用步骤(10)和(11)计算得到的分形维数差异D_T和多重分形谱距离D_M，计算无参考图像的质量评价度量Q。

Q＝ω₁×D_T+ω₂×D_M                    (5)

其中，ω₁和ω₂为可以调节的加权系数，ω₁+ω₂＝1，且ω₁∈[0,1]，ω₂∈[0,1]。

Claims (4)

1.基于图像分形特征的图像质量客观评价方法，其特征在于包括以下步骤：

步骤(1).根据公知数据库中的原始图像顺序编号，循环读入所有原始图像；

步骤(2).分别计算步骤(1)读入的原始图像的分形维数FD；

步骤(3).采用盒子记数法分别绘制出步骤(1)循环读入的原始图像的多重分形谱；此方法和步骤(2)中分形维数FD估算基于同样的原理；循环读入的原始图像被划分为边长为r的盒子，然后在每个盒子中进行规范化的测量和计算；

步骤(4).利用步骤(2)所获取的分形维数FD，计算循环读入的原始图像的分形维数矩阵；

步骤(5).利用步骤(4)所获取的分形维数，将同类的分形维数归为一组；同类的原始图像因为内容相同，所以尺寸大小也一致，分形维数矩阵大小相同，分形维数数组大小也相同；由于失真类型是随机的，且该随机性在统计上符合高斯分布，因此利用该随机性，计算分形维数数组中数据的平均值，将其作为可供参考的分形维数矩阵谱T_ref；

步骤(6).对步骤(3)所得到的多重分形谱求取平均值，从而实现训练，得到可供参考的多重分形谱；具体方法是：分别计算原始图像组中多幅原始图像的分形谱s个点的平均值来得到一条均值分形谱线；

步骤(7).输入待测试的失真图像；

步骤(8).利用步骤(2)和(4)的方法计算步骤(7)输入的待测试图像的分形维数矩阵谱T_test；

步骤(9).利用步骤(3)的方法计算步骤(7)输入的待测试图像的多重分形谱；

步骤(10).利用步骤(5)训练得到的可供参考的分形维数矩阵谱T_ref和步骤(8)得到的待测试图像的分形维数矩阵谱T_test，实现分形维数的比较，计算二者之间的差异D_T：

D_T＝∑|T_test–T_ref|                 (2)

步骤(11).利用步骤(6)得到的均值分形谱线和步骤(9)得到的待测试图像的多重分形谱，分别计算不同坐标(a,f(a))点对应的均值分形谱线和多重分形谱的距离，实现对应图像块多重分形谱的比较，累计计算得到均值分形谱线和多重分形谱之间的谱距离D_M；设可供参考的均值分形谱坐标为(α_ref，f(a)_ref)，其中α和f分别是一个包含了多个数据的数组，而待测图像分形谱坐标为(α_test，f(a)_test)；则有：

$d\left(i\right)=\sqrt{{({\mathrm{\α}}_{\mathrm{test}}\left(i\right)-{\mathrm{\α}}_{\mathrm{ref}}\left(i\right))}^2+{(f_{\mathrm{test}}\left(i\right)-f_{\mathrm{ref}}\left(i\right))}^2}---\left(3\right)$

$D_M=\underset{i=0}{\overset{s}{\mathrm{\Σ}}}\mathrm{dist}\left(i\right)---\left(4\right)$

其中，d(i)为第i个数据点的分形谱距离，s为数据点数；

步骤(12).利用步骤(10)和(11)计算得到的分形维数差异D_T和多重分形谱距离D_M，计算无参考图像的质量评价度量Q；

Q＝ω₁×D_T+ω₂×D_M          (5)

其中，ω₁和ω₂为可以调节的加权系数，ω₁+ω₂＝1，且ω₁∈[0,1]，ω₂∈[0,1]。

2.如权利要求1所述的基于图像分形特征的图像质量客观评价方法，其特征在于步骤(1)所述的公知数据库为美国德州大学奥斯汀分校的LIVE图像数据库。

3.如权利要求1所述的基于图像分形特征的图像质量客观评价方法，其特征在于步骤(2)所述的分别计算原始图像的分形维数具体如下：

分形维数的计算采用盒子记数法，将原始图像转化为二值图像，然后通过划分格子并记数来计算分形维数，具体如下：

将原始图像用边长为r的盒子进行覆盖，然后根据边长r的不同，分别计算不同r对应的盒子数N(r)，最后对r和N(r)取对数求其比值，进而得出原始图像的分形维数FD：

$\mathrm{FD}=-\underset{r\→0}{\lim }\frac{\log N\left(r\right)}{\log r}---\left(1\right)$

其中，r为盒子边长，N(r)是完全覆盖信号所需的盒子数量。

4.如权利要求1所述的基于图像分形特征的图像质量客观评价方法，其特征在于步骤(3)所述的采用盒子记数法分别绘制出步骤(1)循环读入的原始图像的多重分形谱，具体如下：

该盒子记数法和步骤(2)中分形维数FD估算基于同样的原理，循环读入的原始图像被划分为边长为r的盒子，然后在每个盒子中进行规范化的测量和计算；

3-1.利用标准的盒子记数法来分析点集，具体如下：

首先将循环读入的原始图像转化为灰度图像；

然后将灰度图像视为三维空间的一个曲面，其中，X和Y坐标为灰度图像中像素的位置，Z坐标为灰度值；

接着依据灰度值变化的剧烈程度，灰度图像上的点被划分为一系列的子集E_i(a)，对子集E_i(a)求取其密集程度，用f(a)来表示，其中，i为子集个数，(a,f(a))为分形谱的点坐标；

最后随着a的变化得到一系列的f(a)，f(a)进一步刻画了各个子集E_i(a)的特性，也就提取了原始图像特征；

3-2.多重分形谱的计算具体如下：

①将原始图像读入m×n矩阵中，记作A_m×n，其中m和n分别为矩阵A_m×n的行数与列数；

②从a＝0，以第一步长逐步增大a(例如令其以步长0.1增加)；对于每一个a，分别计算当r→0，且满足lim{lnμB_r/ln(r)}＝a的(i,j)点，并把(i,j)点收入到E_i(a)中；其中，μB_r是边长r对应的盒子中像素灰度值总和；

③对子集E_i(a)求取f(a)；

④随着a的增长，给出f(a)的曲线(二维平面空间曲线)；该曲线即矩阵A_m×n的多重分形谱；

步骤(4).利用步骤(2)所获取的分形维数，计算循环读入的原始图像的分形维数矩阵；具体如下：

①对原始图像的尺寸进行调整，具体的通过插值处理将图像的行列变为k的倍数；

②然后对调整后的原始图像进行分割，分割成边长为k×k的正方形，得到分割后的原始图像矩阵；

③对原始图像矩阵中的每个正方形分别计算分形维数，得到分形维数矩阵；原始图像的分形维数矩阵是一个包含有原始图像分块分形维数的l×p矩阵，其中l和p分别为行和列包含图像分块的个数。