CN104766299A - 一种基于概率图模型的图像质量评估方法 - Google Patents

Abstract

本发明公开了一种基于概率图模型的图像质量评估方法，克服概率潜在语义分析模型的缺陷，通过概率图模型估计测试图像主题概率分布，通过和无失真图像的主题概率估计比较，计算测试图像的感知质量分值，在不需要失真图像信息的情况下获得较好的图像质量评估结果。

Description

一种基于概率图模型的图像质量评估方法

技术领域

本发明涉及一种基于概率图模型的图像质量评估方法，属于客观图像质量评估领域。

背景技术

移动互联网的飞速发展促进了手持移动设备技术的不断进步，为了提高终端用户体验质量(Quality-of-experience,QoE)，大量的研究人员投入到图像质量评估技术研究中。

图像质量评估方法主要分为主观图像质量评估方法和和客观图像质量评估方法。前者通过人眼对图像质量进行测试得到关于图像质量的主观评价，可信度较高，但对测试环境要求较高，且过程复杂。后者通过计算机模仿人类视觉，根据图像自身内容得到关于图像失真的描述，使得图像质量评估得到与主观评估一致的结果，此方法对环境要求低，易于实现在线图像质量评估。

客观图像质量评估方法可以分为两类：(1)全参考图像质量评估方法。该方法需要同时提供无失真图像和失真图像，但是通常情况下无失真图像难以获得。(2)无参考图像质量评估方法。该方法不需要无失真图像，主要有两类无参考图像质量评估方法。一种是通过量化图像失真过程来评估图像质量，该方法需要大量的主观质量评价分信息；另一种方法是则不需要失真图像信息就能完成图像质量评估。

不需要失真图像信息的无参考图像质量评估方法目前较少，比较典型的是Mittal等人(A.Mittal,G.S.Muralidhar,J.Ghosh,and A.C.Bovik,Blind image  quality assessment without human training using latent quality factors)提出的基于概率潜在语义分析(Probabilistic Latent Semantic Analysis,pLSA)的图像质量评估方法。该方法假设无失真和失真图像具有不同的潜在失真主题概率，以此为基础获得图像的潜在质量因子进行图像质量评估。但是，概率潜在语义分析模型不够完备，在文档层面上没有提供合适的概率图模型，使得概率潜在语义分析模型并不是完备的生成式模型，而必须在确定文档的情况下才能对模型进行随机抽样。同时，随着文档个数的增加，概率潜在语义分析模型也线性增加，变得越来越庞大。

发明内容

为了解决上述技术问题，本发明提供了一种基于概率图模型的图像质量评估方法。

为了达到上述目的，本发明所采用的技术方案是：

一种基于概率图模型的图像质量评估方法，包括以下步骤，

步骤一，选取训练图像I₁...I_N，所述训练图像均为无失真图像；

步骤二，根据训练图像，建立概率图模型；

过程如下：

(a1)将训练图像I_n分为N_d个区域，训练图像I_n的第i个区域I_ni用一个视觉单词w_i描述，训练图像I_n用视觉单词集合W_n描述，其中i∈[1,N_d]，I_n∈{I₁...I_N}，n∈{1,...,N}， 视觉单词w_i均为视觉词典中的视觉单词；

(a2)根据第i个区域I_ni的主题z_i和视觉单词w_i的相关性，建立w_i与z_i之间的概率图模型，其中z_i∈Z_n，Z_n为训练图像I_n所有区域的主题集合， $Z_n=\{z_1,z_2,...,z_{N_d}\};$

(a3)根据w_i与z_i之间的概率图模型，建立训练图像I_n的视觉单词集合W_n与主题集合Z_n之间的概率图模型；

步骤三，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得每幅训练图像的视觉单词集合与主题集合之间的概率关系P(W_n|Z_n)；

步骤四，根据公知的条件概率关系P(W_n|I_n)＝P(W_n|Z_n)P(Z_n|I_n)获得训练图像I_n与自身的主题集合Z_n之间的概率关系P(Z_n|I_n)；

步骤五，选取测试图像I_test；

步骤六，将测试图像I_test用视觉单词集合描述；

步骤七，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得测试图像I_test的视觉单词集合与主题集合之间的概率关系P(W_test|Z_test)，其中W_test为测试图像I_test的视觉单词集合，Z_test为测试 图像I_test的主题集合；

步骤八，根据公知的条件概率关系P(W_test|I_test)＝P(W_test|Z_test)P(Z_test|I_test)获得测试图像I_test与自身的主题集合Z_test之间的概率关系P(Z_test|I_test)；

步骤九，根据 $Q\left(I_{\mathrm{test}}\right)=1/N{\mathrm{\Σ}}_{n=1}^N{\left|\right|P\left(z_n\right|I_n)-P\left(z_{\mathrm{test}}\right|I_{\mathrm{test}})\left|\right|}_2$ 计算测试图像I_test质量评估分值Q(I_test)。

用一个视觉单词描述一个区域的过程为，先提取该区域内的图像块的BRISQUE特征，然后通过k均值聚类方法将图像块的BRISQUE特征量转化为视觉单词。

视觉单词w_i与主题z_i之间的概率图模型为两层级联概率图模型，生成过程为：

b1)选取主题z_i；

b2)根据以θ为参数的多项式概率分布Multinomial(θ)生成视觉单词w_i，其中，θ满足以α为参数的狄利克雷分布，主题z_i和视觉单词w_i满足以β为参数的多项式概率分布p(w_i|z_i,β)；

b3)用Θ表示视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)，则  $P\left(W_n\right|\mathrm{\Θ})=\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\Θ});$

b4)根据公知的条件概率关系P(W_n|α,β)＝∫P(W_n|Θ)p(Θ|α,β)dΘ，获得等式  $\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\α},\mathrm{\β})=\∫\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\Θ})p\left(\mathrm{\Θ}\right|\mathrm{\α},\mathrm{\β})\mathrm{d\Θ}$

b5)通过马尔可夫链-蒙特卡洛算法计算得到α和β，通过观察训练图像I_n得到W_n，通过吉布斯采样方法获得Θ即P(w_i|z_i)。

视觉单词集合W_n与主题集合Z_n之间的概率关系P(W_n|Z_n)为由视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)构成的矩阵。

本发明所达到的有益效果：本发明克服概率潜在语义分析模型的缺陷，通过概率图模型估计测试图像主题概率分布，通过和无失真图像(即训练图像)的主题概率估计比较，计算测试图像的感知质量分值，在不需要失真图像信息的情况下获得较好的图像质量评估结果。

附图说明

图1为本发明所提出的基于概率图模型的图像质量评估方法框图。

图2为本发明采用的概率图模型。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于概率图模型的图像质量评估方法，包括以下步骤：

步骤一，选取训练图像I₁…I_N；这里的训练图像均为无失真图像。

步骤二，根据训练图像，建立概率图模型。

过程如下：

(a1)将训练图像I_n分为N_d个区域，训练图像I_n的第i个区域I_ni用一个视觉单词w_i描述，训练图像I_n用视觉单词集合W_n描述，其中i∈[1,N_d]，I_n∈{I₁…I_N}，n∈{1,…,N}， 视觉单词w_i均为视觉词典中的视觉单词；

这里用一个视觉单词描述一个区域的过程为：先提取该区域内的图像块的BRISQUE特征，然后通过k均值聚类方法将图像块的BRISQUE特征量转化为视觉单词。

(a2)根据第i个区域I_ni的主题z_i和视觉单词w_i的相关性，建立w_i与z_i之间的概率图模型，其中z_i∈Zn，Z_n为训练图像I_n所有区域的主题集合， $Z_n=\{z_1,z_2,...,z_{N_d}\};$

上述建立的视觉单词w_i与主题z_i之间的概率图模型为两层级联概率图模型，具体过程如下：

b1)选取主题z_i；

b2)根据以θ为参数的多项式概率分布Multinomial(θ)生成视觉单词w_i，其中，θ满足以α为参数的狄利克雷分布，主题z_i和视觉单词w_i满足以β为参数的多项式概率分布p(w_i|z_i,β)；

b3)用Θ表示视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)，则  $P\left(W_n\right|\mathrm{\Θ})=\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\Θ});$

b4)根据公知的条件概率关系P(W_n|α,β)＝∫P(W_n|Θ)p(Θ|α,β)dΘ，获得等式  $\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\α},\mathrm{\β})=\∫\underset{i=1}{\overset{N_d}{\mathrm{\Π}}}P\left(w_i\right|\mathrm{\Θ})p\left(\mathrm{\Θ}\right|\mathrm{\α},\mathrm{\β})\mathrm{d\Θ}$

b5)通过马尔可夫链-蒙特卡洛算法计算得到α和β，通过观察训练图像I_n得到W_n，通过吉布斯采样方法获得Θ即P(w_i|z_i)；

(a3)根据w_i与z_i之间的概率图模型，建立训练图像I_n的视觉单词集合W_n与主题集合Z_n之间的概率图模型。

步骤三，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得每幅训练图像的视觉单词集合与主题集合之间的概率关系P(W_n|Z_n)。

上述的视觉单词集合W_n与主题集合Z_n之间的概率关系P(W_n|Z_n)为 由视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)构成的矩阵。

步骤四，根据公知的条件概率关系P(W_n|I_n)＝P(W_n|Z_n)P(Z_n|I_n)获得训练图像I_n与自身的主题集合Z_n之间的概率关系P(Z_n|I_n)。

步骤五，选取测试图像I_test。

步骤六，将测试图像I_test用视觉单词集合描述。

步骤七，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得测试图像I_test的视觉单词集合与主题集合之间的概率关系P(W_test|Z_test)，其中W_test为测试图像I_test的视觉单词集合，Z_test为测试图像I_test的主题集合。

步骤八，根据公知的条件概率关系P(W_test|I_test)＝P(W_test|Z_test)P(Z_test|I_test)获得测试图像I_test与自身的主题集合Z_test之间的概率关系P(Z_test|I_test)。

步骤九，根据 $Q\left(I_{\mathrm{test}}\right)=1/N{\mathrm{\Σ}}_{n=1}^N{\left|\right|P\left(z_n\right|I_n)-P\left(z_{\mathrm{test}}\right|I_{\mathrm{test}})\left|\right|}_2$ 计算测试图像I_test质量评估分值Q(I_test)。

为了进一步说明该方法，将其与公知几种方法进行比较。

测试实验数据库采用LIVE数据库(H.R.Sheikh,M.F.Sabir,and A.C.Bovik,A statistical evaluation of recent full reference image quality assessment algorithms)，通过计算预测质量分值和主观质量得分的相关系数来评估性能。相关系数主要包括斯皮尔曼秩相关系数(Spearman Rank Order Correlation Coefficient,SROCC)和皮尔逊相关系数(Pearson’s Correlation Coefficient,PCC)，主观质量得分主要采用平均主观得分(Mean Opinion Score,MOS)和差分平均主观得分(Difference Mean Opinion Score,DMOS)。用来比较的公知方法包括PSNR(Peak Signal to Noise Ratio)、SSIM(Z.Wang,A.Bovik,H.Sheikh,and E.Simoncelli,Image quality assessment:From error visibility to structural similarity)、FSIM(L.Zhang,L.Zhang,X.Mou,and D.Zhang,“Fsim:a feature similarity index for image quality assessment)和pLSA(A.Mittal,G.S.Muralidhar,J.Ghosh,and A.C.Bovik,“Blind image quality assessment without huan training using latent quality factors)。

通过对JP2K、JPEG、WN、GB四种失真类型图像进行评估，PSNR方法获得的SROCC值分别为0.90、0.88、0.99和0.78，获得的PCC值分别为0.87、0.87、0.98、0.77；SSIM方法获得的SROCC值分别为0.96、0.98、0.97和0.95，获得的PCC值分别为0.89、0.93、0.96、0.89；FSIM方法获得的SROCC值分别为0.97、0.98、0.97和0.97，获得的PCC值分别为0.90、0.91、0.91、0.91；pLSA方法获得的SROCC值分别为0.85、0.88、0.80和0.87，获得的PCC值分别为0.87、0.90、0.87、0.88；本发明获得的SROCC值分别为0.84、0.88、0.81和0.86，获得的PCC值分别为0.87、0.89、0.90、0.88。可以看出，本发明整体评估结果和现有pLSA方法相当，部分失真类型(如WN)评估性能好于pLSA方法。

综上所述，本发明克服概率潜在语义分析模型的缺陷，通过概率图模型估计测试图像主题概率分布，通过和无失真图像(即训练图像)的主题概率估计 比较，计算测试图像的感知质量分值，在不需要失真图像信息的情况下获得较好的图像质量评估结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于概率图模型的图像质量评估方法，其特征在于：包括以下步骤，

步骤一，选取训练图像I₁…I_N，所述训练图像均为无失真图像；

步骤二，根据训练图像，建立概率图模型；

过程如下：

(a1)将训练图像I_n分为N_d个区域，训练图像I_n的第i个区域I_ni用一个视觉单词w_i描述，训练图像I_n用视觉单词集合W_n描述，其中i∈[1,N_d]，I_n∈{I₁…I_N}，n∈{1,…,N}， 视觉单词w_i均为视觉词典中的视觉单词；

(a2)根据第i个区域I_ni的主题z_i和视觉单词w_i的相关性，建立w_i与z_i之间的概率图模型，其中z_i∈Z_n，Z_n为训练图像I_n所有区域的主题集合，

(a3)根据w_i与z_i之间的概率图模型，建立训练图像I_n的视觉单词集合W_n与主题集合Z_n之间的概率图模型；

步骤三，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得每幅训练图像的视觉单词集合与主题集合之间的概率关系P(W_n|Z_n)；

步骤四，根据公知的条件概率关系P(W_n|I_n)＝P(W_n|Z_n)P(Z_n|I_n)获得训练图像I_n与自身的主题集合Z_n之间的概率关系P(Z_n|I_n)；

步骤五，选取测试图像I_test；

步骤六，将测试图像I_test用视觉单词集合描述；

步骤七，根据步骤二中建立的视觉单词集合与主题集合之间的概率图模型，获得测试图像I_test的视觉单词集合与主题集合之间的概率关系P(W_test|Z_test)，其中W_test为测试图像I_test的视觉单词集合，Z_test为测试图像I_test的主题集合；

步骤八，根据公知的条件概率关系P(W_test|I_test)＝P(W_test|Z_test)P(Z_test|I_test)获得测试图像I_test与自身的主题集合Z_test之间的概率关系P(Z_test|I_test)；

步骤九，根据计算测试图像I_test质量评估分值Q(I_test)。

2.根据权利要求1所述的一种基于概率图模型的图像质量评估方法，其特征在于：用一个视觉单词描述一个区域的过程为，先提取该区域内的图像块的 BRISQUE特征，然后通过k均值聚类方法将图像块的BRISQUE特征量转化为视觉单词。

3.根据权利要求1所述的一种基于概率图模型的图像质量评估方法，其特征在于：视觉单词w_i与主题z_i之间的概率图模型为两层级联概率图模型，生成过程为：

b1)选取主题z_i；

b2)根据以θ为参数的多项式概率分布Multinomial(θ)生成视觉单词w_i，其中，θ满足以α为参数的狄利克雷分布，主题z_i和视觉单词w_i满足以β为参数的多项式概率分布p(w_i|z_i,β)；

b3)用Θ表示视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)，则 

b4)根据公知的条件概率关系P(W_n|α,β)＝∫P(W_n|Θ)p(Θ|α,β)dΘ，获得等式

b5)通过马尔可夫链-蒙特卡洛算法计算得到α和β，通过观察训练图像I_n得到W_n，通过吉布斯采样方法获得Θ即P(w_i|z_i)。

4.根据权利要求3所述的一种基于概率图模型的图像质量评估方法，其特征在于：视觉单词集合W_n与主题集合Z_n之间的概率关系P(W_n|Z_n)为由视觉单词w_i与主题z_i之间的概率关系P(w_i|z_i)构成的矩阵。