CN107798676A

CN107798676A - 基于多尺度自然场景统计建立的无参考图像质量感知方法

Info

Publication number: CN107798676A
Application number: CN201710992803.3A
Authority: CN
Inventors: 顾锞; 乔俊飞; 刘茂珅
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-10-23
Filing date: 2017-10-23
Publication date: 2018-03-13
Anticipated expiration: 2037-10-23
Also published as: CN107798676B

Abstract

本发明公开了一种基于多尺度分析法建立的新无参考图像质量感知方法。该方法能有效评估基于深度图像绘制技术合成图像的质量。本发明考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得，利用深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量感知方法。根据利用主流数据库来对方法进行性能测试的结果，本发明的性能和现有的评估方法相比有较大优势。值得注意的是，由于目前很少有关于深度图像绘制技术合成图像的无参考评估方法的研究，本发明填补了这方面的空白，为将来无参考图像质量感知算法的提高开辟了一个方向。

Description

基于多尺度自然场景统计建立的无参考图像质量感知方法

技术领域

本发明属于图像质量感知方法，利用多尺度自然场景统计分析法建立一种新型无参考图像质量感知模型，能有效评价基于深度图像绘制技术合成的图像质量。

背景技术

如今很多的影像应用中都需要自由视角及其相关技术，基于深度图像绘制技术合成的图像可为用户提供自由视角的体验，因此，它被广泛应用于远程教育、监控、医疗和娱乐等领域。基于深度图像绘制技术合成的图像原理是通过相邻图像合成出虚拟图像，在此过程中，不可避免会引入几何失真。如图1，几何失真和模糊、噪声失真等相比呈现出不同的视觉影响。几何失真属于局部畸变，常常出现在图像前景中最显著的轮廓位置。其它的典型失真属于全局失真，随机的出现在图像的各个地方。因此，相比来说，几何失真对图像的语义结构的破坏程度更大，对图像质量的影响比典型失真更严重。然而，目前缺乏对基于深度图像绘制等技术合成图像引入的几何失真的质量感知方法的研究。现有的图像质量感知算法多依据于参考图像，由于基于深度图像绘制技术合成的图像本身为虚拟图像，通常不能获取其参考图像，因此现有方法难以适用。

为此，本发明提出了基于多尺度自然场景统计分析的无参考图像质量感知模型。本发明基于两个新的针对基于深度图像绘制技术合成的图像质量感知的自然场景统计模型。一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随着图像尺寸缩小而趋于减小的先验知识。由此规律，提出了基于自相似性的自然场景统计模型。二是自然图像的主结构退化程度在不同的尺寸间保持一致，然而，基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一统计规律，可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。最终，将两种统计模型进行结合得到多尺度自然场景统计分析法。

发明内容

本发明利用多尺度自然场景统计分析法建立一种新型无参考图像质量分析模型。本发明融合两个针对几何失真的新的自然场景统计模型对深度图像绘制技术合成的图像的质量进行评价。通过IRCCyN/IVC数据库中的96副图片对该方法进行验证，实验结果表明，本发明对深度图像绘制技术合成的图像的评价效果明显高于已有的图像质量感知方法。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

第二步、计算相似度

第三步、计算图像每一个像素点各尺度相似度融合结果

第四步、为了消除升采样引入的模糊失真，通过设置阈值τ，计算出

第五步、计算出基于统计模型一质量感知分数

第六步、计算主结构退化向量m_Y。

第七步、计算出基于统计模型二质量感知分数

第八步、最后融合得到多尺度自然场景统计分析法评估分数。

本发明的原理是：

统计模型一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识。以图1(a) 为参考图像X，(d)为相应的基于深度图像绘制技术合成的图像Y为例。由图2可知，X和Y的距离随着尺寸缩小而减小，其中结构相似度(SSIM[1]) 的值与图像相似度成正相关，与图像距离成负相关。我们发现Y₅和相对应的参考图像X₅之间SSIM非常高，意味着两者之间具有非常高的相似度。当图像尺寸缩小到一定程度时，通过升采样技术使图片尺寸匹配估计图像的大小就可以近似的作为相应的参考图像。使得统计模型一在没有参考图像的情况下也能对图像进行评估，参考图像和基于深度图像绘制技术合成图像的距离公式可以近似为：例如其中“^”表示将图像升采样得到相匹配的尺寸。为了解决升采样引入模糊失真的问题，用相似度代替距离通过计算每一个像素的相似度并设置阈值τ来过滤模糊失真得到提取出几何失真区域，效果如图4。最后计算出几何失真像素点占总图像像素点比例作为多尺度质量感知值。

统计模型二主要强调结构在图像的质量感知中占有重要地位，因此边缘或轮廓作为结构的组成部分在图像质量感知中起关键作用。自然图像的主结构退化程度在不同的尺寸之间保持一致性，然而，基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一经验我们得到新的统计模型，可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。通过对300幅自然图像及其对应的基于深度图像绘制技术合成的图像计算主结构退化向量m，每个向量有5个元素，分别对应各尺度与尺度5之间的主结构退化值。将最后结果标在坐标系中，得到如图4所示红色区域。由此可知，300个折线之间非常接近，通过计算每个尺度下主结构退化值的均值，可近似得出图中黑色虚线的统计模型，其五个尺度下的主结构退化向量m_p＝{1,0.9919, 0.9520,0.8108,0}。随后，我们通过4幅图对统计模型进行测试，(a)为标准的参考图像，(b)为带有严重几何失真的图像，(c)、(d)为高质量深度图像绘制技术合成的图像，并且，每幅图都标有图像质量分数。通过观察可得每幅图在五个尺度下的主结构退化曲线与统计模型的偏离程度与图像质量分数一致，即越接近统计模型，其图像质量分数越高。因此，可以通过此统计模型对基于深度图像绘制技术合成的图像进行有效的无参考质量感知。

最终，将两种统计模型进行结合得到多尺度自然场景统计分析法。

附图说明

图1、典型失真(白噪声和高斯模糊)与几何失真之间的差异的图示。

图2、参考图像和基于深度图像绘制技术合成图像在多尺度上的比较。2↓：降采样缩小2倍。4↑：升采样放大4倍。

图3、统计模型二示意图

图4、(a)、(b)为图1.(a)参考图像的和的结果图，(c)、(d)为图1.(d)基于深度图像绘制技术合成图像的和的结果图。

图5、300幅图像大约5千万像素点的值分布图。

具体实施方式：

下面对本发明的实施例作详细说明，本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

第一步，通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

其中Y₁为原尺寸基于深度图像绘制技术合成的图像，Y_i为Y₁按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}即可，为升采样近似参考图像。

第二步，计算相似度方法如下：

其中y_1j为Y₁图像位置j的像素点和为图像位置j的像素点，Δ＝5，防止分母为零造成溢出。

第三步，计算图像每一个像素点各尺度相似度融合结果方法如下：

其中N为尺度数，N由第一步可知为5，j指图像中像素点的索引， {θ₁，θ₂，θ₃，θ₄，θ₅}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}。

第四步，为了消除升采样引入的模糊失真，提取出几何失真区域，通过设置阈值τ，计算出方法如下：

其中阈值τ基于大数据样本的自然图像的统计特性得出。随机选取300 幅高质量自然场景图像，并且计算它们的上述所选图像均不含有几何失真，即，所有300幅图像的大约5千万像素点的值均高于阈值τ。绘制出所有像素点值的直方图，即图5所示。通过直方图可得出99.85％的像素点的值大于0.1，因此将阈值τ设置为0.1来提取出几何失真区域。通过此公式可提取出几何失真区域，由第三步求得。

第五步，计算出基于统计模型一质量感知分数方法如下：

其中L为图像像素总量，由第4步求得。

第六步，计算主结构退化向量m_Y，方法如下：

其中u表示尺度；U＝5表示5个尺度；M_u代表第u个尺度主结构的值； v代表M_u的像素索引；V等于图像总像素数；每一个像素的取值为1或0，分别表示有无主结构。

第七步、计算出基于统计模型二质量感知分数

其中{θ₁，θ₂，θ₃，θ₄，θ₅}同样根据心理学实验获得为 {0.0448,0.2856,0.3001,0.2363,0.1333}，U＝5表示5个尺度，m_p＝{1,0.9919, 0.9520,0.8108,0}，ε＝5，防止分母为零造成溢出。

其中Φ为固定正权重系数，取值范围可取10-100，其目的为了平衡和的贡献度，让两个量具有相当的取值范围。和由第五步和第七步求得。

实施效果

依据上述步骤，本发明利用IRCCyN/IVC数据库来对模型进行性能测试。同时，以11种其它质量感知模型进行比较。这11种方法分为两类，一类为 3种全参考评估模型：SSIM、PSIM和MAD，一类为2种半参考评估模型RRED 和FTQM，一类为2种无参考评估模型NIQE和IL-NIQE，和4种针对深度图像绘制技术合成的图像评估的先进模型VSQA、3D-SWIM、MW-PSNR和MP-PSNR-RR。采用四种常用的评价指标，斯皮尔曼有序等级相关系数 (SROCC)、肯德尔的秩次相关系数(KROCC)、皮尔森线性相关系数(PLCC) 和均方根误差(RMSE)。

主客观评估分数非线性回归方程：

其中Q_MNSS为客观评估分数，f(Q_MNSS)为回归后的客观分数，{v₁,v₂,v₃,v₄,v₅} 为非线性回归拟合过程的参数，使得f(Q_MNSS)与主观分数尽量接近。

SROCC的计算公式如下：

其中d_i表示第i幅图像主客观评估等级差异。W表示主客观评估对的总数。SROCC的值越接近于1越好。

KROCC的计算公式为：

其中Wc和Wd表示数据集中一致和不一致图相对的总数。KROCC的值越接近于1越好。

PLCC的计算公式为：

其中o_i和分别是第i幅图像的主观分数和所有图像主观分数的均值。q_i和分别是第i幅图像的回归后的客观分数和所有图像的回归后的客观分数的均值。PLCC的值越接近于1越好。

RMSE的计算公式为：

其中o_i和q_i分别为第i幅图像的主观分数和回归后的客观分数，W为图像总数。RMSE的值越小越好。

最终可得本发明提出模型的SROCC、KROCC、PLCC和RMSE分别达到 0.770、0.568、0.785和0.412。本发明在各个指标方面均优于所对比方法。

表1

算法类型	SROCC	KROCC	PLCC	RMSE
					SSIM[2]FR	0.436	0.287	0.485	0.582
PSIM[3]FR	0.412	0.284	0.504	0.575
					MAD[4]FR	0.599	0.437	0.607	0.528
RRED[5]RR	0.309	0.210	0.407	0.608
					FTQM[6]RR	0.554	0.386	0.562	0.550
NIQE[7]NR	0.373	0.242	0.437	0.598
					IL-NIQE[8]NR	0.526	0.360	0.493	0.579
VSQA[9]	0.523	0.367	0.574	0.545
					3D-SWIM[10]	0.615	0.449	0.658	0.501
MW-PSNR[11]	0.575	0.437	0.562	0.550
					MP-PSNR-RR[12]	0.663	0.538	0.677	0.489
MNSS(Propsed)	0.770	0.568	0.785	0.412

[1]SSIM：Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment:From error visibility to structuralsimilarity”；

表1中所述的算法具体是指：

[2]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Imagequalityassessment:From error visibility to structural similarity,”IEEETrans.Image Process.,vol.13,no.4,pp.600-612, Apr.2004.

[3]K.Gu,L.Li,H.Lu,X.Min,and W.Lin,“A fast reliable imagequalitypredictor by fusing micro-and macro-structures,”IEEE Trans.Ind.Electron.,vol.64,no.5,pp.3903-3912,May 2017.

[4]E.C.Larson and D.M.Chandler,“Most apparent distortion:Fullreference image quality assessment and the role of strategy,”JournalofElectronic Imaging,vol.19,no.1,Mar.2010. Online at:http://vision.okstate.edu/csiq

[5]R.Soundararajan and A.C.Bovik,“RRED indices:Reduced-referenceentropic differencing for image quality assessment,”IEEETrans.ImageProcess.,vol.21,no.2,pp. 517-526,Feb.2012.

[6]M.Narwaria,W.Lin,I.V.McLoughlin,S.Emmanuel,and L.T.Chia,“Fouriertransform-based scalable image quality measure,”IEEE Trans.Image Process.,vol.21,no.8,pp. 3364-3377,Aug.2012.

[7]A.Mittal,R.Soundararajan,and A.C.Bovik,“Making a‘completelyblind’image quality analyzer,”IEEE Sig.Process.Lett.,vol.22,no.3,pp.209-212,Mar.2013.

[8]L.Zhang,L.Zhang,and A.C.Bovik,“A feature-enriched completelyblindimage quality evaluator,”IEEE Trans.Image Process.,vol.24,no.8,pp.2579-2591,Aug.2015

[9]P.H.Conze,P.Robert,and L.Morin,“Objective view synthesisqualityassessment,” Electron.Imag.Int.Society for Optics and Photonics,pp.8288-8256,Feb.2012.

[10]F.Battisti,E.Bosc,M.Carli,and P.Le Callet,“Objective imagequalityassessment of 3D synthesized views,”Signal Process.Image Commun.,vol.30,pp.78-88,Jan.2015.

[11]D.Sandi′c-Stankovi′c,D.Kukolj,and P.Le Callet,“DIBR-synthesizedimage quality assessment based on morphological wavelets,”inProc.IEEE Int.Workshop on Quality of Multimedia Experience,pp.1-6,Jan.2015.

[12]D.Sandi′c-Stankovi′c,D.Kukolj,and P.Le Callet,“Multi-scalesynthesized view assessment based on morphological pyramids,”JournalofElectrical Engineering,vol.67,no.1, pp.1-9,Jan.2016 。

Claims

1.基于多尺度自然场景统计分析法无参考图像质量感知方法，其特征在于包括以下步骤：

第二步、计算相似度

第三步、计算图像每一个像素点各尺度相似度融合结果

第五步、计算出基于统计方法一质量感知分数

第六步、计算主结构退化向量m_Y；

第七步、计算出基于统计方法二质量感知分数

第八步、最后融合得到多尺度自然场景统计分析法评估分数；

第一步中：

通过双边插值技术将Y_i图像进行升采样达到与Y₁相匹配的尺寸，得到近似参考图像

其中Y₁为原尺寸基于深度图像绘制技术合成的图像，Y_i为Y₁按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}，为升采样近似参考图像；

第二步中：

计算相似度方法如下：

<mrow> <msub> <mi>S</mi> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>y</mi> <msub> <mn>1</mn> <mi>j</mi> </msub> </msub> <mo>,</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <msub> <mi>i</mi> <mi>j</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>y</mi> <msub> <mn>1</mn> <mi>j</mi> </msub> </msub> <mo>.</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <msub> <mi>i</mi> <mi>j</mi> </msub> </msub> </mrow> <mrow> <msup> <msub> <mi>y</mi> <msub> <mn>1</mn> <mi>j</mi> </msub> </msub> <mn>2</mn> </msup> <mo>+</mo> <msup> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <msub> <mi>i</mi> <mi>j</mi> </msub> </msub> <mn>2</mn> </msup> <mo>+</mo> <mi>&Delta;</mi> </mrow> </mfrac> </mrow>

其中y_1j为Y₁图像位置j的像素点和为图像位置j的像素点，Δ为一正数，防止分母为零造成溢出；

第三步中：

计算图像每一个像素点各尺度相似度融合结果方法如下：

<mrow> <msub> <mover> <mi>S</mi> <mo>&OverBar;</mo> </mover> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>=</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msub> <mi>S</mi> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>y</mi> <msub> <mn>1</mn> <mi>j</mi> </msub> </msub> <mo>,</mo> <msub> <mover> <mi>y</mi> <mo>^</mo> </mover> <msub> <mi>i</mi> <mi>j</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> </msup> </mrow>

其中N为尺度数，N由第一步知为5，j指图像中像素点的索引，{θ₁θ₂θ₃θ₄θ₅}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}；

第四步中：

为了消除升采样引入的模糊失真，提取出几何失真区域，通过设置阈值τ，计算出方法如下：

<mrow> <msub> <mover> <mi>S</mi> <mo>~</mo> </mover> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mover> <mi>S</mi> <mo>~</mo> </mover> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> <mo><</mo> <mi>&tau;</mi> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中阈值τ设置为0.1；通过此公式提取出几何失真区域，由第三步求得；

第五步中：

计算出基于统计方法一质量感知分数方法如下：

<mrow> <msub> <mi>Q</mi> <mrow> <msub> <mi>uality</mi> <mn>1</mn> </msub> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msub> <mover> <mi>S</mi> <mo>~</mo> </mover> <mrow> <msub> <mi>imilarity</mi> <mi>j</mi> </msub> </mrow> </msub> </mrow>

其中L为图像像素总量，由第四步求得；

第六步中：

计算主结构退化向量m_Y，方法如下：

<mrow> <msub> <mi>m</mi> <mi>Y</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>v</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>V</mi> </munderover> <msub> <mi>M</mi> <mi>U</mi> </msub> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>&CirclePlus;</mo> <msub> <mi>M</mi> <mi>u</mi> </msub> <mrow> <mo>(</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow>

其中u表示尺度；U＝5表示5个尺度；M_u代表第u个尺度主结构的值；v代表M_u的像素索引；V等于图像总像素数；每一个像素的取值为1或0，分别表示有无主结构；

第七步中：

计算出基于统计方法二质量感知分数方法如下：

<mrow> <msub> <mi>Q</mi> <mrow> <msub> <mi>uality</mi> <mn>2</mn> </msub> </mrow> </msub> <mrow> <mo>(</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>U</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>u</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>U</mi> </munderover> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>m</mi> <mi>Y</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <msub> <mi>m</mi> <mi>p</mi> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&epsiv;</mi> </mrow> <mrow> <msub> <mi>m</mi> <mi>Y</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>m</mi> <mi>p</mi> </msub> <msup> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </mfrac> <mo>)</mo> </mrow> <msub> <mi>&theta;</mi> <mi>u</mi> </msub> </msup> </mrow>

其中{θ₁,θ₂,θ₃,θ₄,θ₅}同样根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}，U＝5表示5个尺度，m_p＝{1,0.9919,0.9520,0.8108,0}，ε为一正数，防止分母为零造成溢出；

第八步中：

最后融合得到多尺度自然场景统计分析法评估分数，方法如下：

<mrow> <msub> <mi>Q</mi> <mrow> <mi>M</mi> <mi>N</mi> <mi>S</mi> <mi>S</mi> </mrow> </msub> <mo>=</mo> <msup> <msub> <mi>Q</mi> <mrow> <msub> <mi>uality</mi> <mn>1</mn> </msub> </mrow> </msub> <mi>&Phi;</mi> </msup> <mo>&CenterDot;</mo> <msub> <mi>Q</mi> <mrow> <msub> <mi>uality</mi> <mn>2</mn> </msub> </mrow> </msub> </mrow>

其中Φ为固定正权重系数，取值范围为10-100；和由第五步和第七步求得。

2.根据权利要求1所述的方法，其特征在于，ε＝5。

3.根据权利要求1所述的方法，其特征在于，Δ＝5。