CN107798676B - 基于多尺度自然场景统计建立的无参考图像质量感知方法 - Google Patents
基于多尺度自然场景统计建立的无参考图像质量感知方法 Download PDFInfo
- Publication number
- CN107798676B CN107798676B CN201710992803.3A CN201710992803A CN107798676B CN 107798676 B CN107798676 B CN 107798676B CN 201710992803 A CN201710992803 A CN 201710992803A CN 107798676 B CN107798676 B CN 107798676B
- Authority
- CN
- China
- Prior art keywords
- image
- calculating
- scale
- quality perception
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度分析法建立的新无参考图像质量感知方法。该方法能有效评估基于深度图像绘制技术合成图像的质量。本发明考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得,利用深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量感知方法。根据利用主流数据库来对方法进行性能测试的结果,本发明的性能和现有的评估方法相比有较大优势。值得注意的是,由于目前很少有关于深度图像绘制技术合成图像的无参考评估方法的研究,本发明填补了这方面的空白,为将来无参考图像质量感知算法的提高开辟了一个方向。
Description
技术领域
本发明属于图像质量感知方法,利用多尺度自然场景统计分析法建立一种新型无参考图像质量感知模型,能有效评价基于深度图像绘制技术合成的图像质量。
背景技术
如今很多的影像应用中都需要自由视角及其相关技术,基于深度图像绘制技术合成的图像可为用户提供自由视角的体验,因此,它被广泛应用于远程教育、监控、医疗和娱乐等领域。基于深度图像绘制技术合成的图像原理是通过相邻图像合成出虚拟图像,在此过程中,不可避免会引入几何失真。如图1,几何失真和模糊、噪声失真等相比呈现出不同的视觉影响。几何失真属于局部畸变,常常出现在图像前景中最显著的轮廓位置。其它的典型失真属于全局失真,随机的出现在图像的各个地方。因此,相比来说,几何失真对图像的语义结构的破坏程度更大,对图像质量的影响比典型失真更严重。然而,目前缺乏对基于深度图像绘制等技术合成图像引入的几何失真的质量感知方法的研究。现有的图像质量感知算法多依据于参考图像,由于基于深度图像绘制技术合成的图像本身为虚拟图像,通常不能获取其参考图像,因此现有方法难以适用。
为此,本发明提出了基于多尺度自然场景统计分析的无参考图像质量感知模型。本发明基于两个新的针对基于深度图像绘制技术合成的图像质量感知的自然场景统计模型。一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随着图像尺寸缩小而趋于减小的先验知识。由此规律,提出了基于自相似性的自然场景统计模型。二是自然图像的主结构退化程度在不同的尺寸间保持一致,然而,基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一统计规律,可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。最终,将两种统计模型进行结合得到多尺度自然场景统计分析法。
发明内容
本发明利用多尺度自然场景统计分析法建立一种新型无参考图像质量分析模型。本发明融合两个针对几何失真的新的自然场景统计模型对深度图像绘制技术合成的图像的质量进行评价。通过IRCCyN/IVC数据库中的96副图片对该方法进行验证,实验结果表明,本发明对深度图像绘制技术合成的图像的评价效果明显高于已有的图像质量感知方法。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第六步、计算主结构退化向量mY。
本发明的原理是:
统计模型一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随图像尺寸缩小而趋于减小的先验知识。以图1(a)为参考图像X,(d)为相应的基于深度图像绘制技术合成的图像Y为例。由图2可知,X和Y的距离随着尺寸缩小而减小,其中结构相似度(SSIM[1])的值与图像相似度成正相关,与图像距离成负相关。我们发现Y5和相对应的参考图像X5之间SSIM非常高,意味着两者之间具有非常高的相似度。当图像尺寸缩小到一定程度时,通过升采样技术使图片尺寸匹配估计图像的大小就可以近似的作为相应的参考图像。使得统计模型一在没有参考图像的情况下也能对图像进行评估,参考图像和基于深度图像绘制技术合成图像的距离公式可以近似为:例如其中“^”表示将图像升采样得到相匹配的尺寸。为了解决升采样引入模糊失真的问题,用相似度代替距离通过计算每一个像素的相似度并设置阈值τ来过滤模糊失真得到提取出几何失真区域,效果如图4。最后计算出几何失真像素点占总图像像素点比例作为多尺度质量感知值。
统计模型二主要强调结构在图像的质量感知中占有重要地位,因此边缘或轮廓作为结构的组成部分在图像质量感知中起关键作用。自然图像的主结构退化程度在不同的尺寸之间保持一致性,然而,基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一经验我们得到新的统计模型,可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。通过对300幅自然图像及其对应的基于深度图像绘制技术合成的图像计算主结构退化向量m,每个向量有5个元素,分别对应各尺度与尺度5之间的主结构退化值。将最后结果标在坐标系中,得到如图4所示红色区域。由此可知,300个折线之间非常接近,通过计算每个尺度下主结构退化值的均值,可近似得出图中黑色虚线的统计模型,其五个尺度下的主结构退化向量mp={1,0.9919,0.9520,0.8108,0}。随后,我们通过4幅图对统计模型进行测试,(a)为标准的参考图像,(b)为带有严重几何失真的图像,(c)、(d)为高质量深度图像绘制技术合成的图像,并且,每幅图都标有图像质量分数。通过观察可得每幅图在五个尺度下的主结构退化曲线与统计模型的偏离程度与图像质量分数一致,即越接近统计模型,其图像质量分数越高。因此,可以通过此统计模型对基于深度图像绘制技术合成的图像进行有效的无参考质量感知。
最终,将两种统计模型进行结合得到多尺度自然场景统计分析法。
附图说明
图1、典型失真(白噪声和高斯模糊)与几何失真之间的差异的图示。
图2、参考图像和基于深度图像绘制技术合成图像在多尺度上的比较。2↓:降采样缩小2倍。4↑:升采样放大4倍。
图3、统计模型二示意图
具体实施方式:
下面对本发明的实施例作详细说明,本实施例在本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例:
其中N为尺度数,N由第一步可知为5,j指图像中像素点的索引,{θ1,θ2,θ3,θ4,θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}。
其中阈值τ基于大数据样本的自然图像的统计特性得出。随机选取300幅高质量自然场景图像,并且计算它们的上述所选图像均不含有几何失真,即,所有300幅图像的大约5千万像素点的值均高于阈值τ。绘制出所有像素点值的直方图,即图5所示。通过直方图可得出99.85%的像素点的值大于0.1,因此将阈值τ设置为0.1来提取出几何失真区域。通过此公式可提取出几何失真区域,由第三步求得。
第六步,计算主结构退化向量mY,方法如下:
其中u表示尺度;U=5表示5个尺度;Mu代表第u个尺度主结构的值;v代表Mu的像素索引;V等于图像总像素数;每一个像素的取值为1或0,分别表示有无主结构。
其中{θ1,θ2,θ3,θ4,θ5}同样根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333},U=5表示5个尺度,mp={1,0.9919,0.9520,0.8108,0},ε=5,防止分母为零造成溢出。
实施效果
依据上述步骤,本发明利用IRCCyN/IVC数据库来对模型进行性能测试。同时,以11种其它质量感知模型进行比较。这11种方法分为两类,一类为3种全参考评估模型:SSIM、PSIM和MAD,一类为2种半参考评估模型RRED和FTQM,一类为2种无参考评估模型NIQE和IL-NIQE,和4种针对深度图像绘制技术合成的图像评估的先进模型VSQA、3D-SWIM、MW-PSNR和MP-PSNR-RR。采用四种常用的评价指标,斯皮尔曼有序等级相关系数(SROCC)、肯德尔的秩次相关系数(KROCC)、皮尔森线性相关系数(PLCC)和均方根误差(RMSE)。
主客观评估分数非线性回归方程:
其中QMNSS为客观评估分数,f(QMNSS)为回归后的客观分数,{v1,v2,v3,v4,v5}为非线性回归拟合过程的参数,使得f(QMNSS)与主观分数尽量接近。
SROCC的计算公式如下:
其中di表示第i幅图像主客观评估等级差异。W表示主客观评估对的总数。SROCC的值越接近于1越好。
KROCC的计算公式为:
其中Wc和Wd表示数据集中一致和不一致图相对的总数。KROCC的值越接近于1越好。
PLCC的计算公式为:
RMSE的计算公式为:
其中oi和qi分别为第i幅图像的主观分数和回归后的客观分数,W为图像总数。RMSE的值越小越好。
最终可得本发明提出模型的SROCC、KROCC、PLCC和RMSE分别达到0.770、0.568、0.785和0.412。本发明在各个指标方面均优于所对比方法。
表1
算法类型 | SROCC | KROCC | PLCC | RMSE |
SSIM[2]FR | 0.436 | 0.287 | 0.485 | 0.582 |
PSIM[3]FR | 0.412 | 0.284 | 0.504 | 0.575 |
MAD[4]FR | 0.599 | 0.437 | 0.607 | 0.528 |
RRED[5]RR | 0.309 | 0.210 | 0.407 | 0.608 |
FTQM[6]RR | 0.554 | 0.386 | 0.562 | 0.550 |
NIQE[7]NR | 0.373 | 0.242 | 0.437 | 0.598 |
IL-NIQE[8]NR | 0.526 | 0.360 | 0.493 | 0.579 |
VSQA[9] | 0.523 | 0.367 | 0.574 | 0.545 |
3D-SWIM[10] | 0.615 | 0.449 | 0.658 | 0.501 |
MW-PSNR[11] | 0.575 | 0.437 | 0.562 | 0.550 |
MP-PSNR-RR[12] | 0.663 | 0.538 | 0.677 | 0.489 |
MNSS(Propsed) | 0.770 | 0.568 | 0.785 | 0.412 |
[1]SSIM:Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment:From error visibility to structuralsimilarity”;
表1中所述的算法具体是指:
[2]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Imagequalityassessment:From error visibility to structural similarity,”IEEETrans.Image Process.,vol.13,no.4,pp.600-612,Apr.2004.
[3]K.Gu,L.Li,H.Lu,X.Min,and W.Lin,“A fast reliable imagequalitypredictor by fusing micro-and macro-structures,”IEEE Trans.Ind.Electron.,vol.64,no.5,pp.3903-3912,May2017.
[4]E.C.Larson and D.M.Chandler,“Most apparent distortion:Fullreference image quality assessment and the role of strategy,”JournalofElectronic Imaging,vol.19,no.1,Mar.2010.Online at:http://vision.okstate.edu/csiq
[5]R.Soundararajan and A.C.Bovik,“RRED indices:Reduced-referenceentropic differencing for image quality assessment,”IEEETrans.ImageProcess.,vol.21,no.2,pp.517-526,Feb.2012.
[6]M.Narwaria,W.Lin,I.V.McLoughlin,S.Emmanuel,and L.T.Chia,“Fouriertransform-based scalable image quality measure,”IEEE Trans.Image Process.,vol.21,no.8,pp.3364-3377,Aug.2012.
[7]A.Mittal,R.Soundararajan,and A.C.Bovik,“Making a‘completelyblind’image quality analyzer,”IEEE Sig.Process.Lett.,vol.22,no.3,pp.209-212,Mar.2013.
[8]L.Zhang,L.Zhang,and A.C.Bovik,“A feature-enriched completelyblindimage quality evaluator,”IEEE Trans.Image Process.,vol.24,no.8,pp.2579-2591,Aug.2015
[9]P.H.Conze,P.Robert,and L.Morin,“Objective view synthesisqualityassessment,”Electron.Imag.Int.Society for Optics and Photonics,pp.8288-8256,Feb.2012.
[10]F.Battisti,E.Bosc,M.Carli,and P.Le Callet,“Objective imagequalityassessment of 3D synthesized views,”Signal Process.Image Commun.,vol.30,pp.78-88,Jan.2015.
[11]D.Sandi′c-Stankovi′c,D.Kukolj,and P.Le Callet,“DIBR-synthesizedimage quality assessment based on morphological wavelets,”inProc.IEEE Int.Workshop on Quality of Multimedia Experience,pp.1-6,Jan.2015.
[12]D.Sandi′c-Stankovi′c,D.Kukolj,and P.Le Callet,“Multi-scalesynthesized view assessment based on morphological pyramids,”JournalofElectrical Engineering,vol.67,no.1,pp.1-9,Jan.2016
Claims (3)
1.基于多尺度自然场景统计分析法无参考图像质量感知方法,其特征在于包括以下步骤:
第六步、计算主结构退化向量mY;
第一步中:
第二步中:
第三步中:
其中N为尺度数,N由第一步知为5,j指图像中像素点的索引,{θ1θ2θ3θ4θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333};
第四步中:
第五步中:
第六步中:
计算主结构退化向量mY,方法如下:
其中u表示尺度;U=5表示5个尺度;Mu代表第u个尺度主结构的值;v代表Mu的像素索引;V等于图像总像素数;每一个像素的取值为1或0,分别表示有无主结构;
第七步中:
其中{θ1,θ2,θ3,θ4,θ5}同样根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333},U=5表示5个尺度,mp={1,0.9919,0.9520,0.8108,0},ε为一正数,防止分母为零造成溢出;
第八步中:
2.根据权利要求1所述的方法,其特征在于,ε=5。
3.根据权利要求1所述的方法,其特征在于,Δ=5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710992803.3A CN107798676B (zh) | 2017-10-23 | 2017-10-23 | 基于多尺度自然场景统计建立的无参考图像质量感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710992803.3A CN107798676B (zh) | 2017-10-23 | 2017-10-23 | 基于多尺度自然场景统计建立的无参考图像质量感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107798676A CN107798676A (zh) | 2018-03-13 |
CN107798676B true CN107798676B (zh) | 2021-05-07 |
Family
ID=61533495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710992803.3A Active CN107798676B (zh) | 2017-10-23 | 2017-10-23 | 基于多尺度自然场景统计建立的无参考图像质量感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107798676B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064456B (zh) * | 2018-07-19 | 2021-05-18 | 西安工业大学 | 数码迷彩拼接的接缝显著程度检测方法 |
CN110211090B (zh) * | 2019-04-24 | 2021-06-29 | 西安电子科技大学 | 一种用于评价视角合成图像质量的方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102945552A (zh) * | 2012-10-22 | 2013-02-27 | 西安电子科技大学 | 基于自然场景统计中稀疏表示的无参考图像质量评价方法 |
CN103763552A (zh) * | 2014-02-17 | 2014-04-30 | 福州大学 | 基于视觉感知特性的立体图像无参考质量评价方法 |
CN104008543A (zh) * | 2014-05-12 | 2014-08-27 | 河海大学 | 一种图像融合质量评价方法 |
CN104103064A (zh) * | 2013-04-10 | 2014-10-15 | 无锡金帆钻凿设备股份有限公司 | 基于梯度相似度的无参考噪声图像质量评价方法 |
CN105208374A (zh) * | 2015-08-24 | 2015-12-30 | 宁波大学 | 一种基于深度学习的无参考图像质量客观评价方法 |
CN105407349A (zh) * | 2015-11-30 | 2016-03-16 | 宁波大学 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
CN106780446A (zh) * | 2016-12-01 | 2017-05-31 | 重庆邮电大学 | 一种无参考混合失真图像质量评价方法 |
CN107180427A (zh) * | 2017-06-07 | 2017-09-19 | 北京工业大学 | 基于自回归局部图像描述的3d合成图像质量评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086007B2 (en) * | 2007-10-18 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for human vision model guided medical image quality assessment |
-
2017
- 2017-10-23 CN CN201710992803.3A patent/CN107798676B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102945552A (zh) * | 2012-10-22 | 2013-02-27 | 西安电子科技大学 | 基于自然场景统计中稀疏表示的无参考图像质量评价方法 |
CN104103064A (zh) * | 2013-04-10 | 2014-10-15 | 无锡金帆钻凿设备股份有限公司 | 基于梯度相似度的无参考噪声图像质量评价方法 |
CN103763552A (zh) * | 2014-02-17 | 2014-04-30 | 福州大学 | 基于视觉感知特性的立体图像无参考质量评价方法 |
CN104008543A (zh) * | 2014-05-12 | 2014-08-27 | 河海大学 | 一种图像融合质量评价方法 |
CN105208374A (zh) * | 2015-08-24 | 2015-12-30 | 宁波大学 | 一种基于深度学习的无参考图像质量客观评价方法 |
CN105407349A (zh) * | 2015-11-30 | 2016-03-16 | 宁波大学 | 基于双目视觉感知的无参考立体图像质量客观评价方法 |
CN106780446A (zh) * | 2016-12-01 | 2017-05-31 | 重庆邮电大学 | 一种无参考混合失真图像质量评价方法 |
CN107180427A (zh) * | 2017-06-07 | 2017-09-19 | 北京工业大学 | 基于自回归局部图像描述的3d合成图像质量评价方法 |
Non-Patent Citations (6)
Title |
---|
Camera image quality assessment without reference information;Lijuan Tang et al;《2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics(CISP-BMEI 2016)》;20161231;第666-670页 * |
No-Reference and Robust Image Sharpness Evaluation Based on Multiscale Spatial and Spectral Features;Leida Li et al;《IEEE TRANSACTIONS ON MULTIMEDIA》;20170531;第19卷(第5期);第39-50页 * |
No-reference image sharpness assessment in autoregressive parameter space;Ke Gu et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151031;第24卷(第10期);第3218-3231页 * |
基于Contourlet域梯度结构相似度的无参考图像质量评价;王锋 等;《信息工程大学学报》;20140228;第15卷(第1期);第80-84页 * |
基于尺度不变性的无参考图像质量评价;田金沙 等;《计算机应用》;20160310;第36卷(第3期);第789-794、832页 * |
无参考图像质量评价综述;王志明;《自动化学报》;20150630;第41卷(第6期);第1062-1079页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107798676A (zh) | 2018-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101877127B (zh) | 基于梯度剖面的图像无参考质量评价方法及系统 | |
CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
CN110415260B (zh) | 基于字典与bp神经网络的烟雾图像分割与识别方法 | |
CN107316323B (zh) | 基于多尺度分析法建立的无参考图像质量评估方法 | |
CN111709888B (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
CN115908154A (zh) | 基于图像处理的视频后期颗粒噪声去除方法 | |
CN107798676B (zh) | 基于多尺度自然场景统计建立的无参考图像质量感知方法 | |
CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
CN102222321A (zh) | 一种视频序列盲重建方法 | |
CN109801257A (zh) | 无参考dibr生成图像质量评价方法 | |
Dosselmann et al. | A formal assessment of the structural similarity index | |
Jin et al. | A foveated video quality assessment model using space-variant natural scene statistics | |
Gu et al. | Using multiscale analysis for blind quality assessment of DIBR-synthesized images | |
CN114926348B (zh) | 一种去除低照度视频噪声的装置和方法 | |
Xie et al. | DHD-Net: A novel deep-learning-based dehazing network | |
CN106780398B (zh) | 一种基于噪声预测的图像去噪方法 | |
Thayammal et al. | Performance analysis of image denoising using deep convolutional neural network | |
CN104952052A (zh) | 一种对emccd图像进行增强的方法 | |
Kansal et al. | Effect of non uniform illumination compensation on dehazing/de-fogging techniques | |
CN113298891A (zh) | 基于四元数小波变换的全参考3d合成图像质量评价方法 | |
Naseeba et al. | KP Visibility Restoration of Single Hazy Images Captured in Real-World Weather Conditions | |
CN112085683A (zh) | 一种显著性检测中的深度图可信度检测方法 | |
CN104601861B (zh) | 一种针对光纤监控视频序列的降噪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |