CN111311595A - 一种图像质量的无参考质量评价方法及计算机可读存储介质 - Google Patents

一种图像质量的无参考质量评价方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111311595A
CN111311595A CN202010183218.0A CN202010183218A CN111311595A CN 111311595 A CN111311595 A CN 111311595A CN 202010183218 A CN202010183218 A CN 202010183218A CN 111311595 A CN111311595 A CN 111311595A
Authority
CN
China
Prior art keywords
image
quality
extracting
local
binary pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010183218.0A
Other languages
English (en)
Other versions
CN111311595B (zh
Inventor
刘玉涛
李秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010183218.0A priority Critical patent/CN111311595B/zh
Publication of CN111311595A publication Critical patent/CN111311595A/zh
Application granted granted Critical
Publication of CN111311595B publication Critical patent/CN111311595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像质量的无参考质量评价方法及计算机可读存储介质,方法包括:选取自然无失真图像,并将所述自然无失真图像分块,提取每一个图像块的局部二值模式特征;提取每一个所述图像块的局部归一化统计特征;对每一个所述图像块进行稀疏表示,分别计算所述图像块与所述稀疏表示的残差和结构相似性并提取视觉感知特征;利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,提取所述多元高斯模型的模型参数;利用所述多元高斯模型来预测待评价的失真图像的质量。通过描述自然图像的统计特性的变化以及视觉感知方式的变化,提取相应的图像特征来度量图像质量的变化程度,从而准确地评价失真图像的质量。

Description

一种图像质量的无参考质量评价方法及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像质量的无参考质量评价方法及计算机可读存储介质。
背景技术
在以图像为载体的应用中,图像的质量一直是人们所关心的问题。数字图像在采集、存储、传输和处理中难免受到不同种类失真的影响,从而影响图像的质量。比如,在图像的拍摄过程中,机械抖动和不聚焦会导致采集到的图像出现模糊;在图像压缩过程中,过度压缩会使图像产生块效应;在图像传输过程中,有可能会引入噪声等。这些因素都严重损害了图像的质量,造成失真图像无处不在。因此,如何准确地估计图像的质量成为学术界和工业界广泛关注的问题,同时也是图像质量评价(Image Quality Assessment,IQA)要解决的问题。高效的图像质量评价方法有着广泛的应用价值。
根据参考原始图像的信息量,图像质量评价技术可以分为全参考质量评价、部分参考质量评价和无参考质量评价。其中,全参考质量评价是指参考原始图像的全部信息对失真图像的质量做出估计;部分参考图像质量评价是参考原始图像的部分信息(通常表现为图像特征)对失真图像的质量做出估计;无参考图像质量评价在不参考原始图像的基础上对失真图像的质量进行评价。
在全参考质量评价方面,Wang,Z.等人在《IEEE Trans.Image Process》第13卷第4期第600页至第612页发表的论文“Image quality assessment:fromerror visibility tostructural similarity”中提出的结构相似性方法(SSIM)通过比较原始图像和失真图像的结构相似性来评价失真图像的质量。Wang,Z.等人在《IEEE Asilomar Conference onSignals,Systems and Computer》第2卷第1398页至第1402页发表的论文“Multi-scalestructural similarity for image quality assessment”中提出的多尺度结构相似性方法(MS-SSIM),将SSIM方法从单维度扩展到多个维度上。Sheikh,H.R.等人在《IEEETrans.Image Process》第15卷第2期第430页至第444页发表的论文《Image informationand visual quality》中提出视觉信息保真度方法(VIF),通过量化图像的信息损失来进行图像质量评价。
在部分参考质量评价方面,Gao,X.等人在《IEEE Trans.Image Process》第18卷第7期第1409页至1423页发表的论文“Image Quality Assessment Based on MultiscaleGeometric Analysis”中对图像进行多尺度分解,对分解系数用人眼对比度敏感函数进行加权,之后用最小可觉差(Just Noticeable Difference,JND)模型对系数进行处理,提取直方图特征预测图像质量。Liu,Y.等人在《IEEE Trans.Multimedia》第20卷第2期第379页至391页发表的论文“Reduced-Reference Image Quality Assessment in Free-EnergyPrinciple and Sparse Representation”中计算稀疏表示残差的信息熵来评价图像的质量。
在无参考质量评价方面,Moorthy等人在《IEEE Trans.Image Process》第20卷第12期第3350页至3364页发表的论文“Blind Image Quality Assessment:From NaturalScene Statistics to Perceptual Quality”中提取了丰富的小波系数特征来度量图像质量的失真,建立了基于失真判别的图像真实性与完整性评价指标(DistortionIdentification-based Image Verity and INtegrity Evaluation,DIIVINE)。Saad等人在《IEEE Trans.Image Process》第21卷第8期第3339页至3352页发表的论文“Blind ImageQuality Assessment:ANatural Scene Statistics Approach in the DCT Domain”中提取DCT域的特征,包括频带的分布系数,频带变化系数、子带的能量比例、方向特征来对图像的质量失真程度进行估计,提出了利用DCT统计特征的无参考图像保真度指标(blindimage integrity notator using DCT statistics,BLIINDS)。
现有的无参考质量评价方法存在以下技术问题:(1)方法性能上仍然不够理想;(2)往往需要图像的主观质量分数训练模型,而图像主观分数的获取需要大量的人力、物力,成本较高;(3)基于主观分数训练的方法受限于所使用的训练集,方法的泛化能力较差;(4)时间复杂度仍然较高。现有技术中缺乏一种效果好成本低的无参考质量评价方法。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题,提供一种图像质量的无参考质量评价方法及计算机可读存储介质。
为了解决上述问题,本发明采用的技术方案如下所述:
一种图像质量的无参考质量评价方法,包括如下步骤:S1:选取自然无失真图像,并将所述自然无失真图像分块,提取每一个图像块的局部二值模式特征;S2:提取每一个所述图像块的局部归一化统计特征;S3:对每一个所述图像块进行稀疏表示,分别计算所述图像块与所述稀疏表示的残差和结构相似性并提取视觉感知特征;S4:利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,提取所述多元高斯模型的模型参数;S5:利用所述多元高斯模型来预测待评价的失真图像的质量。
优选地,将所述图像分成无重叠的图像块;计算每一个所述图像块的局部二值模式,得到所述图像块对应的局部二值模式图,提取所述局部二值模式图的均值作为局部二值模式特征,具体计算方式如下:
用gc和gp分别表示所述图像块的中间像素和其周围一个像素,那么中间像素的局部二值模式编码定义为:
Figure BDA0002413267890000031
其中,P和R分别表示周围像素的个数和半径;s(·)表示阶梯函数,定义为:
Figure BDA0002413267890000032
U(·)是一致性度量函数,返回模式的空间转换次数,定义为:
Figure BDA0002413267890000033
对每一个像素计算局部二值模式编码,得到所述图像块对应的0-1二值模式图M,定义为:
Figure BDA0002413267890000034
其中,x和y表示图像的坐标,l是一个常数,代表某一固定的二值模式编码;取二值模式图M的均值作为局部二值模式特征来反应图像质量的变化。
优选地,提取每一个所述图像块的局部归一化统计特征包括:利用所述局部二值模式图的均值和方差对所述图像块进行局部归一化,得到归一化系数图像;利用0均值的广义高斯分布来拟合所述归一化系数图像,提取参数作为图像特征。
优选地,将所述图像块进行局部归一化,即:
Figure BDA0002413267890000041
其中,
Figure BDA0002413267890000042
为局部归一化系数图像块,I为一个失真图像块,μ和σ为图像块的均值和方差;
对于局部归一化系数图像,利用0均值的广义高斯分布来拟合其像素的分布,广义高斯分布的模型定义为:
Figure BDA0002413267890000043
其中,Γ(·)表示gamma函数,定义为:
Figure BDA0002413267890000044
其中,α和β为广义高斯函数的参数,提取所述参数作为特征来描述图像的质量。
优选地,相邻归一化系数的乘积服从非对称的广义高斯分布,因此计算四个相邻方向的归一化系数的乘积,即水平方向、竖直方向、主对角线方向、次对角线方向,得到四个方向的乘积图像,并利用非对称的广义高斯分布分别拟合这四个方向的乘积图像,非对称的广义高斯分布定义为:
Figure BDA0002413267890000045
其中,γ,βl,βr和η为模型参数,η表示分布的均值,定义为:
Figure BDA0002413267890000046
Γ(·)表示gamma函数,提取γ,βl,βr和η作为描述图像质量变化的特征。
优选地,对每一个所述图像块进行稀疏表示,图像块为
Figure BDA0002413267890000051
它在字典
Figure BDA0002413267890000052
上的稀疏表示实际是求一个稀疏向量
Figure BDA0002413267890000053
满足:
Figure BDA0002413267890000054
上式可以进一步转化为无约束的优化问题:
Figure BDA0002413267890000055
其中,第一项为保真度项,第二项稀疏约束项,λ为常数,用来平衡两项的比重,p取值为1,利用正交匹配追踪算法求解上式,得到图像块xk的稀疏表示系数
Figure BDA0002413267890000056
则xk稀疏表示为
Figure BDA0002413267890000057
优选地,计算输入图像与所述稀疏表示之间的残差:
PR(x,y)=I(x,y)-I′(x,y)
其中,PR为表示残差,I为输入图像,I'为输入图像的稀疏表示;
提取残差的视觉感知特征来对表示残差进行池化,计算均值、方差、峰度、偏度和信息熵池化作为所述视觉感知特征,ε(·)为取均值操作,具体计算为:
mPR=ε(PR)
Figure BDA0002413267890000058
Figure BDA0002413267890000059
Figure BDA00024132678900000510
信息熵计算为:
Figure BDA00024132678900000511
其中,pi为第i级灰度的概率密度;
计算所述输入图像与所述稀疏表示的结构相似性,即:
Figure BDA0002413267890000061
其中,SM为结构相似性,I为输入图像,I'为输入图像的稀疏表示,μI和μI'分别为I和I'的均值,
Figure BDA0002413267890000062
Figure BDA0002413267890000063
分别为I和I'的方差,σII'为I和I'的线性相关系数,C1取值为6.5025,C2取值为58.5225;
提取结构相似性的均值、方差、峰度、偏度和信息熵等信息作为视觉感知特征。
优选地,利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,多元高斯分布的定义为:
Figure BDA0002413267890000064
其中x表示特征向量,k表示特征向量的维度取值29,μp和∑p分别为第一均值向量和第一协方差矩阵。
优选地,利用所述多元高斯模型来预测待评价的失真图像的质量包括:
为所述失真图像的每一个图像块提取一个局部归一化统计特征和视觉感知特征,利用多元高斯分布拟合所有图像块的特征向量分布,得到所述待评价的失真图像对应的第二均值向量μd和第二协方差矩阵∑d,与第一均值向量μp和第一协方差矩阵∑p进行比较得到所述待评价失真图像的质量:
Figure BDA0002413267890000065
其中,Q表示图像的质量分数。
本发明还提供一种计算机可读存储介质,所述计算机存储介质中存储有计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如上任意一项所述的方法。
本发明的有益效果为:提供一种图像质量的无参考质量评价方法及计算机可读存储介质,通过描述自然图像的统计特性的变化以及视觉感知方式的变化,提取相应的图像特征来度量图像质量的变化程度,从而准确地评价失真图像的质量。
进一步的,本发明还提供一种提取视觉感知方式的方法,进一步提高了对图像的预测性能。
附图说明
图1是本发明实施例中一种图像质量的无参考质量评价方法的示意图。
图2是本发明实施例中一种图像质量的无参考质量评价方法的原理示意图
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
如图1所示,本发明提供一种图像质量的无参考质量评价方法,包括如下步骤:
S1:选取自然无失真图像,并将所述自然无失真图像分块,提取每一个图像块的局部二值模式特征;
S2:提取每一个所述图像块的局部归一化统计特征;
S3:对每一个所述图像块进行稀疏表示,分别计算所述图像块与所述稀疏表示的残差和结构相似性并提取视觉感知特征;
S4:利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,提取所述多元高斯模型的模型参数;
S5:利用所述多元高斯模型来预测待评价的失真图像的质量。
本发明保护的方法首先将自然无失真图像进行分块,然后对每一图像块提取表征质量变化的统计特征和视觉感知特征,利用统计特征和视觉感知特征在一组自然无失真图像上训练一个多元高斯模型,利用该模型来预测失真图像的质量。
现有技术往往局限于提取图像的自然统计特征来评价图像的质量,导致现有技术的性能存在一定的局限性。自然图像在没有失真的情况下,其自身服从一定的统计规律,而外部的失真会改变图像自身的统计规律,同时人类视觉系统对于自然无失真图像与失真图像的感知方式有所不同,本发明通过描述自然图像的统计特性的变化以及视觉感知方式的变化,提取相应的图像特征来度量图像质量的变化程度,从而准确地评价失真图像的质量。
如图2所示,是本发明中一种图像质量的无参考质量评价方法的原理示意图。
在本发明的一种实施例中,首先选取一组(比如100张)自然无失真图像,把每一幅图像分为96×96大小无重叠的块,然后对于每一图像块计算该块的局部二值模式(LocalBinary Patterns,LBP),得到图像块对应的局部二值模式图,提取所述局部二值模式图的均值作为局部二值模式特征。96*96是一个经验值,块大小的范围在80到120之间,对预测性能的影响不大。经过测试发现,超过100张图像,方法的性能基本不再提升,因此,采取100张图像,范围是80-120张。具体计算方式如下:
用gc和gp分别表示所述图像块的中间像素和其周围一个像素,那么中间像素的局部二值模式编码定义为:
Figure BDA0002413267890000081
其中,P和R分别表示周围像素的个数和半径,分别取值为4和1;s(·)表示阶梯函数,定义为:
Figure BDA0002413267890000091
U(·)是一致性度量函数,返回模式的空间转换次数,定义为:
Figure BDA0002413267890000092
对每一个像素计算局部二值模式编码,得到所述图像块对应的0-1二值模式图M,定义为:
Figure BDA0002413267890000093
其中,x和y表示图像的坐标,l是一个常数,代表某一固定的二值模式编码;取二值模式图M的均值作为局部二值模式特征来反应图像质量的变化。
然后,提取每一个所述图像块的局部归一化统计特征包括:
利用所述局部二值模式图的均值和方差对所述图像块进行局部归一化,得到归一化系数图像;
利用0均值的广义高斯分布来拟合所述归一化系数图像,提取参数作为图像特征。
具体的,将所述图像块进行局部归一化,即:
Figure BDA0002413267890000094
其中,
Figure BDA0002413267890000095
为局部归一化系数图像块,I为一个失真图像块,μ和σ为图像块的均值和方差;
对于局部归一化系数图像,利用0均值的广义高斯分布来拟合其像素的分布,广义高斯分布的模型定义为:
Figure BDA0002413267890000096
其中,Γ(·)表示gamma函数,定义为:
Figure BDA0002413267890000097
其中,α和β为广义高斯函数的参数,提取参数作为特征来描述图像的质量。
此外,相邻归一化系数的乘积服从非对称的广义高斯分布,因此计算四个相邻方向的归一化系数的乘积,即水平方向、竖直方向、主对角线方向、次对角线方向,得到四个方向的乘积图像,并利用非对称的广义高斯分布分别拟合这四个方向的乘积图像,非对称的广义高斯分布定义为:
Figure BDA0002413267890000101
其中,γ,βl,βr和η为模型参数,η表示分布的均值,定义为:
Figure BDA0002413267890000102
Γ(·)表示gamma函数,提取γ,βl,βr和η作为描述图像质量变化的特征。
进一步的,对每一个所述图像块进行稀疏表示,图像块为
Figure BDA0002413267890000103
它在字典
Figure BDA0002413267890000104
上的稀疏表示实际是求一个稀疏向量
Figure BDA0002413267890000105
满足:
Figure BDA0002413267890000106
上式可以进一步转化为无约束的优化问题:
Figure BDA0002413267890000107
其中,第一项为保真度项,第二项稀疏约束项,λ为常数,用来平衡两项的比重,p取值为1,利用正交匹配追踪算法求解上式,得到图像块xk的稀疏表示系数
Figure BDA0002413267890000108
则xk稀疏表示为
Figure BDA0002413267890000109
利用图像与其稀疏表示方式之间的差异来描述图像质量的变化情况。首先,计算所述输入图像与所述稀疏表示之间的残差:可以理解的是,如果是整张图像处理,这里输入图像就是整张图像,如果是图像分成图像块进行处理,此处的输入图像是指图像块。
PR(x,y)=I(x,y)-I′(x,y)
其中,PR为表示残差,I为输入图像,I'为输入图像的稀疏表示;
提取残差的视觉感知特征来对表示残差进行池化,计算均值、方差、峰度、偏度和信息熵池化作为所述视觉感知特征,ε(·)为取均值操作,具体计算为:
mPR=ε(PR)
Figure BDA0002413267890000111
Figure BDA0002413267890000112
Figure BDA0002413267890000113
信息熵计算为:
Figure BDA0002413267890000114
其中,pi为第i级灰度的概率密度;
计算所述输入图像与所述稀疏表示的结构相似性,即:
Figure BDA0002413267890000115
其中,SM为结构相似性,I为输入图像,I'为输入图像的稀疏表示,μI和μI'分别为I和I'的均值,
Figure BDA0002413267890000116
Figure BDA0002413267890000117
分别为I和I'的方差,σII'为I和I'的线性相关系数,C1取值为6.5025,C2取值为58.5225;本发明中采用SSIM方法计算结构相似性,当然也可以采用其他方法。
提取结构相似性的均值、方差、峰度、偏度和信息熵等信息作为视觉感知特征,计算方法如前所述。
相关研究表明人类视觉系统采用稀疏表示的方式感知外部视觉信号,而且对视觉信号中的结构信息较为敏感,因此,上述步骤提取的特征是建立在视觉感知理论的基础之上。本发明设计了视觉感知特征来评价图像质量,并进一步设计了采用如上方法来提取视觉感知特征。
利用局部归一化统计特征和视觉感知特征训练多元高斯模型,多元高斯分布的定义为:
Figure BDA0002413267890000118
其中,x表示特征向量,k表示特征向量的维度,取值29,μp和∑p分别为第一均值向量和第一协方差矩阵。
最后,利用所述多元高斯模型来预测待评价的失真图像的质量包括:
为所述失真图像的每一个图像块提取一个局部归一化统计特征和视觉感知特征,利用多元高斯分布拟合所有图像块的特征向量分布,得到所述待评价的失真图像对应的第二均值向量μd和第二协方差矩阵∑d,与第一均值向量μp和第一协方差矩阵∑p进行比较得到所述待评价失真图像的质量:
Figure BDA0002413267890000121
其中,Q表示图像的质量分数。本申请实施例还提供一种控制装置,包括处理器和用于存储计算机程序的存储介质;其中,处理器用于执行所述计算机程序时至少执行如上所述的方法。
在本发明一种具体的实施例中,在LIVE库上测试本发明方法的性能,利用斯皮尔曼等级相关系数(Spearman Rank order Correlation Coefficient,SRCC)、皮尔逊线性相关系数(Pearson Linear Correlation Coefficient,PLCC)、均方根误差(Root MeanSquare Error,RMSE)三个指标来衡量算法的性能。其中,SRCC衡量算法的一致性,PLCC衡量算法的准确性,RMSE衡量算法的稳定性。SRCC,PLCC计算图像主观质量分数与客观质量分数之间的相关性,RMSE计算主观分数与客观分数之间的误差。SRCC,PLCC越接近于1,RMSE越接近于0表明客观评价算法的性能越好。实验结果如表1所示。
表1实验结果
Figure BDA0002413267890000122
表1同时对比了现有技术,包括LPSI,QAC,SISBLIM,NIQE和ILNIQE模型,从表中可以观察到,本发明在所有的对比方法中取得了最优的预测性能,证明了本发明的有效性和优越性。
本申请实施例还提供一种存储介质,用于存储计算机程序,该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器,所述处理器执行计算机程序,至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,SynchronousStatic Random Access Memory)、动态随机存取存储器
(DRAM,Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像质量的无参考质量评价方法,其特征在于,包括如下步骤:
S1:选取自然无失真图像,并将所述自然无失真图像分块,提取每一个图像块的局部二值模式特征;
S2:提取每一个所述图像块的局部归一化统计特征;
S3:对每一个所述图像块进行稀疏表示,分别计算所述图像块与所述稀疏表示的残差和结构相似性并提取视觉感知特征;
S4:利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,提取所述多元高斯模型的模型参数;
S5:利用所述多元高斯模型来预测待评价的失真图像的质量。
2.如权利要求1所述的图像质量的无参考质量评价方法,其特征在于,将所述图像分成无重叠的图像块;计算每一个所述图像块的局部二值模式,得到所述图像块对应的局部二值模式图,提取所述局部二值模式图的均值作为局部二值模式特征,具体计算方式如下:
用gc和gp分别表示所述图像块的中间像素和其周围一个像素,那么中间像素的局部二值模式编码定义为:
Figure FDA0002413267880000011
其中,P和R分别表示周围像素的个数和半径;s(·)表示阶梯函数,定义为:
Figure FDA0002413267880000012
U(·)是一致性度量函数,返回模式的空间转换次数,定义为:
Figure FDA0002413267880000013
对每一个像素计算局部二值模式编码,得到所述图像块对应的0-1二值模式图M,定义为:
Figure FDA0002413267880000014
其中,x和y表示图像的坐标,l是一个常数,代表某一固定的二值模式编码;取二值模式图M的均值作为局部二值模式特征来反应图像质量的变化。
3.如权利要求2所述的图像质量的无参考质量评价方法,其特征在于,提取每一个所述图像块的局部归一化统计特征包括:
利用所述局部二值模式图的均值和方差对所述图像块进行局部归一化,得到归一化系数图像;
利用0均值的广义高斯分布来拟合所述归一化系数图像,提取参数作为图像特征。
4.如权利要求3所述的图像质量的无参考质量评价方法,其特征在于,将所述图像块进行局部归一化,即:
Figure FDA0002413267880000021
其中,
Figure FDA0002413267880000022
为局部归一化系数图像块,I为一个失真图像块,μ和σ为图像块的均值和方差;
对于局部归一化系数图像,利用0均值的广义高斯分布来拟合其像素的分布,广义高斯分布的模型定义为:
Figure FDA0002413267880000023
其中,Γ(·)表示gamma函数,定义为:
Γ(x)=∫0 φx-1edφ,x>0
其中,α和β为广义高斯函数的参数,提取所述参数作为特征来描述图像的质量。
5.如权利要求4所述的图像质量的无参考质量评价方法,其特征在于,相邻归一化系数的乘积服从非对称的广义高斯分布,因此计算四个相邻方向的归一化系数的乘积,即水平方向、竖直方向、主对角线方向、次对角线方向,得到四个方向的乘积图像,并利用非对称的广义高斯分布分别拟合这四个方向的乘积图像,非对称的广义高斯分布定义为:
Figure FDA0002413267880000031
其中,γ,βl,βr和η为模型参数,η表示分布的均值,定义为:
Figure FDA0002413267880000032
Γ(·)表示gamma函数,提取γ,βl,βr和η作为描述图像质量变化的特征。
6.如权利要求5所述的图像质量的无参考质量评价方法,其特征在于,对每一个所述图像块进行稀疏表示,图像块为
Figure FDA0002413267880000033
它在字典
Figure FDA0002413267880000034
上的稀疏表示实际是求一个稀疏向量
Figure FDA0002413267880000035
满足:
Figure FDA0002413267880000036
上式可以进一步转化为无约束的优化问题:
Figure FDA0002413267880000037
其中,第一项为保真度项,第二项稀疏约束项,λ为常数,用来平衡两项的比重,p取值为1,利用正交匹配追踪算法求解上式,得到图像块xk的稀疏表示系数
Figure FDA0002413267880000038
则xk稀疏表示为
Figure FDA0002413267880000039
7.如权利要求6所述的图像质量的无参考质量评价方法,其特征在于,计算输入图像与所述稀疏表示之间的残差:
PR(x,y)=I(x,y)-I′(x,y)
其中,PR为表示残差,I为输入图像,I’为输入图像的稀疏表示;
提取残差的视觉感知特征来对表示残差进行池化,计算均值、方差、峰度、偏度和信息熵池化作为所述视觉感知特征,ε(·)为取均值操作,具体计算为:
mPR=ε(PR)
Figure FDA00024132678800000310
Figure FDA0002413267880000041
Figure FDA0002413267880000042
信息熵计算为:
Figure FDA0002413267880000043
其中,pi为第i级灰度的概率密度;
计算所述输入图像与所述稀疏表示的结构相似性,即:
Figure FDA0002413267880000044
其中,SM为结构相似性,I为输入图像,I'为输入图像的稀疏表示,μI和μI'分别为I和I'的均值,
Figure FDA0002413267880000045
Figure FDA0002413267880000046
分别为I和I'的方差,σII'为I和I'的线性相关系数,C1取值为6.5025,C2取值为58.5225;
提取结构相似性的均值、方差、峰度、偏度和信息熵等信息作为视觉感知特征。
8.如权利要求7所述的图像质量的无参考质量评价方法,其特征在于,利用所述局部归一化统计特征和视觉感知特征训练多元高斯模型,多元高斯分布的定义为:
Figure FDA0002413267880000047
其中,x表示特征向量,k表示特征向量的维度,取值29,μp和∑p分别为第一均值向量和第一协方差矩阵。
9.如权利要求8所述的图像质量的无参考质量评价方法,其特征在于,利用所述多元高斯模型来预测待评价的失真图像的质量包括:
为所述失真图像的每一个图像块提取一个局部归一化统计特征和视觉感知特征,利用多元高斯分布拟合所有图像块的特征向量分布,得到所述待评价的失真图像对应的第二均值向量μd和第二协方差矩阵∑d,与第一均值向量μp和第一协方差矩阵∑p进行比较得到所述待评价的失真图像的质量:
Figure FDA0002413267880000051
其中,Q表示图像的质量分数。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质中存储有计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如权利要求1-9任意一项所述的方法。
CN202010183218.0A 2020-03-16 2020-03-16 图像质量的无参考质量评价方法及计算机可读存储介质 Active CN111311595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183218.0A CN111311595B (zh) 2020-03-16 2020-03-16 图像质量的无参考质量评价方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183218.0A CN111311595B (zh) 2020-03-16 2020-03-16 图像质量的无参考质量评价方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111311595A true CN111311595A (zh) 2020-06-19
CN111311595B CN111311595B (zh) 2023-07-18

Family

ID=71160662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183218.0A Active CN111311595B (zh) 2020-03-16 2020-03-16 图像质量的无参考质量评价方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111311595B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116567A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种无参考图像质量评价方法、装置及存储介质
CN113038123A (zh) * 2021-03-22 2021-06-25 上海大学 无参考全景视频质量评价方法、系统、终端及介质
CN113409248A (zh) * 2021-05-13 2021-09-17 杭州电子科技大学 一种面向夜间图像的无参考质量评价方法
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质
WO2023142753A1 (zh) * 2022-01-27 2023-08-03 华为技术有限公司 图像相似性度量方法及其装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置
CN106530282A (zh) * 2016-10-20 2017-03-22 天津大学 基于空域特征的无参考立体图像质量客观评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置
CN106530282A (zh) * 2016-10-20 2017-03-22 天津大学 基于空域特征的无参考立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGBO WU: "A HIGHLY EFFICIENT METHOD FOR BLIND IMAGE QUALITY ASSESSMENT" *
刘玉涛: "基于视觉感知与统计的图像质量评价方法研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116567A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种无参考图像质量评价方法、装置及存储介质
CN113038123A (zh) * 2021-03-22 2021-06-25 上海大学 无参考全景视频质量评价方法、系统、终端及介质
CN113409248A (zh) * 2021-05-13 2021-09-17 杭州电子科技大学 一种面向夜间图像的无参考质量评价方法
WO2023142753A1 (zh) * 2022-01-27 2023-08-03 华为技术有限公司 图像相似性度量方法及其装置
CN114926459A (zh) * 2022-06-21 2022-08-19 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质

Also Published As

Publication number Publication date
CN111311595B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111311595A (zh) 一种图像质量的无参考质量评价方法及计算机可读存储介质
Xue et al. Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
US8942482B2 (en) Image quality assessment
Saad et al. Blind prediction of natural video quality
Li et al. Content-partitioned structural similarity index for image quality assessment
US8532396B2 (en) Method and system for determining structural similarity between images
US8660364B2 (en) Method and system for determining a quality measure for an image using multi-level decomposition of images
US8515181B2 (en) Method and system for determining a quality measure for an image using a variable number of multi-level decompositions
US20140126808A1 (en) Recursive conditional means image denoising
Wu et al. Visual structural degradation based reduced-reference image quality assessment
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN111311594A (zh) 一种无参考的图像质量评价方法
Kottayil et al. Blind quality estimation by disentangling perceptual and noisy features in high dynamic range images
Zhang et al. Reduced-reference image quality assessment based on distortion families of local perceived sharpness
CN111292323A (zh) 部分参考的图像质量评价方法、控制装置及计算机可读存储介质
Banitalebi-Dehkordi et al. No-reference video quality assessment based on visual memory modeling
Larson et al. Most apparent distortion: a dual strategy for full-reference image quality assessment
Mittal et al. Blind image quality assessment without training on human opinion scores
Yang et al. Image quality assessment improvement via local gray-scale fluctuation measurement
Torkamani-Azar et al. Image quality assessment using block-based weighted SVD
Ding et al. Image quality assessment method based on nonlinear feature extraction in kernel space
CN111354048B (zh) 一种面向相机获取图片的质量评价方法和装置
CN115482500A (zh) 基于置信概率的人群统计方法及装置
Zhang et al. Local binary pattern statistics feature for reduced reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant