CN106127234B - 基于特征字典的无参考图像质量评价方法 - Google Patents
基于特征字典的无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN106127234B CN106127234B CN201610431427.6A CN201610431427A CN106127234B CN 106127234 B CN106127234 B CN 106127234B CN 201610431427 A CN201610431427 A CN 201610431427A CN 106127234 B CN106127234 B CN 106127234B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- training
- local mode
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征字典的无参考图像质量评价方法,主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是:1.随机选择60幅自然图像,计算所有图像中每个像素的局部模式;2.采用加权K‑means方法对所得局部模式聚类,并由聚类中心构成特征字典;3.基于特征字典提取训练样本集中每幅训练图像的特征;4.根据训练图像的特征和相应的主观质量值,通过支持向量回归训练回归模型;5.基于特征字典提取测试图像的特征;6.将测试图像的特征输入上述回归模型,预测图像质量;7.根据质量值得出测试图像的质量评价。本发明的评价结果与人眼感知一致,可用于鉴别自然图像、遥感图像等的质量,衡量成像设备的性能等。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种无参考的图像质量评价方法,可用于计算机自动鉴别自然图像、遥感图像的质量。
技术背景
随着信息技术的发展,互联网和各行业快速融合,数字图像和视频作为信息的主要载体,在越来越多的应用场合中发挥着重要作用。每时每刻,大量的图像或视频被获取、压缩和传输。但是,图像在这些处理过程中不可避免的会引入噪声,比如图像获取时成像设备本身的热噪声、抖动造成的模糊噪声,图像压缩时有损压缩方式带来的图像失真,图像传输时信道的干扰噪声等。一幅“干净”的图像被噪声污染后,会降低人眼感知的舒适度,甚至会影响人们对图像内容的正确理解。因此,为了衡量成像设备的性能、指导图像压缩等目的,希望计算机能自动评价一幅图像的质量好坏。于是,需要设计一种和人眼视觉特性一致的图像质量评价算法显得至关重要。
在过去的几十年里,图像质量评价取得了极大的进展,大量的评价算法被提出。一般来说,根据评价时所需参考图像的信息量,现有算法可分为三类:全参考图像质量评价算法、部分参考图像质量评价算法和无参考图像质量评价算法。全参考图像质量评价算法需要参考图像的全部信息,通常能够根据较低的计算复杂度取得很好的性能,比如被广泛使用的峰值信噪比PSNR。部分参考图像质量评价算法则需要参考图像的部分信息,所需的这部分信息通常是从参考图像中提取的特征。在实际情况中,有时我们并不能获取到参考图像的任何信息,因此全参考和部分参考图像质量评价算法的应用受到限制。无参考图像质量评价算法由于不需要参考图像的任何信息,所以成为质量评价领域的研究热点。
目前,无参考图像质量评价算法的一个主流趋势是基于自然场景统计模型。自然场景统计理论认为自然图像的统计分布满足某些统计规律性。然而,当自然图像被噪声污染后,统计特性会被改变。因此,基于自然场景统计模型的评价算法旨在通过衡量图像统计特性的变化来预测图像质量。Mittal等人在文章“No-Reference Image QualityAssessment in the Spatial Domain,”IEEE Transactions on Image Processing,vol.21,no.12,pp.4695-4708,2012中利用广义高斯分布和非对称广义高斯分布来拟合图像的空域像素分布,并将拟合参数作为图像特征进行图像质量评价。Zhang等人在文章“AFeature-Enriched Completely Blind Image Quality Evaluator,”IEEE Transactionson Image Processing,vol.24,no.8,pp.2579-2591,2015中基于自然场景统计特性的图像特征和图像的结构信息,提出一种新颖的质量评价方法。尽管基于自然场景统计模型的评价算法普遍具有良好的性能,但是它们存在一个共同的问题:这类算法都假设噪声图像也满足和自然图像一样的统计分布。然而,研究表明噪声的引入会破坏这种统计规律性,噪声图像的统计分布不能完全符合自然图像的统计分布,这将影响图像质量评价的准确度。
无参考图像质量评价算法另一个主流趋势是基于学习的模型,这类算法通常使用神经网络或支持向量机将图像特征映射到人眼主观分数上,从而预测图像质量。Li等人在文章“Blind Image Quality Assessment Using a General Regression NeuralNetwork,”IEEE Transactions on Neural Networks,vol.22,no.5,pp.793-799,2011中提出通过广义回归神经网络将图像的三种特征:相位一致性、熵和梯度信息映射到主观分数来评价图像质量。Xue等人在文章“Blind Image Quality Assessment Using JointStatistics of Gradient Magnitude and Laplacian Features,”IEEE Transactions onImage Processing,vol.23,no.11,pp.4850-4862,2014中通过提取图像的梯度信息和拉普拉斯特征的联合分布,并利用支持向量机回归模型SVR来预测图像质量。在以上这些特征中,尽管熵能有效衡量图像的信息量,但是不能反映图像的局部特征。梯度和拉普拉斯特征表征了图像很重要的局部结构信息,但对于图像的方向信息和空域相关性却不能很好地表达。众所周知,质量评价算法的性能好坏很大程度上取决于图像特征。然而,如何提取对噪声类型和强度敏感的特征至今仍是一个开放性问题。
发明内容
本发明目的在于提出一种基于特征字典的无参考图像质量评价方法,以解决上述已有技术中存在的不足,提高对图像质量评估的准确率。
本发明的技术方案是这样实现的:
本发明通过对选定的一组自然图像的局部模式值进行聚类构建特征字典,基于该字典能够将图像表示为一个统计直方图进行图像特征提取,并在一组训练样本上通过支持向量回归学习回归模型,最终预测测试图像的质量值,其实现步骤包括如下:
(1)随机选择60幅自然图像,计算所有图像中每个像素的局部模式;
(2)通过加权K-means方法对所得局部模式进行聚类,用所有聚类中心构建特征字典
(3)给定包含L幅噪声图像的训练样本集计算第j幅训练图像的局部模式,并投影到特征字典上得到训练图像的特征yj,1≤j≤L;
(4)采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征yj及其对应的主观质量值进行训练,得到回归模型
(5)对于测试图像计算其所有像素的局部模式,并将这些局部模式投影到特征字典上得到测试图像的特征u;
(6)根据回归模型和测试图像的特征u,使用支持向量回归SVR方法预测出测试图像的质量值Q;
(7)根据质量值Q对待测试图像的质量进行判断:
若Q=0,则表示该测试图像没有被噪声污染;
若0<Q≤0.25,则表示该测试图像被噪声轻度污染;
若0.25<Q≤0.75,则表示该测试图像被噪声中度污染;
若0.75<Q≤1,则表示该测试图像被噪声重度污染。
本发明与现有技术相比,具有如下优点:
1)本发明充分考虑了人眼视觉系统感知外界场景时的稀疏特性,利用稀疏字典对图像进行特征提取,该特征表示方法与人眼视觉特性一致。
2)本发明采用较大的图像块计算局部模式,有效地表征图像中重要的局部结构信息,能反映出不同的噪声类型和强度,提高了评价结果的准确性。
附图说明
图1是本发明的实现流程示意图。
图2是本发明中构建字典所使用的60幅自然图像。
具体实施方式
参照图1,本发明的实现步骤如下:
步骤1,随机选择60幅自然图像,计算所有图像中每个像素的局部模式。
(1a)从自然图像数据库中随机选择60幅包含不同场景和内容的自然图像,本实例所选择的自然图像如图2所示;
(1b)通过下式计算计算这60幅自然图像中每个像素的局部模式:
其中,pm,n表示第m幅图像Im中第n个像素的局部模式,1≤m≤60,1≤n≤Nm,Nm是图像Im中的像素个数,v是以像素为中心的5×5邻域中24个像素的编号,1≤v≤24,表示像素与其第v个邻域像素的灰度值比较结果:
步骤2,对所得局部模式进行聚类,用所有聚类中心构建特征字典
常见的几种聚类算法有:层次方法、划分方法、基于密度的方法、基于网格的方法、量子聚类法、核聚类法、谱聚类法等。本实例采用划分方法范畴中的加权K-means聚类算法对所得局部模式进行聚类。
本步骤实现如下:
(2a)针对60幅自然图像的所有局部模式pm,n,1≤m≤60,1≤n≤Nm,统计各个相同的局部模式出现的次数;
(2b)采用加权K-means聚类方法对各局部模式及其出现的次数进行聚类,得到K个聚类中心di,1≤i≤K,并由这些聚类中心构成一个特征字典
步骤3,给定包含L幅噪声图像的训练样本集分别计算第j幅图像的局部模式,并投影到特征字典上得到训练图像的特征yj,1≤j≤L。
(3a)计算训练样本集Ψ中第j幅训练图像的第l个像素的局部模式qj,l:
其中,1≤l≤Mj,Mj表示训练图像的像素个数,1≤j≤L,L是训练样本集中训练图像的个数,w是以像素为中心的5×5邻域像素的编号,1≤w≤24,表示像素与其第w个邻域像素的灰度值比较结果:
(3b)根据局部模式qj,l和特征字典中所有基元di的欧式距离,计算距离qj,l最近的基元索引γj,l:
其中,1≤i≤K,表示计算二范数操作;
(3c)对于训练图像计算其局部模式对应的所有基元索引中第i个基元出现的频率hi,j:
其中,
(3d)组合每个基元出现的频率,得到训练样本集中第j幅训练图像的特征yj:
yj=[h1,j,h2,j,L,hi,j,LhK,j],
其中,1≤i≤K,K是特征字典中基元的个数。
步骤4,采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征yj及其对应的主观质量值进行训练,得到回归模型
(4a)对所有训练图像的主观质量值进行归一化:
其中,Ωj是第j幅训练图像归一化前的主观质量值,是第j幅训练图像归一化后的主观质量值,1≤j≤L,L是训练样本集中训练图像的个数;
(4b)基于支持向量回归SVR方法,对训练样本集Ψ中所有训练图像的特征yj及其对应的归一化主观质量值进行训练,得到回归模型
所述支持向量回归SVR方法,是机器学习领域中很重要的一种回归算法,通过核技巧将数据的高维特征映射到数据标签,达到对数据拟合的目的。该方法一般操作步骤为:首先,提取训练样本和测试样本的特征;然后,通过对训练样本的特征和标签进行拟合,学习合适的回归模型;最后,基于该回归模型,预测出测试样本所对应的标签。本实例中,训练样本的标签为训练图像的主观质量值,测试样本的标签即为所求的质量值。
步骤5,对于测试图像计算其所有像素的局部模式,并将这些局部模式投影到特征字典上得到测试图像的特征u。
(5a)计算测试图像中第z个像素的局部模式gz:
其中,1≤z≤Γ,Γ为测试图像的像素个数,t是以像素为中心的5×5邻域中24个像素的编号,1≤t≤24,表示像素与其第t个邻域像素的灰度值比较结果:
(5b)根据每个局部模式gz和特征字典中所有基元di的欧式距离,计算距离gz最近的基元索引λz:
(5c)计算其全部局部模式对应的所有基元索引λz中第i个基元出现的频率bi:
其中,
(5d)组合每个基元出现的频率,得到测试图像的特征u:
u=[b1,b2,L,bi,L,bK],
其中,1≤i≤K,K是特征字典中基元的个数。
步骤6,根据回归模型和测试图像的特征u,使用支持向量回归SVR方法预测出测试图像的质量值Q。
基于支持向量回归SVR方法,将测试图像的特征u输入到回归模型中,预测出测试图像质量值Q,其中Q的取值范围在0:1之间。
步骤7,根据质量值Q对待测试图像的质量进行判断:
若Q=0,则表示该测试图像没有被噪声污染;
若0<Q≤0.25,则表示该测试图像被噪声轻度污染;
若0.25<Q≤0.75,则表示该测试图像被噪声中度污染;
若0.75<Q≤1,则表示该测试图像被噪声重度污染。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制。显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (2)
1.一种基于特征字典的无参考图像质量评价方法,包括如下步骤:
(1)随机选择60幅自然图像,通过下式计算所有图像中每个像素的局部模式:
其中,pm,n表示第m幅图像Im中第n个像素的局部模式,1≤m≤60,1≤n≤Nm,Nm是图像Im中的像素个数,v是以像素为中心的5×5邻域像素的编号,1≤v≤24,表示像素与其第v个邻域像素的灰度值比较结果:
(2)通过加权K-means方法对所得局部模式进行聚类,用所有聚类中心构建特征字典
(3)给定包含L幅噪声图像的训练样本集计算第j幅训练图像的局部模式,并投影到特征字典上得到训练图像的特征yj,1≤j≤L:
(3a)计算训练样本集Ψ中第j幅训练图像的第l个像素的局部模式qj,l:
其中,1≤l≤Mj,Mj表示训练图像的像素个数,1≤j≤L,L是训练样本集中训练图像的个数,w是以像素为中心的5×5邻域像素的编号,1≤w≤24,表示像素与其第w个邻域像素的灰度值比较结果:
(3b)根据局部模式qj,l和特征字典中所有基元di的欧式距离,计算距离qj,l最近的基元索引γj,l:
其中,1≤i≤K,表示计算二范数操作;
(3c)对于训练图像计算其局部模式对应的所有基元索引中第i个基元出现的频率hi,j:
其中,
(3d)组合每个基元出现的频率,得到训练样本集中第j幅训练图像的特征yj:
yj=[h1,j,h2,j,LhK,j];
(4)采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征yj及其对应的主观质量值进行训练,得到回归模型
(5)对于测试图像计算其所有像素的局部模式,并将这些局部模式投影到特征字典上得到测试图像的特征u;
(6)根据回归模型和测试图像的特征u,使用支持向量回归SVR方法预测出测试图像的质量值Q;
(7)根据质量值Q对待测试图像的质量进行判断:
若Q=0,则表示该测试图像没有被噪声污染;
若0<Q≤0.25,则表示该测试图像被噪声轻度污染;
若0.25<Q≤0.75,则表示该测试图像被噪声中度污染;
若0.75<Q≤1,则表示该测试图像被噪声重度污染。
2.如权利要求1所述的方法,其中所述步骤(2),按如下步骤进行:
(2a)针对60幅自然图像的所有局部模式pm,n,1≤m≤60,1≤n≤Nm,统计各个相同的局部模式出现的次数;
(2b)采用加权K-means方法对各局部模式及其出现的次数进行聚类,得到K个聚类中心di,1≤i≤K,并由这些聚类中心构成一个特征字典
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610431427.6A CN106127234B (zh) | 2016-06-17 | 2016-06-17 | 基于特征字典的无参考图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610431427.6A CN106127234B (zh) | 2016-06-17 | 2016-06-17 | 基于特征字典的无参考图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127234A CN106127234A (zh) | 2016-11-16 |
CN106127234B true CN106127234B (zh) | 2019-05-03 |
Family
ID=57469610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610431427.6A Active CN106127234B (zh) | 2016-06-17 | 2016-06-17 | 基于特征字典的无参考图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127234B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107507166A (zh) * | 2017-07-21 | 2017-12-22 | 华侨大学 | 一种基于支持向量回归的无参考屏幕图像质量评估方法 |
CN107705299B (zh) * | 2017-09-25 | 2021-05-14 | 安徽睿极智能科技有限公司 | 基于多属性特征的图像质量分类方法 |
CN108460756A (zh) * | 2018-01-30 | 2018-08-28 | 西安电子科技大学 | 基于统计特征的无参考红外图像质量评价方法 |
CN108573227B (zh) * | 2018-04-09 | 2022-04-29 | 深圳竹信科技有限公司 | 心电图数据质量评价方法及装置 |
CN108960298A (zh) * | 2018-06-15 | 2018-12-07 | 重庆大学 | 基于密度核心和动态扫描半径的体检报告聚类方法 |
CN110766658B (zh) * | 2019-09-23 | 2022-06-14 | 华中科技大学 | 一种无参考激光干扰图像质量评价方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945552A (zh) * | 2012-10-22 | 2013-02-27 | 西安电子科技大学 | 基于自然场景统计中稀疏表示的无参考图像质量评价方法 |
CN103200421A (zh) * | 2013-04-07 | 2013-07-10 | 北京理工大学 | 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 |
CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
CN104134204A (zh) * | 2014-07-09 | 2014-11-05 | 中国矿业大学 | 一种基于稀疏表示的图像清晰度评价方法和装置 |
CN104361574A (zh) * | 2014-10-14 | 2015-02-18 | 南京信息工程大学 | 一种基于稀疏表示的无参考彩色图像质量评价方法 |
CN104376565A (zh) * | 2014-11-26 | 2015-02-25 | 西安电子科技大学 | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 |
-
2016
- 2016-06-17 CN CN201610431427.6A patent/CN106127234B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945552A (zh) * | 2012-10-22 | 2013-02-27 | 西安电子科技大学 | 基于自然场景统计中稀疏表示的无参考图像质量评价方法 |
CN103200421A (zh) * | 2013-04-07 | 2013-07-10 | 北京理工大学 | 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 |
CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
CN104134204A (zh) * | 2014-07-09 | 2014-11-05 | 中国矿业大学 | 一种基于稀疏表示的图像清晰度评价方法和装置 |
CN104361574A (zh) * | 2014-10-14 | 2015-02-18 | 南京信息工程大学 | 一种基于稀疏表示的无参考彩色图像质量评价方法 |
CN104376565A (zh) * | 2014-11-26 | 2015-02-25 | 西安电子科技大学 | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
Blind Image Quality Assessment Using Joint Statistics of Gradient Magnitude and Laplacian Features;Wufeng Xue等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140908;第23卷(第11期);第4850-4862页 |
基于稀疏表示的无参考立体图像质量评价方法;王珊珊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第03期);I138-6268 |
Also Published As
Publication number | Publication date |
---|---|
CN106127234A (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127234B (zh) | 基于特征字典的无参考图像质量评价方法 | |
CN106127741B (zh) | 基于改良自然场景统计模型的无参考图像质量评价方法 | |
Jin et al. | Statistical study on perceived JPEG image quality via MCL-JCI dataset construction and analysis | |
US9286537B2 (en) | System and method for classifying a skin infection | |
Ma et al. | Reduced-reference image quality assessment in reorganized DCT domain | |
CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
CN104268590B (zh) | 基于互补性组合特征与多相回归的盲图像质量评价方法 | |
Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
CN109727246A (zh) | 一种基于孪生网络的对比学习图像质量评估方法 | |
CN106447646A (zh) | 一种用于无人机图像的质量盲评价方法 | |
Lv et al. | No-reference stereoscopic image quality assessment using binocular self-similarity and deep neural network | |
CN109816625A (zh) | 一种视频质量评分实现方法 | |
CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
CN106600597A (zh) | 一种基于局部二值模式的无参考彩色图像质量评价方法 | |
CN109859166B (zh) | 一种基于多列卷积神经网络的无参3d图像质量评估方法 | |
CN101146226A (zh) | 一种基于自适应st区的高清视频图像质量评价方法及装置 | |
CN106651829B (zh) | 一种基于能量和纹理分析的无参考图像客观质量评价方法 | |
CN101562675A (zh) | 基于Contourlet变换的无参考型图像质量评测方法 | |
CN107590427A (zh) | 基于时空兴趣点降噪的监控视频异常事件检测方法 | |
Li et al. | Blind image quality assessment in the contourlet domain | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
Chen et al. | Blind stereo image quality assessment based on binocular visual characteristics and depth perception | |
Poreddy et al. | CoDIQE3D: A completely blind, no-reference stereoscopic image quality estimator using joint color and depth statistics | |
Yuan et al. | Locally and multiply distorted image quality assessment via multi-stage CNNs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |