CN105447884B - 一种基于流形特征相似度的图像质量客观评价方法 - Google Patents

一种基于流形特征相似度的图像质量客观评价方法 Download PDF

Info

Publication number
CN105447884B
CN105447884B CN201510961907.9A CN201510961907A CN105447884B CN 105447884 B CN105447884 B CN 105447884B CN 201510961907 A CN201510961907 A CN 201510961907A CN 105447884 B CN105447884 B CN 105447884B
Authority
CN
China
Prior art keywords
color
image block
image
values
dis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510961907.9A
Other languages
English (en)
Other versions
CN105447884A (zh
Inventor
郁梅
王朝云
彭宗举
陈芬
宋洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510961907.9A priority Critical patent/CN105447884B/zh
Priority to US15/062,112 priority patent/US20170177975A1/en
Publication of CN105447884A publication Critical patent/CN105447884A/zh
Application granted granted Critical
Publication of CN105447884B publication Critical patent/CN105447884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于流形特征相似度的图像质量客观评价方法，其首先采用了视觉显著和视觉阈值两个策略来去除对于视觉感知不重要的图像块即图像块粗选和细选过程，在完成选块之后利用最佳映射矩阵提取从原始的无失真自然场景图像和待评价的失真图像中选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；之后考虑了图像亮度变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真；最后根据结构失真和亮度失真获得质量分数，这使得本方法具有更高的评价准确性，也扩大了其对各类失真的评价能力，并且评价性能不受图像内容和失真类型的影响，与人眼的主观感知质量具有较高的一致性。

Description

一种基于流形特征相似度的图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于流形特征相似度的图像质量客观评价方法。
背景技术
图像质量的定量评价是图像处理领域中充满挑战性的问题。由于人是观看图像时的最终接收者，因此图像质量评价方法应当和人一样可以有效地预测感知视觉质量。传统的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)等基于保真度的图像质量评价方法虽能较好地评价具有相同内容和失真的图像质量，但面对多幅图像和多种失真时，其评价结果与主观感知却相差甚远。感知质量评价方法的目的是通过模拟人眼视觉系统的整体感知机制来获取与视觉感知质量具有较高一致性的评价结果。通过对人眼视觉系统的生理响应进行建模获取客观评价方法，可以得到与主观评价有较高一致性的评价结果。近年来，图像质量评价的研究不断深入，人们提出了很多的评价方法。Wang等提出的结构相似度(Structural Similarity，SSIM)算法与PSNR等方法相比不仅简单且性能改进明显，引起了学者们的关注；在其后续工作中，Wang等又提出了多尺度的SSIM(Multi-Scale StructuralSimilarity，MS-SSIM)，改进了SSIM的性能。也有学者认为人眼在对局部图像评分时相位一致性和梯度幅值起着相辅相成的作用，提出特征结构相似度(Feature Similarity，FSIM)。除了基于结构的图像质量评价方法外，另一些评价方法是从人眼视觉系统的其他特性出发设计的。Chandler等提出视觉信噪比(Visual Signal-to-Noise Ratio，VSNR)，该准则先通过视觉阈值确定失真是否可察觉，再对超过视觉阈值的区域进行失真度量。Larson等认为人类视觉系统(Human Visual System，HVS)在评测高质量图像和低质量图像时采用了不同策略，提出最明显失真(Most Apparent Distortion，MAD)的质量评价算法。Sheikh等将全参考图像质量评价问题看作信息保真度问题，在信息保真度(Information FidelityCriterion，IFC)的基础上进行拓展得到视觉信息保真度(Visual Information Fidelity，VIF)评价算法。Zhang等发现质量下降会造成图像显著图的变化且与感知质量失真程度密切，从而提出基于视觉显著性的图像质量评价方法。
优异的图像质量评价方法应能很好地反映人眼视觉感知特性。上述基于结构的图像质量评价方法都是从图像的边缘、对比度等结构信息出发获取图像质量的，而从人眼视觉系统特性设计的图像质量评价方法主要是从人眼关注及察觉失真的能力角度出发进行图像质量评价的，它们均为从图像的非线性几何结构以及人眼的感知角度进行质量评价的；但有研究表明针对视觉感知现象，流形是感知的基础，大脑中以流形方式对事物进行感知，而自然场景图像通常包含流形结构，有着流形非线性的本质。因此，传统的图像质量评价方法无法得到与主观感知质量一致性较高的客观评价结果。
发明内容
本发明所要解决的技术问题是提供一种基于流形特征相似度的图像质量客观评价方法，其能够获得与主观感知质量一致性较高的客观评价结果。
本发明解决上述技术问题所采用的技术方案为：一种基于流形特征相似度的图像质量客观评价方法，其特征在于包括以下步骤：
①选取多幅无失真的自然场景图像；然后将每幅无失真的自然场景图像划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真的自然场景图像中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将xi中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为xi col，其中，xi col的维数为192×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的R通道的颜色值，xi col中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的G通道的颜色值，xi col中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的B通道的颜色值，之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对每个训练样本对应的颜色向量的中心化处理，将xi col经中心化处理后得到的颜色向量记为最后将所有中心化处理后得到的颜色向量组成的矩阵记为X，其中，X的维数为192×N，对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号；
②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<192；
③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×192，W表示白化矩阵，W的维数为M×192；
④令Iorg表示原始的无失真自然场景图像，令Idis表示Iorg经失真后的失真图像，将Idis作为待评价的失真图像；然后将Iorg和Idis分别划分成互不重叠的尺寸大小为8×8的图像块，将Iorg中的第j个图像块记为将Idis中的第j个图像块记为其中，1≤j≤N'，N'表示Iorg中的图像块的总个数，N'亦表示Idis中的图像块的总个数；再将Iorg中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为并将Idis中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为其中，和的维数均为192×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的B通道的颜色值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的B通道的颜色值；之后将Iorg中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Iorg中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为并将Idis中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Idis中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为最后将Iorg对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xref，将Idis对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xdis，其中，Xref和Xdis的维数均为192×N'，对应表示Iorg中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Iorg中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Iorg中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，对应表示Idis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Idis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Idis中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号；
⑤计算Xref中的每个列向量与Xdis中对应列向量之间的结构差异，将与之间的结构差异记为
然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为ν，其中，ν中的第j个元素的值为νj，
接着获取粗选无失真图像块集合和粗选失真图像块集合，具体过程为：a1、设计一个图像块粗选阈值TH1；a2、从ν中提取出所有值大于或等于TH1的元素；a3、将Iorg中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合，记为Yref，并将Idis中与提取出的元素对应的图像块构成的集合作为粗选失真图像块集合，记为Ydis，
再获取细选无失真图像块集合和细选失真图像块集合，具体过程为：b1、利用视觉显著计算模型计算Iorg和Idis各自的显著图，对应记为fref和fdis；b2、将fref和fdis分别划分为互不重叠的尺寸大小为8×8的图像块；b3、计算fref中的每个图像块中的所有像素点的像素值的平均值，将fref中的第j个图像块中的所有像素点的像素值的平均值记为并计算fdis中的每个图像块中的所有像素点的像素值的平均值，将fdis中的第j个图像块中的所有像素点的像素值的平均值记为其中，1≤j≤N'；b4、获取fref中的每个图像块中的所有像素点的像素值的平均值与fdis中对应图像块中的所有像素点的像素值的平均值的最大值，将与的最大值记为vsj,max，其中，max()为取最大值函数；b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块，将细选出的所有无失真图像块构成的集合作为细选无失真图像块集合，记为 且vsj,max≥TH2,1≤j≤N'}；从粗选失真图像块集合中细选出部分图像块作为细选失真图像块，将细选出的所有失真图像块构成的集合作为细选失真图像块集合，记为 且vsj,max≥TH2,1≤j≤N'}，其中，TH2为设计的一个图像块细选阈值；
⑥计算细选无失真图像块集合中的每个图像块的流形特征向量，将细选无失真图像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块集合中的每个图像块的流形特征向量，将细选失真图像块集合中的第t个图像块的流形特征向量记为dt，其中，1≤t≤K，K表示细选无失真图像块集合中包含的图像块的总个数，K亦表示细选失真图像块集合中包含的图像块的总个数，rt和dt的维数均为8×1，表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，表示细选失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量；
然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为R；将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为D；其中，R和D的维数均为8×K，R中的第t个列向量为rt，D中的第t个列向量为dt；
再计算Iorg与Idis的流形特征相似度，记为MFS1，其中，Rm,t表示R中第m行第t列的值，Dm,t表示D中第m行第t列的值，C1为一个用于保证结果稳定性的很小的常量；
⑦计算Iorg与Idis的亮度相似度，记为MFS2，其中，表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值， 表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值，C2为一个很小的常量；
⑧对MFS1和MFS2进行线性加权得到Idis的质量分数，记为MFS，MFS＝ω×MFS2+(1-ω)×MFS1，其中，ω用于调节MFS1和MFS2的相对重要性，0<ω<1。
所述的步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为192×192，XT为X的转置矩阵；
②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为192×192，ψ1、ψ2和ψ192对应表示分解得到的第1个、第2个和第192个特征值，E的维数为192×192，E＝[e1 e2 …e192]，e1、e2和e192对应表示分解得到的第1个、第2个和第192个特征向量，e1、e2和e192的维数均为192×1；
②-3、计算白化矩阵，记为W，其中，W的维数为M×192，ψM表示分解得到的第M个特征值，M为设定的低维维数，1<M<192，ET为E的转置矩阵；
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
所述的步骤⑤中其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值。
所述的步骤⑤中的a1步骤中TH1＝median(ν)，其中，median()为中值选取函数，median(ν)表示选取ν中的所有元素的值中的中值。
所述的步骤⑤中的b5步骤中TH2的值为步骤b4中得到的所有最大值按从大到小的顺序排序后在前60％位置处的最大值。
与现有技术相比，本发明的优点在于：
1)本发明方法是从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景图像上获取降维以及白化操作后的矩阵进行训练获得一个通用的最佳映射矩阵；为了提高评价的准确性和稳定性，本发明方法首先采用了视觉显著和视觉阈值两个策略来去除对于视觉感知不重要的图像块即图像块粗选和细选过程，在完成选块之后利用最佳映射矩阵提取从原始的无失真自然场景图像和待评价的失真图像中选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；之后考虑了图像亮度变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真，这使得本发明方法具有更高的评价准确性，也扩大了其对各类失真的评价能力，能够客观地反映图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法的评价性能不受图像内容和失真类型的影响，与人眼的主观感知质量具有较高的一致性。
2)本发明方法的评价性能受图像库不同的影响微乎其微，选用不同的训练库得到的性能结果基本相同，因此本发明方法中的最佳映射矩阵是一个通用的流形特征提取器，一旦通过正交局部保持投影算法训练获取后便可以用于所有图像质量的评价，而不需要每次评价都进行耗时的训练过程，并且用于训练的图像和测试的图像是相互独立的，因此可以避免测试结果对训练数据的过度依赖，从而能够有效地提高客观评价结果与主观感知质量之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
优异的图像质量评价方法应能很好地反映人眼视觉感知特性。针对视觉感知现象，有研究表明流形是感知的基础，人的感知是在认知流形和拓扑连续性的基础上进行的即人类感知局限在低维流形之上，大脑以流形方式对事物进行感知；大脑中神经元群体活动通常可描述为一个神经放电率的集合的结果，所以可表示为一个维数等于神经元数目的抽象空间中的点。研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的平滑函数表示，这说明神经元群体活动是局限在一个低维流形之上。因此，将图像流形特征应用于视觉质量评价可得到与主观感知质量一致性较高的评价结果。而流形学习则能较好地帮助找到图像等在低维流形中的内在几何结构，体现事物的非线性流形的本质。
本发明根据人眼以流形方式感知的视觉特性以及流形学习理论，提出了一种基于流形特征相似度(Manifold Feature Similarity，MFS)的图像质量客观评价方法，其在训练阶段，MFS利用流形学习正交局部保持投影算法得到最佳映射矩阵用于提取图像的流形特征；在质量预测阶段，在将原始的无失真自然场景图像与失真图像划分为图像块后，去除每个图像块的均值使所有图像块对应的颜色向量都具有零均值，在其基础上计算流形特征相似度；而所有图像块的均值则用于计算亮度相似性，其中，流形特征相似性度表征了两幅图像的结构差异，而亮度相似性则度量了失真图像的亮度失真，最后均衡两个相似度得到失真图像的整体视觉质量。
本发明的基于流形特征相似度的图像质量客观评价方法的总体实现框图如图1所示，其包括以下步骤：
①选取多幅无失真的自然场景图像；然后将每幅无失真的自然场景图像划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真的自然场景图像中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将xi中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为xi col，其中，xi col的维数为192×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的R通道的颜色值，即xi col中的第1个元素的值为xi中第1行第1列的像素点的R通道的颜色值，xi col中的第2个元素的值为xi中第1行第2列的像素点的R通道的颜色值，依次类推；xi col中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的G通道的颜色值，即xi col中的第65个元素的值为xi中第1行第1列的像素点的G通道的颜色值，xi col中的第66个元素的值为xi中第1行第2列的像素点的G通道的颜色值，依次类推；xi col中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的B通道的颜色值，即xi col中的第129个元素的值为xi中第1行第1列的像素点的B通道的颜色值，xi col中的第130个元素的值为xi中第1行第2列的像素点的B通道的颜色值，依次类推；之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对每个训练样本对应的颜色向量的中心化处理，将xi col经中心化处理后得到的颜色向量记为中的每个元素的值为xi col中对应位置的元素的值减去xi col中的所有元素的值的平均值；最后将所有中心化处理后得到的颜色向量组成的矩阵记为X，其中，X的维数为192×N，对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号。
在此，多幅无失真的自然场景图像的尺寸大小可以全部相同或可以各不相同或可以部分相同，在具体实施时如选取10幅无失真的自然场景图像；N的取值范围是通过大量实验确定的，如果N的取值太小(小于5000个)即图像块个数较少时会大幅影响训练精度，如果N的取值太大(大于20000个)即图像块个数较多时训练精度提升不多但计算复杂度会增加很多，因此本发明将N的取值范围限制为5000≤N≤20000，具体实施时如取N＝20000；由于彩色图像有R、G、B三个通道，由此可知每个训练样本对应的颜色向量为长度为8×8×3＝192的向量。
②利用现有的主成分分析(Principal Components Analysis，PCA)对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<192，在本实施例中取M＝8。
在此具体实施例中，步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为192×192，XT为X的转置矩阵。
②-2、采用现有技术对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为192×192，ψ1、ψ2和ψ192对应表示分解得到的第1个、第2个和第192个特征值，E的维数为192×192，E＝[e1 e2 … e192]，e1、e2和e192对应表示分解得到的第1个、第2个和第192个特征向量，e1、e2和e192的维数均为192×1。
②-3、计算白化矩阵，记为W，其中，W的维数为M×192，ψM表示分解得到的第M个特征值，ΨM×192为由Ψ中的前M行组成的矩阵，即M为设定的低维维数，1<M<192，在本实施例中取M＝8，在实验中只取了Ψ的前8行即前8个主成分用于训练，也就是说X经降维以及白化操作后维数从192维降到了M＝8维，ET为E的转置矩阵。
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
③利用现有的正交局部保持投影算法(OLPP，orthogonal Locality PreservingProjection)对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵JW，其中，JW的维数为8×M；在进行学习之后，最佳映射矩阵应该从白化样本空间转化回到原始样本空间，即然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×192，W表示白化矩阵，W的维数为M×192。本发明方法中将J看作是大脑以流形方式感知的一个模型，可以用于提取图像块的流形特征。
④令Iorg表示原始的无失真自然场景图像，令Idis表示Iorg经失真后的失真图像，将Idis作为待评价的失真图像；然后将Iorg和Idis分别划分成互不重叠的尺寸大小为8×8的图像块，将Iorg中的第j个图像块记为将Idis中的第j个图像块记为其中，1≤j≤N'，N'表示Iorg中的图像块的总个数，N'亦表示Idis中的图像块的总个数；再将Iorg中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为并将Idis中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为其中，和的维数均为192×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的B通道的颜色值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描 中的每个像素点的B通道的颜色值；之后将Iorg中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Iorg中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为并将Idis中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Idis中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为最后将Iorg对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xref，将Idis对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xdis，其中，Xref和Xdis的维数均为192×N'，对应表示Iorg中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Iorg中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Iorg中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，对应表示Idis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Idis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Idis中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号。
⑤由于每个图像块对应的颜色向量中的每个元素的值在减平均值后的块包括了对比度和结构等信息，可将得到的块称作结构块，因此本发明利用绝对方差差值(AbsoluteVariance Error，AVE)计算Xref中的每个列向量与Xdis中对应列向量之间的结构差异，将与之间的结构差异记为 其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值。
然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为ν，其中，ν中的第j个元素的值为νj，
接着获取粗选无失真图像块集合和粗选失真图像块集合，具体过程为：a1、设计一个图像块粗选阈值TH1，TH1＝median(ν)，其中，median()为中值选取函数，median(ν)表示选取ν中的所有元素的值中的中值；a2、从ν中提取出所有值大于或等于TH1的元素；a3、将Iorg中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合，记为Yref，并将Idis中与提取出的元素对应的图像块构成的集合作为粗选失真图像块集合，记为Ydis，
由于利用结构差异选块只考虑了结构差异大的区域，这些区域一般对应失真图像质量较低的区域但并不一定是人眼最关注的区域，因此还需进行细选，即再获取细选无失真图像块集合和细选失真图像块集合，具体过程为：b1、利用视觉显著计算模型(SaliencyDetection Based-on Simple Priors，SDSP)计算Iorg和Idis各自的显著图，对应记为fref和fdis；b2、将fref和fdis分别划分为互不重叠的尺寸大小为8×8的图像块；b3、计算fref中的每个图像块中的所有像素点的像素值的平均值，将fref中的第j个图像块中的所有像素点的像素值的平均值记为并计算fdis中的每个图像块中的所有像素点的像素值的平均值，将fdis中的第j个图像块中的所有像素点的像素值的平均值记为其中，1≤j≤N'；b4、获取fref中的每个图像块中的所有像素点的像素值的平均值与fdis中对应图像块中的所有像素点的像素值的平均值的最大值，将与的最大值记为vsj,max，其中，max()为取最大值函数，每个图像块中的所有像素点的像素值的平均值能够表征该图像块的视觉重要性，fref和fdis中具有较高平均值的图像块在评价该图像块所在的显著图相似度时具有较大的影响；b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块，将细选出的所有无失真图像块构成的集合作为细选无失真图像块集合，记为 且vsj,max≥TH2,1≤j≤N'}；从粗选失真图像块集合中细选出部分图像块作为细选失真图像块，将细选出的所有失真图像块构成的集合作为细选失真图像块集合，记为 且vsj,max≥TH2,1≤j≤N'}，其中，TH2为设计的一个图像块细选阈值，TH2的值为步骤b4中得到的所有最大值按从大到小的顺序排序后在前60％位置处的最大值。
⑥计算细选无失真图像块集合中的每个图像块的流形特征向量，将细选无失真图像块集合中的第t个图像块的流形特征向量记为并计算细选失真图像块集合中的每个图像块的流形特征向量，将细选失真图像块集合中的第t个图像块的流形特征向量记为dt，其中，1≤t≤K，K表示细选无失真图像块集合中包含的图像块的总个数，K亦表示细选失真图像块集合中包含的图像块的总个数，rt和dt的维数均为8×1，表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，表示细选失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量。
然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为R；将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为D；其中，R和D的维数均为8×K，R中的第t个列向量为rt，D中的第t个列向量为dt。
再计算Iorg与Idis的流形特征相似度，记为MFS1，其中，Rm,t表示R中第m行第t列的值，Dm,t表示D中第m行第t列的值，C1为一个用于保证结果稳定性的很小的常量，在本实施例中取C1＝0.09。
⑦计算Iorg与Idis的亮度相似度，记为MFS2，其中，表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值， 表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值，C2为一个很小的常量，在本实施例中取C2＝0.001。
⑧对MFS1和MFS2进行线性加权得到Idis的质量分数，记为MFS，MFS＝ω×MFS2+(1-ω)×MFS1，其中，ω用于调节MFS1和MFS2的相对重要性，0<ω<1，在本实施例中取ω＝0.8。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
实验一：验证本发明方法的性能指标
为了验证本发明方法(MFS)的有效性，在四个公开的测试图像库上对本发明方法进行测试，同时对其评价结果进行比较。用于测试的四个测试图像库分别为LIVE测试图像库、CSIQ测试图像库、TID2008测试图像库和TID2013测试图像库；每个测试图像库中包含上千幅失真图像，同时拥有多种失真类型；每一幅失真图像都会给定一个主观分数例如平均主观分(Mean opinion score，MOS)或平均主观分差值(Differential mean opinionscore，DMOS)；各个测试图像库的参考图像数目、失真图像数目、失真类型的数量以及主观实验时参与的人数由表1给出。在实验中，仅对失真图像进行了评价而去除了原始图像。最终本发明方法的性能验证是在比较主观评分与客观评价结果基础上进行的。
表1 应用于图像质量评价方法分析的四个测试图像库
测试图像库 参考图像数目 失真图像数目 失真类型数目 主观测试人数
TID2013 25 3000 25 971
TID2008 25 1700 17 838
CSIQ 30 866 6 35
LIVE 29 779 5 161
采用4个通用评价指标并根据视频质量评价专家组PhaseI/II(VQEG)提供的标准验证方法来获取图像质量评价方法的评价性能。斯皮尔曼秩相关系数(Spearmanrank-order correlation coefficient，SROCC)和肯德尔秩次相关系数(Kendallrank-order correlation coefficient，KROCC)用于评价图像质量评价方法的预测单调性的优劣，这两个指标仅在排序后的数据上进行而忽略数据点之间的相对距离。为了获取另外两个指标皮尔森线性相关系数(Pearson linear correlation coefficient，PLCC)和均方根误差(Root mean squared error，RMSE)，需要对客观评价值和主观平均评分(MOS)进行非线性映射来去除客观分数的非线性的影响。采用5参数非线性映射函数来进行非线性拟合，其中，q代表原始的客观质量评价分数，Q代表非线性映射后的分数，5个调节参数α1、α2、α3、α4、α5则是由最小化映射后的客观分数与主观评分之间的方差和确定的，exp()为以自然基数e为底的指数函数。PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与主观平均评分之间的相关性越好。
本发明方法将与具有代表性的10个图像质量评价方法进行比较，包括：SSIM、MS-SSIM、IFC、VIF、VSNR、MAD、GSM、RFSIM、FSIMc和VSI。
在本实施例中采用TOY图像数据库中的10幅无失真图像，并随机选取20000个图像块用于训练得到最佳映射矩阵J，随后将其用于后续的图像质量评价。表2给出了每种图像质量评价方法在四个测试图像库上的4个预测性能指标SROCC、KROCC、PLCC和RMSE，表2中对所有图像质量评价方法中指标性能最优的两种图像质量评价方法的指标以黑体标出。从表2所列的数据可知，本发明方法在所有测试图像库上的性能都很好。首先，在CSIQ测试图像库上，本发明方法的性能最优，优于其他所有图像质量评价方法。其次，比起其他所有的图像质量评价方法，本发明方法在最大的两个图像库TID2008和TID2013上的性能较大幅度地优于其他算法，且与VSI算法性能接近。虽然在LIVE测试图像库上本发明方法的性能不是最佳的，但与最佳的图像质量评价方法的评价性能相差甚微。相比之下，现有的图像质量评价方法可能在某些测试图像库上效果不错但是在其他测试图像库上的效果差强人意。例如，VIF算法和MAD算法在LIVE测试图像库上具有很好的评价效果，但在TID2008测试图像库和TID2013测试图像库上的表现却很糟糕。因此，整体上来说，与现有的图像质量评价方法相比，本发明方法的质量预测结果与主观评价更加接近。
为了更加综合地评判各种图像质量评价方法预测特定失真引起的图像质量降质的能力，将本发明方法与现有的图像质量评价方法在特定失真下的评价性能进行了测试。选择SROCC作为性能指标，因为SROCC适用于数据点较少的情况而且不会受到非线性映射的影响，当然使用其它的性能指标例如KROCC、PLCC和RMSE也可以得到类似的结论。表3给出了四个测试图像库中52组特定失真子库的评价结果，表3中用黑体标识了每个测试图像库中每种失真类型下的SROCC值前三的图像质量评价方法。从表3中可以看出，VSI算法共31次位于前三，而本发明方法共25次位于前三，其次是FSIMc算法和GSM算法。因此，可以得出如下结论：总的来说，在特定失真类型下，VSI算法的表现最优，而本发明方法紧随其后，其次是FSIMc算法和GSM算法。最重要的是，VSI算法、MFS算法、FSIMc算法和GSM算法均大大优于其他方法。另外，在最大的两个测试图像库TID2008和TID2013上，本发明方法对AGN、SCN、MN、HFN、IN、JP2K、J2TE等失真的评价性能较现有的图像质量评价方法更加优异，而在LIVE和CSIQ测试图像库上则是AGWN、GB两种失真的评价效果最优。
表2 11种图像质量评价方法在四个测试图像库上的整体性能比较
表3 11种图像质量评价方法在特定失真上的SROCC评价值
实验二：验证本发明方法的时间复杂度
表4给出了11种图像质量评价方法处理一对384×512(取自TID2013图像库)的彩色图像需要的运行时间。实验是在lenovo台式机进行的，其中处理器为Intel(R)core(TM)i5-4590，CPU为3.3GHZ，内存为8G，软件平台为Matlab R2014b。从表4中的数据可知，本发明方法具有一个折中的时间复杂度。特别地，它比IFC算法、VIF算法、MAD算法、FSIMc算法等运行速度更快，但却得到了与其接近甚至更好的评价效果。
表4 11种图像质量评价方法的时间复杂度

Claims (5)

1.一种基于流形特征相似度的图像质量客观评价方法，其特征在于包括以下步骤：
①选取多幅无失真的自然场景图像；然后将每幅无失真的自然场景图像划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真的自然场景图像中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将xi中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为xi col，其中，xi col的维数为192×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的R通道的颜色值，xi col中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的G通道的颜色值，xi col中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描xi、xi中的每个像素点的B通道的颜色值，之后将每个训练样本对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对每个训练样本对应的颜色向量的中心化处理，将xi col经中心化处理后得到的颜色向量记为最后将所有中心化处理后得到的颜色向量组成的矩阵记为X，其中，X的维数为192×N，对应表示第1个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、第2个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、第N个训练样本中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号；
②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<192；
③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×192，W表示白化矩阵，W的维数为M×192；
④令Iorg表示原始的无失真自然场景图像，令Idis表示Iorg经失真后的失真图像，将Idis作为待评价的失真图像；然后将Iorg和Idis分别划分成互不重叠的尺寸大小为8×8的图像块，将Iorg中的第j个图像块记为将Idis中的第j个图像块记为其中，1≤j≤N'，N'表示Iorg中的图像块的总个数，N'亦表示Idis中的图像块的总个数；再将Iorg中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为并将Idis中的每个图像块中的所有像素点的R、G、B通道的颜色值排列构成一个颜色向量，将中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量记为其中，和的维数均为192×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的R通道的颜色值，中的第65个元素至第128个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的G通道的颜色值，中的第129个元素至第192个元素的值一一对应为以逐行扫描方式扫描中的每个像素点的B通道的颜色值；之后将Iorg中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Iorg中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为并将Idis中的每个图像块对应的颜色向量中的每个元素的值减去对应颜色向量中的所有元素的值的平均值，实现对Idis中的每个图像块对应的颜色向量的中心化处理，将经中心化处理后得到的颜色向量记为最后将Iorg对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xref，将Idis对应的所有中心化处理后得到的颜色向量组成的矩阵记为Xdis，其中，Xref和Xdis的维数均为192×N'，对应表示Iorg中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Iorg中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Iorg中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，对应表示Idis中的第1个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、Idis中的第2个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量、…、Idis中的第N'个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，符号“[]”为向量表示符号；
⑤计算Xref中的每个列向量与Xdis中对应列向量之间的结构差异，将与之间的结构差异记为
然后将得到的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为ν，其中，ν中的第j个元素的值为νj，
接着获取粗选无失真图像块集合和粗选失真图像块集合，具体过程为：a1、设计一个图像块粗选阈值TH1；a2、从ν中提取出所有值大于或等于TH1的元素；a3、将Iorg中与提取出的元素对应的图像块构成的集合作为粗选无失真图像块集合，记为Yref， 并将Idis中与提取出的元素对应的图像块构成的集合作为粗选失真图像块集合，记为Ydis，
再获取细选无失真图像块集合和细选失真图像块集合，具体过程为：b1、利用视觉显著计算模型计算Iorg和Idis各自的显著图，对应记为fref和fdis；b2、将fref和fdis分别划分为互不重叠的尺寸大小为8×8的图像块；b3、计算fref中的每个图像块中的所有像素点的像素值的平均值，将fref中的第j个图像块中的所有像素点的像素值的平均值记为并计算fdis中的每个图像块中的所有像素点的像素值的平均值，将fdis中的第j个图像块中的所有像素点的像素值的平均值记为其中，1≤j≤N'；b4、获取fref中的每个图像块中的所有像素点的像素值的平均值与fdis中对应图像块中的所有像素点的像素值的平均值的最大值，将与的最大值记为vsj,max，其中，max()为取最大值函数；b5、从粗选无失真图像块集合中细选出部分图像块作为细选无失真图像块，将细选出的所有无失真图像块构成的集合作为细选无失真图像块集合，记为 从粗选失真图像块集合中细选出部分图像块作为细选失真图像块，将细选出的所有失真图像块构成的集合作为细选失真图像块集合，记为 其中，TH2为设计的一个图像块细选阈值；
⑥计算细选无失真图像块集合中的每个图像块的流形特征向量，将细选无失真图像块集合中的第t个图像块的流形特征向量记为rt，并计算细选失真图像块集合中的每个图像块的流形特征向量，将细选失真图像块集合中的第t个图像块的流形特征向量记为dt，其中，1≤t≤K，K表示细选无失真图像块集合中包含的图像块的总个数，K亦表示细选失真图像块集合中包含的图像块的总个数，rt和dt的维数均为8×1，表示细选无失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量，表示细选失真图像块集合中的第t个图像块中的所有像素点的R、G、B通道的颜色值排列构成的颜色向量经中心化处理后得到的颜色向量；
然后将细选无失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为R；将细选失真图像块集合中的所有图像块的流形特征向量组成一个矩阵，记为D；其中，R和D的维数均为8×K，R中的第t个列向量为rt，D中的第t个列向量为dt；
再计算Iorg与Idis的流形特征相似度，记为MFS1，其中，Rm,t表示R中第m行第t列的值，Dm,t表示D中第m行第t列的值，C1为一个用于保证结果稳定性的常量；
⑦计算Iorg与Idis的亮度相似度，记为MFS2，其中，表示细选无失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值，表示细选失真图像块集合中的第t个图像块中的所有像素点的亮度值的平均值，C2为一个常量；
⑧对MFS1和MFS2进行线性加权得到Idis的质量分数，记为MFS，MFS＝ω×MFS2+(1-ω)×MFS1，其中，ω用于调节MFS1和MFS2的相对重要性，0<ω<1。
2.根据权利要求1所述的一种基于流形特征相似度的图像质量客观评价方法，其特征在于所述的步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为192×192，XT为X的转置矩阵；
②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为192×192，ψ1、ψ2和ψ192对应表示分解得到的第1个、第2个和第192个特征值，E的维数为192×192，E＝[e1 e2 … e192]，e1、e2和e192对应表示分解得到的第1个、第2个和第192个特征向量，e1、e2和e192的维数均为192×1；
②-3、计算白化矩阵，记为W，其中，W的维数为M×192，ψM表示分解得到的第M个特征值，M为设定的低维维数，1<M<192，ET为E的转置矩阵；
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
3.根据权利要求1或2所述的一种基于流形特征相似度的图像质量客观评价方法，其特征在于所述的步骤⑤中其中，符号“| |”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值。
4.根据权利要求3所述的一种基于流形特征相似度的图像质量客观评价方法，其特征在于所述的步骤⑤中的a1步骤中TH1＝median(ν)，其中，median()为中值选取函数，median(ν)表示选取ν中的所有元素的值中的中值。
5.根据权利要求3所述的一种基于流形特征相似度的图像质量客观评价方法，其特征在于所述的步骤⑤中的b5步骤中TH2的值为步骤b4中得到的所有最大值按从大到小的顺序排序后在前60％位置处的最大值。
CN201510961907.9A 2015-12-21 2015-12-21 一种基于流形特征相似度的图像质量客观评价方法 Active CN105447884B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510961907.9A CN105447884B (zh) 2015-12-21 2015-12-21 一种基于流形特征相似度的图像质量客观评价方法
US15/062,112 US20170177975A1 (en) 2015-12-21 2016-03-06 Image quality objective evaluation method based on manifold feature similarity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510961907.9A CN105447884B (zh) 2015-12-21 2015-12-21 一种基于流形特征相似度的图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN105447884A CN105447884A (zh) 2016-03-30
CN105447884B true CN105447884B (zh) 2017-11-24

Family

ID=55558016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510961907.9A Active CN105447884B (zh) 2015-12-21 2015-12-21 一种基于流形特征相似度的图像质量客观评价方法

Country Status (2)

Country Link
US (1) US20170177975A1 (zh)
CN (1) CN105447884B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913413B (zh) * 2016-03-31 2019-02-22 宁波大学 一种基于在线流形学习的彩色图像质量客观评价方法
CN106023214B (zh) * 2016-05-24 2018-11-23 武汉大学 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN106097327B (zh) * 2016-06-06 2018-11-02 宁波大学 结合流形特征及双目特性的立体图像质量客观评价方法
CN106384369A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种数据导向的颜色流形获取方法
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
CN108010024B (zh) * 2017-12-11 2021-12-07 宁波大学 一种盲参考色调映射图像质量评价方法
CN108280805B (zh) * 2018-01-30 2021-07-20 北京理工大学 一种基于流形优化的图像拼接方法
CN108596906B (zh) * 2018-05-10 2021-10-29 嘉兴学院 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法
BE1026562B1 (nl) * 2018-08-22 2020-03-26 Drukkerij Voet Bvba Werkwijze en systeem voor het verhogen van de printkwaliteit
CN110858286B (zh) * 2018-08-23 2023-08-11 杭州海康威视数字技术股份有限公司 一种用于目标识别的图像处理方法及装置
CN109345520A (zh) * 2018-09-20 2019-02-15 江苏商贸职业学院 一种图像清晰度的质量评价方法
CN109711432A (zh) * 2018-11-29 2019-05-03 昆明理工大学 一种基于颜色方差的图像相似判定方法
CN109801273B (zh) * 2019-01-08 2022-11-01 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN111652258B (zh) * 2019-03-27 2024-02-13 上海铼锶信息技术有限公司 一种图像分类数据标注质量评估方法
CN111831096B (zh) * 2019-04-18 2022-04-01 Oppo广东移动通信有限公司 图片内容自适应背光控制的设置方法、电子装置及可读存储介质
CN110097541B (zh) * 2019-04-22 2023-03-28 电子科技大学 一种无参考的图像去雨质量评价系统
CN110163855B (zh) * 2019-05-17 2021-01-01 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN110310269B (zh) * 2019-06-27 2022-11-01 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN112488985A (zh) * 2019-09-11 2021-03-12 上海高德威智能交通系统有限公司 图像质量确定方法、装置及设备
CN111612741B (zh) * 2020-04-22 2023-11-03 杭州电子科技大学 一种基于失真识别的精确无参考图像质量评价方法
CN111696049A (zh) * 2020-05-07 2020-09-22 中国海洋大学 基于深度学习的水下扭曲图像重建方法
CN112461892B (zh) * 2020-11-02 2022-07-22 浙江工业大学 一种用于复材缺陷无损检测的红外热影像分析方法
CN112801950B (zh) * 2021-01-15 2023-06-09 宁波大学 一种基于几何失真度量的图像适配质量评价方法
WO2022250388A1 (ko) * 2021-05-25 2022-12-01 삼성전자 주식회사 비디오 품질을 평가하는 전자 장치 및 그 동작 방법
CN113255786B (zh) * 2021-05-31 2024-02-09 西安电子科技大学 基于脑电信号和目标显著特性的视频质量评价方法
CN114782882B (zh) * 2022-06-23 2022-12-13 杭州电子科技大学 基于多模态特征融合的视频目标行为异常检测方法和系统
CN116227650B (zh) * 2022-12-06 2023-10-10 广州港科大技术有限公司 一种基于正交增强型局部保持投影算法的锂电池温度分布预测模型构建方法
CN117876321B (zh) * 2024-01-10 2024-07-30 中国人民解放军91977部队 一种图像质量评估方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745466A (zh) * 2014-01-06 2014-04-23 北京工业大学 一种基于独立成分分析的图像质量评价方法
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340437B2 (en) * 2007-05-29 2012-12-25 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745466A (zh) * 2014-01-06 2014-04-23 北京工业大学 一种基于独立成分分析的图像质量评价方法
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"RFSIM: A FEATURE BASED IMAGE QUALITY ASSESSMENT METRIC USING";Lin Zhang等;《Proceedings of 2010 IEEE 17th International Conference on Image Processing》;20100930;论文第26-29页 *
"基于双目信息融合的立体图像质量评价模型";宋洋等;《光电子技术》;20140630;第34卷(第2期);论文第102-105页 *
"基于流形学习和支持向量回归的无参考图像质量评价研究";唐国凤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215(第S1期);论文第41-52页 *

Also Published As

Publication number Publication date
CN105447884A (zh) 2016-03-30
US20170177975A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
CN105447884B (zh) 一种基于流形特征相似度的图像质量客观评价方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN105913413B (zh) 一种基于在线流形学习的彩色图像质量客观评价方法
CN108289222B (zh) 一种基于结构相似度映射字典学习的无参考图像质量评价方法
Zhang et al. A feature-enriched completely blind image quality evaluator
Pei et al. Image quality assessment using human visual DOG model fused with random forest
CN109003265B (zh) 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN108074239A (zh) 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN109886945B (zh) 基于对比度增强的无参考对比度失真图像质量评价方法
CN109740592B (zh) 基于记忆的图像质量无参评估方法
CN104361574A (zh) 一种基于稀疏表示的无参考彩色图像质量评价方法
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN105243385A (zh) 一种基于非监督学习的图像质量评价方法
CN108681997A (zh) 基于改进lbp特征的无参考多失真图像质量评价方法
CN107845064B (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
CN105894522A (zh) 一种多失真立体图像质量客观评价方法
CN108010023B (zh) 基于张量域曲率分析的高动态范围图像质量评价方法
Mansouri et al. SSVD: Structural SVD-based image quality assessment
Chang et al. Sparse correlation coefficient for objective image quality assessment
CN108596906B (zh) 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法
CN107292331B (zh) 基于无监督特征学习的无参考屏幕图像质量评价方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN113192003B (zh) 一种拼接图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant