CN106097327A - 结合流形特征及双目特性的立体图像质量客观评价方法 - Google Patents

结合流形特征及双目特性的立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106097327A
CN106097327A CN201610397239.6A CN201610397239A CN106097327A CN 106097327 A CN106097327 A CN 106097327A CN 201610397239 A CN201610397239 A CN 201610397239A CN 106097327 A CN106097327 A CN 106097327A
Authority
CN
China
Prior art keywords
image block
designated
gray scale
value
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610397239.6A
Other languages
English (en)
Other versions
CN106097327B (zh
Inventor
郁梅
王朝云
陈芬
何美伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201610397239.6A priority Critical patent/CN106097327B/zh
Priority to US15/233,950 priority patent/US9892499B2/en
Publication of CN106097327A publication Critical patent/CN106097327A/zh
Application granted granted Critical
Publication of CN106097327B publication Critical patent/CN106097327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
    • G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合流形特征及双目特性的立体图像质量客观评价方法，其从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得最佳映射矩阵；为了提高评价的准确性和稳定性去除对于视觉感知不重要的图像块，在完成选块后利用最佳映射矩阵提取选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；并考虑图像亮度变化对人眼的影响，基于图像块的均值求失真图像的亮度失真；在获得流形相似度和亮度相似度后，采用双目竞争模型对左、右视点图像各自的质量值进行线性加权得到失真立体图像的质量值，评价结果与人眼的主观感知评价结果具有较高的一致性。

Description

结合流形特征及双目特性的立体图像质量客观评价方法
技术领域
本发明涉及一种立体图像质量评价方法，尤其是涉及一种结合流形特征及双目特性的立体图像质量客观评价方法。
背景技术
立体图像质量的定量评价是图像处理领域中充满挑战性的问题。立体图像与平面图像不同，立体图像包含两个不同的视点。当人观看一幅立体图像时，人类视觉系统(HVS)并不是将左视点图像和右视点图像分开处理，而是左视点图像和右视点图像之间经过复杂的双眼融合和竞争过程后形成一幅合成的独眼图，这种融合的独眼图不仅取决于个体的刺激因素的差异，而且还取决于两个视点间的几何关系。因此，一幅立体图像的质量不仅与单独的左视点和右视点的质量有关，而且还与双目视觉感知相关。
针对立体图像中某一视点的质量评价来说，传统的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)等基于保真度的图像质量评价方法虽能较好地评价具有相同内容和失真的图像质量，但面对多幅图像和多种失真时，其评价结果与主观感知却相差甚远。感知质量评价方法的目的是通过模拟人眼视觉系统的整体感知机制来获取与视觉感知质量具有较高一致性的评价结果。通过对人眼视觉系统的生理响应进行建模获取客观评价方法，可以得到与主观评价有较高一致性的评价结果。优异的图像质量评价方法应能很好地反映人眼视觉感知特性。现有的基于结构的图像质量评价方法都是从图像的边缘、对比度等结构信息出发获取图像质量的，而从人眼视觉系统特性设计的图像质量评价方法主要是从人眼关注及察觉失真的能力角度出发进行图像质量评价的，它们均为从图像的非线性几何结构以及人眼的感知角度进行质量评价的；但有研究表明针对视觉感知现象，流形是感知的基础，大脑中以流形方式对事物进行感知，而自然场景图像通常包含流形结构，有着流形非线性的本质。因此，结合流形特征可以较好地评价立体图像中的单一视点的图像质量。
另一方面，从双目感知角度来说，当左视点和右视点对称失真时，立体图像质量评价较为容易。通常分为两种方法，一种方法是分别对立体图像的两个视点运用平面图像的质量评价方法进行评价，然后平均这两个视点的质量值得到立体图像的质量值；另一种方法是采用立体图像的左视点和右视点以及立体图像的深度/视差信息来进行评价，此时需假定深度/视差信息在HVS判断立体图像的质量中起到一定的作用。然而，第二种方法需要考虑两个问题，首先，由于真实的深度/视差图并不总是可用的，第二种方法一般都是在估计深度图时进行立体图像深度感的质量评价，因此，深度/视差估计算法的精度可能会大大影响评价性能；其次，深度/视差信息可能与三维感知质量不相关，这一点已在Kaptein等的文章中被证实，他在主观实验中使用了在不同深度下的相同物体的模糊图像，发现在三维显示中在一定程度上深度不影响图像感知质量。
尽管存在上述的这些问题，上述两种方法在针对对称失真的立体图像质量评价上仍取得了不错的质量评价性能。然而，如果左视点和右视点包含不同程度或失真类型(也称为不对称的失真刺激)，那么上述这两种方法的质量评价性能较差。不对称的失真使立体图像质量评价问题更具挑战性，主要是因为人眼合成的独眼图的质量与左右视点的失真类型以及分布有关。例如有两幅失真立体图像，两幅失真立体图像的左视点图像均为相似的高质量的图像，而两幅失真立体图像的右视点图像均为近似的低质量的图像。对受试者的观察结果进行统计，可以发现，对于右视点含有白噪声的失真立体图像，他们认为合成的虚拟视点图像(独眼图)质量更接近低质量的右视点图像，而对于右视点含有高斯模糊的失真立体图像，他们认为合成的虚拟视点图像(独眼图)质量更接近高质量的左视点图像。因此，有效地模拟HVS的双目非对称失真时的感知机制也是提高立体图像质量评价算法性能的关键之一。合理有效的双目模型可以更加全面地考虑人眼双目感知特性，同时可以提高对对称失真以及非对称失真立体图像的评价效果。
发明内容
本发明所要解决的技术问题是提供一种结合流形特征及双目特性的立体图像质量客观评价方法，其能够获得与主观感知质量一致性较高的客观评价结果。
本发明解决上述技术问题所采用的技术方案为：一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：
①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；
然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；
接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；
再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xi col，其中，xi col的维数为64×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；
之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xi col经中心化处理后得到的灰度向量记为
最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；
②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<64；
③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；
然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；
④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；
然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，
再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；
之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为
最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,L，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,R，其中，Xref,L和Xref,R、Xdis,L和Xdis,R的维数均为64×N'，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；
⑤计算Xref,L中的每个列向量与Xdis,L中对应列向量之间的结构差异，将与之间的结构差异记为并计算Xref,R中的每个列向量与Xdis,R中对应列向量之间的结构差异，将与之间的结构差异记为
然后将Xref,L和Xdis,L对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νL；并将Xref,R和Xdis,R对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νR；其中，νL中的第j个元素的值为 νR中的第j个元素的值为
接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图像块集合和失真右视点图像块集合，具体过程为：a1、设计一个左视点图像块选取阈值TH1和一个右视点图像块选取阈值TH2；a2、从νL中提取出所有值大于或等于TH1的元素，并从νR中提取出所有值大于或等于TH2的元素；a3、将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为无失真左视点图像块集合，记为Yref,L，并将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydis,L，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为Yref,R，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Ydis,R，
⑥计算Yref,L中的每个图像块的流形特征向量，将Yref,L中的第t个图像块的流形特征向量记为 并计算Ydis,L中的每个图像块的流形特征向量，将Ydis,L中的第t个图像块的流形特征向量记为 计算Yref,R中的每个图像块的流形特征向量，将Yref,R中的第t'个图像块的流形特征向量记为 计算Ydis,R中的每个图像块的流形特征向量，将Ydis,R中的第t'个图像块的流形特征向量记为 其中，1≤t≤K，K表示Yref,L中包含的图像块的总个数，也即Ydis,L中包含的图像块的总个数，1≤t'≤K'，K'表示Yref,R中包含的图像块的总个数，也即Ydis,R中包含的图像块的总个数，的维数均为8×1，表示Yref,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Yref,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；
然后将Yref,L中的所有图像块的流形特征向量组成一个矩阵，记为RL；并将Ydis,L中的所有图像块的流形特征向量组成一个矩阵，记为DL；将Yref,R中的所有图像块的流形特征向量组成一个矩阵，记为RR；并将Ydis,R中的所有图像块的流形特征向量组成一个矩阵，记为DR；其中，RL和DL的维数均为8×K，RR和DR的维数均为8×K'，RL中的第t个列向量为DL中的第t个列向量为RR中的第t'个列向量为DR中的第t'个列向量为
再计算的亮度分量与的亮度分量的流形特征相似度，记为 计算的亮度分量与的亮度分量的流形特征相似度，记为 其中，表示RL中第m行第t列的值，表示DL中第m行第t列的值，表示RR中第m行第t'列的值，表示DR中第m行第t'列的值，C1为一个用于保证结果稳定性的很小的常量；
⑦计算的亮度分量与的亮度分量的亮度相似度，记为 计算的亮度分量与的亮度分量的亮度相似度，记为 其中，表示Yref,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Ydis,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Yref,R中的第t'个图像块中的所有像素点的像素值的平均值， 表示Ydis,R中的第t'个图像块中的所有像素点的像素值的平均值，C2为一个很小的常量；
⑧对和进行幂指数加权得到的质量分数，记为MFSL，对和进行幂指数加权得到的质量分数，记为MFSR，其中，α用于调节和的相对重要性，β用于调节和的相对重要性，α+β＝1；
⑨利用双目竞争模型求取的加权值和的加权值，对应记为ωL和ωR；然后利用ωL对MFSL进行加权，利用ωR对MFSR进行加权，得到Idis的质量值，记为Q，Q＝ωL×MFSL+ωR×MFSR，其中，ωL用于调节MFSL的相对重要性，ωR用于调节MFSR的相对重要性，ωL+ωR＝1。
所述的步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为64×64，XT为X的转置矩阵；
②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为64×64，Ψ1、Ψ2和Ψ64对应表示分解得到的第1个、第2个和第64个特征值，E的维数为64×64，E＝[e1e2...e64]，e1、e2和e64对应表示分解得到的第1个、第2个和第64个特征向量，e1、e2和e64的维数均为64×1；
②-3、计算白化矩阵，记为W，其中，W的维数为M×64，ψM表示分解得到的第M个特征值，M为设定的低维维数，1<M<64，ET为E的转置矩阵；
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
所述的步骤⑤中 其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值。
所述的步骤⑤中的a1步骤中TH1＝median(νL)，TH2＝median(νR)，其中，median()为中值选取函数，median(νL)表示选取νL中的所有元素的值中的中值，median(νR)表示选取νR中的所有元素的值中的中值。
所述的步骤⑨中的ωL和ωR的获取过程为：
⑨-1、采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为同样，采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为其中，9≤Q≤37且Q为奇数，
⑨-2、采用高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为Q×Q，且标准差为ζ，得到卷积模板，其中，3≤ζ≤6；然后对卷积模板中的每个元素的值进行归一化处理，得到归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除以卷积模板中的所有元素的值的和得到该元素对应的归一化处理后的值；
⑨-3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 同样，利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 其中，1≤u≤Q,1≤v≤Q，Mode(u,v)表示归一化处理后的卷积模板中下标为(u,v)的元素的值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值；
⑨-4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；同样，根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；
⑨-5、根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref ,L；同样，根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,L；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref,R；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,R；其中，Eref,L、Edis,L、Eref,R和Edis,R的宽度均为且高度均为Eref,L中的第p个像素点的像素值Eref,L(p)为中的第p个图像块对应的方差能量，Edis,L中的第p个像素点的像素值Edis,L(p)为中的第p个图像块对应的方差能量，Eref,R中的第p个像素点的像素值Eref,R(p)为中的第p个图像块对应的方差能量，Edis,R中的第p个像素点的像素值Edis,R(p)为中的第p个图像块对应的方差能量；
⑨-6、计算左视点图像的局部能量比率图，记为RatioL，将RatioL中的第p个像素点的像素值记为RatioL(p)，并计算右视点图像的局部能量比率图，记为RatioR，将RatioR中的第p个像素点的像素值记为RatioR(p)，其中，RatioL和RatioR的宽度均为且高度均为
⑨-7、计算ωL，并计算ωR，其中，
与现有技术相比，本发明的优点在于：
1)本发明方法是从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得一个通用的最佳映射矩阵；为了提高评价的准确性和稳定性，本发明方法首先采用了视觉阈值策略来去除对于视觉感知不重要的图像块，在完成选块之后利用最佳映射矩阵提取选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；之后考虑了图像亮度变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真，这使得本发明方法具有更高的评价准确性，也扩大了其对各类失真的评价能力，能够客观地反映图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法在获得左视点图像和右视点图像的亮度分量各自对应的流形相似度和亮度相似度后，考虑双目竞争对待评价的失真立体图像质量的影响，采用简单有效的双目竞争模型对左视点图像和右视点图像各自的质量值进行线性加权得到待评价的失真立体图像的质量值，该过程使得本发明方法不仅在对称失真的立体图像质量评价上取得了与人眼主观评价更接近的评价结果，而且也提高了对非对称的失真立体图像质量评价的性能，因而本发明方法获得的最终的评价结果与人眼的主观感知评价结果具有较高的一致性。
2)本发明方法的评价性能受立体图像库不同的影响微乎其微，选用不同的训练库得到的性能结果基本相同，因此本发明方法中的最佳映射矩阵是一个通用的流形特征提取器，一旦通过正交局部保持投影算法训练获取后便可以用于所有失真立体图像质量的评价，而不需要每次评价都进行耗时的训练过程，并且用于训练的平面图像和测试的失真立体图像是相互独立的，因此可以避免测试结果对训练数据的过度依赖，从而能够有效地提高客观评价结果与主观感知质量之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
优异的图像质量评价方法应能很好地反映人眼视觉感知特性。针对视觉感知现象，有研究表明流形是感知的基础，人的感知是在认知流形和拓扑连续性的基础上进行的即人类感知局限在低维流形之上，大脑以流形方式对事物进行感知；大脑中神经元群体活动通常可描述为一个神经放电率的集合的结果，所以可表示为一个维数等于神经元数目的抽象空间中的点。研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的平滑函数表示，这说明神经元群体活动是局限在一个低维流形之上。因此，将图像流形特征应用于视觉质量评价可得到与主观感知质量一致性较高的评价结果。而流形学习则能较好地帮助找到图像等在低维流形中的内在几何结构，体现事物的非线性流形的本质。
本发明根据人眼以流形方式感知的视觉特性以及流形学习理论同时考虑双目竞争特性，提出了一种结合流形特征及双目特性的立体图像质量客观评价方法，其在训练阶段，利用流形学习正交局部保持投影算法得到最佳映射矩阵用于提取图像的流形特征；在质量预测阶段，在将原始的无失真自然场景立体图像与失真立体图像各自的左视点图像和右视点图像的亮度分量划分为图像块后，去除每个图像块的均值使所有图像块对应的灰度向量都具有零均值，在这基础上计算流形特征相似度；而所有图像块的均值则用于计算亮度相似度，其中，流形特征相似度表征了两幅图像的结构差异，而亮度相似度则度量了失真图像的亮度失真，最后均衡两个相似度得到失真立体图像的左视点图像和右视点图像各自的整体视觉质量；在此基础上考虑双目竞争对立体图像质量的影响，通过利用局部能量图来求取左视点图像和右视点图像各自的加权值来对左视点图像和右视点图像各自的质量值进行加权来获取最终的失真立体图像的质量值。本发明方法通过双目竞争模型模拟双目竞争特性在对称和非对称失真立体图像的评价上取得了不错的效果。
本发明的结合流形特征及双目特性的立体图像质量客观评价方法的总体实现框图如图1所示，其包括以下步骤：
①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；
然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；
接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；
再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xi col，其中，xi col的维数为64×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；
之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xi col经中心化处理后得到的灰度向量记为即中的第1个元素的值等于xi col中的第1个元素的值减去xi col中的所有元素的值的平均值，依次类推，中的第64个元素的值等于xi col中的第64个元素的值减去xi col中的所有元素的值的平均值；
最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号。
在此，多幅无失真自然场景平面图像的尺寸大小可以全部相同或可以各不相同或可以部分相同，在具体实施时如选取10幅无失真自然场景平面图像；N的取值范围是通过大量实验确定的，如果N的取值太小(小于5000个)即图像块个数较少时会大幅影响训练精度，如果N的取值太大(大于20000个)即图像块个数较多时训练精度提升不多但计算复杂度会增加很多，因此本发明将N的取值范围限制为5000≤N≤20000，具体实施时如取N＝20000；由于灰度图像只考虑图像的亮度分量，由此可知每个训练样本对应的灰度向量为长度为8×8＝64的向量。
②利用现有的主成分分析(Principal Components Analysis，PCA)对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<64，在本实施例中取M＝8。
在此具体实施例中，步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为64×64，XT为X的转置矩阵。
②-2、采用现有技术对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为64×64，Ψ1、Ψ2和Ψ64对应表示分解得到的第1个、第2个和第64个特征值，E的维数为64×64，E＝[e1e2...e64]，e1、e2和e64对应表示分解得到的第1个、第2个和第64个特征向量，e1、e2和e64的维数均为64×1。
②-3、计算白化矩阵，记为W，其中，W的维数为M×64，ψM表示分解得到的第M个特征值，M为设定的低维维数，1<M<64，在本实施例中取M＝8，ET为E的转置矩阵。
在此，ΨM×64为由Ψ中的前M行组成的矩阵，即M为设定的低维维数，在实验中只取了Ψ的前8行，即前8个主成分用于训练，也就是说X经降维以及白化操作后维数从64维降到了M＝8维。
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
③利用现有的正交局部保持投影算法(OLPP，orthogonal Locality PreservingProjection)对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；
在进行学习之后，最佳映射矩阵应该从白化样本空间转化回到原始样本空间，即然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64，W的获取过程参见步骤②-1至步骤②-3；本发明方法将J看作是大脑以流形方式感知的一个模型，可以用于提取图像块的流形特征。
④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；
然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，
再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；
之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为
最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,L，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,R，其中，Xref,L和Xref,R、Xdis,L和Xdis,R的维数均为64×N'，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号。
⑤由于每个图像块对应的灰度向量中的每个元素的值在减平均值后的块包括了对比度和结构等信息，可将得到的块称作结构块，因此本发明利用绝对方差差值(AbsoluteVariance Error，AVE)计算Xref,L中的每个列向量与Xdis,L中对应列向量之间的结构差异，将与之间的结构差异记为并计算Xref,R中的每个列向量与Xdis,R中对应列向量之间的结构差异，将与之间的结构差异记为
然后将Xref,L和Xdis,L对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νL；并将Xref,R和Xdis,R对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νR；其中，νL中的第j个元素的值为 νR中的第j个元素的值为
接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图像块集合和失真右视点图像块集合，具体过程为：a1、设计一个左视点图像块选取阈值TH1和一个右视点图像块选取阈值TH2；a2、从νL中提取出所有值大于或等于TH1的元素，并从νR中提取出所有值大于或等于TH2的元素；a3、将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为无失真左视点图像块集合，记为Yref,L，并将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydis,L，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为Yref,R，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Ydis,R，
在此具体实施例中，步骤⑤中 其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值。
在此具体实施例中，步骤⑤中的a1步骤中TH1＝median(νL)，TH2＝median(νR)，其中，median()为中值选取函数，median(νL)表示选取νL中的所有元素的值中的中值，median(νR)表示选取νR中的所有元素的值中的中值。
⑥计算Yref,L中的每个图像块的流形特征向量，将Yref,L中的第t个图像块的流形特征向量记为 并计算Ydis,L中的每个图像块的流形特征向量，将Ydis,L中的第t个图像块的流形特征向量记为 计算Yref,R中的每个图像块的流形特征向量，将Yref,R中的第t'个图像块的流形特征向量记为 计算Ydis,R中的每个图像块的流形特征向量，将Ydis,R中的第t'个图像块的流形特征向量记为 其中，1≤t≤K，K表示Yref,L中包含的图像块的总个数，也即Ydis,L中包含的图像块的总个数，1≤t'≤K'，K'表示Yref,R中包含的图像块的总个数，也即Ydis,R中包含的图像块的总个数，的维数均为8×1，表示Yref,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Yref,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；
然后将Yref,L中的所有图像块的流形特征向量组成一个矩阵，记为RL；并将Ydis,L中的所有图像块的流形特征向量组成一个矩阵，记为DL；将Yref,R中的所有图像块的流形特征向量组成一个矩阵，记为RR；并将Ydis,R中的所有图像块的流形特征向量组成一个矩阵，记为DR；其中，RL和DL的维数均为8×K，RR和DR的维数均为8×K'，RL中的第t个列向量为DL中的第t个列向量为RR中的第t'个列向量为DR中的第t'个列向量为
再计算的亮度分量与的亮度分量的流形特征相似度，记为 计算的亮度分量与的亮度分量的流形特征相似度，记为 其中，表示RL中第m行第t列的值，表示DL中第m行第t列的值，表示RR中第m行第t'列的值，表示DR中第m行第t'列的值，C1为一个用于保证结果稳定性的很小的常量，在本实施例中取C1＝0.09。
⑦计算的亮度分量与的亮度分量的亮度相似度，记为 计算的亮度分量与的亮度分量的亮度相似度，记为 其中，表示Yref,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Ydis,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Yref,R中的第t'个图像块中的所有像素点的像素值的平均值， 表示Ydis,R中的第t'个图像块中的所有像素点的像素值的平均值，C2为一个很小的常量，在本实施例中取C2＝0.001。
⑧对和进行幂指数加权得到的质量分数，记为MFSL，对和进行幂指数加权得到的质量分数，记为MFSR，其中，α用于调节和的相对重要性，β用于调节和的相对重要性，α+β＝1，在本实施例中取α＝0.25、β＝0.75。
⑨利用双目竞争模型求取的加权值和的加权值，对应记为ωL和ωR；然后利用ωL对MFSL进行加权，利用ωR对MFSR进行加权，得到Idis的质量值，记为Q，Q＝ωL×MFSL+ωR×MFSR，其中，ωL用于调节MFSL的相对重要性，ωR用于调节MFSR的相对重要性，ωL+ωR＝1。
在此具体实施例中，步骤⑨中的ωL和ωR的获取过程为：
⑨-1、采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为同样，采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为其中，9≤Q≤37且Q为奇数，在本实施例中取Q＝33，
⑨-2、采用现有的高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为Q×Q，且标准差为ζ，得到卷积模板，其中，3≤ζ≤6，在本实施例中取ζ＝4.5；然后对卷积模板中的每个元素的值进行归一化处理，得到归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除以卷积模板中的所有元素的值的和得到该元素对应的归一化处理后的值。
⑨-3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 同样，利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 其中，1≤u≤Q,1≤v≤Q，Mode(u,v)表示归一化处理后的卷积模板中下标为(u,v)的元素的值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值。
⑨-4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；同样，根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量。
⑨-5、根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref ,L；同样，根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,L；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref,R；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,R；其中，Eref,L、Edis,L、Eref,R和Edis,R的宽度均为且高度均为Eref,L中的第p个像素点的像素值Eref,L(p)为中的第p个图像块对应的方差能量，Edis,L中的第p个像素点的像素值Edis,L(p)为中的第p个图像块对应的方差能量，Eref,R中的第p个像素点的像素值Eref,R(p)为中的第p个图像块对应的方差能量，Edis,R中的第p个像素点的像素值Edis,R(p)为中的第p个图像块对应的方差能量。
⑨-6、由于参考立体图像是无失真立体图像，且双眼融合占主导，当左视点和右视点中的一个视点图像在一些空间位置存在失真时，该失真可能会影响左视点图像和右视点图像的结构的一致性，从而双眼竞争占主导，其结果是，某一视点可以在任何时刻占主导地位。因此，基于以上原理，本发明计算左视点图像和右视点图像各自的局部能量比率图，过程为：计算左视点图像的局部能量比率图，记为RatioL，将RatioL中的第p个像素点的像素值记为RatioL(p)，并计算右视点图像的局部能量比率图，记为RatioR，将RatioR中的第p个像素点的像素值记为RatioR(p)，其中，RatioL和RatioR的宽度均为且高度均为
局部能量比率图提供了有用的局部信息，这可以用于结合两个单视点图像的质量来预测立体图像的图像质量。
⑨-7、计算ωL，并计算ωR，其中，
为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
在三个公开的测试图像库上对本发明方法进行了测试和对比。这三个测试图像库分别为NBU、LIVE I、LIVE II立体图像库。其中，NBU立体图像库共包含12幅原始立体图像以及在此基础上进行失真处理获取的312幅对称失真的失真立体图像，失真类型共有5种，分别为JPEG、JP2K、Gblur、WN和H.264失真；LIVE I立体图像库共包含20幅原始立体图像以及在此基础上进行失真处理获取的365幅对称失真的失真立体图像，失真类型共有5种，分别为JPEG、JP2K、Gblur、WN和FF失真；LIVE II立体图像库共包含8幅原始立体图像以及在此基础上进行失真处理获取的360幅对称和非对称失真的失真立体图像，失真类型与LIVE I立体图像库相同。
当然，针对上述的每个立体图像库中的每幅失真立体图像都会给定一个主观分数例如平均主观分(Mean opinion score，MOS)或平均主观分差值(Differential meanopinion score，DMOS)。最终的算法性能验证是在比较主观评分与图像质量评价算法客观评价结果基础上进行的。
采用3个通用评价指标并根据视频质量评价专家组PhaseI/II(VQEG)提供的标准验证方法来获取图像质量客观评价方法的评价性能。采用SROCC指标来评价本发明方法的预测单调性的优劣，采用PLCC和RMSE两个指标来评价本发明方法的准确性，在求取PLCC的过程中采用5参数非线性映射函数来进行非线性拟合。
本发明方法将与具有代表性的5种图像质量评价方法进行比较，包括：FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法。
在本实施例中采用TOY图像数据库中的10幅无失真立体图像，并随机选取20000个图像块用于训练得到最佳映射矩阵J，随后将其用于后续的图像质量评价。表1给出了本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库上的3个预测性能指标SROCC、PLCC和RMSE的值。表1中对所有图像质量客观评价方法中指标性能最优的图像质量客观评价方法以黑体标出，从表1可知，本发明方法在所有立体图像库上的性能都很好。首先，在NBU和LIVE I立体图像库上本发明方法的性能最优，优于其他所有图像质量客观评价方法；其次，在LVIE II立体图像库上本发明方法的性能较大幅度地优于其他所有图像质量客观评价方法。因此，整体上来说，与其他所有图像质量客观评价方法相比，本发明方法获得的失真立体图像的质量值与主观评价更加接近。
为了更加综合地评判图像质量客观评价方法预测特定失真引起的图像质量降质的能力，将本发明方法与其他图像质量客观评价方法在特定失真下的评价性能进行了测试，选择PLCC和SROCC作为性能指标。表2给出了本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上的预测性能指标PLCC的值；表3给出了本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上的预测性能指标SROCC的值。在表2中用黑体标识出了每个立体图像库中每种失真类型下的PLCC值最优的图像质量评价方法，在表3中用黑体标识出了每个立体图像库中每种失真类型下的SROCC值最优的图像质量评价方法。从表2和表3中可以看出，本发明方法在PLCC和SROCC指标上在三个立体图像库上均是最优次数最多的。因此，可以得出如下结论：总的来说，在特定失真类型下，本发明方法的表现最优，而FI_UQI图像质量评价方法紧随其后；另外，在LIVE II立体图像库上，本发明方法的评价性能较其他图像质量评价方法更加优异，而在LIVE和NBU立体图像库上虽然不是最优，但也处于折中的位置。
表1本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库上的3个预测性能指标SROCC、PLCC和RMSE的值
表2本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上的预测性能指标PLCC的值
表3本发明方法及FI-PSNR、FI-SSIM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上的预测性能指标SROCC的值

Claims (5)

1.一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：
①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；
然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；
接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；
再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xi col，其中，xi col的维数为64×1，xi col中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；
之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xi col经中心化处理后得到的灰度向量记为
最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；
②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1＜M＜64；
③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；
然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；
④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；
然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，
再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；
之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为
最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref ,L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,L，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,R，其中，Xref,L和Xref,R、Xdis,L和Xdis,R的维数均为64×N'，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；
⑤计算Xref,L中的每个列向量与Xdis,L中对应列向量之间的结构差异，将与之间的结构差异记为并计算Xref,R中的每个列向量与Xdis,R中对应列向量之间的结构差异，将与之间的结构差异记为
然后将Xref,L和Xdis,L对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νL；并将Xref,R和Xdis,R对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νR；其中，νL中的第j个元素的值为 νR中的第j个元素的值为
接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图像块集合和失真右视点图像块集合，具体过程为：a1、设计一个左视点图像块选取阈值TH1和一个右视点图像块选取阈值TH2；a2、从νL中提取出所有值大于或等于TH1的元素，并从νR中提取出所有值大于或等于TH2的元素；a3、将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为无失真左视点图像块集合，记为Yref,L，并将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydis,L，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为Yref,R，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Ydis,R，
⑥计算Yref,L中的每个图像块的流形特征向量，将Yref,L中的第t个图像块的流形特征向量记为 并计算Ydis,L中的每个图像块的流形特征向量，将Ydis,L中的第t个图像块的流形特征向量记为 计算Yref,R中的每个图像块的流形特征向量，将Yref,R中的第t'个图像块的流形特征向量记为 计算Ydis,R中的每个图像块的流形特征向量，将Ydis,R中的第t'个图像块的流形特征向量记为 其中，1≤t≤K，K表示Yref,L中包含的图像块的总个数，也即Ydis,L中包含的图像块的总个数，1≤t'≤K'，K'表示Yref,R中包含的图像块的总个数，也即Ydis,R中包含的图像块的总个数， 的维数均为8×1，表示Yref,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,L中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Yref,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，表示Ydis,R中的第t'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；
然后将Yref,L中的所有图像块的流形特征向量组成一个矩阵，记为RL；并将Ydis,L中的所有图像块的流形特征向量组成一个矩阵，记为DL；将Yref,R中的所有图像块的流形特征向量组成一个矩阵，记为RR；并将Ydis,R中的所有图像块的流形特征向量组成一个矩阵，记为DR；其中，RL和DL的维数均为8×K，RR和DR的维数均为8×K'，RL中的第t个列向量为DL中的第t个列向量为RR中的第t'个列向量为DR中的第t'个列向量为
再计算的亮度分量与的亮度分量的流形特征相似度，记为 计算的亮度分量与的亮度分量的流形特征相似度，记为 其中，表示RL中第m行第t列的值，表示DL中第m行第t列的值，表示RR中第m行第t'列的值，表示DR中第m行第t'列的值，C1为一个用于保证结果稳定性的很小的常量；
⑦计算的亮度分量与的亮度分量的亮度相似度，记为 计算的亮度分量与的亮度分量的亮度相似度，记为 其中，表示Yref,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Ydis,L中的第t个图像块中的所有像素点的像素值的平均值， 表示Yref,R中的第t'个图像块中的所有像素点的像素值的平均值， 表示Ydis,R中的第t'个图像块中的所有像素点的像素值的平均值，C2为一个很小的常量；
⑧对和进行幂指数加权得到的质量分数，记为MFSL，对和进行幂指数加权得到的质量分数，记为MFSR，其中，α用于调节和的相对重要性，β用于调节和的相对重要性，α+β＝1；
⑨利用双目竞争模型求取的加权值和的加权值，对应记为ωL和ωR；然后利用ωL对MFSL进行加权，利用ωR对MFSR进行加权，得到Idis的质量值，记为Q，Q＝ωL×MFSL+ωR×MFSR，其中，ωL用于调节MFSL的相对重要性，ωR用于调节MFSR的相对重要性，ωL+ωR＝1。
2.根据权利要求1所述的结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于所述的步骤②中的XW的获取过程为：
②-1、计算X的协方差矩阵，记为C，其中，C的维数为64×64，XT为X的转置矩阵；
②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E，其中，Ψ的维数为64×64，Ψ1、Ψ2和Ψ64对应表示分解得到的第1个、第2个和第64个特征值，E的维数为64×64，E＝[e1 e2 ... e64]，e1、e2和e64对应表示分解得到的第1个、第2个和第64个特征向量，e1、e2和e64的维数均为64×1；
②-3、计算白化矩阵，记为W，其中，W的维数为M×64，ψM表示分解得到的第M个特征值，M为设定的低维维数，1＜M＜64，ET为E的转置矩阵；
②-4、计算降维以及白化操作后得到的矩阵XW，XW＝W×X。
3.根据权利要求1或2所述的结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于所述的步骤⑤中 其中，符号“||”为取绝对值符号，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值，表示中的第g个元素的值。
4.根据权利要求3所述的结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于所述的步骤⑤中的a1步骤中TH1＝median(νL)，TH2＝median(νR)，其中，median()为中值选取函数，median(νL)表示选取νL中的所有元素的值中的中值，median(νR)表示选取νR中的所有元素的值中的中值。
5.根据权利要求1所述的结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于所述的步骤⑨中的ωL和ωR的获取过程为：
⑨-1、采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为同样，采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为采用尺寸大小为Q×Q的滑动窗口，在中逐像素点滑动，将划分成个重叠的尺寸大小为Q×Q的图像块，将中的第p个图像块记为其中，9≤Q≤37且Q为奇数，
⑨-2、采用高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为Q×Q，且标准差为ζ，得到卷积模板，其中，3≤ζ≤6；然后对卷积模板中的每个元素的值进行归一化处理，得到归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除以卷积模板中的所有元素的值的和得到该元素对应的归一化处理后的值；
⑨-3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 同样，利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为 其中，1≤u≤Q,1≤v≤Q，Mode(u,v)表示归一化处理后的卷积模板中下标为(u,v)的元素的值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值，表示中坐标位置为(u,v)的像素点的像素值；
⑨-4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；同样，根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量；
⑨-5、根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref,L；同样，根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,L；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Eref,R；根据中的所有图像块各自对应的方差能量，获取的能量图，记为Edis,R；其中，Eref,L、Edis,L、Eref,R和Edis,R的宽度均为且高度均为Eref,L中的第p个像素点的像素值Eref,L(p)为中的第p个图像块对应的方差能量，Edis,L中的第p个像素点的像素值Edis,L(p)为中的第p个图像块对应的方差能量，Eref,R中的第p个像素点的像素值Eref,R(p)为中的第p个图像块对应的方差能量，Edis,R中的第p个像素点的像素值Edis,R(p)为中的第p个图像块对应的方差能量；
⑨-6、计算左视点图像的局部能量比率图，记为RatioL，将RatioL中的第p个像素点的像素值记为RatioL(p)，并计算右视点图像的局部能量比率图，记为RatioR，将RatioR中的第p个像素点的像素值记为RatioR(p)，其中，RatioL和RatioR的宽度均为且高度均为
⑨-7、计算ωL，并计算ωR，其中，
CN201610397239.6A 2016-06-06 2016-06-06 结合流形特征及双目特性的立体图像质量客观评价方法 Active CN106097327B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610397239.6A CN106097327B (zh) 2016-06-06 2016-06-06 结合流形特征及双目特性的立体图像质量客观评价方法
US15/233,950 US9892499B2 (en) 2016-06-06 2016-08-11 Objective assessment method for stereoscopic image quality combined with manifold characteristics and binocular characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610397239.6A CN106097327B (zh) 2016-06-06 2016-06-06 结合流形特征及双目特性的立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106097327A true CN106097327A (zh) 2016-11-09
CN106097327B CN106097327B (zh) 2018-11-02

Family

ID=57398937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610397239.6A Active CN106097327B (zh) 2016-06-06 2016-06-06 结合流形特征及双目特性的立体图像质量客观评价方法

Country Status (2)

Country Link
US (1) US9892499B2 (zh)
CN (1) CN106097327B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801273A (zh) * 2019-01-08 2019-05-24 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN112461892A (zh) * 2020-11-02 2021-03-09 浙江工业大学 一种用于复材缺陷无损检测的红外热影像分析方法
CN113269706A (zh) * 2020-02-14 2021-08-17 中国科学院国家空间科学中心 激光雷达图像质量评价方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316323B (zh) * 2017-06-28 2020-09-25 北京工业大学 基于多尺度分析法建立的无参考图像质量评估方法
CN107808397B (zh) * 2017-11-10 2020-04-24 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备
GB2585416B (en) * 2017-12-28 2022-03-16 Landmark Graphics Corp Gridding global data into a minimally distorted global raster
CN109409380B (zh) * 2018-08-27 2021-01-12 浙江科技学院 一种基于双学习网络的立体图像视觉显著提取方法
IL264032B (en) 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
CN110781913B (zh) * 2019-09-11 2023-05-30 西安电子科技大学 一种拉链布带缺陷检测方法
CN110766657B (zh) * 2019-09-20 2022-03-18 华中科技大学 一种激光干扰图像质量评价方法
CN112068518B (zh) * 2020-09-09 2023-04-07 华东理工大学 基于非线性动态全局局部保留投影算法的乙烯精馏塔状态监控方法
CN112164056B (zh) * 2020-09-30 2023-08-29 南京信息工程大学 基于交互式卷积神经网络的无参考立体图像质量评价方法
CN112419242B (zh) * 2020-11-10 2023-09-15 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN114648482A (zh) * 2020-12-19 2022-06-21 中国科学院深圳先进技术研究院 立体全景图像的质量评价方法、系统
CN113673363B (zh) * 2021-07-28 2024-03-01 大连海事大学 结合表观相似度与奇异点匹配个数的手指静脉识别方法
CN116051849B (zh) * 2023-04-03 2023-07-07 之江实验室 一种脑网络数据特征提取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044070A1 (en) * 2006-08-16 2008-02-21 Fuji Photo Film Co., Ltd. Abnormal mass candidate detecting apparatus, method and computer-readable medium
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5002066B1 (ja) * 2011-04-06 2012-08-15 シャープ株式会社 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体
US20130194395A1 (en) * 2011-06-28 2013-08-01 Nokia Corporation Method, A System, A Viewing Device and a Computer Program for Picture Rendering
CN103533343B (zh) * 2013-09-29 2015-05-20 宁波大学 一种基于数字水印的立体图像质量客观评价方法
CN104811691B (zh) * 2015-04-08 2017-07-21 宁波大学 一种基于小波变换的立体视频质量客观评价方法
CN104767993B (zh) * 2015-04-08 2016-08-24 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044070A1 (en) * 2006-08-16 2008-02-21 Fuji Photo Film Co., Ltd. Abnormal mass candidate detecting apparatus, method and computer-readable medium
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801273A (zh) * 2019-01-08 2019-05-24 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN109801273B (zh) * 2019-01-08 2022-11-01 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN113269706A (zh) * 2020-02-14 2021-08-17 中国科学院国家空间科学中心 激光雷达图像质量评价方法、装置、设备及存储介质
CN113269706B (zh) * 2020-02-14 2023-11-14 中国科学院国家空间科学中心 激光雷达图像质量评价方法、装置、设备及存储介质
CN112461892A (zh) * 2020-11-02 2021-03-09 浙江工业大学 一种用于复材缺陷无损检测的红外热影像分析方法
CN112461892B (zh) * 2020-11-02 2022-07-22 浙江工业大学 一种用于复材缺陷无损检测的红外热影像分析方法

Also Published As

Publication number Publication date
CN106097327B (zh) 2018-11-02
US9892499B2 (en) 2018-02-13
US20160350941A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN102750695B (zh) 一种基于机器学习的立体图像质量客观评价方法
CN105447884B (zh) 一种基于流形特征相似度的图像质量客观评价方法
CN107578404B (zh) 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN105913413B (zh) 一种基于在线流形学习的彩色图像质量客观评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN109559276B (zh) 一种基于质量评价和特征统计的图像超分辨率重建方法
Ninassi et al. Does where you gaze on an image affect your perception of quality? Applying visual attention to image quality metric
CN111709902A (zh) 基于自注意力机制的红外和可见光图像融合方法
CN105744256A (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN105654142B (zh) 基于自然场景统计的无参考立体图像质量评价方法
CN112288668B (zh) 基于深度无监督密集卷积网络的红外和可见光图像融合方法
CN104954778B (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN103338379B (zh) 一种基于机器学习的立体视频客观质量评价方法
CN105635743A (zh) 基于显著性检测和全变分的最小可察觉失真方法及系统
Carnec et al. Visual features for image quality assessment with reduced reference
CN104394403A (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN107483918B (zh) 基于显著性的全参考立体图像质量评价方法
CN105898279A (zh) 一种立体图像质量客观评价方法
CN106960432B (zh) 一种无参考立体图像质量评价方法
CN108492275A (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN104820988B (zh) 一种无参考立体图像质量客观评价方法
Li et al. Stereoscopic 3D Image Retargeting Quality Assessment.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant