CN108682005A - 基于协方差矩阵特征的半参考3d合成图像质量评价方法 - Google Patents

基于协方差矩阵特征的半参考3d合成图像质量评价方法 Download PDF

Info

Publication number
CN108682005A
CN108682005A CN201810375536.XA CN201810375536A CN108682005A CN 108682005 A CN108682005 A CN 108682005A CN 201810375536 A CN201810375536 A CN 201810375536A CN 108682005 A CN108682005 A CN 108682005A
Authority
CN
China
Prior art keywords
image
feature
calculated
gray
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810375536.XA
Other languages
English (en)
Other versions
CN108682005B (zh
Inventor
夏召强
吴军
黄东
李磊
冯晓毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201810375536.XA priority Critical patent/CN108682005B/zh
Publication of CN108682005A publication Critical patent/CN108682005A/zh
Application granted granted Critical
Publication of CN108682005B publication Critical patent/CN108682005B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于协方差矩阵特征的半参考3D合成图像质量评价方法，用于解决目前图像质量评价方法对3D合成图像质量评价效果较差的问题。半参考图像质量评价方法需要使用参考图像的部分信息，本发明中使用协方差矩阵描述这些信息。首先在发送端提取参考图像特征，通过无损的辅助信道将参考图像特征传输到接收端。在接收端，提取退化图像特征。然后计算参考图像特征和退化图像特征间的距离，用于评价退化图像质量。本发明提出使用图像八个基本特征的协方差矩阵描述3D合成图像，然后使用仿射不变度量计算退化图像和参考图像协方差矩阵间的距离，距离越小说明图像质量越高。

Description

基于协方差矩阵特征的半参考3D合成图像质量评价方法
技术领域：
本发明涉及3D合成图像质量评价的方法。
现有技术：
随着3D电视，3D游戏，沉浸式漫游系统等应用的发展和普及，3D合成图像技术作为保障这些应用的核心技术，得到了研究人员的广泛关注。然而3D图像合成技术尚未完全成熟，导致3D合成图像中或多或少会出现一定的失真，特别是几何失真。并且在3D合成图像压缩、存储和传输过程中，也会引入一定的噪声和失真，导致3D合成图像质量退化，损害各种3D应用的用户体验。因此3D合成图像质量评价技术具有重要的研究意义。目前经典图像质量评价方法无法对3D合成图像质量进行较准确的评价，因为经典图像质量评价方法一般针对自然场景图像而提出，而3D合成图像中包含了一些新的失真类型，例如：几何失真。这些经典图像质量评价方法几乎很少考虑这些新的失真类型，因此评价效果无法令人满意。根据使用参考信息的多少，图像质量评价方法可分为：全参考方法，半参考方法和无参考方法。其中半参考方法只需要使用部分参考图像信息。
文献1“D,Kukolj D,Callet P L.Multi-Scale Synthesized ViewAssessment Based on Morphological Pyramids[J].Journal of ElectricalEngineering,2016,67(1):3-11.”提出了一种专门针对3D合成图像的质量评价方法，命名为形态学金字塔峰值信噪比度量(Morphological pyramid peak signal-to-noise ratiometric,MP-PSNR)。此方法首先使用形态学金字塔把图像分解到多个尺度上，然后计算高尺度下多个子图像的平均均方误差。再根据平均均方误差计算图像在多个高尺度下的平均峰值信噪比，即为形态学金字塔峰值信噪比。形态学金字塔峰值信噪比越高，说明图像质量越好。
发明目的：
针对目前图像质量评价方法对3D合成图像质量评价效果较差的问题。本发明提出了一种基于协方差矩阵特征的半参考3D合成图像质量评价方法。在3D合成图像质量评价数据库IRCCyN/IVC中取得了较好效果。具体来说，本发明质量评价结果与IRCCyN/IVC主观评价值的皮尔森相关系数(PLCC)达到0.8002，相对于文献1性能提高了18％。斯皮尔曼相关系数(SRCC)达到了0.7812，相对于文献1性能提高了13％。
发明内容：
本发明是一种半参考3D合成图像质量评价方法。本发明流程如附图1所示。半参考图像质量评价方法需要使用参考图像的部分信息，本发明使用图像协方差矩阵特征描述这些信息。首先在发送端提取参考图像特征，通过无损的辅助信道将参考图像特征传输到接收端。在接收端，提取退化图像特征。然后计算参考图像特征和退化图像特征间的距离，用于评价退化图像质量。本发明提出使用图像八个基本特征的协方差矩阵描述3D合成图像，然后使用文献2“Tuzel O,Porikli F,Meer P.Region Covariance:A Fast Descriptorfor Detection and Classification[C],European Conference on ComputerVision.Springer-Verlag,2006:589-600.”中提出的仿射不变度量计算退化图像和参考图像协方差矩阵间的距离，距离越小说明图像质量越高。本发明分为两个部分：图像协方差矩阵特征计算和图像质量得分计算。
1、图像协方差矩阵特征计算
对于宽度和高度分别为w和h的RGB图像I(x,y),x＝1,2,…,w,y＝1,2,…,h。
1)计算灰度特征
图像I的灰度特征图Igray可由公式(1)计算得到。
Igray＝0.299*IR+0.587*IG+0.114*IB (1)
其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量。将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为w*h。
2)计算明度特征
图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(2)计算得到。
Ival＝max(IR,IG,IB) (2)
其中max(·)为求最大值算子。将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为w*h。
3)计算饱和度特征
图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(3)计算得到。
其中min(·)为求最小值算子，Ival可由公式(2)计算得到。将Isat按列拉直为一个列向量，得到图像I的饱和度特征向量fsat，向量长度为w*h。
4)计算梯度特征
本发明只计算图像的水平梯度特征，图像I的水平梯度图Igrad可通过公式(4)计算得到。
Igrad(x,y)＝Igray(x+1,y)-Igray(x,y) (4)
其中Igray可由公式(1)计算得到。x和y分别表示图像内像素的水平和垂直坐标。当计算图像边缘像素时，对图像外进行补零填充。将Igray按列拉直为一个列向量，得到图像I的梯度特征向量fgray，向量长度为w*h。
5)计算局部熵特征
图像I的局部熵特征图Ientr可由公式(5)计算得到。
其中Igray可由公式(1)计算得到。Igray(x+i,y+j)表示了图像灰度图中以(x,y)为中心的一个区域，区域大小为7*7，即i∈[-3,3],j∈[-3,3]。当计算图像边缘像素时，对图像外进行补零填充。Pk为这个区域内，灰度值为k的像素出现的概率。将Ientr按列拉直为一个列向量，得到图像I的局部熵特征向量fentr，向量长度为w*h。
6)计算局部标准差特征
图像I的局部标准差特征图Ilsd可由公式(6)、(7)计算得到。
其中ω＝{ωi,j|i＝-3,...,3,j＝-3,...,3}为单位卷积高斯窗(Unit-volumeGaussian window)函数。当计算图像边缘像素时，对图像外进行补零填充。将Ilsd按列拉直为一个列向量，得到图像I的局部标准差特征向量flsd，向量长度为w*h。
7)计算局部标准差邻域乘积特征
图像I的局部标准差邻域乘积图Ipsd可由图像局部标准差图Ilsd计算得到，如公式(8)所示。
Ipsd(x,y)＝Ilsd(x+1,y)*Ilsd(x,y) (8)
当计算图像边缘像素时，对图像外进行补零填充。将Ipsd按列拉直为一个列向量，得到图像I的局部标准差邻域乘积特征向量fpsd，向量长度为w*h。
8)计算局部二值化模式差分特征
根据文献3“Hong X,Zhao G,Pietikainen M,et al.Combining LBP Differenceand Feature Correlation for Texture Description[J].IEEE Trans Image Process,2014,23(6):2557-2568.”提出的方法，计算图像I的局部二值化模式差分特征图Ilbpd。将Ilbpd按列拉直为一个列向量，得到图像I的局部二值化模式差分特征向量flbpd，向量长度为w*h。
根据步骤1)到8)，我们得到了8个长度为w*h的特征向量，根据公式(9)对每个特征向量进行标准化。
f表示原始向量，F表示标准化后的特征向量。具体来说，由fgray,fval,fsat,fgrad,fentr,flsd,fpsd,flbpd得到标准化后的特征向量Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd。将这些标准化后的特征组成联列在一起，组合成特征矩阵XI＝[Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd]。计算XI的协方差矩阵，得到图像I的协方差矩阵特征CI。
2、图像质量得分计算
为了评价退化图像Idis的质量。首先根据步骤1，分别计算参考图像Iref和退化图像Idis的协方差矩阵特征Cref和Cdis。Cref和Cdis的距离可根据公式(10)计算得到。
其中λt(Cref,Cdis)，t＝1,...,8为Cref和Cdis的广义特征值。
退化图像的Idis的质量为：
有益效果：
本发明使用图像质量评价领域公知数据库IRCCyN/IVC进行测试。IRCCyN/IVC数据库共包含12幅参考图像，每幅参考图像对应7幅由不同3D合成算法合成出的退化3D图像，共84幅退化3D合成图像。同时数据库中给出了每幅退化3D合成图像的主观评价值。通过计算本发明在整个数据库上的质量预测值与测试集主观评价值之间的皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC)和斯皮尔曼等级相关系数(Spearman’s rank correlation coefficient,SRCC)来衡量本发明算法的有效性。PLCC用于衡量本发明的准确性，SRCC用来衡量本发明与主观感受的一致性。其取值在[0，1]之间，越大越好。
表1本发明与文献1测试结果比较
SRCC PLCC
文献1方法 0.6634 0.6772
本发明方法 0.7519 0.8002
文献1性能，由文献1公开的代码运行得到。文献1代码下载地址为：https://sites.google.com/site/draganasandicstankovic/code/mp-psnr Matlab code for MP-PSNR。由表1可以看出，本发明在IRCCyN/IVC数据库上性能较文献1方法有较大提升。具体为：SRCC指标提高了13％，PLCC指标提高了18％。
附图说明：
图1本发明流程图。
具体实施方式：
在图像质量评价领域，主观评价值即平均意见得分，代表了人们对图像最真实的感受。客观图像质量评价方法一般通过计算客观质量评价得分与主观评价值之间的相关性来衡量客观质量评价方法的优劣。相关系数越大，说明客观质量评价方法性能越好，对图像的质量评价结果越符合人类的主观感受。本发明在IRCCyN/IVC数据库上进行实验。该数据库包括12幅参考图像以及84幅退化3D合成图像，每幅参考图像对应7幅退化3D合成图像。并且通过主观质量评价实验，得到了这84幅退化3D合成图像的主观评价值作为标准质量得分。图像尺寸都为1024*768。本发明中退化图像等同于失真图像。实验所用软件为MatlabR2014a。
对于数据库中退化3D合成图像I，首先计算其协方差矩阵特征。具体步骤如下：
1)计算灰度特征
图像I的灰度特征图Igray可由公式(12)计算得到。
Igray＝0.299*IR+0.587*IG+0.114*IB (12)
其中，IR，IG和IB分别表示图像I的红色(Red),绿色(Green),蓝色(Blue)三个颜色通道。将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为1024*708＝724992。
2)计算明度特征
图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(13)计算得到。
Ival＝max(IR,IG,IB) (13)
其中max(·)为求最大值算子。将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为724992。
3)计算饱和度特征
图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(14)计算得到。
其中min(·)为求最小值算子，其中Ival可由公式(13)计算得到。将Isat按列拉直为一个列向量，得到图像I的饱和度特征向量fsat，向量长度为724992。
4)计算梯度特征
本发明只计算图像的水平梯度特征，图像I的水平梯度图Igrad可通过公式(15)计算得到。
Igrad(x,y)＝Igray(x+1,y)-Igray(x,y) (15)
其中Igray可由公式(12)计算得到。x和y分别表示图像内像素的水平和垂直坐标。当计算图像边缘像素时，对图像外进行补零填充。将Igray按列拉直为一个列向量，得到图像I的梯度特征向量fgray，向量长度为724992。
5)计算局部熵特征
图像I的局部熵特征图Ientr可由公式(16)计算得到。
其中Igray可由公式(12)计算得到。Igray(x+i,y+j)表示了图像灰度图中以(x,y)为中心的一个区域，区域大小为7*7，即i∈[-3,3],j∈[-3,3]。当计算图像边缘像素时，对图像外进行补零填充。Pk为这个区域内，灰度值为k的像素出现的概率。将Ientr按列拉直为一个列向量，得到图像I的局部熵特征向量fentr，向量长度为724992。
6)计算局部标准差特征
图像I的局部标准差特征图Ilsd可由公式(17)、(18)计算得到。
其中ω＝{ωi,j|i＝-3,...,3,j＝-3,...,3}为单位卷积高斯窗(Unit-volumeGaussian window)函数。当计算图像边缘像素时，对图像外进行补零填充。将Ilsd按列拉直为一个列向量，得到图像I的局部标准差特征向量flsd，向量长度为724992。
7)计算局部标准差邻域乘积特征
图像I的局部标准差邻域乘积图Ipsd可由图像局部标准差图Ilsd计算得到，如公式(19)所示。
Ipsd(x,y)＝Ilsd(x+1,y)*Ilsd(x,y) (19)
当计算图像边缘像素时，对图像外进行补零填充。将Ipsd按列拉直为一个列向量，得到图像I的局部标准差邻域乘积特征向量fpsd，向量长度为724992。
8)计算局部二值化模式差分特征
根据文献3“Hong X,Zhao G,Pietikainen M,et al.Combining LBP Differenceand Feature Correlation for Texture Description[J].IEEE Trans Image Process,2014,23(6):2557-2568.”提出的方法，计算图像I的局部二值化模式差分特征图Ilbpd。文献3代码下载地址为：http://www.cse.oulu.fi/CMV/Downloads/LBPMatlab。将Ilbpd按列拉直为一个列向量，得到图像I的局部二值化模式差分特征向量flbpd，向量长度为724992。
根据步骤1)到8)，我们得到了8个长度为724992的特征向量，根据公式(20)对每个特征向量进行标准化。
f代表了步骤1)到8)中计算得到的图像基本特征向量，F表示标准化后的特征向量。具体来说，使用公式(20)分别计算图像基本特征向量：fgray,fval,fsat,fgrad,fentr,flsd,fpsd,flbpd，得到标准化后的特征向量Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd。将这些标准化后的特征向量按列组合在一起，得到退化3D合成图像I的特征矩阵XI＝[Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd]。XI为一个724992行，8列的矩阵。根据公式(21)计算特征矩阵XI的协方差矩阵，得到退化3D合成图像I的协方差矩阵特征CI。
cov(·)表示协方差算子，CI为8行8列对称矩阵。因此，对于任意大小3D合成图像，使用本发明提出的协方差矩阵特征，都可以用一个8*8的对阵矩阵来表示，大大降低了数据量。
根据公式(12)至公式(21)计算退化3D图像I对应的参考图像IR的协方差矩阵特征CIR。
2、图像质量得分计算
通过步骤1中计算得到了退化3D合成图像I及其参考图像IR的协方差矩阵特征CI和CIR。根据公式(22)计算CIR到CI的距离。
其中λt(CI,CIR)，t＝1,...,8为CI和CIR的广义特征值。
退化图像的I的质量为：
分别计算数据库IRCCyN/IVC中84幅退化3D合成图像的质量得分，可得到一个84维的客观质量评价得分向量。计算客观质量评价得分向量与数据库中的主观质量评价之间的皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC)和斯皮尔曼等级相关系数(Spearman’s rank correlation coefficient,SRCC)，可用于评价本发明方法性能。计算出的PLCC及SRRC值越大，说明本发明方法对3D合成图像的质量评价越接近人类的主观感知。

Claims (1)

1.基于协方差矩阵特征的半参考3D合成图像质量评价方法，其特征在于两个部分：图像协方差矩阵特征计算和图像质量得分计算；
(1)图像协方差矩阵特征计算：
对于宽度和高度分别为w和h的RGB图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；
1)计算灰度特征：
图像I的灰度特征图Igray可由公式(1)计算得到：
Igray＝0.299*IR+0.587*IG+0.114*IB (1)
其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量；将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为w*h；
2)计算明度特征：
图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(2)计算得到：
Ival＝max(IR,IG,IB) (2)
其中max(·)为求最大值算子；将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为w*h；
3)计算饱和度特征：
图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(3)计算得到：
其中min(·)为求最小值算子，Ival可由公式(2)计算得到；将Isat按列拉直为一个列向量，得到图像I的饱和度特征向量fsat，向量长度为w*h；
4)计算梯度特征：
本发明只计算图像的水平梯度特征，图像I的水平梯度图Igrad可通过公式(4)计算得到：
Igrad(x,y)＝Igray(x+1,y)-Igray(x,y) (4)
其中Igray可由公式(1)计算得到；x和y分别表示图像内像素的水平和垂直坐标；当计算图像边缘像素时，对图像外进行补零填充；将Igray按列拉直为一个列向量，得到图像I的梯度特征向量fgray，向量长度为w*h；
5)计算局部熵特征：
图像I的局部熵特征图Ientr可由公式(5)计算得到：
其中Igray可由公式(1)计算得到；Igray(x+i,y+j)表示了图像灰度图中以(x,y)为中心的一个区域，区域大小为7*7，即i∈[-3,3],j∈[-3,3]；当计算图像边缘像素时，对图像外进行补零填充；Pk为这个区域内，灰度值为k的像素出现的概率；将Ientr按列拉直为一个列向量，得到图像I的局部熵特征向量fentr，向量长度为w*h；
6)计算局部标准差特征：
图像I的局部标准差特征图Ilsd可由公式(6)、(7)计算得到：
其中ω＝{ωi,j|i＝-3,...,3,j＝-3,...,3}为单位卷积高斯窗(Unit-volumeGaussian window)函数；当计算图像边缘像素时，对图像外进行补零填充；将Ilsd按列拉直为一个列向量，得到图像I的局部标准差特征向量flsd，向量长度为w*h；
7)计算局部标准差邻域乘积特征：
图像I的局部标准差邻域乘积图Ipsd可由图像局部标准差图Ilsd计算得到，如公式(8)所示：
Ipsd(x,y)＝Ilsd(x+1,y)*Ilsd(x,y) (8)
当计算图像边缘像素时，对图像外进行补零填充；将Ipsd按列拉直为一个列向量，得到图像I的局部标准差邻域乘积特征向量fpsd，向量长度为w*h；
8)计算局部二值化模式差分特征：
根据文献“Hong X,Zhao G,Pietikainen M,et al.Combining LBP Difference andFeature Correlation for Texture Description[J].IEEE Trans Image Process,2014,23(6):2557-2568.”提出的方法，计算图像I的局部二值化模式差分特征图Ilbpd；将Ilbpd按列拉直为一个列向量，得到图像I的局部二值化模式差分特征向量flbpd，向量长度为w*h；
根据步骤1)到8)，我们得到了8个长度为w*h的特征向量，根据公式(9)对每个特征向量进行标准化：
f表示原始向量，F表示标准化后的特征向量；具体来说，由fgray,fval,fsat,fgrad,fentr,flsd,fpsd,flbpd得到标准化后的特征向量Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd；将这些标准化后的特征联列在一起，组合成特征矩阵XI＝[Fgray,Fval,Fsat,Fgrad,Fentr,Flsd,Fpsd,Flbpd]；计算XI的协方差矩阵，得到图像I的协方差矩阵特征CI；
(2)图像质量得分计算：
为了评价退化图像Idis的质量；首先根据步骤(1)，分别计算参考图像Iref和退化图像Idis的协方差矩阵特征Cref和Cdis；Cref和Cdis的距离可根据公式(10)计算得到：
其中λt(Cref,Cdis)，t＝1,...,8为Cref和Cdis的广义特征值；
退化图像的Idis的质量为：
Qdis为退化图像的最终得分。
CN201810375536.XA 2018-04-25 2018-04-25 基于协方差矩阵特征的半参考3d合成图像质量评价方法 Expired - Fee Related CN108682005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810375536.XA CN108682005B (zh) 2018-04-25 2018-04-25 基于协方差矩阵特征的半参考3d合成图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810375536.XA CN108682005B (zh) 2018-04-25 2018-04-25 基于协方差矩阵特征的半参考3d合成图像质量评价方法

Publications (2)

Publication Number Publication Date
CN108682005A true CN108682005A (zh) 2018-10-19
CN108682005B CN108682005B (zh) 2021-06-18

Family

ID=63802500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810375536.XA Expired - Fee Related CN108682005B (zh) 2018-04-25 2018-04-25 基于协方差矩阵特征的半参考3d合成图像质量评价方法

Country Status (1)

Country Link
CN (1) CN108682005B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949270A (zh) * 2019-01-28 2019-06-28 西北工业大学 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN112837319A (zh) * 2021-03-29 2021-05-25 深圳大学 真实失真图像质量智能评价方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269425A1 (en) * 2011-04-19 2012-10-25 Xerox Corporation Predicting the aesthetic value of an image
CN103152600A (zh) * 2013-03-08 2013-06-12 天津大学 一种立体视频质量评价方法
CN103338380A (zh) * 2013-06-06 2013-10-02 宁波大学 一种自适应图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104091343A (zh) * 2014-07-22 2014-10-08 西北工业大学 基于稀疏结构的图像质量评价方法
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法
CN106960433A (zh) * 2017-03-01 2017-07-18 厦门大学 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN107330891A (zh) * 2017-07-17 2017-11-07 陈剑桃 一种有效的图像质量评价系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269425A1 (en) * 2011-04-19 2012-10-25 Xerox Corporation Predicting the aesthetic value of an image
CN103152600A (zh) * 2013-03-08 2013-06-12 天津大学 一种立体视频质量评价方法
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN103338380A (zh) * 2013-06-06 2013-10-02 宁波大学 一种自适应图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN104091343A (zh) * 2014-07-22 2014-10-08 西北工业大学 基于稀疏结构的图像质量评价方法
CN106447646A (zh) * 2016-06-28 2017-02-22 中国人民解放军陆军军官学院 一种用于无人机图像的质量盲评价方法
CN106960433A (zh) * 2017-03-01 2017-07-18 厦门大学 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN107330891A (zh) * 2017-07-17 2017-11-07 陈剑桃 一种有效的图像质量评价系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TUZEL, ONCEL 等: "Region covariance: A fast descriptor for detection and classification", 《9TH EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV 2006) 》 *
WU JUN 等: "No-reference image quality assessment with center-surround based natural scene statistics", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
XIAOPENG HONG 等: "Combining LBP Difference and Feature Correlation for Texture Description", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
XU WANG 等: "Natural image statistics based 3D reduced reference image quality assessment in contourlet domain", 《NEUROCOMPUTING》 *
李朝锋 等: "学习相位一致特征的无参考图像质量评价", 《电子与信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949270A (zh) * 2019-01-28 2019-06-28 西北工业大学 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法
CN111681207A (zh) * 2020-05-09 2020-09-18 宁波大学 一种遥感图像融合质量评价方法
CN111681207B (zh) * 2020-05-09 2023-10-27 四维高景卫星遥感有限公司 一种遥感图像融合质量评价方法
CN112837319A (zh) * 2021-03-29 2021-05-25 深圳大学 真实失真图像质量智能评价方法、装置、设备及介质
CN112837319B (zh) * 2021-03-29 2022-11-08 深圳大学 真实失真图像质量智能评价方法、装置、设备及介质

Also Published As

Publication number Publication date
CN108682005B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN105261013B (zh) 一种扫描图像质量综合评价方法及评价系统
Hassan et al. Structural similarity measure for color images
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
CN108682005A (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
US7812857B2 (en) Edge analysis in video quality assessment
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN105976351B (zh) 基于中央偏移的立体图像质量评价方法
CN109410177A (zh) 一种超分辨率图像的图像质量分析方法及系统
CN109886351B (zh) 高光谱数据和高分辨率图像融合方法
CN107146220B (zh) 一种通用型无参考图像质量评价方法
Wang et al. Screen content image quality assessment with edge features in gradient domain
CN112184672A (zh) 一种无参考图像质量评价方法及系统
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN111652854B (zh) 一种基于图像高频信息的无参考图像质量评价方法
CN106558047B (zh) 基于互补色小波的彩色图像质量评价方法
Vora et al. Analysis of compressed image quality assessments, m
CN112258464A (zh) 一种全参考遥感图像融合质量评价方法
Shi et al. The objective evaluation of image object segmentation quality
CN113450319B (zh) 一种基于klt技术的超分辨率重建图像质量评价方法
Gong et al. Spatial pooling for measuring color printing quality attributes
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
Aptoula et al. Vectorial quasi-flat zones for color image simplification
Sun et al. No-reference image quality assessment based on gradient histogram response

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210618