CN109255358B - 一种基于视觉显著性和深度图的3d图像质量评价方法 - Google Patents

一种基于视觉显著性和深度图的3d图像质量评价方法 Download PDF

Info

Publication number
CN109255358B
CN109255358B CN201810891239.0A CN201810891239A CN109255358B CN 109255358 B CN109255358 B CN 109255358B CN 201810891239 A CN201810891239 A CN 201810891239A CN 109255358 B CN109255358 B CN 109255358B
Authority
CN
China
Prior art keywords
image
quality evaluation
image quality
distorted
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810891239.0A
Other languages
English (en)
Other versions
CN109255358A (zh
Inventor
丁勇
陈栋才
周一博
孙阳阳
孙光明
邓瑞喆
罗述杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810891239.0A priority Critical patent/CN109255358B/zh
Publication of CN109255358A publication Critical patent/CN109255358A/zh
Application granted granted Critical
Publication of CN109255358B publication Critical patent/CN109255358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于视觉显著性和深度图的3D图像质量评价方法。运用立体匹配算法得到视差图；利用谱残差算法获得图像的显著性图，利用结构相似性算法得到亮度、对比度、对比度的相似性，同时利用高斯色彩模型得到色度相似性特征等度量指标；最后，对参考图像和失真图像利用Log Gabor滤波器提取多尺度的特征，得到多尺度多方向的左右图像的边缘纹理特征，进行相似度计算，得到图像质量评价的指标特征,利用支持向量机进行回归预测，得到客观质量分数，完成对立体图像质量的映射，得到最终的立体图像质量评价。本发明所提出的全参考图像质量评价方法的客观评价与主观评价具有很好的一致性，且优于传统的立体图像质量评价方法。

Description

一种基于视觉显著性和深度图的3D图像质量评价方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于视觉显著性和深度图的3D图像质量评价方法。
背景技术
视觉是人类从外界获取信息的主要渠道，人们通过视觉获取的信息超过总体的80％。视觉信息最主要的载体是图像，因此，图像处理技术，包括采集和显示，已经成为了人们日常生活的重要一环。
三维(3D)成像技术，包括如3D场景捕获、3D压缩、3D传输、渲染和显示等处理阶段，在过去的十年中已经引起了巨大的研究关注。尽管数字图像处理及其相关领域在这些年获得了令人惊叹的进步，但依旧面临着视觉信号的质量难以完全满足目前人们需求的问题。
现今的IQA理论认为，人类的主观感受是图像质量好坏的唯一标准，而使用数学建模得到的客观方法与主观评价的一致程度越高，表示该方法的精确度越高。尽管基于人类观察者判断的主观评价是预测图像质量的最有效手段，但是它具有局限性：费事、费钱、不能在实时系统中实现，同时，由于长时间观看立体图像容易产生视觉疲劳，影响判断的准确性。因此可以预测立体图像感知质量的客观评价方法受到了广泛的关注。
发明内容
本发明公开了一种基于视觉显著性和深度图的全参考立体图像质量客观评价方法。其目的是利用视觉显著性模型，协助提取立体图像视觉特征，并综合深度信息以实现对立体图像质量的映射，来完成立体图像质量的测定与评价。
本发明采取的技术方案是：
首先，利用基于结构相似度的立体匹配算法分别对参考和失真立体图像对的左右视图进行处理，得到参考视差图和失真视差图，将两者比较得到视差图的相似性，也就是代表深度信息的特征。其次，利用结构相似性算法[1]得到亮度、对比度、对比度的相似性，同时利用谱残差模型[2]得到参考图像和失真图像的显著性特征，利用高斯色彩模型[3]得到色度相似性特征等，用以改良结构相似度模型。然后，对参考图像和失真图像利用Log Gabor滤波器提取多尺度的特征，分别比较左右视图的参考和失真图像的差异，得到多尺度的左右图像的边缘纹理相似度特征。最后，利用支持向量机对各特征进行回归预测，完成对立体图像质量的映射，得到最终的图像质量评价结果。
[1]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:fromerror visibility to structural similarity[J].IEEE Transactions on ImageProcessing,2004,13(4):600-612.
[2]Hou X,Zhang L.Saliency Detection:A Spectral Residual Approach[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE ComputerSociety,2007:1-8.
[3]Geusebroek J M,Boomgaard R V D,Smeulders A W M,et al.ColorInvariance[J].Pattern Analysis&Machine Intelligence IEEE Transactions on,2001,23(12):1338-1350.
本发明解决其技术问题所采用的技术方案如下：
步骤(1).输入参考左右视图和失真左右视图；
步骤(2).利用Log Gabor滤波器对步骤(1)中输入的参考图像和失真图像，进行滤波，滤波结果即为得到的图像边缘纹理特征；
Log Gabor滤波器的表达式如下：
Figure GDA0002681563460000021
其中(f,θ)表示极坐标，θ0是中心方向，f0是中心频率，σθ定义了角带宽△Ω，且σf定义了径向带宽B:
Figure GDA0002681563460000022
Figure GDA0002681563460000023
由公式(1)可以得到log Gabor从m个尺度和n个方向得到图像的幅度图：
Figure GDA0002681563460000024
其中
Figure GDA0002681563460000025
和
Figure GDA0002681563460000026
分别表示log Gabor滤波结果的实部和虚部。公式(4)得到的幅度图即为图像的纹理特征。
步骤(3).对步骤(1)输入的立体图像，利用结构相似度，基于能量代价最小化的原则来估计像素视差，即通过平移得到多个对比修正图，而后沿水平方向最大化SSIM分数：
Figure GDA0002681563460000031
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure GDA0002681563460000032
和
Figure GDA0002681563460000033
分别表示X和Y的方差。σxy代表X和Y的协方差。C1，C2为非常小的常数，是为了避免分母为0而维持稳定存在。通常C1＝(k1L)2，C2＝(k2L)2。k1和k2为常量，L是像素的动态范围。
上述SSIM分数最大的像素平移量即可视作视差。分别对步骤(1)中输入的参考左右视图和失真左右视图提取视差图，得到反映图像深度信息的参考视差图和失真视差图。
步骤(4).分析步骤(1)输入的参考图像和失真图像的视觉显著性分布情况，以及视觉显著性加成后的图像结构，得到参考图像和失真图像的左右显著图及加成图。视觉显著图提取方法采用谱残差模型(SR)，具体内容如下：
给定一幅图像作为输入信号fr，利用傅里叶变换求取它的幅度谱A(fr)和相位谱P(fr)，它的对数谱为：
L(fr)＝log(A(fr)), (6)
计算光谱残差：
R(fr)＝L(fr)-hn(fr)*L(fr), (7)
其中h是一个大小为n×n的均值滤波的卷积核。
Figure GDA0002681563460000034
然后对光谱残差R(fr)进行傅里叶反变换，最后经过高斯模糊滤波就得到了所谓的显著性区域。其中高斯模糊滤波的表达式如下：
Figure GDA0002681563460000035
其中，σ是标准偏差。
步骤(5).利用高斯色彩模型对步骤(1)输入的图像进行处理，组合高斯色彩模型的两个通道，得到色度特征。
高斯色彩模型的两个通道：
Figure GDA0002681563460000041
色度：
Chro＝H(x)·M(x), (11)
步骤(6).对步骤(1)输入的图像进行图像结构相似度处理，分别得到参考图像和失真图像的亮度L、对比度C和结构特征S：
Figure GDA0002681563460000042
Figure GDA0002681563460000043
Figure GDA0002681563460000044
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure GDA0002681563460000047
和
Figure GDA0002681563460000048
分别表示X和Y的方差。σxy代表X和Y的协方差。SSIM是基于不同的窗口做计算，假设窗口的大小是N×N，这里取N＝25。C1，C2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取C1＝(k1L)2，C2＝(k2L)2，C3＝C2/2。k1和k2为常量，L是像素的动态范围。
步骤(7).将步骤(2)至(6)提取到的特征的每个像素根据下式计算对比度矩阵：
Figure GDA0002681563460000045
其中qi为各个特征的像素对比度矩阵，a和b分别为各个特征的像素点的值，C4为使分母不为0的极小常数；
步骤(8).利用方差池化将步骤(7)得到的对比度进行降维，整合成一个值。
Figure GDA0002681563460000046
其中N为特征中像素的个数。
步骤(9).整合步骤(8)中得到的指标的对比度，利用支持向量机SVR进行回归训练，得到理想的回归模型，完成对立体图像质量的映射，得到最终的图像质量评价结果。SVR训练预测方法具体采用5折交叉验证来训练与测试模型，将样本随机平均分五个为互不相交的子集，每次从中选出四个子集作为训练集训练得到模型，使用最后一个子集进行测试，得到相应的客观质量评价分数来对主观质量评价分数进行预测，重复多次，对所有数据结果求平均值，用所得到的结果来衡量所提出的质量评价模型的性能。
本发明的有益效果：
本发明通过综合多尺度、多个视觉特征来完成对立体图像质量的映射，完成对立体图像的质量评价。实验结果表明，基于本发明所提出的方法在立体图像质量评价性能上能够和主观质量评价保持良好的一致性，且优于传统的立体图像质量评价方法。
附图说明
图1为本发明基于视觉显著性和深度图的3D图像质量评价方法的原理图。
具体实施方式
下面结合附图对本发明方法作进一步说明。
步骤(1).在Matlab软件中读入美国德州大学奥斯汀分校的3DLIVE图像数据库中phaseI和phaseII的参考立体图像对以及对应的失真立体图像对，其中每个立体图像对分别包括左右视图图像。
步骤(2).利用Log Gabor滤波器对步骤(1)中输入的参考图像和失真图像，进行滤波，滤波结果即为得到的图像边缘纹理特征；
Log Gabor滤波器的表达式如下：
Figure GDA0002681563460000051
其中(f,θ)表示极坐标，θ0是中心方向，f0是中心频率，σθ定义了角带宽△Ω，且σf定义了径向带宽B:
Figure GDA0002681563460000052
Figure GDA0002681563460000053
由公式(1)可以得到log Gabor从m个尺度和n个方向得到图像的幅度图：
Figure GDA0002681563460000061
其中
Figure GDA0002681563460000062
和
Figure GDA0002681563460000063
分别表示log Gabor滤波结果的实部和虚部。公式(4)得到的幅度图即为图像的纹理特征。
步骤(3).对步骤(1)输入的立体图像，利用结构相似度，基于能量代价最小化的原则来估计像素视差，即通过平移得到多个对比修正图，而后沿水平方向最大化SSIM分数：
Figure GDA0002681563460000064
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure GDA0002681563460000065
和
Figure GDA0002681563460000066
分别表示X和Y的方差。σxy代表X和Y的协方差。C1，C2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取C1＝(k1L)2，C2＝(k2L)2。k1和k2为常量，L是像素的动态范围。
上述SSIM分数最大的像素平移量即可视作视差。分别对步骤(1)中输入的参考左右视图和失真左右视图提取视差图，得到反映图像深度信息的参考视差图和失真视差图。
步骤(4).分析参考视图和失真视图的视觉显著性分布情况，以及视觉显著性加成后的图像结构，得到参考和失真的左右显著图及加成图。视觉显著性图提取方法采用谱残差模型(SR)，具体内容如下：
给定一幅图像作为输入信号fr，利用傅里叶变换求取它的幅度谱A(fr)和相位谱P(fr)，它的对数谱为：
L(fr)＝log(A(fr)), (6)
计算光谱残差：
R(fr)＝L(fr)-hn(fr)*L(fr), (7)
其中h是一个大小为n×n的均值滤波的卷积核。
Figure GDA0002681563460000067
然后对光谱残差R(fr)进行傅里叶反变换，最后经过高斯模糊滤波就得到了所谓的显著性区域。其中高斯模糊滤波的表达式如下：
Figure GDA0002681563460000071
其中，σ是标准偏差。
步骤(5).利用高斯色彩模型对步骤(1)输入的图像进行处理，组合高斯色彩模型的两个通道，得到色度特征。
高斯色彩模型的两个通道：
Figure GDA0002681563460000072
色度：
Chro＝H(x)·M(x), (11)
步骤(6).对步骤(1)输入的图像进行图像结构相似度处理，分别得到参考图像和失真图像的亮度L、对比度C和结构特征S：
Figure GDA0002681563460000073
Figure GDA0002681563460000074
Figure GDA0002681563460000075
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure GDA0002681563460000078
和
Figure GDA0002681563460000079
分别表示X和Y的方差。σxy代表X和Y的协方差。SSIM是基于不同的窗口做计算，假设窗口的大小是N×N，这里取N＝25。C1，C2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取C1＝(k1L)2，C2＝(k2L)2，C3＝C2/2。k为常量，通常情况下取k1＝0.01，k2＝0.03，L是像素的动态范围，通常为255。则通常C1＝6.5025，C2＝58.5225。
步骤(7).将步骤(2)至(6)得到的特征的每个像素根据下式计算对比度矩阵：
Figure GDA0002681563460000076
Figure GDA0002681563460000077
其中qi为各个特征的像素对比度矩阵，a和b分别为各个特征的像素点的值，C4为使分母不为0的极小常数；
步骤(8).利用方差池化将步骤(7)的得到的对比度进行降维，整合成一个值。
Figure GDA0002681563460000081
其中N为特征中像素的个数。
步骤(9).整合步骤(8)中得到的指标的对比度，利用支持向量机SVR进行回归训练，得到理想的回归模型，完成对立体图像质量的映射，得到最终的图像质量评价结果。SVR训练预测方法具体采用5折交叉验证来训练与测试模型，将样本随机平均分五个为互不相交的子集，每次从中选出四个子集作为训练集训练得到模型，使用最后一个子集进行测试，得到相应的客观质量评价分数来对主观质量评价分数进行预测。将5折交叉验证的过程1000次，对所有数据结果求平均值，用所得到的结果来衡量所提出的质量评价模型的性能。
为了验证本发明所述的算法的优越性能，我们在德克萨斯大学奥斯汀分校图像和视频工程实验室建立的LIVE 3D IQA Phase I和Phase II数据库(http:// live.ece.utexas.edu/research/Quality/live_3dimage.html)上进行了实验。
LIVE 3D IQA Phase I数据库由365张对称失真的3D图像组成，这些图像是20张原始立体图像经过5种常见的失真类型处理后产生的。JPEG2000(JP2K)，JPEG，白噪声(WN)和瑞利快速衰落信道模拟(FF)各有80张失真图像；高斯模糊(Gblur)有45张失真图像。每种对称失真的3D图像都由实验对象打分，得到主观评价分数，即DMOS(Differential MeanOpinion Score)值。
LIVE 3D IQA Phase II数据库同样包括上述五种失真类型：JPEG，JP2K，Gblur，WN和FF，每种类型包含72张失真图像。每种失真类型都被应用于8张参考立体图像，以产生3张对称的失真3D图像和6张不对称的失真3D图像。共产生120张对称失真和240张不对称失真的3D图像。每张失真的3D图像都有相应的DMOS值。
在实验中使用了三个指标来衡量本发明提出的3D图像质量评价方法的性能：皮尔森相关系数(Pearson’s linear correlation coefficient,PLCC)，斯皮尔曼相关系数(Spearman’s rank ordered correlation coefficient,SROCC)，以及均方根误差(root-mean-squared error,RMSE)。PLCC和SROCC值越高代表与人的主观判断越接近。RMSE值接近于零表示与人类感知非常相似。计算公式如下：
Figure GDA0002681563460000091
Figure GDA0002681563460000092
Figure GDA0002681563460000093
其中，n为图像总数量，xi和yi分别为主观质量分数和预测客观质量评价分数，Xi和Yi分别为xi和yi在主观质量分数和客观质量分数中的排名。
表1给出了本发明所述方法在LIVE 3D数据库上的整体性能，表2列出了针对不同失真类型的SROCC性能。实验结果表明，无论是在LIVE 3D数据库阶段I还是阶段II上，本发明的算法都取得了很好的图像质量预测效果，与主观评比较一致。
表1本发明所述方法在LIVE 3D数据库上的整体性能
Figure GDA0002681563460000094
表2本发明所述方法在LIVE 3D数据库上各失真类型的SROCC
Figure GDA0002681563460000095

Claims (5)

1.一种基于视觉显著性和深度图的3D图像质量评价方法，其特征在于包括如下步骤：
步骤(1).输入参考和失真的立体图像，参考立体图像包括参考左右视图，失真立体图像包括失真左右视图；
步骤(2).利用Log Gabor滤波器对步骤(1)中输入的参考图像和失真图像，进行滤波，得到图像的边缘纹理特征；
步骤(3).对步骤(1)输入的立体图像，利用结构相似度，基于能量代价最小化的原则来估计像素视差，即通过平移得到多个对比修正图，而后沿水平方向最大化SSIM分数：
Figure FDA0002681563450000011
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure FDA0002681563450000012
和
Figure FDA0002681563450000013
分别表示X和Y的方差，σxy代表X和Y的协方差；C1，C2为常数，避免分母为0；
上述SSIM分数最大的像素平移量即可视作视差，分别对步骤(1)中输入的参考左右视图和失真左右视图提取视差图，得到反映图像深度信息的参考视差图和失真视差图；
步骤(4).分析步骤(1)输入的参考图像和失真图像的视觉显著性分布情况，以及视觉显著性加成后的图像结构，得到参考图像和失真图像的左右显著图及加成图；
步骤(5).利用高斯色彩模型对步骤(1)输入的图像进行处理，组合高斯色彩模型的两个通道，得到色度特征；
高斯色彩模型的两个通道：
Figure FDA0002681563450000014
色度：
Chro＝H(x)·M(x), (11)
步骤(6).对步骤(1)输入的图像进行图像结构相似度处理，分别得到参考图像和失真图像的亮度L、对比度C和结构特征S：
Figure FDA0002681563450000021
Figure FDA0002681563450000022
Figure FDA0002681563450000023
其中μx、μy分别表示立体图像的左视图X和右视图Y的像素均值，σx和σy分别表示X和Y的标准差，
Figure FDA0002681563450000024
和
Figure FDA0002681563450000025
分别表示X和Y的方差，σxy代表X和Y的协方差，C1，C2为常数，避免分母为0，C3＝C2/2；
步骤(7).将步骤(2)、步骤(3)、步骤(4)、步骤(5)、步骤(6)提取到的特征的每个像素根据下式计算对比度矩阵，矩阵元素qi计算如下：
Figure FDA0002681563450000026
其中qi为各个特征的像素对比度矩阵的元素，a和b分别为左、右视图中像素i的特征值，C4为使分母不为0的常数；
步骤(8).利用方差池化将步骤(7)得到的对比度进行降维，整合成一个值；
步骤(9).整合步骤(8)中得到的指标的对比度，利用支持向量机SVR进行回归训练，得到理想的回归模型，完成对立体图像质量的映射，得到最终的图像质量评价结果；SVR训练预测方法具体采用5折交叉验证来训练与测试模型，将样本随机平均分五个为互不相交的子集，每次从中选出四个子集作为训练集训练得到模型，使用最后一个子集进行测试，得到相应的客观质量评价分数来对主观质量评价分数进行预测，重复多次，对所有数据结果求平均值，用所得到的结果来衡量所提出的质量评价模型的性能。
2.根据权利要求1所述的一种基于视觉显著性和深度图的3D图像质量评价方法，其特征在于所述的步骤(2)Log Gabor滤波过程如下：
Log Gabor滤波器的表达式为：
Figure FDA0002681563450000027
其中(f,θ)表示极坐标，θ0是中心方向，f0是中心频率，σθ定义了角带宽△Ω，且σf定义了径向带宽B:
Figure FDA0002681563450000031
Figure FDA0002681563450000032
由公式(1)可以得到log Gabor从m个尺度和n个方向得到图像的幅度图：
Figure FDA0002681563450000033
其中
Figure FDA0002681563450000034
和
Figure FDA0002681563450000035
分别表示log Gabor滤波结果的实部和虚部，公式(4)得到的幅度图即为图像的纹理特征。
3.根据权利要求1所述的一种基于视觉显著性和深度图的3D图像质量评价方法，其特征在于所述的步骤(4)视觉显著图提取方法具体如下：
给定一幅图像作为输入信号fr，利用傅里叶变换求取它的幅度谱A(fr)和相位谱P(fr)，它的对数谱为：
L(fr)＝log(A(fr)), (6)
计算光谱残差：
R(fr)＝L(fr)-hn(fr)*L(fr), (7)
其中h是一个大小为n×n的均值滤波的卷积核；
Figure FDA0002681563450000036
然后对光谱残差R(fr)进行傅里叶反变换，最后经过高斯模糊滤波就得到了显著性区域，其中高斯模糊滤波的表达式如下：
Figure FDA0002681563450000037
其中，σ是标准偏差。
4.根据权利要求1所述的一种基于视觉显著性和深度图的3D图像质量评价方法，其特征在于所述的步骤(8)的降维方法如下：
利用方差池化将步骤(7)得到的对比度进行降维，整合成一个值，
Figure FDA0002681563450000038
其中N为特征中像素的个数。
5.根据权利要求1所述的一种基于视觉显著性和深度图的3D图像质量评价方法，其特征在于所述的步骤(3)和步骤(6)中的C1＝(k1L)2，C2＝(k2L)2，k1和k2为常量，L是像素的动态范围。
CN201810891239.0A 2018-08-06 2018-08-06 一种基于视觉显著性和深度图的3d图像质量评价方法 Active CN109255358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810891239.0A CN109255358B (zh) 2018-08-06 2018-08-06 一种基于视觉显著性和深度图的3d图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810891239.0A CN109255358B (zh) 2018-08-06 2018-08-06 一种基于视觉显著性和深度图的3d图像质量评价方法

Publications (2)

Publication Number Publication Date
CN109255358A CN109255358A (zh) 2019-01-22
CN109255358B true CN109255358B (zh) 2021-03-26

Family

ID=65048810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810891239.0A Active CN109255358B (zh) 2018-08-06 2018-08-06 一种基于视觉显著性和深度图的3d图像质量评价方法

Country Status (1)

Country Link
CN (1) CN109255358B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598826B (zh) * 2019-02-19 2023-05-02 上海交通大学 基于联合多尺度图片特征的图片客观质量评价方法、系统
CN110310269B (zh) * 2019-06-27 2022-11-01 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN111199538B (zh) * 2019-12-25 2022-11-25 杭州中威电子股份有限公司 一种针对多层压缩感知图像的隐私保护度评价方法
CN111354048B (zh) * 2020-02-24 2023-06-20 清华大学深圳国际研究生院 一种面向相机获取图片的质量评价方法和装置
CN111696076B (zh) * 2020-05-07 2023-07-07 杭州电子科技大学 一种新型立体图像舒适度预测方法
CN112233089B (zh) * 2020-10-14 2022-10-25 西安交通大学 一种无参考立体混合失真图像质量评价方法
CN113362315B (zh) * 2021-06-22 2022-09-30 中国科学技术大学 基于多算法融合的图像质量评价方法及评价模型
CN113888515A (zh) * 2021-10-12 2022-01-04 浙江大学 基于深度学习和人类视觉特性的双通道立体图像质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663713A (zh) * 2012-04-17 2012-09-12 浙江大学 一种基于色彩不变参数的背景减除方法
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
CN105006001A (zh) * 2015-08-19 2015-10-28 常州工学院 一种基于非线性结构相似度偏差的有参图像的质量评估方法
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026010B2 (en) * 2014-05-14 2018-07-17 At&T Intellectual Property I, L.P. Image quality estimation using a reference image portion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663713A (zh) * 2012-04-17 2012-09-12 浙江大学 一种基于色彩不变参数的背景减除方法
CN104616294A (zh) * 2015-01-21 2015-05-13 同济大学 一种基于视觉显著性的色调映射图像质量评价方法
CN105006001A (zh) * 2015-08-19 2015-10-28 常州工学院 一种基于非线性结构相似度偏差的有参图像的质量评估方法
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Also Published As

Publication number Publication date
CN109255358A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
Shao et al. Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN108765414B (zh) 基于小波分解和自然场景统计的无参考立体图像质量评价方法
CN109919959B (zh) 基于色彩、自然性及结构的色调映射图像质量评价方法
Wang et al. Novel spatio-temporal structural information based video quality metric
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN108830823B (zh) 基于空域结合频域分析的全参考型图像质量评价方法
Jia et al. Image denoising via sparse representation over grouped dictionaries with adaptive atom size
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN110246111B (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
Zhou et al. Blind 3D image quality assessment based on self-similarity of binocular features
Wang et al. A new blind image quality framework based on natural color statistic
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN103354617B (zh) 一种基于dct域的边缘强度压缩的图像质量客观评价方法
CN109740592B (zh) 基于记忆的图像质量无参评估方法
CN108550146A (zh) 一种基于roi的图像质量评价方法
Okarma Extended hybrid image similarity–combined full-reference image quality metric linearly correlated with subjective scores
CN110910365A (zh) 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法
CN112184672A (zh) 一种无参考图像质量评价方法及系统
Karimi et al. Blind stereo quality assessment based on learned features from binocular combined images
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
Yang et al. Full reference image quality assessment by considering intra-block structure and inter-block texture
CN107578406A (zh) 基于网格与韦泊统计特性的无参考立体图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant