CN111325720B - 一种多视觉特征集成的无参考超分辨图像质量评价方法 - Google Patents

一种多视觉特征集成的无参考超分辨图像质量评价方法 Download PDF

Info

Publication number
CN111325720B
CN111325720B CN202010086336.XA CN202010086336A CN111325720B CN 111325720 B CN111325720 B CN 111325720B CN 202010086336 A CN202010086336 A CN 202010086336A CN 111325720 B CN111325720 B CN 111325720B
Authority
CN
China
Prior art keywords
super
frequency domain
resolution image
decision tree
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010086336.XA
Other languages
English (en)
Other versions
CN111325720A (zh
Inventor
张凯兵
朱丹妮
罗爽
卢健
李敏奇
刘薇
苏泽斌
景军锋
陈小改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Co ltd
Xiamen For Win Technology Co ltd
Original Assignee
Xiamen For Win Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen For Win Technology Co ltd filed Critical Xiamen For Win Technology Co ltd
Priority to CN202010086336.XA priority Critical patent/CN111325720B/zh
Publication of CN111325720A publication Critical patent/CN111325720A/zh
Application granted granted Critical
Publication of CN111325720B publication Critical patent/CN111325720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多视觉特征集成的无参考超分辨图像质量评价方法，包括以下步骤：首先分别提取图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征，采用多分辨率的分析方法描述超分辨图像的失真机理；其次，建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数，然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系，训练评价模型进而评价超分辨图像的质量。本发明提出了由粗到精的层次化回归模型以预测超分辨图像的质量，先通过AdaBoost决策树回归模型粗略预测超分辨图像质量分数，然后通过脊回归模型进行层次化回归，以进一步提高评估准确性。

Description

一种多视觉特征集成的无参考超分辨图像质量评价方法
技术领域
本发明属于图像处理技术领域，涉及一种多视觉特征集成的无参考超分辨图像质量评价方法。
背景技术
图像超分辨率重建技术通常被用于从一个或几个低分辨率图像生成具有更多细节的高分辨率图像。这项技术在许多领域中都有广泛的应用，例如计算机视觉，遥感影像，视频监控以及生活娱乐。迄今为止，研究人员已经提出了大量的超分辨重建算法。通常情况下，不同的超分辨图像表现出不同的退化程度，这取决于不同超分辨算法的性能。为了提高不同超分辨算法的性能，有必要评估重建结果图像的质量，使得评估结果与人类视觉系统(HVS) 的感知质量一致。现有的超分辨算法性能主要通过两种方法来衡量，即主观质量评估和客观质量评估。毋庸置疑，人类的主观判断是评估超分辨图像质量的最直接且最可靠的方法。但是，主观质量评估过程是相当昂贵和费时的，在实际应用中难以嵌入到超分辨重建系统中。因此，设计一种合理的客观图像质量评估算法，以自动量化超分辨图像的质量，并进一步优化超分辨算法，对理论研究和实际应用都具有重要意义。
根据参考原始图像信息的使用信息量，客观质量评价方法可以分为三大类：全参考型方法，部分参考型方法以及无参考型方法。全参考型方法需要原始高质量图像作为参考，以度量生成的超分辨图像的质量。在图像处理领域中，通常使用的方法为均方误差(MSE)和峰值信噪比(PSNR)。此外，研究人员也采用基于HVS的感知特性的评价方法，结构相似性(SSIM)，特征相似性(FSIM)，信息保真度标准(IFC)和视觉信息保真度(VIF)对超分辨图像的质量进行度量。但是，这些度量标准不是为评价超分辨图像设计的，而且在实际生活中难以获取原始的参考图像。因此，全参考型方法难以嵌入到实际应用中，并且不适合评估超分辨图像的退化程度。与全参考型方法类似，部分参考型方法也需要原始高分辨图像的信息作参考，因此这类方法也并没有受到研究者的广泛青睐。无参考型评价方法可以无需高分辨的参考图像，因此广泛地引入图像质量评价的研究。
对于已有的无参考型图像质量评价方法，首先提取能表征图像质量的特征，然后采用回归方法建立特征与主观分数之间的映射关系，从而形成图像质量评价模型。虽然现有图像质量评价方法表现较优，但是现有方法仍然存在一些问题，如现有方法提取单一性的特征描述图像质量，此外现有方法利用简单的线性回归建立映射模型，难以表征超分辨图像的降质机理，不能准确评价图像的质量，导致超分辨图像难以有效评价。
发明内容
本发明的目的是提供一种多视觉特征集成的无参考超分辨图像质量评价方法，解决了现有技术中存在的图像质量评价方法难以表征超分辨图像的降质机理，不能准确评价图像的质量，导致超分辨图像难以有效评价的问题。
本发明所采用的技术方案是，一种多视觉特征集成的无参考超分辨图像质量评价方法，质量评价方法包括以下步骤：首先分别提取图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征，采用多分辨率的分析方法描述超分辨图像的失真机理；其次，建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数，然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系，训练评价模型进而评价超分辨图像的质量。
本发明的特点还在于：
具体包括以下步骤：
一、质量评价模型训练阶段
步骤1、首先分别提取训练集中图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征；
步骤2、令是一个具有Mj个决策树的独立评价模型，分别用于局部频率特征(j＝1)，全局频率特征(j＝2)和空间域特征(j＝3)，建立独立评价模型；
步骤3、根据AdaBoost决策树回归算法即主要通过前项分步算法将步骤 2中建立的独立评价模型，构建成AdaBoost决策树回归模型；
步骤4、每类统计特征通过输入步骤3中的AdaBoost决策树回归模型获取相应的预测分数，Xj是训练集图像的第j类特征，训练集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵/>
步骤5、利用脊回归算法在步骤4得到的第一层预测分数与相应的主观质量分数之间建立映射对应关系，即第二层的脊回归模型可以表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，b是大小为1x3的回归系数矩阵，/>为步骤4中得到的特征矩阵；
二、质量评价模型测试阶段
步骤6、首先分别提取测试集中图像的局部频域特征、全局频域特征和空间域特征这三类统计特性；
步骤7、将步骤6中的统计特征输入到步骤4训练好的AdaBoost决策树回归模型中，获取测试集中图像的预测分数，测试集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵
步骤8、将步骤7得到的预测分数输入到步骤5训练好的脊回归模型中，即可获得最终的评价分数其中/>为步骤7中得到的预测分数组成的特征矩阵，b*为步骤5中得到的预测结果与相应的主观质量分数之间的映射函数。
步骤1中具体包括以下步骤：
步骤1.1、局部频域特征的提取：利用广义高斯分布分析离散余弦变换系数的分布情况，选择不同子带上形状参数γ作为第一部分的局部频域特征；再将不考虑高频DC部分时统计的三个不同颜色分组内DCT系数的平均值作为第二部分的局部频域特征；计算每个局部块的DCT系数的方差的平均值和排序后最大的10％的方差的平均值作为第三部分的局部频域特征，将三者结合作为局部频域的统计特征；
步骤1.2、全局频域特征的提取：采用金字塔分解法得到广义邻域小波系数，分别从六个方向和两个尺度计算不同小波子带的形状参数γ作为第一部分的全局频域特征；当图像出现失真或降质时，小波系数之间的相关性会出现变化，因此通过度量不同尺度与不同子带之间的结构相关系数来预测图像的降质程度，以此作为全局频域的特征的第二部分，将两个部分的统计特征连接起来，一起构成表征超分辨图像的全局频域统计特征；
步骤1.3、空间域特征的提取：利用主成分分析方法处理局部块得到奇异值，用奇异值来描述空间上的结构不连续性。
步骤2中建立独立评价模型的过程为：将AdaBoost决策树回归模型公式化为Mj个决策树模型的加权平均值，表示为其中αm,j是通过AdaBoost回归算法获得的决策树的权重，T(Xj；Φm,j)表示第m 个决策树；Xj是训练集图像的第j类特征，Φm,j是第m个决策树的对应参数。
步骤3中构建AdaBoost决策树回归模型的过程为：第m步决策树模型表示为其中/>为当前的决策树回归模型，下一个决策树的参数/>由经验风险最小化确定为/>Qi为第i幅超分辨图像的主观质量分数，xi,j是第i幅图像的第j类特征，L(.)为损失函数。
步骤3中L(.)为平方误差损失函数
步骤5中的脊回归模型还可以表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，/>为步骤4中的特征矩阵，/>为步骤4中的特征矩阵的转置，I为 3×3的单位矩阵。
本发明的有益效果是：
(1)本发明提出了一种多视觉特征集成的层次化无参考型图像质量评价方法来评估超分辨图像的质量，采用AdaBoost决策树回归模型通过增加具有较大回归误差的样本的权重，同时减少具有较小回归误差的样本的权重，将一组弱回归器集成为强回归器，从而缩小了预测质量分数与主观质量分数之间的差距，以达到较准确预测超分辨图像质量的目的。
(2)本发明提出了由粗到精的层次化回归模型以预测超分辨图像的质量，即通过三个独立的AdaBoost决策树回归粗略估算超分辨图像感知分数，然后通过脊回归模型进行层次化回归，以进一步提高评估准确性，层次化回归模型优于单一回归模型。
(3)本发明为探索超分辨图像的质量评估提供了一种有效的方法，仿真结果表明，本发明相比于现有的图像质量评价方法具有优越的性能，具有较强的主客观一致性。
附图说明
图1是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法的总框架图；
图2是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法与现有图像质量评价算法在数据库五倍交叉实验的散点图；
图3是超分辨图像数据库中本发明一种多视觉特征集成的无参考超分辨图像质量评价方法预测的感知分数与主观质量分数的比较图；
图4是本发明一种多视觉特征集成的无参考超分辨图像质量评价方法在超分辨数据库中五倍交叉实验部分实验结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种多视觉特征集成的无参考超分辨图像质量评价方法，质量评价方法包括以下步骤：首先分别提取图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征，采用多分辨率的分析方法描述超分辨图像的失真机理；其次，建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数，然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系，训练评价模型进而评价超分辨图像的质量。
如图1所示，一种多视觉特征集成的无参考超分辨图像质量评价方法具体包括以下步骤：
一、质量评价模型训练阶段
步骤1、首先分别提取训练集中图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征；
步骤2、令是一个具有Mj个决策树的独立评价模型，分别用于局部频率特征(j＝1)，全局频率特征(j＝2)和空间域特征(j＝3)，建立独立评价模型；
步骤3、根据AdaBoost决策树回归算法即主要通过前项分步算法将步骤 2中建立的独立评价模型，构建成AdaBoost决策树回归模型；
步骤4、每类统计特征通过输入步骤3中的AdaBoost决策树回归模型获取相应的预测分数，Xj是训练集图像的第j类特征，训练集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵/>
步骤5、利用脊回归算法在步骤4得到的第一层预测分数与相应的主观质量分数之间建立映射对应关系，即第二层的脊回归模型可以表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，b是大小为1×3的回归系数矩阵，/>为步骤4中得到的特征矩阵；
二、质量评价模型测试阶段
步骤6、首先分别提取测试集中图像的局部频域特征、全局频域特征和空间域特征这三类统计特性；
步骤7、将步骤6中的统计特征输入到步骤4训练好的AdaBoost决策树回归模型中，获取测试集中图像的预测分数，测试集中所有超分辨图像的三种感知统计特征产生特征矩阵
步骤8、将步骤7得到的预测分数输入到步骤5训练好的脊回归模型中，即可获得最终的评价分数其中/>为步骤7中得到的预测分数组成的特征矩阵，b*为步骤5中得到的预测结果与相应的主观质量分数之间的映射函数。
步骤1中具体包括以下步骤：
步骤1.1、局部频域特征的提取：利用广义高斯分布分析离散余弦变换系数的分布情况，选择不同子带上形状参数γ作为第一部分的局部频域特征；再将不考虑高频DC部分时统计的三个不同颜色分组内DCT系数的平均值作为第二部分的局部频域特征；计算每个局部块的DCT系数的方差的平均值和排序后最大的10％的方差的平均值作为第三部分的局部频域特征，将三者结合作为局部频域的统计特征；
步骤1.2、全局频域特征的提取：采用金字塔分解法得到广义邻域小波系数，分别从六个方向和两个尺度计算不同小波子带的形状参数γ作为第一部分的全局频域特征；当图像出现失真或降质时，小波系数之间的相关性会出现变化，因此通过度量不同尺度与不同子带之间的结构相关系数来预测图像的降质程度，以此作为全局频域的特征的第二部分，将两个部分的统计特征连接起来，一起构成表征超分辨图像的全局频域统计特征；
步骤1.3、空间域特征的提取：利用主成分分析方法处理局部块得到奇异值，用奇异值来描述空间上的结构不连续性。
步骤2中建立独立评价模型的过程为：将AdaBoost决策树回归模型公式化为Mj个决策树模型的加权平均值，表示为其中αm,j是通过AdaBoost回归算法获得的决策树的权重，T(Xj；Φm,j)表示第m 个决策树；Xj是训练集图像的第j类特征，Φm,j是第m个决策树的对应参数。
步骤3中构建AdaBoost决策树回归模型的过程为：第m步决策树模型表示为其中/>为当前的决策树回归模型，下一个决策树的参数/>由经验风险最小化确定为/>Qi为第i幅超分辨图像的主观质量分数，xi,j是第i幅图像的第j类特征，L(.)为损失函数。
步骤3中L(.)为平方误差损失函数
步骤5中的脊回归模型还可以表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，/>为步骤4中的特征矩阵，/>为步骤4中的特征矩阵的转置，I为 3x3的单位矩阵。
以下通过仿真实验验证本发明的评价性能。具体仿真内容如下：
仿真实验：如图2所示，本发明与其他现有的八种图像质量评价算法进行比较，其中包括三种全参考型评价方法(PSNR,SSIM,IFC)和五种无参考型的评价方法分别为：Saad等人提出的方法，简称BLIINDS(IEEE Trans.on Image Process.,2012:3339-3352),Mittal等人提出的方法，简称BRISQUE (IEEE Trans.on Image Process.,2012:4695-4708),Liu等人提出的方法，简称 SSEQ(Signal Processing:Image Communication,2014:856-863),Zhang等人提出的方法,简称ILNIQE(IEEE Trans.on Image Process.,2015:2576-2591)以及Ma的方法(Computer Vision and Image Understanding,2017:1-16)。本发明的数据集来源于Ma方法的论文，主要包括1620幅超分辨图像和图像对应的主观质量分数。
针对无需训练评价模型的全参考型评价方法，直接采用原始高分辨图像与相应的待测超分辨图像进行对比计算。对于PSNR方法，通常情况下的预测值大于10，为了合理比较，将预测值归一化到0到10的范围内。对于无参考型评价方法，采用五倍交叉实验，即将数据集分为内容互不重叠五个子集，每次实验选取其中的四个子集作为训练集进行模型训练，剩余的一个子集作为测试集，循环进行五次，即可预测出整个数据集图像的质量分数。将客观预测分数与主观感知分数整合在同一个坐标系中，其中横坐标表示主观质量分数，纵坐标表示客观预测分数，坐标系中的每一点代表一幅超分辨图像。此外，所有方法均采用Matlab拟合工具箱cftool，进行拟合曲线的绘制。通过观察图2可以看出，本发明与其他图像质量评价方法相比，散点图中的点在拟合曲线附近波动最小，因此本发明的方法具有较好的主客观一致性。
图3展示了超分辨数据集中部分测试超分辨图像通过本发明的方法获得的感知分数和主观感知分数的对比结果。这些超分辨图像是通过9种不同的 SR重建方法分别为：Bicubic，BP，Yang等人2010年提出的方法，简称Yang10 (IEEE Trans.Image Process.,2010:2861-2873)，Yang等人2013年提出的方法，简称Yang13(Proc IEEE Conf.Comput.Vis.PatternRecognit.,2013:1059-1066)， Dong等人2011年提出的方法,简称Dong11(IEEETrans.Image Process.,2011: 1838-1857)，Shan等人2008年提出的方法，简称Shan08(Trans.Graph,2008: 153:1-153:7)，Glanser等人2009年提出的方法，简称Glanser09(Proc IEEE Int. Conf.Comput.Vis)，Timofte等人2013年提出的方法，简称为Timofte13(ICCV,2013:1920-1927)和Dong等人提出的方法，简称SRCNN (Proc.EuropeanConf.Comput.Vis.,2014:184-199)在六个不同的上采样因子 (s∈{2,3,4,5,6,8})得到的。
由图3可以观察到，左侧的深色部分和右侧的浅色部分都比较接近。也就是说，本发明预测的分数与相应的主观分数更好地一致。特别是当上采样因子为2或3时，通过本发明估计的分数非常接近相应的主观分数。
图4展示了在五倍交叉验证实验中使用本发明评估超分辨图像质量的几个例子。通过Ma的方法预测的相应结果也提供在图4中。在第一行中的超分辨图像，本发明与Ma的方法的预测结果都比较接近主观感知分数，但是本发明表现的更优。AdaBoost算法更注重错分样本，通过增加错分样本的权重，不断迭代以减少回归误差，同时通过增加弱回归器中回归误差率小的权重，最终提高预测结果的准确性。
本发明一种多视觉特征集成的无参考超分辨图像质量评价方法，其有益效果在于：本发明采用AdaBoost决策树回归模型通过增加具有较大回归误差的样本的权重，同时减少具有较小回归误差的样本的权重，将一组弱回归器集成为强回归器，从而缩小了预测质量分数与主观质量分数之间的差距，以达到较准确预测超分辨图像质量的目的。本发明提出了由粗到精的层次化回归模型以预测超分辨图像的质量，即通过三个独立的AdaBoost决策树回归粗略估算超分辨图像感知分数，然后通过脊回归模型进行层次化回归，以进一步提高评估准确性，层次化回归模型优于单一回归模型。本发明为探索超分辨图像的质量评估提供了一种有效的方法，仿真结果表明，本发明相比于现有的图像质量评价方法具有优越的性能，具有较强的主客观一致性。

Claims (6)

1.一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，质量评价方法包括以下步骤：首先分别提取图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征，采用多分辨率的分析方法描述超分辨图像的失真机理；其次，建立并利用AdaBoost决策树回归模型获取每类统计特征的预测分数，然后再利用脊回归模型层次化建立统计特征的预测分数与主观质量分数之间的映射对应关系，训练评价模型进而评价超分辨图像的质量，具体包括以下步骤：
一、质量评价模型训练阶段
步骤1、首先分别提取训练集中图像的三类统计特性，即局部频域特征、全局频域特征和空间域特征；
步骤2、令是一个具有Mj个决策树的独立评价模型，分别用于局部频率特征(j＝1)，全局频率特征(j＝2)和空间域特征(j＝3)，建立独立评价模型；
步骤3、根据AdaBoost决策树回归算法即主要通过前项分步算法将所述步骤2中建立的独立评价模型，构建成AdaBoost决策树回归模型；
步骤4、每类统计特征通过输入所述步骤3中的AdaBoost决策树回归模型获取相应的预测分数，Xj是训练集图像的第j类特征，训练集中所有超分辨图像的三种感知统计特征的预测分数组成特征矩阵/>
步骤5、利用脊回归算法在所述步骤4得到的第一层预测分数与相应的主观质量分数之间建立映射对应关系，即第二层的脊回归模型表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，b是大小为1×3的回归系数矩阵，/>为所述步骤4中得到的特征矩阵；
二、质量评价模型测试阶段
步骤6、首先分别提取测试集中图像的局部频域特征、全局频域特征和空间域特征这三类统计特性；
步骤7、将所述步骤6中的统计特征输入到所述步骤4训练好的AdaBoost决策树回归模型中，获取测试集中图像的预测分数，测试集中所有超分辨图像的三种感知统计特征产生特征矩阵
步骤8、将所述步骤7得到的预测分数输入到所述步骤5训练好的脊回归模型中，即可获得最终的评价分数其中/>为所述步骤7中得到的预测分数组成的特征矩阵，b*为所述步骤5中得到的预测结果与相应的主观质量分数之间的映射函数。
2.根据权利要求1所述的一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，所述步骤1中具体包括以下步骤：
步骤1.1、局部频域特征的提取：利用广义高斯分布分析离散余弦变换系数的分布情况，选择不同子带上形状参数γ作为第一部分的局部频域特征；再将不考虑高频DC部分时统计的三个不同颜色分组内DCT系数的平均值作为第二部分的局部频域特征；计算每个局部块的DCT系数的方差的平均值和排序后最大的10％的方差的平均值作为第三部分的局部频域特征，将三者结合作为局部频域的统计特征；
步骤1.2、全局频域特征的提取：采用金字塔分解法得到广义邻域小波系数，分别从六个方向和两个尺度计算不同小波子带的形状参数γ作为第一部分的全局频域特征；当图像出现失真或降质时，小波系数之间的相关性会出现变化，因此通过度量不同尺度与不同子带之间的结构相关系数来预测图像的降质程度，以此作为全局频域的特征的第二部分，将两个部分的统计特征连接起来，一起构成表征超分辨图像的全局频域统计特征；
步骤1.3、空间域特征的提取：利用主成分分析方法处理局部块得到奇异值，用奇异值来描述空间上的结构不连续性。
3.根据权利要求2所述的一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，所述步骤2中建立独立评价模型的过程为：将AdaBoost决策树回归模型公式化为Mj个决策树模型的加权平均值，表示为其中αm,j是通过AdaBoost回归算法获得的决策树的权重，T(Xj；Φm,j)表示第m个决策树；Xj是训练集图像的第j类特征，Φm,j是第m个决策树的对应参数。
4.根据权利要求3所述的一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，所述步骤3中构建AdaBoost决策树回归模型的过程为：第m步决策树模型表示为其中/>为当前的决策树回归模型，下一个决策树的参数/>由经验风险最小化确定为/>Qi为第i幅超分辨图像的主观质量分数，xi,j是第i幅图像的第j类特征，L(.)为损失函数。
5.根据权利要求4所述的一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，所述步骤3中L(.)为平方误差损失函数
6.根据权利要求1所述的一种多视觉特征集成的无参考超分辨图像质量评价方法，其特征在于，所述步骤5中的脊回归模型还表示为其中Q是训练集中所有图像的主观质量分数，β是用于平衡重构误差和正则化项的正则化系数，/>为所述步骤4中的特征矩阵，/>为所述步骤4中的特征矩阵的转置，I为3×3的单位矩阵。
CN202010086336.XA 2020-02-11 2020-02-11 一种多视觉特征集成的无参考超分辨图像质量评价方法 Active CN111325720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010086336.XA CN111325720B (zh) 2020-02-11 2020-02-11 一种多视觉特征集成的无参考超分辨图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010086336.XA CN111325720B (zh) 2020-02-11 2020-02-11 一种多视觉特征集成的无参考超分辨图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111325720A CN111325720A (zh) 2020-06-23
CN111325720B true CN111325720B (zh) 2023-08-11

Family

ID=71167345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010086336.XA Active CN111325720B (zh) 2020-02-11 2020-02-11 一种多视觉特征集成的无参考超分辨图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111325720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112604186A (zh) * 2020-12-30 2021-04-06 佛山科学技术学院 一种呼吸运动预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332012A (zh) * 2011-09-13 2012-01-25 南方报业传媒集团 基于类别之间相关性学习的中文文本分类方法
EP3042498A1 (en) * 2013-09-06 2016-07-13 Zhou Wang Method and system for objective perceptual video quality assessment
CN108446584A (zh) * 2018-01-30 2018-08-24 中国航天电子技术研究院 一种无人机侦察视频图像目标自动检测方法
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545985B2 (en) * 2005-01-04 2009-06-09 Microsoft Corporation Method and system for learning-based quality assessment of images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102332012A (zh) * 2011-09-13 2012-01-25 南方报业传媒集团 基于类别之间相关性学习的中文文本分类方法
EP3042498A1 (en) * 2013-09-06 2016-07-13 Zhou Wang Method and system for objective perceptual video quality assessment
CN108446584A (zh) * 2018-01-30 2018-08-24 中国航天电子技术研究院 一种无人机侦察视频图像目标自动检测方法
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马允 ; 王晓东 ; 章联军 ; .基于空域自然场景统计的无参考立体图像质量评价模型.计算机应用.2016,(03),全文. *

Also Published As

Publication number Publication date
CN111325720A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
Narwaria et al. SVD-based quality metric for image and video using machine learning
Gao et al. Image quality assessment based on multiscale geometric analysis
Wang et al. Information content weighting for perceptual image quality assessment
CN105049851B (zh) 基于色彩感知的通用无参考图像质量评价方法
Ma et al. Reduced-reference image quality assessment in reorganized DCT domain
Fan et al. No reference image quality assessment based on multi-expert convolutional neural networks
Wang et al. Novel spatio-temporal structural information based video quality metric
CN109003265B (zh) 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
Liang et al. Comparison-based image quality assessment for selecting image restoration parameters
CN111507426A (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
Jia et al. Image denoising via sparse representation over grouped dictionaries with adaptive atom size
Xu et al. Fractal analysis for reduced reference image quality assessment
Bhateja et al. Fast SSIM index for color images employing reduced-reference evaluation
CN114170088A (zh) 一种基于图结构数据的关系型强化学习系统及方法
Chen et al. Blind quality index for tone-mapped images based on luminance partition
Jiang et al. Supervised dictionary learning for blind image quality assessment using quality-constraint sparse coding
Moorthy et al. Visual perception and quality assessment
CN107318014A (zh) 基于视觉显著区域和时空特性的视频质量评估方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
Mansouri et al. SSVD: Structural SVD-based image quality assessment
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN111325720B (zh) 一种多视觉特征集成的无参考超分辨图像质量评价方法
Morzelona Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model
Samani et al. Transform domain measure of enhancement—TDME—for security imaging applications
Li et al. Automatic no-reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230718

Address after: Unit 602, No. 12 Wanghai Road, Software Park, Xiamen City, Fujian Province, 361000

Applicant after: XIAMEN FOR-WIN TECHNOLOGY Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230718

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

GR01 Patent grant
GR01 Patent grant