CN111489346B - 一种全参考图像质量评价方法及系统 - Google Patents

一种全参考图像质量评价方法及系统 Download PDF

Info

Publication number
CN111489346B
CN111489346B CN202010289829.3A CN202010289829A CN111489346B CN 111489346 B CN111489346 B CN 111489346B CN 202010289829 A CN202010289829 A CN 202010289829A CN 111489346 B CN111489346 B CN 111489346B
Authority
CN
China
Prior art keywords
image
similarity
reference image
pixel
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010289829.3A
Other languages
English (en)
Other versions
CN111489346A (zh
Inventor
邓杰航
袁仲鸣
蔡东健
顾国生
杨灿
林好润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010289829.3A priority Critical patent/CN111489346B/zh
Publication of CN111489346A publication Critical patent/CN111489346A/zh
Application granted granted Critical
Publication of CN111489346B publication Critical patent/CN111489346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了一种全参考图像质量评价方法及系统，方法包括：获取参考图像以及失真图像；估计参考图像以及失真图像中像素点的亮度和色度，并计算亮度相似度以及色度相似度；使用GBVS显著性模型提取参考图像以及失真图像的显著性特征，得到参考图像以及失真图像的显著性图，根据显著性图得到参考图像以及失真图像之间的显著性相似度；计算参考图像以及失真图像的梯度幅值，根据梯度幅值计算参考图像以及失真图像之间的梯度相似度；根据亮度相似度，色度相似度、显著性相似度以及梯度相似度计算得到图像质量评价指标。本申请能够在全参考图像的前提下，通过简单的计算，即可对噪声图像进行质量评价且与主观评分有较好的一致性。

Description

一种全参考图像质量评价方法及系统
技术领域
本申请涉及图像质量技术领域，尤其涉及一种全参考图像质量评价方法及系统。
背景技术
图像质量评价(Image Quality Assessment，IQA)旨在使用计算模型来测量与主观评价一致的图像质量。随着数字图像和通信技术的快速普及，图像质量评价(IQA)已成为图像采集，传输，压缩，恢复和增强等众多应用中的一个重要问题。客观IQA是图像质量评价的重要一部分，其中，峰值信噪比(Peak Signal to Noise Ration，PSNR)和均方误差(MeanSquare Error，MSE)是经典的全参考型客观图像质量评价方法。另外，国内外的研究者还提出了多种客观IQA指标，包括：结构相似度(Structural Similarity，SSIM)、基于梯度的结构相似度(Gradient-based Structural Similarity，GSSIM)、特征相似度(FeatureSimilarity，FSIM)、梯度相似度(Gradient Similarity，GSIM)、梯度幅度相似度偏差(Gradient Magnitude Similarity Deviation，GMSD)、视觉显著性(Visual Saliency-induced，VSI)以及基于超像素相似性全参考指标SPSIM(Superpixel-based SimilarityIndex)。
然而由于人类视觉系统中人眼在观看图像的时候会不自觉的关注某些区域，并且优先处理该区域的信息，这些区域称之为显著性区域，此特性叫做视觉显著性，同属于人类视觉系统特征(Human Visual System,HVS)之一。当前一些性能较好的图像质量评价方法都是结合人类视觉系统的特征进行设计，如视觉信噪比(VSNR)利用人类视觉的近阈值和超阈值特性来测量图像保真度。目前只有部分HVS特征被建模和利用于图像质量评价之中。
发明内容
本申请提供了一种全参考图像质量评价方法及系统，使得在全参考图像的前提下，通过简单的计算，即可对噪声图像进行质量评价且与主观评分有较好的一致性。
有鉴于此，本申请第一方面提供了一种全参考图像质量评价方法，所述方法包括：
获取参考图像以及失真图像；
估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度；
使用GBVS显著性模型提取所述参考图像以及失真图像的显著性特征，得到所述参考图像以及失真图像的显著性图，根据所述显著性图得到所述参考图像以及失真图像之间的显著性相似度；
计算所述参考图像以及失真图像的梯度幅值，根据所述梯度幅值计算所述参考图像以及失真图像之间的梯度相似度；
根据所述亮度相似度，所述色度相似度、所述显著性相似度以及所述梯度相似度计算得到图像质量评价指标。
可选的，在所述估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度，之前还包括：
采用超像素方法对所述参考图像以及失真图像进行分块。
可选的，所述估计所述参考图像以及失真图像中像素点的亮度和色度，具体为：
Figure BDA0002450000480000021
Figure BDA0002450000480000022
Figure BDA0002450000480000023
式中，Y表示未分解超像素前的图像亮度分量，i表示第i个像素点，Sj是第j个超像素，Li是图像分解超像素后的在第j个超像素中的第i个像素的亮度，|Sj|第j个超像素中像素的个数；Ui，Vi表示图像分解超像素后的在第j个超像素中的第i个像素的色度，u，v表示未分解超像素前的图像色度分量。
可选的，所述根据所述像素点亮度和色度计算亮度相似度以及色度相似度，具体为：
Figure BDA0002450000480000024
Figure BDA0002450000480000031
Figure BDA0002450000480000032
MC(i)＝MU(i)MV(i)
式中，Lr(i)，Ld(i)分别为所述参考图像和失真图像中第i个像素点的亮度；Ur(i)，Vr(i)表示参考图像的色度；Vd(i)，Ud(i)表示失真图像的色度；ML(i)表示亮度相似度；MC(i)表示色度相似度；T1，T2，T3都表示正变量。
可选的，所述根据所述显著性图得到所述参考图像以及失真图像之间的显著性相似度，具体为：
Figure BDA0002450000480000033
式中，VSr(i)，VSd(i)分别表示参考图像和失真图像的显著性图中第i个像素的像素值；T4是一个正变量；MVS(i)为显著性相似度。
可选的，所述计算所述参考图像以及失真图像的梯度幅值，具体为：
使用多个方向的梯度算子对图像进行卷积计算：
Figure BDA0002450000480000034
式中，Y表示亮度分量；
Figure BDA0002450000480000035
表示卷积计算；Pk表示多个方向的梯度算子，G(i)表示多个方向上梯度分量的最大值。
可选的，所述根据所述梯度幅值计算所述参考图像以及失真图像之间的梯度相似度，具体为：
Figure BDA0002450000480000036
式中，Gr(i)，Gd(i)分别表示所述参考图像和失真图像第i个像素的梯度最大值；T5表示一个正变量。
可选的，所述根据所述亮度相似度，所述色度相似度、所述显著性相似度以及所述梯度相似度计算得到图像质量评价指标，具体为：
Figure BDA0002450000480000037
Figure BDA0002450000480000038
式中，proposed为图像评价指标；SM(i)表示由GBVS视觉显著性算法模型计算得到的显著性图，具体值由GBVS视觉显著性算法模型决定；M(i)表示图像的局部质量图；α和β是调整亮度和色度相似度的参数。
本申请第二方面提供一种全参考图像质量评价系统，所述系统包括：
图像获取模块，用于获取参考图像以及失真图像；
亮度相似度获取模块，用于估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度；
显著性相似度获取模块，用于使用GBVS显著性模型提取所述参考图像以及失真图像的显著性特征，得到所述参考图像以及失真图像的显著性图，根据所述显著性图得到所述参考图像以及失真图像之间的显著性相似度；
梯度相似度获取模块，用于计算所述参考图像以及失真图像的梯度幅值，根据所述梯度幅值计算所述参考图像以及失真图像之间的梯度相似度；
评价指标计算模块，用于根据所述亮度相似度，所述色度相似度、所述显著性相似度以及所述梯度相似度计算得到图像质量评价指标。
可选的，还包括：
分块模块，用于采用超像素方法对所述参考图像以及失真图像进行分块。
从以上技术方案可以看出，本申请具有以下优点：
本申请中，提供了一种全参考图像质量评价方法及系统，方法包括获取参考图像以及失真图像；估计参考图像以及失真图像中像素点的亮度和色度，并计算亮度相似度以及色度相似度；使用GBVS(Graph-Based Visual Saliency)基于视觉特点的显著性模型提取参考图像以及失真图像的显著性特征，得到参考图像以及失真图像的显著性图，得到参考图像以及失真图像之间的显著性相似度；计算参考图像以及失真图像的梯度幅值，根据梯度幅值计算参考图像以及失真图像之间的梯度相似度；根据亮度相似度，色度相似度显著性相似度以及梯度相似度计算得到图像质量评价指标。
本申请通过提取图像的四种特征，包括亮度特征、色度特征、梯度特征以及显著性特征，得到参考图像与失真图像的亮度相似度、色度相似度、梯度相似度以及显著性相似度；以四种特征计算相应的相似度，从而对图像的质量进行评价，使得本申请能够在全参考图像的前提下，通过简单的计算，即可对噪声图像进行质量评价时与主观评分有较好的一致性。
附图说明
图1为本申请一种全参考图像质量评价方法的一个实施例的方法流程图；
图2为本申请一种全参考图像质量评价系统的一个实施例的系统结构图；
图3为在进行超像素处理之前的图像的示意图；
图4为本申请中采用超像素方法处理后的图像的示意图；
图5为本申请中使用GBVS显著性模型提取图像的显著性特征，得到的图像的显著性图；
图6为本申请中计算梯度值用到的8个算子模板。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请一种全参考图像质量评价方法的一个实施例的方法流程图，图1中包括：
101、获取参考图像以及失真图像。
需要说明的是，本申请中将参考图像与失真图像进行比对，从而判断失真图像的质量评价好坏。
在一种具体的实施方式中，本申请还包括采用超像素方法对参考图像以及失真图像进行分块。
需要说明的是，超像素分割方法我们采用的是SLIC(simple linear iterativeclustering)模型，即简单线性迭代聚类。其思路为将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的过程。最终使被分割的图像中具有相似颜色和亮度特性的像素点聚合构成用于计算图像亮度特征和色度特征的图像块，即超像素。具体的，如图3为超像素处理之前的图像的示意图，图4为对该图像时域超像素方法处理后的图像。使用超图像处理参考图像以及失真图像以便于更好地获取图像的亮度以及色度，并求出对应的亮度相似度和色度相似度。
102、估计参考图像以及失真图像中像素点的亮度和色度，根据像素点亮度和色度计算亮度相似度以及色度相似度。
需要说明的是，首选需要得到参考图像以及失真图像的YUV图像，即若参考图像以及失真图像为RGB图像，则进行YUV变换，具体为：
Figure BDA0002450000480000061
其中Y是表示图像亮度通道，用于评估图像结构失真引起的图像质量下降。而U和V分别是两个色度通道，用于表征由颜色失真引起的图像质量下降。
在一种具体的实施方式中，估计参考图像以及失真图像中像素点的亮度和色度，具体为：
Figure BDA0002450000480000062
Figure BDA0002450000480000063
Figure BDA0002450000480000064
式中，Y表示未分解超像素前的图像亮度分量，i表示第i个像素点，Sj是第j个超像素，Li是图像分解超像素后的在第j个超像素中的第i个像素的亮度，|Sj|第j个超像素中像素的个数；Ui，Vi表示图像分解超像素后的在第j个超像素中的第i个像素的色度，u，v表示未分解超像素前的图像色度分量。
在一种具体的实施方式中，根据所述像素点亮度和色度计算亮度相似度以及色度相似度，具体为：
Figure BDA0002450000480000065
Figure BDA0002450000480000066
Figure BDA0002450000480000067
MC(i)＝MU(i)MV(i)
式中，Lr(i)，Ld(i)分别为所述参考图像和失真图像中第i个像素点的亮度；Ur(i)，Vr(i)表示参考图像的色度；Vd(i)，Ud(i)表示失真图像的色度；ML(i)表示亮度相似度；MC(i)表示色度相似度；T1，T2，T3都表示正变量，以避免当
Figure BDA0002450000480000071
非常小时的不稳定性。。
103、使用GBVS显著性模型提取参考图像以及失真图像的显著性特征，得到参考图像以及失真图像的显著性图，根据显著性图得到参考图像以及失真图像之间的显著性相似度。
需要说明的是，采用GBVS基于视觉特点的显著性模型分别对参考图像和失真图像进行显著性特征的提取，该模型首先在高斯金字塔分解出的多个图像尺度下提取颜色、亮度和方位的视觉特征，其次使用中央周边(Center-surround)操作产生体现显著性度量的特征图，最终引入马尔可夫链将特征图合并成最终的显著性图，其视觉显著性图如图5所示。由此，可以得到参考图像以及失真图像的显著性图。
在一种具体的实施方式中，根据参考图像以及失真图像的显著性图得到参考图像以及失真图像之间的显著性相似度，具体为：
Figure BDA0002450000480000072
式中，VSr(i)，VSd(i)分别表示参考图像和失真图像的显著性图中第i个像素的像素值；T4是一个正变量；以避免
Figure BDA0002450000480000073
的值非常小时所产生的不稳定性；MVS(i)为显著性相似度。
104、计算参考图像以及失真图像的梯度幅值，根据梯度幅值计算参考图像以及失真图像之间的梯度相似度。
需要说明的是，在本申请中，可以采用Prewitt算子选择多个方向上的模板对参考图像以及失真图像的梯度幅值进行卷积计算，选择其中梯度幅值最大模板的表示该像素点的边缘方向。
在一种具体的实施方式中，采用Prewitt算子计算像素点垂直、水平、45°、135°、180°、225°、270°、315°八个方向的梯度值，对参考图像以及失真图像中每个像素点对以上八个方向的算子模板进行卷积运算保留其中梯度幅值最大的方向模板，该最大值对应的模板所表示的方向为该像素点的边缘方向，具体的八个方向的算子模板如图6所示。
在一种具体的实施方式中，使用8个方向的梯度算子对图像进行卷积计算：
Figure BDA0002450000480000081
式中，Y表示亮度分量；
Figure BDA0002450000480000082
表示卷积计算；Pk表示多个方向的梯度算子，G(i)表示多个方向上梯度分量的最大值。
根据梯度幅值计算参考图像以及失真图像之间的梯度相似度，具体为：
Figure BDA0002450000480000083
式中，Gr(i)，Gd(i)分别表示所述参考图像和失真图像第i个像素的梯度最大值；T5表示一个正变量，以避免
Figure BDA0002450000480000084
的值非常小时所产生的不稳定性。
105、根据亮度相似度，色度相似度、显著性相似度以及梯度相似度计算得到图像质量评价指标。
需要说明的是，通过上式得到的亮度相似度，色度相似度、显著性图以及显著性相似度，进而可以得到局部质量图为：
Figure BDA0002450000480000085
M(i)表示图像的局部质量图；α和β是调整亮度和色度相似度的参数。
可以采用加权池的策略，使得图像中的显著部分对于图像评价更加重要，由此计算的图像质量评价指标具体为：
Figure BDA0002450000480000086
式中，proposed为图像评价指标；SM(i)表示由GBVS视觉显著性算法模型计算得到的显著性图，具体值由GBVS视觉显著性算法模型决定。
本申请通过提取图像的四种特征，包括亮度特征、色度特征、梯度特征以及显著性特征，得到参考图像与失真图像的亮度相似度、色度相似度、梯度相似度以及显著性相似度；以四种特征计算相应的相似度，从而对图像的质量进行评价，使得本申请能够在全参考图像的前提下，通过简单的计算，即可对噪声图像进行质量评价时与主观评分有较好的一致性。
以上是本申请的一种全参考图像质量评价方法的实施例，本申请还提供了一种全参考图像质量评价方法的一个具体的实施方式，具体为：
首先可以获取图像质量评价领域里目前公开的图库包括，TID2013，TID2008，CSIQ和LIVE。
以LIVE图库为例，其中LIVE图库包含5个子图库，分别为JPEG、JPEG2000、GaussianBlur(高斯模糊)、Fast Fading(在fast-fading通道传输JPEG2000码流的过程中发生错误而失真的图像)、White Noise(白噪声)。JPEG图库共有233幅图像，其中175幅为失真图像，JPEG2000图库有227幅图像，其中有169幅为失真图像。Gaussian Blur、Fast Fading、WhiteNoise三个图库都是174幅图像，145幅为失真图像。整理之后根据每幅图库的信息对应找出每张图片的DMOS值。
本申请方法的具体流程为：
S1：选择参考图像r与一张对应的失真图像d；
S2：用SLIC算法对参考图像与失真图像进行超像素分割，分块大小设置为400；
S3：对分块好的图像进行YUV分解；
S4：用YUV分解后的Y分量计算亮度相似度，用U,V分量计算色度相似度；
S5：用GBVS显著性模型对参考图像进行显著性提取，并计算显著性相似度；
S6：用扩展的8个方向Prewitt算子分别对参考图像与失真图像的每一个像素点进行卷积运算，并计算梯度值，并计算参考图像和失真图像的梯度相似度；
S7：联合参考图像和失真图像之间的亮度，色度，梯度和显著性相似度计算得到局部质量图；
S8：将局部质量图以加权池的合并策略计算出最终的失真图像质量分数，其中加权池中的权重图为GBVS视觉显著性检测模型生成的视觉显著性图。
以上实验中，获取的图像质量评价图像库如表1所示：
表1图像质量评价图像库
Figure BDA0002450000480000091
Figure BDA0002450000480000101
本申请从定性与定量两个方面对实验结果进行分析。
(1)本发明的质量评价算法MSPSIM-ITTI、PSNR、SSIM、MS-SSIM、VIF、MAD、FSIMC、GMSD、SPSIM、MSPSIM与DMOS值的非线性拟合，得到相应的散点图。
(2)本发明算法与其它算法的秩相关系数(Spearman Rank Order CorrelationCoefficient,SROCC)、肯德尔的秩相关系数(Kendall’s Rank Order CorrelationCoefficient，KROCC)、非线性回归条件下的相关系数(Pearson’s linear correlationcoefficient，PLCC)、均方根误差(Root Mean Square Error，RMSE)四个参量的性能比较，见表2。其中SROCC、KROCC、PLCC的值越大，RMSE的值越小，代表算法评价的结果越好。
表2不同图像库的质量评价性能定量比较
Figure BDA0002450000480000102
Figure BDA0002450000480000111
由表2的实验数据我们发现，MAD在LIVE图库中的结果最好，GMSD在CSIQ图库中的结果最好，而在失真图像数量较多的TID2008与TID2013中，本发明的评价方法在10种评价指标里是有明显的优势，并且相对于SPSIM和VSI也有了较为明显的性能提升。从最终的结果来看本发明在四个图库加权平均之后的结果优于其余9种算法。
以上是本申请的一种全参考图像质量评价方法的实施例，本申请还包括一种全参考图像质量评价系统的实施例，如图2所示，包括：
图像获取模块201，用于获取参考图像以及失真图像；
亮度相似度获取模块202，用于估计参考图像以及失真图像中像素点的亮度和色度，根据像素点亮度和色度计算亮度相似度以及色度相似度；
显著性相似度获取模块203，用于使用GBVS显著性模型提取参考图像以及失真图像的显著性特征，得到参考图像以及失真图像的显著性图，根据显著性图得到参考图像以及失真图像之间的显著性相似度；
梯度相似度获取模块204，用于计算参考图像以及失真图像的梯度幅值，根据梯度幅值计算参考图像以及失真图像之间的梯度相似度；
评价指标计算模块205，用于根据亮度相似度，色度相似度、显著性相似度以及梯度相似度计算得到图像质量评价指标。
在一种具体的实施方式中，还包括：
分块模块206，用于采用超像素方法对参考图像以及失真图像进行分块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请中，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (4)

1.一种全参考图像质量评价方法，其特征在于，包括：
获取参考图像以及失真图像；
估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度；具体的：
Figure 528422DEST_PATH_IMAGE001
式中，Y表示未分解超像素前的图像亮度分量，i表示第i个像素点，
Figure 997449DEST_PATH_IMAGE002
是第j个超像素，
Figure 682377DEST_PATH_IMAGE003
是图像分解超像素后的在第j个超像素中的第i个像素的亮度，
Figure 126128DEST_PATH_IMAGE004
第j个超像素中像素的个数；
Figure 529296DEST_PATH_IMAGE005
，
Figure 536436DEST_PATH_IMAGE006
表示图像分解超像素后的在第j个超像素中的第i个像素的色度，u，v表示未分解超像素前的图像色度分量；
Figure 13553DEST_PATH_IMAGE007
式中，
Figure 628205DEST_PATH_IMAGE008
，
Figure 190774DEST_PATH_IMAGE009
分别为所述参考图像和失真图像中第i个像素点的亮度；
Figure 63921DEST_PATH_IMAGE010
，
Figure 208594DEST_PATH_IMAGE011
表示参考图像的色度；
Figure 503135DEST_PATH_IMAGE012
，
Figure 553000DEST_PATH_IMAGE013
表示失真图像的色度；
Figure 714991DEST_PATH_IMAGE014
表示亮度相似度；
Figure 229017DEST_PATH_IMAGE015
表示色度相似度；T1，T2，T3都表示正变量；
使用GBVS显著性模型提取所述参考图像以及失真图像的显著性特征，得到所述参考图像以及失真图像的显著性图，根据所述显著性图得到所述参考图像以及失真图像之间的显著性相似度；具体的：
Figure 638002DEST_PATH_IMAGE016
式中，
Figure 722633DEST_PATH_IMAGE017
，
Figure 937582DEST_PATH_IMAGE018
分别表示参考图像和失真图像的显著性图中第i个像素的像素值；T4是一个正变量；
Figure 243799DEST_PATH_IMAGE019
为显著性相似度；
计算所述参考图像以及失真图像的梯度幅值，根据所述梯度幅值计算所述参考图像以及失真图像之间的梯度相似度；具体的：
使用多个方向的梯度算子对图像进行卷积计算：
Figure 636734DEST_PATH_IMAGE020
式中，Y表示亮度分量；
Figure 723507DEST_PATH_IMAGE021
表示卷积计算；
Figure 414252DEST_PATH_IMAGE022
表示多个方向的梯度算子，
Figure 388024DEST_PATH_IMAGE023
表示多个方向上梯度分量的最大值；
Figure 206988DEST_PATH_IMAGE024
式中，
Figure 453161DEST_PATH_IMAGE025
，
Figure 760646DEST_PATH_IMAGE026
分别表示所述参考图像和失真图像第i个像素的梯度最大值；T5表示一个正变量；
根据所述亮度相似度，所述色度相似度、所述显著性相似度以及所述梯度相似度计算得到图像质量评价指标；具体的：
Figure 41454DEST_PATH_IMAGE027
式中，
Figure 25460DEST_PATH_IMAGE028
为图像评价指标；
Figure 571979DEST_PATH_IMAGE029
表示由GBVS视觉显著性算法模型计算得到的显著性图，具体值由GBVS视觉显著性算法模型决定；
Figure 666842DEST_PATH_IMAGE030
表示图像的局部质量图；α和β是调整亮度和色度相似度的参数。
2.根据权利要求1所述的全参考图像质量评价方法，其特征在于，在所述估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度，之前还包括：
采用超像素方法对所述参考图像以及失真图像进行分块。
3.一种全参考图像质量评价系统，其特征在于，包括：
图像获取模块，用于获取参考图像以及失真图像；
亮度相似度获取模块，用于估计所述参考图像以及失真图像中像素点的亮度和色度，根据所述像素点亮度和色度计算亮度相似度以及色度相似度；具体的：
Figure 739841DEST_PATH_IMAGE031
式中，Y表示未分解超像素前的图像亮度分量，i表示第i个像素点，
Figure 832430DEST_PATH_IMAGE002
是第j个超像素，
Figure 115513DEST_PATH_IMAGE003
是图像分解超像素后的在第j个超像素中的第i个像素的亮度，
Figure 969329DEST_PATH_IMAGE004
第j个超像素中像素的个数；
Figure 37779DEST_PATH_IMAGE005
，
Figure 301270DEST_PATH_IMAGE006
表示图像分解超像素后的在第j个超像素中的第i个像素的色度，u，v表示未分解超像素前的图像色度分量；
Figure 806070DEST_PATH_IMAGE032
式中，
Figure 445999DEST_PATH_IMAGE008
，
Figure 368955DEST_PATH_IMAGE009
分别为所述参考图像和失真图像中第i个像素点的亮度；
Figure 803348DEST_PATH_IMAGE010
，
Figure 795443DEST_PATH_IMAGE011
表示参考图像的色度；
Figure 786533DEST_PATH_IMAGE012
，
Figure 750947DEST_PATH_IMAGE013
表示失真图像的色度；
Figure 418558DEST_PATH_IMAGE014
表示亮度相似度；
Figure 107071DEST_PATH_IMAGE015
表示色度相似度；T1，T2，T3都表示正变量；
显著性相似度获取模块，用于使用GBVS显著性模型提取所述参考图像以及失真图像的显著性特征，得到所述参考图像以及失真图像的显著性图，根据所述显著性图得到所述参考图像以及失真图像之间的显著性相似度；具体的：
Figure 636272DEST_PATH_IMAGE016
式中，
Figure 783089DEST_PATH_IMAGE017
，
Figure 559284DEST_PATH_IMAGE018
分别表示参考图像和失真图像的显著性图中第i个像素的像素值；T4是一个正变量；
Figure 276704DEST_PATH_IMAGE019
为显著性相似度；
梯度相似度获取模块，用于计算所述参考图像以及失真图像的梯度幅值，根据所述梯度幅值计算所述参考图像以及失真图像之间的梯度相似度；具体的：
使用多个方向的梯度算子对图像进行卷积计算：
Figure 858864DEST_PATH_IMAGE020
式中，Y表示亮度分量；
Figure 797870DEST_PATH_IMAGE021
表示卷积计算；
Figure 558016DEST_PATH_IMAGE022
表示多个方向的梯度算子，
Figure 12000DEST_PATH_IMAGE023
表示多个方向上梯度分量的最大值；
Figure 335534DEST_PATH_IMAGE024
式中，
Figure 942095DEST_PATH_IMAGE025
，
Figure 60093DEST_PATH_IMAGE026
分别表示所述参考图像和失真图像第i个像素的梯度最大值；T5表示一个正变量；
评价指标计算模块，用于根据所述亮度相似度，所述色度相似度、所述显著性相似度以及所述梯度相似度计算得到图像质量评价指标；具体的：
Figure 995514DEST_PATH_IMAGE027
式中，
Figure 935788DEST_PATH_IMAGE028
为图像评价指标；
Figure 646124DEST_PATH_IMAGE029
表示由GBVS视觉显著性算法模型计算得到的显著性图，具体值由GBVS视觉显著性算法模型决定；
Figure 935023DEST_PATH_IMAGE030
表示图像的局部质量图；α和β是调整亮度和色度相似度的参数。
4.根据权利要求3所述的全参考图像质量评价系统，其特征在于，还包括：
分块模块，用于采用超像素方法对所述参考图像以及失真图像进行分块。
CN202010289829.3A 2020-04-14 2020-04-14 一种全参考图像质量评价方法及系统 Active CN111489346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010289829.3A CN111489346B (zh) 2020-04-14 2020-04-14 一种全参考图像质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010289829.3A CN111489346B (zh) 2020-04-14 2020-04-14 一种全参考图像质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN111489346A CN111489346A (zh) 2020-08-04
CN111489346B true CN111489346B (zh) 2023-04-07

Family

ID=71792514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010289829.3A Active CN111489346B (zh) 2020-04-14 2020-04-14 一种全参考图像质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN111489346B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381812B (zh) * 2020-11-20 2024-08-09 深圳市优象计算技术有限公司 一种简单高效的图像质量评估方法及系统
CN112733895B (zh) * 2020-12-30 2024-03-15 杭州海康威视数字技术股份有限公司 确定图像相似度的方法、装置及计算机存储介质
CN112866683B (zh) * 2021-01-07 2022-05-17 中国科学技术大学 基于视频前处理及转码的质量评估方法
CN113418874A (zh) * 2021-03-15 2021-09-21 安徽工业技术创新研究院六安院 面向果实品质检测的高光谱图像重构方法及检测方法
CN113298763B (zh) * 2021-05-09 2022-08-19 复旦大学 一种基于显著性窗口策略的图像质量评估方法
CN113065559B (zh) * 2021-06-03 2021-08-27 城云科技（中国）有限公司 图像比对方法、装置、电子设备及存储介质
CN114549429B (zh) * 2022-01-29 2024-06-25 清华大学 基于超图结构的深度数据质量评价方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN108053393A (zh) * 2017-12-08 2018-05-18 广东工业大学 一种梯度相似度图像质量评价方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN108053393A (zh) * 2017-12-08 2018-05-18 广东工业大学 一种梯度相似度图像质量评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于颜色计算显著特征的彩色图像质量评价方法;王晓红等;《包装工程》;20160810(第15期);第183-188页 *

Also Published As

Publication number Publication date
CN111489346A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111489346B (zh) 一种全参考图像质量评价方法及系统
US10521885B2 (en) Image processing device and image processing method
CN105678700B (zh) 基于预测梯度的图像插值方法及系统
US20050207643A1 (en) Human skin tone detection in YCbCr space
CN105049851A (zh) 基于色彩感知的通用无参考图像质量评价方法
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN111783803B (zh) 实现隐私保护的图像处理方法及装置
CN110298812B (zh) 一种图像融合处理的方法及装置
Zhang et al. Single image dehazing based on fast wavelet transform with weighted image fusion
Sandić-Stanković et al. Fast blind quality assessment of DIBR-synthesized video based on high-high wavelet subband
Sun et al. Brightness preserving image enhancement based on a gradient and intensity histogram
Zhang et al. A full-reference quality assessment metric for fine-grained compressed images
Yang et al. Color image contrast enhancement by co-occurrence histogram equalization and dark channel prior
CN114881899B (zh) 一种用于可见光与红外图像对的快速保色融合方法及装置
CN110175967B (zh) 图像去雾处理方法、系统、计算机设备和存储介质
CN114998122A (zh) 一种低照度图像增强方法
Lal et al. Automatic method for contrast enhancement of natural color images
Barai et al. Human visual system inspired saliency guided edge preserving tone-mapping for high dynamic range imaging
Sonawane et al. Image quality assessment techniques: An overview
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
CN113379785B (zh) 一种融合边界先验与频域信息的显著性目标检测方法
Yuan et al. Color image quality assessment with multi deep convolutional networks
CN114120197A (zh) 2si模式传输的超高清视频异态信号检测方法
CN107886550B (zh) 图像编辑传播方法和系统
Veeravasarapu et al. Fast and fully automated video colorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant