CN109859157B - 基于视觉注意特征的全参考图像质量评价方法 - Google Patents
基于视觉注意特征的全参考图像质量评价方法 Download PDFInfo
- Publication number
- CN109859157B CN109859157B CN201811366469.1A CN201811366469A CN109859157B CN 109859157 B CN109859157 B CN 109859157B CN 201811366469 A CN201811366469 A CN 201811366469A CN 109859157 B CN109859157 B CN 109859157B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- region
- color
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 230000008447 perception Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000000873 masking effect Effects 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 abstract description 2
- 238000007906 compression Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000012546 transfer Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明主要涉及诸如图像获取、传递、压缩、插值和增强技术，为解决现有图像质量评价方法不能很好地符合人类视觉系统感知过程问题，一种新型全参考图像质量评价方法，可得到与人类主观图像质量评价更相近的结果，本发明，基于视觉注意特征的全参考图像质量评价方法，步骤如下：Step1：结构和色彩特征提取；Step2‑1：整幅图片的分类；Step2‑2：非边缘区域的分类；Step3：边缘区域、复杂结构区域和简单结构区域的失真测量；Step4：整体综合策略；Step5：最终图像质量分数的形成本发明主要应用于设计制造场合。本发明主要应用于图像处理领域。
Description
技术领域
本发明主要涉及诸如图像获取、传递、压缩、插值和增强等实际的视觉应用领域。图像质量评价方法在评估或优化图像相关算法和系统性能上具有决定性作用。具体讲,涉及基于视觉注意心理和生理特征的全参考图像质量评价方法。
背景技术
图像作为信息的载体，一幅拥有好质量的图片能够传递给人更多的信息量。然而，在图像的形成、传递和处理等过程中，信息量会不同程度地丢失。因此，图像质量评价在评估或优化图像相关算法和系统性能上具有重要的作用。依据评价对象不同来划分图像质量评价方法，可分为以人眼为评价对象的主观评价方法和以机器为评价对象的客观评价方法。主观评价方法是最可信赖的评价方式，但是由于主观评价方法成本高并且耗时长，所以研究者更致力于发展完善符合人类视觉系统感知过程的客观评价方法。本专利方法为原图像完全可用的全参考图像质量评价方法。
在长期研究人眼视觉感知过程中，并结合VA(Visual Attention，视觉注意)的生理、心理特征的研究成果，人们逐渐发现了IGM(Internal Generative Mechanism，内部生成机制)、视觉显著性和各种基于内容的视觉掩盖效应在视觉感知过程中起到的关键性作用。
在大脑处理视觉信息的过程中，IGM结合先验知识积极预测主要视觉信息并最小化残留的不确定信息，即积极获取相对简单结构易于推断的部分并忽视结构杂乱难于预测的部分。关于视觉显著性的研究主要是图像的哪部分区域更加吸引人眼的注意。基于内容的视觉掩盖效应有很多种，本专利方法主要考虑了熵掩盖、颜色掩盖和纹理掩盖。熵掩盖和作为视觉注意心理特征的IGM紧密相关，它发生在中心像素的背景复杂且大脑觉察其陌生的时候。
作为视觉注意生理特征的颜色掩盖发生在人眼敏感的图像边缘区域，人眼往往过多关注该区域的结构信息变化，而忽略颜色信息变化。同样作为视觉注意生理特征的纹理掩盖发生在比较杂乱的区域，人眼往往忽略该区域的结构信息变化，而关注颜色信息变化。
当图像失真类型与图像内容无关时，PSNR评价指标更符合人类视觉系统感知；当图像失真类型与图像内容相关时，模拟人类视觉系统的评价指标，比如：SSIM，更符合人类视觉系统感知；
发明内容
为克服现有技术的不足，解决现有图像质量评价方法不能很好地符合人类视觉系统感知过程这个问题，本发明结合视觉注意的生理和心理特点的相关内容，提出一种新型全参考图像质量评价方法，可得到与人类主观图像质量评价更相近的结果。为此，本发明采取的技术方案是，基于视觉注意特征的全参考图像质量评价方法，步骤如下：
Step1：结构和色彩特征提取：分别将原始图像和失真图像的RGB色彩空间转换到更符合人类视觉系统感知特性的色彩空间上，然后，通过对与亮度或灰度相关的通道信息进行处理得到两幅图像的结构相似性矩阵，通过对色彩通道信息进行处理得到两幅图像的色彩相似性矩阵，至此，完成了图像结构和色彩两个特征的提取；
Step2-1：整幅图片的分类：引入边缘检测算法分别对原始图像和失真图像进行分区，将图像分为两个区域：边缘区域，非边缘区域，边缘区域是指边缘检测算子检测到的两幅图像共同的边缘区域，其余区域为非边缘区域；
Step2-2：非边缘区域的分类：通过引入VA心理因子包括但不限于贝叶斯预测模型将非边缘区域划分为简单结构区域和复杂结构区域，简单结构区域是指拥有规律结构的图像部分，复杂结构区域是指具有信号杂乱特点的图像部分；
Step3：边缘区域、复杂结构区域和简单结构区域的失真测量：结合周围像素影响中心像素的颜色掩盖和纹理掩盖效应，在边缘区，人眼只对结构信息敏感，因此只考虑原始图像和失真图像像素点的结构相似性特征；在复杂结构区，人眼对结构信息不敏感且对颜色信息敏感，因此考虑原始图像和失真图像像素点的色彩相似性特征，除此之外，还采用PSNR来评价这部分与内容无关的失真；在简单结构区，考虑原始图像和失真图像像素点的结构和色彩相似性特征；
Step4：整体综合策略：根据图像中每个像素点各自的特征，综合策略赋予每个像素点相应的权重，目的是突出表现该像素点相对于整幅图像在人类视觉系统感知图像质量过程中的重要性。综合策略同时考虑了VA生理因子和心理因子，包括视觉显著性和与IGM相关的熵掩盖效应这两个在人类视觉系统中重要的因素，综合二者的结果作为最终的综合策略；
Step5：最终图像质量分数的形成：通过结合局部的失真测量和针对整体像素点的综合策略，分别得到边缘区域、复杂结构区域和简单结构区域的图像质量评价分数；接着，分别计算复杂结构区域和简单结构区域噪声能量在非边缘区所占比例，把各自的噪声能量占比作为各自在非边缘区质量评估重要程度的体现，进而分配两部分结果在非边缘区评价中所占的比例；对于边缘区和非边缘区的比例分配，把各自区域像素点个数占整幅图像像素点个数的比值作为两个区域的权重，最终形成原始图像和失真图像的质量评价结果。
三原色RGB色彩空间不符合人类视觉系统感知特性，因此首先对其进行转换,将RGB色彩空间转换至符合人类视觉系统感知特性的LMN色彩空间。
其中，L为图像的亮度通道，M和N为图像的色彩通道，通过L计算图像结构相似性，即提取图像的结构特征，通过M和N计算图像的色彩相似性；在计算结构相似性时，采用普鲁伊特(Prewitt)算子计算梯度幅值GM(Gradient Magnitude)，并用GM代表每个像素点的结构特征：
其中，Gh(x)和Gv(x)分别是水平方向梯度和竖直方向梯度。
原始图像和失真图像内每个像素点的结构相似性矩阵SG(x)和颜色相似性矩阵SC(x)计算如下，其中G1(x)和G2(x)分别为原始图像和失真图像的梯度幅值，M1(x)和M2(x)分别为原始图像和失真图像M通道的数值，N1(x)和N2(x)分别为原始图像和失真图像N通道的数值，CG、CM和CN被设置为大于0的常数：
通过坎尼Canny边缘检测器后，整体图像被划分为边缘区和方非边缘区，非边缘区通过贝叶斯预测模型后，被划分为简单结构区和复杂结构区，对于边缘区域，像素点提取像素的结构特征；对于简单结构区像素点，提取像素的结构和色彩特征；对于复杂结构区像素点提取包括像素的色彩特征并结合PSNR共同测量该区域失真。
在整体综合策略中，采用与IGM相关的熵掩盖效应，为了衡量图像中各点的混乱程度，采用香农熵来描述该效应，如下式所示：
选取以x为n*n正方形区域Wx的中心像素点，l0；...lM；为Wx内的亮度值，p(li)是Wx内亮度值的发生概率，H(Wx)是Wx的熵，H(Wx)的值越大，表明该像素点的熵掩盖效应越明显，被感知的失真图像信息越少。
除了熵掩盖效应，在整体综合策略中，还包括采用结合简单先验的显着性检测SDSP(Saliency Detection by combining Simple Priors)模型的视觉显著性模型，该模型考虑三个方面：1)人眼捕捉显著物体的过程可以被带通滤波器模拟2)图像的中心区域比其它部分更吸引人类视觉系统3)和冷色相比，暖色更容易引起人眼注意，因此整体综合策略EV(x)为：
EV(x)＝(1-Hmin(Wx))·VSmax(x)
其中，Hmin(Wx)＝min(HS(Wx),HD(Wx))，HS(Wx)和HD(Wx)分别为原始图像和失真图像的熵掩盖效应参数，VSmax(x)＝max(SS(x),SD(x))，SS(x)和SD(x)分别为原始图像和失真图像的视觉显著性参数，由此分别得到边缘区域、简单结构区域和复杂结构区域的图像失真测量结果E,S和O，综合三个区域的失真测量结果，对每个区域的失真测量结果在整体评价中所占的比例进行分配，获得最终的原始图像和失真图像的质量评价分数PPCVA，简单结构区域和复杂结构区域间比例系数的计算过程如下式：
其中，m和1-m用于调整易感知区域和难感知区域的相对重要性且m∈[0,1]，MSEd是原始图像和失真图像复杂结构区的噪声能量，MSEp是两幅图像简单结构区的噪声能量，进而得到非边缘区的失真测量结果，非边缘区的失真测量结果如下式：
N＝SmO(1-m)
关于边缘区域和非边缘区域间比例系数为该区域像素点数目占整幅图像像素点数量的比重，α,β和γ是用于调节PSNR,GM和色彩特征相对重要性的比例系数，根据对大型图像数据库的实际测试结果得到。
本发明的特点及有益效果是：
本发明所提出的面向视觉应用的全参考图像质量评价方法，基于视觉注意的生理和心理特点，模拟人类视觉系统感知图像的过程。可以得到更接近人类视觉系统在实际感知后所得到的评价结果，能更好地代表人眼对图像信息真实的理解和感受，为优化和图像处理相关的算法和系统提供了更有效的保障。
附图说明：
图1全参考图像质量评价方法流程图。
图2全参考图像质量评价方法实例。
图3图像分区示意图。
具体实施方式
本发明提出的基于视觉注意心理和生理特征的全参考图像质量评价方法的流程如图1所示，其中，原始图像指的是未发生任何失真变化的原图片，失真图像指的是掺杂了模糊和噪声等失真信息的扭曲图片。具体实施方案如下：
Step1：结构和色彩特征提取。分别将原始图像和失真图像的RGB色彩空间转换到更符合人类视觉系统感知特性的色彩空间上。然后，通过对与亮度或灰度相关的通道信息进行处理得到两幅图像的结构相似性矩阵，通过对色彩通道信息进行处理得到两幅图像的色彩相似性矩阵。至此，完成了图像结构和色彩两个特征的提取。
Step2-1：整幅图片的分类。引入边缘检测算法分别对原始图像和失真图像进行分区，将图像分为两个区域：边缘区域，非边缘区域，边缘区域是指边缘检测算子检测到的两幅图像共同的边缘区域，其余区域为非边缘区域。
Step2-2：非边缘区域的分类。通过引入VA心理因子包括但不限于贝叶斯预测模型将非边缘区域划分为简单结构区域和复杂结构区域。简单结构区域是指拥有规律结构的图像部分，复杂结构区域是指具有信号杂乱特点的图像部分。
Step3：边缘区域、复杂结构区域和简单结构区域的失真测量。结合周围像素影响中心像素的颜色掩盖和纹理掩盖效应，在边缘区，人眼只对结构信息敏感，因此只考虑原始图像和失真图像像素点的结构相似性特征；在复杂结构区，人眼对结构信息不敏感且对颜色信息敏感，因此考虑原始图像和失真图像像素点的色彩相似性特征，除此之外，还用包括但不限于PSNR来评价这部分与内容无关的失真；在简单结构区，考虑原始图像和失真图像像素点的结构和色彩相似性特征。
Step4：整体综合策略。根据图像中每个像素点各自的特征，综合策略赋予每个像素点相应的权重，目的是突出表现该像素点相对于整幅图像在人类视觉系统感知图像质量过程中的重要性。综合策略同时考虑了VA生理因子和心理因子包括但不限于视觉显著性和与IGM相关的熵掩盖效应这两个在人类视觉系统中重要的因素，综合二者的结果作为最终的综合策略；
Step5：最终图像质量分数的形成。通过结合局部的失真测量和针对整体像素点的综合策略，分别得到边缘区域、复杂结构区域和简单结构区域的图像质量评价分数。接着，分别计算复杂结构区域和简单结构区域噪声能量在非边缘区所占比例，把各自的噪声能量占比作为各自在非边缘区质量评估重要程度的体现，进而分配了两部分结果在非边缘区评价中所占的比例。对于边缘区和非边缘区的比例分配，把各自区域像素点个数占整幅图像像素点个数的比值作为两个区域的权重。最终形成原始图像和失真图像的质量评价结果，该结果结合了视觉注意的心理和生理特征并具有局部与整体相结合的特点。
通过以上五步，便可利用本发明所提出的基于视觉注意的全参考图像质量评价方法完成图像质量的精确评估。
下面结合附图和具体实施方式进一步详细说明本发明。
基于图1结构的全参考图像质量评价过程如上五步所述，主要包括结构和色彩特征提取、整幅图片的分类、非边缘区域的分类、边缘区域、三个区域的失真测量、整体综合策略及最终图像质量分数的形成。下面结合图2所示的算法流程图，通过一个实例进一步对本发明进行说明。首先，三原色RGB色彩空间不符合人类视觉系统感知特性，因此首先对其进行转换,将RGB色彩空间转换至符合人类视觉系统感知特性的包括但不限于LMN色彩空间。
其中，L为图像的亮度通道，M和N为图像的色彩通道。通过L计算图像结构相似性，即提取图像的结构特征，通过M和N计算图像的色彩相似性。在计算结构相似性时，我们采用普鲁伊特(Prewitt)算法计算GM(Gradient Magnitude，梯度幅值)，并用GM代表每个像素点的结构特征。
其中，Gh(x)和Gv(x)分别是水平方向梯度和竖直方向梯度。
原始图像和失真图像内每个像素点的结构相似性矩阵SG(x)和颜色相似性矩阵SC(x)计算如下，其中G1(x)和G2(x)分别为原始图像和失真图像的梯度幅值，M1(x)和M2(x)分别为原始图像和失真图像M通道的数值，N1(x)和N2(x)分别为原始图像和失真图像N通道的数值。CG、CM和CN被设置为大于0的常数，常数防止SG(x)和SC(x)的分母为0，进而增强了SG(x)和SC(x)的稳定性。
通过包括但不限于坎尼(Canny)边缘检测器后，整体图像被划分为边缘区和方非边缘区，非边缘区通过包括但不限于贝叶斯预测模型后，被划分为简单结构区和复杂结构区。图3为按边缘特征和贝叶斯预测模型划分后的示意图，底端第一幅图的白色区域是原始图像和失真图像共同的边缘区域，对于该区域像素点提取像素的包括但不限于结构特征；底端第二幅图的红色区域表示被去除的边缘区部分，剩余的其它部分是简单结构区，该区域虽然没有十分明显的边缘，但仍然携带特定的结构信息，对于该区域像素点，我们提取包括但不限于像素的结构和色彩特征；底端第三幅图的白色区域是复杂结构区，该区域结构杂乱，其失真类型与图像内容无关，此外，由于PSNR在评价与图像内容无关的失真方面有很好的效果，因此，对于该区域像素点提取包括但不限于像素的色彩特征并结合包括但不限于PSNR共同测量该区域失真。
在整体综合策略中，关于视觉掩盖效应我们考虑与IGM相关的包括但不限于熵掩盖效应，整体综合策略中的熵掩盖和局部关于复杂结构区的失真测量起到互补的作用。为了衡量图像中各点的混乱程度，我们用包括但不限于香农熵来描述该效应，如下式所示：
选取以x为5*5正方形区域Wx的中心像素点，l0；...l24；为Wx内的亮度值，p(li)是Wx内亮度值的发生概率，H(Wx)是Wx的熵，H(Wx)的值越大，表明该像素点的熵掩盖效应越明显，被感知的失真图像信息越少。
除了熵掩盖效应，在整体综合策略中，包括但不限于视觉显著性也该被考虑。在这里我们采用一个包括但不限于名为SDSP(Saliency Detection by combining SimplePriors，结合简单先验的显着性检测)模型。
的视觉显著性模型，该模型主要考虑三个方面：1.人眼捕捉显著物体的过程可以被带通滤波器模拟2.图像的中心区域比其它部分更吸引人类视觉系统3.和冷色相比，暖色更容易引起人眼注意。因此整体综合策略EV(x)为：
EV(x)＝(1-Hmin(Wx))·VSmax(x)
其中，Hmin(Wx)＝min(HS(Wx),HD(Wx))，HS(Wx)和HD(Wx)分别为原始图像和失真图像的熵掩盖效应参数，VSmax(x)＝max(SS(x)，SD(x))，SS(x)和SD(x)分别为原始图像和失真图像的视觉显著性参数。如图2所示，我们可以分别得到边缘区域，简单结构区域和复杂结构区域的图像失真测量结果E，S和O。综合三个区域的失真测量结果，对每个区域的失真测量结果在整体评价中所占的比例进行分配，包括但不限于这种方式，获得最终的原始图像和失真图像的质量评价分数PPCVA。简单结构区域和复杂结构区域间比例系数的计算过程如下式：
其中，m和1-m用于调整易感知区域和难感知区域的相对重要性且m∈[0,1]，MSEd是原始图像和失真图像复杂结构区的噪声能量，MSEp是两幅图像简单结构区的噪声能量，进而得到非边缘区的失真测量结果，非边缘区的失真测量结果如下式：
N＝SmO(1-m)
关于边缘区域和非边缘区域间比例系数为该区域像素点数目占整幅图像像素点数量的比重。α，β和γ是用于调节PSNR，GM和色彩特征相对重要性的比例系数可以根据对大型图像数据库的实际测试结果得到。
Claims (5)
1.一种基于视觉注意特征的全参考图像质量评价方法，其特征是，步骤如下：
Step1：结构和色彩特征提取：分别将原始图像和失真图像的RGB色彩空间转换到更符合人类视觉系统感知特性的色彩空间上，然后，通过对与亮度或灰度相关的通道信息进行处理得到两幅图像的结构相似性矩阵，通过对色彩通道信息进行处理得到两幅图像的色彩相似性矩阵，至此，完成了图像结构和色彩两个特征的提取；
Step2-1：整幅图片的分类：引入边缘检测算法分别对原始图像和失真图像进行分区，将图像分为两个区域：边缘区域，非边缘区域，边缘区域是指边缘检测算子检测到的两幅图像边缘区域，其余区域为非边缘区域；
Step2-2：非边缘区域的分类：通过引入VA心理因子包括但不限于贝叶斯预测模型将非边缘区域划分为简单结构区域和复杂结构区域，简单结构区域是指拥有规律结构的图像部分，复杂结构区域是指具有信号杂乱特点的图像部分；
Step3：边缘区域、复杂结构区域和简单结构区域的失真测量：结合周围像素影响中心像素的颜色掩盖和纹理掩盖效应，在边缘区，人眼只对结构信息敏感，因此只考虑原始图像和失真图像像素点的结构相似性特征；在复杂结构区，人眼对结构信息不敏感且对颜色信息敏感，因此考虑原始图像和失真图像像素点的色彩相似性特征，除此之外，还采用PSNR来评价与内容无关的失真；在简单结构区，考虑原始图像和失真图像像素点的结构和色彩相似性特征；
Step4：整体综合策略：根据图像中每个像素点各自的特征，综合策略赋予每个像素点相应的权重，目的是突出表现该像素点相对于整幅图像在人类视觉系统感知图像质量过程中的重要性，综合策略同时考虑了VA生理因子和心理因子，包括视觉显著性和与IGM相关的熵掩盖效应这两个在人类视觉系统中重要的因素，综合二者的结果作为最终的综合策略；
Step5：最终图像质量分数的形成：通过结合局部的失真测量和针对整体像素点的综合策略，分别得到边缘区域、复杂结构区域和简单结构区域的图像质量评价分数；接着，分别计算复杂结构区域和简单结构区域噪声能量在非边缘区所占比例，把各自的噪声能量占比作为各自在非边缘区质量评估重要程度的体现，进而分配两部分结果在非边缘区评价中所占的比例；对于边缘区和非边缘区的比例分配，把各自区域像素点个数占整幅图像像素点个数的比值作为两个区域的权重，最终形成原始图像和失真图像的质量评价结果。
2.如权利要求1所述的基于视觉注意特征的全参考图像质量评价方法，其特征是，三原色RGB色彩空间不符合人类视觉系统感知特性，因此首先对其进行转换,将RGB色彩空间转换至符合人类视觉系统感知特性的LMN色彩空间：
其中，L为图像的亮度通道，M和N为图像的色彩通道，通过L计算图像结构相似性，即提取图像的结构特征，通过M和N计算图像的色彩相似性；在计算结构相似性时，采用普鲁伊特(Prewitt)算子计算梯度幅值GM(Gradient Magnitude)，并用GM代表每个像素点的结构特征：
其中，Gh(x)和Gv(x)分别是水平方向梯度和竖直方向梯度。
3.如权利要求1所述的基于视觉注意特征的全参考图像质量评价方法，其特征是，原始图像和失真图像内每个像素点的结构相似性矩阵SG(x)和颜色相似性矩阵SC(x)计算如下，其中G1(x)和G2(x)分别为原始图像和失真图像的梯度幅值，M1(x)和M2(x)分别为原始图像和失真图像M通道的数值，N1(x)和N2(x)分别为原始图像和失真图像N通道的数值，CG、CM和CN被设置为大于0的常数：
通过坎尼Canny边缘检测器后，整体图像被划分为边缘区和非边缘区，非边缘区通过贝叶斯预测模型后，被划分为简单结构区和复杂结构区，对于边缘区域像素点，提取像素的结构特征；对于简单结构区像素点，提取像素的结构和色彩特征；对于复杂结构区像素点提取包括像素的色彩特征并结合PSNR共同测量该区域失真。
4.如权利要求1所述的基于视觉注意特征的全参考图像质量评价方法，其特征是，在整体综合策略中，采用与IGM相关的熵掩盖效应，为了衡量图像中各点的混乱程度，采用香农熵来描述该效应，如下式所示：
选取以x为n*n正方形区域Wx的中心像素点，l0；...lM为Wx内的亮度值，p(li)是Wx内亮度值的发生概率，H(Wx)是Wx的熵，H(Wx)的值越大，表明该像素点的熵掩盖效应越明显，被感知的失真图像信息越少。
5.如权利要求1所述的基于视觉注意特征的全参考图像质量评价方法，其特征是，除了熵掩盖效应，在整体综合策略中，还包括采用结合简单先验的显着性检测SDSP(SaliencyDetection by combining Simple Priors)模型的视觉显著性模型，该模型考虑三个方面：1)人眼捕捉显著物体的过程可以被带通滤波器模拟2)图像的中心区域比其它部分更吸引人类视觉系统3)和冷色相比，暖色更容易引起人眼注意，因此整体综合策略EV(x)为：
EV(x)＝(1-Hmin(Wx))·VSmax(x)
其中，Hmin(Wx)＝min(HS(Wx),HD(Wx))，HS(Wx)和HD(Wx)分别为原始图像和失真图像的熵掩盖效应参数，VSmax(x)＝max(SS(x),SD(x))，SS(x)和SD(x)分别为原始图像和失真图像的视觉显著性参数，由此分别得到边缘区域、简单结构区域和复杂结构区域的图像失真测量结果E,S和O，综合三个区域的失真测量结果，对每个区域的失真测量结果在整体评价中所占的比例进行分配，获得最终的原始图像和失真图像的质量评价分数PPCVA，简单结构区域和复杂结构区域间比例系数的计算过程如下式：
其中，m和1-m用于调整易感知区域和难感知区域的相对重要性且m∈[0,1]，MSEd是原始图像和失真图像复杂结构区的噪声能量，MSEp是两幅图像简单结构区的噪声能量，进而得到非边缘区的失真测量结果，非边缘区的失真测量结果如下式：
N＝SmO(1-m)
关于边缘区域和非边缘区域间比例系数为该区域像素点数目占整幅图像像素点数量的比重，α,β和γ是用于调节PSNR,GM和色彩特征相对重要性的比例系数，根据对大型图像数据库的实际测试结果得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811366469.1A CN109859157B (zh) | 2018-11-16 | 2018-11-16 | 基于视觉注意特征的全参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811366469.1A CN109859157B (zh) | 2018-11-16 | 2018-11-16 | 基于视觉注意特征的全参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109859157A CN109859157A (zh) | 2019-06-07 |
| CN109859157B true CN109859157B (zh) | 2023-04-11 |
Family
ID=66890046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811366469.1A Active CN109859157B (zh) | 2018-11-16 | 2018-11-16 | 基于视觉注意特征的全参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109859157B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321944A (zh) * | 2019-06-26 | 2019-10-11 | 华中科技大学 | 一种基于接触网画质评估的深度神经网络模型的构建方法 |
| CN113077405A (zh) * | 2021-03-27 | 2021-07-06 | 荆门汇易佳信息科技有限公司 | 二分割分块的颜色传递及其质量评价体系 |
| CN115510271B (zh) * | 2021-06-23 | 2024-04-30 | 南京中科逆熵科技有限公司 | 一种面向内容的动画视频无参考质量评价方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318577A (zh) * | 2014-11-06 | 2015-01-28 | 天津大学 | 多尺度全参考型图像质量评测方法 |
| CN105825503A (zh) * | 2016-03-10 | 2016-08-03 | 天津大学 | 基于视觉显著性的图像质量评价方法 |
| CN105959684A (zh) * | 2016-05-26 | 2016-09-21 | 天津大学 | 基于双目融合的立体图像质量评价方法 |
| CN107578399A (zh) * | 2017-07-25 | 2018-01-12 | 天津大学 | 基于边界特征分割的的全参考图像质量评价方法 |
-
2018
- 2018-11-16 CN CN201811366469.1A patent/CN109859157B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318577A (zh) * | 2014-11-06 | 2015-01-28 | 天津大学 | 多尺度全参考型图像质量评测方法 |
| CN105825503A (zh) * | 2016-03-10 | 2016-08-03 | 天津大学 | 基于视觉显著性的图像质量评价方法 |
| CN105959684A (zh) * | 2016-05-26 | 2016-09-21 | 天津大学 | 基于双目融合的立体图像质量评价方法 |
| CN107578399A (zh) * | 2017-07-25 | 2018-01-12 | 天津大学 | 基于边界特征分割的的全参考图像质量评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Full-reference image quality assessment based on image segmentation with edge feature";Zaifeng Shi etc.;《Signal Processing》;20171122;全文 * |
| "基于视觉注意的全参考彩色图像质量评价方法";温阳等;《计算机测量与控制》;20170630;第25卷(第6期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109859157A (zh) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103152600B (zh) | 一种立体视频质量评价方法 | |
| CN109859157B (zh) | 基于视觉注意特征的全参考图像质量评价方法 | |
| Maalouf et al. | CYCLOP: A stereo color image quality assessment metric | |
| CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
| CN102523477B (zh) | 一种基于双目最小可辨失真模型的立体视频质量评价方法 | |
| CN102063710B (zh) | 一种遥感图像融合增强的实现方法 | |
| CN105825503B (zh) | 基于视觉显著性的图像质量评价方法 | |
| CN101729911B (zh) | 一种基于视觉感知的多视点图像颜色校正方法 | |
| Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
| CN107578399B (zh) | 基于边界特征分割的全参考图像质量评价方法 | |
| CN106506983A (zh) | 一种适用于ldr视频的hdr视频生成方法 | |
| CN107705286A (zh) | 一种彩色图像质量综合评价方法 | |
| Xie et al. | Color image quality assessment based on image quality parameters perceived by human vision system | |
| CN105635743A (zh) | 基于显著性检测和全变分的最小可察觉失真方法及系统 | |
| CN104008543A (zh) | 一种图像融合质量评价方法 | |
| CN116664462B (zh) | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 | |
| CN102036098B (zh) | 一种基于视觉信息量差异的全参考型图像质量评价方法 | |
| CN108898569A (zh) | 一种针对于可见光和红外遥感影像的融合方法及其融合结果评价方法 | |
| CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
| CN114648482A (zh) | 立体全景图像的质量评价方法、系统 | |
| CN104331877A (zh) | 融合色调梯度的彩色图像边缘检测方法 | |
| CN105825491A (zh) | 一种基于混合模型的图像融合方法 | |
| CN104185012B (zh) | 三维视频格式自动检测方法及装置 | |
| CN104038752A (zh) | 基于三维高斯混合模型的多视点视频直方图颜色校正 | |
| CN105844640A (zh) | 基于梯度的彩色图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |