CN110120034B - 一种与视觉感知相关的图像质量评价方法 - Google Patents

一种与视觉感知相关的图像质量评价方法 Download PDF

Info

Publication number
CN110120034B
CN110120034B CN201910304345.9A CN201910304345A CN110120034B CN 110120034 B CN110120034 B CN 110120034B CN 201910304345 A CN201910304345 A CN 201910304345A CN 110120034 B CN110120034 B CN 110120034B
Authority
CN
China
Prior art keywords
image
similarity
distorted
gradient
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910304345.9A
Other languages
English (en)
Other versions
CN110120034A (zh
Inventor
郑元林
于淼淼
廖开阳
唐梽森
赵金娟
邓轩
刘腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Class Cognition Artificial Intelligence Co ltd
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910304345.9A priority Critical patent/CN110120034B/zh
Publication of CN110120034A publication Critical patent/CN110120034A/zh
Application granted granted Critical
Publication of CN110120034B publication Critical patent/CN110120034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种与视觉感知相关的图像质量评价方法；具体步骤为：建立IQA模型，首先对IQA数据库中所有参考图像和失真图像进行颜色空间转变，然后提取图像多种特征，经相似性计算和池化策略后，为每幅失真图像生成14‑D特征向量，再结合主观得分MOS值，利用RF回归工具训练质量评价模型；回归预测，将待评价的失真图像及其对应参考图像分别经过特征提取，再计算特征相似性，经池化策略后，将生成的14‑D特征向量输入到训练好的RF回归模型中，模型的输出值即为对该失真图像质量的精确预测；本发明实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。

Description

一种与视觉感知相关的图像质量评价方法
技术领域
本发明属于计算机图像质量分析方法技术领域，具体涉及一种与视觉感知相关的图像质量评价方法。
背景技术
随着移动网络的快速发展，图像作为信息传送的载体，使图像的应用场合越来越多，人们对图像的高质量要求也越来越高，由于数字图像在获取、存储、传输和处理等各个环节都会引入不同失真，从而造成图像质量退化问题，并且越来越多的领域对图像质量评价(Image Quality Assessment)的应用变得更加广泛，对其评价精度的要求也逐步提高。
如专利号为201810319898.7，公开号为CN 108550146 A，公开日为2018年9月18日，发明名称为：一种基于ROI的图像质量评价方法，与人眼主观感知并没有达到很好的一致性。
传统的基于计算引导的FR-IQA方法，即通过提取符合HVS的特征，使用各种数学公式进行加权计算来衡量参考图像与其失真版本之间的差异性或相似性，从而评估失真图像质量；但是，传统的统计学方法大多对数据有一定的要求或假定，并且用有限的数学公式来描述复杂的现实情形是非常困难的。近年来，随着各领域对机器学习的研究进一步深入，基于机器学习的IQA研究也变得越来越广泛，这一类方法对数据没有任何的假定，产生的结果用交叉验证的方法进行判断也很容易被人理解；另外，研究表明，基于机器学习的IQA方法在图像质量预测精度以及鲁棒性等方面均显示出绝对优势，并且一个性能优越的基于机器学习的IQA算法主要表现在两个方面：一是通过模拟HVS对视觉场景的视觉感知来提取图像特征，包括空域特征和变换域特征；二是通过模拟大脑机制建立质量回归模型。
目前，随着IQA在各个行业中的应用不断拓展，对其预测精度的要求也越来越高，在保证计算复杂度的前提下，IQA模型与HVS视觉感知的相关性越高，其预测的准确性就越高；因此，开发基于视觉感知高度相关的IQA模型不仅是当务之急，同时有着非常广阔的应用前景。
发明内容
本发明的目的在于提供一种与视觉感知相关的图像质量评价方法，解决了现有的图像质量评价方法，与人眼主观感知并没有达到很好的一致性的问题。
本发明所采用的技术方案是，一种与视觉感知相关的图像质量评价方法，具体按照以下步骤实施；
步骤1、将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y与I和Q两个色度通道进行分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征；
步骤2、分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；
分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；
计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；
步骤3、采用高斯差分DOG模型在亮度通道Y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；
步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-D特征向量；
步骤5、将IQA数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型；
步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14-D特征向量，输入到已经训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数。
本发明的特点还在于：
步骤1中，图像的颜色空间转变过程表示为：
Figure BDA0002029298890000031
(式(1)中矩阵的第1行系数决定亮度Y，对归一化的RGB值均为1时，即R＝G＝B＝1，即有Y＝1，因此矩阵第一行系数之和为1；
经式(1)后，即可实现图像亮度通道Y和两个色度通道I和Q的分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征。
步骤2中，具体的按照以下步骤实施：
步骤2.1，在亮度通道Y中分别提取参考图像和失真图像的梯度特征，并计算梯度相似性，得到梯度相似性特征，具体按如下操作：
首先选择大小为N×N的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算，四方向取值分别为0°、90°、45°、135°，卷积方法如下：
Figure BDA0002029298890000041
式(2)中：MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，GM中的M＝x，y，u，v分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：
Figure BDA0002029298890000042
式(3)中：G1(X,Y)为融合0°-90°两个方向的梯度分量值，G2(X,Y)为融合45°-135°两个方向的梯度分量值，GMap(X,Y)表示一幅图像提取的包含四个方向的梯度幅度值；
然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度相似性特征，具体方法如下：
Figure BDA0002029298890000043
式(4)中，GMap1(X,Y)和GMap2(X,Y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，C1为常数；
Y＝(Y1+Y2)/2 (5)
Figure BDA0002029298890000051
Figure BDA0002029298890000052
通过公式(5)将参考图像与失真图像的亮度通道Y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为GY，然后，通过公式(6)和(7)分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示，式(6)和(7)中，C2为常数；
最后，参考图像与失真图像计算的最终的梯度相似性特征为：
G＝Gsim+[GDL-GRL] (8)；
步骤2.2，在亮度通道Y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征，具体实现过程如下：
首先将参考图像与失真图像从空域经离散余弦变换转变为DCT系数，然后将csfL1、csfL2，csfM1、csfM2和csfH1、csfH2分别定义为参考图像和失真图像在低频LF、中频MF和高频HF区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：
Figure BDA0002029298890000053
式(9)中，K＝L1,M1,H1分别对应RK为LF、MF和HF这三个区域，p(u,v)表示在(u,v)点处DCT系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfL2、csfM2以及csfH2；
然后，通过式(10)～(12)分别计算参考图像与失真图像在LF、MF和HF区域的对比度相似性值分别计算如下：
Figure BDA0002029298890000061
Figure BDA0002029298890000062
Figure BDA0002029298890000063
式(10)、(11)和(12)中，C3、C4和C5均为常数；
最后，参考图像与失真图像的对比敏感度相似性特征计算为：
F＝csfLMap(X)*csfMMap(X)*csfHMap(X) (13)；
步骤2.3，将参考图像和失真图像的I通道分别用I1、I2表示，参考图像和失真图像的Q通道分别用Q1、Q2表示，然后采用式(14)计算两幅图像之间的色度相似性特征：
Figure BDA0002029298890000064
式(14)中，C6＝C7，均为常数。
步骤2.1中，优选C1＝386；优选C2＝55。
步骤2.2中，优选C3＝2000、C4＝1.7、C5＝0.0063。
步骤2.3中，优选C6＝C7＝130。
步骤3中，具体按照以下步骤实施：
首先，使用式(15)定义一幅图像的DOG响应，其中I代表图像的亮度通道，Gσ1(X)和Gσ2(X)分别表示标准偏差为σ1和σ2的两个高斯函数；
IDOGσ1,σ2(X)＝I×(Gσ1(X)-Gσ2(X)) (15)
然后，通过式(15)将一幅图像分解为5个等级的频带：
Figure BDA0002029298890000071
式(16)中，N代表图像的分解级数，σi＝ki-1(i＝1～N-1)；
最后，利用式(16)分别对参考图像亮度通道Y1与失真图像亮度通道Y2分解为5个等级的频带，并计算在各级频带间的相似性特征，即：
Figure BDA0002029298890000072
式(17)中，SSIM(﹒)表示相似性计算指标，i＝0～4。
步骤4中，具体按照以下步骤实施：
经步骤3完成后，可得到参考图像与失真图像之间的色度相似性特征、梯度相似性特征、对比敏感度相似性特征以及DOG频带特征，经过池化策略，提取色度相似性特征的均值、标准偏差及熵，分别用Cm、Cs及Ce表示，提取梯度相似性特征的均值、标准偏差及熵，分别用Gm、Gs及Ge表示，提取对比敏感度似性特征的均值、标准偏差及熵，分别用Fm、Fs及Fe表示，DOG频带特征是一个5-D的特征向量，记为[f0 f1 f2 f3 f4]；
然后，将提取的3-D色度相似性特征、3-D梯度相似性特征、3-D对比敏感度相似性特征以及5-D频带特征进行多特征融合，融合后的特征空间用一个14-D特征向量表示，即：
V＝[Cm Cs Ce Gm Gs Ge f0 f1 f2 f3 f4 Fm Fs Fe] (18)。
本发明的有益效果：
通过建立IQA模型和对待评价的失真图像质量进行回归预测，充分模拟HVS可同时处理低级和高级图像特征的特性，采用DOG频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。
附图说明
图1为本发明一种与视觉感知相关的图像图像质量评价方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明为一种与视觉感知相关的图像质量评价方法，其流程图如图1所示，具体按照以下步骤实施：
分为两大部分，即建立IQA模型和回归预测；
IQA数据库的建立过程是通过组织主观实验获取图像的主观质量分数，每个IQA数据库中有参考图像、失真图像和主观质量分数组成，参考图像被认为是没有任何缺陷的标准图像，而失真图像是存在某种缺陷(如模糊、白噪声等)的图像；待评价的失真图像是指在IQA模型建立完成后，希望使用该模型预测出质量的失真图像，称为待评价的失真图像，该待评价的失真图像所对应的标准的无任何缺陷的图像称为对应的参考图像。
建立IQA模型步骤如下：
步骤1，将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y及I和Q两个色度通道进行分离；为后续分通道提取图像特征做准备；具体来说，每一幅图像的颜色空间转变过程表示为：
Figure BDA0002029298890000081
式(1)中矩阵的第1行系数决定亮度Y，对归一化的RGB值均为1时(即R＝G＝B＝1)，应有Y＝1，因此矩阵第一行系数之和为1，经式(1)后，即可实现图像亮度通道Y和两个色度通道I和Q的分离，得到亮度通道Y的亮度特征，色度通道I和Q的色度特征，分通道后不会改变图像大小。
步骤2，分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；
分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；
计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；
具体按照以下步骤实施：步骤2.1，在亮度通道Y中分别提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征。具体按如下操作：
首先选择大小为N×N的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算，四方向取0°、90°、45°、135°，卷积方法如下：
Figure BDA0002029298890000091
MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，MK中的M＝x，y，u，v分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：
Figure BDA0002029298890000101
式(3)中：G1(X,Y)为融合0°-90°两个方向的梯度分量值，G2(X,Y)为融合45°-135°两个方向的梯度分量值，GMap(X,Y)表示一幅图像提取的包含四个方向的梯度幅度值；
然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度幅度值相似性特征，具体方法如下：
Figure BDA0002029298890000102
式(4)中，GMap1(X,Y)和GMap2(X,Y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，C1为常数，用于防止分母为零而造成Gsim的不稳定，优选C1＝386；
Y＝(Y1+Y2)/2 (5)
Figure BDA0002029298890000103
Figure BDA0002029298890000104
为考虑参考图像和失真图像之间的边缘相关性，通过公式(5)将参考图像与失真图像的亮度通道Y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为GY，然后，通过公式(6)和(7)分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示，式(6)和(7)中，C2为常量，用于防止分母为零而造成GRY和GDY的不稳定，优＝55选C2＝55；
最后，参考图像与失真图像计算的最终的梯度相似性特征为：
G＝Gsim+[GDL-GRL] (8)。
步骤2.2，在亮度通道Y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征。具体实现过程如下：
首先将参考图像与失真图像从空域经离散余弦变换转变为DCT系数，然后将csfL1、csfL2，csfM1、csfM2和csfH1、csfH2分别定义为参考图像和失真图像在低频LF、中频MF和高频HF区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：
Figure BDA0002029298890000111
式(9)中，K＝L1,M1,H1分别对应RK为LF、MF和HF这三个区域，p(u,v)表示在(u,v)点处DCT系数的归一化值。同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfL2、csfM2以及csfH2；
然后，通过式(10)～(12)分别计算参考图像与失真图像在LF、MF和HF区域的对比度相似性值分别计算如下：
Figure BDA0002029298890000112
Figure BDA0002029298890000113
Figure BDA0002029298890000114
式(10)、(11)和(12)中，C3、C4和C5均为常数，用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定，优选C3＝2000、C4＝1.7和C5＝0.0063；
最后，参考图像与失真图像的对比敏感度相似性特征计算为：
F＝csfLMap(X)*csfMMap(X)*csfHMap(X) (13)。
步骤2.3，将参考图像和失真图像的I通道分别用I1、I2表示，参考图像和失真图像的Q通道分别用Q1、Q2表示，分别计算两幅图像在I和Q通道的色度相似性，采用式(14)，将两个色度相似性的乘积即为色度相似性特征：
Figure BDA0002029298890000121
式(14)中，C6＝C7，且均为常数，用于防止分母为零而造成C的不稳定，优选C6＝C7＝130。
步骤3，采用高斯差分DOG模型在亮度通道中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；高斯差分DOG的原理其实就是通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果；步骤3的具体步骤实施：
首先，使用式(15)定义一幅图像的DOG响应，DOG响应是通过对两个相邻高斯尺度空间的图像相减，得到DOG的响应值图像，其中I代表图像的亮度通道，Gσ1(X)和Gσ2(X)分别表示标准偏差为σ1和σ2的两个高斯函数。
IDOGσ1,σ2(X)＝I×(Gσ1(X)-Gσ2(X)) (15)
然后，通过式(15)将一幅图像分解为N个等级的频带：
Figure BDA0002029298890000122
式(16)中，N代表图像的分解级数，σi＝ki-1(i＝1～N-1)；
其中，N为5个等级的频带分解，因为可将原图分解为更多的低频和高频子图像，此操作有助于获得关于失真图像的更丰富更详尽的特征表示；
最后，利用式(16)分别对参考图像亮度通道Y1与失真图像亮度通道Y2分解为5个等级的频带，并计算在各级频带间的相似性特征，即：
Figure BDA0002029298890000131
式(17)中，SSIM(﹒)表示相似性计算指标，i＝0～4；
在亮度通道Y中提取图像的梯度特征、对比敏感度特征以及DOG频带特征，在I和Q两个颜色通道中提取图像的色度特征，从而充分模拟HVS可同时处理低级和高级图像特征的特性；
用DOG频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，两种特征结合使用有助于增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性。
步骤4，步骤3完成后，通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-D特征向量；具体步骤实施：
步骤3完成后，可得到参考图像与失真图像之间的色度相似性特征、梯度相似性特征、对比敏感度相似性特征以及DOG频带特征，经过池化策略，提取色度相似性特征的平均值、标准偏差及熵，分别用Cm、Cs及Ce表示，提取梯度相似性特征的平均值、标准偏差及熵，分别用Gm、Gs及Ge表示，提取对比敏感度相似性特征的平均值、标准偏差及熵，分别用Fm、Fs及Fe表示，DOG频带特征是一个5-D的特征向量，记为[f0 f1 f2 f3 f4]；
色度相似性特征、梯度相似性特征及对比敏感度相似性特征均为得到的一幅图像，图像由像素组成，在此基础上提取各个特征的平均值，标准偏差及熵；
然后，将提取的3-D色度相似性特征、3-D梯度相似性特征、3-D对比敏感度相似性特征以及5-D频带特征进行多特征融合，融合后的特征空间用一个14-D特征向量表示，即：
V＝[Cm Cs Ce Gm Gs Ge f0 f1 f2 f3 f4 Fm Fs Fe] (18)。
步骤5，步骤4完成后，将图像数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型，并将模型中决策树的数量和节点预选变量个数优选设置为(ntree,mtry)＝(500,2)。
步骤6，经步骤5完成后，训练好的回归模型即可用于精确预测待评价的失真图像质量，预测方法是将一幅或多幅待评价图像及其对应的参考图像分别经过步骤1到步骤4，并经相似性计算和池化策略后，得到代表失真图像质量的14-D特征向量，并输入到已经训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数，从而实现对待评价的失真图像质量的精确预测；
将图像数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到具有强大学习能力的随机森林RF中训练回归模型，有效提高了模型的鲁棒性，跨数据库交叉验证实验也证明了本发明具有卓越的泛化能力。
实施例
本发明为一种与视觉感知相关的图像质量评价方法，具体方法分为两大部分，即建立IQA模型和回归预测；
建立IQA模型具体按照以下步骤实施：
步骤1，将图像由RGB颜色空间转变为YIQ颜色空间中：
Figure BDA0002029298890000151
步骤2，具体按照以下步骤实施为：
步骤2.1，选择大小为5×5的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算：
Figure BDA0002029298890000152
四方向取0°、90°、45°、135°，MK中K＝1，2，3，4分别表示四个方向的卷积模板，定义为：
Figure BDA0002029298890000153
式(2)中：MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，MK中的M＝x，y，u，v分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：
Figure BDA0002029298890000161
然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度相似性特征：
Figure BDA0002029298890000162
将参考图像与失真图像的亮度通道Y进行融合：
Y＝(Y1+Y2)/2 (5)
分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示：
Figure BDA0002029298890000163
Figure BDA0002029298890000164
最后，计算参考图像与失真图像计算的最终的梯度相似性特征：
G＝Gsim+[GDL-GRL] (8)；
步骤2.2，首先将参考图像与失真图像从空域经离散余弦变换转变为DCT系数，然后将csfL1、csfL2，csfM1、csfM2和csfH1、csfH2分别定义为参考图像和失真图像在低频LF、中频MF和高频HF区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：
Figure BDA0002029298890000165
式(9)中，K＝L1,M1,H1分别对应RK为LF、MF和HF这三个区域，p(u,v)表示在(u,v)点处DCT系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfL2、csfM2以及csfH2；
然后，通过式(10)-(12)分别计算参考图像与失真图像在LF、MF和HF区域的对比度相似性值分别计算如下：
Figure BDA0002029298890000171
Figure BDA0002029298890000172
Figure BDA0002029298890000173
最后，参计算考图像与失真图像的对比敏感度相似性特征：
F＝csfLMap(X)*csfMMap(X)*csfHMap(X) (13)；
步骤2.3，计算两幅图像之间的色度相似性特征：
Figure BDA0002029298890000174
步骤3中，具体按照以下步骤实施：
首先，分别将参考图像亮度通道Y1与失真图像亮度通道Y2分解为5个等级的频带：
IDOGσ1,σ2(X)＝I×(Gσ1(X)-Gσ2(X)) (15)
Figure BDA0002029298890000175
式(16)中，σi＝ki-1(i＝1～4)；
然后，计算两幅图像在各级频带间的相似性，即：
Figure BDA0002029298890000181
式(17)中，SSIM(﹒)表示相似性计算指标，i＝0～4。
步骤4中，具体按照以下步骤实施：
首先，分别提取色度相似性特征、梯度相似性特征以及对比敏感度似性特征的均值、标准偏差及熵，将上述提取的9-D特征与5-D频带特征进行多特征融合，融合后的特征空间用一个14-D特征向量表示，即：
V＝[Cm Cs Ce Gm Gs Ge f0 f1 f2 f3 f4 Fm Fs Fe] (18)；
现在，选择一种主流的IQA数据库TID2013训练IQA模型，方法是对TID2013数据库中所有参考图像和失真图像均执行上述步骤1-步骤4特征提取过程，为每幅失真图像生成一个14-D特征向量。由于TID2013数据库总共包含3000幅失真图像，因此此操作可获得一个3000×14-D的特征向量。
步骤5，将TID2013数据库中所有失真图像获得的3000×14-D的特征向量以及每幅失真图像对应的主观得分MOS值一起输入到随机森林RF中，即可完成IQA模型建立过程。
回归预测过程实施步骤：
步骤6，随机选择TID2013数据库中某幅待评价的失真图像及其对应的参考图像；例如：选择TID2013数据库中第一幅参考图像，和选择第一幅参考图像对应的第8种失真类型(高斯模糊失真)下的第1个失真等级的失真图像作为本实例的待评价的失真图像；将上述两幅图像执行步骤1～步骤4，生成表征该失真图像质量的14-D特征向量，并将该向量输入到已经训练好的IQA模型中，输出结果即为该模型预测的待评价的失真图像的质量分数，结果为5.2411。
TID2013数据库中主观分数MOS值的取值范围为0-9之间，因此，IQA模型预测的待评价的失真图像的质量分数越接近9，则表明此图像的质量越好；反之，质量分数越接近0，则图像的质量越差。
失真图像的失真等级越高，则质量越差。为验证此规律，我们选择TID2013数据库中第一幅参考图像对应的第8种失真类型(高斯模糊失真)下的第5个失真等级的失真图像作为待评价的失真图像，操作过程同上，此时IQA模型预测的失真图像的质量分数为1.7851，与上面选择第1个失真等级的失真图像进行实验的结果进行对比，结果验证了我们所建立的IQA模型满足图像的失真等级越高则其质量越差的规律。
综上所述，为解决现有的图像质量评价方法，与人眼主观感知并没有达到很好的一致性的问题；本发明通过建立IQA模型和对待评价的失真图像质量进行回归预测，充分模拟HVS可同时处理低级和高级图像特征的特性，采用DOG频带特征以及对比敏感度特征来共同反映人眼视觉系统的频率响应特性，增强模型对不同空间频率的分辨能力，实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。

Claims (8)

1.一种与视觉感知相关的图像质量评价方法，其特征在于，具体按照以下步骤实施：
步骤1、将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y与两个色度通道I和Q进行分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征；
步骤2、分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；
分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；
计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；
步骤3、采用高斯差分DOG模型在亮度通道Y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；
步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-D特征向量；
步骤5、将IQA数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型；
步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14-D特征向量，输入到训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数。
2.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤1中，图像的颜色空间转变过程表示为：
Figure FDA0002029298880000021
式(1)中矩阵的第1行系数决定亮度Y，对归一化的RGB值均为1时，即R＝G＝B＝1，即有Y＝1，因此矩阵第一行系数之和为1；
经式(1)后，即可实现图像亮度通道Y和两个色度通道I和Q的分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征。
3.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤2中，具体步骤实施为：
步骤2.1，在亮度通道Y中分别提取参考图像和失真图像的梯度特征，并计算两个梯度特征的梯度相似性，得到梯度相似性特征，具体按如下操作：
首先选择大小为N×N的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算，四方向取值分别为0°、90°、45°、135°，卷积方法如下：
Figure FDA0002029298880000022
式(2)中：MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，GM中的M＝x，y，u，v′分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：
Figure FDA0002029298880000031
式(3)中：G1(X,Y)为融合0°-90°两个方向的梯度分量值，G2(X,Y)为融合45°-135°两个方向的梯度分量值，GMap(X,Y)表示一幅图像提取的包含四个方向的梯度幅度值；
然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度幅度值相似性特征，具体方法如下：
Figure FDA0002029298880000032
式(4)中，GMap1(X,Y)和GMap2(X,Y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，C1为常数；
Y＝(Y1+Y2)/2 (5)
Figure FDA0002029298880000033
Figure FDA0002029298880000034
通过公式(5)将参考图像与失真图像的亮度通道Y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为GY，然后，通过公式(6)和(7)分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示，式(6)和(7)中，C2为常数；
最后，参考图像与失真图像计算的最终的梯度相似性特征为：
G＝Gsim+[GDL-GRL] (8)；
步骤2.2，在亮度通道Y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征，具体实现过程如下：
首先将参考图像与失真图像从空域经离散余弦变换转变为DCT系数，然后将csfL1、csfL2，csfM1、csfM2和csfH1、csfH2分别定义为参考图像和失真图像在低频LF、中频MF和高频HF区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：
Figure FDA0002029298880000041
式(9)中，K＝L1,M1,H1分别对应RK为LF、MF和HF这三个区域，p(u,v)表示在(u,v)点处DCT系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfL2、csfM2以及csfH2；
然后，通过式(10)～(12)分别计算参考图像与失真图像在LF、MF和HF区域的对比度相似性值分别计算如下：
Figure FDA0002029298880000042
Figure FDA0002029298880000043
Figure FDA0002029298880000044
式(10)、(11)和(12)中，C3、C4和C5均为常数；
最后，参考图像与失真图像的对比敏感度相似性特征计算为：
F＝csfLMap(X)*csfMMap(X)*csfHMap(X) (13)；
步骤2.3，将参考图像和失真图像的I通道分别用I1、I2表示，参考图像和失真图像的Q通道分别用Q1、Q2表示，分别计算两幅图像在I和Q通道的色度相似性，采用式(14)，将两个色度相似性的乘积即为色度相似性特征：
Figure FDA0002029298880000051
式(14)中，C6＝C7，均为常数。
4.如权利要求3所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤2.1中，C1＝386；C2＝55。
5.如权利要求3所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤2.2中，C3＝2000、C4＝1.7、C5＝0.0063。
6.如权利要求3所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤2.3中，C6＝C7＝130。
7.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤3，具体按照以下步骤实施：
首先，使用式(15)定义一幅图像的DOG响应，其中I代表图像的亮度通道，Gσ1(X)和Gσ2(X)分别表示标准偏差为σ1和σ2的两个高斯函数；
IDOGσ1,σ2(X)＝I×(Gσ1(X)-Gσ2(X)) (15)
然后，通过式(15)将一幅图像分解为5个等级的频带：
Figure FDA0002029298880000052
式(16)中，N代表图像的分解级数，σi＝ki-1(i＝1～N-1)；
最后，利用式(16)分别对参考图像亮度通道Y1与失真图像亮度通道Y2分解为5个等级的频带，并计算在各级频带间的相似性特征，即：
Figure FDA0002029298880000053
式(17)中，SSIM(﹒)表示相似性计算指标，i＝0～4。
8.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤4，具体按照以下步骤实施：
经步骤3完成后，可得到参考图像与失真图像之间的色度相似性特征、梯度相似性特征、对比敏感度相似性特征以及DOG频带特征，经过池化策略，提取色度相似性特征的平均值、标准偏差及熵，分别用Cm、Cs及Ce表示，提取梯度相似性特征的均值、标准偏差及熵，分别用Gm、Gs及Ge表示，提取对比敏感度似性特征的均值、标准偏差及熵，分别用Fm、Fs及Fe表示，DOG频带特征是一个5-D的特征向量，记为[f0 f1 f2 f3 f4]；
然后，将提取的3-D色度相似性特征、3-D梯度相似性特征、3-D对比敏感度相似性特征以及5-D频带特征进行多特征融合，融合后的特征空间用一个14-D特征向量表示，即：
V＝[Cm Cs Ce Gm Gs Ge f0 f1 f2 f3 f4 Fm Fs Fe] (18)。
CN201910304345.9A 2019-04-16 2019-04-16 一种与视觉感知相关的图像质量评价方法 Active CN110120034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910304345.9A CN110120034B (zh) 2019-04-16 2019-04-16 一种与视觉感知相关的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910304345.9A CN110120034B (zh) 2019-04-16 2019-04-16 一种与视觉感知相关的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110120034A CN110120034A (zh) 2019-08-13
CN110120034B true CN110120034B (zh) 2022-09-16

Family

ID=67521125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910304345.9A Active CN110120034B (zh) 2019-04-16 2019-04-16 一种与视觉感知相关的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110120034B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782445A (zh) * 2019-10-25 2020-02-11 北京华捷艾米科技有限公司 无参考图像质量评价方法及系统
CN112381761B (zh) * 2020-10-12 2022-09-30 华南理工大学 一种鲁棒的低光照增强图像质量评价方法
CN112446879B (zh) * 2021-01-06 2022-09-23 天津科技大学 一种基于图像熵的对比度失真图像质量评价方法
CN114067006B (zh) * 2022-01-17 2022-04-08 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
CN108961227A (zh) * 2018-06-22 2018-12-07 西安理工大学 一种基于空域和变换域多特征融合的图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028026B (zh) * 2016-05-27 2017-09-05 宁波大学 一种基于时空域结构的高效视频质量客观评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
CN108961227A (zh) * 2018-06-22 2018-12-07 西安理工大学 一种基于空域和变换域多特征融合的图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像质量评价:融合视觉特性与结构相似性指标;朱新山等;《哈尔滨工业大学学报》;20180425(第05期);全文 *
色彩熵在图像质量评价中的应用;徐琳等;《中国图象图形学报》;20151216(第12期);全文 *

Also Published As

Publication number Publication date
CN110120034A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
CN109191428B (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
Po et al. A novel patch variance biased convolutional neural network for no-reference image quality assessment
CN108830823B (zh) 基于空域结合频域分析的全参考型图像质量评价方法
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN108961227B (zh) 一种基于空域和变换域多特征融合的图像质量评价方法
CN113436167B (zh) 基于深度学习和视觉感知的无参考彩色图像质量评价方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111028203B (zh) 一种基于显著性的cnn盲图像质量评估方法
Wang et al. A new blind image quality framework based on natural color statistic
CN106327443A (zh) 一种改进的遗传算法的夜间图像增强方法
CN105761292A (zh) 一种基于颜色转移和修正的图像着色方法
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
CN110321452B (zh) 一种基于方向选择机制的图像检索方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN110717892A (zh) 一种色调映射图像质量评价方法
Ahmed et al. PIQI: perceptual image quality index based on ensemble of Gaussian process regression
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN115457551A (zh) 适用于小样本条件的叶片损伤识别方法
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: Room 505, 5th Floor, Building A, Building 11, Shinan Software Park, No. 288 Ningxia Road, Shinan District, Qingdao, Shandong Province, 266000

Patentee after: Qingdao Cognitive Artificial Intelligence Research Institute

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Patentee before: XI'AN University OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: 266000 Room 502, floor 5, building a, Shinan Software Park, No. 288, Ningxia road, Shinan District, Qingdao, Shandong

Patentee after: Qingdao class cognition artificial intelligence Co.,Ltd.

Country or region after: Zhong Guo

Address before: Room 505, 5th Floor, Building A, Building 11, Shinan Software Park, No. 288 Ningxia Road, Shinan District, Qingdao, Shandong Province, 266000

Patentee before: Qingdao Cognitive Artificial Intelligence Research Institute

Country or region before: Zhong Guo