CN107610093A - 基于相似性特征融合的全参考型图像质量评价方法 - Google Patents
基于相似性特征融合的全参考型图像质量评价方法 Download PDFInfo
- Publication number
- CN107610093A CN107610093A CN201710651932.6A CN201710651932A CN107610093A CN 107610093 A CN107610093 A CN 107610093A CN 201710651932 A CN201710651932 A CN 201710651932A CN 107610093 A CN107610093 A CN 107610093A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- msup
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开的基于相似性特征融合的全参考型图像质量评价方法，首先对数据库中的原图像和失真图像进行特征提取，分别提取纹理特征，相位角特征，梯度特征和彩度特征；其次结合主观MOS值，使用粒子群优化算法寻找支持向量机回归模型的最优参数；然后通过训练，建立支持向量回归模型；最后输入待检测图像，对图像质量进行评价。本发明基于相似性特征融合的全参考型图像质量评价方法采用了四种不同的相似性特征，使用支持向量机建立回归模型，实现了对全参考型图像质量进行客观评价，能够与人眼视觉特性保持较高的一致性。
Description
技术领域
本发明属于图像处理及图像质量评价方法技术领域，涉及一种基于相似性特征融合的全参考型图像质量评价方法。
背景技术
随着信息时代的到来，数字图像作为一种信息载体，扮演着不可或缺的角色。图像在获取、压缩、传输、处理、存储和显示过程中，会带来不同程度和不同类型的失真，直接影响图像信息的获取。因此，在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有非常重大的意义。
近年来，全参考型图像质量评价成为研究的热点，很多的研究者都在研究这个技术。目前，基于相似性的方法比较经典的是结构相似度图像质量评价方法(Zhou,W.,etal.,Image quality assessment:from error visibility to structuralsimilarity.IEEE Transactions on Image Processing,2004.13(4):p.600-612.)：首先，提取参考图像和失真图像的亮度信息，对比度信息和结构信息；其次，计算其相似性，得到亮度相似性、对比度相似性和结构相似性；最后，融合三种相似性特征，最终得到失真图像的质量分数。
此外，也有一些方法，对结构相似性方法进行改进。在FSIM(Zhang,L.,et al.,FSIM:A Feature Similarity Index for Image Quality Assessment.IEEETransactions on Image Processing,2011.20(8):p.2378-2386)中，计算参考图像和失真图像相位特征和梯度特征的相似性，加入彩度相似性，再使用相位信息进行加权的方法，对彩色图像质量进行评价。
目前，大部分的基于相似性的图像质量评价方法都是基于局部特征和像素点信息的，但是这些方法只利用了单一的局部特征信息，忽略了人眼视觉特性，从而导致评价结果与人眼主观评价结果一致性不高。
发明内容
本发明的目的在于提供一种基于相似性特征融合的全参考型图像质量评价方法，能够通过对失真图像和参考图像的相似性计算，实现对失真图像的质量进行评价。
本发明所采用的技术方案是，基于相似性特征融合的全参考型图像质量评价方法，具体按照以下步骤实施：
步骤1、对数据库中的参考图像和失真图像提取纹理特征，计算其纹理特征相似性；
步骤2、待步骤1完成后，先分别计算参考图像和失真图像的加权平均相位角，再计算加权平均相位角之间的相似性；
步骤3、待步骤2完成后，先提取参考图像和失真图像的边缘特征，得到梯度图像，再计算失真图像与参考图像分别对应的梯度图像之间的相似性；
步骤4、待步骤3完成后，将参考图像和失真图像由RGB颜色空间转换到YIQ空间中，使得颜色信息与亮度信息分离；分别计算参考图像和失真图像之间的I通道和Q通道的相似性，经融合得到彩度相似性；
步骤5、先将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征作为支持向量机回归模型的输入值，将MOS值作为输出值，使用粒子群优化算法寻找支持向量机回归模型的最优参数；再进行训练，得到支持向量回归模型，最终完成对图像质量进行评价。
本发明的特点还在于：
步骤1具体按照以下步骤实施：
步骤1.1、对数据库中的参考图像和失真图像提取图像的纹理特征，纹理特征提取采用的是灰度共生矩阵；
灰度共生矩阵提取的方法是使用位置算子对像素点相对空间位置进行统计，具体方法如下：
先将参考图像和失真图像的灰度等级压缩为8个灰度等级，再分别对其像素点进行统计，分别对中心像素点距离为1，角度为0°，45°，90°，135°四个方向上的像素点进行统计，分别得到参考图像和失真图像对应的灰度共生矩阵；
步骤1.2、经步骤1.1后，对参考图像和失真图像相同角度的灰度共生矩阵计算其相似性，得到四个相似性矩阵；
步骤1.3、先对经步骤1.2得到的四个相似性矩阵进行加权求和，得到一个相似性矩阵，再计算平均值，用来表示图像纹理特征相似性，相似性特征按照如下算法经计算获得：
式(1)中：Gr(·)表示灰度共生矩阵，T1(T1＝100)是一个常数，用来保证灰度共生矩阵相似度的稳定性。
步骤2具体按照以下步骤实施：
步骤2.1，待步骤1完成后，将参考图像和失真图像分别经过2D-Log Gabor变换，将图像转换到局部频率域中，得到频域特征；
对于一幅图像f(x,y)(参考图像或失真图像)，x,y为图像中像素的坐标，它的2D-Log Gabor变换表示为如下形式：
式(2)中：ω为频率，ψ为相位，σx和σy分别为水平方向和竖直方向的窗口宽度，d是缩放因子，为了确保
步骤2.2，经步骤2.1进行2D-Log Gabor变换后，使用形成正交的Even(en)和Odd(on)对称滤波器来计算响应能量，在方向θj上的响应能量计算如下：
式(3)中：n是尺度大小；
再计算加权平均滤波器响应向量，通过式(4)进行计算：
式(4)中：ε＝0.0001，用来防止分母为零；
步骤2.3，待步骤2.2完成后，先从最小规模的能量平方响应估计噪声功率；再通过将均方能值除以均方滤波值得到噪声功率的估计值；接着通过找到图像点来更新取向矩阵，其中该取向中的能量大于任何先前方向，用方向矩阵替换当前定向数字中的这些元素，将得到的特征相位角旋转90度，使0相对应于阶跃边，获得加权平均相位角图；将得到的参考图像和失真图像的加权平均相位角图，通过式(5)计算其之间的相位角相似性：
式(5)中：x和y分别表示参考图像和失真图像，f(x)，f(y)分别为参考图像和失真图像的加权平均相位角图，T2＝0.01，用来保证加权相位角相似性的稳定性。
步骤3具体按照以下步骤实施：
步骤3.1，使用3*3窗口的Scharr算子分别对参考图像和失真图像进行卷积运算，进行边缘特征的提取；
步骤3.2，经步骤3.1得到的边缘特征后，根据式(6)分别计算参考图像和失真图像的梯度幅度值，具体算法如下：
式(6)中：gx和gy分别表示水平方向和垂直方向的偏导数，g表示梯度幅度值；
步骤3.3，待步骤3.2完成后通过式(7)计算梯度相似性：
式(7)中：g(x)和g(y)分别表示参考图像和失真图像的梯度幅度值，T3是个常数(T3＝160)。
步骤4具体按照以下步骤实施：
步骤4.1，通过式(8)分别将参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间，分别提取I通道和Q通道的颜色特征；
通过颜色空间转换后，得到和图像大小相同的矩阵I，Q通道的颜色信息，实现了颜色信息与亮度信息的分离；
步骤4.2，待步骤4.1完成后，分别计算参考图像和失真图像之间I通道和Q通道的相似性，具体如式(9)和式(10)所示：
式(9)和(10)中：I(x),I(y)和Q(x),Q(y)分别表示参考图像和失真图像的I通道和Q通道的信息；T4和T5(T4＝T5＝200)是两个常数，用来确保相似性的稳定性；
步骤4.3，经步骤4.2后再通过式(11)，将I通道和Q通道的相似性进行融合，得到彩度相似性，具体算法如下：
SC(x,y)＝SI(x,y)·SQ(x,y)(11)。
步骤5具体按照以下步骤实施：
步骤5.1，将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征SGr,Sa,Sg和SC，结合数据库中失真图像的MOS值，使用粒子群优化算法，得到最佳的支持向量机回归模型的参数：bestc为epsilon-SVR中的参数C的最佳值，默认值为1，bestg为内核函数中的gamma值的最佳值；
步骤5.2，将经步骤5.1得到的bestc设置为LIB-SVM的参数，在LIB-SVM中，SVM类型设置为epsilon-SVR，核函数类型设置为radial basis function，即径向基函数，其他参数采取LIB-SVM默认值；
再结合失真图像的MOS值，建立支持向量机回归模型，将得到的每幅失真图像的四个特征相似性值作为支持向量机回归模型的输入值，将失真图像的MOS值作为输出值，进行训练，建立SVR模型；
步骤5.3，经步骤5.2建立模型后，将一幅或多幅待检测失真图和与其对应的原图像先按照步骤1、步骤2、步骤3及步骤4提取其相似性特征，再将其相似性特征输入至建立的SVR模型中，对图像质量进行预测，得到预测的MOS值，从而完成对图像质量的评价。
本发明的有益效果在于：
(1)本发明基于相似性特征融合的全参考型图像质量评价方法，在大型公开数据库上融合了四种不同的相似性特征，结合图像的主观MOS值，建立了一个支持向量机回归模型，对图像的质量进行评价；
(2)本发明基于相似性特征融合的全参考型图像质量评价方法，对FSIM方法进行了改进，增加了灰度共生矩阵特征来表示纹理特征；改进了频域特征，使用平均加权相位角代替相位特征，来表示图像频域特征，与人眼的一致性更高；加入了彩度特征，能对彩色图像进行质量评价；
(3)使用本发明基于相似性特征融合的全参考型图像质量评价方法建立模型后，在对图像质量评价时非常简单，大幅提高了图像质量评价的计算速度，与人眼也能保持很好的一致性，能广泛应用于图像质量评价领域。
附图说明
图1是本发明基于相似性特征融合的全参考型图像质量评价方法的框架图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于相似性特征融合的全参考型图像质量评价方法，如图1所示，可将其分为两大部分，分别为：SVR模型的建立和图像质量的评价。
SVR模型的建立部分，处理对象是图像数据库中的参考图像和失真图像，提取本发明中的四种相似性特征，结合数据库中的主观MOS值，使用支持向量机的方法建立SVR模型。
图像质量评价部分，计算失真图像和对应的参考图像的纹理、相位角、梯度和彩度相似性，将这四个相似性特征作为建立的SVR模型的输入值，从而对失真图像的MOS值进行预测，对图像质量进行评价。
本发明基于相似性特征融合的全参考型图像质量评价方法，具体按照以下步骤实施：
步骤1、对数据库中的参考图像和失真图像提取纹理特征，计算其纹理特征相似性，具体按照以下步骤实施：
步骤1.1、对数据库中的参考图像和失真图像提取图像的纹理特征，纹理特征提取采用的是灰度共生矩阵；
灰度共生矩阵提取的方法是使用位置算子对像素点相对空间位置进行统计，具体方法如下：
先将参考图像和失真图像的灰度等级压缩为8个灰度等级，再对其图像像素点进行统计，分别对中心像素点距离为1，角度为0°，45°，90°，135°四个方向上的像素点进行统计，分别得到参考图像和失真图对应的灰度共生矩阵；
步骤1.2、经步骤1.1后，对参考图像和失真图像相同角度的灰度共生矩阵计算其相似性，得到四个相似性矩阵；
步骤1.3、先对经步骤1.2得到的四个相似性矩阵进行加权求和，得到一个相似性矩阵，再计算平均值，用来表示图像纹理特征相似性，相似性特征按照如下算法经计算获得：
式(1)中：Gr(·)表示灰度共生矩阵，T1(T1＝100)是一个常数，用来保证灰度共生矩阵相似度的稳定性。
步骤2、待步骤1完成后，先分别计算参考图像和失真图像的加权平均相位角，再计算加权平均相位角之间的相似性，具体按照以下步骤实施：
步骤2.1，待步骤1完成后，将参考图像和失真图像分别经过2D-Log Gabor变换，将图像转换到局部频率域中，得到参考图像和失真图像的频域特征；
对于一幅图像f(x,y)(参考图像或失真图像)，x,y为图像中像素的坐标，它的2D-Log Gabor变换表示为如下形式：
式(2)中：ω为频率，ψ为相位，σx和σy分别为水平方向和竖直方向的窗口宽度，d是缩放因子，为了确保
步骤2.2，经步骤2.1进行2D-Log Gabor变换后，使用形成正交的Even(en)和Odd(on)对称滤波器来计算响应能量，在方向θj上的响应能量计算如下：
式(3)中：n是尺度大小；
再计算加权平均滤波器响应向量，通过式(4)进行计算：
式(4)中：ε＝0.0001，用来防止分母为零；
步骤2.3，待步骤2.2完成后，先从最小规模的能量平方响应估计噪声功率；再通过将均方能值除以均方滤波值得到噪声功率的估计值；接着通过找到图像点来更新取向矩阵，其中该取向中的能量大于任何先前方向，用方向矩阵替换当前定向数字中的这些元素，将得到的特征相位角旋转90度，使0相对应于阶跃边，获得加权平均相位角图；将得到的参考图像和失真图像的加权平均相位角图，通过式(5)计算其之间的相位角相似性：
式(5)中：x和y分别表示参考图像和失真图像，f(x)，f(y)分别为x和y的加权平均相位角图，T2＝0.01，用来保证加权相位角相似性的稳定性。
步骤3、待步骤2完成后，先提取参考图像和失真图像的边缘特征，得到对应的梯度图像，再计算其梯度图像之间的相似性，具体按照以下步骤实施：
步骤3.1，使用3*3窗口的Scharr算子分别与参考图像和失真图像进行卷积运算，进行边缘特征的提取；
步骤3.2，经步骤3.1得到的边缘特征后，根据式(6)对参考图像和失真图像进行计算，分别得到其对应的梯度幅度值，具体算法如下：
式(6)中：gx和gy分别表示水平方向和垂直方向的偏导数，g表示梯度幅度值；
步骤3.3，待步骤3.2完成后通过式(7)计算梯度相似性：
式(7)中：g(x)和g(y)分别表示参考图像和失真图像的梯度幅度值，T3是个常数(T3＝160)，用来确保梯度相似性的稳定性。
步骤4、待步骤3完成后，将参考图像和失真图像由RGB颜色空间转换到YIQ空间中，使得颜色信息与亮度信息分离；分别计算I通道和Q通道的相似性，经融合得到彩度相似性，具体按照以下步骤实施：
步骤4.1，通过式(8)分别将参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间，分别提取I通道和Q通道的颜色特征；
通过颜色空间转换后，得到和图像大小相同的矩阵I，Q通道的颜色信息，实现了颜色信息与亮度信息的分离；
步骤4.2，待步骤4.1完成后，分别计算参考图像和失真图像之间I通道和Q通道的相似性，具体算法分别如式(9)和式(10)：
式(9)和(10)中：I(x),I(y)和Q(x),Q(y)分别表示参考图像和失真图像的I通道和Q通道的信息；T4和T5(T4＝T5＝200)是两个常数，用来确保相似性的稳定性；
步骤4.3，经步骤4.2后再通过式(11)，将I通道和Q通道的相似性进行融合，得到彩度相似性，具体算法如下：
SC(x,y)＝SI(x,y)·SQ(x,y) (11)。
步骤5、先将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征(SGr,Sa,Sg和SC)作为支持向量机回归模型的输入值，将MOS值作为输出值，使用粒子群优化算法寻找支持向量机回归模型(LIB-SVM)的最优参数；再进行训练，得到支持向量回归模型，最终完成对图像质量进行评价，具体按照以下步骤实施：
步骤5.1，将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征SGr,Sa,Sg和SC，结合数据库中失真图像的MOS值，使用粒子群优化算法，得到最佳的支持向量机回归模型的参数：bestc为epsilon-SVR中的参数C的最佳值，默认值为1，bestg为内核函数中的gamma值的最佳值；
步骤5.2，将经步骤5.1得到的bestc设置为LIB-SVM的参数，在LIB-SVM中，SVM类型设置为epsilon-SVR，核函数类型设置为radial basis function(径向基函数)，其他参数采取LIB-SVM默认值；
再结合失真图像的MOS值，建立支持向量机回归模型，将得到的每幅失真图像的四个特征相似性值作为支持向量机回归模型的输入值，将失真图像的MOS值作为输出值，进行训练，建立SVR模型；
步骤5.3，经步骤5.2建立模型后，将一幅或多幅待检测失真图和与其对应的原图像先按照步骤1、步骤2、步骤3及步骤4提取其相似性特征，再将其相似性特征输入至建立的SVR模型中，对图像质量进行预测，得到预测的MOS值，从而完成对图像质量的评价。
本发明基于相似性特征融合的全参考型图像质量评价方法，从功能执行上讲：首先执行对数据库中的参考图像和失真图像分别提取纹理特征、相位角特征、梯度特征和彩度特征；其次根据提取到的特征计算失真图像与参考图像之间的相似性特征；然后结合相似性特征和MOS值，使用粒子群优化算法，求得SVR模型的最佳参数bestc，bestg；接下来根据得到的参数，结合相似性特征和主观MOS值，通过训练建立SVR模型；最后计算待检测图像的四个相似性特征，将其作为SVR模型的输入值，进行MOS值的预测，从而对图像质量进行评价。
本发明基于相似性特征融合的全参考型图像质量评价方法，充分利用了与人眼视觉特性相一致的四种相似性特征，能够根据数据库中的参考图像和失真图像，使用特征融合的方法，建立SVR质量评价模型，从而对图像质量进行评价，与人眼识别保持较高的一致性。
Claims (6)
1.基于相似性特征融合的全参考型图像质量评价方法，其特征在于，具体按照以下步骤实施：
步骤1、对数据库中的参考图像和失真图像提取纹理特征，计算其纹理特征相似性；
步骤2、待步骤1完成后，先分别计算参考图像和失真图像的加权平均相位角，再计算加权平均相位角之间的相似性；
步骤3、待步骤2完成后，先提取参考图像和失真图像的边缘特征，得到梯度图像，再计算失真图像与参考图像分别对应的梯度图像之间的相似性；
步骤4、待步骤3完成后，将参考图像和失真图像由RGB颜色空间转换到YIQ空间中，使得颜色信息与亮度信息分离；分别计算参考图像和失真图像之间的I通道和Q通道的相似性，经融合得到彩度相似性；
步骤5、先将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征作为支持向量机回归模型的输入值，将MOS值作为输出值，使用粒子群优化算法寻找支持向量机回归模型的最优参数；再进行训练，得到支持向量回归模型，最终完成对图像质量进行评价。
2.根据权利要求1所述的基于相似性特征融合的全参考型图像质量评价方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、对数据库中的参考图像和失真图像提取图像的纹理特征，纹理特征提取采用的是灰度共生矩阵；
灰度共生矩阵提取的方法是使用位置算子对像素点相对空间位置进行统计，具体方法如下：
先将参考图像和失真图像的灰度等级压缩为8个灰度等级，再分别对其像素点进行统计，分别对中心像素点距离为1，角度为0°，45°，90°，135°四个方向上的像素点进行统计，分别得到参考图像和失真图像对应的灰度共生矩阵；
步骤1.2、经步骤1.1后，对参考图像和失真图像相同角度的灰度共生矩阵计算其相似性，得到四个相似性矩阵；
步骤1.3、先对经步骤1.2得到的四个相似性矩阵进行加权求和，得到一个相似性矩阵，再计算平均值，用来表示图像纹理特征相似性，相似性特征按照如下算法经计算获得：
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>G</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>G</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>G</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<mi>G</mi>
<mi>r</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>G</mi>
<mi>r</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(1)中：Gr(·)表示灰度共生矩阵，T1一个常数，T1＝100，用来保证灰度共生矩阵相似度的稳定性。
3.根据权利要求1所述的基于相似性特征融合的全参考型图像质量评价方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1，待步骤1完成后，将参考图像和失真图像分别经过2D-Log Gabor变换，将图像转换到局部频率域中，得到频域特征；
对于一幅图像f(x,y)，x,y为图像中像素的坐标，它的2D-LogGabor变换表示为如下形式：
<mrow>
<msub>
<mi>G</mi>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>,</mo>
<mi>&omega;</mi>
<mo>,</mo>
<mi>&psi;</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>d</mi>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mo>(</mo>
<mrow>
<mfrac>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mi>w</mi>
</msubsup>
</mfrac>
<mo>+</mo>
<mfrac>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mfrac>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mi>x</mi>
<mo>+</mo>
<mi>&psi;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(2)中：ω为频率，ψ为相位，σx和σy分别为水平方向和竖直方向的窗口宽度，d是缩放因子，为了确保
步骤2.2，经步骤2.1进行2D-Log Gabor变换后，使用形成正交的Even(en)和Odd(on)对称滤波器来计算响应能量，在方向θj上的响应能量计算如下：
<mrow>
<msub>
<mi>E</mi>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>F</mi>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>H</mi>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(3)中：n是尺度大小；
再计算加权平均滤波器响应向量，通过式(4)进行计算：
<mrow>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>_</mo>
<mi>e</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>,</mo>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>_</mo>
<mi>o</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(4)中：ε＝0.0001，用来防止分母为零；
步骤2.3，待步骤2.2完成后，先从最小规模的能量平方响应估计噪声功率；再通过将均方能值除以均方滤波值得到噪声功率的估计值；接着通过找到图像点来更新取向矩阵，其中该取向中的能量大于任何先前方向，用方向矩阵替换当前定向数字中的这些元素，将得到的特征相位角旋转90度，使0相对应于阶跃边，获得加权平均相位角图；将得到的参考图像和失真图像的加权平均相位角图，通过式(5)计算其之间的相位角相似性：
<mrow>
<msub>
<mi>S</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>f</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(5)中：x和y分别表示参考图像和失真图像，f(x)，f(y)分别为参考图像和失真图像的加权平均相位角图，T2＝0.01，用来保证加权相位角相似性的稳定性。
4.根据权利要求1所述的基于相似性特征融合的全参考型图像质量评价方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1，使用3*3窗口的Scharr算子分别对参考图像和失真图像进行卷积运算，进行边缘特征的提取；
步骤3.2，经步骤3.1得到的边缘特征后，根据式(6)分别计算参考图像和失真图像的梯度幅度值，具体算法如下：
<mrow>
<mi>g</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>g</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>g</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(6)中：gx和gy分别表示水平方向和垂直方向的偏导数，g表示梯度幅度值；
步骤3.3，待步骤3.2完成后通过式(7)计算梯度相似性：
<mrow>
<msub>
<mi>S</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>3</mn>
</msub>
</mrow>
<mrow>
<msup>
<mi>g</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>g</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>3</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(7)中：g(x)和g(y)分别表示参考图像和失真图像的梯度幅度值，T3是个常数，T3＝160。
5.根据权利要求1所述的基于相似性特征融合的全参考型图像质量评价方法，其特征在于，所述步骤4具体按照以下步骤实施：
步骤4.1，通过式(8)分别将参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间，分别提取I通道和Q通道的颜色特征；
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>Y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>I</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Q</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>0.299</mn>
</mtd>
<mtd>
<mn>0.587</mn>
</mtd>
<mtd>
<mn>0.114</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.596</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.274</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.322</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.211</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>0.523</mn>
</mrow>
</mtd>
<mtd>
<mn>0.312</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>G</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>B</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
通过颜色空间转换后，得到和图像大小相同的矩阵I，Q通道的颜色信息，实现了颜色信息与亮度信息的分离；
步骤4.2，待步骤4.1完成后，分别计算参考图像和失真图像之间I通道和Q通道的相似性，具体如式(9)和式(10)所示：
<mrow>
<msub>
<mi>S</mi>
<mi>I</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>4</mn>
</msub>
</mrow>
<mrow>
<msup>
<mi>I</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>I</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>4</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mi>Q</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>5</mn>
</msub>
</mrow>
<mrow>
<msup>
<mi>Q</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>Q</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>T</mi>
<mn>5</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
式(9)和(10)中：I(x),I(y)和Q(x),Q(y)分别表示参考图像和失真图像的I通道和Q通道的信息；T4和T5(T4＝T5＝200)是两个常数，用来确保相似性的稳定性；
步骤4.3，经步骤4.2后再通过式(11)，将I通道和Q通道的相似性进行融合，得到彩度相似性，具体算法如下：
SC(x,y)＝SI(x,y)·SQ(x,y) (11)。
6.根据权利要求1所述的基于相似性特征融合的全参考型图像质量评价方法，其特征在于，所述步骤5具体按照以下步骤实施：
步骤5.1，将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征SGr,Sa,Sg和SC，结合数据库中失真图像的MOS值，使用粒子群优化算法，得到最佳的支持向量机回归模型的参数：bestc为epsilon-SVR中的参数C的最佳值，默认值为1，bestg为内核函数中的gamma值的最佳值；
步骤5.2，将经步骤5.1得到的bestc设置为LIB-SVM的参数，在LIB-SVM中，SVM类型设置为epsilon-SVR，核函数类型设置为radial basis function，即径向基函数，其他参数采取LIB-SVM默认值；
再结合失真图像的MOS值，建立支持向量机回归模型，将得到的每幅失真图像的四个特征相似性值作为支持向量机回归模型的输入值，将失真图像的MOS值作为输出值，进行训练，建立SVR模型；
步骤5.3，经步骤5.2建立模型后，将一幅或多幅待检测失真图和与其对应的原图像先按照步骤1、步骤2、步骤3及步骤4提取其相似性特征，再将其相似性特征输入至建立的SVR模型中，对图像质量进行预测，得到预测的MOS值，从而完成对图像质量的评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651932.6A CN107610093B (zh) | 2017-08-02 | 2017-08-02 | 基于相似性特征融合的全参考型图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651932.6A CN107610093B (zh) | 2017-08-02 | 2017-08-02 | 基于相似性特征融合的全参考型图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610093A true CN107610093A (zh) | 2018-01-19 |
| CN107610093B CN107610093B (zh) | 2020-09-25 |
Family
ID=61064713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710651932.6A Active CN107610093B (zh) | 2017-08-02 | 2017-08-02 | 基于相似性特征融合的全参考型图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610093B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830823A (zh) * | 2018-03-14 | 2018-11-16 | 西安理工大学 | 基于空域结合频域分析的全参考型图像质量评价方法 |
| CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN110276744A (zh) * | 2019-05-15 | 2019-09-24 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| CN110570420A (zh) * | 2019-09-16 | 2019-12-13 | 中山大学 | 一种无参考对比度失真图像质量评价方法 |
| WO2021047453A1 (zh) * | 2019-09-11 | 2021-03-18 | 上海高德威智能交通系统有限公司 | 图像质量确定方法、装置及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504676A (zh) * | 2014-11-07 | 2015-04-08 | 嘉兴学院 | 一种多视觉敏感特征相似度的全参考图像质量评价方法 |
| CN104574399A (zh) * | 2015-01-06 | 2015-04-29 | 天津大学 | 基于多尺度视觉显著性与梯度幅值的图像质量评价方法 |
| CN104851098A (zh) * | 2015-05-22 | 2015-08-19 | 天津大学 | 基于改进结构相似度的立体图像质量客观评价方法 |
| CN105354835A (zh) * | 2015-10-16 | 2016-02-24 | 浙江工业大学 | 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法 |
| CN105631890A (zh) * | 2016-02-04 | 2016-06-01 | 上海文广科技（集团）有限公司 | 基于图像梯度和相位一致性的失焦图片质量评价方法 |
| CN105931257A (zh) * | 2016-06-12 | 2016-09-07 | 西安电子科技大学 | 基于纹理特征和结构相似度的sar图像质量评估方法 |
-
2017
- 2017-08-02 CN CN201710651932.6A patent/CN107610093B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504676A (zh) * | 2014-11-07 | 2015-04-08 | 嘉兴学院 | 一种多视觉敏感特征相似度的全参考图像质量评价方法 |
| CN104574399A (zh) * | 2015-01-06 | 2015-04-29 | 天津大学 | 基于多尺度视觉显著性与梯度幅值的图像质量评价方法 |
| CN104851098A (zh) * | 2015-05-22 | 2015-08-19 | 天津大学 | 基于改进结构相似度的立体图像质量客观评价方法 |
| CN105354835A (zh) * | 2015-10-16 | 2016-02-24 | 浙江工业大学 | 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法 |
| CN105631890A (zh) * | 2016-02-04 | 2016-06-01 | 上海文广科技（集团）有限公司 | 基于图像梯度和相位一致性的失焦图片质量评价方法 |
| CN105931257A (zh) * | 2016-06-12 | 2016-09-07 | 西安电子科技大学 | 基于纹理特征和结构相似度的sar图像质量评估方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIN ZHANG 等: "FSIM: A Feature Similarity Index for Image Quality Assessment", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| SHUHONG JIAO 等: "SAR Image Quality Assessment Based on SSIM Using Textural Feature", 《2013 SEVENTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
| YONG DING 等: "Image quality assessment based on multi-feature extraction and synthesis with support vector regression", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830823A (zh) * | 2018-03-14 | 2018-11-16 | 西安理工大学 | 基于空域结合频域分析的全参考型图像质量评价方法 |
| CN108830823B (zh) * | 2018-03-14 | 2021-10-26 | 西安理工大学 | 基于空域结合频域分析的全参考型图像质量评价方法 |
| CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN109523506B (zh) * | 2018-09-21 | 2021-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN110276744A (zh) * | 2019-05-15 | 2019-09-24 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| CN110276744B (zh) * | 2019-05-15 | 2021-10-26 | 北京航空航天大学 | 图像拼接质量的测评方法及装置 |
| WO2021047453A1 (zh) * | 2019-09-11 | 2021-03-18 | 上海高德威智能交通系统有限公司 | 图像质量确定方法、装置及设备 |
| CN110570420A (zh) * | 2019-09-16 | 2019-12-13 | 中山大学 | 一种无参考对比度失真图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610093B (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610093A (zh) | 基于相似性特征融合的全参考型图像质量评价方法 | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN105354865B (zh) | 多光谱遥感卫星影像自动云检测方法及系统 | |
| CN104966085B (zh) | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 | |
| CN107123088B (zh) | 一种自动更换证件照背景颜色的方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN105243670B (zh) | 一种稀疏和低秩联合表达的视频前景对象精准提取方法 | |
| CN109191428B (zh) | 基于掩蔽纹理特征的全参考型图像质量评价方法 | |
| CN107194872A (zh) | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 | |
| CN106127688B (zh) | 一种超分辨率图像重建方法及其系统 | |
| CN108830823B (zh) | 基于空域结合频域分析的全参考型图像质量评价方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN109359681A (zh) | 一种基于改进全卷积神经网络的大田作物病虫害识别方法 | |
| CN106204223B (zh) | 图像处理方法及系统 | |
| CN105744256A (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN104574381B (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
| CN105426825B (zh) | 一种基于航拍图像识别的电网地理接线图绘制方法 | |
| CN107330854B (zh) | 一种基于新型模板的图像超分辨率增强方法 | |
| CN107798661A (zh) | 一种自适应的图像增强方法 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN110120034B (zh) | 一种与视觉感知相关的图像质量评价方法 | |
| CN105160647A (zh) | 一种全色多光谱影像融合方法 | |
| CN107169508A (zh) | 一种基于融合特征的旗袍图像情感语义识别方法 | |
| CN108961227A (zh) | 一种基于空域和变换域多特征融合的图像质量评价方法 | |
| CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |