CN113256590A - 一种基于Gabor自相似度特征的无参考3D合成图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于Gabor自相似度特征的无参考3D合成图像质量评价方法，该方法将彩色图像转换成灰度图像后，对灰度图像进行Gabor变换得到不同方向和不同尺度的Gabor滤波系数，再对Gabor滤波系数计算不同尺度下Gabor滤波系数的Gabor自相似度；然后计算失真灰度图像以及各级高斯模糊后的灰度失真图像之间的梯度自相似度，并采用Harr小波变换计算失真灰度图像的图像复杂度；最后融合Gabor自相似度、梯度自相似度和图像复杂度得到总的3D合成图像质量评价结果，该方法计算方便，综合考虑了图像的结构特征、梯度特征和图像复杂度特征，提高了3D合成图像质量评价精度。

Description

一种基于Gabor自相似度特征的无参考3D合成图像质量评价 方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于Gabor自相似度特征的无参考3D合成图像质量评价方法。

背景技术

随着三维技术的发展，自由视点视频技术在三维电视、虚拟现实和三维视频会议等领域得到广泛应用，自由视点视频技术促进了基于深度图的绘制(Depth-Image BasedRender，DIBR)技术的发展，DIBR技术根据已有的视点图像生成3D合成图像，减少了三维图像和视频的存储和传输数据量。由于不精确的深度图估计、遮挡和合成算法等原因，采用DBIR技术合成的3D合成图像存在着失真，与自然图像失真不同的是，这些失真主要由几何失真构成，传统的图像质量评价方法主要针对自然图像失真进行评价，针对3D合成图像失真效果不佳。因此有必要开发专门针对3D合成图像失真进行评价的图像质量评价方法。

针对3D合成图像质量评价，国内外学者提出了一些方法；Battisti[F.Battisti,E.Bosc,M.Carli,P.Le Callet,and S.Perugia,Objective image quality assessmentof 3D synthesized views,Signal Processing and Image Communication,vol.30,2015.]采用参考图像和失真图像的小波系数统计特征相似度进行3D合成图像质量评价；Sandic-Stankovic[D.Sandic-Stankovic,D.Kukolj,and P.LeCallet,DIBR-synthesizedimage quality assessment based on morpho-logical wavelets,In Proc.IEEEInt.Workshop Quality Multimedia Experience,2015.]采用形态小波分解，并计算参考图像和失真图像分解系数的PSNR(峰值信噪比)进行3D合成图像质量评价；Yue[G.Yue,C.Hou,K.Gu,T.Zhou,and G.Zhai,Combining local and global measures for DIBR-synthesized image quality evaluation,IEEE Transaction on Image Processing,2018.]通过计算遮挡区域中心像素和邻域像素的相似度来衡量几何失真，同时计算失真图像和其下采样图像之间的距离来衡量模糊失真，结合几何失真和模糊失真得到总的客观图像质量评价结果；Gu[K.Gu,V.Jakhetiya,J.F.Qiao,X.Li,W.Lin and D.Thalmann,Model-based referenceless quality metric of 3D synthesized images using local imagedescription,IEEE Transaction on Image Processing,27(1):394-405,2018.]采用自相关模型检测几何失真，并结合视觉显著度进行3D合成图像质量评价。

以上方法在进行3D合成图像质量评价时，只考虑了局部失真，但3D合成图像除了局部失真外，也存在全局结构失真和梯度失真，此外，图像复杂度对3D合成图像质量评价结果也有一定影响，所以这些方法与主观评价结果之间仍存在差距；因此需要一种计算方便和更高图像质量评价精度的基于Gabor自相似度特征的无参考3D合成图像质量评价方法。

发明内容

本发明的目的是提供一种计算方便和图像质量评价精度更高的基于Gabor自相似度特征的无参考3D合成图像质量评价方法。

基于Gabor特征自相似度的无参考3D合成图像质量评价方法，包括：

步骤(1)：从输入DBIR失真图像集中输入彩色失真图像，将彩色失真图像转换为灰度失真图像I；

步骤(2)：采用不同尺度和不同方向的二维Gabor滤波器对灰度失真图像I进行变换，具体子步骤如下：

步骤(2.1)：建立L个二维Gabor滤波器，二维Gabor滤波器有M个尺度和N个方向，因此有L＝M×N，其中，M为Gabor滤波器的尺度个数，N为Gabor滤波器的方向个数，L为Gabor滤波器的总个数；

L个二维离散Gabor滤波器的构建公式如下：

x'＝x cosθ_n+y sinθ_n

y'＝y cosθ_n-x sinθ_n

其中，x和y分别为像素在图像中的横坐标和纵坐标，m为Gabor滤波器的尺度索引，m＝0,1,...,M-1，n为Gabor滤波器的方向索引，n＝0,1,...,N-1，θ_n＝2πn/N，θ_n为第n个方向的角度参数，f_m＝a^-mf_max，f_m为第m个尺度的频率参数，其中

f_max为最高频率，x'和y'为中间变量，γ为θ_n角度方向的标准差参数，η为与θ_n角度垂直方向的标准差参数；

步骤(2.2)：用步骤(2.1)构建的L个Gabor滤波器对灰度失真图像I进行滤波，得到Gabor系数G(m,n,x,y)，计算公式如下：

其中，I(x,y)为输入灰度失真图像在(x,y)像素处的灰度取值，x和y分别为像素在图像中的横坐标和纵坐标，x＝1,2,...,W，y＝1,2,...,H,W和H分别为灰度图像I的宽度和高度；f(x,y,f_m,θ_n)为第m个尺度和第n个方向的Gabor滤波器，符号

为卷积操作，G(x,y,m,n)为灰度失真图像I经Gabor滤波后得到的Gabor滤波系数，其中0≤m≤M-1，0≤n≤N-1；

步骤(3)：计算灰度失真图像I的Gabor自相似度R，计算子步骤如下：

步骤(3.1)：计算同一尺度下各个方向的Gabor系数之和，采用公式如下：

其中，B(m,x,y)为第m个尺度(x,y)位置的N个方向的Gabor系数之和；

步骤(3.2)：计算相邻尺度下Gabor自相似度，以m尺度和m+1尺度之间的Gabor自相似度计算为例，采用公式如下：

其中，S(m,x,y)为(x,y)像素位置的m尺度和m+1尺度之间的Gabor自相似度，C₁为避免分母为0而设的常数；

步骤(3.3)：对所有相邻尺度和不同像素位置的Gabor系数相似度求平均，得到总的Gabor自相似度，采用公式如下：

其中，W为灰度图像I的宽度，H为灰度图像I的高度，M为Gabor滤波器的尺度个数，Q(x,y)为(x,y)像素位置的Gabor自相似度，R为灰度失真图像I的总的Gabor自相似度；

步骤(4)：对灰度失真图像I计算梯度自相似度P，采用子步骤如下：

步骤(4.1)：构建水平梯度算子G_H和垂直梯度算子G_V；

步骤(4.2)：采用水平梯度算子G_H和垂直梯度算子G_V对灰度失真图像I进行滤波，采用公式如下：

其中，I_H为水平梯度，I_V为垂直梯度，

为卷积运算；其中G_H和G_V取值如下：

步骤(4.3)：计算灰度失真图像I的梯度U，计算公式如下：

步骤(4.4)：将灰度失真图像I用高斯算子进行卷积，得到高斯模糊后的图像I₁，具体公式如下：

其中D为高斯滤波器算子，

为卷积运算；

步骤(4.5)：同样按步骤(4.1)到步骤(4.3)的方法对高斯模糊后的图像I₁计算梯度U₁，并计算灰度失真图像I的梯度U和高斯模糊后的图像I₁的梯度U₁之间的梯度自相似度，计算公式如下：

其中，T₁(x,y)为(x,y)像素位置的梯度U和梯度U₁之间的梯度自相似度，W和H分别为灰度图像的宽度和高度，C₂为避免分母为0而设的常数；

步骤(4.6)：对灰度失真图像I按步骤(4.4)的方法进行k次高斯模糊得到图像I_k，对灰度失真图像I按步骤(4.4)的方法进行k+1次高斯模糊得到图像I_k+1，采用与步骤(4.5)类似的方法计算I_k的梯度U_k和高斯模糊后的图像I_k+1的梯度U_k+1之间的梯度自相似度P_k；

步骤(4.7)：将步骤(4.6)重复K-1次得到K-1个梯度自相似度P_k，其中求取各个梯度自相似度P_k的均值，得到总的梯度自相似度P，计算公式如下：

其中，K为对图像I进行高斯模糊的总次数，P为总的梯度自相似度；

步骤(5)：计算灰度失真图像I的图像复杂度E，具体步骤如下：

步骤(5.1)：对灰度失真图像I进行一级Harr小波变换，得到LL、HL、LH和HH四个子带；

步骤(5.2)：并计算LH和HL两个子带的平均能量，计算公式如下：

其中，Q_LH(i,j)为像素(i,j)位置LH子带的Harr小波系数，Q_HL(i,j)为像素(i,j)位置HL子带的Harr小波系数，W₁为LH子带或HL子带的宽度，H₁为LH子带或HL子带的高度，其中W₁＝W/2，H₁＝H/2，W为灰度图像I的宽度，H为灰度图像I的高度；E_LH为LH子带的平均能量，E_HL为HL子带的平均能量，E为灰度失真图像I的图像复杂度；

步骤(6)：融合步骤(3)得到的Gabor自相似度R和步骤(4)得到的梯度自相似度P，以及步骤(5)得到的图像复杂度E，融合得到总的3D合成图像质量评价结果Z，采用公式如下：

其中，α为Gabor自相似度R的指数，β为梯度自相似度P的指数，λ为图像复杂度Z的指数。

所述C₁取值为0.01。

所述C₂取值为0.01。

所述高斯滤波器采用的均值为0，方差为1。

所述α取值为0.9，β取值为0.1，λ取值为1。

本发明的有益效果是：该方法采用Gabor变换计算不同尺度下的Gabor自相似度，采用梯度算子计算不同尺度的梯度自相似度，并采用Harr小波变换计算图像复杂度，接着采用Gabor自相似度和梯度自相似度融合得到初步的图像质量评价结果，并采用图像复杂度对初步的图像质量评价结果进行校正，得到最终的图像质量评价结果；该方法计算方便，综合考虑了图像的结构特征、梯度特征和图像复杂度特征，获得的特征更好地反映3D合成失真图像的质量变化情况，提高了3D合成图像质量评价精度。

附图说明

图1为基于Gabor自相似度特征的无参考3D合成图像质量评价方法流程图。

具体实施方式

以下结合附图和具体实施例，对本发明做进一步说明；本发明采用IRCCyN/IVC合成图像数据库作为实验数据库，该数据库包含12幅参考图像和84幅综合图像，所有图像分辨率为1024×768，其中，综合图像由7种不同的DBIR算法生成，同时IRCCyN/IVC数据库提供了每一幅图像的主观查分平均意见分值(DMOS)；

基于Gabor自相似度特征的无参考3D合成图像质量评价方法，包括：

步骤(1)：从输入IRCCyN/IVC合成图像数据库图像集中输入彩色失真图像，将彩色失真图像转换为灰度失真图像I；

步骤(2)：采用不同尺度和不同方向的二维Gabor滤波器对灰度失真图像I进行变换，具体子步骤如下：

步骤(2.1)：建立L个二维Gabor滤波器，二维Gabor滤波器有M个尺度和N个方向，因此有L＝M×N，其中，M为Gabor滤波器的尺度个数，N为Gabor滤波器的方向个数，L为Gabor滤波器的总个数，N取值为4，M取值为3，L取值为12；

L个二维离散Gabor滤波器的构建公式如下：

x'＝x cosθ_n+y sinθ_n

y'＝y cosθ_n-x sinθ_n

其中，x和y分别为像素在图像中的横坐标和纵坐标，m为Gabor滤波器的尺度索引，m＝0,1,...,M-1，n为Gabor滤波器的方向索引，n＝0,1,...,N-1，θ_n＝2πn/N，θ_n为第n个方向的角度参数，f_m＝a^-mf_max，f_m为第m个尺度的频率参数，其中

f_max为最高频率，f_max取值为1,x'和y'为中间变量，γ为θ_n角度方向的标准差参数，η为与θ_n角度垂直方向的标准差参数，γ取值为1，η取值为2；

步骤(2.2)：用步骤(2.1)构建的L个Gabor滤波器对灰度失真图像I进行滤波，得到Gabor系数G(m,n,x,y)，计算公式如下：

其中，I(x,y)为输入灰度失真图像在(x,y)像素处的灰度取值，x和y分别为像素在图像中的横坐标和纵坐标，x＝1,2,...,W，y＝1,2,...,H,W和H分别为灰度图像I的宽度和高度；f(x,y,f_m,θ_n)为第m个尺度和第n个方向的Gabor滤波器，符号

为卷积操作，G(x,y,m,n)为灰度失真图像I经Gabor滤波后得到的Gabor滤波系数，其中0≤m≤M-1，0≤n≤N-1；

步骤(3)：计算灰度失真图像I的Gabor自相似度R，计算子步骤如下：

步骤(3.1)：计算同一尺度下各个方向的Gabor系数之和，采用公式如下：

其中，K(m,x,y)为第m个尺度(x,y)位置的N个方向的Gabor系数之和；

步骤(3.2)：计算相邻尺度下Gabor自相似度，以m尺度和m+1尺度之间的Gabor自相似度计算为例，采用公式如下：

其中，S(m,x,y)为(x,y)像素位置的m尺度和m+1尺度之间的Gabor自相似度，C₁为避免分母为0而设的常数，C₁取值为0.01；

步骤(3.3)：对所有相邻尺度和不同像素位置的Gabor系数相似度求平均，得到总的Gabor自相似度，采用公式如下：

其中，W为灰度图像I的宽度，H为灰度图像I的高度，M为Gabor滤波器的尺度个数，Q(x,y)为(x,y)像素位置的Gabor相似度，R为灰度失真图像I的总的Gabor自相似度；

步骤(4)：对灰度失真图像I计算梯度自相似度P，采用子步骤如下：

步骤(4.1)：构建水平梯度算子G_H和垂直梯度算子G_V；

步骤(4.2)：采用水平梯度算子G_H和垂直梯度算子G_V对灰度失真图像I进行滤波，采用公式如下：

其中，I_H为水平梯度，I_V为垂直梯度，

为卷积运算；其中G_H和G_V取值如下：

步骤(4.3)：计算灰度失真图像I的梯度U，计算公式如下：

步骤(4.4)：将灰度失真图像I用高斯算子进行卷积，得到高斯模糊后的图像I₁，具体公式如下：

其中D为均值为0，方差为1大小为5×5的高斯滤波器算子，

为卷积运算；

步骤(4.5)：同样按步骤(4.1)到步骤(4.3)的方法对高斯模糊后的图像I₁计算梯度U₁，并计算灰度失真图像I的梯度U和高斯模糊后的图像I₁的梯度U₁之间的梯度自相似度，计算公式如下：

其中，T₁(x,y)为(x,y)像素位置的梯度U和梯度U₁之间的梯度自相似度，W和H分别为灰度图像的宽度和高度，C₂为避免分母为0而设的常数，C₂取值为0.01；

步骤(4.6)：对灰度失真图像I按步骤(4.4)的方法进行k次高斯模糊得到图像I_k，对灰度失真图像I按步骤(4.4)的方法进行k+1次高斯模糊得到图像I_k+1，采用与步骤(4.5)类似的方法计算I_k的梯度U_k和高斯模糊后的图像I_k+1的梯度U_k+1之间的梯度自相似度P_k；

步骤(4.7)：将步骤(4.6)重复K-1次得到K-1个梯度自相似度P_k，其中求取各个梯度自相似度P_k的均值，得到总的梯度自相似度P，计算公式如下：

其中，K为对图像I进行高斯模糊的总次数，K取值为4，P为总的梯度自相似度；

步骤(5)：计算灰度失真图像I的图像复杂度E，具体步骤如下：

步骤(5.1)：对灰度失真图像I进行一级Harr小波变换，得到LL、HL、LH和HH四个子带；

步骤(5.2)：并计算LH和HL两个子带的平均能量，计算公式如下：

其中，Q_LH(i,j)为像素(i,j)位置LH子带的Harr小波系数，Q_HL(i,j)为像素(i,j)位置HL子带的Harr小波系数，W₁为LH子带或HL子带的宽度，H₁为LH子带或HL子带的高度，其中W₁＝W/2，H₁＝H/2，W为灰度图像I的宽度，H为灰度图像I的高度；E_LH为LH子带的平均能量，E_HL为HL子带的平均能量，E为灰度失真图像I的图像复杂度；

步骤(6)：融合步骤(3)得到的Gabor自相似度R和步骤(4)得到的梯度自相似度P，以及步骤(5)得到的图像复杂度E，得到总的3D合成图像质量评价结果Z，采用公式如下：

其中，α为Gabor自相似度R的指数，β为梯度自相似度P的指数，λ为图像复杂度E的指数，其中α取值为0.9，β取值为0.1，λ取值为1。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.基于Gabor自相似度特征的无参考3D合成图像质量评价方法，其特征在于，包括：

步骤(1)：从输入3D合成图像失真图像集中输入彩色失真图像，将彩色失真图像转换为灰度失真图像I；

步骤(2)：采用不同尺度和不同方向的二维Gabor滤波器对灰度失真图像I进行变换，具体子步骤如下：

步骤(2.1)：建立L个二维Gabor滤波器，二维Gabor滤波器有M个尺度和N个方向，因此有L＝M×N，其中，M为Gabor滤波器的尺度个数，N为Gabor滤波器的方向个数，L为Gabor滤波器的总个数；

L个二维离散Gabor滤波器的构建公式如下：

x'＝x cosθ_n+y sinθ_n

y'＝y cosθ_n-x sinθ_n

其中，x和y分别为像素在图像中的横坐标和纵坐标，m为Gabor滤波器的尺度索引，m＝0,1,...,M-1，n为Gabor滤波器的方向索引，n＝0,1,...,N-1，θ_n＝2πn/N，θ_n为第n个方向的角度参数，f_m＝a^-mf_max，f_m为第m个尺度的频率参数，其中

f_max为最高频率，x'和y'为中间变量，γ为θ_n角度方向的标准差参数，η为与θ_n角度垂直方向的标准差参数；

步骤(2.2)：用步骤(2.1)构建的L个Gabor滤波器对灰度失真图像I进行滤波，得到Gabor系数G(m,n,x,y)，计算公式如下：

其中，I(x,y)为输入灰度失真图像在(x,y)像素处的灰度取值，x和y分别为像素在图像中的横坐标和纵坐标，x＝1,2,...,W，y＝1,2,...,H,W和H分别为灰度图像I的宽度和高度；f(x,y,f_m,θ_n)为第m个尺度和第n个方向的Gabor滤波器，符号

为卷积操作，G(x,y,m,n)为灰度失真图像I经Gabor滤波后得到的Gabor滤波系数，其中0≤m≤M-1，0≤n≤N-1；

步骤(3)：计算灰度失真图像I的Gabor自相似度R，计算子步骤如下：

步骤(3.1)：计算同一尺度下各个方向的Gabor系数之和，采用公式如下：

其中，B(m,x,y)为第m个尺度(x,y)位置的N个方向的Gabor系数之和；

步骤(3.2)：计算相邻尺度下的Gabor自相似度，以m尺度和m+1尺度之间的Gabor自相似度计算为例，采用公式如下：

其中，S(m,x,y)为(x,y)像素位置的m尺度和m+1尺度之间的Gabor自相似度，C₁为避免分母为0而设的常数；

步骤(3.3)：对所有相邻尺度和不同像素位置的Gabor系数相似度求平均，得到总的Gabor自相似度，采用公式如下：

其中，W为灰度图像I的宽度，H为灰度图像I的高度，M为Gabor滤波器的尺度个数，Q(x,y)为(x,y)像素位置的Gabor相似度，R为灰度失真图像I的总的Gabor自相似度；

步骤(4)：对灰度失真图像I计算梯度自相似度P，采用子步骤如下：

步骤(4.1)：构建水平梯度算子G_H和垂直梯度算子G_V；

步骤(4.2)：采用水平梯度算子G_H和垂直梯度算子G_V对灰度失真图像I进行滤波，采用公式如下：

其中，I_H为水平梯度，I_V为垂直梯度，

为卷积运算；其中G_H和G_V取值如下：

步骤(4.3)：计算灰度失真图像I的梯度U，计算公式如下：

步骤(4.4)：将灰度失真图像I用高斯算子进行卷积，得到高斯模糊后的图像I₁，具体公式如下：

其中D为高斯滤波器算子，

为卷积运算；

步骤(4.5)：同样按步骤(4.1)到步骤(4.3)的方法对高斯模糊后的图像I₁计算梯度U₁，并计算灰度失真图像I的梯度U和高斯模糊后的图像I₁的梯度U₁之间的梯度自相似度，计算公式如下：

其中，T₁(x,y)为(x,y)像素位置的梯度U和梯度U₁之间的梯度自相似度，W和H分别为灰度图像的宽度和高度，C₂为避免分母为0而设的常数；

步骤(4.6)：对灰度失真图像I按步骤(4.4)的方法进行k次高斯模糊得到图像I_k，对灰度失真图像I按步骤(4.4)的方法进行k+1次高斯模糊得到图像I_k+1，采用与步骤(4.5)类似的方法计算I_k的梯度U_k和高斯模糊后的图像I_k+1的梯度U_k+1之间的梯度自相似度P_k；

步骤(4.7)：将步骤(4.6)重复K-1次得到K-1个梯度自相似度P_k，其中求取各个梯度自相似度P_k的均值，得到总的梯度自相似度P，计算公式如下：

其中，K为对图像I进行高斯模糊的总次数，P为总的梯度自相似度；

步骤(5)：计算灰度失真图像I的图像复杂度E，具体步骤如下：

步骤(5.1)：对灰度失真图像I进行一级Harr小波变换，得到LL(低频)、HL(水平高频)、LH(垂直高频)和HH(对角高频)四个子带；

步骤(5.2)：并计算LH和HL两个子带的平均能量，计算公式如下：

其中，Q_LH(i,j)为像素(i,j)位置LH子带的Harr小波系数，Q_HL(i,j)为像素(i,j)位置HL子带的Harr小波系数，W₁为LH子带或HL子带的宽度，H₁为LH子带或HL子带的高度，其中W₁＝W/2，H₁＝H/2，W为灰度图像I的宽度，H为灰度图像I的高度；E_LH为LH子带的平均能量，E_HL为HL子带的平均能量，E为灰度失真图像I的图像复杂度；

步骤(6)：融合步骤(3)得到的Gabor自相似度R和步骤(4)得到的梯度自相似度P，以及步骤(5)得到的图像复杂度E，融合得到总的3D合成图像质量评价结果Z，采用公式如下：

其中，α为Gabor自相似度R的指数，β为梯度自相似度P的指数，λ为图像复杂度E的指数。

2.根据权利要求1所述的基于Gabor自相似度特征的无参考3D合成图像质量评价方法，其特征在于，所述C₁取值为0.01。

3.根据权利要求1所述的基于Gabor自相似度特征的无参考3D合成图像质量评价方法，其特征在于，所述C₂取值为0.01。

4.根据权利要求1所述的基于Gabor自相似度特征的无参考3D合成图像质量评价方法，其特征在于，所述高斯滤波器采用的均值为0，方差为1。

5.根据权利要求1所述的基于Gabor自相似度特征的无参考3D合成图像质量评价方法，其特征在于，所述α取值为0.9，β取值为0.1，λ取值为1。

Images