CN111127298B

CN111127298B - 一种全景图像盲质量评估方法

Info

Publication number: CN111127298B
Application number: CN202010096567.9A
Authority: CN
Inventors: 王永芳; 夏雨蒙
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2019-06-12
Filing date: 2020-02-13
Publication date: 2023-05-16
Anticipated expiration: 2040-02-13
Also published as: CN111127298A

Abstract

本发明公开了一种全景图像盲质量评估方法。首先，依据人眼视觉系统通过结构特征理解图像的特点，使用梯度域的局部二值模式算子在ERP投影平面上提取结构特征，然后计算出球面与投影平面之间的映射关系以得到权重关系，进一步将权重关系与结构特征进行结合，得到加权映射的结构特征。最后，使用支持向量回归建立本发明所述的全景图像无参评估模型，将提取的结构特征从特征空间映射到失真图像的质量分数。本发明方法在公开的全景图像主观质量评价数据库上进行实验，证明其与主观感知有较高的一致性。

Description

一种全景图像盲质量评估方法

技术领域

本发明涉及一种图像质量评估方法，特别是涉及一种全景图像盲质量评估方法，属于图像处理、传输技术利用。

背景技术

随着虚拟现实(Virtual reality，VR)技术的快速发展，越来越多的VR应用需要高质量的全景图像和视频。高分辨率的全景图像和视频能够提供给用户更加具有沉浸式、更加真实的体验，然而，在真实通信系统中，全景图像和视频必须经过投影和压缩处理才能便于存储、传输和处理，质量下降的全景图像和视频会降低用户体验质量，更严重会引起用户头晕与不适感。因此，在VR的未来发展中，为全景图像和视频设计准确的质量评估算法至关重要。

全景的图像质量评价(Panoramic image quality assessment，PIQA)与传统质量评价相同，可以分成主观评价和客观评价。与传统图像不同，全景图像以一个点为中心，记录这个点周围所有的场景，因此全景图像的主观评价通常需要在头戴式设备的协助下进行。全景图像呈现在用户面前时是一个球体，即观察空间是球体，但是在存储、传输以及处理时，通常会被映射到平面格式，比如等矩形投影(Equirectangular，ERP)、立方体投影(Cube map projection，CMP)、二十面体投影(Icosahedron projection，ISP)等，即处理空间是平面。由于，在各种投影平面上进行的失真衡量不能线性反应用户在球体上的人眼感知效果，因此客观的全景图像质量方法与传统的客观质量评价方法也完全不同。全景图像的客观评价模型在近几年也得到了广泛的研究，研究人员提出了许多全参考质量评估方法(Full-reference，FR)，并且也得到了广泛地应用，例如CPP-PSNR、WS-PSNR、S-PSNR、S-SSIM等。全参考模型的缺点在于需要未失真的原始图像，这对与实际应用来说是一个巨大的限制，而且现有的全参考模型都延伸于PSNR，研究表明PSNR与人眼感知并不一致。无参考质量评估方法(No-reference，NR)在评估时不需要任何的参考信息，只对接收到的失真图像进行分析和处理，模仿人眼视觉系统，依据全景图像的特点，提取失真图像中能够代表图像质量变化的特征，设计可靠的质量预测模型。因此，设计一种无参考的全景图像质量评估方法具有重大意义。

发明内容

本发明的目的是为了对失真的全景图像进行质量监控，利用近期对观察空间以及处理空间之间非线性映射关系的研究，提出一种全景图像盲质量评估方法，作为基于映射加权的无参考图像质量评价方法，通过对球体和平面之间的映射关系的引入，使得平面上的处理能够准确反映球体中的失真情况。本发明方法不需要发送端原始图像，属于无参考图像质量评估模型，节省带宽的同时提高了质量评估模型的精确度。

为达到上述目的，本发明的构思是：

首先，依据人眼视觉系统通过结构特征理解图像的特点，使用梯度域的局部二值模式(Local binary pattern on gradient domain，GLBP)算子在ERP投影平面上提取结构特征，然后计算出球面与投影平面之间的映射关系以得到权重关系，进一步将权重关系与结构特征进行结合，得到加权映射的结构特征。最后，使用支持向量回归(Support vectorregression，SVR)建立本发明所述的全景图像无参评估模型，将提取的结构特征从特征空间映射到失真图像的质量分数。

根据上述构思，本发明采用如下技术方案：

一种全景图像盲质量评估方法，包括如下步骤：

步骤1、结构特征提取：由于结构信息对于人脑理解图像内容至关重要，对整体图像的质量有很大影响，因此首先提取失真全景图像的结构特征；使用梯度域的局部二值模式以描述失真图像的结构特征信息变化程度；

步骤2、映射关系计算：计算在ERP格式下的映射权重图，像素从ERP平面映射到球面时，面积会产生不同程度的拉伸，将像素点的权重定义为面积的拉伸比；

步骤3、映射加权的结构特征：由于步骤1中结构特征在ERP图像上计算，不能线性反应球面上的失真，因此将步骤2中得到的权重图与步骤1中结构特征进行结合得到映射加权的结构特征，更能够准确的反应球面上的失真情况，更接近人眼主观感知；

步骤4、特征训练：得到上述步骤3产生的映射加权的结构特征后，使用以径向基函数(Radial basis function，RBF)为核函数的支持向量机建立图像质量预测模型；

步骤5、质量分数估计：由上述步骤4训练得到的模型将失真图像的特征映射为最终的质量分数，并且计算模型获得的预测分数与主观分数之间的相关程度以衡量模型的准确性。

在所述步骤1中，图像的结构特征提取模型的建立主要由两个部分组成，第一部分是对ERP格式的全景失真图像进行梯度图的预测，使用P算子计算失真图像的梯度图像：

其中“*”表示卷积运算，p_x和p_y代表横向和纵向的算子模板，分别计算横向和纵向的边缘，I(x，y)和g(x，y)分别表示失真图像和对应的梯度图像；然后使用旋转不变的均匀LBP算子，对像素点进行编码，计算公式为：

其中P表示中心点像素周围的元素个数，表示周围像素选取的半径，g_c表示中心像素点梯度幅值，g_i表示周围像素点梯度幅值；其中：

其中u是均匀尺度，它的计算是逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次；GLBP描述了图像中心像素点和周围像素点的关系，这些图像的局部结构模式能够有效地描述不同失真原因引起的图像结构失真。

在所述步骤2中，当像素点从ERP映射到球面时，像素的面积被不同程度地拉伸，因此，观察空间和处理空间之间的关系，即权重ω(i,j)表示为两者的面积拉伸比；假设ERP和球面的坐标在连续空域中分别为(x，y)，(θ，φ)，两者之间的变换关系为：

其中θ∈(-π，π)，

因此，面积拉伸比SR定义为：

则数字图像的权重ω(i，j)

ω(i，j)＝SR(x(i，j)，y(i，j))

假设M×N为ERP图像的尺寸，则{(i，j)|0|＜i≤M，0＜j≤N}，那么连续域与离散域的变换关系为：

因此，权重最终定义为：

不同的投影格式，根据相同的步骤计算得出不同的权重图ω(i，j)。

在所述步骤3中，对步骤1中计算得出的GLBP编码图，将具有相同模式的权重进行累加：

其中：

N是像素的个数，k为GLBP的取值情况，ω_i步骤2中所得的权重，h_pw即加权映射的结构特征f_S；考虑到人眼视觉系统在不同的图像尺度上捕捉不同的信息，对失真图像进行4次下采样，获得不同尺度上的结构特征。

在上述步骤4中，得到映射加权的结构特征之后，使用支持向量回归建立起失真图像的质量预测模型，使用径向基函数为核函数，每次取数据集中的80％作为训练集训练出一个预测模型，剩下的20％作为测试集。

在上述步骤5中，支持向量回归将特征映射到图像的质量分数空间，利用训练出的预测模型得到失真图像的质量分数为：

Q＝SVR(f_S)

其中f_S为映射加权的结构特征。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1、本发明方法充分考虑了人类视觉系统的特点，即人眼对于结构信息的变化非常敏感，验证了基于此结构特征的模型比由PSNR衍生的评价模型更接近主观特性。

2、本发明方法利用了投影平面与观察球面之间的映射关系，使得从平面上获得的结构信息经过加权后能够更准确地反映观察球面的失真情况。

3、本发明方法仅使用失真图像的特征进行建模，不需要原始全景图像，节约了带宽资源。

4、本发明方法采用以径向基函数为核函数的SVR对数据进行训练，比一般的训练方法具有更高的鲁棒性和精确度。

附图说明

图1为本发明的全景图像盲质量评价模型操作程序框图。

图2全景图像的常用投影格式。

图3为ERP格式到球面的映射。

图4为ERP投影格式的权重图。

图5为不同失真类型的失真图像的GLBP图像和统计直方图。

图6为不同PIQA的预测分数与主观分数的散点分布图。

具体实施方式

本发明的优选实施例结合附图详述如下：

本实施例一种全景图像盲质量评估方法的具体步骤如图1所示。在Win10，Matlab2014a环境下编程仿真实现本方法，具体步骤如下：

步骤1、结构特征提取：由于结构信息的退化对人眼理解整体图像的质量有很大影响，因此首先提取失真全景图像的结构特征。本实施例使用GLBP以描述失真图像的结构特征信息变化程度。

步骤2、映射关系的计算：像素从ERP投影平面映射到球面时，面积会产生不同程度的拉伸，因此本发明将像素点的权重定义为面积的拉伸比，计算在ERP格式下的映射权重图；

步骤4、特征训练：得到上述步骤3产生的映射加权的结构特征后，使用以径向基函数RBF为核函数的支持向量机建立图像质量预测模型；

在所述步骤1中，图像的结构特征提取模型的建立主要由两个部分组成，第一部分是对ERP格式的全景失真图像进行梯度图的预测，使用P算子计算失真图像的梯度图像，

“*”表示卷积运算，p_x和p_y代表横向和纵向的算子模板，分别计算横向和纵向的边缘，I(x，y)和g(x，y)分别表示失真图像和对应的梯度图像。然后使用旋转不变的均匀LBP算子，对像素点进行编码，计算公式为：

表示中心点像素周围的元素个数，表示周围像素选取的半径，g_c表示中心像素点梯度幅值，g_i表示周围像素点梯度幅值。其中：

u是均匀尺度，它的计算逐比特进行的，即二进制序列从0到1、从1到0的跳变不超过2次。GLBP描述了图像中心像素点和周围像素点的关系，不同的失真会导致GLBP产生不同变化，因此这些图像的局部结构模式可以有效地描述不同失真原因引起的图像结构失真。

在所述步骤2中，当像素点从ERP映射到球面时，像素的面积被不同程度地拉伸，如图3所示。因此，观察空间和处理空间之间的关系(即权重ω(i，j))可以表示为两者的面积拉伸比。假设ERP和球面的坐标在连续空域中分别为(x，y)，(θ，φ)，两者之间的变换关系为：

其中θ∈(-π，π)，

因此，面积拉伸比SR(Stretching ratio，SR)，可以定义为：

则数字图像的权重ω(i，j)可以定义为：

ω(i，j)＝SR(x(i，j)，y(i，j))

假设M×N为ERP图像的尺寸，则{(i，j)|0＜i≤M，0＜j≤N}，那么连续域与离散域的变换关系为：

因此，权重最终定义为：

本发明以ERP投影格式为例，所得权重图如图4所示，如图2所示的其他常用的投影格式可以根据相同的步骤计算得出不同的权重图ω(i，j)。

在所述的步骤3中，对步骤1中计算得出的GLBP编码图，将具有相同模式的权重进行累加：

其中：

N是像素的个数，k为GLBP的取值情况，ω_i步骤2中所得的权重，h_pw即加权映射的结构特征f_S。图5列出了不同失真情况下对应的GLBP编码图和加权映射的结构特征。人眼视觉系统在不同的图像尺度上关注的信息不同，随着尺度变小，人眼的关注会从局部细节转移到物体的轮廓特征，因此对失真图像进行4次下采样获得不同尺度的失真图像，进一步获得不同尺度的结构特征。

上述步骤4中，得到映射加权的结构特征之后，使用支持向量回归建立起失真图像的质量预测模型，使用径向基函数为核函数，每次随机取数据集中的80％作为训练集训练出一个预测模型，剩下的20％作为测试集，重复实验1000次。

上述步骤5中，支持向量回归可以将特征映射到图像的质量分数空间，利用训练出的预测模型可以得到失真图像的质量分数为：

Q＝SVR(f_S)

f_S为映射加权的结构特征。

下面在公开的全景主观数据库上进行试验来评估本发明所提出的基于图像记忆性的无参考质量评估方法。数据库总共有16张原始参考图像，在原始图像上添加不同等级的JPEG压缩、JPEG2000压缩、高斯模糊以及高斯噪声产生320张混合失真图像。本实验的环境是Win 10 64位操作系统下的Matlab 2014a平台，内存为16GB，CPU频率为3.0GHz。在实验中，数据库中80％设为训练集，剩下的20％作为测试集，训练集和测试集不重合。使用斯皮尔曼秩相关系数(Spearman’s rank ordered correlation coefficient，SRCC)、皮尔逊线性相关系数(Pearson’s linear correlation coefficient，PLCC)、肯达尔系数(Kendallrank-order correlation coefficient，KRCC)和标准误差(Root mean square error，RMSE)作为质量评估模型的与主观评价的相似度，前三个值越接近1，RMSE越小代表模型与主观评价的符合度更高，精确度越高。

本实施例选取了和传统PSNR、SSIM以及当前几种PIQA模型进行对比，分别是：CPP-PSNR[ⁱ]，S-PSNR[ⁱⁱ]，WS-PSNR[ⁱⁱⁱ]，此外，为了验证引入非线性映射关系加权能有效提升模型性能，非加权的模型的实验结果也进行了比较。实验结果如表所示是本发明的评估方法与其他算法的SRCC、PLCC、KRCC与RMSE结果比较。

表1

其中，实验结果最好的算法用黑色字体加粗。从表中可以看到本发明的方法的PWGLBP模型与人类感知的一致性优于其他指标。从表1中可以看出，考虑全景特征的CPP-PSNR、WS-PSNR、S-PSNR均优于传统的PSNR，并且由于采用映射加权GLBP直方图来描述图像中结构信息的退化，所提出的模型是比非加权GLBP直方图与主观更一致。图6给出了PWGLBP与三种全景质量评价模型在相同测试集上的预测分数与主观分数之间的散点图，进一步证明了所提出模型的优越性。

参考文献：

ⁱWei Sun,Ke Gu,Siwei Ma,Wenhan Zhu,Ning Liu,and Guangtao Zhai,“Alarge-scale compressed 360-degree spherical image database:From subjectivequality evaluation to objective model comparison,”in 2018IEEE 20thInternational Workshop on Multimedia Signal Processing(MMSP).pp.1–6,2018.

ⁱⁱS.Yang,Junzhe Zhao,Tingting Jiang et al.,"An objective assessmentmethod based on multi-level factors for panoramic videos,"2017 IEEE VisualCommunications and Image Processing(VCIP),pp.1-4,2017.

ⁱⁱⁱY.Wei Sun,Ke Gu,Guangtao Zhai,Siwei Ma,Weisi Lin,and Patrick LeCallet,“Cviqd:Subjective quality evaluation of compressed virtual realityimages,”2017 IEEE International Conference on Image Processing(ICIP).pp.3450–3454,2017.

Claims

1.一种全景图像盲质量评估方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在所述步骤1中，图像的结构特征提取模型的建立主要由两个部分组成，第一部分是对ERP格式的全景失真图像进行梯度图的预测，使用P算子计算失真图像的梯度图像：

其中“*”表示卷积运算，p_x和p_y代表横向和纵向的P算子模板，分别计算横向和纵向的边缘，I(x,y)和g(x,y)分别表示失真图像和对应的梯度图像；然后使用旋转不变的均匀LBP算子，对像素点进行编码，计算公式为：

其中P表示中心点像素周围的元素个数，R表示周围像素选取的半径，g_c表示中心像素点梯度幅值，g_i表示周围像素点梯度幅值；其中：

3.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在所述步骤2中，当像素点从ERP映射到球面时，像素的面积被不同程度地拉伸，因此，观察空间和处理空间之间的关系，即权重ω(i,j)表示为两者的面积拉伸比；假设ERP和球面的坐标在连续空域中分别为(x,y)，

两者之间的变换关系为：

其中θ∈(-π,π)，

因此，面积拉伸比SR定义为：

则数字图像的权重ω(i,j)定义为：

ω(i,j)＝SR(x(i,j),y(i,j))

假设M×N为ERP图像的尺寸，则{(i,j)|0<i≤M,0<j≤N}，那么连续域与离散域的变换关系为：

因此，权重最终定义为：

不同的投影格式，根据相同的步骤计算得出不同的权重图ω(i,j)。

4.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在所述步骤3中，对步骤1中计算得出的GLBP编码图，将具有相同模式的权重进行累加：

其中：

5.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在上述步骤4中，得到映射加权的结构特征之后，使用支持向量回归建立起失真图像的质量预测模型，使用径向基函数为核函数，每次取数据集中的80％作为训练集训练出一个预测模型，剩下的20％作为测试集。

6.根据权利要求1所述的全景图像盲质量评估方法，其特征在于，在上述步骤5中，支持向量回归将特征映射到图像的质量分数空间，利用训练出的预测模型得到失真图像的质量分数为：

Q＝SVR(f_s)

其中f_s为映射加权的结构特征。