CN110930370B - 一种全景图像质量评估方法 - Google Patents

Abstract

一种全景图像质量评估方法，通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得单个像素计算的视觉得分，通过多尺度融合来评估不同尺度下输入图像的质量，针对全景图的观看模式，采用尺度自适应方案，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知，可以模拟实现人眼观看全景图像的不同维度时会分配不同的注意力，以及人眼在观看图像时对全局和细节的特征把握，提高了模型客观评估结果与主观结果的一致性。

Description

一种全景图像质量评估方法

技术领域

本发明涉及计算机视觉的技术领域，尤其涉及一种全景图像质量评估方法。

背景技术

图像质量评估(Image Quality Assessment,IQA)的目标是设计出能够替代人眼对图像失真进行准确有效评估的算法，它在图像处理的各个领域中具有非常重要的意义。为了实现这一目标，在过去的几年里，人们提出了许多IQA方法。随着对基于图像的应用的需求不断增加，对图像质量的高效可靠的评价也越来越重要。IQA对于许多图像处理应用来说都是至关重要的。

IQA分为主观质量评价和客观质量评价。主观质量评价通过观察者的评分来判断图像质量，易受个体主观影响，难以复现。图像质量的客观评价是根据人眼视觉系统建立数学模型，并通过具体的公式计算图像的质量的客观评价。相比主观评价，客观评价具有可批量处理、结果可重现的特点，不会出现人为因素的偏差。

客观评价算法根据其对参考图像的依赖程度,可分成三类。(1)全参考:需要和参考图像上的像素点做一一对应的比较；(2)半参考:只需要和参考图像上的部分统计特征做比较；(3)无参考:不需要具体的参考图像。其中全参考算法是研究时间最长、发展最成熟的部分。

全参考图像质量评价的待评价图像信号的质量可以通过与原始图像信号相比之后获得的误差信号来进行质量分析。图像质量的下降与误差信号的强弱相关。基于此，最简单的质量评价算法就是均方误差(Mean Squared Error,MSE)和峰值信噪比(Peak Signal-Noise Ratio,PSNR)。近几年还陆续提出了SSIM、MS-SSIM、ADD-SSIM和PSIM等全参考图像质量评价的方法。SSIM在假设人的视觉感知高度适应于从场景中提取结构信息的前提下，提出了一种基于结构信息退化的图像质量评价框架。MS-SSIM则提出了一种多尺度结构相似性方法，该方法比以往的单尺度方法具有更大的灵活性。ADD-SSIM通过图像内容和失真情况分析失真分布，即综合考虑失真位置、失真强度、频率变化和直方图变化的分布来推断总体质量。PSIM则通过提取图像的梯度幅度映射来模拟人眼观看图像的方式。这些方法对一般图像的评估有着很好的效果，然而全景图像跟一般图片不尽相同，人们在观看全景图时注意范围会有一些差异，因此之前所提出的全参考方法对全景图像并非完全适用。

全景图在虚拟会议、虚拟漫游等日常办公中有着广泛的应用。不仅如此，全景图在存储和传输过程中需要大量压缩，评价不同编码技术对全景图的视觉质量影响具有重要意义。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种全景图像质量评估方法，其可以模拟实现人眼观看全景图像的不同维度时会分配不同的注意力，以及人眼在观看图像时对全局和细节的特征把握，提高了模型客观评估结果与主观结果的一致性。

本发明的技术方案是：这种全景图像质量评估方法，该方法采用的视觉质量评估模型为公式(1)：

其中I为无损图像，

为有损全景图像，F_I表示经过滤波后的图像，F_I(r)表示图像中的像素r，R是F_I中的像素总数，该方法包括以下步骤：

(1)Q(r)为单个像素计算的视觉得分，通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得；

(2)通过多尺度融合来评估不同尺度下输入图像的质量，w_t是用于调整多尺度下每个项相对贡献的控制器；

(3)针对全景图的观看模式，W(r)为基于注意力的权重；

(4)采用尺度自适应方案，该方案基于人类将基本感知和细节感知相结合的原则来评估整体图像质量，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知。

本发明通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得单个像素计算的视觉得分，通过多尺度融合来评估不同尺度下输入图像的质量，针对全景图的观看模式，采用尺度自适应方案，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知，因此可以模拟实现人眼观看全景图像的不同维度时会分配不同的注意力，以及人眼在观看图像时对全局和细节的特征把握，提高了模型客观评估结果与主观结果的一致性。

附图说明

图1示出了根据本发明的全景图像质量评估方法的流程图。

图2示出了Matt Yu提出的注意力图。

具体实施方式

如图1所示，这种全景图像质量评估方法，该方法采用的视觉质量评估模型为公式(1)：

其中I为无损图像，

为有损全景图像，F_I表示经过滤波后的图像，F_I(r)表示图像中的像素r，R是F_I中的像素总数，该方法包括以下步骤：

(1)Q(r)为单个像素计算的视觉得分，通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得；

(2)通过多尺度融合来评估不同尺度下输入图像的质量，w_t是用于调整多尺度下每个项相对贡献的控制器；

(3)针对全景图的观看模式，W(r)为基于注意力的权重；

(4)采用尺度自适应方案，该方案基于人类将基本感知和细节感知相结合的原则来评估整体图像质量，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知。

本发明通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得单个像素计算的视觉得分，通过多尺度融合来评估不同尺度下输入图像的质量，针对全景图的观看模式，采用尺度自适应方案，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知，因此可以模拟实现人眼观看全景图像的不同维度时会分配不同的注意力，以及人眼在观看图像时对全局和细节的特征把握，提高了模型客观评估结果与主观结果的一致性。

优选地，所述步骤(1)中，Q(r)通过公式(3)获得：

其中，ε是一个很小的常数，用于避免分母为零；

f_H和f_V分别是沿水平轴和垂直轴的scharr过滤器；

与F_I的获得方法相同。

优选地，所述步骤(2)中，用低通滤波器分别对无损和有损图像分别进行4次2倍的下采样，得到5个图像对

I⁰和/>

分别为输入图像I和/>

Iⁱ⁺¹和/>

是由Iⁱ和/>

通过2倍下采样得到的，其中i＝0,1,2,3；利用多尺度模型的多尺度机制，在方程中通过t表示不同尺度下的图像，通过w_t调整多尺度下每个项的相对贡献；w_t设定{w₀,…,w₄}＝{0.0448,0.2856,0.3001,0.2363,0.1333}。

优选地，所述步骤(3)中，将图像的行平分成180份，每一份对应-90°到+90°中的一个纬度，每一行的注意力值相同，每一列中的元素值随纬度的变化而变化，纬度从-90°到+90°。

优选地，所述步骤(4)中，假设当进行细节感知时，应当加入注意力图机制，而基本感知时，不用注意力图机制；通过v(t)进行调节，将v(t)指定为公式(4)：

以下更详细地说明本发明。

本发明提出了一种新的基于人眼视觉系统(Human Visual System,HVS)特征的压缩全景图的质量评估模型。把I定义为无损图像，把

定义为有损全景图像，F_I表示经过滤波后的图像，F_I(r)表示图像中的像素r，R是F_I中的像素总数。视觉质量评估模型的总公式为：

其中Q(r)为将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后单个像素计算的视觉得分。在计算时，引入多尺度融合来评估不同尺度下输入图像的质量，w_t是用于调整多尺度下每个项相对贡献的控制器，并且本发明针对全景图的观看模式，在公式中引入基于注意力的权重W(r)。此外，还提出尺度自适应方案，该方案基于人类将全局(基本感知)和局部(细节感知)相结合的原则来评估整体图像质量，用v(t)控制是否使用注意力权重W(r)进行细节感知。接下来，对每一项的计算和作用进行展开介绍。

首先介绍Q(r)的计算。f_H和f_V分别是沿水平轴和垂直轴的scharr过滤器。符号

表示卷积运算。那么，在通用假设(即HVS非常擅长从给定图片中提取结构信息)的基础上，对输入图像I用速度快、性能好的scharr滤波器对进行滤波：

其中

对

进行同样的操作，得到过滤后的图像/>

基于这两个过滤后的图像，可以计算每个对应像素的视觉得分：

其中，ε是一个很小的常数，用于避免分母为零。值得一提的是，方程(3)定义的度量有三个优点，即对称性、有界性和唯一最大值性。

其次，介绍本发明中引入的多尺度融合来评估不同尺度下输入图像的质量。用低通滤波器分别对无损和有损图像分别进行4次2倍的下采样，得到5个图像对

I⁰和/>

即为输入图像I和/>

Iⁱ⁺¹和/>

是由Iⁱ和/>

通过2倍下采样得到的，其中i＝0,1,2,3。利用多尺度模型的多尺度机制，在方程中通过t表示不同尺度下的图像，通过w_t调整多尺度下每个项的相对贡献。w_t根据王在论文《Multi-scalestructural similarity for image quality assessment》中的一项心理物理试验得到，参照其实验结果，同样设定{w₀,…,w₄}＝{0.0448,0.2856,0.3001,0.2363,0.1333}。

接下来，介绍基于注意力的权重，它是根据像素r的纬度定义的。将图像的行平分成180份，每一份对应-90°到+90°中的一个纬度。每一行的注意力值相同。具体来说，MattYu在论文《A framework to evaluate omnidirectional video coding schemes》中表明，当人们看图片时，他们的一般注意力主要集中在赤道上。在此基础上，Matt Yu绘制了一个注意地图W，其中每一行中的元素具有相同的值，每一列中的元素值随纬度的变化而变化，纬度从-90°到+90°，取值如图2所示。

最后，还提出尺度自适应方案改进了基于注意力权重的模型，该方案基于人类将全局(基本感知)和局部(细节感知)相结合的原则来评估整体图像质量。在这里，假设当进行局部(细节感知)时，由于图像细节清晰，故应当加入注意力图机制，而全局(基本感知)时，由于下采样多次，细节不够清晰，但是依然能够识别出图像，此时可以不用注意力图机制。因此，通过v(t)进行调节，将v(t)指定为

通过这些机制，对全景图的图像质量评估也更符合人眼的结构性观察，得到的得分也更接近于真实值。

为了验证这些方法对全景图的图像质量评估，逐个加入提出的方法，计算评估的结果。逐个加入本方法，得到最终模型，即公式(1)。将通过滤波后计算的模型记为原始模型，用q₁表示：

在q₁基础上，加入多尺度融合来评估不同尺度下输入图像的质量，称为多尺度模型，记为q₂：

在q₂基础上，引入基于注意力的权重，记为图注意力模型，用q₃表示：

其中

最后，通过尺度自适应方案改进了基于注意力权重的模型，也就是最终的模型公式(1)，称之为自适应模型。

目前有两个常用的全景图像质量数据库CVIQD(由孙在论文《CVIQD:Subjectivequality evaluation of compressed virtual reality images》提出)和LSCSI(由孙在论文《A large-scale compressed 360-degree spherical image database:Fromsubjective quality evaluation to objective model comparison,》提出)。CVIQD数据集包括5幅源无损全景图像和基于三种主流编码技术(JPEG、H.264/AVC和H.265/HEVC)的相应165个压缩版本(每副源图像分别都有11张不同质量因子的JPEG、H.264/AVC和H.265/HEVC的压缩版本，33*5＝165)。LSCSI数据集包括16个源无损全景图像和相应的528个压缩版本。CVIQD的作者用单刺激法(Single stimulate，SS)采集了不同年龄段不同人群的20名志愿者对所有图片的打分，并以此作为该图片的真实值，分数区间为(0，10)。本实验也将在这两个基础的测试数据集上进行。

在两个基础的全景图数据集CVIQD和LSCSI上将本方法与6种客观的图片质量评价方法进行了对比，这6种方法分别是SSIM、MS-SSIM、ADD-SSIM、PSIM和SVQI。其中，除了基准SSIM和MS-SSIM之外，其他几种评估方法都是近几年提出的。

在进行定量比较之前，需要使用逻辑方程来消除客观预测分数的非线性，然后采用五种典型的性能准则进行性能验证和比较，评估我们的图像质量评估的得分是否接近于真实值。这五种标准方法包括：用于测量预测精度的皮尔森相关系数(Pearsoncorrelation coefficient，PCC)、用于测量预测单调性的斯皮尔曼等级系数(Spearmanrank-order correlation coefficient，SRC)和肯德尔等级相关系数(Kendall’s rank-order correlation coefficient，KRC)以及用于预测一致性的平均绝对预测误差(Average absolute prediction error，AAE)和均方根误差(Root mean-squared，RMS)。其中，PCC、SRC、KRC的值越接近1，表示与主观的人类评分的相关性越高，而AAE和RMS是越接近0越好。

基于上述实验设置，可以通过实验比较所提出的图像质量评估模型和其他模型的结果，在CVIQD和LSCSI上的实验结果分别如表1和表2所示。从表中显然可以得出以下三个结论。首先，所提出的自适应模型在两个图像质量数据库上都取得了令人印象深刻的高性能。PCC和SRC是视觉质量评价中的一对重要评价标准，本模型在CVIQD数据库上这两个指标均超过0.95，在LSCSI数据库上均接近0.95。

其次，在SRC指标下，现有的自适应模型与本发明的基础模型相比，在CVIQD和LSCSI数据库上，相对性能增益分别为3.8％和10.2％。此外，将本发明的质量模型与基准SSIM进行比较，在两个全景图像数据库的相对性能分别提高了23.6％和26.7％。第三，本发明层层递进的四种质量模型的比较，可以根据它们的性能准则方法得出以下等级：自适应模型>图注意力模型>多尺度模型>基础模型。此外，还发现，多尺度融合和尺度自适应加权对性能提升有很大贡献。

表1

/>

表2

综上所述，本文循序渐进的提出的新的评估模型在全景图图像质量评估表现优异。尤其是提出的自适应模型，在评估性能上有极大的提升。

本发明提出了一种新的质量估计模型，以客观评估压缩后的全景图图像的质量，该模型由三个重要的改进组成，分别用于结构信息提取、多尺度融合和基于注意力的尺度自适应。在两个新的全景图数据库上进行了实验，结果表明本发明通过提取多尺度图像的梯度特征，并基于尺度自适应的特征融合机制来估计整体视觉的模型与最先进的相关竞争对手相比，具有更高的评估能力，明显优于相关的基准和目前最好的评估方法。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (2)

1.一种全景图像质量评估方法，其特征在于：该方法采用的视觉质量评估模型为公式(1)：

其中I为无损图像，

为有损全景图像，F_I表示经过滤波后的图像，F_I(r)表示图像中的像素r，R是F_I中的像素总数，该方法包括以下步骤：

(1)Q(r)为单个像素计算的视觉得分，通过将无压缩的全景图和对应压缩后的全景图经过scharr滤波器滤波后获得；

所述步骤(1)中，Q(r)通过公式(3)获得：

其中，ε是一个很小的常数，用于避免分母为零；

f_H和f_V分别是沿水平轴和垂直轴的scharr过滤器；

与F_I的获得方法相同；

(2)通过多尺度融合来评估不同尺度下输入图像的质量，w_t是用于调整多尺度下每个项相对贡献的控制器；

所述步骤(2)中，用低通滤波器分别对无损和有损图像分别进行4次2倍的下采样，得到5个图像对

I⁰和/>

分别为输入图像I和/>

Iⁱ⁺¹和/>

是由Iⁱ和/>

通过2倍下采样得到的，其中i＝0,1,2,3；利用多尺度模型的多尺度机制，在方程中通过t表示不同尺度下的图像，通过w_t调整多尺度下每个项的相对贡献；

w_t设定{w₀,…,w₄}＝{0.0448,0.2856,0.3001,0.2363,0.1333}；

(3)针对全景图的观看模式，W(r)为基于注意力的权重；

所述步骤(3)中，将图像的行平分成180份，每一份对应-90°到+90°中的一个纬度，每一行的注意力值相同，每一列中的元素值随纬度的变化而变化，纬度从-90°到+90°；

(4)采用尺度自适应方案，该方案基于人类将基本感知和细节感知相结合的原则来评估整体图像质量，用注意力图机制v(t)控制是否使用注意力权重W(r)进行细节感知。

2.根据权利要求1所述的全景图像质量评估方法，其特征在于：所述步骤(4)中，假设当进行细节感知时，应当加入注意力图机制，而基本感知时，不用注意力图机制；通过v(t)进行调节，将v(t)指定为公式(4)：

/>

Images