CN107396095A - 一种无参考三维图像质量评价方法 - Google Patents

Abstract

本发明提供了一种无参考三维图像质量评价方法，对三维图像的左右视图分别提取亮度统计特征，根据三维图像的左右视图得到三维图像的视差图，然后分别将左右视图与视差图相结合，提取结构信息与深度信息的融合统计特征，将各三维图像的视觉特征及对应的主观质量分数输入支持向量回归SVR中，从而得到视觉特征与主观质量分数之间的映射模型，将视觉特征输入至映射模型得到客观质量分数，以客观质量分数作为评价图像质量的指标，实现了无监督的三维图像质量评价算法内嵌到三维图像的任何处理环节，满足对此环节的质量监督功能，依据质量评价算法设计显示效果更佳的三维视显示设备，从而更加符合人类视觉系统的感知。

Description

一种无参考三维图像质量评价方法

技术领域

本发明提供了一种无参考三维图像质量评价方法，属于数字图像和数字视频处理技术领域。

背景技术

随着近年来三维技术的迅速发展，三维技术已经广泛应用到各个领域，比如娱乐、军事以及工业等众多领域。和传统的二维图像相比，三维图像提供了图像的深度信息，可以带给观看者身临其境的感受，从而可以帮助观看者对图像所呈现的信息产生更加主观的视觉感受以及对图像所呈现的内容更加准确的理解。因此，三维技术可以应用到三维电影、三维游戏、远程医疗等诸多领域中，这些领域对图像的质量提出了更高的要求。比如图像中物体的三维立体感等，三维图像在这些领域中可发挥出更重要的作用。

随着现代多媒体技术的不断发展，三维图像应用的场合不断增加，如何能够迅速、准确、有效地对这些三维图像进行评估便成了一个迫在眉睫的问题。首先，和二维图像一样，三维图像在采集、压缩、编码、显示和传输等过程中同样会产生各种类型的失真，这些失真会影响观看者理解三维图像中的内容，甚至会危害观看者的身心健康。其次，虽然三维图像是由二维图像发展而来的，但是由于自身独特的显示原理，其质量的定义和二维图像并不完全相同。三维图像自身的三维视觉质量也是三维图像质量的一部分。因此和二维图像相比，三维图像的质量评价工作更为复杂。

对于评价方法而言，人眼是三维图像的最终接收者，因此三维图像质量的好坏最终是由人眼来决定的。所以，由人主导的主观质量评价是最为有效、最为准确的评价方法。但是受制于应用场合以及评价条件等诸多因素，主观评价的效果并不稳定，而且主观评价的效率较低，不适用于大规模、实时的应用场合。三维图像信号的采集、传输以及显示等各个环节都和二维图像有着本质的区别，在一定程度上它们是完全不同的两种图像技术。但是这并不意味着研究已经达到一定阶段的二维图像的客观质量评价方法完全没有意义。实际上，发明三维图像质量评价算法可以在一定程度上参考现有的二维图像的质量评价算法。但是考虑到三维图像自身的独特成像机制，如何能将三维图像中的独有特性应用到二维图像的质量评价中去，甚至单独依靠这些独有的特性来对三维图像进行质量评价，仍然是一个极具挑战性的问题。

李俊峰等基于亮度均值减损对比归一化系数统计特性及其8方向邻域系数间的相关性，提出了一种通用无参考图像质量评价方法（李俊峰,张之祥,沈军民. 基于亮度统计的无参考图像质量评价[J]. 光电子•激光,2016,27(10):1101-1110），其处理对象为自然图像，无法应用于其他三维图像，且视觉特征采用单一的亮度统计特征，无法准确评价图像的质量。

发明内容

为了弥补目前客观评价结果受图像失真类型及内容的影响，本发明提供一种无参考三维图像质量评价方法。

本发明所采用的技术方案是：一种无参考三维图像质量评价方法，选用三维图像质量评价数据库，从数据库中从数据库中提取失真屏幕图像的视觉特征和对应的主观质量分数，其中视觉特征包括亮度统计特征和结构信息与深度信息的融合统计特征，将视觉特征和主观质量分数输入向量回归中得到映射模型，任意图像的视觉特征输入映射模型中能得到客观质量分数，以客观质量分数来作为评价图像质量的指标，获得映射模型的步骤包括：

A．对三维图像的左右视图分别通过局部对比度归一化操作，得到相应亮度图，并从中提取亮度统计特征；

B．根据三维图像的左右视图得到三维图像的视差图，然后分别将左右视图与视差图相结合，计算得到相应的融合结构信息和深度信息的特征图，从特征图中提取结构信息与深度信息的融合统计特征；

C．将提取的视觉特征和对应的主观质量分数输入支持向量回归SVR中，得到视觉特征与主观质量分数之间的映射模型。

优选的，所述三维图像质量评价数据库为数据库Waterloo IVC。

优选的，所述提取的视觉特征包括10维左视图亮度统计特征、10维右视图亮度统计特征、10维左视图结构信息与深度信息的融合统计特征和10维右视图结构信息与深度信息的融合统计特征。

进一步地，所述亮度统计特征提取的具体步骤是：

A．分别对左右视图做局部对比度归一化操作，得到相应的亮度图，如式(1)所示：

其中，I(i,j)表示左视图或右视图中(i,j)处的初始值，表示图像中(i,j)处的归一化处理后的值，和分别表示图像局部区域的像素均值和标准方差，常数C等于6.5025。和的定义如式(2)，式(3)所示：

其中，{}，M和N的值均为3；

B．从亮度图中提取亮度统计特征以直方图的形式表示为10维向量{，，，…，}，直方图计算方式如式(4)，式(5)所示：

其中，K是直方图的维数，K=10；M，N分别表示图像的高和宽， 表示直方图每一柱的取值范围，由此可得亮度统计特征的10维特征向量{，，，…，}。

进一步地，所述结构信息与深度信息的融合统计特征提取的具体步骤是：

A．根据三维图像的左视图和右视图计算视差图，采用基于结构相似性算法计算视差图，d(i,j)表示视差图在(i,j)处的值，{d(i,j),I(i,j)}表示三维图像的视差图和左视图或右视图在(i,j)处的特征向量，{d(i′，j′)，I(i′，j′)}表示相邻像素的特征向量，分别计算中心像素与8个相邻像素之间的欧式距离，得到左视图或右视图的像素值和视差图的结构信息和深度信息，如式（6）所示：

其中，，的取值范围为（i-1，i+1），的取值范围为（j-1，j+1）；

B．利用局部二进制模式来获取左视图和右视图的信息变化，得到左视图或右视图的结构信息与深度信息的融合特征，如式(7)、式(8)、式（9）所示：

其中，P_K，R为左视图或右视图的结构信息与深度信息的融合特征，K为邻域像素的个数，R为相邻像素与中心像素之间的距离，K=8，R=1，是{}的平均值，；

C. 对左视图或右视图的结构信息与深度信息的融合特征P_K，R通过式（4）、式（5）以直方图的形式表示为10维向量得左视图或右视图的结构信息与深度信息的融合统计特征。

进一步地，所述输入支持向量回归SVR，将所提取的视觉特征及对应的主观质量分数输入SVR，使用径向基函数作为核函数，可获得视觉特征映射至主观质量分数的映射模型，具体步骤如下：

A．数据库中包含S幅失真的三维图像，每幅三维图像的主观质量分数通过主观实验获得，以MOS表示图像的主观质量分数，记第m幅三维图像的主观质量分数为，其中1≤m≤S，提取每幅失真三维图像的视觉特征向量，用表示第m幅三维图像的视觉特征向量，其中的维度为40；

B．用表示 S幅失真三维图像的数据库集，，对于中第m个特征向量，采用径向基函数作为核函数，其支持向量回归SVR的映射模型g()，如式（10）、式（11）所示：

其中，1≤j≤S，为权重矢量，T为向量的转置，b为常数，为输出的客观质量分数，exp为以自然常数e为底数的指数函数，“”为计算欧式距离符号，为函数的核参数，；

C.用映射模型对中所有三维图像的视觉特征进行训练，训练目标为使值与其对应的值最接近，所得最优参数为和，则最终所得映射模型如式（12）所示：

其中，为输出的客观质量分数。

与现有技术相比，本发明的有益效果是：

(1) 可以设计无监督的三维图像质量评价算法内嵌到三维图像的任何处理环节，满足对此环节的质量监督功能，并及时进行反馈，便于后续的优化处理；

(2) 通过高效的三维图像质量评价方法，可以对三维图像的编码算法进行指导，可以在限定的带宽内得到最高质量的三维图像，依据质量评价算法设计显示效果更佳的三维视显示设备，从而更加符合人类视觉系统的感知；

(3)对视觉特征通过直方图的形式表示为10维向量，较常规的通过定义广义高斯分布拟合，其算法简单，提取亮度统计特征效率更高，且精度更高；

(4)评价方法中增加左视图或右视图的结构信息与深度信息的融合统计特征，使对三维图像的质量评价能进一步提高。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图对本发明作进一步详细描述。

如图1所示，一种无参考三维图像质量评价方法，选用三维图像质量评价数据库，从数据库中从数据库中提取失真屏幕图像的视觉特征和对应的主观质量分数，其中视觉特征包括亮度统计特征和结构信息与深度信息的融合统计特征，将视觉特征和主观质量分数输入向量回归中得到映射模型，任意图像的视觉特征输入映射模型中能得到客观质量分数，以客观质量分数来作为评价图像质量的指标，获得映射模型的步骤包括：

A．对三维图像的左右视图分别通过局部对比度归一化操作，得到相应亮度图，并从中提取亮度统计特征；

B．根据三维图像的左右视图得到三维图像的视差图，然后分别将左右视图与视差图相结合，计算得到相应的融合结构信息和深度信息的特征图，从特征图中提取结构信息与深度信息的融合统计特征；

C．将提取的视觉特征和对应的主观质量分数输入支持向量回归SVR中，得到视觉特征与主观质量分数之间的映射模型。

亮度统计特征提取的具体步骤是：

A．分别对左右视图做局部对比度归一化操作，得到相应的亮度图，如式(1)所示：

其中，I(i,j)表示左视图或右视图中(i,j)处的初始值，表示图像中(i,j)处的归一化处理后的值，和分别表示图像局部区域的像素均值和标准方差，常数C等于6.5025。和的定义如式(2)，式(3)所示：

其中，{}，M和N的值均为3；

B．从亮度图中提取亮度统计特征以直方图的形式表示为10维向量{，，，…，}，直方图计算方式如式(4)，式(5)所示：

其中，K是直方图的维数，K=10；M，N分别表示图像的高和宽， 表示直方图每一柱的取值范围，由此可得亮度统计特征的10维特征向量{，，，…，}。

结构信息与深度信息的融合统计特征提取的具体步骤是：

A．根据三维图像的左视图和右视图计算视差图，采用基于结构相似性算法计算视差图，d(i,j)表示视差图在(i,j)处的值，{d(i,j),I(i,j)}表示三维图像的视差图和左视图或右视图在(i,j)处的特征向量，{d(i′，j′)，I(i′，j′)}表示相邻像素的特征向量，如表1所示，分别计算中心像素与8个相邻像素之间的欧式距离，如表2所示，得到左视图或右视图的像素值和视差图的结构信息和深度信息，如式（6）所示：

其中，，的取值范围为（i-1，i+1），的取值范围为（j-1，j+1）；

表1

{d(i-1,j-1)，I(i-1,j-1)}	{d(i-1,j)，I(i-1,j)}	{d(i-1,j+1)，I(i-1,j+1)}
			{d(i,j-1)，I(i,j-1)}	{d(i,j)，I(i,j)}	{d(i,j+1)，I(i,j+1)}
{d(i+1,j-1)，I(i+1,j-1)}	{d(i+1,j)，I(i+1,j)}	{d(i+1,j+1)，I(i+1,j+1)}

B．利用局部二进制模式来获取左视图和右视图的信息变化，得到左视图或右视图的结构信息与深度信息的融合特征，如式(7)、式(8)、式（9）所示：

其中，P_K，R为左视图或右视图的结构信息与深度信息的融合特征，K为邻域像素的个数，R为相邻像素与中心像素之间的距离，K=8，R=1，是{}的平均值，；

表2

C. 对左视图或右视图的结构信息与深度信息的融合特征P_K，R通过式（4）、式（5）以直方图的形式表示为10维向量得左视图或右视图的结构信息与深度信息的融合统计特征。

所述输入支持向量回归SVR，将所提取的视觉特征及对应的主观质量分数输入SVR，使用径向基函数作为核函数，可获得视觉特征映射至主观质量分数的映射模型，具体步骤如下：

A．数据库中包含S幅失真的三维图像，每幅三维图像的主观质量分数通过主观实验获得，以MOS表示图像的主观质量分数，记第m幅三维图像的主观质量分数为，其中1≤m≤S，提取每幅失真三维图像的视觉特征向量，用表示第m幅三维图像的视觉特征向量，其中的维度为40；

B．用表示 S幅失真三维图像的数据库集，，对于中第m个特征向量，采用径向基函数作为核函数，其支持向量回归SVR的映射模型g()，如式（10）、式（11）所示：

其中，1≤j≤S，为权重矢量，T为向量的转置，b为常数，为输出的客观质量分数，exp为以自然常数e为底数的指数函数，“”为计算欧式距离符号，为函数的核参数，；

C.用映射模型对中所有三维图像的视觉特征进行训练，训练目标为使值与其对应的值最接近，所得最优参数为和，则最终所得映射模型如式（12）所示：

其中，为输出的客观质量分数。

为了进一步说明本发明方法的可行性和有效性，利用皮尔森线性相关系数PLCC和斯皮尔曼秩相关系数SROCC作为三维图像质量评价方法性能的测试指标，使用三维图像质量数据库Waterloo IVC，Waterloo IVC数据库包括Phase I和Phase II两个数据库，数据库中的三维图像均提供了对应的主观质量分数，其中Phase II较Phase I的数据量多，分别在两组数据库上执行对三维图像的评价并测试该方法的性能。

将数据库分为训练集和测试集，其中训练集中数据占总数据库的80%，测试集占20%，通过训练集中数据所提取的视觉特征及对应的主观质量分数，获得视觉特征映射至主观质量分数的映射模型，通过测试集检验本发明方法的性能。为了去除随机性的影响，对该操作执行1000次，取中间结果作为本发明方法的性能。

利用测试集来检测该映射模型时，将测试集所提取的视觉特征输入映射模型中，得到测试集的客观质量分数，为了在同一尺度下计算各种评价方法的性能，对客观质量分数进行转换，以测试集的主观质量分数为纵坐标，客观质量分数为横坐标，拟合得到主观质量分数和客观质量分数之间的函数关系，如式（13）所示：

其中，β₁、β₂、β₃、β₄和β₅均为拟合常数，将测试集的客观质量分数再次代入式（13）中，可对客观质量分数进行转换得到转换后的客观质量分数。

通过测试集的主观质量分数、客观质量分数和转换后的客观质量分数计算得到PLCC和SROCC的值，如式（14）和式（15）所示：

其中，和分别表示第 i 幅图像的预测主观质量分数和主观质量分数，和分别表示其对应的的平均值，和分别表示主观质量分数和客观质量分数在序列中的序号。PLCC 相关系数反映的是客观质量评价算法预测的准确性，准确性越高，其绝对值大小越接近于1，否则越接近于0；SROCC反映的是客观质量评价算法预测的单调性，其值越接近于1说明单调性越高，越接近0说明单调性越低。

以下实施例为了更好的解释本发明，但并不限定本发明。

实施例1

在Waterloo IVC的两个数据库Phase I和Phase II中分别执行现有的图像质量评价模型PSNR模型、SSIM模型、BRISQUE模型、IDW-SSIM模型、MS-SSIM模型以及本发明的技术方案对三维图像进行评价，所得PLCC值和SROCC值如表3所示，可以看出本发明较现有技术中常用的质量评价模型具有突出的优势，质量评价效果更好。

表3

对照例1

在Waterloo IVC的两个数据库Phase I和Phase II中分别执行以下步骤，并计算客观质量分数与主观质量分数的相关系数PLCC和SROCC，计算结果如表4所示：

A. 对数据库中的三维图像的左视图和右视图分别通过局部对比度归一化操作，得到相应亮度图，并从亮度图中提取训练集和测试集的亮度统计特征；

B. 采用三维图像质量数据库Waterloo IVC，从数据库中获取训练集和测试集的主观质量分数；

C. 将所得训练集的亮度统计特征及对应的主观质量分数输入支持向量回归SVR中得到映射模型，将所得测试集的亮度统计特征输入映射模型中得到对应的客观质量分数。

表4

对照例2

在Waterloo IVC 3D的两个数据库Phase I和Phase II中分别执行以下步骤，并计算客观质量分数与主观质量分数的相关系数PLCC和SROCC，计算结果如表4所示：

A. 根据数据库中三维图像的左视图和右视图得到三维图像的视差图，然后分别将左视图、右视图与视差图相结合，计算得到相应的融合结构信息和深度信息的特征图，从特征图中提取训练集和测试集的结构信息与深度信息的融合统计特征；

B. 采用三维图像质量数据库Waterloo IVC，从数据库中获取训练集和测试集的主观质量分数；

C. 将所得训练集的融合统计视觉特征作和对应的主观质量分数输入支持向量回归SVR中得到映射模型，将所得训练集的融合统计视觉特征输入映射模型得到客观质量分数。

对比对照例1、对照例2和本发明，可以看出对照例1只采用了亮度统计特征对三维图像进行评价，对照例2只采用了结构信息与深度信息的融合统计特征，本发明较对照例1和对照例2的评价结果均具有明显的优势，即在图像质量评价时，亮度统计特征和结构信息与深度信息的融合统计特征对评价图像的质量都是不可缺少的。

以上依据本发明的理想实施例为启示，通过上述的说明内容，相关人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定技术性范围。

Claims (6)

1.一种无参考三维图像质量评价方法，其特征在于，选用三维图像质量评价数据库，从数据库中从数据库中提取失真屏幕图像的视觉特征和对应的主观质量分数，其中视觉特征包括亮度统计特征和结构信息与深度信息的融合统计特征，将视觉特征和主观质量分数输入向量回归中得到映射模型，任意图像的视觉特征输入映射模型中能得到客观质量分数，以客观质量分数来作为评价图像质量的指标，获得映射模型的步骤包括：

A．对三维图像的左右视图分别通过局部对比度归一化操作，得到相应亮度图，并从中提取亮度统计特征；

B．根据三维图像的左右视图得到三维图像的视差图，然后分别将左右视图与视差图相结合，计算得到相应的融合结构信息和深度信息的特征图，从特征图中提取结构信息与深度信息的融合统计特征；

C．将提取的视觉特征和对应的主观质量分数输入支持向量回归SVR中，得到视觉特征与主观质量分数之间的映射模型。

2.根据权利要求1所述的一种无参考三维图像质量评价方法，其特征在于，所述三维图像质量评价数据库为数据库Waterloo IVC。

3.根据权利要求1所述的一种无参考三维图像质量评价方法，其特征在于，所述提取的视觉特征包括10维左视图亮度统计特征、10维右视图亮度统计特征、10维左视图结构信息与深度信息的融合统计特征和10维右视图结构信息与深度信息的融合统计特征。

4.根据权利要求1所述的一种无参考三维图像质量评价方法，其特征在于，所述亮度统计特征提取的具体步骤是：

A．分别对左右视图做局部对比度归一化操作，得到相应的亮度图，如式(1)所示：

其中，I(i,j)表示左视图或右视图中(i,j)处的初始值，表示图像中(i,j)处的归 一化处理后的值，和分别表示图像局部区域的像素均值和标准方差，常数C等于6.5025,

和的定义如式(2)，式(3)所示：

其中，{}，M和N的值均为3；

B．从亮度图中提取亮度统计特征以直方图的形式表示为10维向量{，，，…，}， 直方图计算方式如式(4)，式(5)所示：

1

其中，K是直方图的维数，K=10；M，N分别表示图像的高和宽， 表示直方图每一柱的 取值范围，由此可得亮度统计特征的10维特征向量{，，，…，}。

5.根据权利要求1所述的一种无参考三维图像质量评价方法，其特征在于，所述结构信息与深度信息的融合统计特征提取的具体步骤是：

A．根据三维图像的左视图和右视图计算视差图，采用基于结构相似性算法计算视差图，d(i,j)表示视差图在(i,j)处的值，{d(i,j),I(i,j)}表示三维图像的视差图和左视图或右视图在(i,j)处的特征向量，{d(i′，j′)，I(i′，j′)}表示相邻像素的特征向量，分别计算中心像素与8个相邻像素之间的欧式距离，得到左视图或右视图的像素值和视差图的结构信息和深度信息，如式（6）所示：

其中，，的取值范围为（i-1，i+1），的取值范围为（j-1，j+1）；

B．利用局部二进制模式来获取左视图和右视图的信息变化，得到左视图或右视图的结构信息与深度信息的融合特征，如式(7)、式(8)、式（9）所示：

其中，PK，R为左视图或右视图的结构信息与深度信息的融合特征，K为邻域像素的个数， R为相邻像素与中心像素之间的距离，K=8，R=1，是{}的平均值，；

C. 对左视图或右视图的结构信息与深度信息的融合特征P_K，R通过式（4）、式（5）以直方图的形式表示为10维向量得左视图或右视图的结构信息与深度信息的融合统计特征。

6.根据权利要求1所述的一种无参考三维图像质量评价方法，其特征在于，所述输入支持向量回归SVR，将所提取的视觉特征及对应的主观质量分数输入SVR，使用径向基函数作为核函数，可获得视觉特征映射至主观质量分数的映射模型，具体步骤如下：

A．数据库中包含S幅失真的三维图像，每幅三维图像的主观质量分数通过主观实验获 得，以MOS表示图像的主观质量分数，记第m幅三维图像的主观质量分数为，其中1≤m ≤S，提取每幅失真三维图像的视觉特征向量，用表示第m幅三维图像的视觉特征向量， 其中的维度为40；

B．用表示 S幅失真三维图像的数据库集，，对于中第m个特征向 量，采用径向基函数作为核函数，其支持向量回归SVR的映射模型g()，如式 （10）、式（11）所示： 2

其中，1≤j≤S，为权重矢量，T为向量的转置，b为常数，为输出的客观质量分 数，exp为以自然常数e为底数的指数函数，“”为计算欧式距离符号，为函数的核参数，；

C.用映射模型对中所有三维图像的视觉特征进行训练，训练目标为使值与其 对应的值最接近，所得最优参数为和，则最终所得映射模型如式（12）所示：

其中，为输出的客观质量分数。 3