CN108447059A - 一种全参考光场图像质量评价方法 - Google Patents

Abstract

本发明提出一种全参考光场图像质量评价方法。考虑到人眼视觉特性对结构、对比度等较为敏感，在频域里，利用哈尔变换提取高频边缘信息和低频亮度信息，计算频域边缘相似性和亮度相似性；在空域里，提取图像对比度结构特征和亮度特征，分别计算空域对比度结构相似性和亮度相似性；最后将频域和空域信息进行融合得到最终光场图像质量预测分数。该方法计算简单，复杂度低，能很好的评价光场图像质量分数。

Description

一种全参考光场图像质量评价方法

技术领域

本发明涉及全参考图像质量评价方法，主要针对光场图像的质量评价。

背景技术

近年来随着云计算、虚拟现实、增强现实等技术的迅猛发展，光场图像已然在学术界和工业界引起了广泛关注，成为图像处理领域的研究热点。光场图像就是通过光场成像技术对于场景中捕获到的光场信息进行相应数字处理得到的对应的图像信息。光场图像作为一种新的数据格式，可广泛用于三维重新、3D场景表示。然而，同自然场景图像一样，光场图像在保存、传输和显示过程无可避免会遭受到各种失真。因此，如何根据人眼视觉特性来评价光场图像质量成为急需解决的问题。

图像质量评价旨在于根据人类视觉系统特性建立一个与主观感知吻合的数学模型，利用该模型判断图像质量，得到一个能够准确反映人眼对于图像质量主观感知的评价分数。现有大多数质量评价方法都是针对自然场景图像而设计。然而，光场图像和自然场景图像存在着完全不同的结构和统计特性，因此，现有大多数质量评价方法并不能直接适用于评价光场图像质量。而且目前在图像质量评价领域缺少光场图像质量评价方法。因此，针对光场图像的特点，研究适用于光场图像的质量评价方法，以准确描述人眼对于光场图像质量的主观感知度，具有重要的理论意义和应用价值。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种适用于光场图像的全参考质量评价方法，能够较准确地描述人眼对于光场图像质量的主观感知度，且计算简单复杂度低。

本发明采用如下技术方案：

一种全参考光场图像质量评价方法，其特征在于，包括：

1)输入参考光场图像R和测试光场图像D；

2)分别在频域和和空域里对参考光场图像R和测试光场图像D进行相应计算；

3)在频域计算中，对参考光场图像R和测试光场图像D进行离散小波变换，分解得到四个子带信息，包括三个描述高频边缘信息的子带信息和一个描述低频亮度信息的子带信息，对所得高频边缘信息和低频亮度信息进行计算，得到频域信息相似性图FMap；

4)在空域计算中，首先对参考光场图像R和测试光场图像进行下采样得到参考图像r和测试图像d，再对参考图像r和测试图像d计算对比度结构信息和亮度信息，对得到的对比度结构信息和亮度信息进行计算，得到空域信息相似性图SMap；

5)结合频域信息相似性图和空域信息相似性图，池化得到最终光场图像质量分数。

在步骤3)中，对所述参考光场图像R和所述测试光场图像D进行离散小波变换，具体为利用哈尔小波进行计算，得到的所述描述高频边缘信息的三个子带信息为H_R＝{LH_R,HL_R,HH_R}和H_D＝{LH_D,HL_D,HH_D}，所述描述低频亮度信息的一个子带信息为L_R＝{LL_R}和L_D＝{LL_D}；

其中，H_R和L_R表示参考光场图像R的高频边缘信息和低频亮度信息，H_D和L_D表示测试光场图像D的高频边缘信息和低频亮度信息。

在步骤3)中，计算频域信息相似性图，具体步骤如下：

3.1)计算所述参考光场图像R和所述测试光场图像D在频域的边缘相似性FEMap，

其中，ψ_LH、ψ_HL和ψ_HH均表示图像在高频区域的边缘相似性值，取值范围为[0,1]；

ψ_LH＝exp(-|LH_R-LH_D|),ψ_HL＝exp(-|HL_R-HL_D|),ψ_HH＝exp(-|HH_R-HH_D|)；

3.2)计算所述参考光场图像R和所述测试光场图像D在频域的亮度相似性图FLMap，

FLMap＝ψ_LL，

其中，ψ_LL＝exp(-|LL_R-LL_D|)，ψ_LL表示图像在低频区域的亮度相似性值，取值范围为[0,1]；

3.3)计算所述频域信息相似性图FMap，

FMap＝FEMap·FLMap。

在步骤4)中，对所述参考光场图像R和所述测试光场图像D按照图像宽度和高度进行1/2的空间下采样得到所述参考图像r和测试图像d。

在步骤4)中，所述参考图像r和所述测试图像d的亮度信息分别为和所述参考图像r和所述测试图像d对比度结构信息分别为：

其中，r_i和d_i分别表示所述参考图像r与所述测试图像d的像素点值，N表示所述参考图像r和所述测试图像d的像素点数。

在步骤4)中，计算空域信息相似性图，具体步骤如下：

4.1)计算所述参考图像r和所述测试图像d在空域的对比度结构相似性图SSMap，

其中，C为正常数；

4.2)计算图像r和d在空域的亮度相似性图SLMap，

其中，L＝255；

4.3)计算空域信息相似性图SMap，

SMap＝SSMap·SLMap。

步骤5)中，结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，池化得到所述最终光场图像质量分数，步骤如下：

5.1)结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，得到最终光场质量图FSMap，

FSMap＝FMap·SMap；

5.2)池化得到最终光场图像质量分数Q_score，

其中，M表示最终光场质量图FSMap的像素点数，FSMap_i表示图上的点的像素值，i∈[1,M]。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明所述的一种结合频域和空域相似性的光场图像质量评价方法，通过空域和频域分别提取人眼比较感兴趣的边缘信息和亮度信息以计算得到最终质量评价分数。该方法计算简单，复杂度较低，能够较准确地评价光场图像质量。

附图说明

图1为本发明具体流程图

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

本发明为了解决现有图像质量评价方法不适用于评价光场图像质量的问题，提出了一种实用性强且计算简便的结合频域和空域相似性的全参考光场图像质量评价方法。如图1所示，分别从频域和空域计算频域的边缘相似性和亮度相似性以及空域的对比度结构相似性和亮度相似性，最后融合频域和空域信息得到最终评估分数，具体步骤如下：

1)输入参考光场图像R和测试光场图像D。

2)分别在频域和和空域里对参考光场图像R和测试光场图像D进行相应计算。

3)在频域计算中，对参考光场图像R和测试光场图像D进行离散小波变换，分解得到四个子带信息，包括三个描述高频边缘信息的子带信息和一个描述低频亮度信息的子带信息。具体为利用哈尔小波进行计算，得到的描述高频边缘信息的子带信息为H_R＝{LH_R,HL_R,HH_R}和H_D＝{LH_D,HL_D,HH_D}，描述低频亮度信息的子带信息为L_R＝{LL_R}和L_D＝{LL_D}。其中，H_R和L_R表示参考光场图像R的高频边缘信息和低频亮度信息，H_D和L_D表示测试光场图像D的高频边缘信息和低频亮度信息。

对所得高频边缘信息和低频亮度信息进行计算，得到频域信息相似性图FMap，包括：

3.1)计算所述参考光场图像R和所述测试光场图像D在频域的边缘相似性FEMap，

其中，ψ_LH＝exp(-|LH_R-LH_D|),ψ_HL＝exp(-|HL_R-HL_D|),ψ_HH＝exp(-|HH_R-HH_D|)，ψ_LH、ψ_HL和ψ_HH表示图像在高频区域的边缘相似性值，取值范围为[0,1]；值越接近于1，表示参考光场图像与测试图像边缘结构越相似，即差异性越小，失真越小。

3.2)计算所述参考光场图像R和所述测试光场图像D在频域的亮度相似性图FLMap，

FLMap＝ψ_LL，

其中，ψ_LL＝exp(-|LL_R-LL_D|)，ψ_LL表示图像在低频区域的亮度相似性值，取值范围为[0,1]。

3.3)计算所述频域信息相似性图FMap，

FMap＝FEMap·FLMap。

4)在空域计算中，对所述参考光场图像R和所述测试光场图像D按照图像宽度和高度进行1/2的空间下采样得到所述参考图像r和所述测试图像d，再对参考图像r和测试图像d计算对比度结构信息和亮度信息，参考图像r和测试图像d的亮度信息分别为

参考图像r和所述测试图像d对比度结构信息分别为：

其中，r_i和d_i分别表示参考图像与测试图像的像素点值。N表示所述参考图像r和所述测试图像d的像素点数。

对得到的对比度结构信息和亮度信息进行计算，得到空域信息相似性图SMap。计算空域信息相似性图，具体步骤如下：

4.1)计算所述参考图像r和所述测试图像d在空域的对比度结构相似性图SSMap，

其中，C为正常数；

4.2)计算图像r和d在空域的亮度相似性图SLMap，

其中，L＝255；

4.3)计算空域信息相似性图SMap，

SMap＝SSMap·SLMap。

5)结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，池化得到所述最终光场图像质量分数，步骤如下：

5.1)结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，得到最终光场质量图FSMap，

FSMap＝FMap·SMap；

5.2)池化得到最终光场图像质量分数Q_score，

其中，M表示最终光场质量图FSMap的像素点数，FSMap_i表示图上的点的像素值，i∈[1,M]。FSMap通过上述计算得到的是一个二维矩阵质量图，i是这个二维矩阵的点,FSMap_i表示图上的点的像素值。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (7)

1.一种全参考光场图像质量评价方法，其特征在于，包括：

1)输入参考光场图像R和测试光场图像D；

2)分别在频域和和空域里对参考光场图像R和测试光场图像D进行相应计算；

3)在频域计算中，对参考光场图像R和测试光场图像D进行离散小波变换，分解得到四个子带信息，包括三个描述高频边缘信息的子带信息和一个描述低频亮度信息的子带信息，对所得高频边缘信息和低频亮度信息进行计算，得到频域信息相似性图FMap；

4)在空域计算中，首先对参考光场图像R和测试光场图像D进行下采样得到参考图像r和测试图像d，再对参考图像r和测试图像d计算对比度结构信息和亮度信息，对得到的对比度结构信息和亮度信息进行计算，得到空域信息相似性图SMap；

5)结合频域信息相似性图和空域信息相似性图，池化得到最终光场图像质量分数。

2.如权利要求1所述的一种全参考光场图像质量评价方法，其特征在于：在步骤3)中，对所述参考光场图像R和所述测试光场图像D进行离散小波变换，具体为利用哈尔小波进行计算，得到的所述描述高频边缘信息的三个子带信息为H_R＝{LH_R,HL_R,HH_R}和H_D＝{LH_D,HL_D,HH_D}，所述描述低频亮度信息的一个子带信息为L_R＝{LL_R}和L_D＝{LL_D}；

其中，H_R和L_R表示参考光场图像R的高频边缘信息和低频亮度信息，H_D和L_D表示测试光场图像D的高频边缘信息和低频亮度信息。

3.如权利要求2所述的一种全参考光场图像质量评价方法，其特征在于：在步骤3)中，计算频域信息相似性图，具体步骤如下：

3.1)计算所述参考光场图像R和所述测试光场图像D在频域的边缘相似性FEMap，

其中，ψ_LH、ψ_HL和ψ_HH均表示图像在高频区域的边缘相似性值，取值范围为[0,1]；ψ_LH＝exp(-|LH_R-LH_D|),ψ_HL＝exp(-|HL_R-HL_D|),ψ_HH＝exp(-|HH_R-HH_D|)；

3.2)计算所述参考光场图像R和所述测试光场图像D在频域的亮度相似性图FLMap，

FLMap＝ψ_LL，

其中，ψ_LL＝exp(-|LL_R-LL_D|)，ψ_LL表示图像在低频区域的亮度相似性值，取值范围为[0,1]；

3.3)计算所述频域信息相似性图FMap，

FMap＝FEMap·FLMap。

4.如权利要求1所述的一种全参考光场图像质量评价方法，其特征在于：在步骤4)中，对所述参考光场图像R和所述测试光场图像D按照图像宽度和高度进行1/2的空间下采样得到所述参考图像r和测试图像d。

5.如权利要求1所述的一种全参考光场图像质量评价方法，其特征在于：在步骤4)中，所述参考图像r和所述测试图像d的亮度信息分别为所述参考图像图像r和所述测试图像d对比度结构信息分别为：

其中，r_i和d_i分别表示所述参考图像r与所述测试图像d的像素点值N表示所述参考图像图像r和所述测试图像d的像素点数。

6.如权利要求5所述的一种全参考光场图像质量评价方法，其特征在于：在步骤4)中，计算空域信息相似性图，具体步骤如下：

4.1)计算所述参考图像图像r和所述测试图像d在空域的对比度结构相似性图SSMap，

其中，C为正常数；

4.2)计算图像r和d在空域的亮度相似性图SLMap，

其中，L＝255；

4.3)计算空域信息相似性图SMap，

SMap＝SSMap·SLMap。

7.根据权利要求1所述的结合频域和空域相似性的全参考光场图像质量评价方法，其特征在于，步骤5)中，结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，池化得到所述最终光场图像质量分数，步骤如下：

5.1)结合所述频域信息相似性图FMap和所述空域信息相似性图SMap，得到最终光场质量图FSMap，

FSMap＝FMap·SMap；

5.2)池化得到最终光场图像质量分数Q_score，

其中，M表示最终光场质量图FSMap的像素点数，FSMap_i表示图上的点的像素值，i∈[1,M]。