CN111524104B - 基于多尺度轮廓波特征的全参考光场图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于多尺度轮廓波特征的全参考光场图像质量评价方法，基于光场图像表面的轮廓和曲线具有感知相关性，通过具有良好各向异性的多尺度多方向轮廓波变换有效地捕捉光场图像中场景结构变化的边缘和轮廓细节，充分考虑了人眼视觉系统对于光场图像的主观感知度，具有较好的光场图像质量评价性能。本发明的实施，能够得到匹配于人眼视觉的主观感知度的评价结果。

Description

基于多尺度轮廓波特征的全参考光场图像质量评价方法

技术领域

本发明涉及图像处理领域，更具体地说，涉及一种基于多尺度轮廓波特征的全参考光场图像质量评价方法。

背景技术

随着光电技术的发展，光场成像作为一种可以从单一图像中捕获更丰富的视觉信息的技术，受到了学术界和工业界的广泛关注，并在计算机视觉和计算机图形学领域得到了广泛的应用，如多视角成像、三维重建、全对焦成像、深度估计、虚拟现实、增强现实等。与传统成像不同，光场成像获取空间中任意一点任意方向上的光流数据，由此所得到的光场图像往往更能够反映出真实场景中位置和方向信息。

但光场图像在图像采集、处理、压缩、存储、传输和显示的过程中不可避免地会引入各种失真，导致人眼主观视觉效果不佳。因此，光场图像质量评价成为图像处理领域中必不可少的一个环节。

由于不同的图像具有不同的特征，光场图像携带更多的场景信息，而现有技术的质量评价方法大多是针对于自然图像、屏幕图像而设计的，并不适用于光场图像质量评价。现有技术中缺乏适用于光场图像质量评价的质量评价方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多尺度轮廓波特征的全参考光场图像质量评价方法，充分考虑光场图像特点和人类视觉系统特性，评价结果符合人眼视觉系统主观感知度，具有重要的理论研究意义和实际应用价值。

本发明的技术方案如下：

一种基于多尺度轮廓波特征的全参考光场图像质量评价方法，利用多尺度轮廓特征描述光场图像的细节信息，用于反映光场图像中边缘和轮廓结构的变化；步骤如下：

1)获取参考光场图像

和失真光场图像/>

其中，n表示一组子孔径图像的数量；

2)提取参考光场图像L_r的多个尺度s多个方向o的参考轮廓波特征图R_s,o和失真光场图像L_d的多个尺度多个方向的失真轮廓波特征图D_s,o；其中，s＝1,2,3,…,i，o＝1,2,3,…,j；

3)融合每个尺度在不同方向下的参考轮廓波特征图R_s,o，得到参考融合轮廓波特征图R_s,e(x,y)；融合每个尺度在不同方向下的失真轮廓波特征图D_s,o，得到失真融合轮廓波特征图D_s,e(x,y)；其中，e表示每个尺度内所含的特征图个数，(x,y)表示光场图像中的像素；

4)融合各个尺度的参考融合轮廓波特征图R_s,e(x,y)与失真轮廓波特征图D_s,o，得到多尺度轮廓波特征相似度图CSim_s,e(x,y)；

5)通过池化多尺度轮廓波特征相似度图CSim_s,e(x,y)，得到多尺度质量评价分数Score_s,e；

6)基于多尺度质量评价分数Score_s,e计算失真光场图像质量评价值。

作为优选，步骤2)具体如下：

2.1)对尺度s的参考光场图像L_r,s进行低通滤波和下采样，得到一个低频分量L_r,s+1；再对L_r,s+1进行上采样和滤波，得到参考光场图像L_r,s的预测图像，计算预测图像与L_r,s的差值，得到对应尺度的高频分量Rb_s，具体公式如下：

对尺度s的失真光场图像L_d,s进行低通滤波和下采样，得到一个低频分量L_d,s+1；再对L_d,s+1进行上采样和滤波，得到失真光场图像L_d,s的预测图像，计算预测图像与L_d,s的差值，得到对应尺度的高频分量Db_s，具体公式如下：

其中，当s＝1时，表示输入图像，DOWN表示下采样，UP表示上采样，F表示低通滤波；

2.2)捕获尺度s的参考光场图像L_r,s的高频分量Rb_s的方向信息Rb_s,o和失真光场图像L_d,s的高频分量Db_s的方向信息Db_s,o，具体公式如下：

其中，

表示轮廓波方向滤波器组，2^k表示分解的方向的数量；

2.3)参考轮廓波特征图R_s,o和失真轮廓波特征图D_s,o具体如下：

作为优选，低通滤波采用9-7小波滤波器，具体如下：

其中，w表示滤波器带宽。

作为优选，步骤3)具体如下：

尺度s＝i的参考融合轮廓波特征图R_s,e(x,y)为参考光场图像L_r的低频子带，失真融合轮廓波特征图D_s,e(x,y)为参考光场图像L_d的低频子带，具体如下：

R_s,e(x,y)＝L_r,s；

D_s,e(x,y)＝L_d,s；

其中，e＝1；

计算s＝1,2,3,…,i-1的参考融合轮廓波特征图R_s,e(x,y)和失真融合轮廓波特征图D_s,e(x,y)，每个尺度根据轮廓波长条形的基并成两张特征图，具体如下：

其中，∪为并集。

作为优选，步骤4)具体如下：

其中，C_s为稳定系数。

作为优选，步骤5)具体如下：

W_s,e(x,y)＝max(R_s,e(x,y),D_s,e(x,y))。

作为优选，步骤6)具体如下：

6.1)计算失真光场图像

每个尺度下的失真光场子孔径图像的图像质量评价值，如下：

6.2)计算失真光场子孔径图像的质量评价值，如下：

6.3)计算失真光场图像质量评价值，如下：

本发明的有益效果如下：

本发明所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，基于光场图像表面的轮廓和曲线具有感知相关性，通过具有良好各向异性的多尺度多方向轮廓波变换有效地捕捉光场图像中场景结构变化的边缘和轮廓细节，充分考虑了人眼视觉系统对于光场图像的主观感知度，具有较好的光场图像质量评价性能。本发明的实施，能够得到匹配于人眼视觉的主观感知度的评价结果。

附图说明

图1是本发明的流程示意图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明为了解决现有技术中针对于自然图像、屏幕图像而设计的质量评价方法因无法匹配于人眼视觉的主观感知度，而无法适用于光场图像质量评价的不足，提供一种基于多尺度轮廓波特征的全参考光场图像质量评价方法，填充现有技术中缺乏适用于光场图像质量评价的空白。

本发明所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，如图1所示，包括如下步骤：

1)获取参考光场图像

和失真光场图像/>

其中，n表示一组子孔径图像的数量。

2)提取参考光场图像L_r的多个尺度s多个方向o的参考轮廓波特征图R_s,o和失真光场图像L_d的多个尺度多个方向的失真轮廓波特征图D_s,o；其中，s＝1,2,3,…,i，o＝1,2,3,…,j。

步骤2)具体如下：

2.1)对尺度s的参考光场图像L_r,s进行低通滤波和下采样，得到一个低频分量L_r,s+1；再对L_r,s+1进行上采样和滤波，得到参考光场图像L_r,s的预测图像，计算预测图像与L_r,s的差值，得到对应尺度的高频分量Rb_s，具体公式如下：

对尺度s的失真光场图像L_d,s进行低通滤波和下采样，得到一个低频分量L_d,s+1；再对L_d,s+1进行上采样和滤波，得到失真光场图像L_d,s的预测图像，计算预测图像与L_d,s的差值，得到对应尺度的高频分量Db_s，具体公式如下：

其中，当s＝1时，表示输入图像，DOWN表示下采样，UP表示上采样，F表示低通滤波；

本实施例中，低通滤波采用9-7小波滤波器，具体如下：

其中，w表示滤波器带宽。

具体实施时，s＝1,2,3,4，进而F_9-7具体如下：

其中，h₀＝0.8527，h₁＝0.3775，h₂＝-0.1106，h₃＝-0.0238，h₄＝-0.0378，g₀＝0.7885，g₁＝0.4181，g₂＝-0.0407，g₃＝-0.0645，w＝π。

2.2)捕获尺度s的参考光场图像L_r,s的高频分量Rb_s的方向信息Rb_s,o和失真光场图像L_d,s的高频分量Db_s的方向信息Db_s,o，具体公式如下：

其中，

表示轮廓波方向滤波器组，2^k表示分解的方向的数量。

本实施例中，o＝1,2,3,…,16，k＝4。

2.3)参考轮廓波特征图R_s,o和失真轮廓波特征图D_s,o具体如下：

3)融合每个尺度在不同方向下的参考轮廓波特征图R_s,o，得到参考融合轮廓波特征图R_s,e(x,y)；融合每个尺度在不同方向下的失真轮廓波特征图D_s,o，得到失真融合轮廓波特征图D_s,e(x,y)；其中，e表示每个尺度内所含的特征图个数，(x,y)表示光场图像中的像素。

步骤3)具体如下：

3.1)尺度s＝i的参考融合轮廓波特征图R_s,e(x,y)为参考光场图像L_r的低频子带，失真融合轮廓波特征图D_s,e(x,y)为参考光场图像L_d的低频子带，具体如下：

R_s,e(x,y)＝L_r,s；

D_s,e(x,y)＝L_d,s；

其中，e＝1。本实施例中，s＝1,2,3,4，则s＝4时，R_s,e(x,y)＝L_r,s、D_s,e(x,y)＝L_d,s。

3.2)计算s＝1,2,3,…,i-1的参考融合轮廓波特征图R_s,e(x,y)和失真融合轮廓波特征图D_s,e(x,y)，每个尺度根据轮廓波长条形的基并成两张特征图，具体如下：

其中，∪为并集。

本实施例中，s＝1,2,3,4，o＝1,2,3,…,16，则s＝1,2,3的参考融合轮廓波特征图R_s,e(x,y)和失真融合轮廓波特征图D_s,e(x,y)，每个尺度根据轮廓波长条形的基并成两张特征图，具体如下：

4)融合各个尺度的参考融合轮廓波特征图R_s,e(x,y)与失真轮廓波特征图D_s,o，得到多尺度轮廓波特征相似度图CSim_s,e(x,y)，具体如下：

其中，C_s为稳定系数，本实施例中，C_s＝100。

5)通过池化多尺度轮廓波特征相似度图CSim_s,e(x,y)，得到多尺度质量评价分数Score_s,e；具体如下：

W_s,e(x,y)＝max(R_s,e(x,y),D_s,e(x,y))。

6)基于多尺度质量评价分数Score_s,e计算失真光场图像质量评价值；

步骤6)具体如下：

6.1)计算失真光场图像

每个尺度下的失真光场子孔径图像的图像质量评价值，如下：

6.2)计算失真光场子孔径图像的质量评价值，如下：

6.3)计算失真光场图像质量评价值，如下：

本实施例中，s＝1,2,3,4，则步骤6.2)中，

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (5)

1.一种基于多尺度轮廓波特征的全参考光场图像质量评价方法，其特征在于，利用多尺度轮廓特征描述光场图像的细节信息，用于反映光场图像中边缘和轮廓结构的变化；步骤如下：

1)获取参考光场图像

和失真光场图像

其中，n表示一组子孔径图像的数量；

2)提取参考光场图像L_r的多个尺度s多个方向o的参考轮廓波特征图R_s,o和失真光场图像L_d的多个尺度多个方向的失真轮廓波特征图D_s,o；其中，s＝1,2,3,…,i，o＝1,2,3,…,j；

3)融合每个尺度在不同方向下的参考轮廓波特征图R_s,o，得到参考融合轮廓波特征图R_s,e(x,y)；融合每个尺度在不同方向下的失真轮廓波特征图D_s,o，得到失真融合轮廓波特征图D_s,e(x,y)；其中，e表示每个尺度内所含的特征图个数，(x,y)表示光场图像中的像素；

4)融合各个尺度的参考融合轮廓波特征图R_s,e(x,y)与失真轮廓波特征图D_s,o，得到多尺度轮廓波特征相似度图CSim_s,e(x,y)；

5)通过池化多尺度轮廓波特征相似度图CSim_s,e(x,y)，得到多尺度质量评价分数Score_s,e；

6)基于多尺度质量评价分数Score_s,e计算失真光场图像质量评价值；

步骤2)具体如下：

2.1)对尺度s的参考光场图像L_r,s进行低通滤波和下采样，得到一个低频分量L_r,s+1；再对L_r,s+1进行上采样和滤波，得到参考光场图像L_r,s的预测图像，计算预测图像与L_r,s的差值，得到对应尺度的高频分量Rb_s，具体公式如下：

对尺度s的失真光场图像L_d,s进行低通滤波和下采样，得到一个低频分量L_d,s+1；再对L_d,s+1进行上采样和滤波，得到失真光场图像L_d,s的预测图像，计算预测图像与L_d,s的差值，得到对应尺度的高频分量Db_s，具体公式如下：

其中，当s＝1时，表示输入图像，DOWN表示下采样，UP表示上采样，F表示低通滤波；

2.2)捕获尺度s的参考光场图像L_r,s的高频分量Rb_s的方向信息Rb_s,o和失真光场图像L_d,s的高频分量Db_s的方向信息Db_s,o，具体公式如下：

其中，

表示轮廓波方向滤波器组，2^k表示分解的方向的数量；

2.3)参考轮廓波特征图R_s,o和失真轮廓波特征图D_s,o具体如下：

步骤4)具体如下：

其中，C_s为稳定系数。

2.根据权利要求1所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，其特征在于，低通滤波采用9-7小波滤波器，具体如下：

其中，w表示滤波器带宽。

3.根据权利要求1所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，其特征在于，步骤3)具体如下：

尺度s＝i的参考融合轮廓波特征图R_s,e(x,y)为参考光场图像L_r的低频子带，失真融合轮廓波特征图D_s,e(x,y)为参考光场图像L_d的低频子带，具体如下：

R_s,e(x,y)＝L_r,s；

D_s,e(x,y)＝L_d,s；

其中，e＝1；

计算s＝1,2,3,…,i-1的参考融合轮廓波特征图R_s,e(x,y)和失真融合轮廓波特征图D_s,e(x,y)，每个尺度根据轮廓波长条形的基并成两张特征图，具体如下：

其中，∪为并集。

4.根据权利要求1所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，其特征在于，步骤5)具体如下：

W_s,e(x,y)＝max(R_s,e(x,y),D_s,e(x,y))。

5.根据权利要求1所述的基于多尺度轮廓波特征的全参考光场图像质量评价方法，其特征在于，步骤6)具体如下：

6.1)计算失真光场图像

每个尺度下的失真光场子孔径图像的图像质量评价值，如下：

6.2)计算失真光场子孔径图像的质量评价值，如下：

6.3)计算失真光场图像质量评价值，如下：

Images