CN109801273B - 一种基于极平面线性相似度的光场图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于极平面线性相似度的光场图像质量评价方法，属于图像处理领域，根据人类视觉系统理解光场图像时对场景结构变化的敏感性和光场图像中包含丰富的场景结构变化信息提出，方法包括：对参考光场图像和失真光场图像分别提取极平面图；接着分别提取参考极平面图和失真极平面图的线性特征图，进而计算得到极平面线性特征相似度图；基于极平面线性相似度图得到最终失真光场图像质量评价值。本发明充分利用极平面线性特征来描述光场图像中场景结构变化，从而评价失真光场图像的质量，反映人眼主观视觉系统对于光场图像的主观感知度，具有较好的光场图像质量评价性能。

Description

一种基于极平面线性相似度的光场图像质量评价方法

技术领域

本发明属于图像处理领域，涉及图像质量评价方法，尤其是涉及一种基于极平面线性相似度的光场图像质量评价方法。

背景技术

随着移动互联网、云计算以及虚拟现实等技术的快速发展，光场图像获得了越来越多的关注和应用。与自然场景图像不同，光场图像主要记录了光辐射在传播过程中的位置和方向信息，突破了简单将三维场景投影在二维平面的传统成像的局限性，可以广泛应用于多视角成像、三维重建、全对焦成像、深度估计、虚拟现实、增强现实等各个领域。

图像处理旨在于提供高清晰度的图像质量。然而，与自然场景图像一样，光场图像在生成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而导致视觉效果降低。由于人眼是光场图像最终接受者，因此提出能够快速准确反映人类视觉系统对光场图像主观感知度的质量评价模型十分有必要。现有的大多数质量评价算法都是针对于自然图像、屏幕图像等而设计并不适用于光场图像质量评价。目前在图像处理领域中缺少对光场图像进行质量评价的方法，光场图像质量评价方法研究成为一个迫切需求。

发明内容

本发明的目的在于突破现有技术的局限性，提出了基于极平面线性相似度的光场图像质量评价方法。

本发明解决其技术问题所采用的技术方案是：

基于极平面线性相似度的光场图像质量评价方法，包括：

接收参考光场图像L_r＝{L_r,1,L_r,2,...,L_r,K}和失真光场图像L_d＝{L_d,1,L_d,2,...,L_d,k}，其中K为视点数目；

分别提取参考光场图像L_r和失真参考图像L_d的参考极平面图E_r和失真极平面图E_d；

提取参考极平面图E_r和失真极平面图E_d的线性特征图F_r和F_d；

计算参考极平面线性特征图F_r和失真极平面线性特征图F_d的极平面线性相似度，进而计算获得失真光场图像L_d的质量评价值。

作为优选，所述从光场图像L_r＝{L_r,1,L_r,2,...,L_r,K}(K为视点数目)提取极平面图的方法如下：将每个视点下光场图像中固定行的信息汇集形成极平面图，用公式表示为：

E_n,i＝L_i,n

其中，L_i,n为第i个视点下光场图像的第n行，E_n,i表示第n张极平面图的第i行。对于分辨率为M×N、视点数为K的光场图像，可以得到N张分辨率为M×K的极平面图。

作为优选，参考极平面图E_r的线性特征的计算步骤如下：

步骤3.1，计算出参考极平面图E_r(x,y)中每个像素点的方向，如下：

其中，G_x(x,y)和G_y(x,y)分别为极平面图(x,y)位置在水平和竖直方向上的梯度：

步骤3.2，将方向相同的像素点构成用矩形框表示的线性支持域，以用作检测结果的备选直线。该矩形框的中心A(a_x,a_y)为：

其中

代表像素p的梯度幅值，x(p)和y(p)分别代表像素p所在位置的横坐标和纵坐标，像素p遍历矩形区域S内的所有像素。

步骤3.3，将上述矩形框的主方向用最小特征值所对应的特征向量的方向来表示：

其中b^xx，b^xy，b^yy分别为

步骤3.4，根据是否满足

来判断参考极平面图E_r(x,y)中每个矩形框是否为直线段，从而输出参考极平面图E_r(x,y)的线性特征图F_r(x,y)，其中T_test为参考极平面图E_r(x,y)的矩形框的数量，q为每个矩形框中像素点的数量，l为矩形框的主方向与像素方向的角度差在2τ内的像素点数目，τ为角度误差容忍度，取值为22.5，ε表示直线段检测的阈值，取值为1。

作为优选，失真极平面图E_d(x,y)每个像素的线性特征F_d(x,y)的计算方式与所述参考极平面图E_r(x,y)每个像素的线性特征F_r(x,y)计算过程相同。

作为优选，对于参考极平面线性特征图F_r(x,y)和失真极平面线性特征图F_d(x,y)，所述的极平面线性相似度用如下方式表述

其中C₁为稳定系数，取正数。

作为优选，所述结合极平面线性相似度图获得该场景下失真光场图像L_d的质量评价值的步骤如下：

分别计算参考光场图像L_r与失真光场图像L_d的极平面线性相似度图ESimM(x,y)中所有像素点的平均相似度值：

其中，M·K表示极平面图的大小。

计算失真光场图像L_d的质量评价值：

其中，N为输入光场图像对应的极平面图的总数，EPIS_i为第i个极平面图的平均相似度值，EPIS_max＝max(EPIS₁,EPIS₂,...,EPIS_N)。

本发明的有益效果如下：

本发明提供了一种基于极平面线性相似度的光场图像质量评价方法。该方法着重于充分考虑人眼视觉系统特性及光场图像特性，充分利用极平面线性特征来描述光场图像的场景失真，反应人眼视主观视觉系统对于光场图像的主观感知度，具有较好的光场图像质量评价性能。

附图说明

图1是本发明的流程示意图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明为了解决现有技术的评估方法未能考虑光场图像的结构特性，提供一种基于极平面线性相似度的光场图像质量评价方法，如图1所示，具体步骤如下：

步骤1，接收参考光场图像L_r＝{L_r,1,L_r,2,...,L_r,K}和失真光场图像L_d＝{L_d,1,L_d,2,...,L_d,K}，其中K为视点数目。

步骤2，分别提取参考光场图像L_r和失真参考图像L_d的参考极平面图E_r和失真极平面图E_d。L_r＝{L_r,1,L_r,2,...,L_r,K}光场图像(K为视点数目)提取极平面图的方法如下：

将每个视点下光场图像中固定行的信息汇集形成极平面图，用公式表示为：

E_n,i＝L_i,n

其中，L_i,n为第i个视点下光场图像的第n行，E_n,i表示第n张极平面图的第i行。对于分辨率为M×N、视点数为K的光场图像，可以得到N张分辨率为M×K的极平面图。

步骤3，提取参考极平面图E_r和失真极平面图E_d的线性特征图F_r和F_d。

具体地，利用线性检测方法提取参考极平面图E_r和失真极平面图E_d的线性特征图F_r和F_d。参考极平面图E_r的线性特征的计算步骤如下：

步骤3.1，首先计算出参考极平面图E_r(x,y)中每个像素点的方向，如下：

其中，G_x(x,y)和G_y(x,y)分别为极平面图(x,y)位置在水平和竖直方向上的梯度：

步骤3.2，将方向相同的像素点构成用矩形框表示的线性支持域，以用作检测结果的备选直线。该矩形框的中心A(a_x,a_y)为_：

其中

代表像素p的梯度幅值，x(p)和y(p)分别代表像素p所在位置的横坐标和纵坐标，像素p遍历矩形区域S内的所有像素。

步骤3.3，将上述矩形框的主方向用最小特征值所对应的特征向量的方向来表示：

其中b^xx，b^xy，b^yy分别为

步骤3.4，根据是否满足

来判断参考极平面图E_r(x,y)中每个矩形框是否为直线段，从而输出参考极平面图E_r(x,y)的线性特征图F_r(x,y)，其中T_test为参考极平面图E_r(x,y)的矩形框的数量，q为每个矩形框中像素点的数量，l为矩形框的主方向与像素方向的角度差在2τ内的像素点数目，τ为角度误差容忍度，取值为22.5，ε表示直线段检测的阈值，取值为1。

同理，失真极平面图E_d(x,y)每个像素的线性特征F_d(x,y)的计算方式与所述参考极平面图E_r(x,y)每个像素的线性特征F_r(x,y)计算过程相同。

步骤4，计算参考极平面线性特征图F_r和失真极平面线性特征图F_d的极平面线性相似度，进而计算获得失真光场图像L_d的质量评价值。

具体地，对于参考极平面线性特征图F_r(x,y)和失真极平面线性特征图F_d(x,y)，所述的极平面线性相似度用如下：

其中C₁为稳定系数，取正数。

分别计算参考光场图像L_r与失真光场图像L_d的极平面线性相似度图ESimM(x,y)中所有像素点的平均相似度值：

其中，M·K表示极平面图的大小。

计算失真光场图像L_d的质量评价值：

其中，N为输入光场图像对应的极平面图的总数，EPIS_i为第i个极平面图的平均相似度值，EPIS_max＝max(EPIS₁,EPIS₂,...,EPIS_N)。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (2)

1.一种基于极平面线性相似度的光场图像质量评价方法，其特征在于，步骤如下：

接收参考光场图像L_r＝{L_r,1,L_r,2,...,L_r,K}和失真光场图像L_d＝{L_d,1,L_d,2,...,L_d,K}，其中K为视点数目；

分别提取参考光场图像L_r的参考极平面图E_r和失真参考图像L_d的失真极平面图E_d；

提取参考极平面图E_r的线性特征图F_r和失真极平面图E_d的线性特征图F_d；其中，参考极平面图E_r的线性特征的计算步骤如下：

步骤3.1，计算出参考极平面图E_r(x,y)中每个像素点(x,y)的方向，如下：

其中，G_x(x,y)和G_y(x,y)分别为极平面图E_r(x,y)位置在水平和竖直方向上的梯度：

步骤3.2，将方向相同的像素点构成用矩形框表示的线性支持域即矩形区域S，以用作检测结果的备选直线，该矩形框的中心A(a_x,a_y)为：

其中

代表像素p的梯度幅值，x(p)和y(p)分别代表像素p所在位置的横坐标和纵坐标，像素p遍历矩形区域S内的所有像素；

步骤3.3，将上述矩形框的主方向用最小特征值所对应的特征向量的方向来表示：

其中b^xx，b^xy，b^yy分别为

步骤3.4，根据是否满足

来判断参考极平面图E_r(x,y)中每个矩形框是否为直线段，从而输出参考极平面图E_r(x,y)的线性特征图F_r(x,y)，其中T_test为参考极平面图E_r(x,y)的矩形框的数量，q为每个矩形框中像素点的数量，l为矩形框的主方向与像素方向的角度差在2τ内的像素点数目，τ为角度误差容忍度，取值为22.5，ε表示直线段检测的阈值，取值为1；

失真极平面图E_d(x,y)每个像素的线性特征F_d(x,y)的计算方式与所述参考极平面图E_r(x,y)每个像素的线性特征F_r(x,y)计算过程相同；

计算参考极平面线性特征图F_r和失真极平面线性特征图F_d的极平面线性相似度，进而计算获得失真光场图像L_d的质量评价值；

所述的极平面线性相似度用如下方式表述

其中C₁为稳定系数，取正数；

结合极平面线性相似度获得场景下失真光场图像L_d的质量评价值的步骤如下：

分别计算参考光场图像L_r与失真光场图像L_d的极平面线性相似度ESimM(x,y) 中所有像素点的平均相似度值：

其中，M·K表示极平面图的大小；

计算失真光场图像L_d的质量评价值：

其中，N为输入光场图像对应的极平面图的总数，EPIS_i为第i个极平面图的平均相似度值，EPIS_max＝max(EPIS₁,EPIS₂,...,EPIS_N)。

2.根据权利要求1所述的基于极平面线性相似度的光场图像质量评价方法，其特征在于，从光场图像L＝{L₁,L₂,...,L_k}提取极平面图的方法如下：将每个视点下光场图像中固定行的信息汇集形成极平面图，用公式表示为：

E_n,i＝L_i,n

其中，L_i,n为第i个视点下光场图像的第n行，E_n,i表示第n张极平面图的第i行，对于分辨率为M×N、视点数为K的光场图像，可以得到N张分辨率为M×K的极平面图。

Images