CN116309067A - 一种光场图像空间超分辨率方法 - Google Patents

Abstract

本发明涉及一种光场图像空间超分辨率方法，包括：获取低空间分辨率光场图像的初始图像，分别提取初始图像的子孔径图像阵列Y、U、V通道信息；对初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于初始图像的子孔径图像阵列Y通道信息和高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；对初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；基于最终高空间分辨率的子孔径图像阵列Y、U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。本发明能够提高光场图像空间的重建质量和效率。

Description

一种光场图像空间超分辨率方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种光场图像空间超分辨率方法。

背景技术

光场相机可以通过单次拍摄获得场景的三维信息，在三维重建、再聚焦、虚拟现实等领域有着广泛的应用。然而，由于空间分辨率和角度分辨率之间的内在权衡，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像。所获取的光场图像的空间分辨率较低，这阻碍了其在高分辨率场景中的应用。因此，如何让利用低空间分辨率的光场图像来重建高空间分辨率的光场图像具有重要的理论意义和实际应用价值。

一些传统的光场图像空间超分辨率方法首先获取图像的先验信息，然后重建出高空间分辨率的图像，但是难以获得高质量的结果。随着卷积神经网络的快速发展，提出了一些基于学习的光场图像方法，他们大都关注光场图像数据的高维特征，使用卷积来表征空间域或者角域的像素信息，但忽略了光场图像固有的视差结构。各视点之间的互补信息没有得到充分利用，尤其是图像之间的角度相关性没有得到充分的探索，导致空间超分辨率后的光场图像存在模糊、鬼影等噪声，降低了光场图像的图像质量。因此，亟需一种光场图像空间超分辨率方法来解决上述问题。

发明内容

本发明的目的是针对上述技术问题，提出一种光场图像空间超分辨率方法，融合多维度光场图像特征并重组光场角度结构特征的空间超分辨率，能够有效提升空间超分辨率后光场图像的图像质量。

为实现上述目的，本发明提供了如下方案：

一种光场图像空间超分辨率方法,包括：

获取低空间分辨率光场图像的初始图像，分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息；

对所述初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；

对所述初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；

基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。

进一步地，提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括：

基于所述初始图像提取子孔径图像阵列，对所述子孔径图像阵列进行空间转换，分别提取所述子孔径图像阵列Y、U、V通道信息。

进一步地，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取第一次融合信息；对所述第一次融合信息进行第二次处理，获取第二次融合信息；对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息。

进一步地，对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取所述第一次融合信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络，获取子孔径图像阵列空间特征、角度特征的Y通道信息，将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第一次融合信息。

进一步地，对所述第一次融合信息进行第二次处理，获取所述第二次融合信息包括：

对所述第一次融合信息进行维度变换并利用所述多维度融合网络，获取子孔径图像阵列极平面水平特征、垂直特征的Y通道信息，将所述子孔径图像阵列极平面水平特征、垂直特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第二次融合信息。

进一步地，对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述第二次融合信息进行角度维度的重新排列并利用光场图像空间超分辨率网络，获取所述高空间分辨率的子孔径图像阵列Y通道信息。

进一步地，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行双线性上采样，获得处理后的Y通道信息，将所述处理后的Y通道信息与所述高空间分辨率的子孔径图像阵列Y通道信息进行相加，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息。

进一步地，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息包括：

对所述初始图像的子孔径图像阵列U、V通道信息进行双线性上采样，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息。

进一步地，获取所述最终高空间分辨率的子孔径图像阵列包括：

将所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息进行合并和空间转换，获取所述最终高空间分辨率的子孔径图像阵列。

本发明的有益效果为：

(1)本发明所提出的光场图像空间重建方法充分利用了光场图像子孔径阵列图像之间的空间、角度和极平面结构信息以及角度相关性，可以一次性重建高空间分辨率的光场图像子孔径阵列图像。

(2)对比传统光场图像空间重建算法，本发明深入挖掘光场子孔径阵列图像的空间、角度和极平面信息并且更好的探究角度相关性，提高了重建质量；本发明重建低分辨率的光场子孔径阵列图像任意倍数的高空间分辨率的光场子孔径阵列图像，获取分辨率更大的光场图像子孔径图像，提高了重建效率以及光场成像技术在多个图像处理应用中的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的一种光场图像空间超分辨率方法流程图；

图2为本发明实施例的光场图像空间超分辨率框架图；

图3为本发明实施例的多维特征融合网络框架图；

图4为本发明实施例的空间超分辨率网络框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供了一种光场图像空间超分辨率方法，如图1-2所示，具体步骤及过程如下：

S1、获取初始图像，提取子孔径图像阵列Y通道信息。

获取初始图像为低空间分辨率光场图像，从低空间分辨率光场图像中提取低空间分辨率的子孔径阵列图像，其维度为h×w×3×m×n，其中，h×w为子孔径阵列图像中单个子孔径图像的两个空间分辨率，m×n为子孔径阵列图像角度分辨率的两个维度，3为RGB三个通道。将低空间分辨率的子孔径阵列图像从RGB空间转换到YUV空间，提取Y通道信息，其维度为h×w×m×n。

本实施例中低空间分辨率光场图像子孔径图像阵列的维度为3×5×5×64×64，空间超分辨率后的高空间分辨率光场图像子孔径图像阵列的维度为3×5×5×128×128，提取的子孔径图像阵列的Y通道信息维度为5×5×64×64。

S2、构建多维度特征融合网络，对子孔径图像阵列Y通道信息进行维度变化并送入多维度融合网络，获取第一次融合信息。

对低空间分辨率的子孔径图像阵列Y通道信息增加特征通道c，并将四维的低空间分辨率子孔径阵列图像Y通道信息的两个角度维度m×n进行合并，获得四维子孔径阵列图像，其维度为(m·n)×c×h×w，对子孔径阵列图像Y通道信息将四维子孔径阵列图像进行维度变换为(m·n)×c×h×w和(h·w)×c×m×n，并送入多维度融合网络提取空间和角度特征的Y通道信息，将得到的空间和角度特征信息相加并和初始信息相融合得到第一次融合信息。

本实施例中，将四维的低空间分辨率子孔径阵列图像Y通道信息的两个角度维度5×5进行合并，获得三维子孔径阵列图像，其维度为25×64×64。

如图3所示，多维度特征融合网络包括7层，分别是FE_1，SF_1，AF_1，FU_1，EPI_H，EPI_V，FU_2，7层网络均是一层卷积核为3×3，步长为1×1的卷积操作。其中，网络层FE_1是为了提取更多的特征信息，增加一个通道维度，此时的维度为25×32×64×64；网络层SF_1，提取空间特征；再将初始特征维度变换，维度为(64×64)×32×5×5，AF_1层提取角度特征；网络层FU_1为初始特征、空间特征和角度特征维度变换后相加融合后的卷积操作，将结果作为第一次融合特征。

S3、对第一次融合信息进行维度变化并送入多维度融合网络，获取第二次融合信息。

对第一次融合信息进行维度变换提取极平面特征信息，维度分别为(m·h)×c×n×w、(n·w)×c×m×h，送入多维度融合网络提取极平面水平和垂直特征的Y通道信息，将得到的极平面水平和垂直特征的Y通道信息相加并和初始信息相融合得到第二次融合信息，融合后的维度为(m·n)×c×h×w。

本实施例中，对第一次融合特征维度变化，维度分为(5^1×64^1)×32×5^2×64^2，(5^2×64^2)×32×5^1×64^1，分别送入EPI_H、EPI_V网络层提取极平面水平和垂直特征。网络层FU_2为初始特征、极平面水平特征和极平面空间特征维度变换后相加融合后的卷积操作，结果作为第二次融合特征。

S4、对第二次融合信息在角度维度重新排列并送入光场图像空间超分辨率网络，获取高空间分辨率子孔径图像阵列Y通道信息。

对第二次融合信息在角度维度上重新排列，具体为：单独提取角度维度上水平和垂直特征，提取后的维度分别为1×n×c×h×w、m×1×c×h×w；然后将水平和垂直特征按视差的先后顺序依次放入堆栈中，此时的维度为1×(m+n)×c×h×w。

将堆栈中的信息送入光场图像空间超分辨率网络，具体为：光场图像空间超分辨率网络首先对第二次融合特征的光场子孔径阵列，选择角坐标上水平和垂直元素相同的子孔径图像所在水平和垂直堆栈中的子孔径图像的像素信息，此时维度分别为1×m×c×h×w，n×1×c×h×w；再对选择到的信息合并，维度为(m+n)×c×h×w；接着为一层三维卷积操作，融合角度信息，卷积核为3×3×3，步长为1×1×1，维度为1×c×(m+n)×h×w；然后为维度变换后通过一层卷积，还原角度维度，卷积核为3×3，步长为1×1，维度为m×c×h×w；其次在上采样操作中，首先通过一层卷积，卷积核为3×3，步长为1×1，维度为m×(c·s^2)×h×w(s为超分辨的尺寸)，接着一层子像素卷积操作，维度为m×c×(h·s)×(w·s)，最后一层卷积操作将通道维度降低，卷积核为3×3，步长为1×1，维度为m×1×(h·s)×(w·s)。光场图像空间超分辨率网络循环n次，最后将n次结果在第一个维度合并，得到高空间分辨率子孔径图像阵列Y通道信息，维度为1×(m·n)×(h·s)×(w·s)。

如图4所示，光场图像空间超分辨率网络共包含9层，分别为SR_H，SR_V，SR_1，SR_2，SR_3，SR_4，SR_5，SR_6，SR_7。其中SR_H、SR_V网络层是对第二次融合特征的光场子孔径阵列，角坐标上水平和垂直元素相同的子孔径图像所在水平和垂直堆栈中的像素信息选择；SR_1网络层是对选择到的信息合并，此时维度为10×32×64×64；SR_2网络层为一层卷积核为3×3×3，步长为1×1×1的卷积操作，为了刚好的利用角度相关性，采用的三维卷积；SR_3，SR_4，SR_6，SR_7均是一层卷积核为3×3，步长为1×1的卷积操作，SR_3网络层为了将角度维度还原，此时的维度为5×32×64×64；SR_4和SR_5为上采样操作，其中SR_4网络层提升通道维度数，SR_5网络层利用子像素卷积将光场子孔径图像空间分辨率提升2倍，此时维度为5×32×128×128；SR_6网络层将通道还原为1，此时维度为5×1×128×128；SR_7网络层是对其他符合角坐标上水平和垂直元素相同的子孔径图像的循环SR_H，SR_V，SR_1，SR_2，SR_3，SR_4，SR_5，SR_6操作，一共循环5次，合并后获得高空间分辨率子孔径图像阵列Y通道信息，此时维度为1×25×128×128。

S5、将初始子孔径图像阵列Y通道信息双线性插值上采样后和高空间分辨率子孔径图像阵列Y通道信息相加，获取最终高空间分辨率子孔径图像阵列Y通道信息；

S6、对低空间分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高空间分辨率子孔径图像阵列U和V通道信息；

S7、将最终高空间分辨率子孔径图像阵列Y通道信息与最终高空间分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高空间分辨率子孔径图像阵列，此时维度为3×5×5×128×128。

本实施例首先利用低空间分辨率光场图像的子孔径图像阵列提取空间、角度以及极平面上水平和垂直信息；其次，融合提取的结构特征；接着，重组子孔径阵列角度维度上的元素特征，并通过空间超分辨率网络重建高空间分辨率光场子孔径图像阵列的Y通道信息；随后，利用双线性插值算法将原始低空间分辨率光场子孔径图像阵列的Y通道信息进行双线性上采样处理，与空间超分辨率网络得到的高空间分辨率光场子孔径图像阵列的Y通道信息相加作为最终的高空间分辨率光场子孔径图像阵列的Y通道信息；同时将低空间分辨率光场子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高空间分辨率子孔径图像阵列U和V通道信息。最后，将最终高空间分辨率子孔径图像阵列Y通道信息与最终高空间分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高空间分辨率子孔径图像阵列。

本发明所提出的光场图像空间重建方法充分利用了光场图像子孔径阵列图像之间的空间、角度和极平面结构信息以及角度相关性，可以一次性重建高空间分辨率的光场图像子孔径阵列图像。对比传统光场图像空间重建算法，本发明可以深入挖掘光场子孔径阵列图像的空间、角度和极平面信息并且更好的探究角度相关性，提高了重建质量；同时，本发明可以重建低分辨率的光场子孔径阵列图像任意倍数的高空间分辨率的光场子孔径阵列图像，提高了重建效率。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种光场图像空间超分辨率方法，其特征在于，包括：

获取低空间分辨率光场图像的初始图像，分别提取所述初始图像的子孔径图像阵列Y、U、V通道信息；

对所述初始图像的子孔径图像阵列Y通道信息进行处理，获取高空间分辨率的子孔径图像阵列Y通道信息；基于所述初始图像的子孔径图像阵列Y通道信息和所述高空间分辨率的子孔径图像阵列Y通道信息，获取最终高空间分辨率的子孔径图像阵列Y通道信息；

对所述初始图像的子孔径图像阵列U、V通道信息进行处理，获取最终高空间分辨率的子孔径图像阵列U、V通道信息；

基于所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息，获取最终高空间分辨率的子孔径图像阵列。

2.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，提取所述初始图像的子孔径图像阵列Y、U、V通道信息包括：

基于所述初始图像提取子孔径图像阵列，对所述子孔径图像阵列进行空间转换，分别提取所述子孔径图像阵列Y、U、V通道信息。

3.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取第一次融合信息；对所述第一次融合信息进行第二次处理，获取第二次融合信息；对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息。

4.根据权利要求3所述的光场图像空间超分辨率方法，其特征在于，对所述初始图像的子孔径图像阵列Y通道信息进行第一次处理，获取所述第一次融合信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行维度变换并利用多维度融合网络，获取子孔径图像阵列空间特征、角度特征的Y通道信息，将所述子孔径图像阵列空间特征、角度特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第一次融合信息。

5.根据权利要求4所述的光场图像空间超分辨率方法，其特征在于，对所述第一次融合信息进行第二次处理，获取所述第二次融合信息包括：

对所述第一次融合信息进行维度变换并利用所述多维度融合网络，获取子孔径图像阵列极平面水平特征、垂直特征的Y通道信息，将所述子孔径图像阵列极平面水平特征、垂直特征的Y通道信息与所述初始图像的子孔径图像阵列Y通道信息相加，获取所述第二次融合信息。

6.根据权利要求5所述的光场图像空间超分辨率方法，其特征在于，对所述第二次融合信息进行第三次处理，获取所述高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述第二次融合信息进行角度维度的重新排列并利用光场图像空间超分辨率网络，获取所述高空间分辨率的子孔径图像阵列Y通道信息。

7.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息包括：

对所述初始图像的子孔径图像阵列Y通道信息进行双线性上采样，获得处理后的Y通道信息，将所述处理后的Y通道信息与所述高空间分辨率的子孔径图像阵列Y通道信息进行相加，获取所述最终高空间分辨率的子孔径图像阵列Y通道信息。

8.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息包括：

对所述初始图像的子孔径图像阵列U、V通道信息进行双线性上采样，获取所述最终高空间分辨率的子孔径图像阵列U、V通道信息。

9.根据权利要求1所述的光场图像空间超分辨率方法，其特征在于，获取所述最终高空间分辨率的子孔径图像阵列包括：

将所述最终高空间分辨率的子孔径图像阵列Y通道信息和所述最终高空间分辨率的子孔径图像阵列U、V通道信息进行合并和空间转换，获取所述最终高空间分辨率的子孔径图像阵列。

Images