CN114897680B - 融合光场子孔径图像与宏像素图像的角度超分辨率方法 - Google Patents

融合光场子孔径图像与宏像素图像的角度超分辨率方法 Download PDF

Info

Publication number
CN114897680B
CN114897680B CN202210392739.6A CN202210392739A CN114897680B CN 114897680 B CN114897680 B CN 114897680B CN 202210392739 A CN202210392739 A CN 202210392739A CN 114897680 B CN114897680 B CN 114897680B
Authority
CN
China
Prior art keywords
sub
channel information
resolution
image array
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210392739.6A
Other languages
English (en)
Other versions
CN114897680A (zh
Inventor
刘德阳
许娟
童在东
张友志
艾列富
郑馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anqing Normal University
Original Assignee
Anqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anqing Normal University filed Critical Anqing Normal University
Priority to CN202210392739.6A priority Critical patent/CN114897680B/zh
Priority to ZA2022/05189A priority patent/ZA202205189B/en
Publication of CN114897680A publication Critical patent/CN114897680A/zh
Application granted granted Critical
Publication of CN114897680B publication Critical patent/CN114897680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：获取初始图像，提取子孔径图像阵列Y通道信息，基于初始图像，获取第一高角度分辨率子孔径图像阵列Y通道信息；将子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；基于第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息，获取最终高角度分辨率子孔径图像阵列Y通道信息，基于U通道信息及V通道信息及最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。本发明能够有效提升角度超分辨率后光场图像的图像质量。

Description

融合光场子孔径图像与宏像素图像的角度超分辨率方法
技术领域
本发明涉及图像处理技术领域，特别涉及融合光场子孔径图像与宏像素图像的角度超分辨率方法。
背景技术
作为一种多维计算摄像技术，光场成像技术可以同时记录成像平面的光强分布以及光线的角度信息，被认为是下一代成像技术。利用该技术获取的光场图像包含三维场景光线的位置以及角度四维信息，打破了传统相机成像只能获取三维空间中某一个二维平面光强分布的瓶颈。也正是因为该特性，使得光场成像技术在数字重聚焦、深度提取、图像分割、三维重建、识别与跟踪等方面得到了广泛的应用。目前，手持单镜头光场相机是一种应用广泛的光场图像获取设备，可以记录三维场景的空间及角度信息，进一步推动了光场成像技术的发展。但是由于光场相机传感器分辨率的限制，获取光场图像的空间信息与角度信息成反比，也即是在获取高空间分辨率的前提下，并不能获取高的角度分辨率。这直接影响了光场成像技术在场景深度提取、三维重建、虚拟现实等的应用。因此，探索如何利用稀疏的高空间分辨率的光场图像重建高角度分辨率的光场图像具有重要的理论意义和实际应用价值。
获取具有高角分辨率的光场图像是昂贵的，尽管已经提出了许多方法来提高稀疏采样光场的角度分辨率，但它们总是专注于消费光场相机捕获的具有小基线的光场，并且仍然存在重建质量低、计算效率低或采样模式规律性的限制。最近，已经提出了一些基于学习的方法来隐式学习结构信息并直接合成新视图。在没有明确的深度信息的情况下，这些方法主要是为小基线的光场设计的。然而，这些方法要么使用2D卷积神经网络(CNN)分别对空间域和角域进行建模，要么在极平面图像(EPI)上使用3D CNN对两个维度进行分层上采样，这不能充分探索光场中固有的对应关系，导致角度超分辨率后的光场图像存在模糊、斑点伪影等噪声，降低了合成后的图像质量。
发明内容
为解决上述现有技术中所存在的角度超分辨率后的光场图像图像质量降低等问题，本发明提供了融合光场子孔径图像与宏像素图像的角度超分辨率方法，能够有效提升角度超分辨率后光场图像的图像质量。
为了实现上述技术目的，本发明提供了如下技术方案：
融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括：
获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；
对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；
将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；
对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；
对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；
基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；
提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。
可选的，所述子孔径图像阵列Y通道信息的提取过程包括：
通过光场相机拍摄获取初始图像，将所述初始图像的角度分辨率进行合并，然后将角度分辨率合并后的初始图像从RGB空间转换到YUV空间，在YUV空间中提取子孔径图像阵列Y通道信息。
可选的，第一高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
构建子孔径角度超分辨率网络，其中所述子孔径角度超分辨率网络为所述卷积神经网络；
通过所述子孔径角度超分辨率网络对所述子孔径图像阵列Y通道信息进行处理，获取粗高角度分辨率子孔径阵列图像；
对所述粗高角度分辨率子孔径阵列图像进行空间图像几何变换得到第一高角度分辨率子孔径图像阵列Y通道信息。
可选的，所述第二高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
将所述子孔径图像阵列Y通道信息中每个角度的相同位置的像素进行提取，并基于提取的像素构成所述宏像素图像阵列Y通道信息；
将所述宏像素图像阵列Y通道信息进行重新排列；
构建宏像素空间超分辨率网络，其中所述宏像素空间超分辨率网络为卷积神经网络；
通过所述宏像素空间超分辨率网络对所述宏像素图像阵列Y通道信息重新排列后的数据进行处理并进行像素重组，得到第二高角度分辨率子孔径图像阵列Y通道信息。
可选的，级联数据的获取过程包括：
对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联，
通过维度还原网络对级联后的数据进行维度还原，得到级联数据，其中维度还原网络为卷积神经网络，所述维度还原网络包括三个卷积层及两个激励层，所述级联数据为高角度分辨率光场图像阵列。
可选的，高角度分辨率子孔径图像阵列Y通道残差信息的获取过程包括：
构建纹理修复网络，所述纹理修复网络为3D卷积神经网络；
通过纹理修复网络对所述级联数据进行融合处理，得到高角度分辨率子孔径图像阵列Y通道残差信息，其中所述纹理修复网络包括三层卷积层以及两个ReLU激励层。
可选的，最终高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
对所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果进行相加，得到最终高角度分辨率子孔径图像阵列Y通道信息。
可选的，高角度超分辨率子孔径图像阵列的获取过程包括：
对所述子孔径图像阵列U通道信息及V通道信息进行双线性上采样处理，并将双线性上采样处理后的数据与所述最终高角度分辨率子孔径图像阵列Y通道信息进行合并，并将合并后的数据从YUV空间转换到RGB空间，得到高角度超分辨率子孔径图像阵列。
本发明具有如下技术效果：
本发明能够有效解决由于光场相机传感器分辨率的限制，使得获取的光场图像的空间分辨率和角度分辨率之间存在一种制约，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像，影响光场成像技术在多个图像处理应用中的效果的问题。本发明提出的方法可以通过稀疏的光场图像的子孔径图像重建高角度分辨率的光场图像，获取更稠密的光场图像子孔径图像，提高光场成像技术在多个图像处理应用中的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的光场图像角度重建方法的流程图；
图2是实施例一中利用角度分辨率为2×2的光场图像子孔径图像阵列重建角度分辨率为7×7的光场图像子孔径图像阵列的框架图；
图3为实施例一框架图中的光场子孔径图像角度超分辨率网络，其中该网络分为角度超分辨率模块与空间图像几何变换模块；
图4为实施例一框架图中的光场宏像素图像空间超分辨率网络，其中该网络分为宏像素空间超分辨模块与宏像素图像转换为子孔径图像模块；
图5为实施例一框架图中的纹理修复网络。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所述，本发明提供了融合光场子孔径图像与宏像素图像的角度超分辨率方法，包括，获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，得到级联数据；对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列。
现将本发明所述技术方案进行具体的步骤拆分进行详细说明，具体的包括以下几个步骤：
(1)将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，并提取所述子孔径图像阵列的Y通道信息；
(2)将低角度分辨率光场图像Y通道信息的子孔径图像阵列转换为对应的低空间分辨率宏像素图像阵列；
(3)将获取的所述子孔径图像Y通道信息送入到子孔径角度超分辨率网络，获得粗的高角度分辨率子孔径图像阵列Y通道信息；
(4)将获取的所述宏像素图像Y通道信息送入到宏像素空间超分辨率网络，获得粗的高空间分辨率宏像素图像阵列Y通道信息，并从中提取出粗的高角度分辨率子孔径图像阵列Y通道信息；
(5)将步骤(3)获取的子孔径阵列图像与步骤(4)获取的宏像素阵列图像提取的子孔径阵列图像Y通道信息进行级联，并利用维度还原网络即卷积神经网络将级联后的通道变为原来大小；
(6)将上述级联的信息送入到纹理修复网络，获得高角度分辨率子孔径图像阵列Y通道残差信息；
(7)将步骤(5)获得的粗的高角度分辨率子孔径图像阵列Y通道信息与步骤(6)获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列。并对低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息；
(8)将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。
所述的步骤(1)具体计算过程如下：
从光场图像中提取的低角度分辨率子孔径阵列图像I，其维度为m×n×3×h×w，其中h×w为子孔径阵列图像I中单个子孔径图像的两个空间分辨率，m×n为子孔径阵列图像I的两个角度分辨率，3为RGB三个通道。首先将所述的低角度分辨率的子孔径阵列图像I两个角度分辨率m×n进行合并，其维度为(m·n)×3×h×w。然后将合并后的子孔径阵列图像从RGB空间转换到YUV空间。然后提取Y通道信息IY,将其维度转换为(m·n)×h×w。
所述的步骤(2)具体计算过程如下：
首先对步骤(1)获取的低角度分辨率的子孔径阵列图像Y通道信息IY的(m·n)角度上每个角度的相同位置的像素提取出来构成h×w×m×n，得到低空间分辨率宏像素图像阵列。其中h×w为宏像素图像中两个角度分辨率，m×n为宏像素阵列图像单宏像素图像的两个空间分辨率。
所述的步骤(3)具体计算过程如下：
将获取的所述子孔径图像Y通道信息，维度为(m·n)×h×w。光场子孔径图像角度超分辨率网络分为角度超分辨模块和空间图像几何变换模块。角度超分辨模块共6层卷积操作，第一层卷积包括为5×5的卷积核，步长为1×1，填充值为2×2，后5层卷积包括3×3的卷积核，步长为1×1，填充值为1×1。一共6层操作，前5层每层卷积后包含一个ReLU激励，此时获得高维特征向量其维度为(M·N)×h×w。将所述的高维特征向量利用空间图像几何变换模块获得粗的高角度分辨率子孔径图像阵列Y通道信息。空间图像几何变换模块首先将子孔径图像阵列的Y通道信息IY的第一个维度(m·n)复制M×N次得到的像素信息，与获得的高维特征向量循环m×n次得到的grid网格两者相对应生成的信息做为一层。然后最后一层操作，将其维度进行重新排列生成m×n个相似的光场图像阵列为最终的粗高角度分辨率子孔径图像阵列Y通道信息，其维度为(M·N)×4×h×w。
所述的步骤(4)具体计算过程如下：
将所述获取的低空间分辨率宏像素图像阵列的维度进行重新排列，从h×w×m×n重新排列为(h·w)×1×m×n。其中m×n为低空间分辨率宏像素图像阵列的空间分辨率。h·w为宏像素的个数。然后将所述重新排列后的低空间分辨率宏像素图像阵列送入光场宏像素图像空间超分辨率网络。光场宏像素图像空间超分辨率网络分为宏像素空间超分辨模块和宏像素图像转化为子孔径图像模块。宏像素空间超分辨模块共4层操作，第一层包括5×5的卷积核，步长为1×1，填充值为2×2，紧接着两层包括3×3的卷积核，步长为1×1，填充值为1×1，最后一层为子像素重组层。一共4层操作，前2层每层卷积后包含一个ReLU激励，前三层获得高维特征向量，此时的维度为(h·w)×c×m×n，紧接着的子像素重组层，得到高空间分辨率宏像素图像阵列。宏像素图像转化为子孔径图像模块中，首先从高空间分辨率中提取出和高角度分辨率子孔径阵列图像角度分辨率相同的分辨率，得到粗高角度分辨率子孔径阵列图像，做为下一层其维度为M×N×h×w。然后将其维度进行重新排列，从M×N×h×w重新排列为(M·N)×h×w，然后将第0个维度(M·N)复制得到4个光场图像阵列，做为最后一层其维度为(M·N)×4×h×w。
所述的步骤(5)具体计算过程如下：
将经过角度超分辨率网络得到的粗高角度分辨率子孔径阵列图像和从宏像素空间超分辨率网络得到的高空间分辨率宏像素图像阵列中提取的粗高角度分辨率子孔径阵列图像在第1个维度上级联，维度变为(M·N)×8×h×w。级联后的信息经过维度还原网络，维度还原网络包括三层3×3的卷积核，步长为1×1，填充值为1×1，以及两个ReLU激励。将两个支路的信息集中在第一个维度，其维度为(M·N)×4×h×w。
所述的步骤(6)具体计算过程如下：
将所述获取的高角度分辨率光场图像阵列输入到3D卷积层学习残差信息，用于纹理修复，其中三层卷积，每层卷积包括3×3×3的卷积核，步长为1×1×1，填充值为1×1×1，前2层每层卷积后包含一个ReLU激励。此时维度从(M·N)×4×h×w改变为(M·N)×h×w，将4个光场信息融合为一个强光场信息。
所述的步骤(7)具体计算过程如下：
取步骤(5)中第一个维度的一个光场信息，其维度为(M·N)×h×w，与步骤(6)得到的强光场信息相加获得最终高角度分辨率子孔径图像阵列。并对低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息。
所述的步骤(8)具体计算过程如下：
将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。
如图2可见，本实施例具体过程如下：
(1)将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，并提取所述子孔径图像阵列的Y通道信息IY。本实施例中低角度分辨率光场图像子孔径图像阵列的维度为3×2×2×64×64，角度超分辨率后的高角度分辨率光场图像子孔径图像阵列的维度为1×49×4×64×64。提取的所述子孔径图像阵列的Y通道信息IY维度为1×4×64×64。
(2)将获取的所述子孔径图像阵列Y通道信息IY送入到光场图像角度超分辨率网络，获得粗的高角度分辨率子孔径图像阵列Y通道信息。所述的光场子孔径图像角度超分辨率网络如图3所示。所述光场图像角度超分辨率网络包括两个模块，分别为角度超分辨模块以及空间图像几何变换模块。角度超分辨模块共包含6层，分别为AR_1、AR_2、AR_3、AR_4、AR_5和AR_6层。其中，AR_1所用卷积核大小为5×5，步长为1×1，填充值为2×2。AR_1层进行特征提取的同时将输出通道设为64，获得高维特征向量维度为1×64×64×64。AR_2到AR_6所用卷积核大小为3×3，步长为1×1，填充值为1×1。这5层进行特征提取的同时将输出通道分别设为32、49、49、49、49，最后获得高维特征向量维度为1×49×64×64。所述的角度超分辨模块分共包含11层，其中AR_1到AR_5每层后都有一个ReLU层。在空间图像几何变换模块中，首先将子孔径图像阵列的Y通道信息IY的第一个维度4复制49次，其维度为1×196×64×64。GT_1层为复制后的信息以及AR_6层信息循环4次得到的grid网格，然后根据grid中每个位置提供的坐标信息(这里指IY复制49次后pixel的坐标)，将IY复制49次后信息中对应位置的像素值填充到grid指定的位置，得到最终的输出。GT_2层，将其维度进行重新排列，得到4组粗高角度分辨率子孔径阵列图像的Y通道信息，其维度为1×49×4×64×64。
(3)将获取的低角度分辨率的子孔径阵列图像Y通道信息IY的(2×2)角度上每个角度的相同位置的像素提取出来构成64×64×2×2，再将其维度进行重新排列，得到低空间分辨率宏像素图像阵列，维度为4096×1×2×2。将所述宏像素图像阵列Y通道信息送入到光场宏像素图像空间超分辨率网络，获得粗的高空间分辨率宏像素图像阵列Y通道信息。所述的光场宏像素图像空间超分辨率网络如图4所示。网络包括两个模块，分别为宏像素空间超分辨模块以及宏像素图像转化为子孔径图像模块。宏像素空间超分辨模块共包含4层，分别为SR_1、SR_2、SR_3和SR_4层。其中，SR_1所用卷积核大小为5×5，步长为1×1，填充值为2×2。SR_1层进行特征提取的同时将输出通道设为64，获得高维特征向量维度为4096×64×2×2。SR_2和SR_3所用卷积核大小为3×3，步长为1×1，填充值为1×1。这2层进行特征提取的同时将输出通道分别设为32和16，最后获得高维特征向量维度为4096×16×2×2。再将次高维信息送入子像素卷积层(pixel_shuffle)SR_4，得到高维信息，维度为4096×1×8×8。所述的角度超分辨模块分共包含6层，其中SR_1和SR_2层后都有一个ReLU层。在宏像素图像转化为子孔径图像模块中，T_1首先将SR_4得到的高维信息维度重新排列为1×64×64×8×8，接着前三个维度大小不变，将8×8的空间位置逐一取出，然后取其49个位置的子孔径图像在角度上排列，其维度为1×49×64×64。在T_2层，将第T_1得到信息的第一个维度复制4次再重新排列，得到4组粗高角度分辨率子孔径阵列图像的Y通道信息，其维度为1×49×4×64×64。
(4)将步骤(2)和(3)获取的所述粗高角度分辨率子孔径阵列图像Y通道信息在第二个维度上级联，级联后的维度为1×49×8×64×64。级联后经过维度还原网络包括三层卷积核大小为3×3，步长为1×1，填充值为1×1的卷积层将第2个维度从8降为4，此时的维度为1×49×4×64×64。将此信息送入到如图5所示的纹理修复网络，获得高角度分辨率子孔径图像阵列Y通道残差信息。TR_1、TR_2和TR_3层所用卷积核大小均为3×3，步长为1×1，填充值为1×1。这3层进行纹理修复的同时将输出通道分别设为16、4和1，最后获得高维特征向量维度为1×49×1×64×64。所述纹理修复网络共有5层，分别为TR_1、ReLU、TR_2、ReLU和TR_3层
(5)将步骤(4)级联并将第2个维度从8降低为4的信息，维度为1×49×4×64×64，从中取第2个维度的第一个光场信息。一组粗的高角度分辨率子孔径图像阵列Y通道信息与步骤(4)修复后获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列。并对低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息；
(6)将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。
本发明所提出的光场图像重建方法充分利用了光场图像子孔径阵列图像之间的空间相关性以及光场图像宏像素阵列图像的角度相关性。可以一次性重建高角度分辨率的光场图像子孔径阵列图像。本发明提出的方法，首先将低角度分辨率光场图像的子孔径阵列图像转换为低空间分辨率光场图像的宏像素阵列图像；接着将二者信息分别送到对应的超分辨网络，分别重建粗高角度分辨率光场图像子孔径阵列图像的Y通道信息；其次，通过纹理修复网络，获取高角度分辨率子孔径图像阵列Y通道残差信息，并通过与获得的粗高角度分辨率光场图像子孔径阵列图像的Y通道信息相加获得最终的高角度分辨率光场图像子孔径阵列图像的Y通道信息。随后，利用双线性插值算法将低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息。最后，将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。对比传统光场图像角度重建算法，本发明可以深入挖掘光场图像子孔径阵列图像的空间相关性以及光场图像宏像素阵列图像的角度相关性，提高了重建质量；同时，本发明可以一次性重建高角度光场图像的所有子孔径阵列图像，提高了重建效率。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.融合光场子孔径图像与宏像素图像的角度超分辨率方法，其特征在于，包括：
获取初始图像，提取子孔径图像阵列Y通道信息，其中所述初始图像为低角度分辨率光场图像；
对所述子孔径图像阵列Y通道信息进行处理，获取第一高角度分辨率子孔径图像阵列Y通道信息；
将所述子孔径图像阵列Y通道信息转换为宏像素图像阵列Y通道信息；基于所述宏像素图像阵列Y通道信息，获取第二高角度分辨率子孔径图像阵列Y通道信息；
对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联处理，并对级联后的数据进行维度还原，得到级联数据；
对级联数据进行处理，得到高角度分辨率子孔径图像阵列Y通道残差信息；
基于所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果，获取最终高角度分辨率子孔径图像阵列Y通道信息；
提取子孔径图像阵列U通道信息及V通道信息，基于所述子孔径图像阵列U通道信息及V通道信息及所述最终高角度分辨率子孔径图像阵列Y通道信息，得到高角度超分辨率子孔径图像阵列；
其中，第一高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
构建子孔径角度超分辨率网络，其中所述子孔径角度超分辨率网络为卷积神经网络；
通过所述子孔径角度超分辨率网络对所述子孔径图像阵列Y通道信息进行处理，获取粗高角度分辨率子孔径阵列图像；
对所述粗高角度分辨率子孔径阵列图像进行空间图像几何变换得到第一高角度分辨率子孔径图像阵列Y通道信息；
其中，所述第二高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
将所述子孔径图像阵列Y通道信息中每个角度的相同位置的像素进行提取，并基于提取的像素构成所述宏像素图像阵列Y通道信息；
将所述宏像素图像阵列Y通道信息进行重新排列；
构建宏像素空间超分辨率网络，其中所述宏像素空间超分辨率网络为卷积神经网络；
通过所述宏像素空间超分辨率网络对所述宏像素图像阵列Y通道信息重新排列后的数据进行处理并进行像素重组，得到第二高角度分辨率子孔径图像阵列Y通道信息；
其中，高角度分辨率子孔径图像阵列Y通道残差信息的获取过程包括：
构建纹理修复网络，所述纹理修复网络为3D卷积神经网络；
通过纹理修复网络对所述级联数据进行融合处理，得到高角度分辨率子孔径图像阵列Y通道残差信息，其中所述纹理修复网络包括三层卷积层以及两个ReLU激励层；
其中，最终高角度分辨率子孔径图像阵列Y通道信息的获取过程包括：
对所述高角度分辨率子孔径图像阵列Y通道残差信息与所述级联结果进行相加，得到最终高角度分辨率子孔径图像阵列Y通道信息。
2.根据权利要求1所述方法，其特征在于：
所述子孔径图像阵列Y通道信息的提取过程包括：
通过光场相机拍摄获取初始图像，将所述初始图像的角度分辨率进行合并，然后将角度分辨率合并后的初始图像从RGB空间转换到YUV空间，在YUV空间中提取子孔径图像阵列Y通道信息。
3.根据权利要求1所述方法，其特征在于：
级联数据的获取过程包括：
对所述第一高角度分辨率子孔径图像阵列Y通道信息及第二高角度分辨率子孔径图像阵列Y通道信息进行级联，通过维度还原网络对级联后的数据进行维度还原，得到级联数据，其中维度还原网络为卷积神经网络，所述维度还原网络包括三个卷积层及两个激励层，所述级联数据为高角度分辨率光场图像阵列。
4.根据权利要求1所述方法，其特征在于：
高角度超分辨率子孔径图像阵列的获取过程包括：
对所述子孔径图像阵列U通道信息及V通道信息进行双线性上采样处理，并将双线性上采样处理后的数据与所述最终高角度分辨率子孔径图像阵列Y通道信息进行合并，并将合并后的数据从YUV空间转换到RGB空间，得到高角度超分辨率子孔径图像阵列。
CN202210392739.6A 2022-04-14 2022-04-14 融合光场子孔径图像与宏像素图像的角度超分辨率方法 Active CN114897680B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210392739.6A CN114897680B (zh) 2022-04-14 2022-04-14 融合光场子孔径图像与宏像素图像的角度超分辨率方法
ZA2022/05189A ZA202205189B (en) 2022-04-14 2022-05-11 Light field image angular super-resolution method by fusing sub-aperture image and macro-pixel image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210392739.6A CN114897680B (zh) 2022-04-14 2022-04-14 融合光场子孔径图像与宏像素图像的角度超分辨率方法

Publications (2)

Publication Number Publication Date
CN114897680A CN114897680A (zh) 2022-08-12
CN114897680B true CN114897680B (zh) 2023-04-18

Family

ID=82718128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210392739.6A Active CN114897680B (zh) 2022-04-14 2022-04-14 融合光场子孔径图像与宏像素图像的角度超分辨率方法

Country Status (2)

Country Link
CN (1) CN114897680B (zh)
ZA (1) ZA202205189B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309064B (zh) * 2023-03-21 2023-09-15 安庆师范大学 一种基于子孔径图像的光场图像角度超分辨率方法
CN116309067B (zh) * 2023-03-21 2023-09-29 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348149A (zh) * 2018-10-10 2019-02-15 新辉开科技（深圳）有限公司 一种具有成像功能的显示器及图像的显示方法
CN110599400B (zh) * 2019-08-19 2022-10-04 西安理工大学 一种基于epi的光场图像超分辨的方法
CN111369443B (zh) * 2020-03-19 2023-04-28 浙江昕微电子科技有限公司 光场跨尺度的零次学习超分辨率方法
WO2022016350A1 (zh) * 2020-07-21 2022-01-27 Oppo广东移动通信有限公司 光场图像的处理方法、编码器、解码器及存储介质
CN112102173B (zh) * 2020-10-26 2022-06-24 安庆师范大学 光场图像角度超分辨率重建方法
CN112381711B (zh) * 2020-10-27 2022-07-19 深圳大学 光场图像重建模型训练及快速超分辨率重建方法
CN113139898B (zh) * 2021-03-24 2022-04-19 宁波大学 基于频域分析和深度学习的光场图像超分辨率重建方法
CN114066777B (zh) * 2021-11-30 2022-07-15 安庆师范大学 一种光场图像角度重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法

Also Published As

Publication number Publication date
ZA202205189B (en) 2022-08-31
CN114897680A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Wang et al. Light field image super-resolution using deformable convolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN112102173B (zh) 光场图像角度超分辨率重建方法
CN112767253B (zh) 一种多尺度特征融合的双目图像超分辨率重建方法
CN112950475B (zh) 基于残差学习及空间变换网络的光场超分辨率重建方法
CN114897680B (zh) 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
WO2022016350A1 (zh) 光场图像的处理方法、编码器、解码器及存储介质
Zou et al. Super-Resolution Reconstruction of Images Based on Microarray Camera.
CN112785502B (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
Chandramouli et al. A generative model for generic light field reconstruction
CN111369443B (zh) 光场跨尺度的零次学习超分辨率方法
CN114066777B (zh) 一种光场图像角度重建方法
CN116309067B (zh) 一种光场图像空间超分辨率方法
CN116309064B (zh) 一种基于子孔径图像的光场图像角度超分辨率方法
CN116823602B (zh) 一种视差引导的光场图像的空间超分辨率重建方法
CN116977168A (zh) 融合空间和角度特征的光场图像超分辨率重建方法
Kang et al. Deep color image demosaicking with feature pyramid channel attention
Wafa et al. Learning-based light field view synthesis for efficient transmission and storage
CN111951159A (zh) 一种强噪声条件下光场epi图像超分辨率的处理方法
Wang et al. Multi-scale detail enhancement network for image super-resolution
CN117934283B (zh) 一种多视光场图像角度超分辨方法及系统
CN113077403A (zh) 基于局部数据块的张量增强技术的彩色图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant