CN112102173B - 光场图像角度超分辨率重建方法 - Google Patents

光场图像角度超分辨率重建方法 Download PDF

Info

Publication number
CN112102173B
CN112102173B CN202011154894.1A CN202011154894A CN112102173B CN 112102173 B CN112102173 B CN 112102173B CN 202011154894 A CN202011154894 A CN 202011154894A CN 112102173 B CN112102173 B CN 112102173B
Authority
CN
China
Prior art keywords
resolution
sub
image
array
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011154894.1A
Other languages
English (en)
Other versions
CN112102173A (zh
Inventor
刘德阳
郗岳
程树林
艾列富
郑馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anqing Normal University
Original Assignee
Anqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anqing Normal University filed Critical Anqing Normal University
Priority to CN202011154894.1A priority Critical patent/CN112102173B/zh
Publication of CN112102173A publication Critical patent/CN112102173A/zh
Priority to LU500298A priority patent/LU500298B1/en
Application granted granted Critical
Publication of CN112102173B publication Critical patent/CN112102173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光场图像角度超分辨率重建方法，包括以下步骤：（1）将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，提取Y通道信息；（2）构建金字塔结构；（3）通过光场图像角度超分辨率网络获得粗的高角度分辨率子孔径图像阵列Y通道信息；（4）通过纹理修复网络获得高角度分辨率子孔径图像阵列Y通道残差信息；（5）步骤（3）、（4）计算结果相加获得最终高角度分辨率子孔径图像阵列；获得最终高角度分辨率子孔径图像阵列U和V通道信息；（6）依据所得Y、U、V通道信息获得最终高角度分辨率子孔径图像阵列。本发明可以获取高的光场角度重建质量，满足深度提取、三维重建等多种应用的实时性需求。

Description

光场图像角度超分辨率重建方法
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种光场图像角度超分辨率重建方法。
背景技术
光场成像可以同时记录三维场景的空间及角度信息。携带三维场景空间及角度四维信息的光场图像促进了很多新的应用，比如数字重聚焦、深度估计以及三维重建等等。然而由于光场相机传感器分辨率的限制，使得获取的光场图像的空间分辨率和角度分辨率之间存在一种制约，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像。然而，高空间分辨率和高角度分辨率的光场图像具有广泛的应用，可以进一步提升类似深度估计、三维重建等应用的性能。因此，如何让利用低角度分辨率的光场图像来重建高角度分辨率的光场图像具有重要的理论意义和实际应用价值。
传统基于深度学习的光场图像角度超分辨率算法大都基于光场图像的极平面图像表示。通过超分辨光场图像的极平面图像来达到提升光场图像角度分辨率的目的。这一类算法虽然可以获得高角度分辨率的光场图像，但是并没有充分利用光场图像的空间及角度相关性，导致角度超分辨率后的光场图像存在模糊、鬼影等噪声，降低了光场图像的图像质量。
发明内容
本发明所要解决的技术问题在于提供一种基于子孔径图像金字塔结构的低角度分辨率光场图像表征方式，并基于该表征方式提供一种光场图像角度超分辨率重建方法，本方法能够提升角度超分辨率后光场图像的图像质量。
本发明的光场图像角度超分辨率重建方法包括以下几个步骤：
（1）将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，并提取所述子孔径图像阵列的Y通道信息；
（2）构建低角度分辨率光场图像的子孔径图像阵列Y通道信息的金字塔结构；
（3）将获取的所述子孔径图像阵列Y通道信息的金字塔结构送入到光场图像角度超分辨率网络，获得粗的高角度分辨率子孔径图像阵列Y通道信息；
（4）将获取的所述粗高角度分辨率子孔径阵列图像Y通道信息送入到纹理修复网络，获得高角度分辨率子孔径图像阵列Y通道残差信息；
（5）将步骤（3）获得的粗的高角度分辨率子孔径图像阵列Y通道信息与步骤（4）获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列。并对低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息；
（6）将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。
所述的步骤（1）具体计算过程如下：
从光场图像中提取低角度分辨率的子孔径阵列图像I，其维度为w×h×3×m×n，其中w×h为子孔径阵列图像I中单个子孔径图像的两个空间分辨率，m×n为子孔径阵列图像I的两个角度分辨率，3为RGB三个通道。首先将所述的低角度分辨率的子孔径阵列图像I从RGB空间转换到YUV空间。然后提取Y通道信息
Figure DEST_PATH_IMAGE001
,其维度为w×h×m×n。
所述的步骤（2）具体计算过程如下：
首先对步骤（1）获取的低角度分辨率的子孔径阵列图像Y通道信息
Figure 322033DEST_PATH_IMAGE001
进行降低维度处理，将四维的所述低角度分辨率子孔径阵列图像Y通道信息
Figure 709021DEST_PATH_IMAGE001
的两个角度维度m×n进行合并，获得三维子孔径阵列图像
Figure 171227DEST_PATH_IMAGE002
，其维度为w×h×(m·n)。根据所述的三维子孔径阵列图像
Figure 849857DEST_PATH_IMAGE002
，构建低角度分辨率子孔径阵列图像的金字塔结构
Figure 55711DEST_PATH_IMAGE004
，其中
Figure DEST_PATH_IMAGE005
的维度为w×h×1，
Figure 516779DEST_PATH_IMAGE006
的维度为w×h×2，
Figure DEST_PATH_IMAGE007
的维度为w×h×4，以此类推，
Figure 399153DEST_PATH_IMAGE008
的维度为w×h×(m·n)。构建的所述金字塔结构共有
Figure 578462DEST_PATH_IMAGE010
层。
所述的步骤（3）具体计算过程如下：
根据所述的低角度分辨率子孔径阵列图像金字塔结构
Figure DEST_PATH_IMAGE011
，构建光场图像角度超分辨率网络。所述光场图像角度超分辨率网络包括两个模块，分别为特征提取模块以及角度超分辨模块。其中，特征提取模块包含
Figure 774957DEST_PATH_IMAGE012
层。其中，前
Figure DEST_PATH_IMAGE013
层为对所述金字塔结构
Figure 356111DEST_PATH_IMAGE014
中
Figure DEST_PATH_IMAGE015
层进行特征提取，获取
Figure 878228DEST_PATH_IMAGE015
个高维特征向量，所用卷积核大小为
Figure 75991DEST_PATH_IMAGE016
，步长为1，填充值为1。随后的
Figure DEST_PATH_IMAGE017
层为对获取的所述高维特征的前
Figure 623647DEST_PATH_IMAGE018
个特征进行反卷积操作，统一所有高维特征的维度。最后一层为sum层，是将所述统一维度的
Figure DEST_PATH_IMAGE019
个高维特征向量进行相加，获得相加后的高维特征向量。所述角度超分辨模块包含
Figure 323224DEST_PATH_IMAGE020
层。其中，前
Figure DEST_PATH_IMAGE021
层为
Figure 563712DEST_PATH_IMAGE022
个冗余卷积子模块，每个冗余卷积子模块包含2个卷积层，一个LeakyReLU激励层和一个sum层，其中所述卷积层的卷积核大小为
Figure DEST_PATH_IMAGE023
，步长为1，填充值为1。所述角度超分辨模块的后面
Figure 717613DEST_PATH_IMAGE024
层为超分辨率子模块，包含
Figure DEST_PATH_IMAGE025
个卷积层以及
Figure 52648DEST_PATH_IMAGE026
个LeakyReLU激励层，其中所述卷积层的卷积核大小为
Figure DEST_PATH_IMAGE027
，步长为2，填充值为0。
所述的步骤（4）具体计算过程如下：
将所述获取的粗高角度分辨率子孔径阵列图像的维度进行重新排列，从
Figure 608394DEST_PATH_IMAGE028
重新排列为
Figure DEST_PATH_IMAGE029
。其中，M×N为高角度分辨率子孔径阵列图像的角度维度。然后将所述重新排列后的粗高角度分辨率子孔径阵列图像输入到纹理修复网络。所述纹理修复网络共有
Figure 3472DEST_PATH_IMAGE030
层，包含
Figure DEST_PATH_IMAGE031
个卷积层以及
Figure 910249DEST_PATH_IMAGE031
个LeakyReLU激励层，其中所述卷积层的卷积核大小为
Figure 799707DEST_PATH_IMAGE032
，步长为2，填充值为0。
本发明能够达到的有益效果如下：
由于光场相机传感器分辨率的限制，使得获取的光场图像的空间分辨率和角度分辨率之间存在一种制约，即光场相机只能获取高角度分辨率和低空间分辨率的光场图像或者高空间分辨率和低角度分辨率的光场图像，并不能同时获取高空间分辨率和高角度分辨率的光场图像，影响光场成像技术在多个图像处理应用中的效果。本发明提出的方法可以通过稀疏的光场图像的子孔径图像重建高角度分辨率的光场图像，获取更稠密的光场图像子孔径图像，提高光场成像技术在多个图像处理应用中的效果。
附图说明
图1是本发明的光场图像角度重建方法的流程图；
图2是实施例一中利用角度分辨率为2×2的光场图像子孔径图像阵列重建角度分辨率为8×8的光场图像子孔径图像阵列的框架图。
图3为实施例一的光场图像角度超分辨率网络示意图；
其中该网络分为特征提取模块与角度超分辨率模块。角度超分辨率模块中又细分为冗余卷积子模块与超分辨率子模块。
图4为实施例一的光纹理修复网络示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明的具体实施方式进行进一步详细说明。
实施例一
如图1、图2、图3、图4可见，本实施例具体过程如下：
（1）将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，并提取所述子孔径图像阵列的Y通道信息
Figure DEST_PATH_IMAGE033
。本实施例中低角度分辨率光场图像子孔径图像阵列的维度为64×64×3×2×2，角度超分辨率后的高角度分辨率光场图像子孔径图像阵列的维度为64×64×3×8×8。提取的所述子孔径图像阵列的Y通道信息
Figure 475539DEST_PATH_IMAGE033
维度为64×64×2×2。
（2）构建低角度分辨率光场图像的子孔径图像阵列Y通道信息的金字塔结构。首先，将四维的所述低角度分辨率子孔径阵列图像Y通道信息
Figure 572677DEST_PATH_IMAGE034
的两个角度维度2×2进行合并，获得三维子孔径阵列图像
Figure 232328DEST_PATH_IMAGE035
，其维度为64×64×4。根据所述的三维子孔径阵列图像
Figure 925478DEST_PATH_IMAGE035
，构建低角度分辨率子孔径阵列图像的金字塔结构
Figure 100002_DEST_PATH_IMAGE036
，其中
Figure 455816DEST_PATH_IMAGE037
的维度为64×64×1，
Figure 100002_DEST_PATH_IMAGE038
的维度为64×64×2，
Figure 195627DEST_PATH_IMAGE039
的维度为64×64×4。构建的所述金字塔结构共有3层。
（3）将获取的所述子孔径图像阵列Y通道信息的金字塔结构P送入到光场图像角度超分辨率网络，获得粗的高角度分辨率子孔径图像阵列Y通道信息。所述的光场图像角度超分辨率网络如图3所示。所述光场图像角度超分辨率网络包括两个模块，分别为特征提取模块以及角度超分辨模块。特征提取模块共包含6层，分别为FE_1，FE_2，FE_3，DC_1，DC_2及一个Sum层。其中，FE_1，FE_2，FE_3为对所述金字塔结构P中每一层进行特征提取，获取3个高维特征向量，所用卷积核大小为3×3×3，步长为1，填充值为1。获取的三个高维特征向量的维度分别为64×64×1×64，64×64×2×64和64×64×4×64。随后将获取的前两个高维特征向量进行反卷积操作，使得前两个高维特征向量的维度与第三个高维向量的维度保持一致。最后将三个维度一致的高维特征向量进行相加得到相加后的高维特征向量，维度为64×64×4×64。所述的角度超分辨模块分共包含36层，其中前32层为8个冗余卷积子模块，每个冗余卷积子模块包含4层，分别为AR_1，LeakyReLU，AR_2和一个Sum层。AR_1与AR_2的卷积核大小为3×3×3，步长为1，填充值为1。经过冗余卷积子模块获得的高维向量维度为64×64×4×64。所述的角度超分辨模块的后4层为超分辨率子模块，依次为AR_3，LeakyReLU，AR_4，LeakyReLU。其中，AR_3与AR_4的卷积核大小为3×3×2，步长为2，填充值为0。经过冗余卷积子模块获得的高维向量维度为64×64×1×64，即为粗高角度分辨率子孔径阵列图像的Y通道信息。
（4）将获取的所述粗高角度分辨率子孔径阵列图像Y通道信息送入到纹理修复网络，获得高角度分辨率子孔径图像阵列Y通道残差信息。首先将粗高角度分辨率子孔径阵列图像Y通道信息进行维度重新排列，将64×64×1×64重排为64×64×8×8。然后将所述重新排列后的粗高角度分辨率子孔径阵列图像输入到纹理修复网络。所述纹理修复网络共有6层，分别为TR_1，LeakyReLU，TR_2，LeakyReLU，TR_3，LeakyReLU。其中，TR_1，TR_2与TR_3的卷积核大小为3×3×2，步长为2，填充值为0。通过所述纹理修复网络获取的高角度分辨率子孔径图像阵列Y通道残差信息的维度为64×64×1×64。
（5）将步骤（3）获得的粗的高角度分辨率子孔径图像阵列Y通道信息与步骤（4）获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列。并对低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息；
（6）将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。
本发明所提出的光场图像重建方法充分利用了光场图像子孔径阵列图像之间的空间及角度相关性，可以一次性重建高角度分辨率的光场图像子孔径阵列图像。本发明提出的方法，首先利用低角度分辨率光场图像的子孔径阵列图像构建所述低角度分辨率光场图像子孔径图像阵列的金字塔结构；其次，利用光场图像角度超分辨率网络重建粗高角度分辨率光场图像子孔径阵列图像的Y通道信息；接着，通过纹理修复网络，获取高角度分辨率子孔径图像阵列Y通道残差信息，并通过与获得的粗高角度分辨率光场图像子孔径阵列图像的Y通道信息相加获得最终的高角度分辨率光场图像子孔径阵列图像的Y通道信息。随后，利用双线性插值算法将低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息。最后，将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列。对比传统光场图像角度重建算法，本发明可以深入挖掘光场图像子孔径阵列图像的空间及角度相关性，提高了重建质量；同时，本发明可以一次性重建高角度光场图像的所有子孔径阵列图像，提高了重建效率。

Claims (4)

1.一种光场图像角度超分辨率重建方法，包括以下步骤：
（1）将低角度分辨率光场图像的子孔径图像阵列从RGB空间转换到YUV空间，并提取所述子孔径图像阵列的Y通道信息；
（2）构建步骤（1）所得低角度分辨率光场图像的子孔径图像阵列Y通道信息的金字塔结构；
（3）将获取的所述子孔径图像阵列Y通道信息的金字塔结构送入到光场图像角度超分辨率网络，获得粗的高角度分辨率子孔径图像阵列Y通道信息；
（4）将获取的所述粗高角度分辨率子孔径阵列图像Y通道信息送入到纹理修复网络，获得高角度分辨率子孔径图像阵列Y通道残差信息；
（5）将步骤（3）获得的粗的高角度分辨率子孔径图像阵列Y通道信息与步骤（4）获得的高角度分辨率子孔径图像阵列Y通道残差信息相加获得最终高角度分辨率子孔径图像阵列；并对步骤（1）所述低角度分辨率光场图像的子孔径图像阵列的U和V通道信息进行双线性上采样处理，获得最终高角度分辨率子孔径图像阵列U和V通道信息；
（6）将所述最终高角度分辨率子孔径图像阵列Y通道信息与最终高角度分辨率子孔径图像阵列U和V通道信息进行合并，并将合并后的数据转化到RGB空间，获得最终高角度分辨率子孔径图像阵列；
所述步骤（3）具体计算过程如下：
根据所述的低角度分辨率子孔径阵列图像金字塔结构
Figure DEST_PATH_IMAGE002
，构建光场图像角度超分辨率网络；
所述光场图像角度超分辨率网络包括两个模块，分别为特征提取模块以及角度超分辨模块；其中，特征提取模块包含
Figure DEST_PATH_IMAGE004
层，m和n为从光场图像中提取低角度分辨率子孔径阵列图像的水平和垂直方向角度分辨率大小；其中，前
Figure DEST_PATH_IMAGE006
层为对所述金字塔结构
Figure DEST_PATH_IMAGE008
中
Figure DEST_PATH_IMAGE010
层进行特征提取，获取
Figure DEST_PATH_IMAGE012
个高维特征向量，所用卷积核大小为
Figure DEST_PATH_IMAGE014
，步长为1，填充值为1；随后的
Figure DEST_PATH_IMAGE016
层为对获取的所述高维特征的前
Figure DEST_PATH_IMAGE018
个特征进行反卷积操作，统一所有高维特征的维度；最后一层为sum层，是将所述统一维度的
Figure DEST_PATH_IMAGE020
个高维特征向量进行相加，获得相加后的高维特征向量；
所述角度超分辨模块包含
Figure DEST_PATH_IMAGE022
层，L为冗余卷积子模块的个数；其中，前
Figure DEST_PATH_IMAGE024
层为
Figure DEST_PATH_IMAGE026
个冗余卷积子模块，每个冗余卷积子模块包含2个卷积层，一个LeakyReLU激励层和一个sum层，其中所述卷积层的卷积核大小为
Figure DEST_PATH_IMAGE028
，步长为1，填充值为1；所述角度超分辨模块的后面
Figure DEST_PATH_IMAGE030
层为超分辨率子模块，包含
Figure DEST_PATH_IMAGE032
个卷积层以及
Figure DEST_PATH_IMAGE034
个LeakyReLU激励层，其中所述卷积层的卷积核大小为
Figure DEST_PATH_IMAGE036
，步长为2，填充值为0。
2.如权利要求1所述的光场图像角度超分辨率重建方法，其特征在于：所述步骤（1）具体计算过程如下：
从光场图像中提取低角度分辨率的子孔径阵列图像I，其维度为w×h×3×m×n，其中w×h为子孔径阵列图像I中单个子孔径图像的两个空间分辨率，m×n为子孔径阵列图像I的两个角度分辨率，3为RGB三个通道；将所述的低角度分辨率的子孔径阵列图像I从RGB空间转换到YUV空间；然后提取Y通道信息
Figure DEST_PATH_IMAGE038
,其维度为w×h×m×n。
3.如权利要求1所述的光场图像角度超分辨率重建方法，其特征在于：所述步骤（2）具体计算过程如下：
首先对步骤（1）获取的低角度分辨率的子孔径阵列图像Y通道信息
Figure DEST_PATH_IMAGE040
进行降低维度处理，将四维的所述低角度分辨率子孔径阵列图像Y通道信息
Figure DEST_PATH_IMAGE041
的两个角度维度m×n进行合并，获得三维子孔径阵列图像
Figure DEST_PATH_IMAGE043
，其维度为
Figure DEST_PATH_IMAGE045
；根据所述的三维子孔径阵列图像
Figure 445335DEST_PATH_IMAGE043
，构建低角度分辨率子孔径阵列图像的金字塔结构
Figure DEST_PATH_IMAGE047
，其中
Figure DEST_PATH_IMAGE049
的维度为
Figure 798956DEST_PATH_IMAGE045
；构建的所述金字塔结构共有
Figure DEST_PATH_IMAGE051
层。
4.如权利要求1所述的光场图像角度超分辨率重建方法，其特征在于：所述步骤（4）具体计算过程如下：
将所述获取的粗高角度分辨率子孔径阵列图像的维度进行重新排列，从
Figure DEST_PATH_IMAGE053
重新排列为
Figure DEST_PATH_IMAGE055
；其中，M×N为高角度分辨率子孔径阵列图像的角度维度；然后将所述重新排列后的粗高角度分辨率子孔径阵列图像输入到纹理修复网络；所述纹理修复网络共有
Figure DEST_PATH_IMAGE057
层，包含
Figure DEST_PATH_IMAGE059
个卷积层以及
Figure DEST_PATH_IMAGE060
个LeakyReLU激励层，其中所述卷积层的卷积核大小为
Figure DEST_PATH_IMAGE062
，步长为2，填充值为0。
CN202011154894.1A 2020-10-26 2020-10-26 光场图像角度超分辨率重建方法 Active CN112102173B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011154894.1A CN112102173B (zh) 2020-10-26 2020-10-26 光场图像角度超分辨率重建方法
LU500298A LU500298B1 (en) 2020-10-26 2021-06-18 An angle Super resolution Reconstruction Method for Optical Field Images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011154894.1A CN112102173B (zh) 2020-10-26 2020-10-26 光场图像角度超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112102173A CN112102173A (zh) 2020-12-18
CN112102173B true CN112102173B (zh) 2022-06-24

Family

ID=73784977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011154894.1A Active CN112102173B (zh) 2020-10-26 2020-10-26 光场图像角度超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN112102173B (zh)
LU (1) LU500298B1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767246B (zh) * 2021-01-07 2023-05-26 北京航空航天大学 光场图像多倍率空间超分辨方法及装置
CN114897680B (zh) * 2022-04-14 2023-04-18 安庆师范大学 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN114926339B (zh) * 2022-05-30 2023-02-03 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
CN116309067B (zh) * 2023-03-21 2023-09-29 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN116309064B (zh) * 2023-03-21 2023-09-15 安庆师范大学 一种基于子孔径图像的光场图像角度超分辨率方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN111598775A (zh) * 2020-04-26 2020-08-28 西安理工大学 基于lstm网络的光场视频时域超分辨重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860816B2 (en) * 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN108428212A (zh) * 2018-01-30 2018-08-21 中山大学 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法
CN111598775A (zh) * 2020-04-26 2020-08-28 西安理工大学 基于lstm网络的光场视频时域超分辨重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Research on Image Super Resolution Reconstruction Model Based on Deep Learning;Y. Zeng, S. Peng and S. Ruan;《2020 IEEE International Conference on Advances in Electrical Engineering and Computer Applications( AEECA)》;20201006;全文 *
一种基于金字塔策略的人脸超分辨率方法;杨刚； 赵红； 王苗； 刘颖； 石强;《河北大学学报(自然科学版)》;20090525;全文 *

Also Published As

Publication number Publication date
LU500298B1 (en) 2021-12-20
CN112102173A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102173B (zh) 光场图像角度超分辨率重建方法
Wang et al. Light field image super-resolution using deformable convolution
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN114897680B (zh) 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN114066777B (zh) 一种光场图像角度重建方法
Fang et al. High-resolution optical flow and frame-recurrent network for video super-resolution and deblurring
Hui et al. Two-stage convolutional network for image super-resolution
Zhang et al. An effective decomposition-enhancement method to restore light field images captured in the dark
Liu et al. Learning from EPI-volume-stack for light field image angular super-resolution
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
Liu et al. A convolutional neural network for image super-resolution using internal dataset
Zhang et al. A deep retinex framework for light field restoration under low-light conditions
Gao et al. MAST: Mask-accelerated shearlet transform for densely-sampled light field reconstruction
LU500980B1 (en) A method for light field angular reconstruction
CN116309067B (zh) 一种光场图像空间超分辨率方法
Kang et al. Deep color image demosaicking with feature pyramid channel attention
CN116309064B (zh) 一种基于子孔径图像的光场图像角度超分辨率方法
Gao et al. DRST: Deep Residual Shearlet Transform for Densely Sampled Light Field Reconstruction
Wang et al. Multi-Scale Detail Enhancement Network for Image Super-Resolution
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant