CN112381711B - 光场图像重建模型训练及快速超分辨率重建方法 - Google Patents

光场图像重建模型训练及快速超分辨率重建方法 Download PDF

Info

Publication number
CN112381711B
CN112381711B CN202011164983.4A CN202011164983A CN112381711B CN 112381711 B CN112381711 B CN 112381711B CN 202011164983 A CN202011164983 A CN 202011164983A CN 112381711 B CN112381711 B CN 112381711B
Authority
CN
China
Prior art keywords
light field
image
sub
field image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011164983.4A
Other languages
English (en)
Other versions
CN112381711A (zh
Inventor
王兴政
游森林
昝永强
邓元龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011164983.4A priority Critical patent/CN112381711B/zh
Publication of CN112381711A publication Critical patent/CN112381711A/zh
Application granted granted Critical
Publication of CN112381711B publication Critical patent/CN112381711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing

Abstract

本发明提供了光场图像重建模型训练及快速超分辨率重建方法，首先通过使用两个不同的训练集对预设网络模型进行训练，训练出具有两组模型参数的光场图像重建模型，再分别利用训练得到的两组模型参数对光场图像进行角度超分辨率重建和空间超分辨率重建。该方法基于同一图像重建网络模型，实现光场图像空间和角度分辨率的提高。并且，本实施例提供的图像重建网络模型是受高效的亚像素卷积神经网络(ESPCNN)的启发而设计的，利用高效的亚像素卷积神经网络在图像超分辨率重建方面的高效性，可快速地提高光场图像的空间和角度分辨率，并可取得较佳的重建质量。

Description

光场图像重建模型训练及快速超分辨率重建方法
技术邻域
本发明涉及光场图像处理技术领域，尤其涉及的是一种光场图像重建模型训练方法及光场图像快速超分辨率重建的方法。
背景技术
光场相机通过在主透镜和图像传感器之间插入微透镜阵列实现对四维光场的采集，但是，由于传感器的限制，光场相机通过牺牲空间分辨率来换取角度分辨率，导致其空间分辨率远低于传统相机。而从低空间分辨率的光场图像中获得的深度图，存在分辨率低和细节信息少等问题。并且，深度图的精度与角度分辨率密切相关，与从低角度分辨率的光场图像获得的深度图相比，从高角度分辨率的光场图像获得的深度图显示出更高的精度。然而，由于光场相机存在着空间和角度分辨率相互制约的关系，限制了空间和角度分辨率的同时提高，导致从光场相机得到的深度图不能满足实际应用中高精度的需求。
近年来，由于卷积神经网络具有出色的学习能力和强大的泛化能力，被成功地用于图像超分辨率重建，但是目前应用于光场图像超分辨率重建的神经网络模型具有多个网络分支，结构复杂，整个重建过程耗时长，效率低下。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于提供一种光场图像重建模型训练方法及快速超分辨率重建的方法，克服现有技术中用于实现光场图像超分辨率重建过程效率低、耗时长的缺陷。
本发明实施例公开的方案如下：
第一方面，本实施例提供了一种光场图像重建模型训练方法，其中，包括：
将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像，所述第一目标图像为角度超分辨率重建后的高角度低空间分辨率光场图像；
其中，所述第一训练集包括多组第一训练样本，每组第一训练样本包括光场图像以及对应的第一图像；所述第一图像的角度分辨率高于所述光场图像，为真值高角度低空间分辨率光场图像；
将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像，所述第二目标图像为空间超分辨率重建后的子孔径图像；
其中，所述第二训练集包括多组第二训练样本，每组第二训练样本包括与所述光场图像对应的子孔径图像，以及与所述子孔径图像对应的第二图像；所述第二图像的空间分辨率高于所述子孔径图像，为真值高空间分辨率子孔径图像；
所述预设网络模型根据所述第一目标图像和所述第一图像，对模型参数进行修正，并继续执行所述根据所述第一训练集中光场图像，训练所述光场图像对应的第一目标图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到光场图像重建模型及其第一模型参数；
所述预设网络模型根据所述第二目标图像和所述第二图像，对模型参数进行修正，并继续执行所述根据所述第二训练集中子孔径图像，训练所述子孔径图像对应的第二目标图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述光场图像重建模型的第二模型参数。
可选的，所述将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像的步骤之前，还包括：
采集原始光场图像，构建第一训练集和第二训练集；
对所述原始光场图像先进行空间分辨率下采样处理，得到真值高角度低空间分辨率光场图像，即为所述第一图像；再进行角度分辨率下采样处理，得到预处理后的光场图像；
第一训练样集包括所述光场图像以及对应的所述第一图像；
从所述第一图像中提取出子孔径图像；从所述原始光场图像中提取出真值高空间分辨率子孔径图像，即为所述第二图像；
第二训练集包括所述子孔径图像以及对应的所述第二图像。
可选的，所述预设网络模型包括：隐含层和亚像素卷积层；
所述将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像的步骤包括：
将光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图；
将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像。
可选的，所述隐含层包括：特征提取层和特征映射层；
所述将光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图的步骤包括：
将光场图像输入至所述特征提取层，通过所述特征提取层得到与所述光场图像相对应的第一角度特征图；
将所述第一角度特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一角度特征图对应的第二角度特征图。
可选的，所述亚像素卷积层包括：上采样滤波器和周期性混排算子；所述将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像的步骤包括；
将所述第二角度特征图输入至所述亚像素卷积层，通过所述上采样滤波器，得到所述光场图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三角度特征图；
所述周期性混排算子将所述第三角度特征图，按预设索引周期排序成所述第一目标图像。
可选的，所述预设网络模型包括：隐含层和亚像素卷积层；
所述将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像的步骤包括：
将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的空间特征图；
将所述空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像对应的第二目标图像。
可选的，所述隐含层包括：特征提取层和特征映射层；
所述将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的子孔径图像特征图的步骤包括：
将所述子孔径图像输入至所述特征提取层，通过所述特征提取层得到与所述子孔径图像相对应的第一空间特征图；
将所述第一空间特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一空间特征图对应的第二空间特征图。
可选的，所述亚像素卷积层包括：上采样滤波器和周期性混排算子；所述将所述空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像对应的第二目标图像的步骤：
将所述第二空间特征图输入至所述亚像素卷积层，通过所述上采样滤波器，得到所述子孔径图像在原始位置和经过水平、垂直、对角亚像素位移后的第三空间特征图；
所述周期性混排算子将所述第三空间特征图，按预设索引周期排序成所述第二目标图像。
第二方面，本实施例提供了一种光场图像的超分辨率重建方法，其中，应用所述的光场图像重建模型训练方法的训练的光场图像重建模型，所述光场图像的超分辨率重建方法包括：
获取光场图像；
将所述光场图像输入至模型参数为第一模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述光场图像对应的第一目标图像；
从所述第一目标图像中提取出其子孔径图像；
将所述子孔径图像输入至模型参数为第二模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述子孔径图像对应的第二目标图像。
可选的，所述获取光场图像的步骤包括：
光场相机采集光场，得到光场图像。
第三方面，本实施例还公开了一种终端设备，其中，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的光场图像重建模型训练方法的步骤。
第四方面，本实施例还公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的光场图像重建模型训练方法的步骤。
有益效果，本发明提供了一种光场图像重建模型训练方法及光场图像的快速超分辨率重建方法，通过使用两个不同的训练集对预设网络模型进行训练，得到训练出的具有两组模型参数的光场图像重建模型，分别利用训练得到的两组模型参数对光场图像进行角度超分辨率重建和空间超分辨率重建，得到高角度分辨率光场图像和高空间分辨率子孔径图像。该方法基于同一图像重建网络模型，实现空间和角度分辨率相对应的提高，可实现重建后的光场图像的重聚焦，并且本实施例提供的图像重建网络模型，是受ESPCNN的启发而设计的，结构简单，可快速地提高光场图像的空间和角度分辨率，取得较佳的光场图像超分辨率重建效果。
附图说明
图1是本实施例所提供的光场图像重建模型训练方法的步骤流程图；
图2是本实施例所提供的所述光场图像重建模型的结构示意图；
图3是本实施例所提供的所述光场图像重建模型训练方法的具体应用实施例图；
图4是本实施例所提供的训练方法中对原始光场图像进行空间分辨率下采样的示意图；
图5是本实施例所提供的训练方法中对原始光场图像进行角度分辨率下采样的示意图；
图6是本实施例所提供的光场图像重建模型在光场图像上进行角度超分辨率重建的示意图；
图7是本实施例所提供的光场图像重建模型在光场图像上进行空间超分辨率重建的示意图；
图8是本实施例中亚像素卷积层处理图像的原理示意图；
图9是本实施例所提供的光场图像的快速超分辨率重建方法的步骤流程图；
图10是本实施例所述终端设备的原理结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本技术邻域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术邻域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属邻域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
光场是光线在空间传播中四维的概念，是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。与传统的二维成像相比，光场成像不仅记录了光线的位置信息，还记录了光线的方向信息，并在计算机视觉领域得到广泛应用，如显著性检测、深度估计、目标检测与识别等。
光场相机通过在主透镜和图像传感器之间插入微透镜阵列实现对四维光场图像的采集，但是，由于传感器的限制，光场相机通过牺牲空间分辨率来换取角度分辨率，导致其空间分辨率远低于传统相机。而从低空间分辨率的光场图像中获得的深度图，存在分辨率低和细节信息少等问题。并且，深度图的精度与角度分辨率密切相关，与从低角度分辨率的光场图像获得的深度图相比，从高角度分辨率的光场图像获得的深度图显示出更高的精度。由于光场相机存在着空间分辨率和角度分辨率相互制约的关系，限制了空间分辨率和角度分辨率的同时提高，导致从光场相机得到的深度图不能满足实际应用中高精度的需求。
近年来，由于卷积神经网络具有出色的学习能力和强大的泛化能力，被成功地用于图像超分辨率重建。目前，国内外研究者主要参考了现有的基于卷积神经网络提高图像分辨率的思路，通过结合光场图像包含角度和角度信息的特点来改进网络结构，进而提高光场图像的空间和角度分辨率。然而，大多数的基于卷积神经网络提高光场图像空间和角度分辨率的方法，没有很好地利用原始光场图像的特点(微透镜区域包含的像素数对应于角度分辨率，微透镜区域的个数对应于空间分辨率)，需要设计两个不同的网络来分别提高空间和角度分辨率。而两个不同的网络会使得空间和角度分辨率不能相对应的提高，即空间和角度分辨率的提高倍数不一致，破坏了光场图像的原始结构，导致重建后的光场图像不能进行重聚焦。特别是在五维光场图像集LF(s,t,x,y,:)上提高角度分辨率的方法，不仅不能使空间和角度分辨率相对应的提高，而且其角度超分辨率网络结构复杂，具有多个网络分支，导致光场图像超分辨率重建的过程耗时长，效率低下。
为了克服现有技术中出现的上述问题，本实施例提供了一种光场图像重建模型训练方法及利用训练得到的重建模型进行光场图像超分辨率重建方法。本实施例受ESPCNN的启发，设计了一种高效的光场图像重建模型。该重建模型直接在三维低角度分辨率光场图像和低空间分辨率子孔径图像上，分别进行角度和空间超分辨率重建。由于本实施例公开的光场图像重建模型结构简单，在三维的低分辨率图像空间上进行卷积运算，因此角度和空间超分辨率重建效率高。并且，空间和角度分辨率的提高基于同一个光场图像重建模型实现，确保角度和空间分辨率的提高倍数是一致的，因此使得重建后的光场图像保留了原始结构，可进行重聚焦。
本发明的目的在于提供一种基于同一光场图像重建模型使空间和角度分辨率快速提高的方法；并且，该方法中的光场图像重建模型是受ESPCNN的启发而设计的，利用ESPCNN在图像超分辨率重建方面的高效性，能快速地提高光场图像的空间和角度分辨率。
为了便于理解，先对高效的亚像素卷积神经网络(ESPCNN)进行介绍：
高效性：实验表明，使用高效的亚像素卷积神经网络3倍的提高单张图像分辨率(BSD datasets)，平均用时为4.7ms(K2 GPU)，而超分辨率卷积神经网络(SRCNN)平均用时为2.5s。
高效亚像素卷积神经网络包括l层卷积神经网络和亚像素卷积层。具体应用时，首先将l层卷积神经网络直接应用于LR(低分辨率)图像，然后应用亚像素卷积层将非线性映射得到的高维LR特征图进行上采样重建成HR(高分辨率)图像。
对于由L层组成的网络，可以将第L-1层描述为:
Figure BDA0002745496930000091
Figure BDA0002745496930000092
Wl，bl，l∈(1，L-1)分别是网络学习到的权重和偏差。Wl是一个二维卷积张量，大小为nl-1×nl×kl×kl，nl是第l层特征(神经元)的数量，kl第l层滤波器的大小，
Figure BDA0002745496930000093
是非线性函数(激活函数)tanh(x)＝(1-e-2x)/(1+e-2x)，tanh函数将输入压缩到-1～1，从而保证输出均值为0，减少对梯度的影响。
亚像素卷积层fL将非线性映射得到的高维LR特征图转换成HR图像。
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
PS是周期性混排算子，将W×H×C·r2张量的元素重新排列为rW×rH×C张量，C为LR和HR图像的通道数。
本实施例利用高效亚像素卷积神经网络在图像超分辨率重建方面的高效性，使用同一光场图像重建模型快速地实现图像角度和空间超分辨率的重建。
下面结合附图，对本发明所公开的所述方法做更为详细的解释。
示例性方法
本实施例公开了一种光场图像重建模型训练方法，如图1所示，包括：
步骤S1、将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像；其中，所述第一训练集包括多组第一训练样本，每组第一训练样本包括光场图像以及与所述光场图像对应的第一图像；所述第一图像的角度分辨率高于所述光场图像。具体的，所述第一目标图像为通过预设网络模型进行角度超分辨率重建后的高角度低空间分辨率光场图像。
本步骤中首先构建第一训练集，并根据第一训练集对预设网络模型进行训练，通过预设网络模型得到与第一训练集中的光场图像对应的第一目标图像。
具体的，第一训练集中含有多组第一训练样本，每个第一训练样本均为光场图像，作为第一训练样本的光场图像为对采集得到的原始光场图像进行预处理后的低角度低空间分辨率光场图像。
结合图2所示，所述预设网络模型包括：隐含层21和亚像素卷积层22；
所述将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像的步骤包括：
步骤S11、将光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图；
步骤S12、将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像。
进一步的，所述隐含层包括：特征提取层211和特征映射层212；角度特征图包括：第一角度特征图和第二角度特征图。
将所述光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图的步骤包括：
步骤S111、将光场图像输入至所述特征提取层，通过所述特征提取层得到与所述光场图像相对应的第一角度特征图。
步骤S112、将所述第一角度特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一角度特征图对应的第二角度特征图。
进一步的，所述亚像素卷积层包括：一组上采样滤波器213和周期性混排算子214；
将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像的步骤包括：
步骤S113、将所述第二角度特征图输入至所述亚像素卷积层，一组上采样滤波器预测出所述光场图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三角度特征图。
步骤S114、所述周期性混排算子将所述第三角度特征图，按对应的索引周期排序成所述第一目标图像。
具体的，隐含层包括两个卷积层，其中，第一卷积层为特征提取层、第二卷积层为特征映射层。
具体的，第一卷积层为特征提取层，从低角度分辨率原始光场图像LFLAR中提取整体微透镜区域所包含的第一角度特征图AF：
AF1(LFLAR)＝tanh(W1*LFLAR+B1)；
其中，W1和B1分别表示特征提取层的卷积核与偏置向量，W1的大小为C×k1×k1×64，C为X的通道数，B1的长度为64。
第二卷积层为特征映射层，对于卷积层一提取的第一角度特征图，利用32个尺寸为k2×k2的卷积核与之卷积，建立第二角度特征图与第一角度特征图之间的非线性映射，卷积层二的输出为：
AF2(LFLAR)＝tanh(W2*AF1(LFLAR)+B2)；
其中，W2的大小为64×k2×k2×32，B2的大小为32。
具体的，亚像素卷积层包括上采样滤波器和周期性混排算子。
上采样滤波器包括4个尺寸为k3×k3的卷积核，与卷积层二提取的32个角度特征图卷积，得到所述光场图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三角度特征图，表示为：
AF3(LFLAR)＝W3*AF2(LFLAR)+B3；
其中，W3的大小为32×k3×k3×432×k3×k3×r2，B3的大小为4。
周期性混排算子将第三角度特征图，按对应的索引周期排序成所述第一目标图像LFSAR，表示为：
LFSAR＝PS(AF3(LFLAR))；
其中，所述第三角度特征图AF3包含4个特征图，每个特征图包含m×n个大小为A×A的微透镜区域，则所述第三角度特征图可表示为m*A×n*A×4。PS是周期性混排算子，将所述第三角度特征图快速地排列成大小为m*2A×n*2A的第一目标图像LFSAR。
其中，所述第一目标图像包含m×n个大小为2A×2A的微透镜区域。
步骤S2、将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像；其中，所述第二训练集包括多组第二训练样本，每组第二训练样本包括与所述原始光场对应的子孔径图像，以及与所述子孔径图像对应的真值高空间分辨率子孔径图像，也就是与子孔径图像对应的高空间分辨率子孔径图像的真实值。所述子孔径图像为低空间分辨率图像。
本步骤中利用预先构建的第二训练集，并通过预设网络模型对第二训练集中的子孔径图像进行处理，得到与子孔径图像对应的第二目标图像。
步骤S3、所述预设网络模型根据所述光场图像对应的第一目标图像和所述第一图像，对模型参数进行修正，并继续执行所述根据所述第一训练集中光场图像，训练所述光场图像对应的第一目标图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到光场图像重建模型及其第一模型参数。
当上述步骤S1中预设网络模型根据输入的光场图像，输出第一目标图像，则根据第一目标图像和第一训练集中与所述光场图像对应的第一图像，通过光场图像的预测值(第一目标图像)和真实值(即第一训练集中与所述光场图像对应的第一图像)，相比较得到光场图像重建模型的训练损失值，并根据所述损失值对模型参数进行修正，并继续执行步骤S1中的训练步骤，直至得到光场图像重建模型的第一模型参数。
步骤S4、所述预设网络模型根据所述子孔径图像对应的第二目标图像和所述第二图像，对模型参数进行修正，并继续执行所述根据所述第二训练集中子孔径图像，训练所述子孔径图像对应的真值高空间分辨率子孔径图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述光场图像重建模型的第二模型参数。
当上述步骤S2中预设网络模型根据输入的子孔径图像，输出第二目标图像，则根据第二目标图像和第二训练集中与所述子孔径图像对应的空间超分辨率重建图，通过所述子孔径图像的预测值(第二目标图像)和真实值(即第二训练集中与所述子孔径图像对应的第二图像)，相比较得到光场图像重建模型的训练损失值，并根据所述损失值对模型参数进行修正，并继续执行步骤S2中的训练步骤，直至得到光场图像重建模型的第二模型参数。
结合图2所示，所述预设网络模型包括：隐含层21和亚像素卷积层22；
所述将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像的步骤包括：
将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的低分辨率的空间特征图；
将所述空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像对应的第二目标图像。
具体的，所述隐含层21包括：特征提取层211、特征映射层212；
将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的低分辨率的空间特征图的步骤包括：
将所述子孔径图像输入至所述特征提取层，通过所述特征提取层得到与所述子孔径图像相对应的第一空间特征图；
将所述第一空间特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一空间特征图对应的第二空间特征图；
具体的，所述亚像素卷积层包括：一组上采样滤波器213和周期性混排算子214；
将所述第二空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像对应的第二目标图像的步骤包括：
将所述第二空间特征图输入至所述亚像素卷积层，一组上采样滤波器预测出所述子孔径图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三空间特征图。
所述周期性混排算子将所述第三空间特征图，按对应的索引周期排序成所述第二目标图像。
下面以本发明所述训练方法的具体应用实施例，对本发明所述训练方法做进一步的说明。
构建训练样本，得到角度超分辨率重建参数集合和空间超分辨率重建参数集合，结合图3至图5所示。
对原始光场图像进行预处理，如图4所示，先进行空间分辨率2倍下采样，得到高角度分辨率低空间分辨率(HAR-LSR)的原始空间图像。
构建用于角度超分辨率重建的训练样本，对高角度分辨率低空间分辨率(HAR-LSR)的原光场图像，如图5所示，进行角度分辨率2倍下采样，得到低角度分辨率的原始光场图像。遍历该图像，根据步长为微透镜区域边长d将光场图像划分为n个图像块，n为大于或等于2的整数，且每个图像块包含3x3个微透镜区域，作为光场图像重建模型的输入input_anglecn。
对高角度分辨率低空间分辨率(HAR-LSR)原始空间图像，进行每隔2个像素抽样，得到4张低角度分辨率低空间分辨率的原始光场图像。遍历4张低角度分辨率低空间分辨率的原始光场图像，根据步长为微透镜区域边长d(d＝7)将4张原始光场图像划分为n个4维图像块，在划分过程要确保4维图像块与输入input_anglecn的中心微透镜区域相匹配，每个4维图像块大小为dxdx4，作为参考真值label_anglecn。
构建用于空间超分辨率重建的训练样本，从高角度分辨率低空间分辨率的原始光场图像中提取出子孔径图像。遍历每个待重建的子孔径图像，根据步长为微透镜区域边长d将子孔径图像划分为n个图像块，n为大于或等于2的整数，且每个图像块大小与角度超分辨率网络的输入input_anglecn一致，作为光场图像重建模型的输入input_spacecn。
从未进行下采样的原始空间图像中提取出子孔径图像，对子孔径图像进行每隔2个像素抽样，得到4张低分辨率的子孔径图像。遍历4张低分辨率的子孔径图像，根据步长为微透镜区域边长d将4张低分辨率的子孔径图像划分为n个4维图像块，在划分过程要确保4维图像块与输入input_spacecn相匹配，每个4维图像块大小为dxdx4，作为参考真值label_spacecn。
使用caffe构建预设网络模型，其具体结构如下表所示：
Figure BDA0002745496930000151
网络前三层参数以高斯分布进行初始化，其均值为0，标准差为10-3，学习率均为10-4。
如图6所示，角度超分辨率重建的步骤包括如下内容：
当待重建的光场图像角度分辨率为7x7时，则每个微透镜区域的大小为7x7(d＝7)。例如，输入一个包含3x3个低角度分辨率微透镜区域的原始光场图像块611，则图像块大小为21x21，经过3层卷积处理(经过第一层卷积处理，得到第一微透镜区域612，经过第二层卷积处理，得到第二微透镜区域613)，得到4维低角度分辨率微透镜区域614，其大小为4x7x7；最后,通过周期混排算子将4维低角度分辨率微透镜区域，重新排序成只包含一个高角度分辨率微透镜区域的原始光场图像块615,其大小为14x14。在微透镜区域上提高角度分辨率，可以保留光线的位置和方向信息，重建后的光场图像仍可进行光场重聚焦。
光场图像重建模型的隐含层针对低角度分辨率微透镜区域，非线性映射得到低角度分辨率微透镜区域的高维特征图。针对实施例，为了确保3x3个低角度分辨率微透镜区域经过3层卷积处理，得到4维低角度分辨率微透镜区域，第一层滤波器大小设置为64x9x9，第二层卷积滤波器大小设置为32x5x5，第三层滤波器大小设置为4x3x3。
进一步说明，结合图8所示，3x3个低角度分辨率微透镜区域经过2次卷积后，得到32维第二角度特征图。亚像素卷积层首先使用四个卷积核与32维第二角度特征图卷积，得到4维第三角度特征图，再对4维第三角度特征图进行周期混排算子按照对应的索引重新排序成第一目标图像，其中第一目标图像为转换得到的高角度分辨率微透镜区域。光场图像重建模型直接在低角度低空间分辨率(LAR-LSR)的原始光场图像上提取特征，在微透镜区域上实现角度超分辨率重建，得到高角度低空间分辨率的原始光场图像。
结合图7所示，空间超分辨率重建：光场图像重建模型可以提高光场图像的空间分辨率，第一层滤波器大小设置为64x9x9，第二层卷积滤波器大小设置为32x5x5，第三层滤波器大小设置为4x3x3。从角度超分辨率重建后的光场图像上提取出子孔径图像711，光场图像重建模型的隐含层针对低分辨率的子孔径图像711，非线性映射得到低分辨率的子孔径图像的第二空间特征图713。亚像素卷积层首先通过一组上采样滤波器，得到所述子孔径图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三空间特征图714，再通过周期性混排算子将第三空间特征图，按预设索引重新排序成所述第二目标图像，第二目标图像即为转换得到的高分辨率的子孔径图像715，实现空间超分辨率的重建。由于空间分辨率和角度分辨率的提高均使用相同结构的光场图像重建模型，可以保证空间分辨率的提高与角度分辨率的提高相对应。
基于反向传播的随机梯度下降法，使用input_anglecn和与之相匹配的label_anglecn训练光场图像重建模型，得到第一模型参数集合。
基于反向传播的随机梯度下降法，使用input_spacecn和与之相匹配的label_spacecn训练光场图像重建模型模型，得到第二模型参数集合。
针对低角度分辨率低空间分辨率的光场图像，使用训练好的角度和空间超分辨率网络，可快速地实现角度和空间分辨率相对应的提高。
本实施例还公开了一种光场图像的快速超分辨率重建方法，如图9所示，应用所述的光场图像重建模型训练方法的训练的光场图像重建模型，所述光场图像的超分辨率重建方法包括：
步骤H1、获取光场图像；所述光场图像为低角度低空间分辨率光场图像；
本步骤中获取的光场图像为对采集到的原始光场图像进行预处理后得到的低角度低空间分辨率光场图像。具体实施例时，可以利用角度分辨率为7×7的光场相机采集光场，得到角度分辨率为7×7的原始光场图像。
步骤H2、将所述光场图像输入至模型参数为第一模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述光场图像对应的第一目标图像。
具体的，第一卷积层为特征提取层，从低角度分辨率原始光场图像LFLAR中提取整体微透镜区域所包含的第一角度特征图AF：
AF1(LFLAR)＝tanh(W1*LFLAR+B1)；
其中，W1和B1分别表示特征提取层的卷积核与偏置向量，W1的大小为3×9×9×64C×k1×k1×64，C3为LFLARX的通道数，B1的长度为64。
第二卷积层为特征映射层，对于卷积层一提取的第一角度特征图，利用32个尺寸为k2×k2的卷积核与之卷积，建立第二层角度特征图与第一角度特征图之间的非线性映射，卷积层二的输出为：
AF2(LFLAR)＝tanh(W2*AF1(LFLAR)+B2)；
其中，W2的大小为64×5×5×3264×k2×k2×32，B2的大小为32。
具体的，亚像素卷积层包括上采样滤波器和周期性混排算子。
上采样滤波器包括4个尺寸为k3×k3的卷积核，与卷积层二提取的32个角度特征图卷积，得到所述光场图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三角度特征图，表示为：
AF3(LFLAR)＝W3*AF2(LFLAR)+B3；
其中，W3的大小为32×3×3×432×k3×k3×r2，B3的长度为4。
周期性混排算子将第三角度特征图，按对应的索引周期排序成所述第一目标图像LFSAR，表示为：
LFSAR＝PS(AF3(LFLAR))；
其中，所述第三角度特征图AF3包含4个特征图，每个特征图包含m×n个大小为7×7的微透镜区域，则所述第三角度特征图可表示为m*7×n*7×4。PS是周期性混排算子，将所述第三角度特征图快速地排列成大小为m*14×n*14的第一目标图像LFSAR。
其中，所述第一目标图像包含m×n个大小为14×14的微透镜区域。
步骤H3、从所述第一目标图像中提取出低分辨率的子孔径图像；
步骤H4、将所述子孔径图像输入至模型参数为第二模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述子孔径图像对应的超分辨率的子孔径图像。
从高角度分辨率低空间分辨率(HAR-LSR)的光场图像中提取出子孔径图像，作为光场图像重建模型的输入，光场图像重建模型通过上采样滤波器将低分辨率的子孔径图像在原始位置和经过水平、垂直、对角亚像素位移后，得到第三空间特征图，再利用周期性混排算子将第三空间特征图按照对应的索引周期排序成第二目标图像，其中，第二目标图像即为经过光场图像重建模型重建得到的高分辨率子孔径图像，实现空间分辨率的提高。利用高效亚像素卷积神经网络在图像超分辨率重建方面的高效性，使用同一光场图像重建模型快速地实现角度和空间分辨率相对应的提高。
具体的，首先将光场图像输入到光场图像重建模型，该光场图像重建模型利用光场图像上每个微透镜区域所包含的像素数决定角度分辨率大小的特点，对低角度分辨率的微透镜区域进行处理，将低角度分辨率的微透镜区域重建为高角度分辨率的微透镜区域，得到高角度分辨率低空间分辨率的光场图像。然后，从重建后得到的高角度分辨率低空间分辨率的光场图像中提取出低分辨率的子孔径图像，并将提取到的子孔径图像输入到光场图像重建模型，得到重建后的高角度分辨率和高空间分辨率的子孔径图像。本发明在原始光场图像上的微透镜区域实现角度超分辨率重建，使重建后的光场图像仍具有原始光场图像的结构。并且，该光场图像重建模型利是受ESPCNN的启发而设计的，利用ESPCNN在图像超分辨率重建方面的高效性，使用同一光场图像重建模型快速地实现角度和空间分辨率相对应的提高。
为了获取到更好的超分辨率图像的重建效果，具体应用实施中所述获取光场图像的步骤包括：
利用角度分辨率为7×7的光场相机采集光场，得到角度分辨率为7×7的原始光场图像。
示例性设备
在上述方法的基础上，本实施例还公开了一种终端设备，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的光场图像重建模型训练方法的步骤。一种实施方式中，所述终端设备可以为手机、平板电脑或智能电视。
具体的，如图10所示，所述终端设备包括至少一个处理器(processor)1020以及存储器(memory)1022，还可以包括显示屏1021、通信接口(Communications Interface)1023和总线1024。其中，处理器1020、显示屏1021、存储器1022和通信接口1023可以通过总线1024完成相互间的通信。显示屏1021设置为显示初始设置模式中预设的用户引导界面。通信接口1023可以传输信息。处理器1020可以调用存储器1022中的逻辑指令，以执行上述实施例中方法的步骤。
此外，上述的存储器1022中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器1022作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器1020通过运行存储在存储器1022中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的光场图像重建模型训练方法。
存储器1022可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1022可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
另一方面，本实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述光场图像重建模型训练方法或图像超分辨率重建方法的步骤。
本发明提供了一种光场图像重建模型训练方法、光场图像的快速超分辨率重建方法及设备，通过使用两个不同的训练集对预设网络模型进行训练，得到训练出的具有两组模型参数的光场图像重建模型，分别利用训练得到的两组模型参数对光场图像进行角度超分辨率重建和空间超分辨率重建。该方法基于同一图像重建网络模型，实现空间和角度分辨率相对应的提高，并且本实施例提供的图像重建网络模型是受ESPCNN的启发而设计的，结构简单，利用ESPCNN在图像超分辨率重建方面的高效性，快速地提高光场图像的空间和角度分辨率，并可取得较佳的光场图像超分辨率重建效果。
可以理解的是，对本邻域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种光场图像重建模型训练方法，其特征在于，包括：
将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像，所述第一目标图像为通过预设网络模型进行角度超分辨率重建后的高角度低空间分辨率光场图像；其中，所述第一训练集包括多组第一训练样本，每组第一训练样本包括光场图像以及对应的第一图像；所述第一图像的角度分辨率高于所述光场图像，为真值高角度低空间分辨率光场图像；
将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像，所述第二目标图像为空间超分辨率重建后的子孔径图像；其中，所述第二训练集包括多组第二训练样本，每组第二训练样本包括与所述光场图像对应的子孔径图像，以及与所述子孔径图像对应的第二图像；所述第二图像的空间分辨率高于所述子孔径图像，为真值高空间分辨率子孔径图像；
所述预设网络模型根据所述第一目标图像和所述第一图像，对模型参数进行修正，并继续执行所述根据所述第一训练集中光场图像，训练所述光场图像对应的第一目标图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到光场图像重建模型及其第一模型参数；
所述预设网络模型根据所述第二目标图像和所述第二图像，对模型参数进行修正，并继续执行所述根据所述第二训练集中子孔径图像，训练所述子孔径图像对应的第二目标图像的步骤，直至所述预设网络模型的训练情况满足预设条件，得到所述图像重建模型的第二模型参数。
2.根据权利要求1所述的光场图像重建模型训练方法，其特征在于，所述将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像的步骤之前，还包括：
采集原始光场图像，构建第一训练集和第二训练集；
对所述原始光场图像先进行空间分辨率下采样处理，得到第一图像；再进行角度分辨率下采样处理，得到预处理后的光场图像；
第一训练集包括所述光场图像以及对应的所述第一图像，其中，所述光场图像为对采集得到的所述原始光场图像进行预处理后的低角度低空间分辨率光场图像；
从所述第一图像中提取出子孔径图像；从所述原始光场图像中提取出子孔径图像，得到第二图像；
第二训练集包括所述子孔径图像以及对应的所述第二图像。
3.根据权利要求1所述的光场图像重建模型训练方法，其特征在于，所述预设网络模型包括：隐含层和亚像素卷积层；
所述将第一训练集中的光场图像输入预设网络模型，通过所述预设网络模型得到与所述光场图像对应的第一目标图像的步骤包括：
将光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图；
将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像。
4.根据权利要求3所述的光场图像重建模型训练方法，其特征在于，所述隐含层包括：特征提取层和特征映射层；所述亚像素卷积层包括：上采样滤波器和周期性混排算子；
所述将光场图像输入至所述隐含层，通过所述隐含层得到与所述光场图像相对应的角度特征图的步骤包括：
将光场图像输入至所述特征提取层，通过所述特征提取层得到与所述光场图像相对应的第一角度特征图；
将所述第一角度特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一角度特征图对应的第二角度特征图；
所述将所述角度特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述光场图像对应的第一目标图像的步骤包括：
将所述第二角度特征图输入至所述亚像素卷积层，通过所述上采样滤波器，得到所述光场图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三角度特征图；
所述周期性混排算子将所述第三角度特征图，按预设索引周期排序成所述第一目标图像。
5.根据权利要求1所述的光场图像重建模型训练方法，其特征在于，所述预设网络模型包括：隐含层和亚像素卷积层；
所述将第二训练集中的子孔径图像输入预设网络模型，通过所述预设网络模型得到与所述子孔径图像对应的第二目标图像的步骤包括：
将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的空间特征图；
将所述空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像特征图对应的第二目标图像。
6.根据权利要求5所述的光场图像重建模型训练方法，其特征在于，所述隐含层包括：特征提取层和特征映射层；所述亚像素卷积层包括：上采样滤波器和周期性混排算子；
所述将所述子孔径图像输入至所述隐含层，通过所述隐含层得到与所述子孔径图像对应的空间特征图的步骤包括：
将所述子孔径图像输入至所述特征提取层，通过所述特征提取层得到与所述子孔径图像相对应的第一空间特征图；
将所述第一空间特征图输入至所述特征映射层，通过所述特征映射层得到与所述第一空间特征图对应的第二空间特征图；
所述将所述空间特征图输入至所述亚像素卷积层，通过所述亚像素卷积层得到与所述子孔径图像特征图对应的第二目标图像的步骤包括：
将所述第二空间特征图输入至所述亚像素卷积层，通过所述上采样滤波器，得到所述子孔径图像在原始位置和经过水平、垂直、对角亚像素位移后对应的第三空间特征图；
所述周期性混排算子将所述第三空间特征图，按预设索引周期排序成所述第二目标图像。
7.一种光场图像的快速超分辨率重建方法，其特征在于，应用如权利要求1-6任一项所述的光场图像重建模型训练方法的训练的光场图像重建模型，所述光场图像的超分辨率重建方法包括：
获取光场图像；
将所述光场图像输入至模型参数为第一模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述光场图像对应的第一目标图像；
从所述第一目标图像中提取出其子孔径图像；
将所述子孔径图像输入至模型参数为第二模型参数的所述光场图像重建模型，通过所述光场图像重建模型得到与所述子孔径图像对应的第二目标图像。
8.根据权利要求7所述的光场图像的快速超分辨率重建方法，其特征在于，所述获取光场图像的步骤包括：
光场相机采集光场，得到光场图像。
CN202011164983.4A 2020-10-27 2020-10-27 光场图像重建模型训练及快速超分辨率重建方法 Active CN112381711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011164983.4A CN112381711B (zh) 2020-10-27 2020-10-27 光场图像重建模型训练及快速超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011164983.4A CN112381711B (zh) 2020-10-27 2020-10-27 光场图像重建模型训练及快速超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112381711A CN112381711A (zh) 2021-02-19
CN112381711B true CN112381711B (zh) 2022-07-19

Family

ID=74576371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011164983.4A Active CN112381711B (zh) 2020-10-27 2020-10-27 光场图像重建模型训练及快速超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN112381711B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139898B (zh) * 2021-03-24 2022-04-19 宁波大学 基于频域分析和深度学习的光场图像超分辨率重建方法
CN114897680B (zh) * 2022-04-14 2023-04-18 安庆师范大学 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN116309067B (zh) * 2023-03-21 2023-09-29 安徽易刚信息技术有限公司 一种光场图像空间超分辨率方法
CN117475088B (zh) * 2023-12-25 2024-03-19 浙江优众新材料科技有限公司 基于极平面注意力的光场重建模型训练方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115345A (en) * 1995-03-27 2000-09-05 Matsushita Electric Industrial Co., Ltd. Super-resolution optical head apparatus
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
JP2016225832A (ja) * 2015-05-29 2016-12-28 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248751B2 (en) * 2004-03-11 2007-07-24 United States Of America As Represented By The Secretary Of The Navy Algorithmic technique for increasing the spatial acuity of a focal plane array electro-optic imaging system
CN101719270B (zh) * 2009-12-25 2012-01-11 武汉大学 一种基于非负矩阵分解的人脸超分辨率处理方法
US9300932B2 (en) * 2012-05-09 2016-03-29 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
WO2017127745A1 (en) * 2016-01-21 2017-07-27 Truust Neuroimaging, Inc. Systems and methods for super-resolving electromagnetic localization and causality
US20190205700A1 (en) * 2017-12-29 2019-07-04 Uber Technologies, Inc. Multiscale analysis of areas of interest in an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115345A (en) * 1995-03-27 2000-09-05 Matsushita Electric Industrial Co., Ltd. Super-resolution optical head apparatus
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
JP2016225832A (ja) * 2015-05-29 2016-12-28 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network;Wenzhe Shi 等;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20160627;1874-1883 *
一种光场图像空间和角度分辨率重建方法;郑详详;《电脑知识与技术》;20170430;第13卷(第12期);171-173 *

Also Published As

Publication number Publication date
CN112381711A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112381711B (zh) 光场图像重建模型训练及快速超分辨率重建方法
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Jiang et al. Learning spatial-spectral prior for super-resolution of hyperspectral imagery
Jin et al. Light field spatial super-resolution via deep combinatorial geometry embedding and structural consistency regularization
Zhang et al. Pan-sharpening using an efficient bidirectional pyramid network
Li et al. Hyperspectral image super-resolution using deep convolutional neural network
Yeung et al. Light field spatial super-resolution using deep efficient spatial-angular separable convolution
US20180300855A1 (en) Method and a system for image processing
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN114041161A (zh) 训练用于增强图像细节的神经网络模型的方法和装置
CN109035267B (zh) 一种基于深度学习的图像目标抠取方法
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN113159232A (zh) 一种三维目标分类、分割方法
CN114730456A (zh) 神经网络模型的训练方法、图像处理方法及其装置
Zhou et al. AIF-LFNet: All-in-focus light field super-resolution method considering the depth-varying defocus
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
He et al. Detecting dim small target in infrared images via subpixel sampling cuneate network
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN111798497A (zh) 图像处理方法及装置、电子设备及存储介质
CN111401453A (zh) 一种马赛克图像分类识别方法及系统
CN111724309A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113077389B (zh) 一种基于信息蒸馏结构的红外热成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant