CN112767246A - 光场图像多倍率空间超分辨方法及装置 - Google Patents

光场图像多倍率空间超分辨方法及装置 Download PDF

Info

Publication number
CN112767246A
CN112767246A CN202110017074.6A CN202110017074A CN112767246A CN 112767246 A CN112767246 A CN 112767246A CN 202110017074 A CN202110017074 A CN 202110017074A CN 112767246 A CN112767246 A CN 112767246A
Authority
CN
China
Prior art keywords
image
resolution
magnification
super
cube
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110017074.6A
Other languages
English (en)
Other versions
CN112767246B (zh
Inventor
苏丽娟
袁艳
叶子沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110017074.6A priority Critical patent/CN112767246B/zh
Publication of CN112767246A publication Critical patent/CN112767246A/zh
Application granted granted Critical
Publication of CN112767246B publication Critical patent/CN112767246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光场图像多倍率空间超分辨方法及装置，所述方法包括以下步骤：S1，训练基于EDSR结构的单图超分辨网络；S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；S6，将修复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。根据本发明的方法提升了网络的超分辨效果。

Description

光场图像多倍率空间超分辨方法及装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种光场图像多倍率空间超分辨方法及装置。
背景技术
光场成像技术可以捕捉光线方向信息，通过一次拍照获得空间场景多视角图像，相比于传统的成像技术，光场成像技术不仅能够在探测器上获取场景中目标的位置信息和光强信息，还能获得光线的角度信息。因此，光场相机在深度估计、捕获后重聚焦等任务中具有优势。
基于微透镜阵列的光场相机在广义聚焦的情况下，视角分辨率与空间分辨率的乘积不能超过相机传感器的分辨率。但是，探测器像元数目有限，为了记录视角维度的信息，需要牺牲一些空间分辨率，使得光场图像的视角图像的空间分辨率较低，这是限制光场相机应用的一个重要因素。
现有技术中，通常采用图像超分辨技术提高光场图像的空间分辨率。但是，一方面，目前已有的基于学习的光场图像空间超分辨算法对于不同放大倍率的情况，需要重新训练网络参数；另一方面，视角图像堆栈或极平面图像作为光场图像空间超分辨网络训练对象时不能完善考虑空间信息在两个视角维度上的分布的问题。综上，上述技术存在改进空间。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种光场图像多倍率空间超分辨方法，所述光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
本发明还提出了一种采用了上述光场图像多倍率空间超分辨方法的装置。
根据本发明实施例的光场图像多倍率空间超分辨方法，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。
根据本发明的光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，网络模型的损失函数表达式为：
Figure BDA0002887313340000021
其中P为训练数据量，
Figure BDA0002887313340000022
为极平面图像立方体真值，
Figure BDA0002887313340000023
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，PSNR的评价指标公式为：
Figure BDA0002887313340000024
其中，X、Y分别为失真图像和目标图像。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，SSIM的评价指标公式为：
Figure BDA0002887313340000031
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
根据本发明的第二方面的光场图像多倍率空间超分辨装置，采用了如第一方面任一种所述的光场图像多倍率空间超分辨方法。所述装置与上述的光场图像多倍率空间超分辨方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的光场图像多倍率空间超分辨方法的流程图；
图2是根据本发明实施例的光场图像多倍率空间超分辨算法框架的结构示意图；
图3是根据本发明实施例的极平面图像立方体的结构示意图；
图4是根据本发明实施例的光场图像多倍率空间超分辨网络的结构示意图；
图5是根据本发明实施例的特征提取模块的结构示意图；
图6是根据本发明实施例的特征重建模块的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下面参考图1-图6描述根据本发明实施例的光场图像多倍率空间超分辨方法。如图1所示，根据本发明实施例的光场图像多倍率空间超分辨方法，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将修复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。
根据本发明的光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
在本发明的描述中，“多个”的含义是两个或两个以上。
进一步地，在一个具体的实施例中，如图4所示，步骤S1可以使用DIV2K数据集，将原始RGB图像作为高分辨图像，通过多种倍率的双三次插值下采样得到低分辨图像，组成高分辨-低分辨图像对来训练单幅图像超分辨网络EDSR。
进一步地，在步骤S2中，对低空间分辨率光场图像L(U，V，S，T)中S×T幅分辨率为U×V的视角图像
Figure BDA0002887313340000041
(j＝1，2，…，S×T)使用预先训练好的单图超分辨网络对其空间维度进行倍率为m的单图超分辨，从而获得S×T幅分辨率为mU×mV的视角图像
Figure BDA0002887313340000042
需要说明的是，视角图像
Figure BDA0002887313340000043
与期望得到的
Figure BDA0002887313340000044
具有相同的尺寸，但在细节方面由于单帧超分辨网络没有考虑像素之间在视角维度上存在的几何分布关系，因此
Figure BDA0002887313340000045
细节与理想的
Figure BDA0002887313340000046
相比存在差异，需对
Figure BDA0002887313340000047
进行进一步修复，提高细节信息。
进一步地，可以从视角图像
Figure BDA0002887313340000048
中提取空间目标在视角维度的几何连续性待修复的极平面图像立方体
Figure BDA0002887313340000049
(k＝1，2，…，U+V)作为极平面图像立方体多倍率修复网络的输入。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。具体地，如图3所示，当保持空间维度u或v不变的时候，可以分别提取出u个极平面图像立方体S(v，t，s)和v个极平面图像立方体S(u，s，t)。需要说明的是，极平面图像立方体输入网络时对平行sou平面的截面或平行tov平面的截面使用二维卷积。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；进一步地，特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。
需要说明的是，特征提取部分中的卷积层模块和特征重建部分中的卷积层模块可以为设置相同的模块。
进一步地，在一个具体的实施例中，如图5所示，特征提取部分可以包含一个36通道的3×3卷积层和4个特征提取模块。具体地，首先，使用一个36通道的3×3卷积层用于对网络输入极平面图像立方体进行预处理；其次，使用一个特征提取模块来初步提取以不同下采样倍率生成的输入数据的特征；最后，通过三组特征提取模块进一步提取极平面图像立方体的不同层次的特征。
需要说明的是，极平面图像立方体是多通道数据，为了更好地提取极平面图像立方体的特征信息，网络需要关注通道之间的相互关系，在本发明中，采用包含通道注意力机制的注意力残差结构(Residual Channel Attention Block，RCAB)构建特征提取模块。同时，去除了通用的RCAB中的均值池化层，构建新的mRCAB，来保留极平面图像立方体每个通道的空间维度信息。
进一步地，如图5所示，输入mRCAB的数据首先通过两个36通道的3×3卷积层并使用ReLU函数计算激活值，进一步地，使用一个9通道的1×1卷积层压缩数据的通道维度，通过ReLU函数进行激活，再使用一个36通道的1×1卷积层扩展数据的通道维度，将通道维度恢复为原有的大小。进一步地，采用Sigmoid激活函数计算数据在各通道上和空间维度的注意力权重，将权重与通道维度压缩之前的数据相乘，得到数据在通道维度和空间维度加权之后的结果，该结果与输入mRCAB的数据进行融合。
进一步地，在一个具体的实施例中，如图5所示，特征重建部分包含三个特征重建模块和一个36通道的3×3卷积层。进一步地，特征提取部分提取到的特征通过三组特征重建模块逐渐重建极平面图像立方体的不同层次的特征。
需要说明的是，特征重建模块采用残差结构，如图6所示，具体地，残差结构通过计算输入与输出之间的残差，降低网络运行的数据量，使网络能够使用更深的层次，提高网络对高频细节的重建能力。
进一步地，位置对称的特征提取模块与特征重建模块之间使用跳跃连接来彼此相连，进而使网络能够在每一级的特征重建过程中，融合位于同一层的特征提取模块提取到的特征与低一层的特征重建模块重建的特征，从而提高了网络中的特征信息的利用率。经过特征提取部分与特征重建部分的输出使用一个36通道的3×3卷积层调整通道数，得到输出结果。
进一步地，在步骤S4中，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型处理极平面图像立方体
Figure BDA0002887313340000061
获得恢复了空间维度信息在视角维度的几何分布关系的极平面图像立方体
Figure BDA0002887313340000062
进一步地，在训练数据方面，将光场数据集LHR裁剪至统一尺寸，提取极平面图像立方体
Figure BDA0002887313340000063
(k＝1，2，…，U+V)作为网络的高分辨率真值数据。进一步地，对LHR进行多种倍率的双线性插值下采样，再通过单图超分辨网络对每幅视角图像
Figure BDA0002887313340000064
(j＝1，2，…，S×T)进行上采样得到尺寸恢复为原始尺寸的
Figure BDA0002887313340000065
从中提取极平面图像立方体
Figure BDA0002887313340000066
作为网络的低分辨率数据。需要说明的是，网络分别使用不同倍率混合的
Figure BDA0002887313340000067
与
Figure BDA0002887313340000068
组成的训练对进行训练。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，网络模型的损失函数表达式为：
Figure BDA0002887313340000069
其中P为训练数据量，
Figure BDA00028873133400000610
为极平面图像立方体真值，
Figure BDA00028873133400000611
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。例如，在一个具体的实施例中，λ可以设置为10-5。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，PSNR的评价指标公式为：
Figure BDA0002887313340000071
其中，X、Y分别为失真图像和目标图像。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，SSIM的评价指标公式为：
Figure BDA0002887313340000072
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
进一步地，本发明实施例的二倍和三倍的空间超分辨重建结果与使用某一特定倍率训练的不同算法定量评价结果如表1和表2所示：
表1—光场图像二倍空间超分辨结果定量评价
Figure BDA0002887313340000073
表2—光场图像三倍空间超分辨结果定量评价
Figure BDA0002887313340000074
需要说明的是，Ours为采用了本发明的光场图像多倍率空间超分辨方法。
综上所述，根据本发明的光场图像多倍率空间超分辨方法，具有以下几点优势：
第一，提出使用极平面图像立方体作为网络的输入，解决了基于极平面图像的光场图像空间超分辨网络仅考虑像素在一个视角维度分布的问题，同时考虑了空间信息在两个视角维度的分布，提高了网络的超分辨效果；
第二，提出了一种利用注意力残差结构作为特征提取模块U型极平面图像立方体多倍率修复网络框架，用于修复极平面图像立方体的空间目标在视角维度的几何连续性。通过注意力机制关注了极平面图像立方体通道之间的相互关系，并使用mRCAB实现对通道的空间维度信息的保持；
第三，利用多尺度的数据训练集单次训练网络后，训练后的网络可以对光场图像实现不同倍率的空间超分辨。
本发明还提供了一种光场图像多倍率空间超分辨装置，该装置采用了上述的光场图像多倍率空间超分辨方法，从而具有网络的超分辨效果更好等优点。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种光场图像多倍率空间超分辨方法，其特征在于，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。
2.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。
3.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。
4.根据权利要求3所述的光场图像多倍率空间超分辨方法，其特征在于，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。
5.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
6.根据权利要求5所述的光场图像多倍率空间超分辨方法，其特征在于，网络模型的损失函数表达式为：
Figure FDA0002887313330000011
其中P为训练数据量，
Figure FDA0002887313330000012
为极平面图像立方体真值，
Figure FDA0002887313330000013
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。
7.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
8.根据权利要求7所述的光场图像多倍率空间超分辨方法，其特征在于，PSNR的评价指标公式为：
Figure FDA0002887313330000021
其中，X、Y分别为失真图像和目标图像。
9.根据权利要求7所述的光场图像多倍率空间超分辨方法，其特征在于，SSIM的评价指标公式为：
Figure FDA0002887313330000022
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
10.一种光场图像多倍率空间超分辨装置，其特征在于，采用了根据权利要求1-9中任一项所述的光场图像多倍率空间超分辨方法。
CN202110017074.6A 2021-01-07 2021-01-07 光场图像多倍率空间超分辨方法及装置 Active CN112767246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110017074.6A CN112767246B (zh) 2021-01-07 2021-01-07 光场图像多倍率空间超分辨方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110017074.6A CN112767246B (zh) 2021-01-07 2021-01-07 光场图像多倍率空间超分辨方法及装置

Publications (2)

Publication Number Publication Date
CN112767246A true CN112767246A (zh) 2021-05-07
CN112767246B CN112767246B (zh) 2023-05-26

Family

ID=75700422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110017074.6A Active CN112767246B (zh) 2021-01-07 2021-01-07 光场图像多倍率空间超分辨方法及装置

Country Status (1)

Country Link
CN (1) CN112767246B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506213A (zh) * 2021-05-24 2021-10-15 北京航空航天大学 适应大视差范围的光场图像视角超分辨方法及装置
CN117391950A (zh) * 2023-09-11 2024-01-12 浙江优众新材料科技有限公司 一种用于光场图像超分辨率的极平面图像增强网络模型
CN117475088A (zh) * 2023-12-25 2024-01-30 浙江优众新材料科技有限公司 基于极平面注意力的光场重建模型训练方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334745A1 (en) * 2013-05-10 2014-11-13 Trustees Of Princeton University Resolution light-field imaging
CN109447919A (zh) * 2018-11-08 2019-03-08 电子科技大学 结合多视角与语义纹理特征的光场超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法
CN111179171A (zh) * 2019-12-24 2020-05-19 苏州天必佑科技有限公司 基于残差模块和注意力机制的图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112102173A (zh) * 2020-10-26 2020-12-18 安庆师范大学 光场图像角度超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334745A1 (en) * 2013-05-10 2014-11-13 Trustees Of Princeton University Resolution light-field imaging
CN109447919A (zh) * 2018-11-08 2019-03-08 电子科技大学 结合多视角与语义纹理特征的光场超分辨率重建方法
CN109903228A (zh) * 2019-02-28 2019-06-18 合肥工业大学 一种基于卷积神经网络的图像超分辨率重建方法
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法
CN111179171A (zh) * 2019-12-24 2020-05-19 苏州天必佑科技有限公司 基于残差模块和注意力机制的图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112102173A (zh) * 2020-10-26 2020-12-18 安庆师范大学 光场图像角度超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GAOCHANG WU 等: "Light Field Image Processing: An Overview", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》 *
LIJUAN SU 等: "Multiple Magnification Spatial Super-Resolution Network for Light Field Images Based on EPI Solid", 2022 5TH INTERNATIONAL CONFERENCE ON COMPUTING AND BIG DATA *
S. HEBER 等: "U-shaped networks for shape from light field", 《IN PROC. BRITISH MACHINE VISION CONF.》 *
STEFAN HEBER 等: "Neural EPI-Volume Networks for Shape from Light Field", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
YAN YUAN 等: "Light-Field Image Superresolution Using a Combined Deep CNN Based on EPI", 《IEEE SIGNAL PROCESSING LETTERS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506213A (zh) * 2021-05-24 2021-10-15 北京航空航天大学 适应大视差范围的光场图像视角超分辨方法及装置
CN113506213B (zh) * 2021-05-24 2024-01-23 北京航空航天大学 适应大视差范围的光场图像视角超分辨方法及装置
CN117391950A (zh) * 2023-09-11 2024-01-12 浙江优众新材料科技有限公司 一种用于光场图像超分辨率的极平面图像增强网络模型
CN117475088A (zh) * 2023-12-25 2024-01-30 浙江优众新材料科技有限公司 基于极平面注意力的光场重建模型训练方法及相关设备
CN117475088B (zh) * 2023-12-25 2024-03-19 浙江优众新材料科技有限公司 基于极平面注意力的光场重建模型训练方法及相关设备

Also Published As

Publication number Publication date
CN112767246B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
CN112767246B (zh) 光场图像多倍率空间超分辨方法及装置
Wang et al. NTIRE 2023 challenge on stereo image super-resolution: Methods and results
CN109741260B (zh) 一种基于深度反投影网络的高效超分辨率方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112653899B (zh) 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112750082A (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN110880162B (zh) 基于深度学习的快照光谱深度联合成像方法及系统
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN112767253B (zh) 一种多尺度特征融合的双目图像超分辨率重建方法
CN112750201B (zh) 三维重建方法及相关装置、设备
CN113538243B (zh) 基于多视差注意力模块组合的超分辨图像重建方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN107067452A (zh) 一种基于全卷积神经网络的电影2d转3d方法
CN112785502A (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN111476714B (zh) 基于psv神经网络的跨尺度图像拼接方法及装置
Tang et al. Very deep residual network for image matting
Chen et al. New stereo high dynamic range imaging method using generative adversarial networks
CN116977168A (zh) 融合空间和角度特征的光场图像超分辨率重建方法
Chandramouli et al. A generative model for generic light field reconstruction
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
Chai et al. Super-Resolution Reconstruction for Stereoscopic Omnidirectional Display Systems via Dynamic Convolutions and Cross-View Transformer
CN114926337A (zh) 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant