CN112767246B - 光场图像多倍率空间超分辨方法及装置 - Google Patents
光场图像多倍率空间超分辨方法及装置 Download PDFInfo
- Publication number
- CN112767246B CN112767246B CN202110017074.6A CN202110017074A CN112767246B CN 112767246 B CN112767246 B CN 112767246B CN 202110017074 A CN202110017074 A CN 202110017074A CN 112767246 B CN112767246 B CN 112767246B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- polar plane
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 6
- 238000011158 quantitative evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光场图像多倍率空间超分辨方法及装置，所述方法包括以下步骤：S1，训练基于EDSR结构的单图超分辨网络；S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；S6，将修复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。根据本发明的方法提升了网络的超分辨效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种光场图像多倍率空间超分辨方法及装置。
背景技术
光场成像技术可以捕捉光线方向信息，通过一次拍照获得空间场景多视角图像，相比于传统的成像技术，光场成像技术不仅能够在探测器上获取场景中目标的位置信息和光强信息，还能获得光线的角度信息。因此，光场相机在深度估计、捕获后重聚焦等任务中具有优势。
基于微透镜阵列的光场相机在广义聚焦的情况下，视角分辨率与空间分辨率的乘积不能超过相机传感器的分辨率。但是，探测器像元数目有限，为了记录视角维度的信息，需要牺牲一些空间分辨率，使得光场图像的视角图像的空间分辨率较低，这是限制光场相机应用的一个重要因素。
现有技术中，通常采用图像超分辨技术提高光场图像的空间分辨率。但是，一方面，目前已有的基于学习的光场图像空间超分辨算法对于不同放大倍率的情况，需要重新训练网络参数；另一方面，视角图像堆栈或极平面图像作为光场图像空间超分辨网络训练对象时不能完善考虑空间信息在两个视角维度上的分布的问题。综上，上述技术存在改进空间。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种光场图像多倍率空间超分辨方法，所述光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
本发明还提出了一种采用了上述光场图像多倍率空间超分辨方法的装置。
根据本发明实施例的光场图像多倍率空间超分辨方法，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。
根据本发明的光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，网络模型的损失函数表达式为：
其中P为训练数据量，
为极平面图像立方体真值，
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，PSNR的评价指标公式为：
其中，X、Y分别为失真图像和目标图像。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，SSIM的评价指标公式为：
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
根据本发明的第二方面的光场图像多倍率空间超分辨装置，采用了如第一方面任一种所述的光场图像多倍率空间超分辨方法。所述装置与上述的光场图像多倍率空间超分辨方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的光场图像多倍率空间超分辨方法的流程图；
图2是根据本发明实施例的光场图像多倍率空间超分辨算法框架的结构示意图；
图3是根据本发明实施例的极平面图像立方体的结构示意图；
图4是根据本发明实施例的光场图像多倍率空间超分辨网络的结构示意图；
图5是根据本发明实施例的特征提取模块的结构示意图；
图6是根据本发明实施例的特征重建模块的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下面参考图1-图6描述根据本发明实施例的光场图像多倍率空间超分辨方法。如图1所示，根据本发明实施例的光场图像多倍率空间超分辨方法，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将修复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果。
根据本发明的光场图像多倍率空间超分辨方法，有利于提升网络的超分辨效果。
在本发明的描述中，“多个”的含义是两个或两个以上。
进一步地，在一个具体的实施例中，如图4所示，步骤S1可以使用DIV2K数据集，将原始RGB图像作为高分辨图像，通过多种倍率的双三次插值下采样得到低分辨图像，组成高分辨-低分辨图像对来训练单幅图像超分辨网络EDSR。
进一步地，在步骤S2中，对低空间分辨率光场图像L(U，V，S，T)中S×T幅分辨率为U×V的视角图像
(j＝1，2，…，S×T)使用预先训练好的单图超分辨网络对其空间维度进行倍率为m的单图超分辨，从而获得S×T幅分辨率为mU×mV的视角图像
需要说明的是，视角图像
与期望得到的
具有相同的尺寸，但在细节方面由于单帧超分辨网络没有考虑像素之间在视角维度上存在的几何分布关系，因此
细节与理想的
相比存在差异，需对
进行进一步修复，提高细节信息。
进一步地，可以从视角图像
中提取空间目标在视角维度的几何连续性待修复的极平面图像立方体
(k＝1，2，…，U+V)作为极平面图像立方体多倍率修复网络的输入。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据。具体地，如图3所示，当保持空间维度u或v不变的时候，可以分别提取出u个极平面图像立方体S(v，t，s)和v个极平面图像立方体S(u，s，t)。需要说明的是，极平面图像立方体输入网络时对平行sou平面的截面或平行tov平面的截面使用二维卷积。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；进一步地，特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块。
需要说明的是，特征提取部分中的卷积层模块和特征重建部分中的卷积层模块可以为设置相同的模块。
进一步地，在一个具体的实施例中，如图5所示，特征提取部分可以包含一个36通道的3×3卷积层和4个特征提取模块。具体地，首先，使用一个36通道的3×3卷积层用于对网络输入极平面图像立方体进行预处理；其次，使用一个特征提取模块来初步提取以不同下采样倍率生成的输入数据的特征；最后，通过三组特征提取模块进一步提取极平面图像立方体的不同层次的特征。
需要说明的是，极平面图像立方体是多通道数据，为了更好地提取极平面图像立方体的特征信息，网络需要关注通道之间的相互关系，在本发明中，采用包含通道注意力机制的注意力残差结构(Residual Channel Attention Block，RCAB)构建特征提取模块。同时，去除了通用的RCAB中的均值池化层，构建新的mRCAB，来保留极平面图像立方体每个通道的空间维度信息。
进一步地，如图5所示，输入mRCAB的数据首先通过两个36通道的3×3卷积层并使用ReLU函数计算激活值，进一步地，使用一个9通道的1×1卷积层压缩数据的通道维度，通过ReLU函数进行激活，再使用一个36通道的1×1卷积层扩展数据的通道维度，将通道维度恢复为原有的大小。进一步地，采用Sigmoid激活函数计算数据在各通道上和空间维度的注意力权重，将权重与通道维度压缩之前的数据相乘，得到数据在通道维度和空间维度加权之后的结果，该结果与输入mRCAB的数据进行融合。
进一步地，在一个具体的实施例中，如图5所示，特征重建部分包含三个特征重建模块和一个36通道的3×3卷积层。进一步地，特征提取部分提取到的特征通过三组特征重建模块逐渐重建极平面图像立方体的不同层次的特征。
需要说明的是，特征重建模块采用残差结构，如图6所示，具体地，残差结构通过计算输入与输出之间的残差，降低网络运行的数据量，使网络能够使用更深的层次，提高网络对高频细节的重建能力。
进一步地，位置对称的特征提取模块与特征重建模块之间使用跳跃连接来彼此相连，进而使网络能够在每一级的特征重建过程中，融合位于同一层的特征提取模块提取到的特征与低一层的特征重建模块重建的特征，从而提高了网络中的特征信息的利用率。经过特征提取部分与特征重建部分的输出使用一个36通道的3×3卷积层调整通道数，得到输出结果。
进一步地，在步骤S4中，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型处理极平面图像立方体
获得恢复了空间维度信息在视角维度的几何分布关系的极平面图像立方体
进一步地，在训练数据方面，将光场数据集LHR裁剪至统一尺寸，提取极平面图像立方体
(k＝1，2，…，U+V)作为网络的高分辨率真值数据。进一步地，对LHR进行多种倍率的双线性插值下采样，再通过单图超分辨网络对每幅视角图像
(j＝1，2，…，S×T)进行上采样得到尺寸恢复为原始尺寸的
从中提取极平面图像立方体
作为网络的低分辨率数据。需要说明的是，网络分别使用不同倍率混合的
与
组成的训练对进行训练。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，网络模型的损失函数表达式为：
其中P为训练数据量，
为极平面图像立方体真值，
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。例如，在一个具体的实施例中，λ可以设置为10-5。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，PSNR的评价指标公式为：
其中，X、Y分别为失真图像和目标图像。
根据本发明一个实施例的光场图像多倍率空间超分辨方法，SSIM的评价指标公式为：
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
进一步地，本发明实施例的二倍和三倍的空间超分辨重建结果与使用某一特定倍率训练的不同算法定量评价结果如表1和表2所示：
表1—光场图像二倍空间超分辨结果定量评价
表2—光场图像三倍空间超分辨结果定量评价
需要说明的是，Ours为采用了本发明的光场图像多倍率空间超分辨方法。
综上所述，根据本发明的光场图像多倍率空间超分辨方法，具有以下几点优势：
第一，提出使用极平面图像立方体作为网络的输入，解决了基于极平面图像的光场图像空间超分辨网络仅考虑像素在一个视角维度分布的问题，同时考虑了空间信息在两个视角维度的分布，提高了网络的超分辨效果；
第二，提出了一种利用注意力残差结构作为特征提取模块U型极平面图像立方体多倍率修复网络框架，用于修复极平面图像立方体的空间目标在视角维度的几何连续性。通过注意力机制关注了极平面图像立方体通道之间的相互关系，并使用mRCAB实现对通道的空间维度信息的保持；
第三，利用多尺度的数据训练集单次训练网络后，训练后的网络可以对光场图像实现不同倍率的空间超分辨。
本发明还提供了一种光场图像多倍率空间超分辨装置，该装置采用了上述的光场图像多倍率空间超分辨方法，从而具有网络的超分辨效果更好等优点。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种光场图像多倍率空间超分辨方法，其特征在于，包括以下步骤：
S1，使用多种倍率的训练数据，训练基于EDSR结构的单图超分辨网络；
S2，使用训练好的单图超分辨网络模型，对低空间分辨率光场图像的所有视角图像进行倍率为m的单图超分辨；
S3，从单图超分辨结果中提取修复前的极平面图像，构成极平面图像立方体；
S4，构建基于注意力残差结构的U型极平面图像立方体多倍率修复网络；
S5，训练极平面图像立方体多倍率修复网络，使用训练好的网络模型修复极平面图像立方体的信息，获得恢复了空间目标在视角维度的几何连续性的极平面图像立方体；
S6，将恢复后的极平面图像立方体重建为倍率为m的光场图像空间超分辨结果；
在步骤S2中，对低空间分辨率光场图像L(U，V，S，T)中S×T幅分辨率为U×V的视角图像Ij LR使用预先训练好的单图超分辨网络对其空间维度进行倍率为m的单图超分辨，获得S×T幅分辨率为mU×mV的视角图像
其中，j＝1，2，…，S×T；从视角图像
中提取空间目标在视角维度的几何连续性待修复的极平面图像立方体
作为极平面图像立方体多倍率修复网络的输入；其中，k＝1，2，…，U+V；
在步骤S3中，极平面图像立方体为从四维光场图像中提取的三维数据，当保持空间维度u或v不变的时候，可以分别提取出u个极平面图像立方体S(v，t，s)和v个极平面图像立方体S(u，s，t)；
在步骤S4中，U型极平面图像立方体多倍率修复网络包括：特征提取部分和特征重建部分；特征提取部分包括：卷积层模块和多个基于注意力残差结构的特征提取模块；特征提取部分中的卷积层模块和特征重建部分中的卷积层模块设置为相同的模块；特征重建部分包括：卷积层模块和多个基于残差结构的特征重建模块；其中，采用包含通道注意力机制的注意力残差结构RCBA构建特征提取模块，同时，去除通用的RCBA中的均值池化层，构建新的mRCBA，来保留极平面图像立方体每个通道的空间维度信息；位置对称的特征提取模块与特征重建模块之间使用跳跃连接来彼此相连，网络在每一级的特征重建过程中，融合位于同一层的特征提取模块提取到的特征与低一层的特征重建模块重建的特征；
在步骤S5中，将光场数据集LHR裁剪至统一尺寸，提取极平面图像立方体Sk HR作为网络的高分辨率真值数据，其中，k＝1，2，…，U+V，对LHR进行多种倍率的双线性插值下采样，再通过单图超分辨网络对每幅视角图像
进行上采样得到尺寸恢复为原始尺寸的
提取极平面图像立方体
作为网络的低分辨率真值数据，网络分别使用不同倍率混合的
与
组成的训练对进行训练。
2.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S5中，通过Pytorch框架构建并训练极平面图像立方体多倍率修复网络模型。
3.根据权利要求2所述的光场图像多倍率空间超分辨方法，其特征在于，网络模型的损失函数表达式为：
其中P为训练数据量，
为极平面图像立方体真值，
为从经过EDSR网络处理的低空间分辨光场图像中提取的极平面图像立方体，ω代表网络权重信息，λ为权重衰减系数。
4.根据权利要求1所述的光场图像多倍率空间超分辨方法，其特征在于，在步骤S6中，通过PSNR和SSIM评价指标对光场图像空间超分辨结果进行定量评价。
5.根据权利要求4所述的光场图像多倍率空间超分辨方法，其特征在于，PSNR的评价指标公式为：
其中，X、Y分别为失真图像和目标图像。
6.根据权利要求4所述的光场图像多倍率空间超分辨方法，其特征在于，SSIM的评价指标公式为：
其中，uX，uY表示图像X、Y的均值，σX，σY，σXY表示图像X、Y的标准差和标准差，C1，C2，C3为预设常数。
7.一种光场图像多倍率空间超分辨装置，其特征在于，采用了根据权利要求1-6中任一项所述的光场图像多倍率空间超分辨方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110017074.6A CN112767246B (zh) | 2021-01-07 | 2021-01-07 | 光场图像多倍率空间超分辨方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110017074.6A CN112767246B (zh) | 2021-01-07 | 2021-01-07 | 光场图像多倍率空间超分辨方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767246A CN112767246A (zh) | 2021-05-07 |
| CN112767246B true CN112767246B (zh) | 2023-05-26 |
Family
ID=75700422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110017074.6A Active CN112767246B (zh) | 2021-01-07 | 2021-01-07 | 光场图像多倍率空间超分辨方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767246B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113506213B (zh) * | 2021-05-24 | 2024-01-23 | 北京航空航天大学 | 适应大视差范围的光场图像视角超分辨方法及装置 |
| CN117391950A (zh) * | 2023-09-11 | 2024-01-12 | 浙江优众新材料科技有限公司 | 一种用于光场图像超分辨率的极平面图像增强网络模型 |
| CN117475088B (zh) * | 2023-12-25 | 2024-03-19 | 浙江优众新材料科技有限公司 | 基于极平面注意力的光场重建模型训练方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334745A1 (en) * | 2013-05-10 | 2014-11-13 | Trustees Of Princeton University | Resolution light-field imaging |
| CN110599400A (zh) * | 2019-08-19 | 2019-12-20 | 西安理工大学 | 一种基于epi的光场图像超分辨的方法 |
| CN112102173A (zh) * | 2020-10-26 | 2020-12-18 | 安庆师范大学 | 光场图像角度超分辨率重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447919B (zh) * | 2018-11-08 | 2022-05-06 | 电子科技大学 | 结合多视角与语义纹理特征的光场超分辨率重建方法 |
| CN109903228B (zh) * | 2019-02-28 | 2023-03-24 | 合肥工业大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN111179171A (zh) * | 2019-12-24 | 2020-05-19 | 苏州天必佑科技有限公司 | 基于残差模块和注意力机制的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2021
- 2021-01-07 CN CN202110017074.6A patent/CN112767246B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334745A1 (en) * | 2013-05-10 | 2014-11-13 | Trustees Of Princeton University | Resolution light-field imaging |
| CN110599400A (zh) * | 2019-08-19 | 2019-12-20 | 西安理工大学 | 一种基于epi的光场图像超分辨的方法 |
| CN112102173A (zh) * | 2020-10-26 | 2020-12-18 | 安庆师范大学 | 光场图像角度超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| Multiple Magnification Spatial Super-Resolution Network for Light Field Images Based on EPI Solid;Lijuan Su 等;2022 5th International Conference on Computing and Big Data;第151-159页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767246A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767246B (zh) | 光场图像多倍率空间超分辨方法及装置 | |
| CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| Wang et al. | NTIRE 2023 challenge on stereo image super-resolution: Methods and results | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN111311490A (zh) | 基于多帧融合光流的视频超分辨率重建方法 | |
| CN112750082A (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN107067380B (zh) | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 | |
| CN113139898A (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
| CN112767253B (zh) | 一种多尺度特征融合的双目图像超分辨率重建方法 | |
| CN109447919A (zh) | 结合多视角与语义纹理特征的光场超分辨率重建方法 | |
| CN111951203B (zh) | 视点合成方法、装置、设备及计算机可读存储介质 | |
| CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
| CN109064407A (zh) | 基于多层感知机层的密集连接网络图像超分辨率方法 | |
| CN111476714B (zh) | 基于psv神经网络的跨尺度图像拼接方法及装置 | |
| Chen et al. | New stereo high dynamic range imaging method using generative adversarial networks | |
| CN116977168A (zh) | 融合空间和角度特征的光场图像超分辨率重建方法 | |
| Yang et al. | MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统 | |
| Chai et al. | Super-Resolution Reconstruction for Stereoscopic Omnidirectional Display Systems via Dynamic Convolutions and Cross-View Transformer | |
| Cai et al. | FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete Cosine Transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |