CN117291808B - 一种基于流先验与极偏补偿的光场图像超分辨处理方法 - Google Patents
一种基于流先验与极偏补偿的光场图像超分辨处理方法 Download PDFInfo
- Publication number
- CN117291808B CN117291808B CN202311585601.9A CN202311585601A CN117291808B CN 117291808 B CN117291808 B CN 117291808B CN 202311585601 A CN202311585601 A CN 202311585601A CN 117291808 B CN117291808 B CN 117291808B
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- features
- sub
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于流先验与极偏补偿的光场图像超分辨处理方法，涉及图像处理技术领域，包括步骤：获取空间和角度分辨率各不相同的光场图像数据集；获取目标中心视图，并通过相同方向子孔径图像的堆叠获取极线约束图像块，以中心视图和各极线约束图像块作为分支输入输入网络；提取各分支输入的图像特征，并通过补偿模块得到对齐的图像特征；通过将对齐后的图像特征进行融合并进行基于流的特征先验学习；将学习后的图像特征输入重构模块获得高分辨率的中心视图；基于所有中心视图的高分辨处理获取高分辨率的光场图像。本发明根据视差信息及中心视图恢复高频信息得到超分辨率光场图像，并可以更加灵活地处理具有不同角度分辨率的低频光场图像。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于流先验与极偏补偿的光场图像超分辨处理方法。
背景技术
光场（LF）成像促进了从虚拟现实领域到计算机视觉的各种应用。光场成像与传统摄影不同，生成的光场图像不仅记录场景中每个位置的光的强度，还记录场景中的光线方向，所以包含丰富的空间信息和角度信息。通过在主透镜和相机传感器之间插入附加的光学部件（如微透镜），手持全光相机可以在单次拍摄中得到多个视图捕获场景，所以光场图像是由每个微透镜下的许多微图像（子孔径图像）组成。通过在子孔径图像中提取相同的水平和垂直的线，可以观察出子孔径图像之间的亚像素偏移（sub-pixel shifts）。然而，得到的光场（LF）图像以空间分辨率为代价配备了高的角度分辨率，这会限制光场图像的潜在应用范围，所以需要对光场图像进行超分辨处理。
图像超分辨（super-resolution，SR）是从给定的低分辨率（LR）图像中恢复高分辨率（HR）图像的过程，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。同时SR也是计算机视觉中一个长期存在的问题，为了获得具有高的重建性能的图像，SR方法需要从输入的低分辨（low-resolution，LR）图像中获得尽可能多的有用信息。
由于在图像深度连续区域中子孔径图像的内部相似性很高，光场图像超分辨的传统方法通常会先依赖于子孔径图像的内在成像一致性，通过探索深度信息对子孔径图像进行配准，然后利用不同的图像先验来正则化SR的过程。通常，光场（LF）图像中的子孔径图像在窄基线中具有亚像素偏移，会呈现不同的视图信息，但这些信息存在强相关性，所以会给超分辨率（SR）技术提供了很多冗余数据。但显然偏差估计对于这些方法是至关重要的，深度计算或图像封装操作中的任何缺陷都可能引入伪影。此外，将成像的一致性并不总是很好地保持，特别是在遮挡和高光反射区域。
最近，一些基于学习的方法被提出用于光场图像超分辨，但这些方法致力于构建复杂的框架，即通过在垂直和水平方向上重复生成子孔径图像或者对特定位置的视图采用不同的模型，来提高LF图像的超分辨率。但子孔径图像含有不平衡的辅助信息或存在特定顺序，所以不能被同等对待，其中边缘的视图性能在某种程度上也会受到衰减。因此缺乏对不同视点图像之间的视差信息所提供的亚像素偏移做研究的方法，导致在遮挡和连续边界方面表现较差并且无法恢复原本所含有的丰富高频信息。此外，这些方法仅限于具有特定角度分辨率的低频图像，对于具有不同角度分辨率的低频图像，需要训练多个模型并且从头开始训练才能实现光场图像的超分辨率处理。
发明内容
为了克服现有技术中的不足，本发明提出了一种基于流先验与极偏补偿的光场图像超分辨处理方法，包括步骤：
S1：获取空间和角度分辨率各不相同的光场图像数据集；
S2：获取目标中心视图，并通过相同方向子孔径图像的堆叠获取极线约束图像块，以中心视图和各极线约束图像块作为分支输入输入网络；
S3：提取各分支输入的图像特征，并通过补偿模块得到对齐的图像特征；
S4：通过将对齐后的图像特征进行融合并进行基于流的特征先验学习；
S5：将学习后的图像特征输入重构模块获得高分辨率的中心视图；
S6：判断是否完成所有中心视图的高分辨处理，若是，获取高分辨率的光场图像，若否，变换目标中心视图并返回S2步骤。
进一步地，所述S2步骤中，对于缺少部分周围视图的边缘子孔径图像，通过对该边缘子孔径图像相应角度方向现有视图的重复使用，以形成完整的极线约束图像块。
进一步地，所述S2步骤中，根据子孔径图像的相对角度位置将多个视图划分为四个方向上的图像块，每个图像块包含六个子孔径图像。
进一步地，所述S3步骤中，各分支输入先通过各层对应的卷积层提取浅层特征，再通过各层对应的特征提取模块获取图像特征。
进一步地，所述S3步骤中，对齐的图像特征通过如下公式获取：
式中，为对齐的图像特征，/>为角度方向/>处极线约束图像块的图像特征，，/>为目标中心视图的图像特征，/>为补偿模块。
进一步地，所述S3步骤中，补偿模块的具体操作为：
通过滤波器生成网络为极线约束图像块的每个图像特征位置生成滤波器；
将滤波器应用于对应图像特征位置进行偏移；
将可变性卷积应用于偏移后的图像特征获得对齐后的图像特征。
进一步地，所述滤波器的生成表示为如下公式：
式中，为角度方向/>处生成的滤波器的权重，其空间大小与输入的图像特征相同，/>为滤波器生成网络。
进一步地，所述图像特征位置的偏移表示为如下公式：
式中，为对于输入的/>的每个位置/>，将该位置处的局部滤波器/>应用于以/>为中心的区域产生的偏移。
进一步地，所述对齐后的图像特征通过如下公式获取：
式中，为角度方向/>处/>在任意位置/>处的对齐特征，/>为对齐前图像特征中采样核的可选位置集，/>为R中的任意一个位置，/>表示采样核在不规则网格上移动的位置，/>为偏移量，/>为/>点可学习的权重。
与现有技术相比，本发明至少含有以下有益效果：
（1）本发明所述的一种基于流先验与极偏补偿的光场图像超分辨处理方法，将光场图像中的每个子孔径图像单独处理，首先利用沿一些典型极线方向的丰富的周围视图来探索视图间的相关性。然后，以获得中心视图的进行精确亚像素偏移，实现特征级配准，并基于流先验得到更加精准的图像特征。该偏移由配备动态可变形卷积的补偿模块构建。最后，融合来自不同空间方向的互补信息，以提供目标视图的高频细节，最终得到高分辨的光场图像；
（2）能够应用于具有任何角度分辨率的光场图像，而且在合成和真实场景数据集上该方法都优于现有技术，此外，该方法在保留光场图像中固有的极线结构方面表现出良好的性能。
附图说明
图1为一种基于流先验与极偏补偿的光场图像超分辨处理方法的步骤图；
图2为补全缺少极线约束图像的边缘子孔径图像的示意图；
图3为基于流先验和极偏补偿网络的光场图像超分辨网络结构；
图4为基于流的特征先验网络。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
根据朗伯假设，理想情况下当记录同一场景时，不同子孔径图像之间的内部相关性表现为成像一致性。但由于微透镜的规则布置，不同子孔径图像之间也存在视差信息，所以本发明提出了将相同方向的子孔径图像堆叠形成图像块作为极线约束（辅助信息），将极线方向上的图像视差偏移从角度映射到空间，从而获得更精确的亚像素偏移，根据视差信息及中心视图恢复高频信息得到超分辨率光场（LF）图像。在此基础上，如图1所示，本发明提出了一种基于流先验与极偏补偿的光场图像超分辨处理方法，包括步骤：
S1：获取空间和角度分辨率各不相同的光场图像数据集；
S2：获取目标中心视图，并通过相同方向子孔径图像的堆叠获取极线约束图像块，以中心视图和各极线约束图像块作为分支输入输入网络；
S3：提取各分支输入的图像特征，并通过补偿模块得到对齐的图像特征；
S4：通过将对齐后的图像特征进行融合并进行基于流的特征先验学习；
S5：将学习后的图像特征输入重构模块获得高分辨率的中心视图；
S6：判断是否完成所有中心视图的高分辨处理，若是，获取高分辨率的光场图像，若否，变换目标中心视图并返回S2步骤。
在这里，我们假设是低分辨率（LR）光场（LF）图像，是具有比例因子为s的相应高分辨率（HR）光场（LF）图像，其中U和V分别表示行和列，H和W分别表示每个子孔径图像（SAI）的高度和宽度，C表示特征深度。但子孔径图像沿每个角度都会存在视差。因此本文根据子孔径图像的相对角度位置，将多个视图划分为四个不同方向的图像块/>，每个图像块包含六个子孔径图像。再根据低分辨视点/>和极线方向的图像块重建每个子孔径图像/>。也即是说，本发明所提出的基于流先验和极偏补偿的光场图像超分辨网络是采用四个低分辨率的图像块作为辅助信息提高中心视图的分辨率：
式中，为参数。通过改变中心视图的坐标/>，可以对每个子孔径图像进行超分辨，以生成具有高分辨率的光场图像。而对于一些缺少部分周围视图即极线约束图像的边缘子孔径图像，可以根据相应的角度方向重用现有视图以形成完整的输入的辅助信息，这样所有LR视图都由等量的视图信息支持，更易于恢复图像的纹理。如图2所示，以光场图像左下角的子孔径图像作为中心试图为例，根据相应的角度方向重用现有视图，具有相同颜色的图像为相同的子孔径图像，具有虚线框的图像为相应原始子孔径图像的副本，形成完整的辅助信息。
不难看出，本发明所提出构建的光场图像超分辨网络中是通过构建多流分支，以多个图像块和中心视图为输入分别处理，然后充分利用视图内的空间相关性和视图间的角度相关性，在特征域将每个分支与中心目标视图进行对齐。但由于场景中不同的遮挡和光度变化，所以需要为输入的每个空间位置生成特定的滤波器以应对不同的变形。而采样卷积核的偏移量很适合窄基线的变化，通过这种方式，利用视差信息找出每个图像块与目标视图之间精确的亚像素偏移，并将其映射为不同方向的残差。
如图3所示，为本发明所提出的基于流先验与极偏补偿光场图像超分辨网络的结构图，其将五个分支（包括一个中心分支和四个辅助分支）作为网络的输入。对于目标中心视图（中心分支），我们先采用一个卷积层提取浅层特征，然后采用特征提取模块来获取图像特征，其可以表示为：
式中，表示作用在目标中心视图上的卷积层，/>为浅层特征，/>表示提取模块，为目标中心视图的图像特征。
而对于辅助分支，采用与中心分支相同的方式进行图像特征的获取：
其中表示作用在角度方向/>处所代表辅助分支上的卷积层，/>为角度方向/>处极线约束图像块的图像特征，/>为角度方向/>处的LR图像。由于简化的残差块在SR任务中表现出出色的性能，所以提取模块/>采用具有m个特征图的k个简化的残差块提取丰富的特征表示，而提取的特征将用于特征配准，其中m表示提取模块中卷积层的层数，k由超参数搜索和交叉验证的方法，通过训练确定的性能最好的简化残差块数量。
而补偿模块则是作用于来自辅助分支和中心分支输入的图像特征，在特征域中执行特征配准以获得精确的空间亚像素偏移，得到任意一个角度方向的中心目标视图的对齐特征：
式中，为补偿模块，通过捕获来自所有极线方向的亚像素偏移，提高图像SR的性能。
具体地，本发明设计的补偿网络利用子孔径图像之间的视差信息，通过生成特定的滤波器将极线的视图配准到中心视图获得精确的亚像素偏移，并采用可变形卷积实现特征对齐。首先，通过过滤器生成网络为极线约束图像块的每个图像特征位置生成滤波器，公式如下：
式中，为角度方向/>处生成的滤波器的权重，其空间大小与输入的图像特征相同以使滤波操作不再是平移不变的，/>为滤波器生成网络。特定的滤波器应用于/>的特定位置以获取偏移。对于输入的/>的每个图像特征位置/>，将特定的局部滤波器应用于以/>为中心的区域产生偏移/>：
该公式使用的过滤器不仅用于特定采样的，而且用于特定位置，以处理光度变化。之后，使用可变形卷积应用于相应的特征获得对齐的特征。公式如下：
其中，为可变形卷积。然而，由于公共卷积层具有3×3核大小的规格网格，例如，/>提供可变形卷积核的偏移量，即，则对齐特征上的任意一个位置/>为：
式中，为角度方向/>处/>在任意位置/>处的对齐特征，/>为对齐前图像特征中采样核的可选位置集，/>为R中的任意一个位置，/>表示采样核在不规则网格上移动的位置，/>为偏移量（每个可选位置额外增加的偏移量），/>为/>点可学习的权重。该公式通过双线性插值实现。
在实现亚像素偏移对齐后，以串联方式融合所有特征。然后经过基于流的核先验模块，旨在通过学习基于标准流的特征先验来提高图像特征的准确性。这里，本发明采用的基于流的特征先验网络，如图4所示，由几个可逆流动块组成，图像的特征和潜在变量在流动块之间可以做可逆映射。每个流动块包括三个连续的层：批量归一化层（BatchNormalization Layer）、置换层（Permutation Layer）和仿射变换层（AffineTransformation Layer）。对于仿射变换层，我们使用小型全连接神经网络（FCN）进行缩放和移位，其中每个FCN交替堆叠全连接层和tanh激活层。
进一步地，将得到的新的图像特征输入到重建模块。由于来自特定方向的不同分支存在偏移，将融合的偏移信息整合到重建模块中，以产生中心视图的残差：
式中，为重建模块，/>为以串联方式融合所有对齐后的特征，/>为以串联方式融合所有学习标准流后更精准的特征。重建模块以对齐的特征作为输入来预测深度特征，并使用k个简化的残差块和一个卷积层融合来自不同方向的特征偏移。因此，得到的残差将拥有来自所有方向的辅助信息，以产生高分辨率的中心视图。同时采用亚像素卷积的放大模块来提高特征图的空间分辨率，与单图像SR网络中的普通放大模块相同。公式如下：
其中，表示放大模块。通过充分挖掘子孔径图像之间的角度相关性，即亚像素的极偏，以辅助超分辨率处理，同时保留低频图像的固有特性。
综上所述，本发明提出的一种基于流先验与极偏补偿的光场图像超分辨处理方法，将光场图像中的每个子孔径图像单独处理，首先利用沿一些典型极线方向的丰富的周围视图来探索视图间的相关性。然后，以中心视图为基准进行精确亚像素偏移，实现特征级配准，并基于流先验得到更加精准的图像特征。该偏移由配备动态可变形卷积的补偿模块构建。最后，融合来自不同空间方向的互补信息，以提供目标视图的高频细节，最终得到高分辨的光场图像。
由于综合考虑了多角度分辨率的低频图像，因此能够应用于具有任何角度分辨率的光场图像，而且在合成和真实场景数据集上该方法都优于现有技术。此外，该方法在保留光场图像中固有的极线结构方面表现出良好的性能。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
Claims (5)
1.一种基于流先验与极偏补偿的光场图像超分辨处理方法，其特征在于，包括步骤：
S1：获取空间和角度分辨率各不相同的光场图像数据集；
S2：获取目标中心视图，并通过相同方向子孔径图像的堆叠获取极线约束图像块，以中心视图和各极线约束图像块作为分支输入输入网络；
S3：提取各分支输入的图像特征，并通过补偿模块得到对齐的图像特征；
S4：通过将对齐后的图像特征进行融合并进行基于流的特征先验学习；
S5：将学习后的图像特征输入重构模块获得高分辨率的中心视图；
S6：判断是否完成所有中心视图的高分辨处理，若是，获取高分辨率的光场图像，若否，变换目标中心视图并返回S2步骤；
所述S3步骤中，对齐的图像特征通过如下公式获取：
式中，为对齐的图像特征，/>为角度方向/>处极线约束图像块的图像特征，，/>为目标中心视图的图像特征，/>为补偿模块；
所述S3步骤中，补偿模块的具体操作为：
通过滤波器生成网络为极线约束图像块的每个图像特征位置生成滤波器；
将滤波器应用于对应图像特征位置进行偏移；
将可变性卷积应用于偏移后的图像特征获得对齐后的图像特征；
所述滤波器的生成表示为如下公式：
式中，为角度方向/>处生成的滤波器的权重，其空间大小与输入的图像特征相同，为滤波器生成网络；
所述图像特征位置的偏移表示为如下公式：
式中，为对于输入的/>的每个位置/>，将该位置处的局部滤波器/>应用于以/>为中心的区域产生的偏移。
2.如权利要求1所述的一种基于流先验与极偏补偿的光场图像超分辨处理方法，其特征在于，所述S2步骤中，对于缺少部分周围视图的边缘子孔径图像，通过对该边缘子孔径图像相应角度方向现有视图的重复使用，以形成完整的极线约束图像块。
3.如权利要求2所述的一种基于流先验与极偏补偿的光场图像超分辨处理方法，其特征在于，所述S2步骤中，根据子孔径图像的相对角度位置将多个视图划分为四个方向上的图像块，每个图像块包含六个子孔径图像。
4.如权利要求1所述的一种基于流先验与极偏补偿的光场图像超分辨处理方法，其特征在于，所述S3步骤中，各分支输入先通过各层对应的卷积层提取浅层特征，再通过各层对应的特征提取模块获取图像特征。
5.如权利要求1所述的一种基于流先验与极偏补偿的光场图像超分辨处理方法，其特征在于，所述对齐后的图像特征通过如下公式获取：
式中，为角度方向/>处在任意位置/>处的对齐特征，/>为对齐前图像特征中采样核的可选位置集，/>为R中的任意一个位置，/>表示采样核在不规则网格上移动的位置，/>为偏移量，/>为点/>可学习的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311585601.9A CN117291808B (zh) | 2023-11-27 | 2023-11-27 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311585601.9A CN117291808B (zh) | 2023-11-27 | 2023-11-27 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117291808A CN117291808A (zh) | 2023-12-26 |
| CN117291808B true CN117291808B (zh) | 2024-02-20 |
Family
ID=89244801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311585601.9A Active CN117291808B (zh) | 2023-11-27 | 2023-11-27 | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117291808B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071603A (zh) * | 2024-04-19 | 2024-05-24 | 浙江优众新材料科技有限公司 | 空间角度信息交互的光场图像超分辨率方法、装置及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106227015A (zh) * | 2016-07-11 | 2016-12-14 | 中国科学院深圳先进技术研究院 | 一种基于压缩感知理论的全息图像高分辨率重建方法及系统 |
| CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108520495A (zh) * | 2018-03-15 | 2018-09-11 | 西北工业大学 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
| CN115456914A (zh) * | 2022-11-08 | 2022-12-09 | 浙江优众新材料科技有限公司 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
| CN115496663A (zh) * | 2022-10-12 | 2022-12-20 | 南京信息工程大学 | 基于d3d卷积组内融合网络的视频超分辨率重建方法 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN116934586A (zh) * | 2022-09-16 | 2023-10-24 | 北京邮电大学 | 一种基于预处理的高光谱图像超分辨率重建方法 |
| CN117114987A (zh) * | 2023-07-17 | 2023-11-24 | 重庆理工大学 | 基于亚像素和梯度引导的光场图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210061597A (ko) * | 2019-11-20 | 2021-05-28 | 삼성전자주식회사 | 참조 데이터를 이용한 레이더 데이터 처리 장치 및 방법 |
-
2023
- 2023-11-27 CN CN202311585601.9A patent/CN117291808B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106227015A (zh) * | 2016-07-11 | 2016-12-14 | 中国科学院深圳先进技术研究院 | 一种基于压缩感知理论的全息图像高分辨率重建方法及系统 |
| CN107025632A (zh) * | 2017-04-13 | 2017-08-08 | 首都师范大学 | 一种图像超分辨率重建方法及系统 |
| CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
| CN108520495A (zh) * | 2018-03-15 | 2018-09-11 | 西北工业大学 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
| CN116934586A (zh) * | 2022-09-16 | 2023-10-24 | 北京邮电大学 | 一种基于预处理的高光谱图像超分辨率重建方法 |
| CN115496663A (zh) * | 2022-10-12 | 2022-12-20 | 南京信息工程大学 | 基于d3d卷积组内融合网络的视频超分辨率重建方法 |
| CN115456914A (zh) * | 2022-11-08 | 2022-12-09 | 浙江优众新材料科技有限公司 | 一种基于先验知识的散焦图像去模糊方法、装置及介质 |
| CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
| CN117114987A (zh) * | 2023-07-17 | 2023-11-24 | 重庆理工大学 | 基于亚像素和梯度引导的光场图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Kernel-aware Burst Blind Super-Resolution;Wenyi Lian .etal;Arxiv;全文 * |
| 可变形卷积网络研究综述;刘卫光 等;计算机科学与探索;第17卷(第07期);1549-1564 * |
| 基于卷积神经网络的视频图像超分辨率重建方法;刘村 等;计算机应用研究(第04期);全文 * |
| 数据外补偿的深度网络超分辨率重建;杨文瀚 等;软件学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117291808A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
| CN105678742B (zh) | 一种水下相机标定方法 | |
| CN112750076B (zh) | 一种基于深度学习的光场多视角图像超分辨率重建方法 | |
| CN117291808B (zh) | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 | |
| CN108074218A (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| CN110660023A (zh) | 一种基于图像语义分割的视频拼接方法 | |
| CN104156957B (zh) | 一种稳定高效的高分辨率立体匹配方法 | |
| CN111080709B (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN108073857A (zh) | 动态视觉传感器dvs事件处理的方法及装置 | |
| CN110580720B (zh) | 一种基于全景图的相机位姿估计方法 | |
| CN110517211B (zh) | 一种基于梯度域映射的图像融合方法 | |
| AU2020281143B1 (en) | Creating super-resolution images | |
| CN109472752B (zh) | 基于航拍图像的多曝光融合系统 | |
| CN108460795A (zh) | 倒金字塔式双目立体匹配方法及系统 | |
| CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
| CN109147036A (zh) | 一种基于深度学习的集成成像微图像阵列快速生成方法 | |
| CN113506372A (zh) | 一种环境重建方法及装置 | |
| CN114359041A (zh) | 一种光场图像空间超分辨率重建方法 | |
| CN110335228B (zh) | 一种图像视差的确定方法、装置及系统 | |
| CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
| Sabater et al. | Light-field demultiplexing and disparity estimation | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| Neumann et al. | Eyes from eyes: analysis of camera design using plenoptic video geometry | |
| CN110310337B (zh) | 一种基于光场基本矩阵的多视光场成像系统全参数估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |