CN105704371B

CN105704371B - 一种光场重聚焦方法

Info

Publication number: CN105704371B
Application number: CN201610050596.5A
Authority: CN
Inventors: 王兴政; 刘帝; 王好谦; 张永兵; 李莉华; 戴琼海
Original assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Priority date: 2016-01-25
Filing date: 2016-01-25
Publication date: 2019-04-26
Anticipated expiration: 2036-01-25
Also published as: CN105704371A

Abstract

本发明涉及一种光场重聚焦方法，包括如下步骤：初始化，对于光场相机拍摄的图像，取出其对应的子孔径图；记录位置信息，对取出的光场相机的子孔径图，记录其位置信息；第一次超分辨：按顺序取其中一张子孔径图，使用已经训练好的超分辨方法对其进行一次超分辨；然后继续对下一张子孔径图使用同样的方法进行超分辨，直到最后所有的子孔径图都经过该超分辨方法的处理；超分辨聚焦过程：对于经上述步骤处理后的子孔径图，利用其相邻位置的子孔径图的信息，使用超分辨重构方法，通过这一系列子孔径图来获得一张高分辨的重聚焦图。最终得出的光场相机超分辨图的倍数远远大于传统超分辨所能获得的倍数，大大提高了使用传统方法获得光场相机图的分辨率。

Description

一种光场重聚焦方法

技术领域

本发明涉及光场相机超分辨技术领域，特别涉及一种光场重聚焦方法。

背景技术

光场相机是获取光场信息的装置，包含空间位置和方向的四维光辐射场。相比于原来只包含了二维的图像信息传统的相机，可以获得更多的光线信息。其结构如图2所示，相比于传统的相机，多了一个微透镜阵列。光场相机最主要的特点就是数字聚焦，即“先拍照，后聚焦”,这样可以有效解决传统相机在拍摄高速运动物体及一些情况下无法准确对焦或来不及对焦的问题。光场相机的出现可以说是相机领域的一次革命，但其目前最大的问题是分辨率太低，因此其分辨率的提高是一个非常关键的问题。

为了提高其分辨率，在硬件改进的方法之外，也可以通过改进图像处理方法利用更多的信息获得更高的分辨率。现有的方法大都是光场相机的空间分辨率和角度分辨率的折衷，在获得提高了的空间分辨率的同时也降低了角度分辨率。此外，也可以利用超分辨的方法，获得更多的图像信息，来提高其分辨率。但其分辨率仍需进一步提高。

发明内容

本发明的目的在于提供一种光场重聚焦方法，获得更好的分辨率。

为此，本发明提出的光场重聚焦方法包括如下步骤：S1、初始化，对于光场相机拍摄的图像，取出其对应的子孔径图；S2、记录位置信息，对取出的光场相机的子孔径图，记录其位置信息；S3、第一次超分辨：按顺序取其中一张子孔径图，使用已经训练好的超分辨方法对其进行一次超分辨；然后继续对下一张子孔径图使用同样的方法进行超分辨，直到最后所有的子孔径图都经过该超分辨方法的处理；S4、超分辨聚焦过程：对于经步骤S3处理后的子孔径图，利用其相邻位置的子孔径图的信息，使用超分辨重构方法，通过这一系列子孔径图来获得一张高分辨的重聚焦图。

本发明的优点在于，在步骤S3中超分辨后又在步骤S4进行超分辨聚焦，最终得出的光场相机超分辨图的倍数远远大于传统超分辨所能获得的倍数，大大提高了使用传统方法获得光场相机图的分辨率。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例方法中光场相机光学结构的示意图；

图3为本发明实施例方法中子孔径图的示意图；

图4为本发明实施例方法中第一次超分辨的示意图；

图5为本发明实施例方法中重聚焦的示意图；

图6为本发明实施例方法中超分辨重聚焦的示意图。

具体实施方式

本实施例方法是一种基于二阶子孔径图超分辨的光场重聚焦方法，其原理是：对于光场相机拍摄的图像，先获取其子孔径图，然后利用已经训练好的单幅图的超分辨方法，每张子孔径图利用自身的信息超分辨一次，获得第一次提高分辨率之后的超分辨子孔径图。然后再使用多幅图超分辨的方法，利用每个子孔径图周围相邻的子孔径图的信息，进行超分辨重聚焦，获得最后的高分辨率图。

本实施例方法的流程图如图1所示，具体步骤如下：

步骤一：初始化。

对于光场相机拍摄的图像，取出其对应的子孔径图。

步骤二：记录位置信息。

对取出的光场相机的子孔径图，记录其位置信息。

步骤三：第一次超分辨过程。

按顺序取其中一张子孔径图，使用已经训练好的超分辨方法对其进行一次超分辨。然后继续对下一张子孔径图使用同样的方法进行超分辨，直到最后所有的子孔径图都经过该超分辨方法的处理。

步骤四：超分辨聚焦过程。

对于经步骤三处理后的子孔径图，利用其相邻位置的子孔径图的信息，使用超分辨重构方法，通过这一系列子孔径图来获得一张高分辨的重聚焦图。

下面结合附图和对本实施例作进一步的说明，具体过程如下：

步骤一：初始化。

首先对于一张光场相机拍摄的图像，取出其对应的子孔径图。传感器阵列上的原始像图可以看作是N*N个子孔径图(N是一个维度上的微透镜数目)，且带有角度信息，其最大的分辨率由微透镜数目决定。

提取其包含角度信息的子孔径图，即图表2中的每个微透镜的像，其示意图如图3所示。

步骤二：记录位置信息。

对步骤一中所取出的光场相机的所有的子孔径图，如图3所示，记录各子孔径图的位置信息，即之后的成像位置信息。

步骤三：第一次超分辨过程。

对于步骤一中获取的子孔径图，按顺序取其中一张子孔径图，使用已经训练好的超分辨方法(现有可用超分辨方法有Bicubic算法、A+的方法、基于改进稀疏编码的超分辨方法等)对其进行一次超分辨。此次超分辨只是利用每张图自己的信息，所以可以分开取，亦可以采用并行的方式，节省时间。而对于超分辨的方法，这里并不局限于某一种方法，可以自行选择已经训练好的超分辨方法来进行超分辨，如A+的方法等。因此该方法可以随着单幅图超分辨方法的改进而得到更好的效果。

然后继续对下一张子孔径图使用同样的方法进行超分辨，直到最后所有的子孔径图都经过该超分辨方法的处理。若子孔径图数目为N*N，每个子孔径图超分辨所需时间为t0，则非并行方式下超分辨子孔径图所需时间为N*N*t0。其原理示意如图表4所示，此次超分辨利用的是每张子孔径图自身的信息，因此属于一对一的模式。此次超分辨的倍数依赖于所使用的超分辨方法，即所使用的超分辨方法的倍数，因此超分辨的效果也会随着步骤三中的超分辨方法的改进而改进。

步骤四：超分辨重聚焦过程。

光场相机的重聚焦过程如图5所示。设光线L_F(x,y,u,v)在像距为aF处的重聚焦平面上的投射点坐标为(x,y)，此时该光线记为L_F(x,y,u,v)，则由几何关系可以得出该光线在像距为F的像平面上的投射点坐标为因此可以得出：

即：

其中是变焦倍率。令：

其中：

则有：

L_αF(x,y,u,v)＝L_F((x,y,u,v)·B_α) (7)

对于系统采集到的图像可以由每个位置的各个方向的光线进行积分得到，即

E_F(x,y)＝∫∫L_Fdudv (8)

将公式(7)代入公式(8)中可以得到：

利用上述方法，即可得到在指定位置(即所需要聚焦的位置)的重聚焦变换之后的子孔径图。其中B_α表示投射矩阵，α表示变焦倍率，L_F(x,y,u,v)为四维光场函数，表示给定光线的光辐射量，则像面接收到的总辐射量为E_αF(x,y)。假定光学系统中的探测器平面x-y和光学成像系统主平面u-v面无穷大，在光学成像系统入瞳以及光瞳之外传播的光线L_F(x,y,u,v)＝0，引入近轴近似，将公式简化为上式。由傅里叶切片定理可知，x-y面上得到的光辐射能量是光场L_F(x,y,u,v)的一个切片的投影积分。因而，通过一次曝光得到的4D光场信息，可以用来重建不同焦距处的图像。

步骤一中已经确定，原始分辨率为N*N.

对于步骤三处理后的子孔径图，利用在步骤二中已经记录了各子孔径图的位置信息，利用每个子孔径图相邻位置的子孔径图的信息，来超分辨该子孔径图，使用多幅图的超分辨重聚焦方法。

理论上超分辨的放大倍数m为：

其中N为步骤一中微透镜在一个维度上的数目，D和d分别是主透镜和微透镜的直径。

此步骤的超分辨方法是基于贝叶斯估计的算法处理超分辨的最大后验估计方法(MAP)，给出观察模型和一些的低分辨率图，寻找最大后验概率的未知高分辨率图。

由于此步骤使用的方法也并未局限于一种超分辨方法，也可以使用其他的多幅图超分辨的重聚焦方法(如基于偏微分方程方法的多幅图像超分辨方法、基于学习的图像超分辨率重建算法等)，因而也可以随着其超分辨方法的改进获得更好地超分辨效果，如图表6所示，通过这一系列子孔径图来获得一张高分辨的重聚焦图。此次超分辨利用的是相邻位置的子孔径图的信息，属于多对一模式。

若步骤三超分辨的倍数为M1，在步骤一中已经确定，光场相机的分辨率由其微透镜数目确定，即N*N。因此最终的分辨率为

则理论上最终得出的光场相机超分辨图的倍数M2为(是原分辨率的倍数)

故而大大提高了使用传统方法获得光场相机图的分辨率。由于步骤三和步骤四中的超分辨方法可以随着现有超分辨方法的改进而改进，因此，超分辨结果图也可以获得更好的效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效装置或等效方法变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种光场重聚焦方法，其特征在于包括如下步骤：

S1、初始化，对于光场相机拍摄的原始图像，取出其对应的子孔径图，即每个微透镜的像；

其中原始像图中有N*N个子孔径图，且带有角度信息，其最大的分辨率由微透镜数目N决定，N是一个维度上的微透镜数目；

S2、记录位置信息，对取出的光场相机的子孔径图，记录其位置信息；

S3、第一次超分辨：按顺序取其中一张子孔径图，使用已经训练好的超分辨方法对其进行一次超分辨；然后继续对下一张子孔径图使用同样的方法进行超分辨，直到最后所有的子孔径图都经过该超分辨方法的处理；

S4、超分辨聚焦过程：对于经步骤S3处理后的子孔径图，利用其相邻位置的子孔径图的信息，使用超分辨重构方法，通过这一系列子孔径图来获得一张高分辨的重聚焦图。

2.如权利要求1所述的光场重聚焦方法，其特征是步骤S4包括：设光线L_F(x,y,u,v)在像距为α F处的重聚焦平面上的投射点坐标为(x,y)，此时该光线记为L_F(x,y,u,v)，利用下式得到在指定位置的重聚焦变换之后的子孔径图：

，

其中是变焦倍率，其中B_α表示投射矩阵，α表示变焦倍率，L_F(x,y,u,v)为四维光场函数，表示给定光线的光辐射量，则像面接收到的总辐射量为E_αF(x,y)。

3.如权利要求2所述的光场重聚焦方法，其特征是还包括：利用在步骤S2中已经记录了各子孔径图的位置信息，利用每个子孔径图相邻位置的子孔径图的信息，来超分辨该子孔径图。

4.如权利要求3所述的光场重聚焦方法，其特征是：步骤S4中的超分辨方法是基于贝叶斯估计的算法处理超分辨的最大后验估计方法MAP，给出观察模型和一些的低分辨率图，寻找最大后验概率的未知高分辨率图。

5.如权利要求3所述的光场重聚焦方法，其特征是：步骤S4中通过这一系列子孔径图来获得一张高分辨的重聚焦图，该步骤中超分辨利用的是相邻位置的子孔径图的信息，属于多对一模式。