CN104363369A - 一种光场相机的图像恢复方法及装置 - Google Patents

Abstract

本发明公开了一种光场相机的图像恢复方法及装置，该方法包括如下步骤：获取系统点扩散函数步骤，获取所述光场相机的包括主透镜和微透镜阵列形成的系统点扩散函数，其中，物体在所述系统点扩散函数的卷积作用下，在成像传感器上形成图像；图像恢复步骤，将所述图像根据所述系统点扩散函数进行反卷积运算，获取物体的原始数据。本发明在现有的基于微透镜阵列的广场相机的基础上，能够获得更高的图像分辨率。

Description

一种光场相机的图像恢复方法及装置

【技术领域】

本发明涉及计算摄像学领域，尤其涉及一种光场相机的图像恢复方法及装置。

【背景技术】

点扩散函数是描述光学系统对点光源解析能力的函数。因为点光源在经过任何光学系统后都会由于衍射而形成一个扩大的像点。通过测量系统的点扩散函数，能够更准确地提取图像信息。点扩散函数可以看作是一个聚焦的光学系统的冲击响应，或是未解析物体的一个扩散斑。从泛函数角度来分析，点扩散函数是图像系统的空间域的传递函数。点扩散函数应用在傅里叶光学、天文成像、电子显微以及3D显微镜和荧光显微镜等领域。

相比于传统相机，光场相机能够存储丰富的光场信息。光场相机的实现方式可分为两种思路。一种主流的实现光场相机的方式是在传统相机的主透镜与传感器所在平面加入微透镜阵列。每个微透镜对应的宏像素对应若干传感器像素单元。对二位光场图像中像素进行重新排列，得到四维光场矩阵，将四维光场重新投影到新的像平面进行积分叠加，就可以获得不同平面上的对角图像。此种设备记录的数据中包含角度信息与空间信息的内在联系，例如可从中提取出不同观察视角的图片。但同时传感器上记录空间信息的像素比例大幅下降，空间分辨率与角度分辨率形成一对矛盾。

【发明内容】

为了解决现有的光场相机的空间分辨率与角度分辨率之间的矛盾，本发明提供了一种光场相机的图像恢复方法及装置，可以在现有的光场相机的成像传感器上恢复出质量更好的物体图像。

一种光场相机的图像恢复方法，包括如下步骤：

获取系统点扩散函数步骤，获取所述光场相机的包括主透镜和微透镜阵列形成的系统点扩散函数，其中，物体在所述系统点扩散函数的卷积作用下，在成像传感器上形成图像；

图像恢复步骤，将所述图像根据所述系统点扩散函数进行反卷积运算，获取物体的原始数据。

优选地，所述获取系统点扩散函数步骤还包括以下步骤：

获取物体通过所述主透镜在所述微透镜阵列上成像的第一点扩散函数；

获取物体通过所述微透镜阵列在所述微透镜阵列的焦平面上成像的第二点扩散函数；

将所述第一点扩散函数和第二点扩散函数进行卷积的结果与二维冲击函数相乘获得所述系统点扩散函数，其中所述二维冲击函数的每个冲击的二维坐标与所述微透镜阵列中对应的微透镜的位置相对应。

优选地，所述系统点扩散函数采用如下算法获得：

$I(x,y)=H(x,y)\⊗O(x,y);$

或者 $I(x,y)=H(x,y)\⊗O(x,y)+N;$

或者 $I(x,y)=N[H(x,y)\⊗O(x,y)];$

其中，I(x，y)代表所述成像传感器记录的图像，H(x，y)代表所述系统点扩散函数，O(x，y)代表物体空间中的物体，N代表噪声。

本发明还提供了一种光场相机的图像恢复装置，包括：

获取系统点扩散函数单元，用于获取所述光场相机的包括主透镜和微透镜阵列形成的系统点扩散函数，其中，物体在所述系统点扩散函数的卷积作用下，在成像传感器上形成图像；

图像恢复单元，用于将所述图像根据所述系统点扩散函数进行反卷积运算，获取物体的原始数据。

优选地，所述获取系统点扩散函数单元还用于：

获取物体通过所述主透镜在所述微透镜阵列上成像的第一点扩散函数；

获取物体通过所述微透镜阵列在所述微透镜阵列的焦平面上成像的第二点扩散函数；

将所述第一点扩散函数和第二点扩散函数进行卷积的结果与二维冲击函数相乘获得所述系统点扩散函数，其中所述二维冲击函数的每个冲击的二维坐标与所述微透镜阵列中对应的微透镜的位置相对应。

优选地，所述系统点扩散函数采用如下算法获得：

$I(x,y)=H(x,y)\⊗O(x,y);$

或者 $I(x,y)=H(x,y)\⊗O(x,y)+N;$

或者 $I(x,y)=N[H(x,y)\⊗O(x,y)];$

其中，I(x，y)代表所述成像传感器记录的图像，H(x，y)代表所述系统点扩散函数，O(x，y)代表物体空间中的物体，N代表噪声。

本发明的有益效果是：本光场相机的图像恢复方法可以将现有基于微透镜阵列的的光场相机成像传感器获得的图片中，获得分辨率更高的图片。

【附图说明】

图1是现有技术的基于微透镜阵列光场相机结构示意图；

图2是本发明一种实施例的光场相机的图像恢复方法的流程示意图。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图2所示，一种实施例的光场相机的图像恢复方法，包括如下步骤：

一、构建物体通过光学系统成像模型。

点扩散函数指的是理想点光源通过光学元件时，由于衍射而形成一个扩大的像点。以信号处理的理论可以将光学元件看作一个系统，点扩散函数则是此系统的冲击响应。成像过程可以理解为物体空间中的目标物体与光学系统的点扩散函数进行卷积得到结果则为成像传感器所接收到的二维图像。

可以将模型设计为无噪声模型(公式1)和有噪声模型，根据噪声的特性还可以分为加性噪声(公式2)和乘性噪声(公式3)，此三个公式中，I(x，y)代表所述成像传感器记录的图像，H(x，y)代表所述系统点扩散函数，O(x，y)代表物体空间中的物体，N代表噪声。

$I(x,y)=H(x,y)\⊗O(x,y)---\left(1\right)$

$I(x,y)=H(x,y)\⊗O(x,y)+N---\left(2\right)$

$I(x,y)=N[H(x,y)\⊗O(x,y)]---\left(3\right)$

二、获取光场相机点扩散函数

点扩散函数是一种描述成像过程中物体的函数，属于光学系统的内在属性。假设成像过程是线性并且平移不变的，一个方程即可描述成像那个设备所记录任何点的成像形变。点扩散函数的精确度和质量直接关系到图像重建的质量。

点扩散函数可通过理论计算和实验测量获得。光场相机的模型如图1所示，其中微透镜阵列2与成像传感器3之间距离为微透镜焦距。计算基于微透镜阵列的点扩散函数过程：

点光源发出各项同性的光经过主透镜1后，于微透镜阵列2所在平面成像。此过程与传统相机成像点扩散函数相同。

取一个微透镜，构造模型为点光源位于微透镜一侧，成像于焦平面的点扩散函数。

将过程ii中获得结果i与中获得结果卷积，即得到点光源通过由主透镜与一个微透镜所构成光学系统的点扩散函数。

将iii中获取函数与二维平面的冲击函数相乘，二维冲击函数的每个冲击坐标对应微透镜阵列中每个微透镜位置，即获得基于微透镜阵列的光场相机的点扩散函数。

三、通过反卷积恢复高分辨图像。

反卷积通过观测数据与卷积核求解物体原始数据，通过运算逆转图像固有的卷积效应。但由于成像系统固有的限制以及图像的组成，物体无法被完美还原；只能通过已知的限制因素，估算物体。尽管如此，相比于现有的光场相机恢复成像传感器获得的图像来说，这种反卷积获得的图像的分辨率也更高。并且，这种运算的优势在于三维图像的反卷积可以遵循傅里叶变换通过数学方法计算出来。

反卷积常用算法有：Wiener Filtering,Nearest Neighbors,ConstrainedIterative Algorithms,Jansson Van-Cittert Algorithms,The Gold Algorithm,Statistical Algorithms以及Maximum Likelihood Estimation Algorithms等等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (6)

1.一种光场相机的图像恢复方法，其特征是，包括如下步骤：

获取系统点扩散函数步骤，获取所述光场相机的包括主透镜和微透镜阵列形成的系统点扩散函数，其中，物体在所述系统点扩散函数的卷积作用下，在成像传感器上形成图像；

图像恢复步骤，将所述图像根据所述系统点扩散函数进行反卷积运算，获取物体的原始数据。

2.如权利要求1所述的光场相机的图像恢复方法，其特征是，所述获取系统点扩散函数步骤还包括以下步骤：

获取物体通过所述主透镜在所述微透镜阵列上成像的第一点扩散函数；

获取物体通过所述微透镜阵列在所述微透镜阵列的焦平面上成像的第二点扩散函数；

将所述第一点扩散函数和第二点扩散函数进行卷积的结果与二维冲击函数相乘获得所述系统点扩散函数，其中所述二维冲击函数的每个冲击的二维坐标与所述微透镜阵列中对应的微透镜的位置相对应。

3.如权利要求1所述的光场相机的图像恢复方法，其特征是，所述系统点扩散函数采用如下算法获得：

$I(x,y)=H(x,y)\⊗O(x,y);$

或者 $I(x,y)=H(x,y)\⊗O(x,y)+N;$

或者 $I(x,y)=N[H(x,y)\⊗O(x,y)];$

其中，I(x，y)代表所述成像传感器记录的图像，H(x，y)代表所述系统点扩散函数，O(x，y)代表物体空间中的物体，N代表噪声。

4.一种光场相机的图像恢复装置，其特征是，包括：

获取系统点扩散函数单元，用于获取所述光场相机的包括主透镜和微透镜阵列形成的系统点扩散函数，其中，物体在所述系统点扩散函数的卷积作用下，在成像传感器上形成图像；

图像恢复单元，用于将所述图像根据所述系统点扩散函数进行反卷积运算，获取物体的原始数据。

5.如权利要求4所述的光场相机的图像恢复装置，其特征是，所述获取系统点扩散函数单元还用于：

获取物体通过所述主透镜在所述微透镜阵列上成像的第一点扩散函数；

获取物体通过所述微透镜阵列在所述微透镜阵列的焦平面上成像的第二点扩散函数；

将所述第一点扩散函数和第二点扩散函数进行卷积的结果与二维冲击函数相乘获得所述系统点扩散函数，其中所述二维冲击函数的每个冲击的二维坐标与所述微透镜阵列中对应的微透镜的位置相对应。

6.如权利要求4所述的光场相机的图像恢复装置，其特征是，所述系统点扩散函数采用如下算法获得：

$I(x,y)=H(x,y)\⊗O(x,y);$

或者 $I(x,y)=H(x,y)\⊗O(x,y)+N;$

或者 $I(x,y)=N[H(x,y)\⊗O(x,y)];$

其中，I(x，y)代表所述成像传感器记录的图像，H(x，y)代表所述系统点扩散函数，O(x，y)代表物体空间中的物体，N代表噪声。