CN110012196A - 一种光场相机重聚焦方法 - Google Patents

Abstract

本发明公开了一种基于正交格点转化的光场相机重聚焦方法，首先利用光场相机拍摄均匀白墙或者均匀白光板获取白图像，利用类间方差法求取白图像最佳阈值并进行二值化，通过六边形—正交格点转化方法对白图像轮廓区域进行校正；在此基础上，利用图像不变矩计算白图像轮廓的中心点二维坐标，利用双平面参数化表示方法表示光场的四维信息，最终，利用光场成像原理以及光线的能量函数实现光场图像的重聚焦。本发明重聚焦的图像细节较为丰富，计算效率高，可作为图像后处理算法在当前红外监控设备中稳定运行，提升当前设备采集到的场景深度信息。

Description

一种光场相机重聚焦方法

技术领域

本发明属于光场图像处理领域，尤其涉及一种场景深度信息的光场相机重聚焦方法。

背景技术

在传统二维成像框架下，对于计算场景深度、获取目标物几何形态等诸多问题的求解均存在局限性。这些局限性的根本原因在于传统成像方式只能记录光线所经过的位置信息，而丢失了与场景深度、目标几何形态、场景遮挡关系等高度藕合的光线角度信息，即三维（3D）信息，而光场成像理论恰好能够从根本上解决光线角度信息的采集问题。因此，研究基于光场成像理论的计算摄影学具有十分重要的现实意义。

利用光场相机可以同时获取的光线角度和位置信息，采用相应的计算摄影术能实现颠覆传统成像方式的新颖图像生成方法，如数字重聚焦、合成孔径成像、光场显微成像、全景深图像合成、场景深度图获取等，为三维重建、全景拼接、视角合成、目标识别与跟踪等计算机视觉问题提供更加完备而有效的解决方案。

光场采集方法主要分为直接采集和间接采集两类，直接采集方法包含相机阵列积分成像和光场相机成像。间接光场采集方法包含单相机分时成像和掩膜编码成像。

随着微纳光学的不断发展，微透镜阵列的加工水平不断提升，光场相机的成像质量不断提升。由于光场相机抗干扰能力强、轻巧便携且操作简便，这种新型光场采集系统愈发引起了研究人员的关注。在传统相机成像中，物方场景光线的方向和强度信息被压缩到二维成像平面上，丢失了光线的方向信息。光场相机通过在主镜组和传感器间特定位置插入微透镜阵列，在采集物方光强的同时记录光线方向信息。光场相机作为计算光学领域一项革命性的光场采集系统，通过计算机图像处理，可实现拍摄后焦距和视角变换功能，打破了传统相机对焦距、视角和孔径的束缚，也解决了相机阵列和可控相机成本高昂及操作复杂的问题。

相比于其他方法，光场相机光场采集有两个优点:第一，光场采集的四维光场信息通过后期计算处理可实现连续深度和视角变换;第二，操作便捷，不需要高昂的相机阵列或者高精度可控相机。

发明内容

本发明要解决的技术问题在于针对现有成像方式只能记录光线所经过的位置信息，而丢失了与场景深度、目标几何形态、场景遮挡关系等高度藕合的光线角度信息等问题，在现有设备基础上通过软件算法的方式，即提供一种基于正交格点转化的光场相机重聚焦方法，将采集到的光场图像重聚焦于主镜头至焦平面距离的0.2～2倍之间。

本发明解决其技术问题所采用的技术方案是：一种光场相机重聚焦方法，包括以下步骤：S1，光场相机主透镜后微透镜阵列的标定以及校正；S2，假定白图像轮廓区域内每个像素位置处的灰度值为该像素点的质量，利用此特性求取白图像轮廓区域中心点；S3，利用光场相机主透镜后的微透镜阵列对光场进行重采样，通过微透镜来记录光线的位置信息，利用微透镜后的传感器像素记录每条光线的方向信息，获取到光场的四维信息后，对其进行双平面参数化表示；S4，利用光场成像原理以及光线的能量函数，使白图像聚焦于主镜头至焦平面距离的0.2～2倍之间，获取光场相机的重聚焦图像。

进一步，所述的步骤S1中微透镜阵列的标定以及校正方法具体为：

S101，利用光场相机拍摄均匀白墙或者均匀白光板获取白图像：在均匀白墙或者均匀白光板架设光场相机，在光场相机特定对焦及变焦参数下进行拍摄，多次改变拍摄的曝光程度，拍摄多张不同曝光程度的白图像；

S102，多次改变光场相机的对焦和变焦参数，拍摄多张不同曝光程度下的白图像；

S103，利用最大类间方差法对白图像进行阈值分割，求取白图像的最佳阈值；

S104，在求取白图像最佳阈值基础上，将白图像进行二值化，计算白图像的轮廓；

S105，使用六边形—正交格点转化方法对白图像轮廓区域进行规则化转化以进行白图像轮廓区域的校正。

进一步，所述的步骤S2中白图像轮廓区域中心点的二维坐标计算方法具体为：

S201，对于光场图像，大小为M*N，其p+q阶几何矩m_pq通过下式计算得到：

，

其p+q阶中心矩μ_pq通过下式计算得到：

；

S202，白图像轮廓区域中心点的二维坐标通过以下公式计算得到：

式中，为图像的灰度质量，为白图像轮廓区域中心点的二维坐标。

进一步，所述的步骤S3中光场的四维信息的双平面参数化表示方法具体为：

S301，当光线经过主透镜入射到探测器平面上时，使用四维光场函数表示该光线的强度，其中，表示光线与主透镜平面相交位置，表示为光线与传感器的相交位置，表示为透镜传感器之间的距离即透镜的焦距；

S302，在光场双平面参数表示系中，光线到达探测器平面上的二维强度分布可用四维光场函数表示为：

。

进一步，所述的步骤S4中光场相机的重聚焦方法具体为：

S401，对于同一条光线而言：

令x'=αx，根据光线坐标关系计算得到光场图像在二维方向位置维度的平移量，二维方向位置维度的平移量计算公式为：

；

S402，利用S401计算得到的光线坐标关系得到位置维度的平移量，在平移后的方向维度重新积分完成光场图像的重聚焦，光场图像的重聚焦计算公式为：

。

本发明产生的有益效果是：

本发明基于正交格点转化的光场相机重聚焦方法，采用光线在平移后的方向维度重新积分，实现光场图像的重聚焦功能。

基于该理论，首先利用光场相机拍摄均匀白墙或者均匀白光板获取白图像，利用类间方差法求取白图像最佳阈值并进行二值化，通过六边形—正交格点转化方法对白图像轮廓区域进行校正。在此基础上，利用图像不变矩计算白图像轮廓的中心点二维坐标，利用双平面参数化表示方法表示光场的四维信息，最终，利用光场成像原理以及光线的能量函数实现光场图像的重聚焦。

本发明重聚焦的图像细节较为丰富，计算效率高，可作为图像后处理算法在当前红外监控设备中稳定运行，提升当前设备采集到的场景深度信息。

附图说明

图1是本发明的重聚焦方法流程图；

图2是本发明实施例中白图像的示例图。

具体实施方式

下面结合附图对本发明作进一步说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的一种基于正交格点转化的光场相机重聚焦方法，包括以下步骤：

S1，光场相机微透镜阵列标定以及校正，利用光场相机拍摄均匀白墙或者均匀白光板获取白图像，利用最大类间方差法（大津算法）对白图像进行阈值分割，求取白图像的最佳阈值，在此基础上，将阈值化的白图像进行二值化，计算白图像的轮廓。

进一步地，本发明的步骤S1中，所采用的光场相机微透镜阵列标定以及校正的方法具体为：

S101，在均匀白光板或者均匀白墙架设光场相机，在光场相机特定对焦及变焦参数下进行拍摄，多次改变拍摄的曝光程度，拍摄多张不同曝光程度的白图像，其局部区域如图1；

S102，多次改变光场相机的对焦和变焦参数，拍摄多张不同曝光程度下的白图像，白图像如图2所示；

S103，利用最大类间方差法（大津算法）对白图像进行阈值分割，求取白图像的最佳阈值；

S104，在求取白图像最佳阈值基础上，将白图像进行二值化，计算白图像的轮廓；

S105，使用六边形—正交格点转化方法对白图像轮廓区域进行规则化转化以进行白图像轮廓区域的校正。

S2，白图像轮廓区域内每个像素位置处的灰度值假定为该像素点的质量，利用此特性求取白图像轮廓区域中心点的二维坐标。

进一步地，本发明的步骤S2中，白图像轮廓区域中心点的二维坐标计算方法具体为：

S201，对于光场图像，大小为M*N，其p+q阶几何矩m_pq通过下式计算得到：

其p+q阶中心矩μ_pq通过下式计算得到：

；

S202，白图像轮廓区域中心点的二维坐标通过以下公式计算得到：

式中，为图像的灰度质量，为白图像轮廓区域中心点的二维坐标。

S3，利用光场相机主透镜后的微透镜阵列对光场进行重采样，通过微透镜来记录光线的位置信息，利用微透镜后的传感器像素记录每条光线的方向信息，获取到光场的四维信息后，对其进行双平面参数化表示。

进一步地，所述步骤S3中光场的四维信息的双平面参数化表示方法具体为：

S301，当光线经过主透镜入射到探测器平面上时，使用四维光场函数表示该光线的强度，其中，表示光线与主透镜平面相交位置，表示为光线与传感器的相交位置，表示为透镜传感器之间的距离即透镜的焦距；

S302，在光场双平面参数表示系中，光线到达探测器平面上的二维强度分布可用四维光场函数表示为：

。

S4，利用光场成像原理以及光线的能量函数，使图像聚焦于主镜头至焦平面距离的0.2倍至2倍之间，获取光场相机的重聚焦图像。

进一步地，本发明步骤S4中光场相机的重聚焦方法具体为：

S401，对于同一条光线而言：

令x'=αx，根据光线坐标关系计算得到光场图像在二维方向位置维度的平移量，二维方向位置维度的平移量计算公式为：

；

S402，利用S401计算得到的光线坐标关系得到位置维度的平移量，在平移后的方向维度重新积分完成光场图像的重聚焦，光场图像的重聚焦计算公式为：

。

本发明不局限于上述最佳实施方式，任何本领域技术人员在本发明的启示下都可以得出其它变形及改进的产品，但不论在其形状或结构上做任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (5)

1.一种光场相机重聚焦方法，其特征在于：包括以下步骤：

S1，光场相机主透镜后微透镜阵列的标定以及校正；

S2，假定白图像轮廓区域内每个像素位置处的灰度值为该像素点的质量，利用此特性求取白图像轮廓区域中心点；

S3，利用光场相机主透镜后的微透镜阵列对光场进行重采样，通过微透镜来记录光线的位置信息，利用微透镜后的传感器像素记录每条光线的方向信息，获取到光场的四维信息后，对其进行双平面参数化表示；

S4，利用光场成像原理以及光线的能量函数，使白图像聚焦于主镜头至焦平面距离的0.2～2倍之间，获取光场相机的重聚焦图像。

2.根据权利要求1所述的一种光场相机重聚焦方法，其特征在于，所述步骤S1中微透镜阵列的标定以及校正方法具体为：

S101，利用光场相机拍摄均匀白墙或者均匀白光板获取白图像：在均匀白墙或者均匀白光板架设光场相机，在光场相机特定对焦及变焦参数下进行拍摄，多次改变拍摄的曝光程度，拍摄多张不同曝光程度的白图像；

S102，多次改变光场相机的对焦和变焦参数，拍摄多张不同曝光程度下的白图像；

S103，利用最大类间方差法对白图像进行阈值分割，求取白图像的最佳阈值；

S104，在求取白图像最佳阈值基础上，将白图像进行二值化，计算白图像的轮廓；

S105，使用六边形—正交格点转化方法对白图像轮廓区域进行规则化转化以进行白图像轮廓区域的校正。

3.根据权利要求1所述的一种光场相机重聚焦方法，其特征在于，所述步骤S2中白图像轮廓区域中心点的二维坐标计算方法具体为：

S201，对于光场图像，大小为M*N，其p+q阶几何矩m_pq通过下式计算得到：

，

其p+q阶中心矩μ_pq通过下式计算得到：

；

S202，白图像轮廓区域中心点的二维坐标通过以下公式计算得到：

式中，为图像的灰度质量，为白图像轮廓区域中心点的二维坐标。

4.根据权利要求1所述的一种光场相机重聚焦方法，其特征在于，所述步骤S3中光场的四维信息的双平面参数化表示方法具体为：

S301，当光线经过主透镜入射到探测器平面上时，使用四维光场函数表示该光线的强度，其中，表示光线与主透镜平面相交位置，表示为光线与传感器的相交位置，表示为透镜传感器之间的距离即透镜的焦距；

S302，在光场双平面参数表示系中，光线到达探测器平面上的二维强度分布可用四维光场函数表示为：

。

5.根据权利要求1所述的一种光场相机重聚焦方法，其特征在于，所述步骤S4中光场相机的重聚焦方法具体为：

S401，对于同一条光线而言：

令x'=αx，根据光线坐标关系计算得到光场图像在二维方向位置维度的平移量，二维方向位置维度的平移量计算公式为：

；

S402，利用S401计算得到的光线坐标关系得到位置维度的平移量，在平移后的方向维度重新积分完成光场图像的重聚焦，光场图像的重聚焦计算公式为：

。