CN111340888A - 一种无需白图像的光场相机检校方法及系统 - Google Patents

Abstract

本发明公开了一种无需白图像的光场相机检校方法及系统。所述方法首先获取光场相机拍摄的电子棋盘格的光场原始图像，然后根据所述光场原始图像进行微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网；采用模板匹配方法提取所述光场原始图像的线特征并将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数。本发明方法不依赖白图像，只需对棋盘格原始光场进行处理即可获得微透镜中心点格网、阵列姿态以及相机投影模型的内外参数，具有光场相机检校精度高、适应范围广的特点。

Description

一种无需白图像的光场相机检校方法及系统

技术领域

本发明涉及图像测量以及计算机视觉技术领域，特别是涉及一种无需白图 像的光场相机检校方法及系统。

背景技术

传统相机检校通过主距、主点、旋转矩阵与平移矩阵等参数描述物点到像 点的转换过程。而光场相机通过微透镜与传感器形成的双平面模型记录光线， 所以光场相机的检校除了要获得传统检校参数，还要获得微透镜中心点格网， 微透镜阵列姿态，微透镜与传感器间距等。标定微透镜中心格网，就是求光线 在双平面模型中与其中一个平面的交点，是各种应用与计算的基础。

国内外现有检校非聚焦性光场相机的方法，先使用基于极值的方法从白图 像中获取微透镜中心点格网；再建立投影模型，将从子孔径图像或者全聚焦图 像中识别的棋盘格角点坐标与棋盘格角点物理坐标带入投影模型，求得投影模 型参数，完成光场相机的检校。

现有方法使用子孔径图像进行检校，首先要对光场原始数据进行旋转、重 采样、排布方式修正等预处理，进而得到子孔径图像。然后从子孔径图像中选 取角点特征作为像点，实际得到的相机检校参数描述的是预处理后的相机，所 以使用子孔径图像进行检校牺牲了一定精度。

如图1所示，现有方法采用薄透镜模型描述主透镜，针孔模型描述微透镜， 不同拍摄参数的变化(例如光圈、变焦、对焦等参数)，尤其是光场相机不同 对焦时，对焦参数变化引起的镜头到传感器平面的距离不同，使微透镜中同一 投影点在传感器上的绝对坐标以及微透镜中心的投影点相对于CCD(电荷藕 合器件)阵列中心的位置发生变化，所以使用现有的检校方法标定光场相机， 在得到标定中心点格网所需要的白图像后，需要保持拍摄参数的固定，再获取 检校光场相机所需的其他数据。最终的相机检校结果是该拍摄参数下的相机参 数。这样如果获取数据过程中，拍摄参数发生变化，则需重新拍摄白图像和所 需的光场数据。将光场数据导入电脑后，还要注意将与之对应的白图像进行储 存。在使用Lytro与Raytrix光场相机时，厂商提供的软件会近似匹配内置的 白图像。若数据的拍摄参数与任何一张内置的白图像参数不吻合，则采用拍摄 参数最相近的白图像作为数据的中心点格网数据源。这种近似匹配内置白图像 的方式虽然便捷，但不能保证中心点格网的标定精度。

可见，现有检校非聚焦性光场相机的方法，普遍依赖白图像，且相机检校 精度低。

发明内容

本发明的目的是提供一种无需白图像的光场相机检校方法及系统，以解决 现有检校非聚焦性光场相机的方法普遍依赖白图像，且相机检校精度低的问 题。

为实现上述目的，本发明提供了如下方案：

一种无需白图像的光场相机检校方法，所述方法包括：

获取光场相机拍摄的电子棋盘格的光场原始图像；所述光场相机包括镜 头、微透镜阵列和图像传感器；

根据所述光场原始图像进行所述微透镜阵列的检校，生成所述微透镜阵列 的检校结果以及所述微透镜阵列的中心点格网；

采用模板匹配方法提取所述光场原始图像的线特征；

将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数。

可选的，所述根据所述光场原始图像进行所述微透镜阵列的检校，生成所 述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网，具体包括：

获取所述微透镜阵列的物理参数；所述物理参数包括所述微透镜阵列中微 透镜的物理间距以及所述光场原始图像中像素的物理间距；

根据所述微透镜阵列的物理参数确定所述微透镜阵列中每个微透镜的物 理中心；

根据所述光场原始图像确定所述微透镜阵列中每个微透镜的物理中心的 图像投影点；

获取所述微透镜阵列的姿态参数及姿态参数范围；

确定所述微透镜阵列中每个微透镜的物理中心、微透镜的物理中心的图像 投影点以及所述微透镜阵列的姿态参数三者之间的映射关系；

根据所述映射关系建立目的函数；

在所述姿态参数范围内优化所述姿态参数，使所述目的函数达到全局最小 值；

确定使所述目的函数达到全局最小值时的姿态参数为最优姿态参数；所述 最优姿态参数为所述微透镜阵列的检校结果；

将所述最优姿态参数带入所述映射关系中，得到所述微透镜阵列中每个微 透镜的物理中心的图像投影点；

所述微透镜阵列中所有微透镜的物理中心的图像投影点构成所述微透镜 阵列的微透镜图像的中心点格网。

可选的，所述采用模板匹配方法提取所述光场原始图像的线特征，具体包 括：

获取预设的线特征模板及模板参数范围；

计算所述微透镜图像中所述微透镜的中心坐标与所述线特征模板的中心 像素的归一化互相关值；

在所述模板参数范围内优化所述线特征模板的模板参数，令所述归一化互 相关值最大；

确定令所述归一化互相关值最大的所述线特征模板为所述微透镜图像的 最优线特征模板；

将所述最优线特征模板转换为所述光场原始图像的线特征。

可选的，所述将所述线特征作为检校数据标定所述光场相机的投影模型的 内外参数，具体包括：

获取所述光场相机的光场相机投影模型；

根据所述线特征和所述光场相机投影模型建立代价函数；

调节所述光场相机投影模型的内外参数，令所述代价函数的值最小；

确定令所述代价函数的值最小的内外参数为所述内外参数的标定值。

一种无需白图像的光场相机检校系统，所述系统包括：

光场原始图像获取模块，用于获取光场相机拍摄的电子棋盘格的光场原始 图像；所述光场相机包括镜头、微透镜阵列和图像传感器；

微透镜阵列检校模块，用于根据所述光场原始图像进行所述微透镜阵列的 检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网；

线特征提取模块，用于采用模板匹配方法提取所述光场原始图像的线特 征；

内外参数标定模块，用于将所述线特征作为检校数据标定所述光场相机的 投影模型的内外参数。

可选的，所述微透镜阵列检校模块具体包括：

物理参数获取单元，用于获取所述微透镜阵列的物理参数；所述物理参数 包括所述微透镜阵列中微透镜的物理间距以及所述光场原始图像中像素的物 理间距；

微透镜物理中心确定单元，用于根据所述微透镜阵列的物理参数确定所述 微透镜阵列中每个微透镜的物理中心；

物理中心图像投影点确定单元，用于根据所述光场原始图像确定所述微透 镜阵列中每个微透镜的物理中心的图像投影点；

姿态参数获取单元，用于获取所述微透镜阵列的姿态参数及姿态参数范 围；

映射关系建立单元，用于确定所述微透镜阵列中每个微透镜的物理中心、 微透镜的物理中心的图像投影点以及所述微透镜阵列的姿态参数三者之间的 映射关系；

目的函数建立单元，用于根据所述映射关系建立目的函数；

目的函数优化单元，用于在所述姿态参数范围内优化所述姿态参数，使所 述目的函数达到全局最小值；

微透镜阵列检校单元，用于确定使所述目的函数达到全局最小值时的姿态 参数为最优姿态参数；所述最优姿态参数为所述微透镜阵列的检校结果；

中心点格网确定单元，用于将所述最优姿态参数带入所述映射关系中，得 到所述微透镜阵列中每个微透镜的物理中心的图像投影点；所述微透镜阵列中 所有微透镜的物理中心的图像投影点构成所述微透镜阵列的微透镜图像的中 心点格网。

可选的，所述线特征提取模块具体包括：

线特征模板获取单元，用于获取预设的线特征模板及模板参数范围；

归一化互相关值计算单元，用于计算所述微透镜图像中所述微透镜的中心 坐标与所述线特征模板的中心像素的归一化互相关值；

线特征模板优化单元，用于在所述模板参数范围内优化所述线特征模板的 模板参数，令所述归一化互相关值最大；

最优线特征模板确定单元，用于确定令所述归一化互相关值最大的所述线 特征模板为所述微透镜图像的最优线特征模板；

线特征转换单元，用于将所述最优线特征模板转换为所述光场原始图像的 线特征。

可选的，所述内外参数标定模块具体包括：

光场相机投影模型获取单元，用于获取所述光场相机的光场相机投影模 型；

代价函数建立单元，用于根据所述线特征和所述光场相机投影模型建立代 价函数；

代价函数优化单元，用于调节所述光场相机投影模型的内外参数，令所述 代价函数的值最小；

内外参数标定单元，用于确定令所述代价函数的值最小的内外参数为所述 内外参数的标定值。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种无需白图像的光场相机检校方法及系统，所述方法首先 获取光场相机拍摄的电子棋盘格的光场原始图像，然后根据所述光场原始图像 进行微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列 的中心点格网；采用模板匹配方法提取所述光场原始图像的线特征并将所述线 特征作为检校数据标定所述光场相机的投影模型的内外参数。本发明方法不依 赖白图像，只需对棋盘格原始光场进行处理即可获得微透镜中心点格网、阵列 姿态以及相机投影模型的内外参数，具有光场相机检校精度高、适应范围广的 特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的不同对焦参数的变化对光场相机投影点坐标的影响 示意图；

图2为本发明提供的无需白图像的光场相机检校方法流程图；

图3为本发明提供的无需白图像的光场相机检校方法的技术路线示意图；

图4为本发明提供的微透镜阵列检校的技术流程示意图；

图5为本发明提供的微透镜阵列的姿态参数：微透镜阵列的旋转角度θ₁， 垂直光轴方向的倾斜参数σ₁、σ₂，以及偏移T_x,T_y示意图；

图6为本发明提供的微透镜的物理中心以及微透镜的物理中心的图像投 影点之间的映射关系示意图；

图7为本发明提供的姿态参数优化过程示意图；

图8为本发明提供的线特征的示意图；

图9为本发明提供的不同参数组合的线特征模板的表达示意图；

图10为本发明提供的归一化互相关匹配过程示意图；

图11为本发明提供的光场相机投影模型建立过程示意图；

图12为本发明提供的无需白图像的光场相机检校系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种无需白图像的光场相机检校方法及系统，以解决 现有检校非聚焦性光场相机的方法普遍依赖白图像，且相机检校精度低的问 题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。

图2为本发明提供的无需白图像的光场相机检校方法流程图。图3为本发 明提供的无需白图像的光场相机检校方法的技术路线示意图。如图2和图3 所示，本发明提供的一种无需白图像的光场相机检校方法，具体包括：

步骤1：获取光场相机拍摄的电子棋盘格的光场原始图像。

所述光场相机是由镜头、微透镜阵列和图像传感器组成的相机，可以捕获 四维光场。所述微透镜阵列是由多个微透镜单元所组成的二维阵列。

本发明使用光场相机拍摄电子棋盘格，得到光场原始数据(光场原始图 像)，并使用屏幕测量软件获取棋盘格物理尺寸。

步骤2：根据所述光场原始图像进行所述微透镜阵列的检校，生成所述微 透镜阵列的检校结果以及所述微透镜阵列的中心点格网。

获取棋盘格原始光场后首先进行微透镜阵列检校，本发明使用一种无需白 图像的微透镜阵列中心点格网标定方法。图4为本发明提供的微透镜阵列检校 的技术流程示意图。具体的，如图4所示，步骤2具体包括：

步骤201：获取所述微透镜阵列的物理参数。

所述物理参数包括所述微透镜阵列中微透镜的物理间距以及所述光场原 始图像中像素的物理间距；根据所述微透镜阵列的物理参数确定所述微透镜阵 列中每个微透镜的物理中心。所述微透镜阵列中每个微透镜的物理中心C_ij为：

其中i表示列数，j表示行数，

表示所述微透镜阵列中第j 行第i列的微透镜的物理中心坐标，d为微透镜阵列中微透镜的物理间距，l为 光场原始图像中像素的物理间距。

步骤202：根据所述光场原始图像确定所述微透镜阵列中每个微透镜的物 理中心的图像投影点。

本发明将光场原始图像通过傅里叶变换转换到频域，计算微透镜实际物理 中心在像平面上的投影点坐标。

根据六边形角点的几何关系，六边形角点坐标(p0、p1、p2、p3、p4、p5) 可以用外切圆半径表示：

其中，p0～p5为所述外切圆与所述六边形的交点坐标，即所述六边形微透 镜的六个角点坐标；R为所述外切圆半径。

将光场原始数据通过傅里叶变换转换到频域，在微透镜六边形角点坐标附 近分别找到六个峰值所在的坐标，即找到每个微透镜图像周边六个最暗的像素 位置。

定义一个局部映射P，为微透镜图像中的某点与周围六个最暗像素的距离 和。当某点使局部映射P值最小时，即该点与周围六个最暗像素的距离和最小， 根据几何原理，该点为六边形的中心，其坐标即为微透镜的物理中心的图像投 影点。

步骤203：获取所述微透镜阵列的姿态参数及姿态参数范围。

图5为本发明提供的微透镜阵列的姿态参数示意图。参见图5，本发明设 定的姿态参数包括：微透镜阵列的旋转角度θ₁，垂直光轴方向的倾斜参数σ₁、 σ₂，以及偏移T_x,T_y。

具体的，以微透镜列阵的理想中心为原点，建立第一空间直角坐标系，其 中z轴平行于光轴方向；以微透镜列阵的实际中心为原点，建立第二空间直角 坐标系，其中z轴平行于光轴方向；所述微透镜列阵的理想中心相较于所述微 透镜列阵的实际中心在x轴的方向偏移为T_x，所述微透镜列阵的理想中心相 较于所述微透镜列阵的实际中心在y轴的方向偏移为T_y。所述第一空间直角 坐标系在xoy面与第二空间直角坐标系的xoy面的y轴之间的夹角为θ₁；所 述第一空间直角坐标系在xoz面与第二空间直角坐标系的xoz面的x轴之间的夹角为σ₁；所述第一空间直角坐标系在yoz面与第二空间直角坐标系的yoz 面的y轴之间的夹角为σ₂。

考虑到理想微透镜图像中心与实际微透镜图像中心之间只有很小的差异， 因此设定所述姿态参数范围为：偏移T_x和T_y不超过一个微透镜的范围，垂直 光轴方向的倾斜参数σ₁、σ₂以及旋转角度θ₁在±0.1度内。

步骤204：确定所述微透镜阵列中每个微透镜的物理中心、微透镜的物理 中心的图像投影点以及所述微透镜阵列的姿态参数三者之间的映射关系。

本发明根据光场相机内部的投影过程，推导微透镜的物理中心、微透镜物 理中心的图像投影点、微透镜阵列姿态参数，三者间的映射关系。图6为本发 明提供的微透镜的物理中心以及微透镜的物理中心的图像投影点之间的映射 关系示意图。参见图6，由于微透镜近似为针孔模型，主透镜中心、微透镜物 理中心、微透镜物理中心的图像投影点在一条直线上。图6中(x_c，y_c)为微透 镜物理中心的图像投影点，(x_c′，y_c′)为透镜的实际物理中心。

由三角形相似可以推出：

其中将式(3)中

简化为s，由于微透镜阵列的安装工艺，可以将sinθ 简化为ε，cosθ简化为1，从而得到所述微透镜物理中心、所述微透镜物理中心 的图像投影点、所述微透镜阵列的姿态参数，三者间的映射关系T为：

步骤205：根据所述映射关系建立目的函数。

为了计算得到中心点格网与理想中心点格网的近似程度，本发明定义一个 目的函数F，用于计算格网中每个中心点与理想中心点Cij的距离和：

式(5)中，s,σ₁,σ₂,ε,T_x,T_y是步骤203中微透镜阵列的姿态参数，T是步 骤204中定义的可以通过姿态参数得到对应的实际中心点格网坐标的计算模 型。P是步骤202中定义的局部映射；M为微透镜阵列中每行包含的微透镜个 数；N为微透镜阵列中每列包含的微透镜的个数。

步骤206：在所述姿态参数范围内优化所述姿态参数，使所述目的函数达 到全局最小值。

图7为本发明提供的姿态参数优化过程示意图。如图7所示，将步骤203 中设定的姿态参数范围内的各姿态参数进行优化组合，分别代入步骤205中的 函数F中进行计算。当F达到全局最小值，即使所有微透镜图像的局部映射P 都达到最小，此时的中心点格网即为标定的微透镜格网结果，对应的姿态参数 即为检校微透镜阵列的结果。

步骤207：确定使所述目的函数达到全局最小值时的姿态参数为最优姿态 参数；所述最优姿态参数为所述微透镜阵列的检校结果。

步骤208：将所述最优姿态参数带入所述映射关系中，得到所述微透镜阵 列中每个微透镜的物理中心的图像投影点。所述微透镜阵列中所有微透镜的物 理中心的图像投影点即构成所述微透镜阵列的微透镜图像的中心点格网。

步骤3：采用模板匹配方法提取所述光场原始图像的线特征。

接下来，使用步骤2无需白图像方法标定出的微透镜阵列的中心点格网， 进行光场相机投影模型参数的标定。

所述步骤3具体包括：

步骤301：获取预设的线特征模板及模板参数范围。

图8为本发明提供的线特征的示意图。图9为本发明提供的不同参数组合 的线特征模板的表达示意图。如图8、图9所示，使用方程xsinθ₂+ycosθ₂+t＝0 表示直线，其中参数θ₂表示直线与横轴的夹角，参数t表示直线到原点的最 短距离。

所述线特征模板的模板参数包括θ₂和t，设定模板参数范围为：-90°≤ θ≤90°，-r≤t≤r，其中r为微透镜半径。以正方形中心为原点，在边长为 2r的正方形中，画出不同参数组合的直线，得到预设的线特征模板，如图9 所示。

步骤302：计算所述微透镜图像中所述微透镜的中心坐标与所述线特征模 板的中心像素的归一化互相关值。

步骤208中得到了所述微透镜图像的中心点格网，使用归一化互相关 (NCC)方法将步骤301中生成的所述线特征模板与微透镜图像匹配，拟合光场 原始图像中的线特征。归一化互相关是两个图像之间的相似性或线性关系的一 种量度，是基于图像灰度信息的匹配方法。

I为目标图像，T为模板图像，M*N为模板的大小。

步骤303：在所述模板参数范围内优化所述线特征模板的模板参数，令所 述归一化互相关值最大。

图10为本发明提供的归一化互相关匹配过程示意图。图10中(x_c，y_c)表 示相机坐标系中微透镜图像的中心坐标，(x_t，y_t)是模板的中心像素 (x_t＝y_t＝r)。(x_r，y_r)是(x_c，y_c)取整后的小数部分结果，以模板的中心像素与 微透镜图像的中心点坐标为参考点进行归一化互相关方法的匹配。

在所述模板参数范围内优化所述线特征模板的模板参数，令所述归一化互 相关值最大。选取相关值(NCC值)最大的模板作为该微透镜图像的最优线 特征模板，同时将最优线特征模板的线特征转换成 xsinθ₂+ycosθ₂+t+x_rsinθ₂+y_rcosθ₂的形式，得到所述光场原始图像的线特征。

步骤304：确定令所述归一化互相关值最大的所述线特征模板为所述微透 镜图像的最优线特征模板；将所述最优线特征模板转换为所述光场原始图像的 线特征。

步骤4：将所述线特征作为检校数据标定所述光场相机的投影模型的内外 参数。

所述步骤4具体包括：

步骤401：获取所述光场相机的光场相机投影模型。

图11为本发明提供的光场相机投影模型建立过程示意图，如图11所示， 由于光场相机主透镜用薄透镜模型描述，微透镜用针孔模型描述，同时光在空 间中沿直线传播，像点(X,Y,Z)在光场相机传感器上成像的过程可图11描述 说明，从而建立初始光场相机的投影模型：

其中

(u,v)为成像平面上的点坐标，(u_c，v_c)为成像平面上的微透镜中心点坐标，f为主透镜的焦距，(X,Y,Z)为物点坐标， 物点坐标(X,Y,Z)经过主透镜后形成像点坐标为(X'，Y'，Z')。

获取世界坐标系与相机坐标系间的转换式：

其中，R为3*3的旋转矩阵，t为3*1的平移矩阵。世界界坐标系：也称 为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体 的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系是三 维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为 镜头光轴，与像平面垂直。

将模板匹配的线特征带入公式(6)，并与公式(7)联立，推导使用线性 特征描述的相机参数计算式，得到：焦距f，旋转矩阵R，平移矩阵t，第一 径向畸变系数k₁，第二径向畸变系数k₂，微透镜阵列到主透镜的距离

CCD传感器到主透镜的距离

的线性特征描述的 相机参数计算式。

步骤402：根据所述线特征和所述光场相机投影模型建立代价函数。

具体的，使用公式(7)把棋盘格邻近角点(u₁,v₁)和(u₂,v₂)转换到相机坐标 系内，代入径向畸变模型

并计算畸变后的坐标，并根据公式(6)建立光场相机投影模型

将畸变后的角点坐标转换到图像 坐标系。

定义一个代价函数g：

g(K₁,K₁,R,t,f_x,f_y,c_x,c_y,k₁,k₂)＝∑||a(u₁+k′(u₂-u₁)-u_c)+b·(v₁+k′(v₂-v₁)-v_c)+c||² (8)

所述代价函数g是世界坐标系中的线特征与由模板匹配得到的线特征之 间的距离平方和，其中k′为线特征的斜率，a、b、c为模板匹配而得的线特征 模板的参数。

步骤403：调节所述光场相机投影模型的内外参数，令所述代价函数的值 最小；确定令所述代价函数的值最小的内外参数为所述内外参数的标定值。

具体的，根据线性特征描述的相机参数计算式以及图像坐标系中畸变后的 角点坐标调节代价函数g的值。令所述代价函数g的值最小，得到相机内外参 数的标定值，包括焦距f、像主点坐标(C_x,C_y)、第一径向畸变系数k₁、第二 径向畸变系数k₂、旋转矩阵R以及平移矩阵的值t。从而完成了光场相机投影 模型的标定。

基于本发明提供的一种无需白图像的光场相机检校方法，本发明还提供一 种无需白图像的光场相机检校系统。如图12所示，一种无需白图像的光场相 机检校系统，具体包括：

光场原始图像获取模块1201，用于获取光场相机拍摄的电子棋盘格的光 场原始图像；所述光场相机包括镜头、微透镜阵列和图像传感器；

微透镜阵列检校模块1202，用于根据所述光场原始图像进行所述微透镜 阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格 网；

所述微透镜阵列检校模块1202具体包括：

物理参数获取单元，用于获取所述微透镜阵列的物理参数；所述物理参数 包括所述微透镜阵列中微透镜的物理间距以及所述光场原始图像中像素的物 理间距；

微透镜物理中心确定单元，用于根据所述微透镜阵列的物理参数确定所述 微透镜阵列中每个微透镜的物理中心；

物理中心图像投影点确定单元，用于根据所述光场原始图像确定所述微透 镜阵列中每个微透镜的物理中心的图像投影点；

姿态参数获取单元，用于获取所述微透镜阵列的姿态参数及姿态参数范 围；

映射关系建立单元，用于确定所述微透镜阵列中每个微透镜的物理中心、 微透镜的物理中心的图像投影点以及所述微透镜阵列的姿态参数三者之间的 映射关系；

目的函数建立单元，用于根据所述映射关系建立目的函数；

目的函数优化单元，用于在所述姿态参数范围内优化所述姿态参数，使所 述目的函数达到全局最小值；

微透镜阵列检校单元，用于确定使所述目的函数达到全局最小值时的姿态 参数为最优姿态参数；所述最优姿态参数为所述微透镜阵列的检校结果；

中心点格网确定单元，用于将所述最优姿态参数带入所述映射关系中，得 到所述微透镜阵列中每个微透镜的物理中心的图像投影点；所述微透镜阵列中 所有微透镜的物理中心的图像投影点构成所述微透镜阵列的微透镜图像的中 心点格网；

线特征提取模块1203，用于采用模板匹配方法提取所述光场原始图像的 线特征；

所述线特征提取模块1203具体包括：

线特征模板获取单元，用于获取预设的线特征模板及模板参数范围；

归一化互相关值计算单元，用于计算所述微透镜图像中所述微透镜的中心 坐标与所述线特征模板的中心像素的归一化互相关值；

线特征模板优化单元，用于在所述模板参数范围内优化所述线特征模板的 模板参数，令所述归一化互相关值最大；

最优线特征模板确定单元，用于确定令所述归一化互相关值最大的所述线 特征模板为所述微透镜图像的最优线特征模板；

线特征转换单元，用于将所述最优线特征模板转换为所述光场原始图像的 线特征；

内外参数标定模块1204，用于将所述线特征作为检校数据标定所述光场 相机的投影模型的内外参数；

所述内外参数标定模块1204具体包括：

光场相机投影模型获取单元，用于获取所述光场相机的光场相机投影模 型；

代价函数建立单元，用于根据所述线特征和所述光场相机投影模型建立代 价函数；

代价函数优化单元，用于调节所述光场相机投影模型的内外参数，令所述 代价函数的值最小；

内外参数标定单元，用于确定令所述代价函数的值最小的内外参数为所述 内外参数的标定值。

本发明公开了一种无需白图像的光场相机检校方法及系统，所述方法首先 获取光场相机拍摄的电子棋盘格的光场原始图像，然后根据所述光场原始图像 进行所述微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜 阵列的中心点格网；采用模板匹配方法提取所述光场原始图像的线特征并将所 述线特征作为检校数据标定所述光场相机的投影模型的内外参数。本发明方法 为无需白图像的光场相机检校方法，不依赖白图像，只需棋盘格原始光场，即 可获得微透镜中心点格网，阵列姿态与相机投影模型内外参数的标定值，实现 微透镜阵列和相机投影模型的检校。并且，本发明方法只需棋盘格光场的原始 数据，因此适用于Lytro一代，Lytro Illum，以及自制的光场相机等的校验， 适用范围更广。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于 实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较 简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施 例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变 之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种无需白图像的光场相机检校方法，其特征在于，所述方法包括：

获取光场相机拍摄的电子棋盘格的光场原始图像；所述光场相机包括镜头、微透镜阵列和图像传感器；

根据所述光场原始图像进行所述微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网；

采用模板匹配方法提取所述光场原始图像的线特征；

将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数。

2.根据权利要求1所述的光场相机检校方法，其特征在于，所述根据所述光场原始图像进行所述微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网，具体包括：

获取所述微透镜阵列的物理参数；所述物理参数包括所述微透镜阵列中微透镜的物理间距以及所述光场原始图像中像素的物理间距；

根据所述微透镜阵列的物理参数确定所述微透镜阵列中每个微透镜的物理中心；

根据所述光场原始图像确定所述微透镜阵列中每个微透镜的物理中心的图像投影点；

获取所述微透镜阵列的姿态参数及姿态参数范围；

确定所述微透镜阵列中每个微透镜的物理中心、微透镜的物理中心的图像投影点以及所述微透镜阵列的姿态参数三者之间的映射关系；

根据所述映射关系建立目的函数；

在所述姿态参数范围内优化所述姿态参数，使所述目的函数达到全局最小值；

确定使所述目的函数达到全局最小值时的姿态参数为最优姿态参数；所述最优姿态参数为所述微透镜阵列的检校结果；

将所述最优姿态参数带入所述映射关系中，得到所述微透镜阵列中每个微透镜的物理中心的图像投影点；

所述微透镜阵列中所有微透镜的物理中心的图像投影点构成所述微透镜阵列的微透镜图像的中心点格网。

3.根据权利要求2所述的光场相机检校方法，其特征在于，所述采用模板匹配方法提取所述光场原始图像的线特征，具体包括：

获取预设的线特征模板及模板参数范围；

计算所述微透镜图像中所述微透镜的中心坐标与所述线特征模板的中心像素的归一化互相关值；

在所述模板参数范围内优化所述线特征模板的模板参数，令所述归一化互相关值最大；

确定令所述归一化互相关值最大的所述线特征模板为所述微透镜图像的最优线特征模板；

将所述最优线特征模板转换为所述光场原始图像的线特征。

4.根据权利要求3所述的光场相机检校方法，其特征在于，所述将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数，具体包括：

获取所述光场相机的光场相机投影模型；

根据所述线特征和所述光场相机投影模型建立代价函数；

调节所述光场相机投影模型的内外参数，令所述代价函数的值最小；

确定令所述代价函数的值最小的内外参数为所述内外参数的标定值。

5.一种无需白图像的光场相机检校系统，其特征在于，所述系统包括：

光场原始图像获取模块，用于获取光场相机拍摄的电子棋盘格的光场原始图像；所述光场相机包括镜头、微透镜阵列和图像传感器；

微透镜阵列检校模块，用于根据所述光场原始图像进行所述微透镜阵列的检校，生成所述微透镜阵列的检校结果以及所述微透镜阵列的中心点格网；

线特征提取模块，用于采用模板匹配方法提取所述光场原始图像的线特征；

内外参数标定模块，用于将所述线特征作为检校数据标定所述光场相机的投影模型的内外参数。

6.根据权利要求5所述的光场相机检校系统，其特征在于，所述微透镜阵列检校模块具体包括：

物理参数获取单元，用于获取所述微透镜阵列的物理参数；所述物理参数包括所述微透镜阵列中微透镜的物理间距以及所述光场原始图像中像素的物理间距；

微透镜物理中心确定单元，用于根据所述微透镜阵列的物理参数确定所述微透镜阵列中每个微透镜的物理中心；

物理中心图像投影点确定单元，用于根据所述光场原始图像确定所述微透镜阵列中每个微透镜的物理中心的图像投影点；

姿态参数获取单元，用于获取所述微透镜阵列的姿态参数及姿态参数范围；

映射关系建立单元，用于确定所述微透镜阵列中每个微透镜的物理中心、微透镜的物理中心的图像投影点以及所述微透镜阵列的姿态参数三者之间的映射关系；

目的函数建立单元，用于根据所述映射关系建立目的函数；

目的函数优化单元，用于在所述姿态参数范围内优化所述姿态参数，使所述目的函数达到全局最小值；

微透镜阵列检校单元，用于确定使所述目的函数达到全局最小值时的姿态参数为最优姿态参数；所述最优姿态参数为所述微透镜阵列的检校结果；

中心点格网确定单元，用于将所述最优姿态参数带入所述映射关系中，得到所述微透镜阵列中每个微透镜的物理中心的图像投影点；所述微透镜阵列中所有微透镜的物理中心的图像投影点构成所述微透镜阵列的微透镜图像的中心点格网。

7.根据权利要求6所述的光场相机检校系统，其特征在于，所述线特征提取模块具体包括：

线特征模板获取单元，用于获取预设的线特征模板及模板参数范围；

归一化互相关值计算单元，用于计算所述微透镜图像中所述微透镜的中心坐标与所述线特征模板的中心像素的归一化互相关值；

线特征模板优化单元，用于在所述模板参数范围内优化所述线特征模板的模板参数，令所述归一化互相关值最大；

最优线特征模板确定单元，用于确定令所述归一化互相关值最大的所述线特征模板为所述微透镜图像的最优线特征模板；

线特征转换单元，用于将所述最优线特征模板转换为所述光场原始图像的线特征。

8.根据权利要求7所述的光场相机检校系统，其特征在于，所述内外参数标定模块具体包括：

光场相机投影模型获取单元，用于获取所述光场相机的光场相机投影模型；

代价函数建立单元，用于根据所述线特征和所述光场相机投影模型建立代价函数；

代价函数优化单元，用于调节所述光场相机投影模型的内外参数，令所述代价函数的值最小；

内外参数标定单元，用于确定令所述代价函数的值最小的内外参数为所述内外参数的标定值。

Images