CN104089628A - 光场相机的自适应几何定标方法 - Google Patents

Abstract

本发明公开了一种光场相机的自适应几何定标方法，该方法包括：采集参考图像I，并基于该参考图像的频谱图来计算微透镜子图像之间的像素距离n以及微透镜阵列和图像传感器阵列之间的相对夹角θ；基于所述相对夹角θ校正参考图像I的平行误差，获得校正后的参考图像I_r，并计算每个微透镜子图像的中心坐标(x_c,y_c)；基于所述相对夹角θ校正实际图像的平行误差，再基于校正后的实际图像计算微透镜子图像之间的像素距离n'，并利用所述像素距离n'与像素距离n的比值及中心坐标(x_c,y_c)来计算每个微透镜子图像的实际中心坐标(x'_c,y'_c)，从而实现光场相机的自适应几何定标。通过采用本发明公开的方法，只需要拍摄一次参考图像就可以对不同镜头参数的光场相机进行自动定标，从而实现了光场相机的自适应几何定标。

Description

光场相机的自适应几何定标方法

技术领域

本发明涉及光场相机技术领域，尤其涉及一种光场相机的自适应几何定标方法。

背景技术

光场成像技术是将信息处理技术与光学成像技术紧密结合发展而成的一种“计算成像”技术。通过成像系统获取目标的四维光场分布，再利用信息处理技术对光场进行反演，具有“先成像后对焦”的功能。光场相机突破了成像景深与相对孔径的相互制约关系，在大光圈的条件下能够获得大景深范围的清晰图像，同时也简化了光学相机的机械对焦机构，提高了成像系统的稳定性和可靠性。光场相机在商业摄影、航空航天遥感、工业检测、三维立体显示、显微成像等领域具有广阔的应用前景。

光场相机一般通过在光学镜头和图像传感器之间加入微透镜阵列来获得光场图像。原始的光场图像由各个微透镜单元所成的子图像以二维矩阵方式排列而成。在光场相机的数据处理中，首先需要通过定标预处理将原始的二维光场图像变换为四维的光场矩阵。定标的主要目的在于确定每个微透镜子图像的实际中心坐标。

目前，有多种针对光场相机进行定标的方法，其共同点在于每次定标时都需要事先对均匀面光源目标(如积分球或均匀照射的白纸)拍摄一幅参考图像。通过对参考图像的一系列处理，可以标定出所有微透镜子图像的中心位置。

然而，在光场相机中，微透镜子图像的中心点会随着光学镜头的位置变化而发生改变。当用户调整光学镜头的对焦深度或者更换新的镜头时，微透镜子图像的中心都会偏离原先定标的位置。如果要重新确定微透镜子图像新的中心坐标，需要每次对镜头进行更改操作时都重新拍摄参考图像进行定标。这样频繁的定标过程严重影响了光场相机在实际应用中的工作效率，并且在某些应用场景下重新拍摄参考图像并不可行。

发明内容

本发明的目的是提供一种光场相机的自适应几何定标方法，只需要拍摄一次参考图像就可以对不同镜头参数的光场相机进行自动定标，解决了光场相机需要多次重复采集参考图像的问题。

本发明的目的是通过以下技术方案实现的：

一种光场相机的自适应几何定标方法，该方法包括：

采集参考图像I，并基于该参考图像的频谱图来计算微透镜子图像之间的像素距离n以及微透镜阵列和图像传感器阵列之间的相对夹角θ；

基于所述相对夹角θ校正参考图像I的平行误差，获得校正后的参考图像I_r，并计算每个微透镜子图像的中心坐标(x_c,y_c)；

基于所述相对夹角θ校正实际图像的平行误差，获得校正后的实际图像，再基于所述校正后的实际图像计算微透镜子图像之间的像素距离n'，并利用所述像素距离n'与像素距离n的比值及中心坐标(x_c,y_c)来计算每个微透镜子图像的实际中心坐标(x'_c,y'_c)，从而实现光场相机的自适应几何定标。

由上述本发明提供的技术方案可以看出，通过一次性确定参考图像的微透镜子图像中心，再利用光场图像频谱计算出微透镜子图像间距的变化，从而自动对微透镜子图像中心的改变进行补偿；因此，只需要拍摄一次参考图像就可以对不同镜头参数的光场相机进行自动定标，解决了光场相机需要多次重复采集参考图像的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种光场相机的自适应几何定标方法的流程图；

图2为本发明实施例一提供的一种光场相机采集参考图像的示意图；

图3为本发明实施例一提供的一种光场相机采集到的参考图像的示意图；

图4为本发明实施例一提供的一种参考图像的频谱图的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种光场相机的自适应几何定标方法的流程图。如图1所示，该方法主要包括：

步骤11、采集参考图像I，并基于该参考图像的频谱图来计算微透镜子图像之间的像素距离n以及微透镜阵列和图像传感器阵列之间的相对夹角θ。

如图2所示，本发明实施例采用积分球作为均匀面光源，将光场相机的光轴对准积分球的出口中心，调整所述光场相机的光圈大小，并实时观察光场相机的输出图像；当微透镜子图像之间恰好没有相互混叠时，采集此时的图像作为参考图像I(如图3所示)，该参考图像I的分辨率大小为M×N。

然后，对参考图像I作二维傅里叶变换，得到其频谱幅值图像(如图4所示)，将零频分量平移至图像中心，频谱图像中出现若干个极大值频谱分量，找出与零频分量最近的极大值频谱。

令零频位置坐标为(0,0)，最近极大值分量坐标为(X，Y)，则得到参考图像I中微透镜子图像之间的像素距离n：

$n=\frac{\mathrm{MN}}{\sqrt{{\left(\mathrm{NY}\right)}^2+{\left(\mathrm{MX}\right)}^2}}.$

由于装调误差的影响，在实际的光场相机中，微透镜阵列的行(或列)与图像传感器的行(或列)并非是理想的平行关系，而会具有微小的夹角，通过频谱图可计算出该夹角 $\mathrm{\θ}=\arctan \frac{Y}{X}.$

步骤12、基于所述相对夹角θ校正参考图像I的平行误差，获得校正后的参考图像I_r，并计算每个微透镜子图像的中心坐标(x_c,y_c)。

基于步骤11的计算结果进行参考图像I定标，首先，将参考图像I顺时针旋转θ角，得到校正平行误差后的图像I_r；然后，将校正后的参考图像I_r分别沿列方向和行方向求平均，得到一维向量与再查找所述一维向量与中的极大值点序列，记为与最后，利用重心法计算每个微透镜子图像灰度重心坐标(x_c,y_c)作为子图像的中心坐标，计算公式为：

$x_c=\frac{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}j\·I_r(i,j)}{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}{I}_r(i,j)},y_c=\frac{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}i\·I_r(i,j)}{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}{I}_r(i,j)};$

其中，(i,j)为图像中像素的坐标；k＝round(n/2)表示微透镜子图像之间像素距离的一半，式中的i_c与j_c为表示与

步骤13、基于校正后的实际场景的光场图像来计算微透镜子图像之间的像素距离n'，并利用所述像素距离n'与像素距离n的比值及中心坐标(x_c,y_c)来计算每个微透镜子图像的实际中心坐标(x'_c,y'_c)，从而实现光场相机的自适应几何定标。

在拍摄实际目标场景的光场图像时，若光场相机的镜头参数发生变化，会引起微透镜子图像中心坐标(x_c,y_c)和微透镜子图像间距n发生改变，但微透镜阵列和图像传感器之间的夹角保持θ不变。

本发明实施例，将实际图像(实际场景的光场图像)旋转θ角校正平行误差，获得校正后的实际图像，再沿行方向求平均，得到一维向量。

对该一维向量做一维傅里叶变换取其幅值，找出与零频分量最近的极大值频谱分量；令该频谱分量与零频之间的距离为d，则微透镜子图像之间的像素距离n'＝N/d，从而确定每个微透镜子图像的实际中心坐标(x'_c,y'_c)：

$x_c^{\′}=(x_c-\frac{N}{2})\frac{n^{\′}}{n}+\frac{N}{2},y_c^{\′}=(y_c-\frac{M}{2})\frac{n^{\′}}{n}+\frac{M}{2}.$

本发明实施例通过一次性确定参考图像的微透镜子图像中心，再利用光场图像频谱计算出微透镜子图像的像素间距的变化，从而自动对微透镜子图像中心的改变进行补偿；因此，只需要拍摄一次参考图像就可以对不同镜头参数的光场相机进行自动定标，解决了光场相机需要多次重复采集参考图像的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种光场相机的自适应几何定标方法，其特征在于，该方法包括：

采集参考图像I，并基于该参考图像的频谱图来计算微透镜子图像之间的像素距离n以及微透镜阵列和图像传感器阵列之间的相对夹角θ；

基于所述相对夹角θ校正参考图像I的平行误差，获得校正后的参考图像I_r，并计算每个微透镜子图像的中心坐标(x_c,y_c)；

基于所述相对夹角θ校正实际图像的平行误差，获得校正后的实际图像，再基于所述校正后的实际图像计算微透镜子图像之间的像素距离n'，并利用所述像素距离n'与像素距离n的比值及中心坐标(x_c,y_c)来计算每个微透镜子图像的实际中心坐标(x'_c,y'_c)，从而实现光场相机的自适应几何定标。

2.根据权利要求1所述的方法，其特征在于，采集所述参考图像I包括：

采用积分球作为均匀面光源，将光场相机的光轴对准积分球的出口中心，调整所述光场相机的光圈大小，并实时观察光场相机的输出图像；

当微透镜子图像之间恰好没有相互混叠时，采集此时的图像作为参考图像I，该参考图像I的分辨率大小为M×N。

3.根据权利要求1或2所述方法，其特征在于，所述基于该参考图像的频谱图来计算微透镜子图像之间的像素距离n以及微透镜阵列和图像传感器阵列之间的相对夹角θ包括：

对参考图像I作二维傅里叶变换，得到其频谱幅值图像，将零频分量平移至图像中心，频谱图像中出现若干个极大值频谱分量，找出与零频分量最近的极大值频谱；

令零频位置坐标为(0,0)，最近极大值分量坐标为(X，Y)，则得到参考图像I中微透镜子图像之间的像素距离n：

$n=\frac{\mathrm{MN}}{\sqrt{{\left(\mathrm{NY}\right)}^2+{\left(\mathrm{MX}\right)}^2}};$

所述微透镜阵列和图像传感器阵列之间的相对夹角θ计算公式为：

$\mathrm{\θ}=\arctan \frac{Y}{X}.$

4.根据权利要求1所述的方法，其特征在于，所述计算每个微透镜子图像的中心坐标(x_c,y_c)包括：

将参考图像I顺时针旋转θ角，得到校正平行误差后的图像I_r；

将校正后的参考图像I_r分别沿列方向和行方向求平均，得到一维向量与

查找所述一维向量与中的极大值点序列，记为与

利用重心法计算每个微透镜子图像的中心坐标(x_c,y_c)：

$x_c=\frac{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}j\·I_r(i,j)}{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}{I}_r(i,j)},y_c=\frac{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}i\·I_r(i,j)}{{\mathrm{\Σ}}_{j=j_c-k}^{j_c+k}{\mathrm{\Σ}}_{i=i_c-k}^{i_c+k}{I}_r(i,j)};$

其中，(i,j)为图像中像素的坐标；k＝round(n/2)表示微透镜子图像之间像素距离的一半。

5.根据权利要求1所述的方法，其特征在于，所述计算每个微透镜子图像的实际中心坐标(x'_c,y'_c)包括：

将所述校正后的实际图像沿行方向求平均，得到一维向量；

对该一维向量做一维傅里叶变换取其幅值，找出与零频分量最近的极大值频谱分量；令该频谱分量与零频之间的距离为d，则微透镜子图像之间的像素距离n'＝N/d，从而确定每个微透镜子图像的实际中心坐标(x'_c,y'_c)：

$x_c^{\′}=(x_c-\frac{N}{2})\frac{n^{\′}}{n}+\frac{N}{2},y_c^{\′}=(y_c-\frac{M}{2})\frac{n^{\′}}{n}+\frac{M}{2}.$