CN107330933B - 一种基于摄像机阵列的任意焦曲面拍摄方法 - Google Patents

Abstract

本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法，该方法利用标定后的摄像机阵列获取三维场景的视差图像序列，利用其获取的三维信息数据的冗余性，可以实现在三维场景任意曲面聚焦。该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程，同时具备高速率、可调节和标定简单的优点，突破了传统摄像机仅能在平面聚焦的限制。

Description

一种基于摄像机阵列的任意焦曲面拍摄方法

技术领域

本发明涉及三维场景中焦曲面拍摄技术，特别涉及一种基于摄像机阵列的任意焦曲面拍摄方法。

背景技术

摄像机拍摄技术是将三维场景经过光学成像系统在二维的传感器上投影，进而获得与三维场景相关联的光学信息的技术。传统的摄像机拍摄都具有特定的景深，且在成像的三维场景物方空间聚焦面为平面。由于入射光瞳直径的限制，传统的摄像机拍摄图像的景深范围固定，无法后期调节，更无法在三维场景方空间的特定曲面进行聚焦。摄像机阵列是获取三维场景不同角度三维信息的装置，其获取的三维信息数据具有很大的冗余性。目前，摄像机阵列主要应用在三维重建和三维显示领域，同时，在目标探测和识别领域也有应用。

发明内容

本发明旨在实现一种基于摄像机阵列且可以聚焦于三维场景任意曲面的拍摄方法。该方法同时具备高速率、可调节和标定简单的优点。为了达到上述目的，本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法。该方法基于摄像机阵列，根据摄像机阵列中每个摄像机的位姿，结合摄像机阵列标定方法，实现等价的虚拟摄像机。利用等价的虚拟摄像机，对三维场景进行拍摄，计算目标焦曲面每个像素对应的像素偏移量，合成目标焦曲面拍摄图像。该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程。

本发明利用摄像机阵列得到等价的虚拟摄像机，不仅可以聚焦于三维场景中的特定平面，而且可以聚焦于三维场景中的任意曲面，如附图1所示。本发明中的焦曲面可以是三维场景表面，也可以是任意数值曲面。

本发明所提方法的流程如附图2所示，调节摄像机阵列中的每个摄像机的位姿，确定中心深度平面的位置和拍摄三维场景的范围，利用摄像机阵列标定方法，得到摄像机阵列的标定参数，进而对摄像机阵列获得的视差图像进行校正，得到校正的视差图像序列；根据确定的目标焦曲面，并结合每个摄像机的索引编号，计算目标焦曲面上每个像素对应的像素偏移量，最终合成目标焦曲面拍摄图像。

所述视差图像像素偏移量的计算过程，首先，调节摄像机阵列每个摄像机位姿。在摄像机阵列中，摄像机数目为M×N，调节摄像机阵列中的每个摄像机，保证所有摄像机处于同一平面，相邻两个摄像机的间隔相同，都为ΔC，同时使摄像机阵列中不同摄像机拍摄范围尽可能多地重合，同时确定中心深度平面位置Z ₀，摄像机阵列所处平面与中心深度平面平行，且两者距离为L，如附图3所示。摄像机阵列拍摄棋盘格标定板，利用摄像机阵列标定方法，得到摄像机阵列参数，进而计算视差图像序列的标定矩阵H _{m, n} ，其中，m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号，m∈{1, 2, 3, …, M}，n∈{1, 2, 3,…, N}。然后，得到校正视差图像序列。利用摄像机阵列，拍摄三维场景，得到视差图像序列，视差图像序列分辨率为W _P ×H _P 。摄像机阵列的第m列、第n行摄像机得到的视差图像为I _{m, n} (x, y)，其中，x和y分别为三维场景视差图像像素坐标。利用标定矩阵H _{m, n} ，计算得到对应的校正视差图像序列I' _{m, n} (x', y')，I' _{m, n} (x', y')与I _{m, n} (x, y)满足：

（1）

其中：

（2）

最后，计算视差图像每个像素的偏移方向和偏移大小。如附图3所示，焦曲面上存在点P，其距中心深度平面的距离为ΔZ，点P经过摄像机阵列中不同摄像机的视框体投影，在中心深度平面上有不同的投影坐标。在本发明中，以摄像机阵列中心位置的摄像机为基准摄像机，则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量，ΔS满足：

（3）

（4）

（5）

其中，ΔS _X 和ΔS _Y 分别为ΔS在x轴和y轴的分量，round(*)表示对*向最近整数四舍五入取整，W _S 和H _S 分别为视差图像序列分辨率W _P 和H _P 在中心深度平面位置对应的三维场景真实范围。

所述任意焦曲面拍摄图像的合成过程，首先，确定目标焦曲面与中心深度平面的距离ΔZ(x, y)。本发明中，目标焦曲面为任意曲面，其深度值表示为Z(x, y)，其中，x和y分别为目标焦曲面像素坐标。根据中心深度平面位置Z ₀，计算得到目标焦曲面Z(x, y)与中心深度平面的距离ΔZ(x, y)：

（6）

然后，计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量ΔS _{m, n} (x, y)。将公式（6）带入公式（3）、（4）和（5）得到：

（7）

其中，ΔS _{m, n, X} (x, y)和ΔS _{m, n, Y} (x, y)分别为ΔS _{m, n} (x, y)在x轴和y轴的分量。最后，合成目标焦曲面拍摄图像O(x', y')，O(x', y')与I' _{m, n} (x', y')满足：

（8）

其中，m∈{1, 2, 3, …, M}，n∈{1, 2, 3, …, N}。基于摄像机阵列的不同焦曲面拍摄图像如附图4所示。

本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法，该方法利用标定后的摄像机阵列，获取三维场景的视差图像序列，突破了传统摄像机仅能在平面聚焦的限制，同时具备高速率、可调节和标定简单的优点，可以实现在三维场景任意曲面聚焦。

附图说明

附图1为一种基于摄像机阵列的任意焦曲面拍摄方法示意图

附图2为本发明所提方法的流程图

附图3为本发明中视差图像像素偏移量的计算过程示意图

附图4为（a1）高斯型焦曲面拍摄合成图像，（a2）对应的高斯型焦曲面，（b1）任意焦曲面I拍摄合成图像，（b2）对应的任意焦曲面I，（c1）任意焦曲面II拍摄合成图像，（c2）对应的任意焦曲面II，（d）焦曲面深度值对照表

上述附图中的图示标号为：

1摄像机阵列，2等价的虚拟摄像机，3焦平面I，4焦平面II，5焦曲面，6中心深度平面，7摄像机。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明本发明的一种基于摄像机阵列的任意焦曲面拍摄方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法，该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程。

本实施例利用摄像机阵列得到等价的虚拟摄像机，不仅可以聚焦于三维场景中的特定平面，而且可以聚焦于三维场景中的任意曲面，如附图1所示。本实施例中的焦曲面可以是三维场景表面，也可以是任意数值曲面。

本实施例的流程如附图2所示，调节摄像机阵列中的每个摄像机的位姿，确定中心深度平面的位置和拍摄三维场景的范围，利用摄像机阵列标定方法，得到摄像机阵列的标定参数，进而对摄像机阵列获得的视差图像进行校正，得到校正的视差图像序列；根据确定的目标焦曲面，并结合每个摄像机的索引编号，计算目标焦曲面上每个像素对应的像素偏移量，最终合成目标焦曲面拍摄图像。

所述视差图像像素偏移量的计算过程，首先，调节摄像机阵列每个摄像机位姿。在摄像机阵列中，摄像机数目为M×N = 11×11，调节摄像机阵列中的每个摄像机，保证所有摄像机处于同一平面，相邻两个摄像机的间隔相同，都为ΔC = 20mm，同时使摄像机阵列中不同摄像机拍摄范围尽可能多地重合，同时确定中心深度平面位置Z ₀ = 995mm，摄像机阵列所处平面与中心深度平面平行，且两者距离为L = 995mm，如附图3所示。摄像机阵列拍摄棋盘格标定板，利用摄像机阵列标定方法，得到摄像机阵列参数，进而计算视差图像序列的标定矩阵H _{m, n} ，其中，m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号，m∈{1, 2, 3, …, 11}，n∈{1, 2, 3, …, 11}。然后，得到校正视差图像序列。利用摄像机阵列，拍摄三维场景，得到视差图像序列，视差图像序列分辨率为W _P ×H _P = 512×389。摄像机阵列的第m列、第n行摄像机得到的视差图像为I _{m, n} (x, y)，其中，x和y分别为三维场景视差图像像素坐标。利用标定矩阵H _{m, n} ，计算得到对应的校正视差图像序列I' _{m, n} (x', y')，I' _{m, n} (x', y')与I _{m, n} (x, y)满足：

（1）

其中：

（2）

最后，计算视差图像每个像素的偏移方向和偏移大小。如附图3所示，焦曲面上存在点P，其距中心深度平面的距离为ΔZ = -100mm，点P经过摄像机阵列中不同摄像机的视框体投影，在中心深度平面上有不同的投影坐标。在本实施例中，以摄像机阵列中心位置的摄像机为基准摄像机，则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量，ΔS满足：

（3）

（4）

（5）

其中，ΔS _X 和ΔS _Y 分别为ΔS在x轴和y轴的分量，round(*)表示对*向最近整数四舍五入取整，W _S 和H _S 分别为视差图像序列分辨率W _P 和H _P 在中心深度平面位置对应的三维场景真实范围，本实施例中，W _S = 2560mm和H _S = 1945mm。

所述任意焦曲面拍摄图像的合成过程，首先，确定目标焦曲面与中心深度平面的距离ΔZ(x, y)。本实施例中，目标焦曲面为任意曲面，其深度值表示为Z(x, y)，其中，x和y分别为目标焦曲面像素坐标。根据中心深度平面位置Z ₀，计算得到目标焦曲面Z(x, y)与中心深度平面的距离ΔZ(x, y)：

（6）

然后，计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量ΔS _{m, n} (x, y)。将公式（6）带入公式（3）、（4）和（5）得到：

（7）

其中，ΔS _{m, n, X} (x, y)和ΔS _{m, n, Y} (x, y)分别为ΔS _{m, n} (x, y)在x轴和y轴的分量。最后，合成目标焦曲面拍摄图像O(x', y')，O(x', y')与I' _{m, n} (x', y')满足：

（8）

其中，m∈{1, 2, 3, …, 11}，n∈{1, 2, 3, …, 11}。本实施例中，当目标焦曲面Z(x, y)为高斯型曲面时，对应的焦曲面拍摄图像如附图4（a1）和（a2）所示；当目标焦曲面Z(x, y)为任意焦曲面I和任意焦曲面II时，对应的焦曲面拍摄图像如附图4（b1）、（b2）（c1）和（c2）所示；焦曲面深度值对照表如附图4（d）所示。

Claims (1)

1.一种基于摄像机阵列的任意焦曲面拍摄方法，其特征在于，该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程，所述视差图像像素偏移量的计算过程，首先，调节摄像机阵列每个摄像机位姿，在摄像机阵列中，摄像机数目为M×N，保证所有摄像机处于同一平面，相邻两个摄像机的间隔相同，都为ΔC，同时确定中心深度平面位置Z₀，摄像机阵列所处平面与中心深度平面平行，且两者距离为L，利用摄像机阵列标定方法，得到摄像机阵列参数，进而计算视差图像序列的标定矩阵H_m,n，其中，m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}；然后，利用摄像机阵列，拍摄三维场景，得到视差图像序列，视差图像序列分辨率为W_P×H_P，摄像机阵列的第m列、第n行摄像机得到的视差图像为I_m,n(x,y)，其中，x和y分别为三维场景视差图像像素坐标，利用标定矩阵H_m,n，计算得到对应的校正视差图像序列I'_m,n(x',y')，其中，x'和y'分别为校正视差图像像素坐标，I'_m,n(x',y')与I_m,n(x,y)满足I′_m,n(x′,y′)＝I_m,n(x,y)，其中

最后，焦曲面上存在点P，其距中心深度平面的距离为ΔZ，以摄像机阵列中心位置的摄像机为基准摄像机，则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量，ΔS满足ΔS＝(ΔS_X,ΔS_Y)，

其中，ΔS_X和ΔS_Y分别为ΔS在X轴和Y轴的分量，round(*)表示对*向最近整数四舍五入取整，W_S和H_S分别为视差图像序列分辨率W_P和H_P在中心深度平面位置对应的三维场景真实范围，所述任意焦曲面拍摄图像的合成过程，首先，确定目标焦曲面与中心深度平面的距离ΔZ(x,y)，目标焦曲面为任意曲面，其深度值表示为Z(x,y)，其中，x和y分别为目标焦曲面像素坐标，根据中心深度平面位置Z₀，计算得到目标焦曲面Z(x,y)与中心深度平面的距离ΔZ(x,y)＝Z(x,y)-Z₀；然后，计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量

其中，ΔS_m,n,X(x,y)和ΔS_m,n,Y(x,y)分别为ΔS_m,n(x,y)在X轴和Y轴的分量，m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号，round(*)表示对*向最近整数四舍五入取整，W_S和H_S分别为视差图像序列分辨率W_P和H_P在中心深度平面位置对应的三维场景真实范围，摄像机数目为M×N，相邻两个摄像机的间隔为ΔC，摄像机阵列所处平面与中心深度平面距离为L；最后，合成目标焦曲面拍摄图像O(x',y')，O(x',y')与I'_m,n(x',y')满足

其中，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}。

Images