CN107610181B - 一种集成成像三维重聚焦再现图像黑边的消除方法 - Google Patents

Abstract

本发明提出一种集成成像三维重聚焦再现图像黑边的消除方法，其包括摄像机阵列标定参数的计算、拍摄视差图像的校正以及三维场景的重聚焦再现三个过程。该方法通过计算目标聚焦平面对应的摄像机阵列标定参数，构建视差图像校正算法，得到对应目标聚焦平面的无黑边的校正视差图像，进而实现了高质量的集成成像三维重聚焦再现，同时该方法具备标定简单及易于实现的优点。

Description

一种集成成像三维重聚焦再现图像黑边的消除方法

技术领域

本发明涉及集成成像技术，特别涉及一种集成成像三维重聚焦再现图像黑边的消除方法。

背景技术

集成成像是一种裸眼三维技术，分为记录和再现两个过程。记录过程中，采用摄像机阵列对三维场景进行拍摄，记录场景的视差信息，并通过摄像机标定确定记录中心深度平面位置。再现过程中，将获取的视差信息合成微图像阵列，通过前方对应的微透镜阵列成像，在观看空间重建出三维场景。再现中心深度平面是微图像阵列经过对应微透镜阵列在成像空间聚焦的平面，其由记录中心深度平面确定，并与记录中心深度平面重合。

传统的集成成像三维重聚焦再现通过对校正的视差图像进行调节，改变再现中心深度平面位置，实现对应深度三维物体的聚焦再现。但是，这种方案需要对视差图像进行平移裁剪，导致调节后的视差图像出现黑边区域。随着目标聚焦平面与原始聚焦平面间距的不断增大，黑边问题越发严重，从而极大地影响了三维场景的重建效果。

发明内容

本发明旨在实现高质量的集成成像三维重聚焦再现。

为达到上述目的，本发明提出一种集成成像三维重聚焦再现图像黑边的消除方法。所述方法根据目标聚焦平面深度信息，结合摄像机阵列标定原理，计算目标聚焦平面对应的摄像机阵列标定参数。利用获得的标定参数，对集成成像拍摄得到的视差图像进行校正，实现相应深度的无黑边的集成成像聚焦再现。所述方法可由集成成像摄像机阵列、三维场景和棋盘格标定板实现。

本发明所提方法具体包括摄像机阵列标定参数的计算、拍摄视差图像的校正以及三维场景的重聚焦再现三个过程。摄像机阵列标定参数的计算过程：对拍摄得到的聚焦深度为Z₀的棋盘格标定板图像进行检测，获取棋盘格标定板角点的像素坐标，同时根据目标聚焦平面与初始聚焦平面的位置关系，计算每个摄像机对应的偏移量，进而计算出对应的标定参数，其中标定参数指单应性变换矩阵；拍摄视差图像的校正过程：利用计算得到的摄像机阵列标定参数，对拍摄获得的聚焦深度为Z₀的视差图像序列进行单应性变换，得到聚焦深度为Z₁的校正视差图像序列；三维场景的重聚焦再现过程：利用调节后的校正视差图像序列，合成无黑边的聚焦深度为Z₁的微图像阵列，进行对应深度的三维聚焦再现。

所述摄像机阵列标定参数的计算过程，首先，获得棋盘格标定板角点的像素坐标。摄像机阵列中，摄像机数目为M×N，相邻摄像机以间距ΔD进行排列。摄像机阵列对位于记录中心深度平面位置的棋盘格标定板进行拍摄，获得对应的M×N幅分辨率为S_p×R_p的标定视差图像。以亚像素精度寻找每幅标定视差图像上的棋盘格角点位置，在顺时针方向上获得边缘四个角点的像素坐标(x_t,y_t)_m,n，t＝1,2,3,4，其中，m和n分别为摄像机阵列中第m列、第n行摄像机对应的索引编号，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}。然后，根据目标聚焦平面与初始聚焦平面的位置关系以及每个摄像机在摄像机阵列中的相对位置，计算每个摄像机对应的像素偏移量。在集成成像再现过程中，以微透镜阵列中心为原点，设定指向观看者一侧的法线方向为z轴正方向，初始聚焦平面即初始中心深度平面位于Z₀处，目标聚焦平面处于Z₁位置。拍摄过程摄像机阵列投影中心所在平面与记录中心深度平面的距离为D。则第m列、第n行摄像机对应的像素偏移量Δs_m,n满足：

Δs_m,n＝(Δs_x,Δs_y)_m,n (1)

其中，Δs_x、Δs_y分别表示像素偏移量Δs_m,n在x、y轴的分量，round(*)表示四舍五入到最近的整数，S_o和R_o分别为视差图像分辨率S_p和R_p在记录中心深度平面位置对应的三维场景真实范围。最后，根据计算得到的像素偏移量Δs_m,n，计算对应的偏移校正视差图像的顶点坐标，之后依据单应性变换原理，计算每个摄像机对应的单应性变换矩阵H_m,n。假设原始校正视差图像的顶点坐标为(A_t,B_t)_m,n，则偏移校正视差图像的顶点坐标(A'_t,B'_t)_m,n满足：

其中，(A₁,B₁)_m,n＝(0,0)，(A₂,B₂)_m,n＝(S_p-1,0)，(A₃,B₃)_m,n＝(S_p-1,R_p-1)，(A₄,B₄)_m,n＝(0,R_p-1)。单应性变换矩阵H_m,n满足以下约束方程：

其中，s_m,n表示为得到齐次坐标的尺度比例因子。根据公式(5)对应的4组坐标值约束方程，即可求得目标聚焦平面对应的索引为(m,n)的摄像机单应性变换矩阵H_m,n。

所述拍摄视差图像的校正过程，利用单应性变换矩阵H_m,n计算得到聚焦深度为Z₁的校正视差图像。第m列、第n行摄像机拍摄得到的原始视差图像为I_m,n(x,y)，对应调节后的校正视差图像为I'_m,n(x',y')，两者满足：

I'_{m, n}(x', y') ＝ I_{m, n}(x, y) (6)

所述三维场景的重聚焦再现过程，利用M×N幅调节后的校正视差图像合成聚焦深度为Z₁的微图像阵列，进而实现对应深度的三维聚焦再现。所述微图像阵列为U(x”,y”)，分辨率为S_e×R_e，则U(x”,y”)与调节后的校正视差图像I'_m,n(x',y')满足：

U(x″,y″)＝I′_m,n(x′,y′) (8)

其中：

m＝M-1-mod(x″,M) (11)

n＝N-1-mod(y″,N) (12)

其中，x”＝{0,1,2,...,S_e-1}，y”＝{0,1,2,...,R_e-1}。将得到的聚焦深度为Z₁的微图像阵列通过微透镜阵列，即可获得在Z₁处聚焦的无黑边的三维再现像。

当聚焦位置发生变化时，重复计算公式(1)-(12)，即可获得在对应深度处聚焦的无黑边的三维再现像。

根据本发明提出的一种集成成像三维重聚焦再现图像黑边的消除方法，通过计算目标聚焦平面对应的摄像机阵列标定参数，构建视差图像校正算法，得到对应目标聚焦平面的无黑边的校正视差图像，进而实现了高质量的集成成像三维重聚焦再现。同时所述方法具备标定简单及易于实现的优点，可对大深度范围的三维场景进行高质量地重聚焦再现。

附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

图1为本发明提出的一种集成成像三维重聚焦再现图像黑边的消除方法的流程图

图2为摄像机对应的像素偏移量计算过程示意图(a)再现过程(b)记录过程

图3为第m列、第n行摄像机对应的单应性变换矩阵计算过程示意图

图4为(a)本发明所提方法调节后的校正视差图像与(b)传统重聚焦方法调节后的校正视差图像对比图

图5为(a)本发明所提方法生成的不同聚焦深度的微图像阵列与(b)传统重聚焦方法生成的不同聚焦深度的微图像阵列对比图

图6为(a)本发明所提方法在不同深度处聚焦的再现三维图像与(b)传统重聚焦方法在不同深度处聚焦的再现三维图像对比图

上述附图中的图示标号为：

1微图像阵列，2微透镜阵列，3初始聚焦平面，4目标聚焦平面，5重建三维场景，6记录中心深度平面，7三维场景，8摄像机投影中心，9标定视差图像，10原始视差图像，11调节后的校正视差图像。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细描述本发明提出的一种集成成像三维重聚焦再现图像黑边的消除方法的一个典型实施例，所述实施例的示例在附图中示出。有必要在此指出的是，下面描述的实施例是示例性的，旨在对本发明做进一步的解释，而不能理解为对本发明保护范围的限制，该领域技术熟练人员根据前述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出的一种集成成像三维重聚焦再现图像黑边的消除方法可由集成成像摄像机阵列、三维场景和棋盘格标定板实现，具体包括摄像机阵列标定参数的计算、拍摄视差图像的校正以及三维场景的重聚焦再现三个过程。

参照附图1，本发明的具体流程如下：

所述摄像机阵列标定参数的计算过程，首先，获得棋盘格标定板角点的像素坐标。摄像机阵列中，摄像机数目为M×N＝11×11，相邻摄像机以间距ΔD＝100mm进行排列。摄像机阵列对位于记录中心深度平面位置的棋盘格标定板进行拍摄，获得对应的M×N＝11×11幅分辨率为S_p×R_p＝1280×720的标定视差图像。以亚像素精度寻找每幅标定视差图像上的棋盘格角点位置，在顺时针方向上获得边缘四个角点的像素坐标(x_t,y_t)_m,n，t＝1,2,3,4，其中，m和n分别为摄像机阵列中第m列、第n行摄像机对应的索引编号，m∈{1,2,3,…,11}，n∈{1,2,3,…,11}。然后，如附图2所示，根据目标聚焦平面与初始聚焦平面的位置关系以及每个摄像机在摄像机阵列中的相对位置，计算每个摄像机对应的像素偏移量。在集成成像再现过程中，如附图2(a)所示，以微透镜阵列中心为原点，设定指向观看者一侧的法线方向为z轴正方向，初始聚焦平面，即初始中心深度平面位于Z₀＝0mm处，目标聚焦平面处于Z₁＝-330mm位置。拍摄过程摄像机阵列投影中心所在平面与记录中心深度平面的距离为D＝3000mm。如附图2(b)所示，则第m列、第n行摄像机对应的像素偏移量Δs_m,n满足：

Δs_m,n＝(Δs_x,Δs_y)_m,n (1)

其中，Δs_x、Δs_y分别表示像素偏移量Δs_m,n在x、y轴的分量，round(*)表示四舍五入到最近的整数。本实施例中，以第9列、第4行摄像机为例，其像素偏移量Δs_9,4＝(Δs_x,Δs_y)＝(-29,19)。S_o和R_o分别为视差图像分辨率S_p和R_p在记录中心深度平面位置对应的三维场景真实范围，本实施例中，S_o＝1647mm和R_o＝941mm。最后，根据计算得到的像素偏移量Δs_m,_n，计算对应的偏移校正视差图像的顶点坐标，之后依据单应性变换原理，计算每个摄像机对应的单应性变换矩阵H_m,n，如附图3所示。假设原始校正视差图像的顶点坐标为(A_t,B_t)_m,n，则偏移校正视差图像的顶点坐标(A'_t,B'_t)_m,n满足：

其中，(A₁,B₁)_m,n＝(0,0)，(A₂,B₂)_m,n＝(1279,0)，(A₃,B₃)_m,n＝(1279,719)，(A₄,B₄)_m,n＝(0,719)。本实施例中，以第9列、第4行摄像机为例，偏移校正视差图像的顶点坐标(A'₁,B'₁)_9,4 ＝ (-29, 19)，(A'₂, B'₂)_{9, 4} ＝ (1250, 19)，(A'₃, B'₃)_{9, 4} ＝ (1250,738)，(A'₄, B'₄)_{9, 4} ＝ (-29, 738)。单应性变换矩阵H_m,n满足以下约束方程：

其中，s_m,n表示为得到齐次坐标的尺度比例因子。根据公式(5)对应的4组坐标值约束方程，即可求得目标聚焦平面对应的索引为(m,n)的摄像机单应性变换矩阵H_m,n。本实施例中，以第9列、第4行摄像机为例，单应性变换矩阵

所述拍摄视差图像的校正过程，利用单应性变换矩阵H_m,n计算得到聚焦深度为Z₁＝-330mm的校正视差图像，如附图4所示。第m列、第n行摄像机拍摄得到的原始视差图像为I_m,n(x,y)，对应调节后的校正视差图像为I'_m,n(x',y')，两者满足：

I'_m,n(x',y')＝I_m,n(x,y) (6)

所述三维场景的重聚焦再现过程，利用M×N＝11×11幅调节后的校正视差图像合成聚焦深度为Z₁＝-330mm的微图像阵列，进而实现对应深度的三维聚焦再现。所述微图像阵列为U(x”,y”)，分辨率为S_e×R_e＝1280×720，则U(x”,y”)与调节后的校正视差图像I'_m,n(x',y')满足：

U(x″,y″)＝I′_m,n(x′,y′) (8)

其中：

m＝M-1-mod(x″,M) (11)

n＝N-1-mod(y″,N) (12)

x”＝{0,1,2,...,1279}，y”＝{0,1,2,...,719}。将得到的聚焦深度为Z₁＝-330mm的微图像阵列通过微透镜阵列，即可获得在Z₁＝-330mm处聚焦的无黑边的三维再现像。本实施例中，合成的不同聚焦深度的微图像阵列如附图5所示。

当聚焦位置发生变化时，重复计算公式(1)-(12)，即可获得在对应深度处聚焦的无黑边的三维再现像。本实施例中，采用计算机模拟微透镜阵列进行集成成像三维再现，得到的在不同深度处聚焦的再现三维图像如附图6所示。

Claims (1)

1.一种集成成像三维重聚焦再现图像黑边的消除方法，其特征在于，所述方法包括摄像机阵列标定参数的计算、拍摄视差图像的校正以及三维场景的重聚焦再现三个过程，所述方法可由集成成像摄像机阵列、三维场景和棋盘格标定板实现；所述摄像机阵列标定参数的计算过程中，摄像机阵列的摄像机数目为M×N，相邻摄像机以间距ΔD进行排列，摄像机阵列对位于记录中心深度平面位置的棋盘格标定板进行拍摄，获得对应的M×N幅分辨率为S_p×R_p的标定视差图像，以亚像素精度寻找每幅标定视差图像上的棋盘格角点位置，在顺时针方向上获得边缘四个角点的像素坐标(x_t,y_t)_m,n，t＝1,2,3,4，其中，m和n分别为摄像机阵列中第m列、第n行摄像机对应的索引编号，m∈{1,2,3,…,M}，n∈{1,2,3,…,N}，然后，在集成成像再现过程中，以微透镜阵列中心为原点，设定指向观看者一侧的法线方向为z轴正方向，初始聚焦平面即初始中心深度平面位于Z₀处，目标聚焦平面处于Z₁位置，拍摄过程摄像机阵列投影中心所在平面与记录中心深度平面的距离为D，计算每个摄像机对应的像素偏移量，第m列、第n行摄像机对应的像素偏移量Δs_m,n满足Δs_m,n＝(Δs_x,Δs_y)_m,n，

其中，Δs_x、Δs_y分别表示像素偏移量Δs_m,n在x、y轴的分量，round(*)表示四舍五入到最近的整数，S_o和R_o分别为视差图像分辨率S_p和R_p在记录中心深度平面位置对应的三维场景真实范围，最后，假设原始校正视差图像的顶点坐标为(A_t,B_t)_m,n，偏移校正视差图像的顶点坐标(A'_t,B'_t)_m,n满足：

其中，(A₁,B₁)_m,n＝(0,0)，(A₂,B₂)_m,n＝(S_p-1,0)，(A₃,B₃)_m,n＝(S_p-1,R_p-1)，(A₄,B₄)_m,n＝(0,R_p-1)，计算每个摄像机对应的单应性变换矩阵H_m,n，单应性变换矩阵H_m,n满足以下约束方程

其中，s_m,n表示为得到齐次坐标的尺度比例因子，根据前述4组坐标值约束方程，获得目标聚焦平面对应的索引为(m,n)的摄像机单应性变换矩阵H_m,n；所述拍摄视差图像的校正过程中，设第m列、第n行摄像机拍摄得到的原始视差图像为I_m,n(x,y)，其中，x和y分别为原始视差图像像素坐标，对应调节后的校正视差图像为I'_m,n(x',y')，其中，x'和y'分别为调节后的校正视差图像像素坐标，两者满足I'_m,n(x',y')＝I_m,n(x,y)，

所述三维场景的重聚焦再现过程中，利用聚焦深度为Z₁的校正视差图像I'_m,n(x',y')合成对应聚焦深度的微图像阵列U(x”,y”)，其中，x”和y”分别为微图像阵列的像素坐标，微图像阵列分辨率为S_e×R_e，微图像阵列U(x”,y”)与调节后的校正视差图像I'_m,n(x',y')满足U(x″,y″)＝I′_m,n(x′,y′)，

m＝M-1-mod(x″,M)，n＝N-1-mod(y″,N)，其中，x”＝{0,1,2,...,S_e-1}，y”＝{0,1,2,...,R_e-1}，将得到的聚焦深度为Z₁的微图像阵列通过微透镜阵列获得在Z₁处聚焦的无黑边的三维再现像。

Images