CN108234989A - 一种基于棋盘格标定板的会聚式集成成像拍摄方法 - Google Patents

Abstract

本发明提出一种基于棋盘格标定板的会聚式集成成像拍摄方法。该方法根据显示参数搭建与单个透镜元下覆盖像素数目相同的摄像机组成阵列，对特定位置的棋盘格标定板进行拍摄，并计算出每个摄像机对应的单应性矩阵；利用获得的单应性矩阵，对摄像机阵列拍摄的视差图像序列进行透视变换，并通过矢量渲染算法合成适用于会聚式集成成像显示的微图像阵列。

Description

一种基于棋盘格标定板的会聚式集成成像拍摄方法

一、技术领域

本发明涉及集成成像技术，特别涉及一种基于棋盘格标定板的会聚式集成成像拍摄方法。

二、背景技术

集成成像是一种裸眼三维技术，包括拍摄和显示两部分：拍摄时，利用虚拟摄像机阵列或真实摄像机阵列获取三维场景的视差信息，并进行相应转换，生成微图像阵列；显示时，将微图像阵列通过前方的微透镜阵列进行成像，在观看空间中重建出三维场景的三维图像。传统的集成成像显示设备存在观看视角窄的难题，其在水平方向或垂直方向的三维观看视角仅有15°左右。

基于大透镜阵列的会聚式集成成像显示设备由二维显示屏、透镜阵列及光学扩散屏组成，如附图1所示。该显示设备一方面采用直径为传统微透镜阵列的透镜元10倍大小的透镜元组成阵列来扩大观看视角；另一方面采用会聚式集成成像显示方法，通过增大图像元节距，并使每个图像元通过对应透镜元的观看视角向中心会聚，以实现观看视角的增大，增大后的三维观看视角可达50°。对于此种显示设备，需要依据显示参数搭建合适的摄像机阵列进行拍摄。参照附图2，传统的会聚式集成成像拍摄方法采用与透镜元数目相同的摄像机进行平行式拍摄，当显示设备尺寸较大时，透镜元数目随之增多，相应地，摄像机的数量也急剧增加，导致拍摄过程较为复杂。此外，为适应会聚式集成成像显示，摄像机阵列中不同位置的摄像机具有不同的拍摄视角，难以进行实际拍摄。

三、发明内容

本发明旨在实现一种针对会聚式集成成像显示的摄像机阵列拍摄方法。

为达到上述目的，本发明提出一种基于棋盘格标定板的会聚式集成成像拍摄方法。所述方法具体包括拍摄参数的确定、视差图像的变换以及微图像阵列的合成三个过程，具体流程如附图3所示。拍摄参数的确定过程：根据会聚式集成成像显示过程的各项参数计算对应的拍摄参数。视差图像的变换过程：利用计算的拍摄参数以会聚式方式搭建摄像机阵列，对棋盘格标定板进行拍摄，计算得到每个摄像机的单应性矩阵，进而利用该矩阵，对拍摄获得的三维场景的视差图像序列进行透视变换，得到一系列可直接合成微图像阵列的视差图像。微图像阵列的合成过程：利用矢量渲染算法将生成的视差图像阵列进行交织，合成微图像阵列，用于会聚式集成成像显示。所述方法通过由摄像机阵列、三维场景和棋盘格标定板组成的系统来实现，如附图4所示。

所述拍摄参数的确定过程，首先，统计相关的会聚式集成成像显示参数。在显示过程中，透镜元的节距为p，焦距为f，图像元节距p'大于透镜元节距，且微图像阵列与透镜阵列的水平和垂直中轴线分别对齐，如附图5所示。以水平方向为例，设定的观看距离L处的公共视区宽度D满足：

其中，g为二维显示屏距透镜阵列主平面的距离。透镜阵列中的透镜元数目为U×V，单个透镜元下覆盖的像素个数为N×N。

然后，计算对应的拍摄参数。在拍摄过程中，摄像机阵列中的摄像机个数与单个透镜元下覆盖的像素数目相同，为N×N个。每个摄像机用来模拟观看公共视区内的对应视点，摄像机拍摄的图像为在该视点观看到的三维图像。因而，水平方向或垂直方向上的摄像机阵列总宽度与公共视区宽度D相等，相邻摄像机间距为s，其满足：

在会聚式集成成像拍摄中，理想情况下，所有摄像机的光轴会聚于一点，且有效拍摄区域完全重合，如附图6所示。结合会聚式集成成像显示原理，摄像机的有效拍摄区域与透镜阵列总体尺寸相等，有效拍摄区域的宽度W和高度R可表示为：

W＝p(U-1) (3)

R＝p(V-1) (4)

本发明利用棋盘格标定板实现所有摄像机有效拍摄区域的完全重合。所述棋盘格标定板角点个数为J×K，标定板中，边缘四个有效角点组成的矩形尺寸与摄像机有效拍摄区域的尺寸完全相同。棋盘格标定板的总体尺寸为W'×R'，其中W'表示标定板宽度，R'表示标定板高度，两者分别满足：

摄像机阵列与棋盘格标定板之间的距离L'和显示过程的观看距离L、三维场景距棋盘格标定板的距离l'与显示过程光学扩散屏和透镜阵列主平面的间距l具有相同的比例因子，表示为：

所述视差图像的变换过程，首先，利用获得的拍摄参数，搭建相应的摄像机阵列，单独对棋盘格标定板进行拍摄。棋盘格标定板与摄像机阵列所在平面平行，且两者中心对齐。阵列中所有摄像机的拍摄范围均包含棋盘格标定板的全部内容。摄像机和对应拍摄得到的棋盘格标定板图像均以(m，n)为索引进行表示。然后，在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，以顺时针方向获得边缘四个角点的像素坐标，并基于单应性变换原理，计算第(m，n)个摄像机对应的单应性矩阵H_m,n。最后，利用计算得到的单应性矩阵，对摄像机阵列拍摄的三维场景的视差图像进行透视变换，实现所有摄像机有效拍摄区域的完全重合。拍摄和变换后的视差图像如附图7所示。第m列、第n行摄像机拍摄到的视差图像为I_m,n(x,y)，对应变换后的视差图像为I'_m,n(x',y')，两者满足：

I'_m,n(x',y')＝I_m,n(x,y) (8)

其中，x和y分别为拍摄到的视差图像的像素坐标，x'和y'分别为变换后的视差图像的像素坐标。

所述微图像阵列的合成过程，利用矢量渲染算法将变换后的视差图像序列分布在各个图像元中，合成用于会聚式集成成像显示的微图像阵列。

根据本发明提出的一种基于棋盘格标定板的会聚式集成成像拍摄方法，通过利用棋盘格标定板，对摄像机拍摄的视差图像序列进行透视变换，实现了所有摄像机有效拍摄区域的完全重合，合成的微图像阵列可直接用于增大视角的会聚式集成成像显示。所述方法简单易行，在大尺寸会聚式集成成像显示设备上具有显著优势。

四、附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

附图1为基于大透镜阵列的会聚式集成成像显示设备结构示意图

附图2为常规会聚式集成成像拍摄方法示意图

附图3为本发明提出的一种基于棋盘格标定板的会聚式集成成像拍摄方法流程图

附图4为本发明提出的一种基于棋盘格标定板的会聚式集成成像拍摄方法的实现系统图

附图5为会聚式集成成像显示过程示意图

附图6为本发明中拍摄参数的计算过程示意图

附图7为(a)拍摄到的视差图像与(b)变换后的视差图像对比图

上述附图中的图示标号为：

1二维显示屏，2透镜阵列，3光学扩散屏，4会聚式微图像阵列，5摄像机，6摄像机上拍摄视角，7摄像机下拍摄视角，8三维场景，9摄像机拍摄视角的上会聚点，10摄像机拍摄视角的下会聚点，11棋盘格标定板，12摄像机阵列。

应该理解上述附图只是示意性的，并没有按比例绘制。

五、具体实施方式

下面详细描述本发明提出的一种基于棋盘格标定板的会聚式集成成像拍摄方法的一个典型实施例，所述实施例的示例在附图中示出。有必要在此指出的是，下面描述的实施例是示例性的，旨在对本发明做进一步的解释，而不能理解为对本发明保护范围的限制，该领域技术熟练人员根据前述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出的一种基于棋盘格标定板的会聚式集成成像拍摄方法具体包括拍摄参数的确定、视差图像的变换以及微图像阵列的合成三个过程，具体流程如附图3所示。所述方法通过由摄像机阵列、三维场景和棋盘格标定板组成的系统来实现，如附图4所示。

所述拍摄参数的确定过程，首先，统计相关的会聚式集成成像显示参数。在显示过程中，透镜元的节距为p＝13.7mm，焦距为f＝12.7mm，图像元节距p'＝13.8mm大于透镜元节距，且微图像阵列与透镜阵列的水平和垂直中轴线分别对齐，如附图5所示。以水平方向为例，设定的观看距离L＝2000.0mm处的公共视区宽度D满足：

其中，g为二维显示屏距透镜阵列主平面的距离。本实施例中，g＝13.8mm，计算得到的公共视区宽度D＝1996.5mm。透镜阵列中的透镜元数目为U×V＝103×58，单个透镜元下覆盖的像素个数为N×N＝37×37。

然后，计算对应的拍摄参数。在拍摄过程中，摄像机阵列中的摄像机个数与单个透镜元下覆盖的像素数目相同，为N×N＝37×37个。每个摄像机用来模拟观看公共视区内的对应视点，摄像机拍摄的图像为在该视点观看到的三维图像。因而，水平方向或垂直方向上的摄像机阵列总宽度与公共视区宽度D相等，相邻摄像机间距为s，其满足：

本实施例中，相邻摄像机间距s＝54.0mm。在会聚式集成成像拍摄中，理想情况下，所有摄像机的光轴会聚于一点，且有效拍摄区域完全重合，如附图6所示。结合会聚式集成成像显示原理，摄像机的有效拍摄区域与透镜阵列总体尺寸相等，有效拍摄区域的宽度W和高度R可表示为：

W＝p(U-1) (3)

R＝p(V-1) (4)

本实施例中，有效拍摄区域的宽度W＝1397.4mm，高度R＝780.9mm。本发明利用棋盘格标定板实现所有摄像机有效拍摄区域的完全重合。所述棋盘格标定板角点个数为J×K＝17×10，标定板中，边缘四个有效角点组成的矩形尺寸与摄像机有效拍摄区域的尺寸完全相同。棋盘格标定板的总体尺寸为W'×R'，其中W'表示标定板宽度，R'表示标定板高度，两者分别满足：

本实施例中，棋盘格标定板宽度W'＝1572.1mm，高度R'＝954.4mm。摄像机阵列与棋盘格标定板之间的距离L'和显示过程的观看距离L、三维场景距棋盘格标定板的距离l'与显示过程扩散屏和透镜阵列主平面的间距l具有相同的比例因子，表示为：

本实施例中，比例因子k＝0.84，L'＝1686.8mm，l'＝132.3mm。

所述视差图像的变换过程，首先，利用获得的拍摄参数，搭建相应的摄像机阵列，单独对棋盘格标定板进行拍摄。棋盘格标定板与摄像机阵列所在平面平行，且两者中心对齐。阵列中所有摄像机的拍摄范围均包含棋盘格标定板的全部内容。摄像机和对应拍摄得到的棋盘格标定板图像均以(m，n)为索引进行表示。然后，在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，以顺时针方向获得边缘四个角点的像素坐标，并基于单应性变换原理，计算第(m，n)个摄像机对应的单应性矩阵H_m,n。最后，利用计算得到的单应性矩阵，对摄像机阵列拍摄的三维场景的视差图像进行透视变换，实现所有摄像机有效拍摄区域的完全重合。拍摄和变换后的视差图像如附图7所示。第m列、第n行摄像机拍摄到的视差图像为I_m,n(x,y)，对应变换后的视差图像为I'_m,n(x',y')，两者满足：

I'_m,n(x',y')＝I_m,n(x,y) (8)

其中，x和y分别为拍摄到的视差图像的像素坐标，x'和y'分别为变换后视差图像的像素坐标。

所述微图像阵列的合成过程，利用矢量渲染算法将变换后的视差图像序列分布在各个图像元中，合成用于会聚式集成成像显示的微图像阵列。

Claims (4)

1.一种基于棋盘格标定板的会聚式集成成像拍摄方法，其特征在于，所述方法包括拍摄参数的确定、视差图像的变换以及微图像阵列的合成三个过程；在拍摄参数的确定过程中，根据会聚式集成成像显示过程的各项参数计算对应的拍摄参数；在视差图像的变换过程中，利用计算的拍摄参数以会聚式方式搭建摄像机阵列，对棋盘格标定板进行拍摄，计算得到每个摄像机的单应性矩阵，对拍摄获得的三维场景的视差图像序列进行透视变换，得到一系列可直接合成微图像阵列的视差图像；在微图像阵列的合成过程中，利用矢量渲染算法将生成的视差图像阵列进行交织，合成微图像阵列，用于会聚式集成成像显示。

2.根据权利要求1所述的一种基于棋盘格标定板的会聚式集成成像拍摄方法，其特征在于，所述拍摄参数的确定过程，首先，统计相关的会聚式集成成像显示参数，在显示过程中，透镜元的节距为p，焦距为f，图像元节距p'大于透镜元节距，且微图像阵列与透镜阵列的水平和垂直中轴线分别对齐，以水平方向为例，设定的观看距离L处的公共视区宽度D满足其中，g为二维显示屏距透镜阵列主平面的距离，透镜阵列中的透镜元数目U×V，单个透镜元下覆盖的像素个数为N×N；然后，计算对应的拍摄参数，在拍摄过程中，摄像机阵列中的摄像机个数与单个透镜元下覆盖的像素数目相同，为N×N个，水平方向或垂直方向上的摄像机阵列总宽度与公共视区宽度D相等，相邻摄像机间距为s，满足摄像机的有效拍摄区域与透镜阵列总体尺寸相等，有效拍摄区域的宽度W和高度R可表示为W＝p(U-1)，R＝p(V-1)，利用棋盘格标定板实现所有摄像机有效拍摄区域的完全重合，棋盘格标定板角点个数为J×K，标定板中，边缘四个有效角点组成的矩形尺寸与摄像机有效拍摄区域的尺寸完全相同，棋盘格标定板的总体尺寸为W'×R'，其中W'表示标定板宽度，R'表示标定板高度，两者分别满足摄像机阵列与棋盘格标定板之间的距离L'和显示过程的观看距离L、三维场景距棋盘格标定板的距离l'与显示过程扩散屏和透镜阵列主平面的间距l具有相同的比例因子，表示为

3.根据权利要求1所述的一种基于棋盘格标定板的会聚式集成成像拍摄方法，其特征在于，所述视差图像的变换过程，首先，利用获得的拍摄参数，搭建N×N个摄像机组成摄像机阵列，单独对棋盘格标定板进行拍摄，棋盘格标定板与摄像机阵列所在平面平行，且两者中心对齐，阵列中所有摄像机的拍摄范围均包含棋盘格标定板的全部内容，摄像机和对应拍摄得到的棋盘格标定板图像均以(m，n)为索引进行表示；然后，在每幅棋盘格标定板图像中以亚像素精度寻找角点位置，以顺时针方向获得边缘四个角点的像素坐标，并基于单应性变换原理，计算第(m，n)个摄像机对应的单应性矩阵H_m,n；最后，利用计算得到的单应性矩阵，对摄像机阵列拍摄的三维场景的视差图像进行透视变换，第m列、第n行摄像机拍摄到的视差图像为I_m,n(x,y)，对应变换后的视差图像为I'_m,n(x',y')，两者满足I'_m,n(x',y')＝I_m,n(x,y)，其中，x和y分别为拍摄到的视差图像的像素坐标，x'和y'分别为变换后视差图像的像素坐标。

4.根据权利要求1所述的一种基于棋盘格标定板的会聚式集成成像拍摄方法，其特征在于，所述微图像阵列的合成过程，利用矢量渲染算法将变换后的视差图像序列分布在各个图像元中，合成用于会聚式集成成像显示的微图像阵列。