CN113012053B - 一种集成成像桌面3d显示的360°视差图像校正方法 - Google Patents

Abstract

本发明提出一种集成成像桌面3D显示的360°视差图像校正方法。所述方法根据每个摄像机的相对旋转角度，以检测到的棋盘格标定板所有角点的质心为原点，在拍摄的标定板视差图像上建立新坐标系，并将角点坐标变换到新坐标系中，通过检测角点距坐标系原点的距离，对四个边缘角点进行精确筛选。之后，结合单应性变换理论，计算视差图像对应的单应性变换矩阵，对桌面3D场景的360°视差图像进行校正。所述方法具有旋转不变性，可实现任意旋转角度下边缘角点的准确定位和视差图像的正确校正，能够为集成成像桌面3D显示提供正确的数据来源。

Description

一种集成成像桌面3D显示的360°视差图像校正方法

一、技术领域

本发明涉及3D(三维)图像拍摄技术，特别涉及一种集成成像桌面3D显示的360°视差图像校正方法。

二、背景技术

集成成像桌面3D显示技术主要包括空分复用集成成像桌面3D显示和时分复用集成成像桌面3D显示两种。空分复用集成成像桌面3D显示技术通常采用光线调制模块对桌面显示屏发出的光线向桌面四周进行偏转，使得环绕在桌面3D显示系统周围的观看者都能看到3D图像。时分复用集成成像桌面3D显示技术利用单一方向偏转的光线调制模块将桌面显示屏发出的光线向桌面一侧偏转，通过光线调制模块的旋转，配合显示屏上微图像阵列的同步切换，实现360°环视3D观看效果。

对应地，在集成成像桌面3D信息获取过程中，需要环绕桌面3D场景拍摄360°范围的视差图像，并利用桌面棋盘格标定板对拍摄的视差图像进行校正，以克服摄像机投影平面与桌面所在平面不对齐带来的拍摄错误。然而，在360°环绕拍摄过程中，棋盘格标定板相对摄像机进行了不同角度的旋转，当旋转角度较大时，棋盘格标定板的角点检测结果排序混乱，无法与棋盘格标定板的相对旋转角度统一，导致边缘角点无法被准确定位，校正后的视差图像出现方向错误，无法为集成成像桌面3D显示提供正确的数据来源。此外，摄像机光轴相对标定板在垂直方向上的偏转也会对角点排序结果造成较大影响。

三、发明内容

为解决上述问题，本发明提出一种集成成像桌面3D显示的360°视差图像校正方法，所述方法根据每个摄像机的相对旋转角度，以检测到的棋盘格标定板所有角点的质心为原点，在拍摄的标定板视差图像上建立新坐标系，并将角点坐标变换到新坐标系中，通过检测角点距坐标系原点的距离，对四个边缘角点进行精确筛选。之后，结合单应性变换理论，计算视差图像对应的单应性变换矩阵，对桌面3D场景的视差图像进行校正，用于集成成像桌面3D显示。

所述方法包括以下六个步骤。

第一步，确定每个摄像机的相对旋转角度。

第二步，建立标定板视差图像的新坐标系。

第三步，变换标定板角点坐标到新坐标系。

第四步，筛选边缘角点、获取边缘角点坐标。

第五步，计算每幅视差图像的单应性变换矩阵。

第六步，校正桌面3D场景的360°视差图像。

所述第一步，确定每个摄像机的相对旋转角度步骤中，摄像机阵列围绕桌面3D场景呈360°环形排布。所述摄像机阵列包含的摄像机个数为M×N，其中M表示水平环向上360°范围内包含的摄像机个数，N表示径向方向上包含的摄像机个数。摄像机的索引表示为(m,n)。将第(0,n)个摄像机在水平环向上的角度设为起始0°，第(m,n)个摄像机相对第(0,n)个摄像机的旋转角度θ_m,n表示为：

所述第二步，建立标定板视差图像的新坐标系步骤中，首先确定标定板视差图像上新坐标系的原点位置。在第(m,n)幅标定板视差图像中，利用亚像素精度角点检测技术，自动识别I×J个棋盘格标定板角点，并确定角点P_i的坐标(x_i,y_i)，其中坐标以像素为单位，i表示所述角点的索引，i∈{1,2,3,…,I×J}。根据定位的角点坐标，计算所有角点的质心O_m,n坐标(x_o,y_o)，其满足：

然后，以质心O_m,n为原点，结合旋转角度θ_m,n，在第(m,n)幅标定板视差图像上建立新的直角坐标系x'-y'。所述新坐标系x'-y'相对原始坐标系x-y进行了平移和旋转变换，其中水平偏移量为x_o，垂直偏移量为y_o，旋转角度为θ_m,n，该角度代表了坐标系绕质心O_m,n旋转的角度，顺时针方向为正。

所述第三步，变换标定板角点坐标到新坐标系步骤中，变换后的角点坐标(x'_i,y'_i)与初始角点坐标(x_i,y_i)的关系满足：

所述第四步，筛选边缘角点、获取边缘角点坐标的步骤中，首先计算角点到质心O_m,n的距离d_i，表示为：

四个边缘角点A、B、C、D分别处于新建坐标系的不同象限中，根据变换后的x'坐标和y'坐标的正负值，确定四个边缘角点坐标(x'_A,y'_A)、(x'_B,y'_B)、(x'_C,y'_C)、(x'_D,y'_D)的范围，并对每个范围内所有角点到质心的距离进行排序，筛选出距离最大的角点，该角点即为对应的边缘角点，其坐标满足：

然后，将边缘角点A、B、C、D在坐标系x'-y'下的坐标变换回原始坐标系下，获得原始坐标系下对应的坐标(x_A,y_A)、(x_B,y_B)、(x_C,y_C)和(x_D,y_D)。

所述第五步，计算每幅视差图像的单应性变换矩阵步骤中，根据筛选的边缘角点坐标(x_A,y_A)、(x_B,y_B)、(x_C,y_C)和(x_D,y_D)，结合校正后视差图像的尺寸W×H，基于单应性变换原理，计算M×N幅视差图像对应的3×3单应性变换矩阵{H_m,n|m∈{1,2,3,…,M},n∈{1,2,3,…,N}}。

所述第六步，校正桌面3D场景的360°视差图像步骤中，利用相同位姿的摄像机阵列对桌面3D场景进行拍摄，第(m,n)幅桌面3D场景的视差图像表示为E_m,n(x',y')，利用单应性变换矩阵H_m,n计算得到对应的校正后视差图像E'_m,n(x,y)，表示为：

E'_m,n(x',y')＝E_m,n(x,y) (7)

根据本发明提出的一种集成成像桌面3D显示的360°视差图像校正方法，通过在标定板视差图像上建立新的坐标系，对边缘角点进行精确筛选，克服了校正后视差图像错误的问题，能够为集成成像桌面3D显示提供正确的数据来源。所述方法具有旋转不变性，能够实现任意旋转角度下边缘角点的准确定位和视差图像的正确校正。

四、附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

附图1为根据本申请一实施例的一种集成成像桌面3D显示的360°视差图像校正方法。

附图2A为根据本申请一实施例的摄像机阵列拍摄桌面3D场景的示意图。

附图2B为根据图2A所示的摄像机相对旋转角度的示意图。

附图3为根据本申请一实施例的(a)第(0,2)幅标定板视差图像的新建坐标系和(b)第(46,2)幅标定板视差图像的新建坐标系的示意图。

附图4为(a)根据本申请一实施例的第(46,2)幅校正后的视差图像与(b)传统未经角点筛选生成的第(46,2)幅校正后的视差图像的对比图。

上述附图中的图示标号为：

1摄像机阵列，2桌面3D场景，3摄像机，4摄像机阵列轨迹，5第(0,2)幅标定板视差图像，6第(46,2)幅标定板视差图像。

应该理解上述附图只是示意性的，并没有按比例绘制。

五、具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的可选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本文所使用的方位术语“垂直”、“水平”、“边缘”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式也并非对于本申请的限制。

下面将结合本申请公开的实施例及附图对本申请所提出的一种集成成像桌面3D显示的360°视差图像校正方法进行详细的描述。

附图1示出了根据本申请一实施例的一种集成成像桌面3D显示的360°视差图像校正方法，该方法包括以下步骤。

步骤S100，确定每个摄像机的相对旋转角度。

步骤S200，建立标定板视差图像的新坐标系。

步骤S300，变换标定板角点坐标到新坐标系。

步骤S400，筛选边缘角点、获取边缘角点坐标。

步骤S500，计算每幅视差图像的单应性变换矩阵。

步骤S600，校正桌面3D场景的360°视差图像。

所述第一步，确定每个摄像机的相对旋转角度步骤中，摄像机阵列1围绕桌面3D场景2呈360°环形排布，如附图2所示。在一个实施例中，桌面3D场景2为一个骰子，摄像机阵列1包含的摄像机个数M×N可以为300×8，其中300表示水平环向上360°范围内包含的摄像机个数，8表示径向方向上包含的摄像机个数。摄像机的索引表示为(m,n)。如附图2B所示，在一个实施例中，将第(0,n)个摄像机3在水平环向上的角度设为起始0°，第(m,n)个摄像机3相对第(0,n)个摄像机3的旋转角度θ_m,n表示为：

在一个实施例中，第(46,2)个摄像机相对第(0,2)个摄像机的旋转角度θ_46,2为55.2°。

所述第二步，建立标定板视差图像的新坐标系步骤中，首先确定标定板视差图像上新坐标系的原点位置。在一个实施例中，对于第(46,2)幅标定板视差图像，利用亚像素精度角点检测技术，自动识别I×J＝9×9个棋盘格标定板角点，并确定角点P_i的坐标(x_i,y_i)，其中坐标以像素为单位，i表示所述角点的索引，i∈{1,2,3,…,81}。在一个实施例中，第(46,2)幅标定板视差图像上，第3个角点P₃的坐标(x₃,y₃)为(161,567)。根据定位的角点坐标，计算所有角点的质心O_m,n坐标(x_o,y_o)，其满足：

在一个实施例中，第(46,2)幅标定板视差图像中，所有角点的质心O_46,2坐标(x_o,y_o)为(501,540)。然后，以质心O_m,n为原点，结合旋转角度θ_m,n，在第(m,n)幅标定板视差图像上建立新的直角坐标系x'-y'。附图3示出了根据本申请一实施例的(a)第(0,2)幅标定板视差图像5的新建坐标系和(b)第(46,2)幅标定板视差图像6的新建坐标系的示意图。所述新坐标系x'-y'相对原始坐标系x-y进行了平移和旋转变换。在其中一个实施例中，第(46,2)幅标定板视差图像6内，新坐标系的水平偏移量x_o为501个像素，垂直偏移量y_o为540个像素，旋转角度θ_46,2为55.2°，该角度代表了坐标系绕质心O_46,2旋转的角度，顺时针方向为正。

所述第三步，变换标定板角点坐标到新坐标系步骤中，变换后的角点坐标(x'_i,y'_i)与初始角点坐标(x_i,y_i)的关系满足：

在一个实施例中，第(46,2)幅标定板视差图像6内，第3个角点P₃变换后的坐标(x'₃,y'₃)为(-172,294)。

所述第四步，筛选边缘角点、获取边缘角点坐标的步骤中，首先计算角点到质心O_m,n的距离d_i，表示为：

在一个实施例中，第(46,2)幅标定板视差图像6内，角点P₃到质心O_46,2的距离d₃为340.5个像素。四个边缘角点A、B、C、D分别处于新建坐标系的不同象限中，根据变换后的x'坐标和y'坐标的正负值，确定四个边缘角点坐标(x'_A,y'_A)、(x'_B,y'_B)、(x'_C,y'_C)、(x'_D,y'_D)的范围，并对每个范围内所有角点到质心的距离进行排序，筛选出距离最大的角点，该角点即为对应的边缘角点，其坐标满足：

在一个实施例中，第(46,2)幅标定板视差图像6内，筛选的四个边缘角点A、B、C、D的索引分别为i^a＝73，i^b＝81，i^c＝9，i^d＝1，角点A的坐标为(x'_A,y'_A)＝(-187,-210)，角点B的坐标为(x'_B,y'_B)＝(284,-328)，角点C的坐标为(x'_C,y'_C)＝(231,268)，角点D的坐标为(x'_D,y'_D)＝(-285,301)。然后，将边缘角点A、B、C、D在在坐标系x'-y'下的坐标变换回原始坐标系下，获得原始坐标系下各自对应的坐标。在一个实施例中，第(46,2)幅标定板视差图像6内，(x_A,y_A)＝(567,267)、(x_B,y_B)＝(932,587)、(x_C,y_C)＝(412,883)和(x_D,y_D)＝(91,478)。

所述第五步，计算每幅视差图像的单应性变换矩阵步骤中，根据筛选的边缘角点坐标，结合校正后视差图像的尺寸W×H＝1000×1000，基于单应性变换原理，计算M×N＝300×8幅视差图像对应的3×3单应性变换矩阵{H_m,n|m∈{1,2,3,…,300},n∈{1,2,3,…,8}}。以第(46,2)幅视差图像为例，其对应的3×3单应性变换矩阵H_46,2计算为

所述第六步，校正桌面3D场景的360°视差图像步骤中，利用相同位姿的摄像机阵列对桌面3D场景进行拍摄，第(m,n)幅桌面3D场景的视差图像表示为E_m,n(x',y')，利用单应性变换矩阵H_m,n计算得到对应的校正后视差图像E'_m,n(x,y)，表示为：

E'_m,n(x',y')＝E_m,n(x,y) (7)

附图4示出了(a)根据本申请一实施例的第(46,2)幅校正后的视差图像与(b)传统未经角点筛选生成的第(46,2)幅校正后的视差图像的对比图。根据本申请一实施例校正的视差图像方向正确，能够为集成成像桌面3D显示提供正确的数据来源。

Claims (5)

1.一种集成成像桌面3D显示的360°视差图像校正方法，其特征在于，所述方法根据每个摄像机的相对旋转角度，以检测到的棋盘格标定板所有角点的质心为原点，在拍摄的标定板视差图像上建立新坐标系，并将角点坐标变换到新坐标系中，通过检测角点距坐标系原点的距离，对四个边缘角点进行精确筛选，之后对桌面3D场景的360°视差图像进行校正；所述方法包括以下六个步骤：第一步，确定每个摄像机的相对旋转角度；第二步，建立标定板视差图像的新坐标系；第三步，变换标定板角点坐标到新坐标系；第四步，筛选边缘角点，获取边缘角点坐标；第五步，计算每幅视差图像的单应性变换矩阵；第六步，校正桌面3D场景的360°视差图像。

2.根据权利要求1所述的一种集成成像桌面3D显示的360°视差图像校正方法，其特征在于，所述第一步，确定每个摄像机的相对旋转角度步骤中，摄像机阵列围绕桌面3D场景呈360°环形排布，所述摄像机阵列包含的摄像机个数为M×N，其中M表示水平环向上360°范围内包含的摄像机个数，N表示径向方向上包含的摄像机个数，摄像机的索引表示为(m,n)；将第(0,n)个摄像机在水平环向上的角度设为起始0°，第(m,n)个摄像机相对第(0,n)个摄像机的旋转角度θ_m,n表示为

3.根据权利要求1所述的一种集成成像桌面3D显示的360°视差图像校正方法，其特征在于，所述第二步，建立标定板视差图像的新坐标系步骤中，在第(m,n)幅标定板视差图像内，自动识别I×J个棋盘格标定板角点，并确定角点P_i的坐标(x_i,y_i)，其中坐标以像素为单位，i表示所述角点的索引，i∈{1,2,3,…,I×J}，根据定位的角点坐标，计算所有角点的质心O_m,n坐标(x_o,y_o)，其满足

然后以质心O_m,n为原点，结合摄像机的相对旋转角度θ_m,n，在第(m,n)幅标定板视差图像上建立新的直角坐标系x'-y'，所述新坐标系x'-y'相对原始坐标系x-y进行了平移和旋转变换，其中水平偏移量为x_o，垂直偏移量为y_o，旋转角度为θ_m,n，该角度代表了坐标系绕质心O_m,n旋转的角度，顺时针方向为正。

4.根据权利要求1所述的一种集成成像桌面3D显示的360°视差图像校正方法，其特征在于，所述第三步，变换标定板角点坐标到新坐标系步骤中，变换后的角点坐标(x'_i,y'_i)与原始坐标系的角点坐标(x_i,y_i)的关系满足

其中θ_m,n代表第(m,n)个摄像机相对第(0,n)个摄像机的旋转角度，x_o和y_o分别代表了新坐标系相对原始坐标系在水平和垂直方向上的像素偏移量。

5.根据权利要求1所述的一种集成成像桌面3D显示的360°视差图像校正方法，其特征在于，所述第四步，筛选边缘角点，获取边缘角点坐标的步骤中，首先计算角点(x'_i,y'_i)到质心O_m,n的距离d_i，表示为：

四个边缘角点A、B、C、D分别处于新建坐标系的不同象限中，根据变换后的x'坐标和y'坐标的正负值，确定四个边缘角点坐标(x'_A,y'_A)、(x'_B,y'_B)、(x'_C,y'_C)、(x'_D,y'_D)的范围，并对每个范围内所有角点到质心的距离进行排序，筛选出距离最大的角点，该角点即为对应的边缘角点，其坐标满足

然后将边缘角点A、B、C、D在新坐标系x'-y'下的坐标变换回原始坐标系下，获得原始坐标系下对应的坐标(x_A,y_A)、(x_B,y_B)、(x_C,y_C)和(x_D,y_D)。

Images