CN108288291A

CN108288291A - 基于单点标定物的多相机标定

Info

Publication number: CN108288291A
Application number: CN201711398803.7A
Authority: CN
Inventors: 黄永鑫; 张莹
Original assignee: BEIJING LIGHT TECHNOLOGY Co Ltd
Current assignee: BEIJING LIGHT TECHNOLOGY Co Ltd
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2018-07-17

Abstract

本发明涉及一种基于单点标定物的多相机内外参标定方法及标定组件。上述标定方法包括：使用固定在场景中不同位置的多个红外相机对自由移动的单个标定点以及用于指示世界坐标系的L型刚体的像点进行采集，并上传到上位机中利用像点数据实现对多相机内外参的标定。首先根据针孔及畸变相机模型、像点对间的对极几何约束关系，对具有共视点的两个相机进行两两标定。该方法所用的标定工具制作简单，且不需要限定标定物在所有相机的公共视场内运动，可操作性强；利用共视场关系确定的多相机级联路径，能够使更多的像点参与运算，算法鲁棒性更好；通过多步优化使得标定参数可达到亚像素级别的重投影误差，完全满足高精度需求。

Description

基于单点标定物的多相机标定

技术领域

本发明涉及一种计算机视觉领域，具体是一种基于单点标定物的多相机内外参标定方法及标定组件。

背景技术

相机标定技术利用标定物体的二维图像恢复出相机内外参数，进而重建出场景的三维信息，是计算机视觉领域的关键步骤，在工业、航天、文化创意等领域具有广泛应用。

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型，这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像机标定。

无论是在图像测量或者机器视觉应用中，摄像机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此，做好摄像机标定是做好后续工作的前提，是提高标定精度是科研工作的重点所在。其标定的目的就是为了求解相机内参、外参、畸变参数。

近年来，随着虚拟现实技术和产业的蓬勃发展，单个相机的视角无法满足人们对大范围三维空间的期望，多相机组合及标定逐渐成为新的研究热点。然而，现有的多相机标定方法，往往要求标定物同时在所有相机的公共视场内运动，增加了实际操作的难度，且标定精度较低，因此，如何通过方便快捷的操作，同时获取多相机的高精度的内外参数，是目前急需解决的问题。

发明内容

本发明目的就在于为解决上述问题而提供一种基于单点标定物的多相机内外参标定方法及标定组件。

本发明通过以下技术方案来实现上述目的：

一种基于单点标定物的多相机内外参标定方法，主要包括：该方法使用固定在场景中不同位置的多个红外相机对自由移动的单个红外反光点以及用于指示世界坐标系的已知边长的L型刚体的像点进行采集，再利用像点数据实现对多相机内外参的标定，具体而言：

S10：采集标定数据，包括利用安装有单个标定点的标定杆和边长已知的L型直角刚体采集标定数据。；

S20：两两标定，包括根据针孔及畸变相机模型、像点对间的对极几何约束关系，对具有共视点的两个相机进行两两标定，并使用L-M算法优化内外参数；

S30：统一参考相机坐标系下多相机内外参标定，包括根据所有相机的共视场关系建立多相机系统的无向图，确定任意相机相对于参考相机的最优级联路径，结合两两标定参数转化求出统一的参考相机坐标系下所有相机的内外参，并使用BA捆绑调整优化；

S40：指定世界坐标系下多相机内外参标定，包括利用Kneip PnP算法求出以已知边长的L型刚体为指定统一世界坐标系下所有相机的内外参数。

本发明的有益效果在于：该方法所用标定工具制作简单，且不需要限定标定物在所有相机的公共视场内运动，可操作性强；利用共视场关系确定的多相机级联路径，能够使更多的像点参与运算，算法鲁棒性更好；通过多步优化使得标定参数可达到亚像素级别的重投影误差，完全满足高精度需求。

附图说明

图1是本发明所述一种基于单点标定物的多相机内外参标定组件中已知边长的L型直角刚体结构示意图；

图2是本发明所述一种基于单点标定物的多相机内外参标定方法的标定场景示意图；

图3是本发明所述一种基于单点标定物的多相机内外参标定方法的流程图；

图4是本发明所述一种基于单点标定物的多相机内外参标定方法的多相机系统无向图。

具体实施方式

以下将对本发明的基于单点标定物的多相机内外参标定方法及标定组件作进一步的详细描述。

下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了表述清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用于方便、清晰地辅助说明本发明实施例的目的。

本实施例中的基于单点标定物的多相机内外参标定方法，主要包括：使用固定在场景中不同位置的多个红外相机对自由移动的单个红外反光点以及用于指示世界坐标系的已知边长的L型刚体的像点进行采集，再利用像点数据实现对多相机内外参的标定。

如图1所示，本发明中采用的标定组件包括可自由移动的单个红外反光点(图1左侧)以及L型刚体(图1右侧)。单个红外反光点包括杆部以及在杆部一端设置的红外反光点，可以通过杆部的平动和/或摇摆来实现杆部端部的红外反光点的自由移动。L型刚体由两个相互垂直交汇的刚体杆部构成，L型刚体由横纵两条不等长的线段以垂直关系固定而成，且两条线段长度已知。L型刚体上固定有三个所述标定点，分别位于两条线段外端点及两条刚体交叉点。自由移动的定位点能够反射红外光，或者所述定位体能够发射红外光，或者所述定位体能够发射不同颜色可见光。两杆部的长度是预先设定已知的。优选的，两杆部的长度可以分别设置为300mm和400mm。

多相机系统通常要求摄像机或照相机从多个角度拍摄物体。当获得待重建物体或人在同一时刻不同拍摄角度的图像后，利用多相机系统的标定结果可以计算出待重建物体或人的三维信息，实现运动捕获等目标。因而标定是该系统最基本和最重要的一步。本发明的标定场景布局如图2所示。以5台相机的布局为例，5台相机等距地围绕成圆形，拍摄方向正对圆心。在相机拍摄范围的场景中可以设置自由挥动的装有单个标定点的标定杆，以及在圆心位置设置已知边长的L型直角刚体。当然标定场景中的相机数量和排布方式也可以进行合理的变化。本发明的标定工具制作简单，且不需要限定标定物在所有相机的公共视场内运动，可操作性强。

在上述场景中，本实施例中的基于单点标定物的多相机内外参标定方法，如图3所示，包括以下步骤：

(1)S10：采集标定数据；

包括利用安装有单个标定点的标定杆和边长已知的L型直角刚体采集标定数据。在相机拍摄范围的场景中可以设置自由挥动的装有单个标定点的标定杆，以及在圆心位置设置L型直角刚体。相机分别采集标定杆和刚体的信息。具体包括：

S11：在场景中自由挥动装有单个标定点的标定杆，控制多个相机同步采集标定点数据，并实时上传至上位机中。

S12：将边长已知的L型直角刚体放置在场地中央，控制多个相机同步采集刚体数据，并实时上传至上位机中。

(2)S20：两两标定；

包括根据针孔及畸变相机模型、像点对间的对极几何约束关系，对具有共视点的两个相机进行两两标定，并使用L-M_{(Levenberg-Marquardt)}算法优化内外参数。具体的步骤包括：

S21：畸变处理，包括根据相机说明书中的畸变系数和单位像素的物理尺寸，利用畸变模型，求出去除畸变后真实像点的坐标；

S22：求解有效焦距，包括将两图像坐标系原点平移至主点，使用归一化8点法求出基本矩阵及极点，根据Hartley自标定方法简化基本矩阵并分解求出相机的像素单位焦距；

S23：求解外参，包括利用上述所得内参数对基础矩阵进行归一化求解本质矩阵，通过奇异值分解得到四组外参(R，t)，首先利用三角法重建出标定点，基于标定物必然位于摄像机前方(即Z坐标恒正)的原则，筛选出一组正确的(R，t)。此时平移向量与真实平移相差一个比例因子，可利用重建的L型刚体的长度来恢复出该比例因子；

S24：内外参优化，包括以像点对极距离误差之和最小为优化目标，使用L-M算法对两两标定所得内外参数进行非线性优化。

(3)S30：统一参考相机坐标系下多相机内外参标定；

包括根据所有相机的共视场关系建立多相机系统的无向图，确定任意相机相对于参考相机的最优级联路径，结合两两标定参数转化求出统一的参考相机坐标系下所有相机的内外参，并使用BA_{(Bundle Adjustment)}捆绑调整优化。具体包括：

S31：建立多相机系统无向图(如图4所示)：顶点表示相机，若两相机之间有m个共视点，则相应两顶点间有边，边的权重为1/m；

S32：确定参考相机到任意相机的最优级联路径：选择共视点最多的相机为0号参考相机，使用Dijkstra法计算0号相机到任意第k号相机所经边权重之和最小的路径，即为第k号相机的最优级联路径；

S33：假设第k号相机的最优级联路径为0-＞i-＞k，由两两标定求得的第0号到第i号相机的外参数为(R_0i，t_0i)，第i号到第k号相机的外参为(R_ik，t_ik)，则第0号到第k号的外参为(R_ikR_0i，R_ikt_0i+t_ik)；

S34：重复S33，求出所有相机相对统一参考相机的外参数，利用三角法重建出标定点，以最小化重投影误差为优化目标，使用BA捆绑算法对所有内外参整体优化。进一步提高标定精度。

(4)S40：指定世界坐标系下多相机内外参标定；

包括利用Kneip PnP算法求出以已知边长的L型刚体为指定统一世界坐标系下所有相机的内外参数。具体包括：

S41：确定L型刚体在不同相机成像的匹配关系：根据上述求得的相机外参可确定两视图的基础矩阵，利用对极几何约束，得到匹配像点；

S42：使用最小二乘三角形法，重建出L型刚体在参考相机坐标系下的坐标，然后设定L型刚体在指定世界坐标系下的坐标，利用kneip PnP算法求出世界坐标到参考相机坐标系的旋转和平移；

S43：同S33原理相同，求出世界坐标系下所有相机的内外参数。

本发明所用标定工具制作简单，且不需要限定标定物在所有相机的公共视场内运动，可操作性强；利用共视场关系确定的多相机级联路径，能够使更多的像点参与运算，算法鲁棒性更好；通过多步优化使得标定参数可达到亚像素级别的重投影误差，完全满足高精度需求。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims

1.一种基于单点标定物的多相机内外参标定方法，其特征在于：利用固定在场景中不同位置的多个红外相机对自由移动的单个标定点以及用于指示世界坐标系的L型刚体的像点进行采集，再利用像点数据实现对多相机内外参的标定，具体而言包括如下步骤：

S10：采集标定数据，包括利用安装有单个标定点的标定杆和边长已知的L型直角刚体采集标定数据；

S40：指定世界坐标系下多相机内外参标定，包括利用Kneip PnP算法求出以边长已知的L型刚体为指定统一世界坐标系下所有相机的内外参数。

2.根据权利要求1所述的一种基于单点标定物的多相机内外参标定方法，其特征在于，所述的S10采集标定数据的步骤进一步包括：

S11：在场景中自由挥动装有单个标定点的标定杆，控制多个相机同步采集标定点数据，并实时上传至上位机中；

3.根据权利要求1所述的一种基于单点标定物的多相机内外参标定方法，其特征在于，所述的S20两两标定的步骤进一步包括：

4.根据权利要求1所述的一种基于单点标定物的多相机内外参标定方法，其特征在于，所述的S30统一参考相机坐标系下多相机内外参标定的步骤进一步包括：

S31：建立多相机系统无向图：顶点表示相机，若两相机之间有m个共视点，则相应两顶点间有边，边的权重为1/m；

5.根据权利要求1所述的一种基于单点标定物的多相机内外参标定方法，其特征在于，所述的S40指定世界坐标系下多相机内外参标定的步骤进一步包括：

S43：与S33原理相同，求出世界坐标系下所有相机的内外参数。

6.一种标定组件，其特征在于，包括多个图像传感器、自由移动的标定点以及用于指示世界坐标系的L型刚体。所述多个图像传感器设置于相对于所述定位体的多个空间位置，并用于同时向标定点以及L型刚体实施拍照，以获取多个图像。

7.根据权利要求6所述的一种标定组件，其特征在于，所述的自由移动的定位点能够反射红外光，或者所述定位体能够发射红外光，或者所述定位体能够发射不同颜色可见光。

8.根据权利要求6所述的一种标定组件，其特征在于，所述的自由移动的定位点在标定杆上。

9.根据权利要求6所述的一种标定组件，其特征在于，所述的L型刚体由横纵两条不等长的线段以垂直关系固定而成，且在两条线段长度已知的L型刚体上固定有三个所述标定点，分别位于两条线段外端点及两条刚体交叉点。