CN112652017B - 基于相机和动态捕捉设备的外参标定方法 - Google Patents

Abstract

本发明涉及一种基于相机和动态捕捉设备的外参标定方法。在相机上加装三个动态捕捉设备能识别的球形marker。利用制作的一个按照固定排列方式摆放的球形marker标定板。通过球在相机投影模型中的约束关系，确定球形marker在像平面的2D投影点，通过像平面的投影中心进行误差校正求得球形marker在像平面的真实2D投影点。通过该球形marker标定板建立相机和动态捕捉设备之间的关系从而进行相机外参标定。本发明能实现相机和动态捕捉设备间的高精度外参标定。

Description

基于相机和动态捕捉设备的外参标定方法

技术领域

本发明涉及空间标定领域，具体地说是一种基于相机和动态捕捉设备的外参标定方法。

背景技术

随着计算机视觉技术的发展，空间定位功能变得越来越重要，其能够更好的帮助实现空间物体的定位和虚拟呈现。

目前动态捕捉设备均采用球形红外标志球，而传统的相机标定技术均采用棋盘格和圆形标定板，并不能实现相机和动态捕捉设备间的空间标定。

发明内容

针对现有技术的不足，本发明提供相机和动态捕捉设备的外参标定方法，解决传统相机和动态捕捉设备间的标定问题，同时通过误差补偿方法，将标定精度进一步优化。

本发明为实现上述目的所采用的技术方案是：

基于相机和动态捕捉设备的外参标定方法，包括以下步骤：

步骤1：以相机上设置的任意一个标志球为坐标原点，建立相机工具坐标系Cameratool；

步骤2：获取Cameratool到动态捕捉设备的旋转矩阵P_{CameratooltoNDI}；

步骤3：获取设有标志球的标定板到动态捕捉设备的旋转矩阵P_{CalBoardtoNDI}；

步骤4：利用投影矫正模型补偿投影误差得到标定板到相机的旋转矩阵P_{CalBoardtoCamera}；

步骤5：利用P_{CalBoardtoNDI}和P_{CalBoardtoCamera}得到相机到动态捕捉设备的旋转矩阵P_CameratoNDI；

步骤6：利用P_CameratoNDI和P_{CameratooltoNDI}得到相机到Cameratool的旋转矩阵P_{CameratoCameratool}，实现相机和动态捕捉设备的标定。

建立所述相机工具坐标系的步骤为：选取相机上的任意三个标志球，以位于中间的标志球的球心作为坐标系原点，以该点和左侧点连线所在的直线为X轴，指向左侧点的方向为正方向，以该点和右侧点的连线指向右侧点为向量y，利用X和Y依据右手定则确定Z轴正方向，然后利用确定的X轴和Z轴确定Y轴。

所述标志球至少3个，各标志球的球心共面；所述标志球用于动态捕捉设备采集位置信息。

所述投影矫正模型补偿投影误差的方法为：通过投影面的椭圆中心矫正求得标志球球心在像平面的实际投影点位置。

所述投影矫正模型补偿投影误差的方法如下：

通过求解下式得到投影矫正模型补偿投影误差O_opt1O_opt2：

|O_opt1O_opt2|＝|O_optO_opt1|-|O_optO_opt2|

|O_opt1O_opt2|＝(|O_optp'|-|O_opt1p|)-|O_optO_opt2|

|O_opt1O_opt2|＝(f*tan(β+θ)-|pp'|/2)-f*tanβ

其中，O_opt1为标志球在像平面的投影得到的椭圆的中心，O_opt2为标志球球心在像平面的投影，O_opt为相机光轴在与像平面的交点，β为标志球球心和相机的连线与相机光轴的夹角，θ为相机与标志球形成正圆锥的半顶角，p和p'为球在像平面的投影点，相机焦距f为OO_opt长度，β+θ可由椭圆距离像平面原点最远的点p'到像平面原点O_opt的距离O_opt p'和相机焦距f求得。

本发明具有以下有益效果及优点：

1.本发明可以实现相机与动态捕捉设备的空间位置标定；

2.本发明可以将球形在像平面的投影误差补偿矫正；

3.本发明重投影精度可以达到亚像素量级。

附图说明

图1是本发明的方法流程图；

图2是Camera上标定件图；

图3是标定板示意图；

图4是球心在相机平面投影误差图；

图5是误差补偿示意图；

图6是椭圆长短轴示意图；

图7是标定板在像平面投影示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

一种基于相机和动态捕捉设备的外参标定方法，在所述相机上设置标定件，特制球形marker制作的标定板，标定板上球形marker的投影矫正；方法包括以下步骤：

步骤1：以相机上任意一个球形marker为坐标原点，建立相机工具坐标系Cameratool；

步骤2：求Cameratool到动态捕捉设备NDI Spectra的旋转矩阵P_{CameratooltoNDI}；

步骤3：求球形marker制作的标定板到NDI Spectra的旋转矩阵P_{CalBoardtoNDI}；

步骤4：利用投影矫正模型补偿投影误差求出CalBoard到Camera的旋转矩阵P_{CalBoardtoCamera}；

步骤5：利用已知的P_{CalBoardtoNDI}和P_{CalBoardtoCamera}求出Camera到NDI的旋转矩阵P_CameratoNDI；

步骤6：利用已知的P_CameratoNDI和P_{CameratooltoNDI}求出Camera到Cameratool的旋转矩阵P_{CameratoCameratool}；

所述的相机标定件为：标定件由至少包括3个球心共面的球形marker组成，该球形marker为动态捕捉设备能采集位置信息的红外标志球。任意两个相邻的标志球之间的距离作为标志距离，且每两个标志距离之间的差值大于2cm。

所述的相机坐标系为：选取相机标定件中的任意三个标志球，以位于中间的标志球的球心作为坐标系原点，以该点和左侧点连线所在的直线为X轴，指向左侧点的方向为正方向，以该点和右侧点的连线指向右侧点为向量y，利用X和y依据右手定则确定Z轴正方向，然后利用确定的X轴和Z轴确定Y轴。

所述的球形marker制作的标定板，如图3所示：其上面的球形marker为动态捕捉设备能采集位置信息的标志球。排列方式为有规律的M*N矩形阵列，标志球间间距大于两倍球径。

所述的投影矫正模型补偿投影误差的方法：通过投影面的椭圆中心矫正求得球心在像平面的实际投影点位置。

如图1所示为本发明的方法流程图。

基于相机和动态捕捉设备的外参标定方法包括以下步骤：

首先自制Camera工具坐标系，使用三个以上红外marker将其粘贴在Camera上的任意位置，以将其粘贴在Camera顶端为例，如图2所示。

以3个标定球为例，使用动态捕捉设备NDI Spectra采集获得三个标定Marker的位置坐标，根据他们每个点之间的位置关系，来确定是哪个标定点的坐标，并确定识别的三个点为Camera工具坐标系的三个点，然后建立坐标系。

以位于中间的标志球的球心作为坐标系原点，以该点和左侧点连线所在的直线为X轴，指向左侧点的方向为正方向，以该点和右侧点的连线指向右侧点为向量y，利用X和y依据右手定则确定Z轴正方向，然后利用确定的X轴和Z轴确定Y轴。自此Camera工具坐标系建立完成，以后每次采集计算Camera工具坐标系的时候，都采用同求解步骤和方法。

投影矫正补偿过程是由于动态捕捉设备能识别的球形marker在相机的像平面投影当且仅当球心在相机光轴上的时候投影为圆形(如球S₁及其投影E₁)，其他所有情况为椭圆形(如球S₂和S₃及其投影E₂和E₃)如图4所示O₁,、O₂、O₃分别为球S₁、球S₂和S₃的球心，椭圆为球心不在相机光轴上的标志球在像平面上的投影。

传统方法采用求取椭圆的中心作为球心在像平面的投影，但该方法存在误差，实际大多数时间球心在像平面的投影并不与椭圆的中心重合。本误差补偿方案为根据椭圆中心的位置去求得实际球心在像平面的投影，示意图如图4所示。

误差补偿示意图如图5所示：π为像平面，π_zo_y为过相机光轴和球心O₂所在的平面，xyz为相机坐标系，椭圆中心为O_opt1,球心在像平面的投影为O_opt2，相机光轴在与像平面的交点为O_opt，球心和相机的连线与相机光轴的夹角为β，θ为相机与球形成正圆锥的半顶角，p和p'为球在像平面的投影点。OO_opt长度为相机焦距f。根据本补偿方案为求解O_opt1O_opt2。将得到的差值与O_opt1求和，即为球心在像平面上投影点的真实值O_opt2，根据该真实值得到相机与设备之间的位置关系，实现标定。

|O_opt1O_opt2|＝|O_optO_opt1|-|O_optO_opt2|

|O_opt1O_opt2|＝(|O_optp'|-|O_opt1p|)-|O_optO_opt2|

|O_opt1O_opt2|＝(f*tan(β+θ)-|pp'|/2)-f*tanβ

β-θ可由椭圆距离像平面原点最近的点p到像平面原点O_opt的距离O_opt p和相机焦距f求得。

β+θ可由椭圆距离像平面原点最远的点p’到像平面原点O_opt的距离O_opt p'和相机焦距f求得。

由β-θ和β+θ的值可以求得β和θ的值。

可以将球在相机内的成像建模为用一个平面去切正圆锥，如图6所示。由于圆锥是一个旋转对称图形，故可以将圆锥旋转到图6所示的位置，即平面与圆锥的交点的最低点和最高点在纸面所在的平面上，其正视图如图6右图所示，PQ、P’Q’为椭圆的两条对称轴，其中O₂为PQ中点，存在含有P’Q’的平面π_o平行于圆锥底面切过圆锥，MN和M’N’为平面π₀切过圆锥所成圆的直径，可知P’Q’为圆内不过圆心的一条弦，所以P’Q’短于M’N’，因为MN为与PQ和P’Q’共面的直径，且MN等于M’N’,所以P’Q’短于MN。取MN,PQ所在的平面，过P点做PB\\OQ交MN于B,由于∠PBO₂＝∠QNO₂,PO₂＝QO₂,∠PO₂B＝∠QO₂N，所以三角形PBO₂和三角形QNO₂全等，则BO₂＝NO₂,由于三角形PMB为等腰三角形，过P点做角平分线PA垂直平分MB。所以MA＝AB。则AO₂＝1/2MN,PO₂＝1/2PQ,由于在直角三角形PAQ₂中PO₂长于AO₂。所以PQ长于MN长于P’Q’，即PQ为椭圆的长轴，综上可以得到椭圆长轴的两个端点和圆锥顶点三点所在的平面与椭圆所在的平面垂直，即图中的平面π和平面PQO垂直。

设圆锥的顶点O以及在像平面上椭圆长轴的两个端点P、Q所在的平面为π₁根据上述证明π₁始终与π垂直，P、Q两点会随着球在相机坐标系中的位置不同而在像平面中运动，这可以抽象为过平面外一点O，作与像平面π垂直的平面，由于OO_opt垂直平面π，故这些所有的过点O垂直于平面π的平面的交线为直线OO_opt，所以有O_opt∈π₁，又O_opt∈π，P∈π₁，P∈π，Q∈π，Q∈π₁因此P、Q、O_opt三点共线，即椭圆的长轴始终和像平面原点共线，球位于相机坐标系不同位置时在像平面上成像示意图如图7所示。

实施例：

工具坐标系Cameratool三个标志球间的距离分别是别是54.6、59.2、67.5，标定求得Cameratool到动态捕捉坐标系NDI的旋转矩阵

根据NDI Spectra采集获取的自制含有球形marker标定板上各个球形marker位置求得P_{CalboardtoNDI}。

利用投影矫正模型补偿投影误差求出标定板CalBoard到Camera的旋转矩阵P_{CalBoardtoCamera}；

利用已知的P_{CalBoardtoNDI}和P_{CalBoardtoCamera}求出

利用已知的P_CameratoNDI和P_{CameratooltoNDI}求出

Claims (2)

1.基于相机和动态捕捉设备的外参标定方法，其特征在于，包括以下步骤：

步骤1：以相机上设置的任意一个标志球为坐标原点，建立相机工具坐标系Cameratool；

步骤2：获取Cameratool到动态捕捉设备的旋转矩阵P_{CameratooltoNDI}；

步骤3：获取设有标志球的标定板到动态捕捉设备的旋转矩阵P_{CalBoardtoNDI}；

步骤4：利用投影矫正模型补偿投影误差得到标定板到相机的旋转矩阵P_{CalBoardtoCamera}；

步骤5：利用P_{CalBoardtoNDI}和P_{CalBoardtoCamera}得到相机到动态捕捉设备的旋转矩阵P_CameratoNDI；

步骤6：利用P_CameratoNDI和P_{CameratooltoNDI}得到相机到Cameratool的旋转矩阵P_{CameratoCameratool}，实现相机和动态捕捉设备的标定；

所述投影矫正模型补偿投影误差的方法为：通过投影面的椭圆中心矫正求得标志球球心在像平面的实际投影点位置，具体为：

通过求解下式得到投影矫正模型补偿投影误差O_opt1 O_opt2：

|O_opt1O_opt2|＝|O_optO_opt1|-|O_optO_opt2|

|O_opt1O_opt2|＝(|O_optp'|-|O_opt1p|)-|O_optO_opt2|

|O_opt1O_opt2|＝(f*tan(β+θ)-|pp'|/2)-f*tanβ

其中，O_opt1为标志球在像平面的投影得到的椭圆的中心，O_opt2为标志球球心在像平面的投影，O_opt为相机光轴与像平面的交点，β为标志球球心和相机的连线与相机光轴的夹角，θ为相机与标志球形成正圆锥的半顶角，p和p'为球在像平面的投影点，相机焦距f为OO_opt长度，β+θ可由椭圆距离像平面原点最远的点p'到像平面原点O_opt的距离O_opt p'和相机焦距f求得；

建立所述相机工具坐标系的步骤为：选取相机上的任意三个标志球，以位于中间的标志球的球心作为坐标系原点O，以该点和左侧点连线所在的直线为X轴，指向左侧点的方向为正方向，以该点和右侧点的连线指向右侧点为向量y，利用X和Y依据右手定则确定Z轴正方向，然后利用确定的X轴和Z轴确定Y轴。

2.根据权利要求1所述的基于相机和动态捕捉设备的外参标定方法，其特征在于：所述标志球至少3个，各标志球的球心共面；所述标志球用于动态捕捉设备采集位置信息。