CN203102374U - 一种多相机系统的加权标定装置 - Google Patents

Abstract

一种多相机系统加权标定装置涉及计算机视觉的运动捕捉、动作数据采集和分析等领域。标定部件位于多相机系统的工作区域内，标定部件与标定部件底座铰链或万向节连接，且连接的运动中心位于标定部件的直杆的中心线上，即与标志点共线；标定部件底座装配有用来驱动标定部件做绕固定点的转动的电机；所述的标定部件由一个直杆串三个以上的球形标志物构成，球形标志物的球心位于直杆的中心线上，球心之间的距离已知且保持固定；取标定部件上的球形标志物的球心做标志点，并将球形标志物设置成单色色彩。本实用新型具有较为实用、标定精度高、自动化程度高等特点，大大提高多相机系统的标定精度和效率。

Description

一种多相机系统的加权标定装置

技术领域

本实用新型涉及计算机视觉的运动捕捉、动作数据采集和分析等领域。

背景技术

多相机（包括多摄像机或多照相机）系统广泛应用于影视和游戏制作中的运动捕捉，体育训练、比赛和转播中的动作分析，以及医学康复训练中的步态分析等领域。多相机系统的标定，即确定各个相机的内、外参数，是多相机系统进行高效可靠工作不可或缺的重要步骤。

经典的多相机系统标定方法多是借助三维标定块或二维平面标定板(Zhang Z Y. A flexible new technique for camera calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (11) (2000) 1330–1334)实现标定，但这些标定物存在自身遮挡，无法从多个视角同时观测到标定物，因而无法一次性地标定多相机系统，且会引入累积误差。Zhang提出的一维标定方法（Zhang Z Y. Camera calibration with one-dimensional objects. in: Proc. European Conf. Computer Vision, vol. 4, pp. 161-174, 2002），由于一维标定物不存在自身遮挡，特别适合多相机系统。但现有的一维标定方法主要讨论如何降低一维标定物的运动约束，实际使用中亟需解决的实用性差、精度低等问题未得到应有的重视，因而难以实际应用。

实用新型内容

为克服现有技术的不足，本实用新型的目的是提供一种较为实用的、高精度多相机系统的标定装置。

一种多相机系统的加权标定装置，

标定部件位于多相机系统的工作区域内，标定部件与标定部件底座铰链或万向节连接，且连接的运动中心位于标定部件的直杆的中心线上，即与标志点共线；标定部件底座装配有用来驱动标定部件做绕固定点转动的电机；

所述的标定部件由一个直杆串三个以上的球形标志物构成，球形标志物的球心位于直杆的中心线上，球心之间的距离已知且保持固定；取标定部件上的球形标志物的球心做标志点，并将球形标志物设置成单色色彩。

进一步，三自由度运动平台，与标定部件底座固连。

应用本实用新型的方法包括以下步骤：

步骤1：令标定部件在工作区域内自动地做绕固定点的转动，多相机系统中的各个相机同步地拍摄标定物转动的视频或图像序列，将拍摄的标定部件的视频或图像序列输入计算机；

步骤2：同一时刻不同相机拍摄的各帧图像构成一组图像对应，对应于标定部件在该时刻的位姿，标定部件上某一标志点在一组图像对应中的图像坐标构成一组点对应，具有多个标志点的标定部件转动多次，得到多组点对应；从输入的视频或图像序列提取标志点，建立点对应；

步骤3：对于多相机系统中每个相机，使用步骤2提取出的标志点的图像坐标，利用基于加权的方法标定相机内参数；

步骤4：利用标志点的图像坐标及步骤3得到的内参数根据多视几何标定多相机系统的外参数。

进一步，所述的利用基于加权的方法标定相机内参数，针对每个相机，根据标定部件上标志点间的距离信息和标志点的图像坐标估计标志点的相对深度，并且在计算相对深度时选取标志点深度的最小值作为参照，然后利用相对深度构造权系数对关于绝对二次曲线的像的约束方程进行加权，从而估计出绝对二次曲线的像，进而确定相机的内参数。

进一步，所述的基于加权的方法标定相机内参数，包括如下步骤：

1) 估计标定部件上标志点的相对深度：对标志点的图像坐标进行归一化预处理，然后根据交比不变量构造关于标志点深度的约束方程，求解后选取标志点深度的最小值作为参照计算相对深度；

2) 利用加权思想构造并求解关于绝对二次曲线的像的加权约束方程：根据标定部件上的标志点之间的距离已知，构造相机对应的绝对二次曲线的像的约束方程组，利用相对深度构造权系数对该方程组进行加权，进而估计出相机对应的绝对二次曲线的像；

3) 确定相机的内参数：根据相机对应的绝对二次曲线的像利用乔里斯基分解得到相机的内参数。

进一步，所述的根据多视几何标定多相机系统外参数的方法包括：利用得到的相机内参数对标志点的图像坐标进行规范化，然后选择一个相机作为参照，利用计算机视觉中的多视几何分别计算参照相机与多相机系统中其余每一个相机的本质矩阵，对本质矩阵进行分解得到其余相机相对参照相机的外参数，从而标定出多相机系统的外参数。

进一步，基于加权的方法标定相机内参数的过程包括以下步骤：

1）估计标定部件上标志点的相对深度；

对于多相机系统中的第i个相机，对步骤2得到的标志点的图像坐标x_mij，其中m=1,2,…,M，i=1,2,…,I，j=1,2,3；进行数据归一化，得到归一化的图像坐标

，其中m=1,2,…,M，i=1,2,…,I，j=1,2,3，然后根据交比这一射影变换的不变量构造关于标志点在空间中的深度的线性约束方程：

其中λ₁=||X₂-X₃||/||X₁-X₃||、λ₂=||X₂-X₁||/||X₁-X₃||为三维空间中标定部件上标志点X₁,X₂,X₃之间距离的简比；由于标志点之间距离已知且保持固定，这两个简比为定值，与转动次数m和相机编号i无关；利用最小二乘法得到标定部件在转动过程中其上各个标志点在空间的深度s_mj，并取其最小值s_min=min{s_mj|m=1,2,…M,j=1,2,3}，将这些深度值表示为相对于最小深度值的相对深度；

2）利用加权方法构造关于相机内参数的约束方程；

根据标定部件上的球形标志物球心之间的距离利用归一化的标志点图像坐标得到关于绝对二次曲线的像的约束方程组，

,  (m=1,2,…M)

其中

为标定部件第m次转动后其第j个标志物球心在第i个相机中归一化后的图像坐标，

为其对应空间点的相对深度值，L为第1个和第3个标志物球心之间的距离， 

为第i个相机对应的绝对二次曲线的像；利用相对深度

和

对第m个约束方程进行加权，权值大小取

和

的函数(k取自然数)，得到新的约束方程组

权值系数中的参数k最佳取值随多相机系统的不同而不同，一般取2、3；

3）确定相机的内参数

利用最小二乘法计算经过加权处理后的绝对二次曲线的像

，再对进行乔里斯基分解，然后去归一化后得到相机的内参数K_i；

步骤4．标定多相机系统的外参数

多相机系统的外参数是指相机之间的相对位姿；取多相机系统中的一个相机为参照，令世界坐标系与该相机坐标系重合，则其外参数：旋转矩阵R₁为单位阵、平移向量t₁为零向量；其中下标1表示作为参照的第1个相机；则其余任一相机的外参数为相对第1个相机的旋转矩阵R_i和平移向量t_i；利用步骤3得到的相机的内参数K₁和K_i分别对两个相机采集的标志点图像坐标进行规范化，

${\tilde{x}}_{m1j}={\left(K_1\right)}^{-1}{x}_{m1j}$ ， ${\tilde{x}}_{\mathrm{mij}}={\left(K_i\right)}^{-1}{x}_{\mathrm{mij}}$ ， 其中(m=1,2,…,M,i=2,3,…,I,j=1,2,3).

则第i个相机的外参数满足

${\left({\tilde{x}}_{\mathrm{mij}}\right)}^T{\left[t_i\right]}_{\×}{R}_i{\tilde{x}}_{m1j}=0$ ，其中(m=1,2,…,M,i=2,3,…,I,j=1,2,3)

其中[·]_×表示求反对称矩阵；利用线性最小二乘法求解3M个联立的关于第i个相机外参数的方程组，得到R_i和t_i。

所述标定方法可以一次性地对多相机系统进行标定。

所述标定装置利用控制按钮或按照事先设计好的程序控制底座的电机实现标定部件绕固定点自动转动。

本实用新型提供的标定方法可以对整个多相机系统进行高精度地一次性标定，克服了现有标定方法难以实现、精度低、标定物存在自身遮挡等缺陷，具有较为实用、标定精度高、自动化程度高等特点，可以大大提高多相机系统的标定精度和效率。

附图说明

图1 是本实用新型多相机系统标定装置示意图；

图2 是本实用新型标定方法的流程图；

图3 是本实用新型标定部件结构示意图；

图4 是本实用新型安装在底座上的标定部件示意图；

图5 是本实用新型选配三自由度平台后的标定部件示意图。

具体实施方式

下面结合附图对本实用新型加以详细说明，应指出的是，所描述的实例仅旨在便于对本实用新型的理解，而对其不起任何限定作用。

多相机系统通常由多（大于等于2）个可从不同视角拍摄物体的摄像机或照相机构成，一般取所有相机的公共视野区或其子集作为多相机系统的工作区域。当物体被放置在工作区或演员在工作区域内做动作时，多相机系统可以同步地获取物体或演员的不同观察角度的视频或图像序列，对于视频或图像序列中每帧图像利用系统的标定结果可以精确计算出物体或演员的三维信息。在图1中给出了一种多相机系统标定装置示意图，其中多相机系统3由4个相机构成，虚线所示的4为多相机系统的工作区域。

图1中包括：由直杆以及球心位于直杆中心线上的三个球形标志物构成的标定部件1、标定部件底座2、多相机系统3、工作区域4、三自由度运动平台5；标定部件1与标定部件底座2经万向节连接，标定部件底座2通过电机驱动标定部件1做绕固定点的转动；可选配的三自由度运动平台5，与标定部件底座2固连，可以精确控制标定部件在工作区域4中的位置。多相机系统3拍摄在工作区域4内转动的标定部件1的视频或图像序列，用来对多相机系统3进行标定。

本实用新型的标定方法主要包括获取标定部件1的视频或图像序列、提取标志点的图像坐标并构造图像点对应、基于加权方法标定系统中每一个相机的内参数及利用多视几何估计多相机系统的外参数等步骤组成，如图2本实用新型标定方法的流程图所示，各步的具体说明如下：

步骤1．令标定部件1在工作区域4内做绕固定点的转动，多相机系统3同步地采集标定部件1转动的视频或图像序列，并将采集的视频或图像序列输入到计算机：

本实用新型装置采用的标定部件1由一根直杆串起的三个以上的球形标志物构成，且标志物的球心位于直杆的中心线上，球心之间的距离已知且保持固定。图3为含三个球形标志物的标定部件的结构示意图。标定部件1末端有铰链或万向节球头等特殊机械结构，用来与标定部件底座2相连。取球形标志物的球心为标志点，通过将球形标志物设置为有显著区别性的高亮度特殊单色色彩利用图像分割等图像处理技术可以从视频或图像中检测出不可见的标志点。标定部件底座2利用铰链或万向节与标定部件1连接，如图4 本实用新型安装在标定部件底座上的标定部件示意图所示，标定部件底座2装配有电机可以驱动标定部件1做绕铅直轴的转动和相对水平面的俯仰运动，二个运动合成效果为标定部件1做绕固定点的转动，该固定点为万向节或铰链的运动中心，且该固定点位于标定部件1的直杆中心线上。操作人员利用控制按钮或按照事先设计好的程序控制标定部件底座2，令标定部件1自动地绕固定点转动。此外标定部件底座2还可以通过螺丝、销孔等连接装置与三自由运动平台5固连在一起，三自由运动平台5利用丝杠、导轨等机构可以实现三自由度的运动：沿竖直方向的上下运动和在水平面内的前后运动和左右运动，如图5本实用新型选配三自由度平台后的标定部件示意图所示。一方面三自由运动平台5可以为标定部件底座2提供一个支架，另一方面可以把安装在标定部件底座2上的标定部件1精确地运动到工作区域4中物体或演员所在的小区域，针对该区域对多相机系统进行高精度标定。在标定部件1做绕固定点的转动时，多相机系统3同步地拍摄标定部件1的视频或图像序列，同步是指某一个时刻系统中各个相机拍摄的视频或图像序列的一帧图像之间不存在时间延迟。然后借助某些专用接口将拍摄的视频或图像序列输入计算机；

步骤2．从拍摄的视频或图像序列中提取标志点的图像坐标，并建立对应：

空间中的球经透视投影后变换为圆或椭圆，因而标定部件1上具有显著区别性的高亮度特殊单色色彩的球形标志物在多相机系统3的各个相机拍摄的图像中成像为一个圆或椭圆，且圆心或椭圆中心对应球心的图像点，即这些点为标志点的图像点。通过人机交互的方式在图像中手工提取圆心或椭圆中心得到对应标志点的图像坐标；或利用图像处理技术编制程序，经过图像分割、轮廓检测以及曲线拟合等现有图像处理技术，自动检测圆心或椭圆中心得到标志点的图像坐标：x_mij(m=1,2,…,M，i=1,2,…,I，j=1,2,…,J)，其中x_mij表示标定部件1在第m次转动后第j个标志点在第i个相机的图像坐标向量，M(≥6)为标定部件绕固定点转动的次数，I为多相机系统中相机的个数，J为标定部件上标志点的个数，在本实施例取M=9,I=4,J=3。标定部件1某次转动后其上某一个标志点在不同相机中所成的像构成一组图像对应点，则对应标定部件1在工作区域4中做M=9次转动可以得到3M=27组图像点对应：

$\{x_{m1j}{\↔x}_{m2j}\↔x_{m3j}\↔x_{m4j}|m=\mathrm{1,2},...,9,j=\mathrm{1,2,3}\}$ 。

步骤3．基于加权的方法标定相机的内参数

多相机系统3的标定本质上是计算系统中各个相机的内、外参数，且标定只需在系统初始安装或系统参数发生改变时进行。本实用新型提出的标定方法利用加权思想求解多相机系统3的内参数。针对每个相机，根据标定部件上标志点间的距离信息和标志点的图像坐标估计标志点的相对深度，并且在计算相对深度时选取标志点深度的最小值作为参照，然后利用相对深度构造权系数对构造的关于相机内参数的约束方程进行加权，从而估计出相机对应的绝对二次曲线的像，进而确定相机的内参数。

基于加权的方法标定相机内参数的过程包括以下步骤：

1）估计标定部件1上标志点的相对深度。

对于多相机系统3中的第i个相机，对步骤2得到的标志点的图像坐标x_mij(m=1,2,…,9，i=1,2,3,4，j=1,2,3)进行数据归一化（data normalization），得到归一化的图像坐标

(m=1,2,…,9，i=1,2,3,4，j=1,2,3)，然后根据交比（cross ratio）这一射影变换的不变量构造关于标志点在空间中的深度s_mj（m=1,2,…9,j=1,2,3）的线性约束方程：

其中λ₁=||X₂-X₃||/||X₁-X₃||、λ₂=||X₂-X₁||/||X₁-X₃||为三维空间中标定部件1上标志点X₁,X₂,X₃之间距离的简比，由于标志点之间距离已知且保持固定，这两个简比为定值，与转动次数m和相机编号i无关；标志点在空间中的深度s_mj（m=1,2,…9,j=1,2,3）为标定部件1在第m次转动后其上第j个标志点在三维空间中的三维坐标的Z分量。利用最小二乘法可以得到标定部件1在转动过程中其上各个标志点在空间的深度s_mj，并取其最小值s_min=min{s_mj|m=1,2,…9,j=1,2,3}，将这些深度值表示为相对于最小深度值s_min的相对深度

；

2）利用加权方法构造关于相机内参数的约束方程。

根据标定部件1上的球形标志物球心之间的距离利用归一化的标志点图像坐标

及其对应空间点的相对深度值

 (m=1,2,…9,j=1,2,3)可以得到关于第i个相机的绝对二次曲线的像

的约束方程：

,

其中L(=||X₃-X₁||)为第1个和第3个标志物球心之间的距离， 为第i个相机对应的绝对二次曲线的像。利用相对深度

和

对第m(=1,2,…,9)个约束方程进行加权，权值系数为

和

的函数

(k取自然数)，得到新的约束方程组

权值系数中的参数k最佳取值随多相机系统的不同而不同，一般可以取2、3。

3）确定相机的内参数

利用最小二乘法计算经过加权处理后的绝对二次曲线的像

，再对

进行乔里斯基（Cholesky）分解，然后去归一化后可得到相机的内参数K_i。在本实施例中， $K_1=\left[\begin{array}{ccc}3004.2& 1.0& 1503.9\\ 0& 3000.6& 995.4\\ 0& 0& 1\end{array}\right]$ ,  $K_2=\left[\begin{array}{ccc}3011.7& -3.4& 1506.7\\ 0& 3004.8& 996.3\\ 0& 0& 1\end{array}\right]$ ,  $K_3=\left[\begin{array}{ccc}2997.0& 2.4& 1507.1\\ 0& 2989.9& 993.4\\ 0& 0& 1\end{array}\right]$ ,  $K_4=\left[\begin{array}{ccc}3007.3& -2.5& 1505.6\\ 0& 2997.6& 996.3\\ 0& 0& 1\end{array}\right]$ , 而真实值为 $K_1=K_2=K_3=K_4=\left[\begin{array}{ccc}3005& 0& 1505\\ 0& 3000& 995\\ 0& 0& 1\end{array}\right]$ ，与不使用本实用新型的标定方法得到的标定结果 $K_1=\left[\begin{array}{ccc}2935.6& 29.3& 1466.5\\ 0& 2909.1& 971.2\\ 0& 0& 1\end{array}\right]$ ， $K_2=\left[\begin{array}{ccc}3102.0& 60.2& 1552.5\\ 0& 3108.5& 994.5\\ 0& 0& 1\end{array}\right]$ ， $K_3=\left[\begin{array}{ccc}2964.9& 25.9& 2498.8\\ 0& 2974.8& 1044.2\\ 0& 0& 1\end{array}\right]$ ， $K_4=\left[\begin{array}{ccc}3037.5& -0.3& 1492.6\\ 0& 3054.5& 1027.6\\ 0& 0& 1\end{array}\right]$ 相比，内参数标定精度得到显著提高。

步骤4．标定多相机系统的外参数

多相机系统3的外参数是指相机之间的相对位姿。取多相机系统3中的一个相机为参照，令世界坐标系与该相机坐标系重合，则其外参数：旋转矩阵R₁为3×3单位阵、平移向量t₁为3×1零向量，其中下标1表示作为参照的第1个相机。则其余任一相机的外参数为相对第1个相机的旋转矩阵R_i和平移向量t_i。利用步骤3得到的相机的内参数K₁和K_i分别对两个相机采集的构成图像点对应的标志点图像坐标 $x_{m1j}\↔x_{\mathrm{mij}}|m=\mathrm{1,2},...,9,i=\mathrm{2,3,4},j=\mathrm{1,2,3}\}$ 进行规范化，

${\tilde{x}}_{m1j}={\left(K_1\right)}^{-1}{x}_{m1j}$ ， ${\tilde{x}}_{\mathrm{mij}}={\left(K_i\right)}^{-1}{x}_{\mathrm{mij}}$ ，(m=1,2,…,M,i=2,3,…,I,j=1,2,3).

则第i(=2,3,4)个相机的外参数满足方程

${\left({\tilde{x}}_{\mathrm{mij}}\right)}^T{\left[t_i\right]}_{\×}{R}_i{\tilde{x}}_{m1j}=0$ ， (m=1,2,…,M,i=2,3,…,I,j=1,2,3)

其中[t_i]_×表示求向量t_i的反对称矩阵。利用线性最小二乘法求解(3M=27)个联立的关于第i个相机外参数的方程组，可以得到R_i和t_i。在本实施例中， $R_2=\left[\begin{array}{ccc}0.5335& -0.0073& 0.8458\\ 0.0157& 0.9999& -0.0013\\ -0.8457& 0.0140& 0.5335\end{array}\right]$ ， $t_2=\left[\begin{array}{c}-198.96\\ 10.65\\ 112.72\end{array}\right]$ ， $R_3=\left[\begin{array}{ccc}-0.9966& -0.0733& -0.0388\\ -0.0729& 0.9973& -0.0115\\ 0.0396& -0.0086& -0.9992\end{array}\right]$ ， $t_3=\left[\begin{array}{c}9.48\\ -2.82\\ 460.77\end{array}\right]$ ， $R_4=\left[\begin{array}{ccc}-0.5597& 0.0009& -0.8287\\ 0.0135& 0.999& -0.0080\\ 0.8286& -0.0157& -0.5596\end{array}\right]$ ， $t_4=\left[\begin{array}{c}195.00\\ -1.89\\ 359.14\end{array}\right]$ ，而真实值为 $R_2=\left[\begin{array}{ccc}0.5462& -0.0086& 0.8376\\ 0.0120& 0.9999& 0.0024\\ -0.8376& 0.0087& 0.5462\end{array}\right]$ ， $t_2=\left[\begin{array}{c}-195.47\\ 9.81\\ 107.96\end{array}\right]$ ， $R_3=\left[\begin{array}{ccc}-0.9971& -0.0756& -0.0006\\ -0.0765& 0.9970& -0.0144\\ 0.0017& -0.0143& -0.9999\end{array}\right]$ ， $t_3=\left[\begin{array}{c}-1.30\\ 0.42\\ 459.63\end{array}\right]$ ， $R_4=\left[\begin{array}{ccc}-0.5634& 0.0046& -0.8262\\ 0.0057& 1.0000& 0.0017\\ 0.8262& -.0038& -0.5634\end{array}\right]$ ， $t_4=\left[\begin{array}{c}194.01\\ -4.91\\ 353.53\end{array}\right]$ ，与不使用本实用新型提出的归一化和加权处理的标定方法得到的标定结果 $R_2=\left[\begin{array}{ccc}0.5591& 0.0857& 0.8246\\ 0.0403& 0.9907& -0.1303\\ -0.8281& 0.1060& 0.5505\end{array}\right]$ ， $t_2=\left[\begin{array}{c}-214.53\\ -5.09\\ 98.95\end{array}\right]$ ， $R_3=\left[\begin{array}{ccc}-0.9909& 0.0027& 0.1349\\ -0.0021& 0.9994& -0.0353\\ -0.1349& -0.0353& -0.9902\end{array}\right]$ ， $t_3=\left[\begin{array}{c}-61.96\\ -52.11\\ 457.40\end{array}\right]$ ，  $R_4=\left[\begin{array}{ccc}-0.6098& 0.0033& -0.7926\\ -0.0290& 0.9992& 0.0264\\ 0.7920& 0.0390& -0.6092\end{array}\right]$ ， $t_4=\left[\begin{array}{c}197.14\\ -66.61\\ 362.45\end{array}\right]$ 相比，外参数标定精度有显著提高。

Claims (2)

1.一种多相机系统的加权标定装置，其特征在于：

标定部件位于多相机系统的工作区域内，标定部件与标定部件底座铰链或万向节连接，且连接的运动中心位于标定部件的直杆的中心线上，即与标志点共线；标定部件底座装配有用来驱动标定部件做绕固定点的转动的电机；

所述的标定部件由一个直杆串三个以上的球形标志物构成，球形标志物的球心位于直杆的中心线上，球心之间的距离已知且保持固定；取标定部件上的球形标志物的球心做标志点，并将球形标志物设置成单色色彩。

2.根据权利要求1所述的一种多相机系统的加权标定装置，其特征在于：

还设有三自由度运动平台，与标定部件底座固连。 

Images