CN109785392A - 一种用于桌面级虚拟现实系统的标定装置及方法 - Google Patents

Abstract

本发明提出一种用于桌面级虚拟现实系统的标定装置和方法，设计了由靶标体、测头、基座组成的标定装置，靶标体上分布有用于视觉定位光靶标点，靶标体可以和测头连接在一起，基座上有圆锥孔。提出了基于标定装置的标定方法，结合视觉定位理论，首先通过建立测头中心位置不变的约束，标定出测头探球在靶标体坐标系下的坐标；然后利用靶标体作为参考物标定出桌面级虚拟现实系统中各相机间的位姿参数；最后通过靶标体的测头与显示器接触，建立虚拟现实系统中视觉坐标系和显示器坐标系间的坐标联系，进而标定出两者的位姿关系。本发明设计的标定装置和提出的标定方法，满足桌面级虚拟现实系统的标定工作需求，具有操作简单、精度高的优点。

Description

一种用于桌面级虚拟现实系统的标定装置及方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种可用于桌面级虚拟现实系统的标定装置和方法。

背景技术

近年来，虚拟现实(VR)技术取得了迅速发展，相关产品层出不穷。虚拟现实产品按照用户参与形式的不同可分为：桌面式、沉浸式、增强式和分布式。应用领域涵盖有工业设计及制造、医疗、数字娱乐、教育培训等方面。

桌面级虚拟现实系统，以下简称桌面VR系统，主要包含图形工作站、立体(3D)显示器以及定位设备，工作时，系统会实时跟踪定位用户的观察视角和操作信息，并据此生成相应的3D图像，实现用户与虚拟空间的交互，具有良好的人机体验效果。桌面式虚拟现实系统可应用于设计、演示、教育等诸多领域，形式简单、交互效果好，并且成本低、易推广，是虚拟现实市场一个重要的发展方向。

桌面VR系统，通常采用视觉定位方法，显示器周围分布安装有若干相机，用户佩戴的3D眼镜和操作设备(交互笔、手柄等)上安装有定位靶标点。系统通过相机拍摄定位靶标点的图像，利用计算机视觉技术即可定位出人眼视角和手部运动信息。视觉定位系统中，视觉参数的标定精度直接决定了视觉定位的精度，桌面VR系统中需要标定的视觉参数有相机内参数(焦距、像元间距、畸变系数等)和相机间外参数(坐标系平移旋转关系)两部分。其中，相机内参数标定方法比较成熟且装机前即可独立进行，而相机间外参数在系统组建后才能进行标定。与此同时，由于图像的产生和显示是基于显示器坐标系，而视觉定位是基于相机坐标系的，因此还需要标定出显示器坐标系，和由相机组成的视觉系统间的位姿关系。综上所述，相机间位姿参数以及视觉系统与显示器间的位姿参数是桌面VR系统出厂前重要的标定工作，标定精度的高低是影响系统交互效果的关键因素。

根据机器视觉理论，相机间外参数可以通过借助合作靶标体完成，其中靶标体上分布有位置关系已知的靶标点，基于PNP(Perspective N Point)的单目视觉定位模型，可以求出各个相机和靶标体间的位姿参数信息，然后以靶标体坐标系作为参考坐标系，便可推算出相机之间的位姿参数。同理，要想标定出视觉系统和显示器之间的位姿参数，必须建立靶标体和显示器坐标系间的联系，而常用的靶标体无法实现该功能。

因此，设计一种标定装置，一方面具有视觉靶标点，另一方面可以和显示器建立直接的坐标联系，则这种装置对桌面VR系统的标定工作具有重要的实用意义。

发明内容

本发明在常用视觉靶标体的基础上进行了改进，提出一种适用于桌面VR系统的标定装置和方法，操作简单、精度高，可方便快速地完成系统标定工作。

本发明的技术方案为：

所述一种用于桌面级虚拟现实系统的标定装置，其特征在于：包括靶标体、测头和基座；所述靶标体上分布有光靶标点，光靶标点的相对空间位置通过提前标定已知，光靶标点的个数满足PNP算法所需个数；所述测头由测杆和测杆端部的探球组成；所述靶标体与所述测杆端部固定连接；所述基座上具有圆锥孔。

进一步的优选方案，所述一种用于桌面级虚拟现实系统的标定装置，其特征在于：所述光靶标点采用主动发光的LED或者涂有反光材料的标志点。

利用上述标定装置对桌面级虚拟现实系统进行标定的标定方法，其特征在于：包括以下步骤：

步骤1：标定探球中心在靶标体坐标系中的坐标；

步骤2：标定桌面级虚拟现实系统中各相机间的位姿参数；

步骤3：标定桌面级虚拟现实系统中视觉系统和显示器间位姿参数。

进一步的优选方案，所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤1中标定探球中心在靶标体坐标系中的坐标的具体过程为：

步骤1.1：将测头安装在靶标体上，并将探球置于基座的圆锥孔中，整体保持在桌面级虚拟现实系统中某个相机的视场范围内；

步骤1.2：保持基座不动，将靶标体绕探球进行转动，采集至少6幅图像；

步骤1.3：基于PNP的单目视觉定位模型，利用探球中心位置在相机坐标系和靶标体坐标系中均保持不变的特性，建立目标函数并进行最优化求解，得到探球中心在靶标体坐标系下的坐标。

进一步的优选方案，所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤1.3中，对于第i幅图像，有公式[x_C0i,y_C0i,z_C0i]^T＝R_CTi[x_T0,y_T0,z_T0]^T+T_CTi，其中(x_C0i,y_C0i,z_C0i)为对应第i幅图像，探球中心在相机坐标系下的坐标，(x_T0,y_T0,z_T0)为探球中心在靶标体坐标系下的坐标，R_CTi为第i幅图像对应的相机坐标系和靶标体坐标系的旋转关系，T_CTi为第i幅图像对应的相机坐标系和靶标体坐标系的平移关系；建立的目标函数为

其中n为采集的图像数；(x_C0,y_C0,z_C0)为探球中心在相机坐标系下的坐标。

进一步的优选方案，所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤2中标定桌面级虚拟现实系统中各相机间的位姿参数的具体过程为：

步骤2.1：根据桌面虚拟现实系统内相机的分布，将靶标体置于至少两个相机的公共视场内，并采集图像；

步骤2.2：基于PNP的单目视觉定位模型，求出各相机和靶标体坐标系间的位姿关系，进而得到相机间的位姿关系；

步骤2.3：移动靶标体位置，重复上述步骤，直至得到桌面虚拟现实系统内相邻相机间的位姿关系。

进一步的优选方案，所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤3中标定桌面级虚拟现实系统中视觉系统和显示器间位姿参数的具体过程为：

步骤3.1：选取一个相机的相机坐标系作为整个视觉系统坐标系，将其余各个相机的坐标系统一到视觉系统坐标系中；

步骤3.2：将探球与显示器表面接触，使靶标体位于至少一个相机的视场内，采集图像；

步骤3.3：测量接触点在显示器上所处的位置，结合探球球径，求出探球中心在显示器坐标系下的坐标；

步骤3.4：基于PNP的单目视觉定位模型，求出探球中心在视觉系统坐标系下的坐标；

步骤3.5：移动靶标体改变接触点位置，重复步骤3.2—3.4，记录至少3组探球中心在显示器坐标系和视觉系统坐标系下的坐标信息；

步骤3.6：根据步骤3.5得到多组探球中心在显示器坐标系和视觉系统坐标系下的坐标信息，求出视觉系统和显示器坐标系间的位姿关系。

有益效果

本发明的有益效果是：结合桌面VR系统的标定需求，提出了带测头的靶标体及辅助标定装置，解决了通用靶标体无法实现桌面VR系统中视觉坐标系和显示器坐标系关系标定的问题，并设计了标定方法，可实现桌面VR系统中各位姿参数简单快速精确的标定。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是标定装置示意图。

图2是典型桌面VR系统示意图(省略主机和交互设备)。

图3是探头中心在靶标体坐标系中标定示意图。

图4是桌面VR系统中各相机位姿关系标定示意图。

图5是视觉系统和显示器坐标系间位姿关系标定示意图。

其中，1.靶标体，2.测头，3.测杆，4.探球，5.基座，6.显示器，7.定位相机。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施例提出了由靶标体、测头、基座组成的标定装置。

其中靶标体上分布有主动发光或被动反光式靶标点，靶标点个数满足PNP算法模型的要求，靶标点相对位置提前进行标定，可通过三角视觉测量或其他方法标定出来。

测头由测杆和探球组成，探球材质可选择红宝石等硬性材料，测杆可以有多种形状和尺寸规格，实际应用中，需根据桌面VR系统的特点进行合适的选择，以方便标定操作。

基座主要是通过圆锥孔，在探球中心标定过程中保证探球中心位置不发生改变。

本实施例中结合图2所示的一款包含4个定位相机的桌面VR系统，阐述本发明的标定方法。本方法是针对桌面VR系统组装完成后的标定工作，因此认为各相机内参数已提前完成标定。

该方法总共包括以下三个步骤：1.标定探球中心在靶标体坐标系中的坐标；2.标定系统各相机间位姿参数；3.标定视觉系统和显示器间位姿参数。所述的标定方法，是在桌面VR系统各相机已完成内参数标定的前提下进行的，第1步和第2步是独立的，而第3步是依赖于第1、2步的标定结果的，特别的，对于批量的桌面VR系统的标定，第1步只需进行一次，由于系统的差异性，第2第3步需要对每个系统分别实施。

第一步，标定探球中心在靶标体坐标系下的坐标，如图3所示。

1.1：将测头安装在靶标体上，并将探球置于基座的圆锥孔中，整体保持在系统某个相机的视场范围内；

1.2：保持基座不动，将靶标体绕探球进行转动，采集至少6幅图像；

由于靶标点相对位置以及相机内参数已知，根据各靶标点的成像坐标，基于PNP的单目视觉定位模型，可求出每次采样中相机坐标系O_C-X_CY_CZ_C和靶标体坐标系O_T-X_TY_TZ_T间的位姿关系[R_CT|T_CT]，其中，R_CT为3×3矩阵，描述了两坐标系的旋转关系，T_CT为3×1向量，描述了两坐标系的平移关系；

设探球中心在相机坐标系下的坐标为(x_C0,y_C0,z_C0)，在靶标体坐标系下的坐标为(x_T0,y_T0,z_T0)，对于每幅图像应有[x_C0,y_C0,z_C0]^T＝R_CTi[x_T0,y_T0,z_T0]^T+T_CTi，该线性方程组共有6个未知数，因此至少6幅图像即可完成求解；

1.3：由于测量误差的存在，对于每幅采样，探球中心在相机坐标系下的实际坐标值[x_C0i,y_C0i,z_C0i]^T＝R_CTi[x_T0,y_T0,z_T0]^T+T_CTi，和(x_C0,y_C0,z_C0)存在一定偏差，以该偏差值最小建立目标函数进行最优化求解：

其中n为采样数，n≥6，n越大，标定精度越高。

第二步，标定各相机间的位姿关系参数，如图4所示。

2.1：根据桌面VR系统内相机的分布，首先将靶标体置于相机1和相机2的公共视场内，并采集图像。

2.2：基于PNP的单目视觉定位模型，可求出两相机分别和和靶标体坐标系间的位姿关系矩阵[R_C1T|T_C1T]，[R_C2T|T_C2T]，进而推出两相机间的位姿关系矩阵[R_C1C2|T_C1C2]；

2.3：同理，移动靶标体位置，分别求出相机2和相机3的位姿关系矩阵[R_C2C3|T_C2C3]、相机3和相机4的位姿关系矩阵[R_C3C4|T_C3C4]，至此，任意两相机坐标系间的都建立了直接或间接的联系，各相机间位姿参数标定完成。

第三步，标定视觉系统和显示器间位姿参数，如图5所示。

3.1：选取相机2的坐标系作为整个视觉系统的坐标系O_V-X_VY_VZ_V，根据第二步标定结果将各个相机的坐标系统一到视觉系统坐标系中；

3.2：将探球与显示器表面接触，使靶标体位于至少一个相机的视场内，采集图像；

3.3：求出探球中心在显示器坐标系下的坐标，显示器坐标系原点O_D建立在屏幕的中心点位置，X轴沿屏幕长边向右(面对显示器)，Y轴沿屏幕短边向上，Z轴垂直屏幕向外，如图5所示，探球和显示器接触点所在屏幕位置可测量出来记为(x_D,y_D,0)，设探球半径为R，则探球中心在屏幕坐标系下的坐标为(x_D,y_D,R)；

3.4：基于PNP的单目视觉定位模型，求得视觉系统和靶标体间的位姿关系矩阵[R_VT|T_VT]，根据第一步标定出来的探球中心在靶标体坐标系下的坐标，可求出探球中心在视觉系统坐标系下的坐标[x_V,y_V,z_V]^T＝R_VT[x_T0,y_T0,z_T0]^T+T_VT；

3.5：移动靶标体改变接触点位置，重复步骤3.2—3.3，求取至少3组探球中心在两个坐标系下的坐标信息(x_Di,y_Di,R)和(x_Vi,y_Vi,z_Vi)，其中，i＝1,2…n,n≥3；

3.6：设视觉系统和显示器坐标系间位姿关系矩阵为[R_VD|T_VD]，根据3.5得到的坐标值，代入[x_Vi,y_Vi,z_Vi]^T＝R_VD[x_Di,y_Di,R]^T+T_VD，即可求解出视觉系统和显示器坐标系间的位姿关系矩阵，坐标对数越多，标定结果越精确。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种用于桌面级虚拟现实系统的标定装置，其特征在于：包括靶标体、测头和基座；所述靶标体上分布有光靶标点，光靶标点的相对空间位置通过提前标定已知，光靶标点的个数满足PNP算法所需个数；所述测头由测杆和测杆端部的探球组成；所述靶标体与所述测杆端部固定连接；所述基座上具有圆锥孔。

2.根据权利要求1所述一种用于桌面级虚拟现实系统的标定装置，其特征在于：所述光靶标点采用主动发光的LED或者涂有反光材料的标志点。

3.利用权利要求1所述标定装置对桌面级虚拟现实系统进行标定的标定方法，其特征在于：包括以下步骤：

步骤1：标定探球中心在靶标体坐标系中的坐标；

步骤2：标定桌面级虚拟现实系统中各相机间的位姿参数；

步骤3：标定桌面级虚拟现实系统中视觉系统和显示器间位姿参数。

4.根据权利要求3所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤1中标定探球中心在靶标体坐标系中的坐标的具体过程为：

步骤1.1：将测头安装在靶标体上，并将探球置于基座的圆锥孔中，整体保持在桌面级虚拟现实系统中某个相机的视场范围内；

步骤1.2：保持基座不动，将靶标体绕探球进行转动，采集至少6幅图像；

步骤1.3：基于PNP的单目视觉定位模型，利用探球中心位置在相机坐标系和靶标体坐标系中均保持不变的特性，建立目标函数并进行最优化求解，得到探球中心在靶标体坐标系下的坐标。

5.根据权利要求4所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤1.3中，对于第i幅图像，有公式[x_C0i,y_C0i,z_C0i]^T＝R_CTi[x_T0,y_T0,z_T0]^T+T_CTi，其中(x_C0i,y_C0i,z_C0i)为对应第i幅图像，探球中心在相机坐标系下的坐标，(x_T0,y_T0,z_T0)为探球中心在靶标体坐标系下的坐标，R_CTi为第i幅图像对应的相机坐标系和靶标体坐标系的旋转关系，T_CTi为第i幅图像对应的相机坐标系和靶标体坐标系的平移关系；建立的目标函数为

其中n为采集的图像数；(x_C0,y_C0,z_C0)为探球中心在相机坐标系下的坐标。

6.根据权利要求3所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤2中标定桌面级虚拟现实系统中各相机间的位姿参数的具体过程为：

步骤2.1：根据桌面虚拟现实系统内相机的分布，将靶标体置于至少两个相机的公共视场内，并采集图像；

步骤2.2：基于PNP的单目视觉定位模型，求出各相机和靶标体坐标系间的位姿关系，进而得到相机间的位姿关系；

步骤2.3：移动靶标体位置，重复上述步骤，直至得到桌面虚拟现实系统内相邻相机间的位姿关系。

7.根据权利要求3所述一种对桌面级虚拟现实系统进行标定的标定方法，其特征在于：步骤3中标定桌面级虚拟现实系统中视觉系统和显示器间位姿参数的具体过程为：

步骤3.1：选取一个相机的相机坐标系作为整个视觉系统坐标系，将其余各个相机的坐标系统一到视觉系统坐标系中；

步骤3.2：将探球与显示器表面接触，使靶标体位于至少一个相机的视场内，采集图像；

步骤3.3：测量接触点在显示器上所处的位置，结合探球球径，求出探球中心在显示器坐标系下的坐标；

步骤3.4：基于PNP的单目视觉定位模型，求出探球中心在视觉系统坐标系下的坐标；

步骤3.5：移动靶标体改变接触点位置，重复步骤3.2—3.4，记录至少3组探球中心在显示器坐标系和视觉系统坐标系下的坐标信息；

步骤3.6：根据步骤3.5得到多组探球中心在显示器坐标系和视觉系统坐标系下的坐标信息，求出视觉系统和显示器坐标系间的位姿关系。