CN104732477A - 基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法 - Google Patents

Abstract

本发明涉及一种基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，其特征在于：运动捕捉摄像机组从运动捕捉系统获取的特定标记点图像信息通过摄像机数据传输交换机传输给高性能图形工作站进行处理与识别计算；电磁接收器通过无线传输将六个自由度信息发送至高性能图形工作站；高性能图形工作站计算出注册跟踪需要的变换矩阵，最后通过高性能图形工作站的显示设备进行注册跟踪效果的预览；其借助电磁式位置追踪器接收到的六个自由度的空间向量信息对注册跟踪过程进行必要的补充以及修正；另一方面，电磁式位置追踪器被电磁场干扰，影响数据计算时能借助运动捕捉系统进行正常的注册跟踪。

Description

基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法

技术领域

本发明涉及一种基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，属于增强现实技术领域。

背景技术

增强现实系统的注册跟踪技术是一种能够将虚拟场景与真实世界精确对准的方法，它实现了虚拟场景和真实世界的完美结合。一般来说，增强现实系统的注册跟踪技术主要包括三种方式：基于计算机视觉的注册跟踪方法、基于传感器的注册跟踪方法和混合式注册跟踪方法。基于计算机视觉的注册跟踪方法利用图像处理和计算机视觉技术实现虚拟场景在真实世界中的注册跟踪，这种方法具有成本低、精度高的优点，但却存在容易受光照、遮挡等环境因素影响的缺点。基于传感器的注册跟踪方法一般具有定位速度快、实时性好的优点，但是注册跟踪过程中容易受到磁场、超声波等外界因素的干扰。混合式注册跟踪方法则在注册跟踪过程中使用了两种或两种以上的注册跟踪方法，从而实现各种注册跟踪方法之间的优势互补。

基于电磁式位置追踪器的注册跟踪系统是一种比较常用的注册跟踪方法，电磁式位置追踪器主要由电磁发射器和电磁接收器两个重要部分组成。电磁接收器接收的数据中包含了六个自由度的空间向量信息（X，Y，Z，α，β，γ），即：电磁接收器坐标系原点相对于电磁发射器坐标系原点的空间位置信息（X，Y，Z）和电磁接收器坐标系相对于电磁发射器坐标系的空间姿态信息（α，β，γ）。电磁式位置追踪器虽然具有速度快、实时性好、定标简单、鲁棒性好、成本低廉、无遮挡等优点，但是电磁式位置追踪器对周围环境的要求比较严格，为了避免对电磁式位置追踪器造成电磁场畸变而影响精度，在工作空间附近区域不能有数量较多和面积较大的金属物品。光学式运动捕捉系统是使用最广泛而且也是技术最完善的运动捕捉系统，这种类型的运动捕捉系统通过对目标物体上特定标记点的识别和跟踪来完成运动捕捉的任务，基于运动捕捉系统的注册跟踪方法是一种基于计算机视觉的注册跟踪方法。运动捕捉系统通过对拍摄到的特定标记点进行图像处理，计算出特定标记点组成的刚体在三维空间中的六个自由度的空间向量信息。

混合式注册跟踪方法是一种使用两组或两组以上注册跟踪数据并将多组注册跟踪数据进行合并或融合的注册跟踪技术，混合式注册跟踪方法虽然在系统复杂性方面比单一方式的注册跟踪方法高，但是混合式注册跟踪方法在保持高精度注册跟踪的同时还增强了注册跟踪的鲁棒性。在实际应用中，一般采用的混合式注册跟踪方法主要有以下几类：基于计算机视觉和电磁传感器的注册跟踪方法、基于计算机视觉和惯性传感器的注册跟踪方法、基于计算机视觉和GPS传感器的注册跟踪方法。Hirota等人将基于计算机视觉和电磁传感器的注册跟踪方法很好地应用于多个系统；Azuma等人则设计了一种基于GPS传感器、惯性传感器和计算机视觉的户外注册跟踪系统；陈靖等人使用了基于计算机视觉和惯性传感器的注册跟踪方法用于运动结构的恢复和户外增强现实系统。

发明内容

本发明提出了一种基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，在保持增强现实系统中注册跟踪精度的前提下，为了提升注册跟踪过程的鲁棒性和健壮性，其将使用电磁式位置追踪器和运动捕捉系统进行增强现实系统的注册跟踪，运动捕捉系统由于拍摄图像的遮挡可能会造成特定标记点不能被正常计算，从而影响正确的注册跟踪结果，此时将借助电磁式位置追踪器接收到的六个自由度的空间向量信息对注册跟踪过程进行必要的补充以及修正；另一方面，电磁式位置追踪器由于金属等因素干扰电磁场，从而影响电磁式位置追踪器的数据计算，此时将借助运动捕捉系统进行正常的注册跟踪。

本发明的技术方案是这样实现的：基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，由运动捕捉摄像机组，摄像机数据传输交换机，高性能图形工作站，附加3个特定标记点的平面塑料板，电磁发射器，电磁接收器组成；其特征在于：运动捕捉摄像机组通过网线连接到摄像机数据传输交换机上，从运动捕捉系统获取的特定标记点图像信息通过摄像机数据传输交换机传输给高性能图形工作站进行处理与识别计算；电磁接收器接收电磁发射器发射的电磁信号并利用电磁接收器内部的计算单元计算出电磁接收器在电磁发射器中的六个自由度信息，电磁接收器通过无线传输将六个自由度信息发送至高性能图形工作站；高性能图形工作站获取到电磁接收器和附加3个特定标记点的平面塑料板的两组六个自由度信息后，便可计算出注册跟踪需要的变换矩阵，最后通过高性能图形工作站的显示设备进行注册跟踪效果的预览；

具体步骤如下：

步骤1、将电磁接收器固定在附加3个特定标记点的平面塑料板上，把附加3个特定标记点的平面塑料板放置在运动捕捉摄像机组的有效拍摄范围之内，该有效拍摄范围必须保证附加3个特定标记点的平面塑料板中每一个特定标记点都能够至少被3个摄像机拍摄到，保持附加3个特定标记点的平面塑料板和电磁接收器处于静止状态；

步骤2、通过运动捕捉摄像机组从运动捕捉系统中获取附加3个特定标记点的平面塑料板中3个特定标记点组成的刚体的六个自由度信息：刚体空间位置信息（X_s，Y_s，Z_s）和刚体空间姿态信息（α_s，β_s，γ_s），刚体的六个自由度信息（X_s，Y_s，Z_s，α_s，β_s，γ_s）是相对于运动捕捉系统坐标系原点得到的数据；

步骤3、通过电磁接收器获取电磁接收器在电磁发射器所产生磁场中的六个自由度信息：电磁接收器空间位置信息（X_m，Y_m，Z_m）和电磁接收器空间姿态信息（α_m，β_m，γ_m），电磁接收器的六个自由度信息（X_m，Y_m，Z_m，α_m，β_m，γ_m）是相对于电磁发射器的坐标系原点得到的数据；

步骤4、使用方程组（1）和方程组（2）计算出电磁接收器相对于刚体六个自由度数据的差值，以便将电磁接收器的六个自由度信息变换到运动捕捉系统坐标系中：

其中，分别表示电磁接收器空间位置信息（X_m，Y_m，Z_m）相对于运动捕捉系统坐标系原点在X轴、Y轴、Z轴方向上的差值，分别表示电磁接收器空间姿态信息（α_m，β_m，γ_m）相对于运动捕捉系统坐标系Z轴、X轴、Y轴偏转角度的差值；

步骤5、设

；

步骤6、移动附加3个特定标记点的平面塑料板进行任意位置的旋转和平移，使用电磁接收器获取电磁接收器的空间位置信息（X_mn，Y_mn，Z_mn）和电磁接收器的空间姿态信息（α_mn，β_mn，γ_mn），使用运动捕捉摄像机组获取刚体的空间位置信息（X_sn，Y_sn，Z_sn）和刚体的空间姿态信息（α_sn，β_sn，γ_sn）；

步骤7、如果使用运动捕捉摄像机组不能获取到刚体的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn），或者获取到的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn）满足不等式方程组（3）和不等式方程组（4），则继续执行步骤8，否则设置

并跳转到步骤9执行；

其中：为运动捕捉系统的最大平移差量，为运动捕捉系统的最大旋转角度差量；

步骤8、如果使用电磁接收器不能接收到电磁接收器的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn），或者获取到的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn）满足不等式方程组（5）和不等式方程组（6），则跳转到步骤6执行，否则设置

并继续执行步骤9；

其中：为电磁式位置追踪器的最大平移差量，为电磁式位置追踪器的最大旋转角度差量；

步骤9、根据空间位置信息（X_RT、Y_RT、Z_RT）和空间姿态信息（α_RT、β_RT、γ_RT）对三维模型进行平移和旋转操作，即：将三维模型平移到三维坐标点（X_RT、Y_RT、Z_RT）处、围绕Z轴进行α_RT角度的旋转、围绕X轴进行β_RT角度的旋转、围绕Y轴进行γ_RT角度的旋转，然后根据变换后的三维虚拟场景进行重新渲染并通过高性能图形工作站将渲染后得到的图像在显示设备上进行显示；

步骤10、令

，重新回溯到步骤6执行附加3个特定标记点的平面塑料板在新姿态下的三维虚拟景物的注册跟踪操作。

本发明的积极效果是结合使用电磁式位置追踪器和运动捕捉系统并利用二者之间的优势互补关系，本发明提出了一种基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，该方法具有注册跟踪精度高、鲁棒性强、适用范围广等优点，而且通过使用本发明中的注册跟踪方法还可以将其应用到虚拟漫游和人机交互系统。

附图说明

图1是基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法所需设备构成图。其中：1为运动捕捉摄像机组，2为摄像机数据传输交换机，3为高性能图形工作站，4为附加3个特定标记点的平面塑料板，5为电磁发射器，6为电磁接收器。此图是说明书摘要附图。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述：如图1所示，基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，由运动捕捉摄像机组1，摄像机数据传输交换机2，高性能图形工作站3，附加3个特定标记点的平面塑料板4，电磁发射器5，电磁接收器6组成；其特征在于：运动捕捉摄像机组1通过网线连接到摄像机数据传输交换机2上，从运动捕捉系统获取的特定标记点图像信息通过摄像机数据传输交换机2传输给高性能图形工作站3进行处理与识别计算；电磁接收器6接收电磁发射器5发射的电磁信号并利用电磁接收器6内部的计算单元计算出电磁接收器6在电磁发射器5中的六个自由度信息，电磁接收器6通过无线传输将六个自由度信息发送至高性能图形工作站3；高性能图形工作站3获取到电磁接收器6和附加3个特定标记点的平面塑料板4的两组六个自由度信息后，便可计算出注册跟踪需要的变换矩阵，最后通过高性能图形工作站3的显示设备进行注册跟踪效果的预览。

具体方法如下：

步骤1、将电磁接收器6固定在附加3个特定标记点的平面塑料板4上，把附加3个特定标记点的平面塑料板4放置在运动捕捉摄像机组1的有效拍摄范围之内，该有效拍摄范围必须保证附加3个特定标记点的平面塑料板4中每一个特定标记点都能够至少被3个摄像机拍摄到，保持附加3个特定标记点的平面塑料板4和电磁接收器6处于静止状态。

步骤2、通过运动捕捉摄像机组1从运动捕捉系统中获取附加3个特定标记点的平面塑料板4中3个特定标记点组成的刚体的六个自由度信息：刚体空间位置信息（X_s，Y_s，Z_s）和刚体空间姿态信息（α_s，β_s，γ_s），刚体的六个自由度信息（X_s，Y_s，Z_s，α_s，β_s，γ_s）是相对于运动捕捉系统坐标系原点得到的数据。

步骤3、通过电磁接收器6获取电磁接收器6在电磁发射器5所产生磁场中的六个自由度信息：电磁接收器空间位置信息（X_m，Y_m，Z_m）和电磁接收器空间姿态信息（α_m，β_m，γ_m），电磁接收器6的六个自由度信息（X_m，Y_m，Z_m，α_m，β_m，γ_m）是相对于电磁发射器5的坐标系原点得到的数据。

步骤4、使用方程组（1）和方程组（2）计算出电磁接收器6相对于刚体六个自由度数据的差值，以便将电磁接收器6的六个自由度信息变换到运动捕捉系统坐标系中：

其中，分别表示电磁接收器6空间位置信息（X_m，Y_m，Z_m）相对于运动捕捉系统坐标系原点在X轴、Y轴、Z轴方向上的差值，分别表示电磁接收器6空间姿态信息（α_m，β_m，γ_m）相对于运动捕捉系统坐标系Z轴、X轴、Y轴偏转角度的差值。

步骤5、设

。

步骤6、移动附加3个特定标记点的平面塑料板4进行任意位置的旋转和平移，使用电磁接收器6获取电磁接收器的空间位置信息（X_mn，Y_mn，Z_mn）和电磁接收器的空间姿态信息（α_mn，β_mn，γ_mn），使用运动捕捉摄像机组1获取刚体的空间位置信息（X_sn，Y_sn，Z_sn）和刚体的空间姿态信息（α_sn，β_sn，γ_sn）。

步骤7、如果使用运动捕捉摄像机组1不能获取到刚体的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn），或者获取到的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn）满足不等式方程组（3）和不等式方程组（4），则继续执行步骤8，否则设置

并跳转到步骤9执行；

其中：为运动捕捉系统的最大平移差量，取值范围为0.5毫米到0.8毫米，为运动捕捉系统的最大旋转角度差量，取值范围为0.8度到1.2度。

步骤8、如果使用电磁接收器6不能接收到电磁接收器6的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn），或者获取到的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn）满足不等式方程组（5）和不等式方程组（6），则跳转到步骤6执行，否则设置

并继续执行步骤9；

其中：为电磁式位置追踪器的最大平移差量，取值范围为1毫米到1.3毫米，为电磁式位置追踪器的最大旋转角度差量，取值范围为1度到1.4度。

步骤9、根据空间位置信息（X_RT、Y_RT、Z_RT）和空间姿态信息（α_RT、β_RT、γ_RT）对三维模型进行平移和旋转操作，即：将三维模型平移到三维坐标点（X_RT、Y_RT、Z_RT）处、围绕Z轴进行α_RT角度的旋转、围绕X轴进行β_RT角度的旋转、围绕Y轴进行γ_RT角度的旋转，然后根据变换后的三维虚拟场景进行重新渲染并通过高性能图形工作站3将渲染后得到的图像在显示设备上进行显示。

步骤10、令

，重新回溯到步骤6执行附加3个特定标记点的平面塑料板在新姿态下的三维虚拟景物的注册跟踪操作。

Claims (1)

1.基于电磁式位置追踪器和运动捕捉系统的注册跟踪方法，由运动捕捉摄像机组，摄像机数据传输交换机，高性能图形工作站，附加3个特定标记点的平面塑料板，电磁发射器，电磁接收器组成；其特征在于：运动捕捉摄像机组通过网线连接到摄像机数据传输交换机上，从运动捕捉系统获取的特定标记点图像信息通过摄像机数据传输交换机传输给高性能图形工作站进行处理与识别计算；电磁接收器接收电磁发射器发射的电磁信号并利用电磁接收器内部的计算单元计算出电磁接收器在电磁发射器中的六个自由度信息，电磁接收器通过无线传输将六个自由度信息发送至高性能图形工作站；高性能图形工作站获取到电磁接收器和附加3个特定标记点的平面塑料板的两组六个自由度信息后，便可计算出注册跟踪需要的变换矩阵，最后通过高性能图形工作站的显示设备进行注册跟踪效果的预览；

具体步骤如下：

步骤1、将电磁接收器固定在附加3个特定标记点的平面塑料板上，把附加3个特定标记点的平面塑料板放置在运动捕捉摄像机组的有效拍摄范围之内，该有效拍摄范围必须保证附加3个特定标记点的平面塑料板中每一个特定标记点都能够至少被3个摄像机拍摄到，保持附加3个特定标记点的平面塑料板和电磁接收器处于静止状态；

步骤2、通过运动捕捉摄像机组从运动捕捉系统中获取附加3个特定标记点的平面塑料板中3个特定标记点组成的刚体的六个自由度信息：刚体空间位置信息（X_s，Y_s，Z_s）和刚体空间姿态信息（α_s，β_s，γ_s），刚体的六个自由度信息（X_s，Y_s，Z_s，α_s，β_s，γ_s）是相对于运动捕捉系统坐标系原点得到的数据；

步骤3、通过电磁接收器获取电磁接收器在电磁发射器所产生磁场中的六个自由度信息：电磁接收器空间位置信息（X_m，Y_m，Z_m）和电磁接收器空间姿态信息（α_m，β_m，γ_m），电磁接收器的六个自由度信息（X_m，Y_m，Z_m，α_m，β_m，γ_m）是相对于电磁发射器的坐标系原点得到的数据；

步骤4、使用方程组（1）和方程组（2）计算出电磁接收器相对于刚体六个自由度数据的差值，以便将电磁接收器的六个自由度信息变换到运动捕捉系统坐标系中：

其中，分别表示电磁接收器空间位置信息（X_m，Y_m，Z_m）相对于运动捕捉系统坐标系原点在X轴、Y轴、Z轴方向上的差值，分别表示电磁接收器空间姿态信息（α_m，β_m，γ_m）相对于运动捕捉系统坐标系Z轴、X轴、Y轴偏转角度的差值；

步骤5、设

；

步骤6、移动附加3个特定标记点的平面塑料板进行任意位置的旋转和平移，使用电磁接收器获取电磁接收器的空间位置信息（X_mn，Y_mn，Z_mn）和电磁接收器的空间姿态信息（α_mn，β_mn，γ_mn），使用运动捕捉摄像机组获取刚体的空间位置信息（X_sn，Y_sn，Z_sn）和刚体的空间姿态信息（α_sn，β_sn，γ_sn）；

步骤7、如果使用运动捕捉摄像机组不能获取到刚体的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn），或者获取到的空间位置信息（X_sn，Y_sn，Z_sn）和空间姿态信息（α_sn，β_sn，γ_sn）满足不等式方程组（3）和不等式方程组（4），则继续执行步骤8，否则设置

并跳转到步骤9执行；

其中：为运动捕捉系统的最大平移差量，为运动捕捉系统的最大旋转角度差量；

步骤8、如果使用电磁接收器不能接收到电磁接收器的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn），或者获取到的空间位置信息（X_mn，Y_mn，Z_mn）和空间姿态信息（α_mn，β_mn，γ_mn）满足不等式方程组（5）和不等式方程组（6），则跳转到步骤6执行，否则设置

并继续执行步骤9；

其中：为电磁式位置追踪器的最大平移差量，为电磁式位置追踪器的最大旋转角度差量；

步骤9、根据空间位置信息（X_RT、Y_RT、Z_RT）和空间姿态信息（α_RT、β_RT、γ_RT）对三维模型进行平移和旋转操作，即：将三维模型平移到三维坐标点（X_RT、Y_RT、Z_RT）处、围绕Z轴进行α_RT角度的旋转、围绕X轴进行β_RT角度的旋转、围绕Y轴进行γ_RT角度的旋转，然后根据变换后的三维虚拟场景进行重新渲染并通过高性能图形工作站将渲染后得到的图像在显示设备上进行显示；

步骤10、令

，重新回溯到步骤6执行附加3个特定标记点的平面塑料板在新姿态下的三维虚拟景物的注册跟踪操作。