CN112955930A

CN112955930A - 用于对移动对象进行反向光学跟踪的系统和方法

Info

Publication number: CN112955930A
Application number: CN201880099238.0A
Authority: CN
Inventors: 彼得·维亚切斯拉沃维奇·塞沃斯托亚诺夫
Original assignee: ALT LLC
Current assignee: ALT LLC
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2021-06-11
Also published as: EP3876198A4; EP3876198A1; WO2020089675A1; JP2022520140A; SG11202104325UA

Abstract

本发明涉及用于对移动对象进行跟踪的方法和系统。它可以用于虚拟现实系统或增强现实系统、现场物流系统(在制造、仓库或商店中)、机器人系统、无人移动对象的控制系统以及其它种类的工业、科学、训练系统等。跟踪方法包括通过检测和配准基本光学图案的独特组合来自动调节跟踪区域的步骤，以及通过检测基本光学图案的独特组合及将该独特组合与在跟踪区域调节期间配准的基本光学图案的独特组合的比较来跟踪移动对象的位置和/或取向的变化的步骤。用于跟踪移动对象的系统包括处于移动对象上的至少一个跟踪器，该跟踪器包括光学传感器、至少一个标记条和中央处理单元，该至少一个标记条包括在从光学传感器获得的图像中形成基本光学图案的有源标记。

Description

用于对移动对象进行反向光学跟踪的系统和方法

技术领域

本发明涉及用于对移动对象进行跟踪的方法和系统。它可以用于虚拟现实系统或增强现实系统、现场物流系统、机器人系统、无人移动对象的控制系统以及其它种类的工业、科学、训练系统等。

背景技术

跟踪移动对象在许多应用中使用，例如在VR(虚拟现实)系统、AR(增强现实)系统、现场物流系统(例如，与制造、仓库或商店物流相关)、机器人系统、无人移动对象的控制系统(例如，与运载工具相关)等中。在以下描述中，主要考虑VR/AR系统的跟踪手段；然而，要求保护的跟踪概念对于所有上述系统基本上是相同的。

基于跟踪系统的配置，跟踪概念可以被分类为由外而内跟踪和由内而外跟踪，在由外而内跟踪中，一个传感器或多个传感器处于被跟踪对象外部的空间中，而一个参考点或多个参考点(例如，标记)处于被跟踪对象上，其中，在由内而外跟踪中，一个传感器或多个传感器处于被跟踪对象上，而一个参考点或多个参考点处于被跟踪对象外部的空间中。

基于传感器类型，跟踪概念可以被分类为光学跟踪和惯性跟踪，在光学跟踪中使用光学传感器(例如，可以在可见光或红外范围中操作的摄像头)，其中，在惯性跟踪中，使用惯性传感器(例如，陀螺仪和加速度计)。此外，磁场传感器(即磁力计)、高度传感器(即高度计)和一些其它类型的传感器也可以用于跟踪系统中。

另外，存在使用集中式定位系统的跟踪系统，包括全球或本地、基于卫星或陆地的系统。此外，存在无标记跟踪系统，包括基于同时定位和地图绘制(SLAM)方法的那些系统。

在游戏、娱乐和训练VR/AR系统中使用的大多数跟踪系统是组合跟踪系统。尤其，光学惯性跟踪系统被广泛使用；光学惯性跟踪系统基于光学传感器和惯性传感器的组合应用，这允许彼此互补并且平衡它们的缺点。

对于由内而外的光学跟踪系统和光学惯性跟踪系统，跟踪区域的快速和精确确定是重要的，其中摄像机处于移动对象上，并且光学发光标记或反光标记(其是用于光学跟踪的参考点)以预定方式固定地安装在跟踪区域(地点或房间)中。

当跟踪区域是固定的(即，预定的)时，跟踪系统必须提供对机架区域的配置可选方案及其加载参数的快速选择。当跟踪区域可变时(即，当跟踪区域的形状和尺寸事先未知时)，跟踪系统必须提供机架区域的快速和精确的调节。非常优选的是，避免在开始其操作之前对跟踪系统进行校准的需要，或者提供尽可能多的自动校准。

公布的专利申请US2008285854A1、US2013106833A1、US2017086941A1、WO2014199196A1、WO2017050761A1示出跟踪系统领域中现有技术的一般视图。

公布的专利申请DE102015013551A1、EP1645241A1(US2006082789A1)、EP2339537A1、US2017168592A1和专利US6787750B1公开了在跟踪系统中使用有源IR标记。专利US6787750B1也公开了机架区域的自动确定。

公布的专利申请US2011079703A1、US2017358139A1公开了使用安装在移动对象上的光学传感器(摄像头)和惯性传感器(陀螺仪或加速度计)的跟踪系统。

公布的专利申请EP2012170A1、US2004080548A1公开了在跟踪系统中使用有源IR标记，该跟踪系统包括安装在移动对象上的光学传感器(摄像头)和惯性传感器(陀螺仪或加速度计)。

公布的专利申请WO2007102857A2、WO2016102721A1公开了在跟踪系统中使用有源IR标记以及识别由固定标记形成的光学图案，所述跟踪系统包括安装在移动对象上的光学传感器(摄像头)和惯性传感器(陀螺仪或加速度计)。

公布的专利申请WO2016187609A1公开了由固定标记形成的光学图案的识别。公布的专利申请WO2013071981A1公开了在跟踪系统中使用有源IR标记以及识别由固定标记形成的光学图案，该跟踪系统包括安装在移动对象上的光学传感器(摄像头)和惯性传感器(陀螺仪或加速度计)。

非专利文献[1]公开了由四个反光标记形成的线状图案和平面图案的检测。检测由两个摄像头执行(由外而内跟踪)。

非专利文献[2]公开了由四个反光标记形成的线状图案和平面图案的检测。检测由多个摄像头执行(由外而内跟踪)。

非专利文献[3]公开了在基于通用可穿戴设备的VR系统中使用复杂对比平面标记。

非专利文献[4]公开了使用多个摄像头(由外而内跟踪)检测由反光标记形成的各种图案(范围从一点标记到多点三维标记)。

非专利文献[5]公开了使用多个摄像头通过点云来检测和识别反光IR标记的方法(由外而内的基于点云的跟踪方法)。

非专利文献[6]公开了使用卡尔曼滤波器来检测和识别反光IR标记，其中应用多个摄像头而不检测图案(由外而内跟踪)。

非专利文献[7]公开了使用彩色反光标记用于运动捕捉，随后形成用于3D动画的3D模型(由外而内跟踪)。

非专利文献[8]公开了在由内而外光学跟踪中使用复杂对比平面标记。

非专利文献[9]公开了使用由安装在天花板上的多个发光二极管形成的线状图案，其中使用一个摄像头(由内而外跟踪)；提到了缩放跟踪区域的可能性。

非专利文献[10]公开了使用具有同心放置的标记的平面图案以用于任何种类的光学跟踪。

非专利文献[11]公开了使用LED标记的发射强度的时间调制以用于任何种类的光学跟踪。

非专利文献[12]公开了使用Wii遥控器由外而内跟踪无线耳机的用户，该无线耳机配备有形成矩形平面光学图案的四个发光二极管，以用于提供逼真的动态声场。

非专利文献[9]的技术方案是与所要求保护的发明最接近的技术；它使用均匀地安装在天花板上在其区域上方的LED条。这种条具有基于被转换成循环曼彻斯特代码的DeBruijn序列的线状图案的重复序列。

然而，根据上述引用的专利和非专利文献，当跟踪器安装在可移动对象上并且跟踪器包括光学传感器和(可选地)惯性传感器时，没有解决使用由以预定方式安装在地点或房间中的固定IR标记形成的相同类型的多个光学标记来自动调节跟踪区域并因此限制操作区域的问题的方案，其中使用由内而外光学跟踪或光学惯性跟踪可移动对象。应当注意，在现有技术中甚至从未定义这个问题。

目前，市场上没有任何提供该功能并且在虚拟现实系统或增强现实系统中用于游戏、娱乐或训练目的跟踪系统。而且，所要求保护的解决方案的发明人不知道具有这种功能的任何跟踪系统，其将被用于生产、仓库或商店物流系统、机器人系统、人控制的或无人的移动对象的控制系统等。

发明内容

对于任何用于跟踪移动对象的系统，尤其是VR/AR跟踪系统，重要的是使系统在其接通、重新启动、改变配置或改变操作场景之后尽可能快地准备好操作。如果跟踪区域是固定的(预定义的)，则要求跟踪系统提供针对特定跟踪区域的快速配置选择以及快速加载其参数。如果跟踪区域是可变的(即，当预先不知道跟踪区域的形式和尺寸时)，则要求跟踪系统提供对跟踪区域的快速和精确的调节。非常优选的是，允许避免校准跟踪系统或者至少实现尽可能多的自动校准过程。

使用根据本发明的用于跟踪移动对象的方法和系统解决了当跟踪器被安装在移动对象上并且跟踪器包括光学传感器和(可选地)惯性传感器时，用于由内而外光学跟踪或光学惯性跟踪移动对象的跟踪区域的自动调节的问题。

一种跟踪移动对象的方法，包括以下步骤：

自动调节跟踪区域的步骤，包括检测和配准基本光学图案的独特组合；

跟踪移动对象的位置和/或取向的改变的步骤，包括检测基本光学图案的独特组合及其比较，其中在跟踪区域的调节期间配准基本光学图案的独特组合。

跟踪区域的调节可以包括以下步骤：

(S1)定义跟踪区域；

(S2)确定跟踪窗口的尺寸并且将跟踪窗口放置在初始位置；

(S3)定义由跟踪窗口内的标记形成的基本光学图案；

(S4)形成“星座”候选者的ID；

(S5)验证每个“星座”候选者的独特性，如果不是独特的，则标记“星座”候选者的ID；

(S6)将所述“星座”候选者的ID记录到“星座”表中；

(S7)将所述跟踪窗口旋转预定义角度；

(S8)对所述旋转的跟踪窗口执行步骤S2-S6；

(S9)验证是否已经执行了所需的旋转次数，并且在必要时重复步骤S7、S8；

(S10)将所述跟踪窗口移位预定义节距；

(S11)对所述移位的跟踪窗口执行步骤S2-S9；

(S12)验证所述跟踪区域是否被完全覆盖，并且在必要时重复步骤S10、S11；

(S13)从所述“星座”表中删除所述“星座”候选者的非独特ID。

可以针对“星座”候选者的每个ID和其子“星座”候选者的每个ID执行步骤S4、S5、S6和S13。在步骤S2之前，可以将跟踪区域的投影划分为单元，并且在步骤S2中，能够以单元的数量指定跟踪窗口的尺寸。

跟踪移动对象的位置和/或取向的改变可以包括以下步骤：

(S21)从处于移动对象上的光学传感器读取图像并进行图像的预处理；

(S22)检测由跟踪窗口内的标记形成的基本光学图案；

(S23)形成“星座”的ID；

(S24)使用“星座”表识别所形成的“星座”的ID；

(S25)基于在步骤S24中识别的“星座”确定移动对象的位置和取向。

步骤S21可以包括以下步骤：

(S31)从光学传感器读取图像；

(S32)补偿读取的图像的几何失真；

(S33)可选地将所述图像投影到操作平面上；

(S34)对图像进行归一化；

(S35)在图像中分配跟踪窗口。

步骤S22可以包括以下步骤：

(S41)在所述跟踪窗口内，任意选择与所述标记对应的三个点；

(S42)在所选择的三个点中确定两个参考点；

(S43)对于参考点，根据基本光学图案确定第三点的标称位置；

(S44)确定所述第三点的实际位置与所述第三点的标称位置之间的偏差值δ；

(S45)验证偏差值δ；如果偏差值δ不超过预定阈值，则(S46)在基本光学图案候选者列表中列出三个点的组合，如果偏差值δ超过预定阈值，则(S47)丢弃三个点的组合；

(S48)验证是否已经处理了三个点的所有可能组合，并且在必要时重复步骤S41-S47；

(S49)基于偏差值δ，挑选出基本光学图案候选者的列表；

(S50)从基本光学图案候选者的列表中选择具有最小偏差值δ的基本光学图案候选者；

(S51)验证在所述基本光学图案候选者中是否存在任何使用的点；如果其中存在至少一个使用点，则(S52)丢弃基本光学图案候选者；如果其中不存在所使用的点，则(S53)基本光学图案候选者被列在有效基本光学图案的列表中；列出的基本光学图案的所有点被标记为已使用；

(S54)对剩余的基本光学图案候选者执行步骤S50-S53。

一种用于跟踪移动对象的系统，包括：

至少一个跟踪器，处于移动对象上(例如，在VR/AR系统的用户上)，同时所述跟踪器包括光学传感器；

至少一个标记条，包括在从所述光学传感器获得的图像中形成基本光学图案的有源标记；

中央数据处理设备，部分地执行如上所述的跟踪移动对象的方法。

光学传感器可以是矩阵光学传感器。标记条的至少一部分可以处于地板或其它基础结构上。标记条可以集成到拼图地板垫中。标记条的至少一部分可以处于天花板、墙壁、梁、桅杆等上，或者以任何其它方式安装在跟踪区域内的地板或其它基础结构上方。

有源标记可以是红外发光标记。基本光学图案可以是线状基本光学图案或非线状基本光学图案。跟踪器可以包括本地数据处理设备，本地数据处理设备部分地执行如上所述的跟踪移动对象的方法。

跟踪器和中央数据处理设备可以通过无线数据传输链路连接，该无线数据传输链路被配置用于在跟踪区域的自动调节步骤期间传输调节数据以及在跟踪移动对象的方法中的跟踪步骤期间传输跟踪器的位置和/或取向数据，如上所述。

根据上述方法，跟踪系统可以被配置为通过检测和配准基本光学图案的独特组合来自动调节跟踪区域。根据上述方法，跟踪系统可以被配置为通过检测基本光学图案的独特组合并且通过将其与在跟踪区域的调节期间配准的基本光学图案的独特组合进行比较来跟踪移动对象的位置和/或取向的改变。

本发明的其它特征和优点将在以下描述中阐述，并且部分地将从描述中显而易见，或者可以通过本发明的实践来学习。本发明的优点将通过在书面描述及其权利要求以及附图中特别指出的结构来实现和获得。

应当理解，前面的一般描述和下面的详细描述都是示例性和说明性的，并且旨在提供对所要求保护的本发明的进一步解释。

附图说明

附图被包括以提供对本发明的进一步理解并且被并入并构成本说明书的一部分，附图示出本发明的实施例并且与说明书一起用于解释本发明的原理。

在附图中：

图1示出根据本发明的VR/AR系统的实现方式的示例。

图2示出跟踪器的框图。

图3示出处于展开状态的标记条的示例。

图4示出处于卷绕状态的标记条的示例。

图5示出使用弹性拼图地板垫安装标记的示例。

图6示出标记条在地板上的位置的示例。

图7示出在天花板上安装标记条的示例。

图8示出标记条在弹性拼图地板垫中的位置，其中，每个拼图块对应于该跟踪区域的单元。

图9示出对跟踪区域的单元进行编号的示例。

图10示出由标记条形成的基本光学图案，其中，其标称中心用圆标记，并且其标称方向用箭头指示；方向可以由数字指示符来指定(例如，编码为0、1、2、3)。

图11示出基本光学图案在正方形跟踪区域中的位置的示例。

图12A示出基本光学图案的独特组合的示例。

图12B示出基本光学图案的非独特组合的示例。

图13A、13B示出基本光学图案的独特组合(“星座”)的配准算法的框图。

图14示出多用户VR/AR系统中的阴影标记的示例。

图15示出跟踪算法的框图。

图16示出从光学传感器获得的图像的示例。

图17示出在补偿几何失真和投影到操作平面上之后的图16的图像的示例。

图18示出在归一化之后的图17的图像的示例。

图19示出图18的图像的示例，其中相对于网格示出基本光学图案的位置。

图20示出读取和预处理从光学传感器获得的图像的算法的框图。

图21示出在从光学传感器获得的图像中检测基本光学图案的算法的框图。

图22示出基本光学图案的第三点的标称和实际位置的示例。

图23示出基本光学图案的非共线位置的示例。

具体实施方式

现在将详细参考本发明的优选实施例，在附图中示出实施例的示例。

VR/AR系统的跟踪区域可能经受改变，具体而言，跟踪区域的形状和尺寸可能在VR/AR系统的使用寿命期间由于其传输到另一站点或另一房间、由于用户数量的改变、或者根据VR/AR系统的场景(例如，游戏)而改变。跟踪区域的形状和尺寸的改变需要调节跟踪系统。在移动VR/AR系统中，每当部署系统时，需要调节跟踪系统。在本发明的跟踪系统中，即使在VR/AR系统的多用户操作模式中，也解决了跟踪区域的自动调节的问题，并且提高了跟踪精度和可靠性。

在由内而外光学惯性跟踪系统中，提供跟踪的设备(跟踪器)被放置在要被跟踪的可移动对象上，而在由跟踪器捕获的图像中形成特定组合(光学图案)的光源(有源标记)被固定并且处于VR/AR系统的操作区域内。VR/AR系统可以包括一个或多个跟踪器；每个跟踪器允许独立于其它跟踪器确定对应的可移动对象(或其一部分)的位置和取向。

图1示出VR/AR系统1的实施示例，包括头盔或AR眼镜形式的头戴式显示器(HMD)5、处于HMD 5上的跟踪器10、也处于HMD 5上或中的中央数据处理设备(主机)6、跟踪器20、跟踪器30和包括有源标记40、41、42的标记条4。HMD 5向用户7提供由系统1生成的图像的呈现，其中基于从跟踪器10、20、30获取的跟踪数据生成图像。呈现给用户的图像可以是虚拟现实3D图像或增强现实3D图像。由跟踪器10、20、30生成的跟踪数据包括关于跟踪器的空间位置的数据，并且因此包括关于用户7的对应身体部分的空间位置的数据、关于跟踪器的取向的数据以及它们的运动参数，即方向、速度和加速度。

跟踪器10包括光学传感器101和一个或多个惯性传感器102。跟踪器10还包括用于处理跟踪数据的数据处理设备103。数据处理设备103提供所有传感器的同步、从光学传感器、一个或多个惯性传感器获取数据、处理光学传感器的数据以形成关于在图像中发现的标记的信息、以及确定跟踪器的位置和取向。跟踪器10还包括电源104、通信设备105、存储器设备106和作为VR/AR系统1的一部分的操作所必需的其它部件。跟踪器10通过无线链路如WiFi、蓝牙等连接到中央数据处理设备6，以传输调节数据和跟踪数据。

跟踪器20和跟踪器30可以与跟踪器10相同，或者它们可以根据相应用户身体部分的不同运动方式而具有一些差异。尤其，与处于用户手中的游戏控制器连接的跟踪器20和30能够比处于用户头部上的跟踪器10跟踪更快和更不平稳的移动。然而，跟踪系统的主要操作概念保持基本上相同。在本申请人拥有的较早公布的专利申请PCT/IB2017/058068和美国专利申请号15844967中讨论了跟踪器的各种实现方式，这两个专利申请通过引用整体结合于此。在本申请人拥有的公布的专利申请PCT/RU2014/001019和美国专利申请号15540313中讨论了适用于本发明的光学传感器的配置，这两个专利申请通过引用整体结合于此。

标记条4(图3)包括由聚合物材料制成的窄柔性条形式的基座，其中柔性导体向有源标记40、41、42提供电力供应。基座材料可以是织造或非织造材料。基座和导体的柔性确保了在存储和运输期间处于卷起状态的标记条的紧凑尺寸(图4)；然而，这种布置确保了其足够的横向刚度(在其安装平面中)以及标记之间的恒定距离，这对于提供稳定的光学图案是必要的。导体可以是基于厚膜或薄膜技术的金属、金属化、氧化物、复合物，以便以大约几瓦的功耗值提供安全电压的供应。有源标记40、41、42可以通过任何适当的方式固定到基座，以便提供基座到预定位置的可靠附着和电源电压的馈送。在本发明的说明性实施例中，使用扁平条金属导体，并且有源标记40、41、42通过磁性连接器紧固到基座，从而提供将标记快速且容易地安装到基座上以及从其拆卸，同时当用户无意地物理接触标记时，容易地拆卸标记保护标记条4免受损坏。从电源45经由电缆44和电连接器43向标记40、41、42供电。

在本发明的说明性实施例中，有源标记40、41、42是发光IR标记。在本发明的其它实施例中，有源标记40、41、42可以在其它频率范围中操作，例如在可见光范围中。

电源45可以是任何市电连接的或离线的电源，其提供所需的安全AC或DC电压(例如，5、6、12、24、36或48V)。例如，5VDC或12VDC电池，如经常用于为移动设备供电/充电的PowerBank，或者12.6VDC电池，如当主电池放电时用于促进汽车引擎启动的增压器，可以用作离线电源。如果在系统1中使用多个标记条4，则电力供应可以由单个电源以集中的方式提供；备选地，当每个标记条4由单独的电源供电时，可以以分布式方式提供电力供应。对于永久性商用VR/AR系统，集中式电力供应可能是优选的，尤其是当标记条4被内置到地板中或处于房间的墙壁或天花板上时。分布式电力供应对于移动业余VR/AR系统可能是优选的，尤其是适合于户外使用。

电缆44和电连接器43可以是任何合适的类型。选择它对于技术人员来说是一个微不足道的任务，因此省略了这一点。

每个标记40、41、42是具有近半球形方向特性的IR LED发射器。通过一个或多个LED芯片的放置和取向以及通过使用例如基于菲涅耳透镜的光漫射器来确保所需的方向特性。该标记可以包括驱动器，该驱动器在宽范围的电源电压中提供LED发射器的操作能力。

以预定方式定位的标记40、41、42的组合形成基本光学图案(为了简洁起见，在下文中可以称为“基本图案”)，该基本光学图案的存在和空间位置由中央数据处理设备6基于来自跟踪器10的数据流中可用的标记数据来检测。在由内而外跟踪概念中，使用有源(即，发光)标记是优选的；与使用无源(反光)标记相比，这提供了许多优点。尤其，当使用有源标记时，不需要用于跟踪器的额外电力供应来照射无源标记；当跟踪器放置在可移动对象上时，这是特别重要的。可用的跟踪区域尺寸由标记的尺寸和亮度来定义。通过与市电连接的或离线的电源为标记供电允许成倍增加标记的发射功率，从而扩展跟踪区域尺寸，而跟踪器本身的功耗不变。

基本图案可以是线状图案，其由标记数据处理算法检测。线状图案的特征在于标记之间的距离的预定比率。尤其，在本发明的实施例中，三个标记被设置成一行并形成序列40-41-42，如图3所示，标记40和41之间的距离是标记41和42之间的距离的两倍。只要在系统中保持基本图案的可靠识别，距离比率可以是不同的。

可以通过增加标记条4的长度来缩放操作区域，同时保持距离比率，并且标记的发光表面及其亮度足够大或足够高。这允许基本上扩展操作区域，同时提供高的跟踪参数，只要保持光学传感器帧内的标记斑点的角度和亮度参数。

基本图案可以是具有更多标记的线状图案，例如四个、五个等标记。基本图案也可以是非线状图案，即，标记可以不布置在一条线上。

除了上述增加操作区域的方法外，通过增加标记条，存在几乎无限制地缩放操作区域的可能性。在这种情况下，基本图案的组合被添加到整个跟踪图像，而不是单独标记的组合。因此，系统检测帧中预定义基本图案的存在，然后确定图案相对于彼此的布置。这允许限定基本图案的组合，以便确保跟踪系统基于基本图案的地图在操作区域内对跟踪器位置的明确确定，所述基本图案的地图在跟踪系统的调节期间被限定。该方法可以用于布置被设置在一个房间中的简单形状的操作区域，或者复杂形状的操作区域，复杂形状可以分布在多个相邻房间上。

因此，本发明的一个优点是通过添加新的标记条来快速且容易地缩放跟踪区域，并且在这种缩放之后自动调节跟踪区域。在标记处于可移动对象上的由外而内的光学跟踪系统中，应当采用附加的摄像头来扩展跟踪区域，这通常是复杂且昂贵的方式。在本发明中，标记条的成本低，并且其安装的劳动量可以忽略。

根据剧本玩法或游戏玩法，标记条可以布置在房屋的地板、墙壁或天花板上。当标记条布置在墙壁和天花板上，或地板和墙壁上时，组合可选方案也是可能的。在本发明的固定实施例中，标记可以内置在地板、墙壁或天花板中。在本发明的类似展示样品的可运输实施例中，标记可以内置在分段可拆卸的地板中，该地板是展示安装套件的一部分。一种将标记条安装在柱、梁、悬臂和其它支撑结构上的可选方案，包括可拆卸和可移动的结构。

作为备选方案，在本发明的固定和可移动实施例中，标记条可以使用弹性分段地板垫(拼图地板垫，见图3)来布置，当处于操作位置时，弹性分段地板垫互相耦联，从而确保布置操作区域的几何精度、其形状和尺寸稳定性，因此，便于VR/AR系统1的设置和调节。标记可以安装在地板垫的预定点。预定点可以是接收标记的相应形状的孔，而未使用的孔可以用由与地板垫本身相同的材料制成的塞子封闭。当采用集中式电力供应时，供电线可以布置在地板垫下面。电力供应线可以是扁平条形状，这种设计消除了它们在地板垫工作表面上的不规则外观。将图3所示的标记条与分段地板垫配对也是可能的。

对于业余使用，快速安装和容易应用是关键因素，基于地板的可选方案可能是优选的，因此用户能够将标记条放置在地板上，将标记条布置成近似矩形形状，并且将标记条连接到一个或多个电源(图6)。这种系统的安装通常花费不超过几分钟。

对于商业应用，尤其是VR公园，重要的是将标记条布置在用户能够触及的范围外，因此他们的动作不能改变如校准期间所限定的和/或由系统设置参数所指定的操作区域的特性。此外，商业VR/AR系统通常是多用户系统，因此，当选择标记条的布置时，考虑到在标记在操作区域内移动期间用户遮蔽标记的可能性是有利的。在这种情况下，将标记条放置在墙壁或天花板上的可选方案(见图7，天花板未示出)可能是优选的。注意，如果标记条布置在天花板上，则操作区域尺寸可以基本上大于由标记条勾勒出的几何图形的尺寸。然而，在这种情况下，可能需要处于地板上的一些额外的标记来确定地板相对于标记条的位置；备选地，可能需要使用额外的校准过程，例如，通过在校准期间将一个或多个跟踪器定位在地板上。

下面讨论在定义固定光学跟踪区域期间(即，当不需要校准时)和在跟踪可移动对象期间检测基本图案的原理，使用VR/AR系统作为示例性基础并且概述实现方式版本。

跟踪区域是执行对可移动对象的跟踪的空间区域。根据本发明，在VR/AR系统中，被跟踪的可移动对象可以是用户或承载跟踪器的用户身体部分，例如用户的头、臂或脚。被跟踪的可移动对象也可以是由用户保持的物品，例如，由用户的手握持的物品。然而，被跟踪的可移动对象也可以是任何其它移动对象，如机器人系统的端点、装载机或现场物流系统的运载工具。

在跟踪区域内执行对可移动对象的跟踪。为了自动定义跟踪区域，将跟踪区域在操作表面(通常是水平面)上的投影划分成可以以各种方式成形的部分，即单元。工作表面可以是例如地板表面或天花板表面。如果使用正交坐标系，则优选正方形的单元。单元尺寸是基于VR/AR系统的工程实现方式来定义的，即，跟踪区域的最小和最大尺寸、要维持的跟踪的精度、标记类型、由标记形成的基本图案的种类和尺寸等。尤其，如果使用预制拼图地板垫(图5)，则单元尺寸可以等于拼图块尺寸，例如60×60cm。在这种情况下，具有三个标记的1.5米长的标记条(如图3所示)处于三个单元内，而标记可以根据基本图案的取向而相对于彼此不同地定位在平面中(图8)。图8中基本图案的取向由标记条上的箭头临时指示。应当理解，标记条长度可以大于或小于1.5米，并且标记条可以放置在更多或更少数量的单元内。例如，对应于基本图案的标记条可以放置在两个单元内，因此可以增加标记放置的密度。

因此，表面被分成单元，每个单元具有其自己的坐标。可以以各种方式定义单元坐标，例如，使用笛卡尔坐标或极坐标。在本发明的说明性实施例中，以预定方式对单元进行编号，并且每个单元的坐标由其编号明确地定义。图9中示出单元编号的示例。在这种坐标网格中的每个基本图案的位置由包括基本图案中心的单元的数量和基本图案的方向来限定。在图10中，临时基本图案中心用圆标记，并且箭头指示临时基本图案方向。基本图案方向可以具有数字指示符(代码)，如图10所示。在正方形跟踪区域中基本图案的布置的示例在图11中示出。应该理解，跟踪区域可以具有不同于正方形的形状。

基本图案共同形成独特组合，在下文中称为“星座”。在VR/AR系统中，跟踪器在空间中的位置和取向使用“星座”来定义，如在使用星空的海中、空中或陆地导航中。换句话说，在检测到从跟踪区域内的跟踪器的光学传感器获得的图像中的基本图案独特组合时，VR/AR系统能够明确地确定跟踪器的位置和取向。这就是为什么在VR/AR系统的跟踪操作开始之前在调节光学跟踪区域的步骤中检测和配准“星座”的任务是重要的。

那些不是独特的图案组合被“星座”的配准算法丢弃。独特和非独特基本图案组合的示例在图12A和图12B中示出。图12A的图案组合是独特的，而图12B的图案组合不是独特的，因为它是中心对称的，并且其图像相对于图像中心旋转180°产生相同的图像，这在技术上不能与初始图像区分开。因此，图12B的基本图案组合不用于确定跟踪器和相关移动对象的位置和取向。

应当理解，通常，跟踪区域尺寸可能超过跟踪器覆盖区域。这意味着跟踪器可以获得跟踪区域的一部分而不是整个跟踪区域的图像；跟踪器的覆盖区域取决于其在每个时刻的位置和取向。在下文中，跟踪器覆盖区域可以被称为跟踪窗口。为了基于光学传感器数据确定跟踪器的位置和取向，有必要在跟踪窗口内具有至少一个“星座”。

下面描述在跟踪区域的调节期间，尤其是在其接通之后、在其重新启动或改变配置或改变操作场景之后执行的用于配准“星座”的算法步骤序列。该算法产生包括在跟踪区域内发现的所有“星座”的记录的表。每个记录包括“星座”的标识符(ID)和构成“星座”的基本图案的标识符。在本发明的说明性实施例中，“星座”ID包括“星座”的每个基本图案的坐标；坐标由单元的数量表示，基本图案的中心处于该单元中，并且基本图案的方向由旋转代码表示。基本图案标识符由在区域布局配置期间在跟踪区域的配置文件中定义的其顺序号表示。应该理解，“星座”ID结构可以不同于上述结构。

在跟踪区域的调节期间执行的“星座”检测和配准算法的框图在图13A和图13B中示出。

在步骤S1中，定义在跟踪系统的操作期间要使用的跟踪区域。定义跟踪区域可以通过其布局配置或通过从跟踪系统存储器读取就绪配置来完成。在申请人拥有的较早专利申请PCT/IB2017/058068和美国专利申请号15844967中讨论了跟踪区域布局配置的概念，并且通过引用将其全部内容并入本文。

在步骤S2中，考虑将跟踪区域划分为单元，基于光学传感器的技术属性(覆盖角度、分辨率等)、跟踪系统的处理速度和“星座”的最大可允许复杂度(即，构成一个“星座”的基本图案的最大可允许数量)来选择跟踪窗口的尺寸。

在本发明的说明性实施例中，跟踪窗口等于4×4个单元的正方形(跟踪窗口在图9中由粗线示出)。可以具有4×4＝16版本的基本图案中心的位置(其需要4比特)和4版本的具有90°节距的旋转角(其需要2比特)。如果“星座”的最大复杂度被限制为8个基本图案，则“星座”ID长度是8×(4+2)＝48个比特。

应当理解，在本发明的说明性实施例中，为了简单和更好理解，选择4×4单元的尺寸。在实际实现方式中，跟踪窗口尺寸取决于跟踪区域的物理尺寸、VR/AR系统的目的、用户数量等。例如，跟踪窗口尺寸可以是6×6单元或10×10单元；在这种情况下，“星座”ID的长度也更大。

尤其，如果选择跟踪窗口尺寸为6×6单元的正方形，则可以具有6×6＝36版本的基本图案中心的位置(其需要6比特)和4版本的具有90°节距的旋转角(其需要2比特)。如果“星座”的最大复杂度被限制为16个基本图案，则“星座”ID长度是16×(6+2)＝128个比特。

降低最大“星座”复杂度和减小跟踪窗口尺寸允许更快的数据处理，并且因此减小VR/AR系统对用户动作的总响应延迟。然而，增加最大“星座”复杂度允许提高跟踪的可靠性，尤其是当标记被多用户VR/AR系统中的用户遮蔽时。因此，考虑VR/AR系统的所有参数，跟踪窗口尺寸和最大“星座”复杂度的选择是折衷的过程。

此外，将跟踪窗口置于初始位置。在本发明的说明性实施例中，初始位置是跟踪区域的左下角。应当理解，初始位置可以是任何其它适当的位置。

在步骤S3中，确定完全处于跟踪窗口内的所有基本图案。

在步骤S4中，形成包括处于跟踪窗口内的基本图案的“星座”候选者的ID。

在跟踪算法(下面将详细描述)的操作期间，当来自光学传感器的图像不包含处于跟踪窗口内的每个基本图案时，某种RRRR情况是可能的。这可能是由用户的手或游戏设备或多用户VR/AR系统(图14)中的其它用户遮蔽标记而引起的。尤其，如果四个基本图案处于跟踪窗口内，则在来自光学传感器的图像中仅可以检测到基本图案中的三个或两个基本图案。因此，对于通常包括N个基本图案的每个“星座”候选者ID，形成每个子“星座”候选者的ID，每个子“星座”候选者包括N-1、N-2、N-3、...个基本图案。

只有独特的基本图案组合被包括在“星座”的最终表中。如果基本图案组合不是独特的，则它不能用于确定跟踪器和与跟踪器相关联的可移动对象的位置和取向。

因此，在步骤S5中，验证“星座”候选者的独特性；如果该表包括相同的“星座”候选者ID，则该“星座”候选者ID及其子“星座”候选者ID被标记为非独特的。

一旦形成当前跟踪窗口的“星座”候选者ID，则在步骤S6中将它们记录在“星座”表中。

此外，在步骤S7中，将跟踪窗口旋转预定角度，并且在步骤S8中，对于旋转的跟踪窗口重复步骤S2-S6。需要旋转来验证从各个点看的所有“星座”候选者是否是独特的。在本发明的说明性实施例中，旋转是90°逆时针旋转。应当理解，旋转可以顺时针和/或使用其它角度来进行。在步骤S9中，旋转和步骤S7、S8被执行若干次，直到跟踪区域回到其旋转前的位置。尤其，步骤S7、S8必须执行四次以旋转90°。

在算法的进一步操作期间，在步骤S10中在整个跟踪区域上移位跟踪窗口，并且在步骤S11中为跟踪窗口的每个位置形成完全处于跟踪窗口中的“星座”候选者的ID，如针对步骤S2-S9所讨论的。在本发明的说明性实施例中，移位是两单元移位。应当理解，移位节距可以不同，例如，移位节距可以等于一个或三个单元。在本发明的一些实施例中，移位对于垂直和水平方向可以具有不同的距离。例如，垂直移位节距可以等于一个单元，而水平移位节距可以等于两个单元，并且反之亦然。

此外，在步骤S12中，验证跟踪区域覆盖，并且当在上述算法的操作期间覆盖了整个跟踪区域时，在步骤S13中从“星座”表中删除所有非独特的“星座”候选者ID。这里，完成“星座”表的形成，并且停止“星座”配准算法。

在跟踪系统开始操作之前自动调节跟踪区域的问题以上述方式解决。在跟踪系统的进一步操作期间，使用自动调节的结果来跟踪与跟踪器物理地相关联的可移动对象。

在跟踪可移动对象的过程中，执行跟踪算法，其框图在图15中示出。

在步骤S21中，从跟踪器的光学传感器读取图像，并且执行对图像的预处理。下面将参考图20详细描述预处理的算法。

在步骤S22中，检测来自光学传感器的图像中存在的并且完全处于跟踪窗口中的每个基本图案。下面将参考图21详细描述检测基本图案的算法。

在步骤S23中，针对在跟踪窗口中检测到的“星座”形成“星座”ID。“星座”ID的格式是相同的，并且其形成方法与针对“星座”配准算法所描述的类似。

在步骤S24中，在调节VR/AR系统的跟踪区域期间，针对与记录在“星座”表中的基本图案的独特组合中的一个独特组合相对应，验证所形成的“星座”ID。

在步骤S25中，基于从“星座”表中识别的“星座”，确定跟踪器在空间中的位置和取向。使用外部参考点确定对象的位置和取向的方法(具体地，使用星图的导航方法)对于本领域技术人员是公知的，因此为了简洁起见，在此省略其描述。

此外，在从光学传感器接收到新的图像时，重复步骤S21-S25。

应当注意，跟踪系统必须检测至少一个“星座”以确定跟踪器的位置和取向并开始跟踪移动对象。在进一步的跟踪过程期间，当跟踪系统不能从光学传感器检测下一图像中的一个或多个“星座”(例如，由于与跟踪器相关联的用户或多用户VR/AR系统中的任何其它用户遮蔽了标记，或者由于在某一时间点用户在跟踪区域中的位置不方便)时，不会导致跟踪系统失效，因为系统能够使用惯性跟踪(即，基于从惯性传感器获得的数据)在一个时间段内保持对跟踪器的位置和取向的确定，在该时间段内足以从光学传感器获得新图像并继续或重新开始光学跟踪。

此外，在本发明的一些实施例中，不仅基于“星座”，而且基于检测到的各个基本图案或甚至基于各个标记，光学跟踪的继续是可能的。例如，由于系统仅通过惯性跟踪在一段时间内能够确定跟踪器的位置和取向，因此系统能够基于跟踪区域配置信息来确定各个标记(即，最可能发现标记的空间中的点或区域)的标称位置。在这种情况下，可以通过仅检测单独的标记并将它们的实际位置与它们的标称位置进行比较来继续跟踪。显然，这种跟踪的可靠性可能较低；然而，这种跟踪在一段时间内的使用足以从包含所有“星座”的光学传感器获取图像，并且可能是相当有利的。

本发明的跟踪系统的这些属性允许增加跟踪的精度和可靠性，包括多用户操作模式。

在本发明的说明性实施例中，从光学传感器获取数据的速率约为每秒60帧，并且从惯性传感器获取数据的速率约为每秒2000个样本。在本发明的其它实施例中，从光学传感器获取数据的速率可以增加到大约每秒400帧。在申请人所拥有的较早的专利申请PCT/IB2017/058068和美国专利申请号15844967中公开了用于光学跟踪装置和惯性跟踪装置的技术方案及其用于解决所讨论的问题的交互方式，这两个专利申请的全部内容通过引用并入本文。

此外，参考图20的框图，描述了读取和预处理图像的算法。

在步骤S31中，从光学传感器读取图像。从光学传感器获得的图像的示例在图16中示出。连接相同基本图案的发射器的线用虚线临时表示。

在步骤S32中，执行几何失真的补偿。该失真是由跟踪器的光学传感器的光学和尺寸偏差引起的。在补偿几何失真之后的图像的示例在图17中示出。

在步骤S33中，将补偿后的图像投影到操作平面上。基于朝向跟踪器的坐标系中的每个标记的方向(即几何射线)(该数据包含检测到的标记)并且基于已知的“向上”方向来执行该投影，使用一个或多个惯性传感器的数据来确定该已知的“向上”方向。可以使用极坐标来确定该方向。在申请人拥有的较早专利申请PCT/IB2017/058068和美国专利申请号15844967中讨论了确定指向特定标记的射线的方法，并且这两个专利申请通过引用整体并入本文。在本发明的一些实施例中，可以跳过将图像投影到操作平面上，尤其是如果标记已经处于操作平面上(例如，在地板上，该平面被认为是操作平面)。

在本发明的说明性实施例中，基于加速度计数据确定“向上”方向。应当理解，可以基于另一惯性传感器数据(例如，陀螺仪)中的数据来确定方向。也可以基于一组同质或异质的惯性传感器(例如，加速度计和陀螺仪)的数据来确定该方向。通过惯性传感器数据确定所需方向的方法对于本领域技术人员是公知的，因此为了简洁起见，在此省略其描述。此外，可以基于其它传感器的数据来确定“向上”方向，所述其它传感器例如是电场传感器或磁场传感器。

平面投影的图像是从光学传感器获得的图像在平面上的投影，对于该平面，“向上”方向是垂直的(即，垂直的)，即，在水平面上。在本发明的说明性实施例中，水平面是布置有VR/AR系统的房间中的地板平面。如果标记条处于地板上，则该解决方案是最佳的。应当理解，如果标记条处于天花板上，则水平面可以是处于跟踪区域内的另一平面，例如天花板平面。投影到平行平面上的图像以数学相似性的方式相关，并且它们的信息值基本上相同。

在步骤S34中，图像被归一化，即，如上所述，网格被叠加在对应于将跟踪区域划分为单元的图像上，以便每个基本线状图案的方向基本平行于网格轴中的一个网格轴。也平移图像，使得每个基本线状图案的中心基本上处于单元的中心。在图18中示出归一化跟踪窗口图像的示例；基本图案相对于网格的位置在图19中示出。以这种方式处理图像的方法对于本领域技术人员是公知的，因此为了简洁起见，这里省略了对它们的描述。

在步骤S35中，在图像中分配跟踪窗口，其尺寸和位置与在跟踪区域的调节期间执行的算法的步骤S1中讨论的相同。

此外，参考图21的框图描述基本光学图案的检测算法。

在步骤S41中，在跟踪窗口中任意选择推测对应于标记的三个点。

在步骤S42中，在选择的三个点中确定两个参考点。参考点可以是例如最远点。在另一个示例中，参考点可以是最近点。

在步骤S43中，对于参考点，确定第三点的标称位置，使得三个点的组对应于基本图案。

在步骤S44中，确定第三点的实际几何位置和第三点的标称位置之间的偏差值δ。图22示出处于两个最远点之间的第三点的标称位置和实际位置的示例。

在步骤S45中，检查偏差值δ。如果该偏差没有超过预定阈值ε，则在步骤S46中将该三个点的组列为基本图案候选者；如果偏差超过预定阈值ε，则在步骤S47中丢弃该组三个点，即从进一步考虑中排除。

在步骤S48中，执行验证是否在步骤S41-S47中处理了三个点的所有组合。

在完成处理在跟踪窗口中找到的所有三个点的组合之后，在步骤S49中挑选基本图案候选者的列表。基于用作基本图案候选者的质量的指示符的值δ来进行所述挑选。

此外，在步骤S50中选择具有最小值δ的基本图案候选者，并且在步骤S51中执行验证基本图案候选者是否包含已经在有效基本图案中使用的任何点。如果基本图案候选者的点都没有被标记为已使用，则在步骤S52中，该基本图案候选者被传输到有效基本图案的列表。如果基本图案候选者的至少一个点被标记为已使用，则在步骤S53中丢弃该基本图案候选者，即从进一步考虑中排除。所传输的基本图案的所有点都被标记为已使用。

此外，在步骤S54中，对于基本图案候选者列表中剩余的基本图案候选者重复步骤S50至S53。

应当理解，可以关于由其它数量的点(例如，四个或五个点)组成的基本光学图案来执行基本光学图案的上述检测算法。该算法能够将多个基本光学图案点分成由三个点构成的子集，并且能够执行如上所述的处理，并且然后组合处理产品。备选地，该算法能够处理全部多个点并且确定偏差值δ₁、δ₂等。

基本光学图案的检测算法产生有效基本图案的列表，如上所述，该列表进一步用于“星座”的配准算法和跟踪算法中。

在本发明的说明性实施例中，关于线状三点基本图案描述基本光学图案检测算法的步骤S41-S54。应当理解，在本发明的其它实施例中，基本图案中的点的数量可以不同于三个，并且可以是例如四个或五个点。此外，基本图案的形状可以不同于线状，即基本图案的点可以不在一条线上，而是它们可以形成预定的几何图形。

在本发明的上述实施例中，每个线状基本图案的方向被选择为基本上平行于网格轴中的一个网格轴。然而，在本发明的其它实施例中，线状基本图案可以以不同的方式定位，例如，如图23所示的切口中。线状基本图案的这种布局允许避免当基本光学图案的检测算法错误地将一个线状图案的有源标记视为另一(相邻)线状图案的有源标记时的情况。

注意，与步骤S21-S25和S41-S54相对应的处理中的每个处理是关于每个跟踪器的数据独立执行的，即，这些处理是多流处理，并且流的数量等于或乘以VR/AR系统中的跟踪器的数量。

注意，上述讨论覆盖了对于实现本发明的目的最重要的那些动作。对于本领域技术人员来说，显然还应当进行其它动作以便确保系统的操作，例如连接设备、其初始化、启动适当的软件、传输和接收指令和确认、控制数据交换、同步等，并且为了简洁起见，在此省略对它们的描述。

注意，上述讨论覆盖了对于实现本发明的目的最重要的那些设备组件。对于本领域技术人员来说显而易见的是，这些设备必须或可以包括其它部件或部分，以确保VR/AR系统的操作，并且为了简洁起见，在此省略对它们的描述。

在说明书中提到的和在附图中示出的设备及其组成部件、方法及其步骤当它们参考数字指示符被提及时涉及本发明的一个或多个特定实施例，或者当它们没有参考数字指示符被提及时它们涉及本发明的所有可应用的实施例。

在说明书、附图和权利要求书中提到的设备及其部件构成组合的硬件/软件装置，其中如果没有明确说明，则一些设备的硬件可以不同，或者可以部分或完全与其它设备的硬件一致。如果没有明确说明，则一些设备的硬件可以处于其它设备的不同部分中。软件内容可以以包含在存储设备中的计算机代码的形式来实现。

在此提供的方法描述中的步骤顺序是说明性的，并且在本发明的一些实施例中可以不同，只要保持功能并获得结果即可。

本发明的部件/组件和特征可以在本发明的不同实施例中组合，如果它们不彼此矛盾的话。以上讨论的本发明的实施例仅作为说明提供，并且它们不旨在限制在权利要求中限定的本发明。与本发明要旨相对应的设计、配置和操作模式中的所有和任何合理的修改、变更和等效替换都被包括在本发明的范围内。

注意，以上描述涉及用于在虚拟现实系统或增强现实系统中在跟踪可移动对象期间检测光学图案的方法和/或系统的使用，而该方法和/或系统完全适用于任何其它行业以解决确定可移动对象的位置和/或取向和/或运动参数的问题。

尤其，上述工程解决方案可以有利地用于跟踪工厂物流、仓库物流或商店物流系统中的货物和操作者，用于跟踪教育或培训系统中的参与者的运动，用于确定机器人系统中的端点的位置和取向，用于处理人工操作或无人操作的可移动对象，包括飞行器，以及用于在与跟踪可移动对象相关的其它系统中完成各种任务，该可移动对象包括当前存在的和将来可能即将到来的那些可移动对象。

已经这样描述了优选实施例，对于本领域技术人员来说显而易见的是，已经实现了所描述的方法和系统的某些优点。

还应当理解，在本发明的范围和精神内可以进行各种修改、调节和备选的实施例。本发明进一步由所附权利要求限定。

相关文献，全部通过引用并入本文：

1.R.van Liere，J.D.Mulder。使用投影不变标记图案属性进行光学跟踪。DOI：10.1109/VR.2003.1191138

2.Manuel Loaiza，Alberto Raposo，Marcelo Gattass。一种基于点的投影不变标记图案的新型光学跟踪算法。ISVC 2007：视觉计算进展，第一部分，LNCS 4841，第160–169页，2007年。

3.Daniel Wagner，Dieter Schmalstieg。用于在移动设备上进行姿态跟踪的ARToolKitPlus。计算机视觉冬季研讨会，奥地利圣兰布雷希特，2007年2月6日至8日。

4.Thomas Pintaric，Hannes Kaufmann。用于虚拟现实和增强现实的经济实惠的红外光学姿态跟踪。虚拟环境跟踪中的趋势和问题论文集，2007年。

5.Arjen van Rhijn，Jurriaan D.Mulder。有形交互设备的光学跟踪和校准。IPT和EGVE研讨会，2005年。

6.Klaus Dorfmüller-Ulhaas。使用卡尔曼滤波器进行稳健的光学用户运动跟踪。报告，2003年06月，德国奥格斯堡大学信息学院。

7.A.Kolahi，M.Hoviattalab，T.Rezaeian，M.Alizadeh，M.Bostan，H.Mokhtarzadeh。基于标记的人体运动跟踪系统的设计。生物医学信号处理与控制，2007年2月，第59-67页。

8.David Claus，Andrew W.Fitzgibbon。基于标记的位置跟踪系统的可靠自动校准。IEEE运动与视频计算运动研讨会论文集，2005年，计算机视觉的应用，2005。WACV/MOTIONS'05卷

9.Steven Maesen，Patrik Goorts，Philippe Bekaert。可缩放的光学跟踪，用于使用空间编码的标记在大型虚拟环境中导航。第19届ACM虚拟现实软件和技术VRST'13研讨会论文集，第101-110页。

10.Filippo Bergamasco，Andrea Albarelli，Emanuele Rodola，AndreaTorsello。RUNE-Tag：具有强大遮挡恢复能力的高精度基准标记。DOI：10.1109/CVPR.2011.5995544。

11.Leonid Naimark，Eric Foxlin。光学跟踪器的编码LED系统。DOI：10.1109/ISMAR.2005.28。

12.Yashar Deldjoo，Reza Ebrahimi Atani。使用Nintendo Wii-remote的虚拟3D音频环境的低成本红外光学头部跟踪解决方案。娱乐计算，第12卷，2016年，第9-27页。

Claims

1.一种跟踪移动对象的方法，所述方法包括以下步骤：

通过基本光学图案的独特组合的检测和配准来自动地调节跟踪区域；以及

通过检测基本光学图案的独特组合并且将所述基本光学图案与在自动调节所述跟踪区域的步骤期间配准的所述基本光学图案的独特组合进行比较来跟踪移动对象的位置和/或取向的改变。

2.根据权利要求1所述的方法，其中，自动调节所述跟踪区域的步骤包括以下步骤：

(S1)定义跟踪区域；

(S2)确定跟踪窗口的尺寸并且将跟踪窗口放置在初始位置；

(S3)定义由跟踪窗口内的标记形成的基本光学图案；

(S4)形成“星座”候选者的ID；

(S5)验证“星座”候选者的独特性，并且如果不是独特的，则标记所述“星座”候选者的ID；

(S6)将所述“星座”候选者的ID记录到“星座”表中；

(S7)将所述跟踪窗口旋转预定义角度；

(S8)对所述旋转的跟踪窗口执行步骤S2-S6；

(S10)将所述跟踪窗口移位预定义节距；

(S11)对所述移位的跟踪窗口执行步骤S2-S9；

(S12)验证所述跟踪区域是否被完全覆盖，并且在必要时重复步骤S10、S11；以及

3.根据权利要求2所述的方法，其中，对于“星座”候选者的每个ID和对于其子“星座”候选者的每个ID执行步骤S4、S5、S6和S13。

4.根据权利要求2所述的方法，其中，在步骤S2之前，将所述跟踪区域的投影划分为单元，并且在步骤S2中，能够以单元的数量指定所述跟踪窗口的尺寸。

5.根据权利要求1所述的方法，其中，跟踪所述变化的步骤包括以下步骤：

(S21)从处于所述移动对象上的光学传感器读取图像并且预处理所述图像；

(S22)检测由跟踪窗口内的标记形成的基本光学图案；

(S23)形成“星座”的ID；

(S24)使用“星座”表识别所述“星座”的ID；以及

(S25)基于在步骤S24中识别的“星座”确定所述移动对象的位置和取向。

6.根据权利要求5所述的方法，其中，步骤S21包括以下步骤：

(S31)从所述光学传感器读取图像；

(S32)补偿所述图像的几何失真；

(S33)可选地将所述图像投影到操作平面上；

(S34)对所述图像进行归一化；以及

(S35)在所述图像中分配所述跟踪窗口。

7.根据权利要求5所述的方法，其中，步骤S22包括以下步骤：

(S41)在所述跟踪窗口内，选择与所述标记对应的三个点；

(S42)在所选择的三个点中确定两个参考点；

(S43)对于所述两个参考点，根据基本光学图案确定第三点的标称位置；

(S45)验证所述偏差值δ，并且如果所述偏差值δ没有超过预定阈值，则(S46)在基本光学图案候选者的列表中列出所述三个点的组合，如果所述偏差值δ超过预定阈值，则(S47)丢弃所述三个点的所述组合；

(S48)验证是否已经处理了所述三个点的所有可能组合，并且在必要时重复步骤S41-S47；

(S49)基于所述偏差值δ挑选基本光学图案候选者的列表；

(S51)验证在所述基本光学图案候选者中是否存在任何使用的点，并且如果在其中存在至少一个使用的点，则(S52)丢弃所述基本光学图案候选者，否则，如果在其中不存在使用的点，则(S53)在有效基本光学图案的列表中列出所述基本光学图案候选者，并且所列出的基本光学图案的所有点被标记为已使用；以及

(S54)对剩余的基本光学图案候选者执行步骤S50-S53。

8.一种用于跟踪移动对象的系统，所述系统包括：

至少一个跟踪器，所述跟踪器处于移动对象上，所述跟踪器包括光学传感器；

中央处理单元，部分地执行根据权利要求1-7中任一项所表征的跟踪移动对象的方法。

9.根据权利要求8所述的系统，其中，所述光学传感器是矩阵光学传感器。

10.根据权利要求8所述的系统，其中，所述标记条中的至少一些标记条处于地板或其它基础结构上。

11.根据权利要求10所述的系统，其中，所述标记条被集成到弹性拼图地板垫中。

12.根据权利要求8所述的系统，其中，所述标记条中的至少一些标记条处于天花板、墙壁、横梁、桅杆上，或者以任何其它方式安装在跟踪区域内的地板或其它基础结构上方。

13.根据权利要求8所述的系统，其中，所述有源标记是红外发光标记。

14.根据权利要求8所述的系统，其中，所述基本光学图案是线状基本光学图案。

15.根据权利要求8所述的系统，其中，所述基本光学图案是非线状基本光学图案。

16.根据权利要求8所述的系统，其中，所述跟踪器包括本地数据处理设备，所述本地数据处理设备部分地执行根据权利要求1-7中任一项所表征的方法。

17.根据权利要求8所述的系统，其中，所述跟踪器和所述中央数据处理设备通过无线数据传输链路连接，所述无线数据传输链路被配置用于在所述跟踪区域的自动调节步骤期间传输调节数据以及在根据权利要求1-7中任一项所表征的方法中的跟踪步骤期间传输所述跟踪器的位置和/或取向数据。

18.根据权利要求8所述的系统，其中，所述系统被配置为通过由权利要求1-7中任一项所表征的方法检测和配准基本光学图案的独特组合来自动调节所述跟踪区域。

19.根据权利要求8所述的系统，其中，所述系统被配置为通过检测基本光学图案的独特组合并且将所述独特组合与在通过根据权利要求1-7中任一项所表征的方法调节所述跟踪区域期间配准的基本光学图案的独特组合进行比较来跟踪所述移动对象的位置和/或取向的改变。

20.根据权利要求8所述的系统，其中，所述跟踪器还包括至少一个惯性传感器，并且所述系统被配置为当“星座”不能由权利要求1-7中的任一项所表征的方法识别时，通过使用所述至少一个惯性传感器的数据来跟踪所述移动对象的位置和/或取向的变化。