CN111095357A

CN111095357A - 定位系统

Info

Publication number: CN111095357A
Application number: CN201880059979.6A
Authority: CN
Inventors: M·P·帕斯利; M·P·A·盖斯勒
Original assignee: Mo Sys Engineering Ltd
Current assignee: Mo Sys Engineering Ltd
Priority date: 2017-07-27
Filing date: 2018-07-27
Publication date: 2020-05-01
Also published as: WO2019021018A1; US20200209953A1; GB201712135D0; GB2566924B; EP3659115A1; US11269400B2; GB2566924A

Abstract

一种运动跟踪系统，该运动跟踪系统被配置为确定代表真实环境(5、6、7、8、9)中的真实对象(1)的模拟对象的呈现，该定位系统包括：成像设备(24)，其安装在成像设备上并被配置为捕获位于真实环境中的多个不规则定位的标记(30)的一系列图像；图像处理单元，其在通信上联接到成像设备，以接收一系列图像；图像处理单元被配置为通过以下操作确定真实对象的真实位置：创建由在一系列图像中可见的标记物形成的星座的三维模型；将在由成像设备捕获的连续图像中可见的标记物的图案映射到模型，从而确定成像设备相对于标记物的运动；确定模拟对象的呈现，以使呈现确定的模仿成像设备的运动。

Description

定位系统

本发明涉及一种用于确定对象的位置的定位系统。对象的虚拟表示然后可以被模拟并在虚拟世界中被显示在相应位置。

这种定位系统在包括虚拟现实系统(例如在虚拟现实游戏中)在内的许多领域中都有应用，在虚拟现实系统中，参与者使用可穿戴计算机(例如头戴式显示器(HMD))来体验虚拟世界的计算机生成的模拟的沉浸式表示。例如，在虚拟现实游戏中，一个或更多个参与者可以体验到在三维环境中以及在游戏过程中彼此相互作用并且与该环境进行相互作用的经历。在这些虚拟现实系统中，用户无法看到真实世界，而只能看到计算机生成的虚拟世界模拟。

尽管可以完全构成一些虚拟现实世界，但其他虚拟现实世界可以包括存在于用户正在体验虚拟现实世界并且用户可以与之交互的环境中的真实对象的虚拟表示。可穿戴计算机的使用是有利的，因为它允许不必用手来对实际对象进行操作，但是，由于虚拟现实显示器是完全沉浸式的，因此用户无法直接看到对象。同样地，这些系统必须能够跟踪此类对象在真实世界中的移动和位置，以便可以更新对象在虚拟现实世界中的虚拟表示。同样，这些系统需要能够在环境中移动时更新用户的视图。

这样的定位系统将是有用的另一个领域是增强现实系统，在增强现实系统中，参与者佩戴透明显示器(或用不透明显示器观看真实世界的视频)，该透视显示器允许将图形和/或文本投影到真实世界中。

可以使用各种传感系统来自动确定对象和用户在环境中的位置。例如，可以使用如GPS的卫星定位系统。但是，这些系统只能在室外环境中提供几米的精度，而当要被估计位置的对象在室内时，这些系统无法提供足够的精度。在另一个示例中，可以将一组摄像头定位在环境周围的固定位置，以跟踪对象和用户位于哪里。但是，如果对象/用户的部分或全部在一时间段内被另一对象/用户遮挡，则此类系统可能无法提供连续的实时数据。在又一示例中，待定位的对象可以携带声发射器，并且一组声接收器定位在对象将被定位到的环境的周围的固定位置处。但是，这种系统的精度取决于保持接收器的固定位置，当用户与周围环境相互作用时，特别是如果用户在沉浸在虚拟现实世界的情况下看不到真实对象时，接收器可能会被意外移位。在又一个示例中，可以使用包括数字编码器的跟踪系统，所述跟踪系统可以监测所述跟踪系统所附接的对象的偏航(yaw)、俯仰(pitch)和滚动(roll)。这种跟踪系统可以另外包括球跟踪器，该球跟踪器具有在表面上滚动的球。通过使用编码器监测球的旋转，可以使用航位推测法来确定对象的位置。通过将多个球形跟踪器安装到对象，可以确定对象相对于例如环境的地板的位置和取向。但是，由于跟踪球系统容易偏移，因此可能需要定期重新校准：也就是说，如果多个球中的一个球在地板表面上打滑，则会提供不可靠的数据。因此，随着时间的推移，每个对象将需要按时间间隔返回到已知位置，并进行重置，使得可以将累积的误差和其在球跟踪器测量中的偏移归零。对象的位置测量容易受到误差和偏移的影响，这使跟踪球系统变得不可靠，或者至少不足够鲁棒。

这样，在开发显示虚拟对象的可穿戴计算机系统的场景而言，以可穿戴计算机系统与可移动实际对象在环境中的配置有准确关系这样的方式，将这些虚拟对象定位在场景中的问题是难以解决且重要的技术问题。

根据本发明的一方面，提供了一种运动跟踪系统，该运动跟踪系统被配置为确定代表真实环境中的真实对象的模拟对象的呈现，该定位系统包括：成像设备，该成像设备安装至所述真实对象，并且被配置为捕获位于所述真实环境中的多个不规则定位的标记物的一系列图像；图像处理单元，该图像处理单元在通信上联接到所述成像设备，以接收所述一系列图像；所述图像处理单元被配置为通过以下操作确定所述真实对象的真实位置：创建由在所述一系列图像中可见的所述标记物形成的星座的三维模型；将在由所述成像设备捕获的连续图像中可见的标记物的图案映射到所述模型，从而确定所述成像设备相对于所述标记物的运动；已经确定所述模拟对象的呈现，使得所述呈现模仿所确定的所述成像设备的运动。

所述处理器可以被配置为在所述一系列图像中检测位于所述真实环境中的所述多个不规则定位的标记物中的每一个标记物的表示，并且通过比较所述标记物的表示在不同时间捕获的所述一系列图像中的位置来确定所述真实对象的所述真实位置。

所述处理器可以被配置为将所述一系列图像中的每个标记物的表示检测为所述图像的相对较高亮度的区域。

所述标记物可以是逆向反光的。所述标记物可以大致相同。所述标记物可以位于所述环境的朝向下方的表面。

成像设备可以固定到可穿戴显示器。所述可穿戴显示器可以具有它自身的成像设备，通过所述可穿戴显示器自身的成像设备估计所述可穿戴显示器的位置。所述可穿戴显示器可以是所述可穿戴显示器的佩戴者看得到的头戴式显示器。所述成像设备可以以如下取向被固定到所述可穿戴显示器：所述取向使得当所述佩戴者的头部以直立取向正常穿戴所述可穿戴显示器时，所述成像设备的视场的中心向上对准。

处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述佩戴者的头部的运动相对应地摇动和/或倾斜。处理器(可以是第二处理器)可以被配置为使所述显示器上的图像与由所述处理器检测到的所述佩戴者的运动相对应地显示对穿过环境的运动进行模拟的所述环境的虚拟现实图像。

成像设备可以被固定到对象。所述成像设备可以以使得所述成像设备的视场的中心向上对准的取向被固定到所述对象。所述成像设备可以被固定到与对象偏移的底座。成像设备可以是摄像头。

可以通过由在所述一系列图像中可见的所述标记物形成的星座的三维模型来估计所述可穿戴显示器的位置。

当所述可穿戴显示器是按照它的正常取向被佩戴时，所述成像设备可以按照使所述成像设备的视场的中心向上对准的方式取向。

根据第二方面，提供了一种用于跟踪真实对象在真实环境中的运动以呈现表示所述真实环境中的所述真实对象的模拟对象的方法，该方法包括以下步骤：由成像设备捕获位于所述真实环境中的多个不规则定位的标记物的一系列图像；由在通信上联接到所述成像设备的图像处理单元接收所述一系列图像；图像处理单元被配置为通过以下操作确定所述真实对象的真实位置：创建由在所述一系列图像中可见的所述标记物形成的星座的三维模型；将在由所述成像设备捕获的连续图像中可见的标记物的图案映射到所述模型，从而确定所述成像设备相对于所述标记物的运动；已经确定所述模拟对象的呈现，使得所述呈现模仿所确定的所述成像设备的运动。

根据第三方面，提供了一种虚拟现实系统，该虚拟现实系统包括：可穿戴显示器，该可穿戴显示器被配置为显示虚拟世界的计算机生成的模拟；对象，所述虚拟世界的所述计算机生成的模拟包括所述对象的虚拟表示；以及根据权利要求1至15中任一项所述的定位系统，所述定位系统能够在工作上联接到所述可穿戴显示器和所述对象，所述定位系统被配置为确定所述对象的呈现模拟，并且从所述可穿戴显示器的视点在所述可穿戴显示器上呈现模拟对象。

现在将参考附图通过示例的方式描述本发明，其中：

图1是用于感测对象的运动的系统的示意图。

图2是虚拟/增强现实系统的简化图。

图3显示了标记物的示例。

图4示出了环境中的标记物的图案以及由成像设备捕获的帧。

图5示出了结合有诸如摄像头的成像设备的可穿戴计算机的示例。

在下面将要描述的运动跟踪或定位系统中，真实世界环境包括一个或更多个可穿戴计算机(例如，头戴式显示器(HMD))和一个或更多个对象，所述一个或更多个对象在虚拟世界中将被呈现为虚拟对象并随后通过可穿戴计算机显示给用户。HMD是戴在头上的显示设备。HMD可以例如采取头戴式耳机、眼镜或头盔的形式。HMD可以包括一个或更多个显示器，所述一个或更多个显示器被定位成使得当用户正确佩戴HMD时，该显示器或每个显示器将图像投影到用户的一只或两只眼睛中。HMD可能会阻挡或限制用户对真实世界的视场。通过这种方式，HMD可以为用户提供他处于他实际所在环境以外的环境中的感觉。HMD可以包括一个或更多个透明显示器，所述一个或更多个透明显示器允许用户观看真实世界以及将图像投影到用户的一只或两只眼睛中。HMD可以包括一个或更多个基于视频的透明显示器，其是使用安装在用户眼睛附近的摄像头在与虚拟图像融合的显示器上呈现视频直播以创建基于视频的增强现实环境的不透明显示器。HMD投射到每只眼睛的图像可能会有所不同，从而产生深度感。HMD可以具有将图像投影到用户的两只眼睛的单个显示器，或者可以在用户的一只或每只眼睛的前面存在相应的显示器。为了向用户提供虚拟世界(在该虚拟世界中真实对象被合成并被呈现以代表它们相对于用户的真实世界位置)，提供了一种定位系统，该定位系统可以与一个或更多个HMD和对象联接，并且可以通过使用图像处理技术跟踪放置在真实环境周围的多个标记物30来跟踪和确定用户的头部位置和角度以及真实对象的定位(即位置、取向和平移)(详细内容将在下面进行更详细的描述)。

HMD和对象各自配备有一个或更多个传感器，例如能够感测周围环境的成像设备。例如，成像设备以包括放置在环境周围的标记物30中的至少一些的图像这样的方式从环境捕获一系列图像。图像处理器分析由每个成像设备捕获的一系列图像，以创建由捕获的一系列图像中的可见标记物30形成的星座的三维模型。图像处理随后可以使用该三维模型来比较标记物30的图像在捕获的一系列图像的连续帧中的位置，以建立实际标记物30在三维空间中的位置的记录。然后可以使用在随后帧中出现的多个标记物30之间的公共空间关系来推断例如成像设备在那些图像之间经历了平移但没有旋转或倾斜。因此，可以确定在真实环境中配备有成像设备的HMD和对象的位置。该信息然后用于优选地实时地在每个HMD的位置和有利视点(vantage point)来呈现对象的虚拟表示。HMD可以另外配备跟踪传感器，所述跟踪传感器检测HMD的角度和取向的变化。然后，这些数据也可以用于生成适当的计算机生成图像(CGI)，该计算机生成图像表示用户头部在特定时间的角度。以这种方式，用户能够简单地通过移动他们的头部来环顾虚拟现实环境，而不需要单独的控制器来改变在HMD上显示的CGI的角度。

现在描述该定位系统的具体示例。图1显示了用户1。用户1处于包含多个对象和/或由相对于该环境是静态的多个对象所限制的环境中。在该示例中，对象是界定环境的墙壁5、地板6和天花板7以及位于环境中的支柱8。每个静态对象都具有暴露于环境的表面。该环境还包含非静态对象9，所述非静态对象可以在用户1处于该环境中时移动。

用户1配备有诸如HMD 17(图2和图6所示)的可穿戴计算机。HMD 17具有旨在戴在用户头部上的主体。该主体的外表面在佩戴时面向环境。主体还具有限定一个或两个显示区域的内表面，在所述一个或两个显示区域中安装有一个或两个小显示单元18用于向用户显示虚拟现实世界。显示单元被小型化并且可以包括阴极射线管(CRT)、液晶显示器(LCD)、硅上液晶(LCoS)或有机发光二极管(OLED)。使用诸如可调节带41的可调节附接装置将主体固定到用户的头部。一个或更多个传感器安装在HMD上以感测真实环境。在该示例中，传感器中的一个是成像设备，例如安装在HMD 17的外表面上的摄像头24。摄像头24被配置为在大体从HMD的主体离开的方向上捕获图像。在一个示例中，成像设备通常向上对准，以从用户头部上方的环境(例如天花板7)捕获图像(例如视频帧)。

HMD可以另外配备有诸如光学姿态传感器的姿态传感器(未示出)，用于确定HMD17相对于其环境中的关注点的姿态。在使用光学姿态传感器的情况下，光学姿态传感器适当地包括照明系统，该照明系统适于朝着表面投射例如红外光的网格状图案。通过使用“不可见”光，投射的光图案在由存在于系统中的任何非红外成像设备(例如摄像头24)捕获的一系列图像中不会产生影响或显示。这有助于降低解释由成像设备获得并在定位系统中使用的一系列捕获图像所需的处理能力。光学姿态传感器适当地包括诸如红外摄像头的光探测器，光探测器可以解释由光探测器看到的IR网格，以确定距表面的距离以及HMD 17相对于该表面的姿态。通过提供例如与本文所述的定位系统结合的面向地面的光学姿态传感器，可以提高确定摄像头的位置、取向和高度(elevation)的鲁棒性。

附加地或另选地，姿态传感器可以与惯性测量单元(IMU)组合，惯性测量单元包括陀螺仪、加速度计、磁力计和气压计中的一个、全部或组合。姿态传感器可以牢固地附接到HMD 17。在特定情况下，IMU可以提供对HMD的姿态的非常准确且几乎瞬时的测量。但是，IMU在一时间段内容易“偏移”。另一方面，随着时间的推移，诸如本文所述的定位系统更加准确，但是由于所涉及的计算，定位系统的响应速度可能较慢。因此，通过将IMU与本文所述的定位系统结合，本发明可以提供两全其美的选择，也就是说，可以提供对输出进行交叉比较以提供对一个系统或另一个系统的实时校正的选择。

在图1的定位系统中，标记物30被施加到环境中的对象5至8上。标记物30优选具有易于与环境区别的外观。例如，它们可以具有非常高的反射率(例如，逆向反光材料)或具有非常低的反射率(例如具有无光泽的黑色表面涂层)，或者可以具有限定的颜色(例如，特定的绿色)。当标记物30具有高反射率时，优选地，每个标记物都是优先在与其主平面正交的方向上进行反射的材料，如可以是用专用逆向反光材料的情况那样。当标记物30具有高反射率时，更优选地，每个标记物是优先在与入射光源平行的方向上进行反射的材料。标记物30优选是平坦的：例如，标记物可以是施加到对象5至8的表面上的层状贴纸的形式。这可以使标记物易于在环境中应用。标记物30优选地不带有表面标记(例如数字或条形码)，通过所述表面标记，可以将标记物彼此区分开。这可以使得在环境中施加标记物30的任务更容易。标记物30可以全部具有相同的轮廓(例如，圆形或正方形)，或者它们可以具有不同的轮廓。标记物30以不规则图案定位。图案优选是不重复的。这可以通过在环境中随机定位标记物30来实现。如下所述，将标记物30以不规则的图案定位可以使施加标记物30的任务更容易，并且还有助于将受试体定位在环境中。总而言之，在优选的布置中，通过按照不规则或随机的图案施加到环境上的相同逆向反光标签来提供标记物30。标记物30可以全部具有相同的尺寸，这可以帮助如将在下面进一步描述的确定它们的范围，或者标记物30可以具有不同的尺寸。

图3显示了标记物30的示例。标记物30可以是圆形的(参见50)、正方形(参阅51)或其他形状。标记物30可以带有诸如条形码52之类的标记或一个或更多个孔，这允许将任何一个标记物30与其他标记物唯一地区分开，或者它们可以不带有这样的标记。标记可以以不规则图案定位在标记物30上。一些标记物30可以定位在已知位置处。方便地，标记物30采取具有预定颜色和/或反射率的上表面53以及下黏性表面54的粘贴物的形式，标记物30可以通过下黏性表面54黏附到环境。

标记物30可以位于环境的朝向上方、朝向下方或侧向的表面上。优选的是，标记物30中的至少一些标记物位于朝向下方的表面上，如天花板7。这种朝向下方的表面可以在受试体1上方。位于受试体上方的标记物30的可见性通常比位于受试体的侧面或下方的标记物30的可见性好，因为这样的标记物不太可能被其他对象或人遮挡。

由摄像头24收集的图像(例如，视频帧)被传递到控制单元10。数据可以通过连接到控制单元的线缆传输，或者摄像头24可以通过线缆25连接到用户携带的无线通信设备22。该设备然后可以将数据无线地转发到联接到控制器的终端23。可选地，摄像头24可以与通信设备22集成在一起。

摄像头24和标记物30使控制器能够估计摄像头24在环境中的位置。现在将参考图4描述实现该目的的方式。

摄像头24捕获一系列帧。摄像头24捕获帧时摄像头24所指向的方向取决于当时HMD的主体如何定位，特别是取决于HMD的主体的、摄像头24所附接到的部分的位置和取向。图4显示了不规则图案的标记物30以及一组轮廓线31、32、33、34，所述一组轮廓线31、32、33、34表示摄像头24所捕获的帧的边界。控制器10包括处理器11和存储器12。存储器以非瞬态形式存储可由处理器执行以执行其功能的一组指令。处理器接收由摄像头24捕获的连续帧。处理器分析每个帧以检测在帧中表示的标记物30的位置。可以通过标记物30的特征亮度、形状、颜色或这些因素的组合来检测标记物30。例如，在逆向反光标记物的情况下，标记物30可以由图像中特别亮的像素组指示。

通过比较在连续帧中检测到的标记物30的位置和布局，处理器可以(a)建立由标记物30形成的图案或星座的映射图，并且(b)推断摄像头24在帧之间的运动。为了说明，假设摄像头24在第一时间捕获在31处指示的图像。处理器11在该图像中识别标记物30。标记物30可以被认为位于从摄像头24延伸并且与标记物30的位置相交的向量上，如在图像31中所表示的。在这个阶段，标记物30距摄像头24的距离是未知的。在第二时间，摄像头24捕获在32处指示的图像。一些标记物30对于图像31和32是共有的。由于标记物30是不规则地定位的，因此可以假设在每个帧中找到的标记物30的相对位置在标记物30的场中是唯一的。通过比较标记物30的图像在连续帧中的位置，处理器11可以建立实际标记物30在三维空间中的位置的记录。例如，由于三个标记物30在帧31和32中以共同的空间关系出现，因此可以推断出摄像头24已经在那些图像之间经历了平移，但是没有旋转或倾斜。对标记物30在帧33中的位置和标记物30在视场与帧33重叠的其他帧31、32中的位置进行的比较允许处理器11推断出摄像头24在捕获帧33之前是绕其主轴旋转的。对标记物30在帧34中的位置和标记物30在视场与帧34重叠的其他帧(例如32)中的位置进行的比较允许处理器11推断出摄像头24在捕获帧33之前是倾斜的。类似地，可以通过缩放在连续帧之间检测到的标记物30的位置来检测摄像头24朝向或离开标记物30的运动。

如果摄像头24具有相对宽的视场和/或如果标记物30的场的密度使得可以预期在每一帧中捕获大量标记物30，则可以提高该定位方法的精度。这使得不太可能存在由于多个标记物意外地具有相似的位置关系并因此在图像之间混淆所导致的位置模糊。这还减少了可能看起来与标记类似并且可能移动的其他对象(例如灯光)的影响。在求解摄像头24的位置时，处理器11寻找对所收集的数据的最佳拟合，但是该拟合可能不是完美的：例如，它可能不能对移动灯光进行拟合，所述移动灯光被错误地识别为标记物30之一。

标记物30在图像中的位置表示这些标记物30相对于摄像头24的方向，但不一定表示它们距摄像头24的距离。处理器11根据标记物30出现在图像中的尺寸来推断到标记物30的距离是可能的。另选地或另外，可以根据标记物30在帧之间的成像位置的变化来推断到标记物30的距离。处理器11解决了多变量问题，其中，在连续帧中从摄像头24到标记物30的相对方向是已知的。处理器11确定标记物30的映射图，该映射图提供对在来自摄像头30的连续帧中关于标记物30的方向所收集的信息的最佳拟合。形成映射图后，处理器通过识别位置和取向(从该位置和取向，映射的标记物30的视角被期望与在来自摄像头24的最新图像中识别的标记物30最匹配)，参考该映射图来估计摄像头24的位置。如果可以更有把握地知道与在第一帧中的一位置处表示的标记物30相同的标记物也被表示在第二帧中的一位置处，则该问题可以被简化。这种关系可以通过以下中的一者或二者来实现：(i)捕获帧的速度足够高，以使一个或更多个标记物30通常会出现在连续的帧中，因此可以由处理器进行跟踪；和(ii)处理器在所成像的标记物30中搜索共同空间图案，该共同空间图案指示相同组的标记物30已经在不同的帧中被成像。

可以用标记物30的位置对处理器11进行预编程，但是已经发现，对于具有适当密度的标记物30的星座，这不是必要的，因为处理器11可以令人满意地学习标记物的位置。标记物30的经预编程的位置可以是由已学习了标记物30的位置的另一处理器11先验地创建的映射图的结果。

标记物30可以被提供独特的特征，以帮助处理器将不同标记物30的图像彼此区分开。那些特征可以例如是数字或条形码，或者不同标记物30的形状或颜色可以不同，使得它们可以被区分开。

使用上述过程，处理器11检测并跟踪摄像头24的运动。由于摄像头24相对于HMD并且进而相对于用户身体的第一部位(例如，佩戴HMD的头部)被固定，因此处理器可以确定身体的该部位(例如，用户的头部)在真实世界中的运动。

通过为对象配备摄像头24以捕获一系列帧并将所捕获的帧传递给控制单元10以供处理器11进行进一步处理，可以将相同的定位方法应用于真实环境的静态对象和非静态对象9。

定位系统的成像设备不需要直接安装到关注的对象。在一个示例中，对象可以配备有其他传感器(例如，角编码器)，并且可以将摄像头24定位在距对象的已知距离处以确定对象的位置。然后，可以将此位置信息与其他传感器产生的输出(考虑到所确定的对象的位置与其实际位置之间的偏移)组合，并且将结果传递给控制单元10以供处理器11进行进一步处理。一旦处理器11确定了对象在真实环境中的位置，则处理器11可以经由链路13将所确定的HMD和对象的位置发送给另一设备14(参见图2)。该设备可以根据所确定的位置，使用数据来控制诸如显示器的设备或诸如机器人的可物理移动的设备。

在一个示例中，设备14根据所确定的位置来控制HMD 17的视频显示器18。这可以通过几种方式来完成。在第一布置中，控制设备14控制显示器显示对象9的模拟。该模拟例如可以是其位置或动作与人或对象的检测到的位置或动作相对应的人或对象(静态或运动)的表示。在另一布置中，控制设备14控制HMD 17上的显示器18，HMD 17被假定为由用户1携带。在这种布置中，控制设备14控制HMD显示与用户1的运动相对应地改变的图像，以便向用户提供虚拟/增强现实体验。因此，可以响应于由控制器10确定的估计位置来控制HMD17。控制设备14可以包括处理器15和以非瞬时方式存储可由处理器执行以执行其功能的指令的存储器16。

单元10、14和22中的一个或更多个可以集成在一起。另选地，它们可以彼此远离。

为了使摄像头24具有标记物30的星座的最可靠视图，优选的是，摄像头24被定位成使得对于用户1和/或对象的正常位置，摄像头24向上对准。图5示出了摄像头24可以被附接到HMD 17。HMD 17可以用带41附接在用户的头部周围而被佩戴。

灯26可以位于摄像头24附近。优选地，灯被配置为大致沿摄像头24所指向的方向发光。灯26可以被固定到摄像头24。当摄像头24被固定到诸如头戴式显示器17的可穿戴计算机时，灯26可以被固定至同一可穿戴计算机。灯26可以发射可见光或不可见(例如紫外或红外)光。灯26所发射的光优选地具有摄像头24可以检测到的波长。当灯26工作时，它可以照亮摄像头24的视场。这可以使控制器10更容易区分标记物30。例如，当标记物30是逆向反光材料时，由于它们反射来自灯26的光，所以它们可以显示为由摄像头24捕获的图像的特别明亮的区域。

由用户1携带和/或安装到对象上的设备可以方便地由同样由用户携带和/或安装到对象上的电池27供电。

用于校准诸如加速度计之类的对象的位置的另一种方法是使对象与位置已知的点接触。对象与已知位置接触的时间可以用信号通知控制器10，并且随后的加速度可以被求积分以提供相对于该已知位置的位置偏移。已知位置可以是固定的，也可以是可移动探针(例如，手持式探针)上的点，可移动探针的位置可以通过激光测距等方法进行感测，测量在探针与底座之间延伸的链节上的结合点的角度，或通过摄像头(例如24)来进行测量。另选地，该单元可用于连续校准这种对象和传感器的位置。

HMD 17可以被配置为通过将计算机生成的图像叠加到来自物理世界的真实图像上来显示增强现实或混合现实世界。可以通过经由部分反射镜来投影CGI并直接观看真实世界，将真实世界的视图与CGI结合起来。另选地，也可以通过接受来自摄像头的视频并将视频与CGI以电子的方式混合，来以电子方式将真实世界的视图与CGI结合起来。

除了游戏和娱乐应用之外，上述可穿戴计算机技术和虚拟现实系统还可应用于其他应用。这些应用包括：军事应用，例如在航空领域；工业应用，例如制造、建造、测试和维护；工程应用，例如提供计算机辅助设计(CAD)方案的立体视图；医疗应用；体育应用；最后是培训和模拟应用。

申请人在此单独公开了本文所述的每个单独的特征以及两个或更多个这样的特征的任意组合，使得可以根据本领域技术人员的常见一般知识基于本说明书整体来执行这样的特征或组合，不论这些特征或特征的组合是否解决了本文公开的任何问题，并且不限于权利要求的范围。申请人指出，本发明的方面可以由任何这样的单个特征或特征的组合组成。根据前面的描述，对于本领域技术人员显而易见的是，可以在本发明的范围内进行各种修改。

Claims

1.一种运动跟踪系统，该运动跟踪系统被配置为确定表示真实环境中的真实对象的模拟对象的呈现，该定位系统包括：

成像设备，该成像设备被安装至所述真实对象，并且被配置为捕获位于所述真实环境中的多个不规则定位的标记物的一系列图像；

图像处理单元，该图像处理单元在通信上联接到所述成像设备，以接收所述一系列图像；

所述图像处理单元被配置为通过以下操作确定所述真实对象的真实位置：

创建由在所述一系列图像中可见的所述标记物形成的星座的三维模型；

将在由所述成像设备捕获的连续图像中可见的标记物的图案映射到所述模型，从而确定所述成像设备相对于所述标记物的运动；以及

确定所述模拟对象的呈现，以使所述呈现模仿所确定的所述成像设备的运动。

2.根据权利要求1所述的运动跟踪系统，其中，所述处理器被配置为：

在所述一系列图像中检测位于所述真实环境中的所述多个不规则定位的标记物中的各个标记物的表示；以及

通过将在不同时间捕获的所述一系列图像中的所述标记物的表示的位置进行比较，确定所述真实对象的所述真实位置。

3.根据权利要求2所述的运动跟踪系统，其中，所述处理器被配置为将所述一系列图像中的各个标记物的表示检测为所述图像的相对高亮度的区域。

4.根据任一前述权利要求所述的运动跟踪系统，其中，所述标记物是逆向反光的。

5.根据任一前述权利要求所述的运动跟踪系统，其中，所述标记物是大致相同的。

6.根据任一前述权利要求所述的运动跟踪系统，其中，所述标记物位于所述环境的朝向下方的表面上。

7.根据任一前述权利要求所述的运动跟踪系统，其中，所述成像设备被固定到可穿戴显示器。

8.根据权利要求1至6中任一项所述的运动跟踪系统，所述运动跟踪系统包括可穿戴显示器，所述可穿戴显示器具有自身的成像设备，通过该成像设备估计所述可穿戴显示器的位置。

9.根据权利要求7或8所述的运动跟踪系统，其中，所述可穿戴显示器是所述可穿戴显示器的佩戴者看得到的头戴式显示器。

10.根据权利要求9所述的运动跟踪系统，其中，所述成像设备以如下取向被固定到所述可穿戴显示器：当所述佩戴者的头部以直立取向正常穿戴所述可穿戴显示器时，所述成像设备的视场的中心向上对准。

11.根据权利要求9或10所述的运动跟踪系统，其中，所述处理器被配置为使所述显示器上的图像与由所述处理器检测到的所述佩戴者的头部的运动相对应地摇动和/或倾斜。

12.根据权利要求11所述的运动跟踪系统，其中，所述处理器被配置为使所述显示器上的图像与由所述处理器检测到的所述佩戴者的运动相对应地显示环境的虚拟现实图像，所述环境的虚拟现实图像对穿过所述环境的运动进行模拟。

13.根据任一前述权利要求所述的运动跟踪系统，其中，所述成像设备被固定到对象。

14.根据权利要求13所述的运动跟踪系统，其中，所述成像设备按照使所述成像设备的视场的中心向上对准的取向被固定到所述对象。

15.根据权利要求1至12中任一项所述的运动跟踪系统，其中，所述成像设备被固定到从对象偏移的底座。

16.根据任一前述权利要求所述的运动跟踪系统，其中，所述成像设备是摄像头。

17.根据权利要求8所述的运动跟踪系统，其中，所述可穿戴显示器的位置是通过由在所述一系列图像中可见的所述标记物形成的星座的所述三维模型来估计的。

18.根据权利要求8所述的运动跟踪系统，其中，当所述可穿戴显示器被沿其正常取向穿戴时，所述成像设备按照使所述成像设备的视场的中心向上对准的方式取向。

19.一种用于跟踪真实对象在真实环境中的运动以呈现表示所述真实环境中的所述真实对象的模拟对象的方法，该方法包括：

由成像设备捕获位于所述真实环境中的多个不规则定位的标记物的一系列图像；

由在通信上联接到所述成像设备的图像处理单元接收所述一系列图像；

20.一种虚拟现实系统，该虚拟现实系统包括：

可穿戴显示器，该可穿戴显示器被配置为显示虚拟世界的计算机生成的模拟；

对象，所述虚拟世界的所述计算机生成的模拟包括所述对象的虚拟表示；以及

根据权利要求1至18中任一项所述的定位系统，所述定位系统在工作上联接到所述可穿戴显示器和所述对象，并且所述定位系统被配置为确定所述对象的呈现模拟，并且从所述可穿戴显示器的视点在所述可穿戴显示器上呈现所述模拟对象。