CN114115521A - 追踪方法与追踪系统 - Google Patents

追踪方法与追踪系统 Download PDF

Info

Publication number
CN114115521A
CN114115521A CN202111002365.4A CN202111002365A CN114115521A CN 114115521 A CN114115521 A CN 114115521A CN 202111002365 A CN202111002365 A CN 202111002365A CN 114115521 A CN114115521 A CN 114115521A
Authority
CN
China
Prior art keywords
data
coordinate system
tracking
pose
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111002365.4A
Other languages
English (en)
Other versions
CN114115521B (zh
Inventor
廖文选
赵浩云
张慈殷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN114115521A publication Critical patent/CN114115521A/zh
Application granted granted Critical
Publication of CN114115521B publication Critical patent/CN114115521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Position Input By Displaying (AREA)
  • Adjustment Of The Magnetic Head Position Track Following On Tapes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用以追踪头戴式装置的一种追踪方法包含下列步骤。追踪头戴式装置在内往外坐标系统中的第一姿势资料。追踪头戴式装置在外往内坐标系统中的第二姿势资料。根据第一姿势资料以及第二姿势资料计算内往外坐标系统与外往内坐标系统之间的转换关系。根据转换关系将内往外坐标系统中的第一姿势资料转换为外往内坐标系统中的第三姿势资料。相应于第二姿势资料目前为可取得，利用第二姿势资料决定头戴式装置的装置姿势。相应于第二姿势资料目前为无法取得，利用第三姿势资料决定头戴式装置的装置姿势，无缝地切换外往内追踪功能与内往外追踪功能。

Description

追踪方法与追踪系统
技术领域
本公开有关于一种追踪方法与追踪系统，且特别是有关于使用在头戴式装置上的追踪方法与追踪系统。
背景技术
虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、替代现实(Substitutional Reality,SR)及/或混合现实(Mixed Reality,MR)等装置是设计用来提供使用者沉浸式的体验。当使用者配戴头戴式装置时，使用者的视线将被头戴式装置所显示的沉浸式内容所覆盖。沉浸式内容可以展示特定空间的场景。
为了提供沉浸式体验，必须能够追踪使用者的移动，并且即时性根据使用者的移动提供相应的画面。当使用者移动到不同的位置时，虚拟现实当中的场景可以同步地切换至不同的视角。因此，在虚拟现实、增强现实或混合现实等应用当中，如何有效地及准确地追踪使用者的移动是非常重要的。
发明内容
本公开的一方面有关一种追踪方法，包含下列步骤。追踪头戴式装置在一内往外坐标系统中的一第一姿势资料。追踪该头戴式装置在一外往内坐标系统中的一第二姿势资料。根据该第一姿势资料以及该第二姿势资料计算该内往外坐标系统与该外往内坐标系统之间的一转换关系。根据该转换关系将该内往外坐标系统中的该第一姿势资料转换为该外往内坐标系统中的一第三姿势资料。相应于该第二姿势资料目前为可取得，利用该第二姿势资料决定该头戴式装置的一装置姿势。相应于该第二姿势资料目前为无法取得，利用该第三姿势资料决定该头戴式装置的该装置姿势。
于一些实施例中，该第一姿势资料是有关于该头戴式装置在该内往外坐标系统中的一位置与一轴向，该头戴式装置在一空间区域内移动，该第一姿势资料是以该头戴式装置的视角相对于该空间区域进行追踪。
于一些实施例中，该头戴式装置包含一相机以及一惯性量测单元，该头戴式装置的该相机用以感测该空间区域中的一特征锚点以追踪该第一姿势资料，该惯性量测单元用以感测该头戴式装置的该轴向。
于一些实施例中，该第二姿势资料是有关于该头戴式装置在该外往内坐标系统中的一位置与一轴向，该头戴式装置是以一追踪基站的视角进行追踪，该追踪基站设置于一空间区域中的一固定位置。
于一些实施例中，该追踪基站包含一光发射器，该头戴式装置包含多个光感测器，该些光感测器用以分别感测该光发射器产生的一光讯号以追踪该第二姿势资料。
于一些实施例中，相应于该光发射器产生的该光讯号被阻挡无法照射至该头戴式装置上的该些光感测器或者该头戴式装置位在该追踪基站的一覆盖范围之外，该第二姿势资料目前为无法取得。
于一些实施例中，决定该装置姿势的步骤包含相应于该第二姿势资料目前由可取得切换为无法取得，利用介于该第二姿势资料的最新可取得资料与该第三姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
于一些实施例中，决定该装置姿势的步骤包含相应于该第二姿势资料目前由无法取得恢复为可取得，利用介于该第三姿势资料与该第二姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
于一些实施例中，计算该内往外坐标系统与该外往内坐标系统之间的该转换关系的步骤包含：同步取得该第一姿势资料与该第二姿势资料的一对静态资料；对齐该对静态资料当中的该第一姿势资料与该第二姿势资料；以及根据对齐后的该对静态资料当中的该第一姿势资料与该第二姿势资料，计算该内往外坐标系统与该外往内坐标系统之间的一旋转转换矩阵以及该内往外坐标系统与该外往内坐标系统之间的一位置转换矩阵。
于一些实施例中，追踪方法更包含：以该头戴式装置的视角追踪一手持式控制器在该内往外坐标系统中的一第四姿势资料；根据该转换关系将该内往外坐标系统中的该第四姿势资料转换为该外往内坐标系统中的一第五姿势资料；以及套用该第五姿势资料决定一控制器姿势。
本公开的另一方面有关一种追踪系统，包含头戴式装置、追踪基站以及处理单元。头戴式装置用以追踪该头戴式装置在一内往外坐标系统中的一第一姿势资料。追踪基站与该头戴式装置交互配合，用以在追踪该头戴式装置在一外往内坐标系统中的一第二姿势资料。处理单元用以接收该第一姿势资料以及该第二姿势资料，该处理单元用以执行下列操作以决定该头戴式装置的一装置姿势。处理单元根据该第一姿势资料以及该第二姿势资料计算该内往外坐标系统与该外往内坐标系统之间的一转换关系。处理单元根据该转换关系将该内往外坐标系统中的该第一姿势资料转换为该外往内坐标系统中的一第三姿势资料。相应于该第二姿势资料目前为可取得，处理单元利用该第二姿势资料决定该头戴式装置的该装置姿势。相应于该第二姿势资料目前为无法取得，处理单元利用该第三姿势资料决定该头戴式装置的该装置姿势。
于一些实施例中，该第一姿势资料是有关于该头戴式装置在该内往外坐标系统中的一位置与一轴向，该头戴式装置在一空间区域内移动，该第一姿势资料是以该头戴式装置的视角相对于该空间区域进行追踪。
于一些实施例中，该头戴式装置包含一相机以及一惯性量测单元，该头戴式装置的该相机用以感测该空间区域中的一特征锚点以追踪该第一姿势资料，该惯性量测单元用以感测该头戴式装置的该轴向。
于一些实施例中，该第二姿势资料是有关于该头戴式装置在该外往内坐标系统中的一位置与一轴向，该头戴式装置是以一追踪基站的视角进行追踪，该追踪基站设置于一空间区域中的一固定位置。
于一些实施例中，该追踪基站包含一光发射器，该头戴式装置包含多个光感测器，该些光感测器用以分别感测该光发射器产生的一光讯号以追踪该第二姿势资料。
于一些实施例中，相应于该光发射器产生的该光讯号被阻挡无法照射至该头戴式装置上的该些光感测器或者该头戴式装置位在该追踪基站的一覆盖范围之外，该第二姿势资料目前为无法取得。
于一些实施例中，相应于该第二姿势资料目前由可取得切换为无法取得，该处理单元利用介于该第二姿势资料的最新可取得资料与该第三姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
于一些实施例中，相应于该第二姿势资料目前由无法取得恢复为可取得，该处理单元利用介于该第三姿势资料与该第二姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
于一些实施例中，该处理单元计算该内往外坐标系统与该外往内坐标系统之间的该转换关系的操作是透过：同步取得该第一姿势资料与该第二姿势资料的一对静态资料；对齐该对静态资料当中的该第一姿势资料与该第二姿势资料；以及根据对齐后的该对静态资料当中的该第一姿势资料与该第二姿势资料，计算该内往外坐标系统与该外往内坐标系统之间的一旋转转换矩阵以及该内往外坐标系统与该外往内坐标系统之间的一位置转换矩阵。
于一些实施例中，追踪系统更包含一手持式控制器，以该头戴式装置的视角追踪一手持式控制器在该内往外坐标系统中的一第四姿势资料，该处理单元根据该转换关系将该内往外坐标系统中的该第四姿势资料转换为该外往内坐标系统中的一第五姿势资料，该处理单元套用该第五姿势资料决定一控制器姿势。
追踪系统与追踪方法可以利用两种追踪功能来追踪头戴式装置，包含内往外追踪功能以及外往内追踪功能，如此一来，可以在相对较高的准确性、较短延迟以及较低电力消耗的情况下追踪头戴式装置。并且在外往内追踪功能因某些限制而无法追踪时，可以无缝地改由内往外追踪功能提供头戴式装置的姿势资料。
须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本案，并用以辅助本案所请求的发明内容的解释与理解。
附图说明
图1绘示根据本公开文件的一些实施例中的一种追踪系统的示意图；
图2绘示根据本公开文件的一些实施例中追踪系统的功能方块图；
图3绘示根据本公开文件的一些实施例中追踪方法的流程图；
图4A绘示在一些实施例中内往外坐标系统与外往内坐标系统在时间点的示意图；
图4B绘示在一些实施例中内往外坐标系统与外往内坐标系统在另一时间点的示意图；
图5绘示图3中追踪方法的步骤其中进一步步骤的流程图；
图6A绘示在一些实施例中在由第二姿势资料变化至第三姿势资料的示意图；
图6B绘示在一些实施例中在由第三姿势资料变化至第二姿势资料的示意图；
图7绘示根据本公开文件的一些实施例中具有手持式控制器追踪功能的追踪系统的功能方块图；以及
图8绘示根据本公开文件的另一些实施例中追踪系统当中具有两种追踪功能以追踪手持式控制器的功能方块图。
图中：
100,100a:追踪系统
120:头戴式装置
122:相机
124:光感测器
126:惯性量测单元
140:追踪基站
142:光发射器
160:处理单元
162:旋转估算器
164:姿势转换器
166:姿势切换器
180:手持式控制器
182:光感测器
200:追踪方法
S210～S256:步骤
CA:覆盖范围
SA:空间区域
AN1,AN2:特征锚点
PD1:第一姿势资料
PD2:第二姿势资料
PD3:第三姿势资料
PD4:第四姿势资料
PD5:第五姿势资料
PD6:第六姿势资料
PDf:融合姿势资料
Rpd2,Rpd3:比例
TR1,TR3:内往外追踪功能
TR2,TR4:外往内追踪功能
TRAN:转换关系
PHMD:装置姿势
PCON:控制器姿势
DIS:位移量
OW:外往内世界坐标系统
IW:内往外世界坐标系统
OD:外往内驱动器坐标系统
ID:内往外驱动器坐标系统
T0,T1,T2,Ti:时间点
具体实施方式
以下公开提供许多不同实施例或例证用以实施本公开文件的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本公开。所讨论的任何例证只用来作解说的用途，并不会以任何方式限制本公开文件或其例证的范围和意义。在适当的情况下，在图示之间及相应文字说明中采用相同的标号以代表相同或是相似的元件。
图1绘示根据本公开文件的一些实施例中的一种追踪系统100的示意图。追踪系统100包含位在空间区域SA当中的头戴式装置120以及追踪基站140。举例来说，如图1所示的空间区域SA可以是真实世界中的卧室或者会议室，但本公开文件并不以此为限。在一些实施例中，空间区域SA也可以室外空间中的特定范围(图中未绘示)。
头戴式装置120通常是配载在空间区域SA当中使用者的头部。追踪系统100并不限于追踪图1当中的单一个头戴式装置120。追踪系统100可以追踪两个或更多个头戴式装置。使用者可以在空间区域SA自由移动到不同的位置且可以面朝不同的方向。在这个情况下，头戴式装置120会随着移动到不同的位置(基于使用者的位移)以及具有不同的轴向(基于使用者头部的轴向)。
多种不同的技术可以用来追踪使用者的动态，其中两种主要的追踪技术种类，分别为内往外追踪(inside-out tracking)与外往内追踪(outside-in tracking)。内往外追踪是以头戴式装置120本身的视角出发观察外部环境的相对变化以追踪使用者的动态。外往内追踪则是利用外部装置来追踪使用者的动态，这个外部装置是与头戴式装置120分开设置且用来观察/追踪头戴式装置120的动态。
在一些实施例中，头戴式装置120可以提供虚拟现实、扩增现实、替代现实或混合现实的内容给使用者。为了让使用者可以有沉浸式的体验，追踪系统100用以追踪头戴式装置120，藉此侦测使用者其动态的位置与旋转。
于一些实施例中，头戴式装置120可以透过内往外追踪功能得知其本身的装置姿势，内往外追踪功能可以由内部视角(即由头戴式装置120的视角)向外观察空间区域SA当中的一些物件(例如特征锚点AN1与AN2)，藉此侦测到关于头戴式装置120的内往外姿势资料(inside-out pose data)。
于一些实施例中，追踪基站140设置在空间区域SA当中的固定位置。举例来说，追踪基站140可以设置在图1所示的房间的靠近天花板的一个角落位置。在一些实施例中，追踪基站140是用来提供外往内追踪功能的构件，其可以由外部视角进行头戴式装置120的追踪，藉此侦测关于头戴式装置120的外往内姿势资料(outside-in pose data)。
在一些实施例中，追踪系统100包含处理单元160。处理单元160可以接收上述内往外姿势资料与外往内姿势资料两者，且处理单元160利用外姿势资料与外往内姿势资料两者的组合来决定头戴式装置120的装置姿势。换句话说，追踪系统100可以整合两种追踪功能(例如内往外与外往内)以追踪头戴式装置120。更进一步的细节将在后续段落中有完整说明。
在一些实施例中，处理单元160可以由独立于头戴式装置120与追踪基站140之外的电脑中的处理器来实现。在一些实施例中，处理单元160也可以由整合于头戴式装置120或追踪基站140当中的处理器或特定专用集成电路(application specific integratedcircuit,ASIC)来实现。
请一并参阅图2，其绘示根据本公开文件的一些实施例中追踪系统100的功能方块图。
于一些实施例中，如图1以及图2所示，头戴式装置120包含相机122、多个光感测器124以及惯性量测单元(inertial measurement unit,IMU)126。在一些实施例中，相机122与惯性量测单元126用以实现内往外追踪功能TR1。
于图1的实施例所示，相机122设置于头戴式装置120的前侧，相机122可以用来撷取以头戴式装置120视角观察的串流图像资料。
基于相机122撷取的串流图像资料，追踪系统100可以找出空间区域SA当中的至少一个特征锚点(例如特征锚点AN1与AN2)。如图1所示的实施例，特征锚点AN1可以是房间里的窗户，而特征锚点AN2可以是房间里的电视机。基于串流图像资料，头戴式装置120(或者是处理单元160)能够建立空间区域SA的地图，并且能够感测头戴式装置120相对于空间区域SA当中特征锚点AN1与AN2的相对位置。于一些实施例中，头戴式装置120(或者是处理单元160)可以采用同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术来建立未知环境(例如空间区域SA)的地图并且同步地追踪头戴式装置120在未知环境中的位置。
基于相机122所观察到特征锚点AN1与AN2在串流图像资料所呈现的尺寸及/或形状，内往外追踪功能TR1可以侦测头戴式装置120与特征锚点AN1之间的距离以及头戴式装置120与特征锚点AN2之间的另一距离，如此一来，内往外追踪功能TR1可以侦测头戴式装置120所在的位置。于一些其他实施例中，头戴式装置120可以包含两个或更多的相机(图中未绘示)藉以提高内往外追踪功能TR1的精准度。惯性量测单元126可以侦测头戴式装置120的轴向或旋转。如图2所示，内往外追踪功能TR1可以侦测头戴式装置120在内往外坐标系统中的第一姿势资料PD1。此第一姿势资料PD1是有关头戴式装置120在内往外坐标系统当中的位置与轴向。头戴式装置120可以在空间区域SA移动。第一姿势资料PD1是以头戴式装置120的视角相对于空间区域SA进行追踪。
需要特别说明的是，在图2绘示的一些实施例中，内往外追踪功能TR1可由机器视觉追踪方式所实现，至少透过相机122与惯性量测单元126加以执行，但本公开文件并不以此为限。在其他的一些实施例中，内往外追踪功能TR1可由其他具相似性的追踪技术加以实现，例如超音波追踪技术(例如向外发射超音波并且侦测反弹的超音波)、红外线追踪技术或其他具相等性的内往外追踪方式。
在一些实施例中，如图1及图2所示，追踪基站140包含光发射器142，头戴式装置120包含多个光感测器124。在一些实施例中，光发射器142与这些光感测器124是用来实现外往内追踪功能TR2。在一些实施例中，这些光感测器124设置在头戴式装置120的不同位置点上，这些光感测器124是各自用来侦测光发射器142所产生的光讯号，藉以追踪头戴式装置120在外往内坐标系统中的第二姿势资料PD2。由于这些光感测器124是设置在头戴式装置120的不同位置点上，由光发射器142发射的光讯号将在些微不同的时间点抵达各个光感测器124，根据上述些微不同的时间差，外往内追踪功能TR2可以追踪有关头戴式装置120的第二姿势资料PD2。在此实施例中，第二姿势资料PD2可由多个光感测器124产生。
第二姿势资料PD2是有关于头戴式装置120在外往内坐标系统中的位置与轴向。第二姿势资料PD2是以追踪基站140的视角进行追踪，追踪基站140设置在空间区域SA的固定位置。
需要特别说明的是，在图2绘示的一些实施例中，外往内追踪功能TR2可由光学追踪方式所实现，至少透过光发射器142与这些光感测器124加以执行，但本公开文件并不以此为限。举例来说，在另一替换方案中，可以在头戴式装置120上设置光发射器(图中未绘示)，而光感测器可以改设置在追踪装置上。在其他的一些实施例中，追踪装置可以使用机器视觉(例如相机及搭配的物件辨识演算法)以进行外往内追踪功能TR2。在一些其他的实施例中，追踪基站140也可以使用超音波追踪、红外线追踪或其他具相似性的外往内追踪技术来达成外往内追踪功能TR2。
在多数的情况下，相较于内往外追踪功能TR1，透过外往内追踪功能TR2来追踪头戴式装置120可以提供较高的准确度、较短的延迟及/或较低的电力消耗。然而，外往内追踪功能TR2在一些特别情况下也存在使用上的限制。例如，光发射器142能够发射光讯号至图1所示的覆盖范围CA。当使用者踏出覆盖范围CA之外，外往内追踪功能TR2可能失去对头戴式装置120的追踪。在这样的情况下，使用者将被限制仅能在覆盖范围CA之内移动。在另一个例子中，当使用者旋转至特定的角度，或者当使用者将手臂举高至头顶位置时，光发射器142发射的光讯号可能被阻挡而无法抵达头戴式装置120上的光感测器124，因此外往内追踪功能TR2也可能失去对头戴式装置120的追踪。
另一方面，内往外追踪功能TR1则不限于在覆盖范围CA内使用。然而，相较于外往内追踪功能TR2，利用内往外追踪功能TR1来追踪头戴式装置120可能会造成较长的延迟、较低的准确度及/或较高的电力消耗(以进行机器视觉的运算)。
在一些实施例中，处理单元160可以结合内往外追踪功能TR1产生的第一姿势资料PD1以及外往内追踪功能TR2的第二姿势资料PD2以决定头戴式装置120的装置姿势PHMD。
请一并参阅图3，其绘示根据本公开文件的一些实施例中追踪方法200的流程图。追踪方法200可由图1及图2所示的追踪系统100所执行。
如图2及图3所示，在步骤S210，透过内往外追踪功能TR1追踪头戴式装置120在内往外坐标系统中的第一姿势资料PD1。在步骤S220当中，透过外往内追踪功能TR2追踪头戴式装置120在外往内坐标系统的第二姿势资料PD2。
需特别说明的是，在一些实施例中，内往外坐标系统是以头戴式装置120的视角为基础，而外往内坐标系统是以追踪基站140的视角为基础。因此，第一姿势资料PD1与第二姿势资料PD2彼此并无法直接比较，且无法直接地一起使用来决定装置姿势PHMD。
如图2及图3所示，在步骤S230当中，处理单元160的旋转估算器162根据第一姿势资料PD1与第二姿势资料PD2计算内往外坐标系统与外往内坐标系统之间的转换关系TRAN。
内往外坐标系统与外往内坐标系统之间的转换关系TRAN可以透过进一步步骤来计算。首先，处理单元160的旋转估算器162同步取得(在相同的时间点)第一姿势资料PD1与第二姿势资料PD2的一对静态资料。第一姿势资料PD1纪录了头戴式装置120在内往外坐标系统中姿势资料，第二姿势资料PD2纪录了同一个头戴式装置120在外往内坐标系统中姿势资料。旋转估算器162可以对齐该一对静态资料当中的第一姿势资料PD1与第二姿势资料PD2，藉此找出第一姿势资料PD1与第二姿势资料PD2彼此之间的对齐关联性。接着，处理单元160的旋转估算器162可以根据对齐后的第一姿势资料PD1与第二姿势资料PD2计算转换关系TRAN。需特别注意的是，在一些实施例中，可以在一定时段内的不同时间点上分别收集由第一姿势资料PD1与第二姿势资料PD2组成的多对静态资料，每一对静态资料包含同一时间点上的一组第一姿势资料PD1与第二姿势资料PD2。举例来说，可以在一分钟内每秒各收集一对静态资料，如此便可收集共由第一姿势资料PD1与第二姿势资料PD2所组成的60对静态资料来计算转换关系TRAN。
在一些实施例中，转换关系TRAN包含内往外坐标系统与外往内坐标系统之间的旋转转换矩阵以及内往外坐标系统与外往内坐标系统之间的位置转换矩阵。转换关系TRAN可以透过下列等式计算：
Figure BDA0003235965580000121
Figure BDA0003235965580000122
转换关系TRAN当中的位置转换矩阵可以透过公式(a)计算，转换关系TRAN当中的旋转转换矩阵可以透过公式(b)计算。
请一并参阅图4A以及图4B，图4A绘示在一些实施例中内往外坐标系统与外往内坐标系统在时间点T0的示意图，图4B绘示在一些实施例中内往外坐标系统与外往内坐标系统在另一时间点Ti(在时间点T0之后)的示意图。
如图4A以及图4B所示，其中绘示了外往内世界坐标系统OW、外往内驱动器坐标系统OD、内往外世界坐标系统IW以及内往外驱动器坐标系统ID。在公式(a)与(b)当中，P0表示头戴式装置120在时间点T0时的位置，Pi表示头戴式装置120在时间点Ti时的位置，
Figure BDA0003235965580000123
表示由外往内驱动器坐标系统OD转换为外往内世界坐标系统OW上的头戴式装置120由时间点T0至时间点Ti之间的位移量DIS。
Figure BDA0003235965580000124
表示由内往外驱动器坐标系统ID转换为外往内世界坐标系统OW上的头戴式装置120在时间点Ti时的旋转转换矩阵。
外往内世界坐标系统OW为固定的，并且内往外世界坐标系统IW也为固定的。外往内世界坐标系统OW与内往外世界坐标系统IW可以具有不同的原点以及不同的轴向。外往内世界坐标系统OW与内往外世界坐标系统IW之间的旋转转换矩阵
Figure BDA0003235965580000125
可以根据对齐后的第一姿势资料PD1与第二姿势资料PD2而找到。
外往内驱动器坐标系统OD是根据追踪基站140当中的光发射器142的轴向而定。外往内世界坐标系统OW与外往内驱动器坐标系统OD之间的旋转转换矩阵
Figure BDA0003235965580000131
可以由追踪基站140当中的光发射器142(例如透过与光发射器142连接的感测器)侦测。
内往外驱动器坐标系统ID是根据头戴式装置120的轴向而定。内往外世界坐标系统IW与内往外驱动器坐标系统ID之间的旋转转换矩阵
Figure BDA0003235965580000132
可以由头戴式装置120当中的惯性量测单元126与相机122所侦测。由于上述公式(a)与(b)当中的旋转转换矩阵
Figure BDA0003235965580000136
位置转换矩阵
Figure BDA0003235965580000134
与旋转转换矩阵
Figure BDA0003235965580000135
可以透过对齐后的第一姿势资料PD1与第二姿势资料PD2而得知，因此，便可推算出包含公式(a)与(b)的转换关系TRAN。
基于图2及图3所示的转换关系TRAN，在步骤S240当中，处理单元160的姿势转换器164用以将内往外坐标系统中的第一姿势资料PD1转换为外往内坐标系统中的第三姿势资料PD3。
需特别注意的是，转换关系TRAN的计算可以在第一姿势资料PD1与第二姿势资料PD2均为当前可取得的情况下完成。之后，若使用者移动至覆盖范围CA之外或者阻挡了光讯号使其无法抵达光感测器124，而使外往内追踪功能TR2当前无法产生第二姿势资料PD2时(即第二姿势资料PD2为无法取得)，步骤S240可将内往外坐标系统中的第一姿势资料PD1转换为外往内坐标系统中的第三姿势资料PD3。于此例子中，即使当第二姿势资料PD2目前为无法取得时，追踪系统100仍可以在外往内坐标系统中持续追踪装置姿势PHMD。
如图2以及图3所示，在步骤S250中，处理单元160套用第二姿势资料PD2与第三姿势资料PD3的组合来决定装置姿势PHMD。
请一并参阅图5，其绘示图3中追踪方法200的步骤S250其中进一步步骤的流程图。追踪方法200可以由图1以及图2当中的追踪系统100所执行。
如图2以及图5所示的实施例中，步骤S250更包含四个进一步步骤S251～S254。在步骤S251中，处理单元160侦测第二姿势资料PD2当前是否为可取得的。当第二姿势资料PD2目前为可取得的，由处理单元160的姿势切换器166执行步骤S252，选择第二姿势资料PD2作为装置姿势PHMD。
当第二姿势资料PD2目前为无法取得的(例如离开覆盖范围CA或阻挡了光讯号)，由处理单元160的姿势切换器166执行步骤S254，选择第三姿势资料PD3作为装置姿势PHMD。
在一些实施例中，当第二姿势资料PD2刚刚无法取得时，若追踪系统100是立刻将装置姿势PHMD由第二姿势资料PD2切换为第三姿势资料PD3，使用者可能会因为装置姿势PHMD的明显改变而感到不适，而头戴式装置120所显示的场景也可能会剧烈改变。
因此，在一些实施例中，追踪方法200在步骤S254(选择第三姿势资料PD3作为装置姿势PHMD)之前进一步包含步骤S253。步骤S253中，当第二姿势资料PD2刚由可取得变为无法取得时，姿势切换器166使用介于第二姿势资料PD2的最新可取得资料与第三姿势资料PD3之间的融合姿势资料PDf，以决定头戴式装置120的装置姿势PHMD。请一并参阅图6A，其绘示在一些实施例中在由第二姿势资料PD2变化至第三姿势资料PD3的示意图。如图6A所示，在时间点T1之前，第二姿势资料PD2为可取得的，此时装置姿势PHMD设定为与第二姿势资料PD2相同。从时间点T1开始，第二姿势资料PD2刚刚变为无法取得，装置姿势PHMD设定为介于第二姿势资料PD2的最新可取得资料与第三姿势资料PD3之间的融合姿势资料PDf。在一开始时，用以决定装置姿势PHMD当中因素中是由第二姿势资料PD2占有较高的比例Rpd2，而第三姿势资料PD3占有较低的比例Rpd3。也就是说，在一开始时，装置姿势PHMD主要是由第二姿势资料PD2所影响。接着，用来决定装置姿势PHMD的因素中第二姿势资料PD2占有的比例Rpd2逐渐下降，而第三姿势资料PD3占有的比例Rpd3逐渐上升。在时间点T2以后，装置姿势PHMD设定为与第三姿势资料PD3相同。
相似地，当第二姿势资料PD2刚由无法取得恢复为可取得时，可以采用融合姿势资料PDf并逐渐提高第二姿势资料PD2占有的比例Rpd2。如图5所示，由处理单元160执行步骤S255，侦测第二姿势资料PD2是否由无法取得恢复为可取得。若第二姿势资料PD2仍然为无法取得，则回到步骤S254。若发现第二姿势资料PD2由无法取得恢复为可取得时，执行步骤S256，姿势切换器166使用介于第三姿势资料PD3与第二姿势资料PD2之间的融合姿势资料PDf以决定头戴式装置120的装置姿势PHMD。请一并参阅图6B，其绘示在一些实施例中在由第三姿势资料PD3变化至第二姿势资料PD2的示意图。在此例子中，如图6B所示，融合姿势资料PDf由第三姿势资料PD3逐渐地回到第二姿势资料PD2。接着，执行步骤S252，姿势切换器166使用第二姿势资料PD2来决定头戴式装置120的装置姿势PHMD。
如图1所示的实施例中，使用者的手中握持了至少一个手持式控制器180。于一些实施例中，手持式控制器180可以是虚拟现实、增强现实、替代现实或混合现实系统的输入介面，如此一来使用者可以透过手持式控制器180与虚拟的物件互动。追踪系统100也有需要追踪手持式控制器180的动态。
请一并参阅图7，其绘示根据本公开文件的一些实施例中具有手持式控制器180追踪功能的追踪系统100的功能方块图。相较于图2的实施例，图7的实施例中具有另一内对外追踪功能TR3用以追踪手持式控制器180。
如图7所示，此内对外追踪功能TR3可由相机122、惯性量测单元126与手持式控制器180所实现。相机122可由头戴式装置120的视角撷取关于手持式控制器180的串流影像，并将手持式控制器180的位置与旋转(可参考惯性量测单元126的讯号)映射至内对外坐标系统上。内对外追踪功能TR3能够由头戴式装置120的视角产生手持式控制器180在内对外坐标系统上的第四姿势资料PD4。
由于第四姿势资料PD4不能直接与其他在外对内坐标系统上的姿势资料一起使用，处理单元160中的姿势转换器164可进一步用以根据转换关系TRAN将内对外坐标系统上的第四姿势资料PD4转换为外对内坐标系统上的第五姿势资料PD5。于此情况下，姿势切换器166便能使用第五姿势资料PD5来决定手持式控制器180的控制器姿势PCON。
在图7所示的实施例中，控制器姿势PCON是基于内对外追踪功能TR3追踪的第四姿势资料PD4进而转换产生的，但本公开文件并不以此为限。
请一并参阅图8，其绘示根据本公开文件的另一些实施例中追踪系统100a当中具有两种追踪功能以追踪手持式控制器180的功能方块图。相较于图2的实施例，图8的实施例中额外具有两个追踪功能，分别是图8所示的内对外追踪功能TR3以及外对内追踪功能TR4以追踪手持式控制器180。
如图8所示，内对外追踪功能TR3可由相机122、惯性量测单元126与手持式控制器180所实现，外对内追踪功能TR4可由追踪基站140的光发射器142与设置在手持式控制器180上的多个光感测器182。内对外追踪功能TR3能够由头戴式装置120的视角产生手持式控制器180在内对外坐标系统上的第四姿势资料PD4。处理单元160中的姿势转换器164可进一步用以根据转换关系TRAN将内对外坐标系统上的第四姿势资料PD4转换为外对内坐标系统上的第五姿势资料PD5。外对内追踪功能TR4能够由追踪基站140的视角产生手持式控制器180在外对内坐标系统上的第六姿势资料PD6。
在上述实施例中，内对外坐标系统与外对内坐标系统之间的转换关系TRAN可以根据第一姿势资料PD1与第二姿势资料PD2进行计算，但本公开文件并不以此为限。在一些实施例中，有关手持式控制器180在内对外坐标系统上的第四姿势资料PD4与外对内坐标系统上的第六姿势资料PD6也可以被传送(图8中未示)至旋转估测器162。在这样的情况下，除了根据第一姿势资料PD1与第二姿势资料PD2组成的多对静态资料，旋转估测器162还可以进一步根据第四姿势资料PD4与第六姿势资料PD6组成的额外的多对静态资料来计算转换关系TRAN。
相似于先前图5的实施例，图8的实施例中的追踪系统100a可以选择以第五姿势资料PD5或第六姿势资料PD6来决定控制器姿势PCON。相似地，在第五姿势资料PD5与第六姿势资料PD6切换的过程中，追踪系统100a可以产生第五姿势资料PD5或第六姿势资料PD6之间的融合姿势资料来作为控制器姿势PCON。关于上述切换过程的细部说明已经在先前实施例中配合图5有完整讨论，在此不另赘述。
基于上述实施例，追踪系统100或100a以及追踪方法200能够以两种追踪功能追踪头戴式装置120与手持式控制器180，包含了内往外追踪功能(TR1与TR3)以及外往内追踪功能(TR2与TR4)，如此一来，可以在相对较高的准确性、较短延迟以及较低电力消耗的情况下，追踪头戴式装置120与手持式控制器180。并且在外往内追踪功能因某些限制而无法追踪时，可以无缝地改由内往外追踪功能提供头戴式装置120与手持式控制器180的姿势资料。
虽然本公开文件的实施例已揭露如上，然其并非用以限定本公开文件，任何熟习此技艺者，在不脱离本公开文件的精神和范围内，当可做些许的更动与润饰，因此本公开文件的保护范围当以权利要求书所界定为准。

Claims (20)

1.一种追踪方法，其特征在于，包含：
追踪一头戴式装置在一内往外坐标系统中的一第一姿势资料；
追踪该头戴式装置在一外往内坐标系统中的一第二姿势资料；
根据该第一姿势资料以及该第二姿势资料计算该内往外坐标系统与该外往内坐标系统之间的一转换关系；
根据该转换关系将该内往外坐标系统中的该第一姿势资料转换为该外往内坐标系统中的一第三姿势资料；
相应于该第二姿势资料目前为可取得，利用该第二姿势资料决定该头戴式装置的一装置姿势；以及
相应于该第二姿势资料目前为无法取得，利用该第三姿势资料决定该头戴式装置的该装置姿势。
2.如权利要求1所述的追踪方法，其中该第一姿势资料是有关于该头戴式装置在该内往外坐标系统中的一位置与一轴向，该头戴式装置在一空间区域内移动，该第一姿势资料是以该头戴式装置的视角相对于该空间区域进行追踪。
3.如权利要求2所述的追踪方法，其中该头戴式装置包含一相机以及一惯性量测单元，该头戴式装置的该相机用以感测该空间区域中的一特征锚点以追踪该第一姿势资料，该惯性量测单元用以感测该头戴式装置的该轴向。
4.如权利要求1所述的追踪方法，其中该第二姿势资料是有关于该头戴式装置在该外往内坐标系统中的一位置与一轴向，该头戴式装置是以一追踪基站的视角进行追踪，该追踪基站设置于一空间区域中的一固定位置。
5.如权利要求4所述的追踪方法，其中该追踪基站包含一光发射器，该头戴式装置包含多个光感测器，该些光感测器用以分别感测该光发射器产生的一光讯号以追踪该第二姿势资料。
6.如权利要求5所述的追踪方法，其中相应于该光发射器产生的该光讯号被阻挡无法照射至该头戴式装置上的该些光感测器或者该头戴式装置位在该追踪基站的一覆盖范围之外，该第二姿势资料目前为无法取得。
7.如权利要求6所述的追踪方法，其中决定该装置姿势的步骤包含：
相应于该第二姿势资料目前由可取得切换为无法取得，利用介于该第二姿势资料的最新可取得资料与该第三姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
8.如权利要求6所述的追踪方法，其中决定该装置姿势的步骤包含：
相应于该第二姿势资料目前由无法取得恢复为可取得，利用介于该第三姿势资料与该第二姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
9.如权利要求1所述的追踪方法，其中计算该内往外坐标系统与该外往内坐标系统之间的该转换关系的步骤包含：
同步取得该第一姿势资料与该第二姿势资料的一对静态资料；
对齐该对静态资料当中的该第一姿势资料与该第二姿势资料；以及
根据对齐后的该对静态资料当中的该第一姿势资料与该第二姿势资料，计算该内往外坐标系统与该外往内坐标系统之间的一旋转转换矩阵以及该内往外坐标系统与该外往内坐标系统之间的一位置转换矩阵。
10.如权利要求1所述的追踪方法，还包括：
以该头戴式装置的视角追踪一手持式控制器在该内往外坐标系统中的一第四姿势资料；
根据该转换关系将该内往外坐标系统中的该第四姿势资料转换为该外往内坐标系统中的一第五姿势资料；以及
套用该第五姿势资料决定一控制器姿势。
11.一种追踪系统，其特征在于，包含：
一头戴式装置，用以追踪该头戴式装置在一内往外坐标系统中的一第一姿势资料；
一追踪基站，与该头戴式装置交互配合，用以在追踪该头戴式装置在一外往内坐标系统中的一第二姿势资料；以及
一处理单元，用以接收该第一姿势资料以及该第二姿势资料，该处理单元用以执行下列操作以决定该头戴式装置的一装置姿势：
根据该第一姿势资料以及该第二姿势资料计算该内往外坐标系统与该外往内坐标系统之间的一转换关系；
根据该转换关系将该内往外坐标系统中的该第一姿势资料转换为该外往内坐标系统中的一第三姿势资料；
相应于该第二姿势资料目前为可取得，利用该第二姿势资料决定该头戴式装置的该装置姿势；以及
相应于该第二姿势资料目前为无法取得，利用该第三姿势资料决定该头戴式装置的该装置姿势。
12.如权利要求11所述的追踪系统，其中该第一姿势资料是有关于该头戴式装置在该内往外坐标系统中的一位置与一轴向，该头戴式装置在一空间区域内移动，该第一姿势资料是以该头戴式装置的视角相对于该空间区域进行追踪。
13.如权利要求12所述的追踪系统，其中该头戴式装置包含一相机以及一惯性量测单元，该头戴式装置的该相机用以感测该空间区域中的一特征锚点以追踪该第一姿势资料，该惯性量测单元用以感测该头戴式装置的该轴向。
14.如权利要求11所述的追踪系统，其中该第二姿势资料是有关于该头戴式装置在该外往内坐标系统中的一位置与一轴向，该头戴式装置是以一追踪基站的视角进行追踪，该追踪基站设置于一空间区域中的一固定位置。
15.如权利要求14所述的追踪系统，其中该追踪基站包含一光发射器，该头戴式装置包含多个光感测器，该些光感测器用以分别感测该光发射器产生的一光讯号以追踪该第二姿势资料。
16.如权利要求15所述的追踪系统，其中相应于该光发射器产生的该光讯号被阻挡无法照射至该头戴式装置上的该些光感测器或者该头戴式装置位在该追踪基站的一覆盖范围之外，该第二姿势资料目前为无法取得。
17.如权利要求15所述的追踪系统，其中相应于该第二姿势资料目前由可取得切换为无法取得，该处理单元利用介于该第二姿势资料的最新可取得资料与该第三姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
18.如权利要求15所述的追踪系统，其中相应于该第二姿势资料目前由无法取得恢复为可取得，该处理单元利用介于该第三姿势资料与该第二姿势资料之间的一融合姿势资料以决定该头戴式装置的该装置姿势。
19.如权利要求11所述的追踪系统，其中该处理单元计算该内往外坐标系统与该外往内坐标系统之间的该转换关系的操作是透过：
同步取得该第一姿势资料与该第二姿势资料的一对静态资料；
对齐该对静态资料当中的该第一姿势资料与该第二姿势资料；以及
根据对齐后的该对静态资料当中的该第一姿势资料与该第二姿势资料，计算该内往外坐标系统与该外往内坐标系统之间的一旋转转换矩阵以及该内往外坐标系统与该外往内坐标系统之间的一位置转换矩阵。
20.如权利要求11所述的追踪系统，还包括：
一手持式控制器，以该头戴式装置的视角追踪一手持式控制器在该内往外坐标系统中的一第四姿势资料，该处理单元根据该转换关系将该内往外坐标系统中的该第四姿势资料转换为该外往内坐标系统中的一第五姿势资料，该处理单元套用该第五姿势资料决定一控制器姿势。
CN202111002365.4A 2020-09-01 2021-08-30 追踪方法与追踪系统 Active CN114115521B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063072952P 2020-09-01 2020-09-01
US63/072,952 2020-09-01
US17/385,893 2021-07-26
US17/385,893 US11422619B2 (en) 2020-09-01 2021-07-26 Tracking method and tracking system

Publications (2)

Publication Number Publication Date
CN114115521A true CN114115521A (zh) 2022-03-01
CN114115521B CN114115521B (zh) 2023-08-29

Family

ID=80356795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111002365.4A Active CN114115521B (zh) 2020-09-01 2021-08-30 追踪方法与追踪系统

Country Status (3)

Country Link
US (1) US11422619B2 (zh)
CN (1) CN114115521B (zh)
TW (1) TWI783655B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230305624A1 (en) * 2022-03-23 2023-09-28 Htc Corporation Wearable tracking system and wearable tracking method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170003750A1 (en) * 2015-06-30 2017-01-05 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality system with control command gestures
CN106484121A (zh) * 2016-11-14 2017-03-08 陈华丰 一种动作捕捉系统及方法
CN108844529A (zh) * 2018-06-07 2018-11-20 青岛海信电器股份有限公司 确定姿态的方法、装置及智能设备
CN109074149A (zh) * 2016-05-17 2018-12-21 谷歌有限责任公司 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪
TW201903563A (zh) * 2017-06-07 2019-01-16 宏碁股份有限公司 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
WO2019143572A1 (en) * 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
KR20180082658A (ko) * 2017-01-09 2018-07-19 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 헤드 마운트 표시 장치의 영상 보정 방법
US10705598B2 (en) * 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US10394315B2 (en) * 2017-05-25 2019-08-27 Acer Incorporated Content-aware virtual reality systems and related methods
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
US11138760B2 (en) * 2019-11-06 2021-10-05 Varjo Technologies Oy Display systems and methods for correcting drifts in camera poses

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170003750A1 (en) * 2015-06-30 2017-01-05 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality system with control command gestures
CN109074149A (zh) * 2016-05-17 2018-12-21 谷歌有限责任公司 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪
CN106484121A (zh) * 2016-11-14 2017-03-08 陈华丰 一种动作捕捉系统及方法
TW201903563A (zh) * 2017-06-07 2019-01-16 宏碁股份有限公司 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
WO2019143572A1 (en) * 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces
CN108844529A (zh) * 2018-06-07 2018-11-20 青岛海信电器股份有限公司 确定姿态的方法、装置及智能设备

Also Published As

Publication number Publication date
CN114115521B (zh) 2023-08-29
TW202210908A (zh) 2022-03-16
US20220066547A1 (en) 2022-03-03
TWI783655B (zh) 2022-11-11
US11422619B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US11694407B2 (en) Method of displaying virtual information in a view of a real environment
US7535486B2 (en) Display control device, display control method, program, and portable apparatus
TWI722280B (zh) 用於多個自由度之控制器追蹤
JP5323910B2 (ja) 移動ロボットの遠隔操縦のための衝突防止装置及び方法
EP2779620B1 (en) Image generation device, and image generation method
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
WO2014162852A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20130208005A1 (en) Image processing device, image processing method, and program
US9936168B2 (en) System and methods for controlling a surveying device
CN114761909A (zh) 针对头戴式显示器的内容稳定
US20230119687A1 (en) Multi-sensor handle controller hybrid tracking method and device
CN110895676B (zh) 动态对象跟踪
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018074045A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Piekarski et al. Integrated head and hand tracking for indoor and outdoor augmented reality
JPWO2018051592A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN114115521B (zh) 追踪方法与追踪系统
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
WO2017163648A1 (ja) 頭部装着装置
US11436818B2 (en) Interactive method and interactive system
JP4563723B2 (ja) 指示動作認識装置及び指示動作認識プログラム
GB2345538A (en) Optical tracker
US20200159339A1 (en) Desktop spatial stereoscopic interaction system
Mitsugami et al. Robot navigation by eye pointing
JP2004336569A (ja) 移動体監視システム、及び移動体監視方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant