CN108733211B - 追踪系统、其操作方法、控制器、及电脑可读取记录媒体 - Google Patents

追踪系统、其操作方法、控制器、及电脑可读取记录媒体 Download PDF

Info

Publication number
CN108733211B
CN108733211B CN201810345074.7A CN201810345074A CN108733211B CN 108733211 B CN108733211 B CN 108733211B CN 201810345074 A CN201810345074 A CN 201810345074A CN 108733211 B CN108733211 B CN 108733211B
Authority
CN
China
Prior art keywords
motion vector
client device
processor
information
host device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810345074.7A
Other languages
English (en)
Other versions
CN108733211A (zh
Inventor
吕幸妤
翁立刚
潘光瑜
陈远东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN108733211A publication Critical patent/CN108733211A/zh
Application granted granted Critical
Publication of CN108733211B publication Critical patent/CN108733211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

一种追踪系统的操作方法。此操作方法包含以下步骤:取得用户端装置的第一相对移动向量;取得与长度相关的比例信息;依据第一相对移动向量以及比例信息计算用户端装置的第一实际移动向量;以及由处理器融合用户端装置的物件信息以及第一实际移动向量以产生用户端装置的3D位置。本发明可准确地取得移动向量的X、Y、Z转换。

Description

追踪系统、其操作方法、控制器、及电脑可读取记录媒体
技术领域
本公开涉及一种追踪系统的操作方法、控制器、追踪系统及非挥发性电脑可读取记录媒体。具体而言,本公开涉及一种用以判定虚拟现实控制器的实际运动向量的追踪系统的操作方法、控制器、追踪系统及非挥发性电脑可读取记录媒体。
背景技术
随着电子技术的进步,追踪系统越来越常被使用。
定位技术在VR环境中非常重要,定位的准确性会影响VR用户的整体体验。因此,如何准确定位VR系统的VR装置是本领域需要解决的重要研究课题。但是,由于单眼上的限制,X方向和Y方向的值的检测为与表面上的距离有关的比例变体。也就是说,相机传感器检测到的变化值可能不是三维空间内客户端装置的实际变化值。
发明内容
本公开的一实施方式涉及一种追踪系统的操作方法。此操作方法包含以下步骤:取得用户端装置的第一相对移动向量;取得与长度相关的比例信息;依据第一相对移动向量以及比例信息计算用户端装置的第一实际移动向量;以及由处理器融合用户端装置的物件信息以及第一实际移动向量以产生用户端装置的3D位置。
于部分实施例中,其中该第一相对移动向量包含与一2D平面有关的一移动向量以及由该用户端装置的一第一惯性感测单元检测的一移动向量。
于部分实施例中,其中与长度相关的该比例信息是基于取得存储于一主机装置的一存储器中的一地图数据库。
于部分实施例中,其中依据该第一相对移动向量以及该比例信息以计算该用户端装置的该第一实际移动向量包含:由一第二惯性感测单元以及一追踪器以取得一主机装置的该3D位置;以及依据该主机装置的该3D位置以及该移动向量计算该第一相对移动向量。
于部分实施例中,还包含:取得该用户端装置的一第二相对移动向量;以及检测与该第一相对移动向量有关的一第一深度信息以及与该第二相对移动向量有关的一第二深度信息;其中与该第一相对移动向量有关的该第一深度信息垂直于与该第二相对移动向量有关的该第二深度信息。
于部分实施例中,其中该比例信息是依据该第一相对移动向量、该第二相对移动向量、该第一深度信息以及该第二深度信息以取得。
于部分实施例中,还包含:由该主机装置的该处理器判断该用户端装置是否位于一主机装置的一视野范围之内;以及若判定该用户端装置位于该主机装置的该视野范围之内,由该处理器以高可信度更新一地图数据库以及准确地取得该比例信息。
于部分实施例中,其中判断该用户端装置是否位于该主机装置的该视野范围之内包含:取得该物件信息以判断该用户端装置是否位于该主机装置的该视野范围之内,其中该物件信息包含一物件的形状、颜色及/或特征。
于部分实施例中,还包含:若判定该用户端装置不位于该主机装置的该视野范围之内,由该处理器判断该用户端装置是否曾经访问该位置;若判定该用户端装置曾经访问该位置,由该处理器依据该地图数据库的历史信息判断该用户端装置的位于该环境之内的一位置;以及若判定该用户端装置从未访问该位置,由该处理器以低可信度更新该地图数据库。
本公开的一实施方式涉及一种控制器。此控制器包含第一移动感测器、第二移动感测器、第一深度感测器、第二深度感测器以及处理器。第一移动感测器用以取得控制器于第一虚拟平面上的第一移动向量。第二移动感测器用以取得控制器于第二虚拟平面上的第二移动向量。第一深度感测器用以取得与第一虚拟平面有关的第一深度信息。第二深度感测器用以取得与第二虚拟平面有关的第二深度信息。处理器用以依据一第移动向量、第二移动向量、第一深度信息以及第二深度信息计算控制器的第一实际移动向量。
本公开的一实施方式涉及一种追踪系统。此追踪系统包含用户端装置、第一空中鼠标以及主机装置。第一空中鼠标用以取得用户端装置于第一虚拟平面上的第一移动向量。惯性感测单元用以取得用户端装置的惯性感测单元移动向量。主机装置包含处理器。处理器用以取得与长度相关的比例信息,以依据第一移动向量、惯性感测单元移动向量以及比例信息计算用户端装置的第一实际移动向量,并用以融合用户端装置的物件信息以及第一实际移动向量以产生用户端装置的3D位置。
于部分实施例中,其中该用户端装置还包含:一第二空中鼠标,用以取得该用户端装置于一第二虚拟平面上的一第二移动向量,其中该第二虚拟平面垂直于该第一虚拟平面。
于部分实施例中,其中该主机装置的该处理器还用以依据该第二移动向量、该惯性感测单元移动向量以及该比例信息计算该用户端装置于该第二虚拟平面上的一第二实际移动向量,并用以融合该第一相对移动向量、该第二相对移动向量、该比例信息、该第一实际移动向量以及该第二实际移动向量以产生该用户端装置的该3D位置。
于部分实施例中,其中该主机装置还包含:一存储器,用以存储该追踪系统的一环境的一地图数据库;其中该处理器还用以依据该地图数据库以及该第一实际移动向量判断该用户端装置位于该3D环境之内的一位置。
于部分实施例中,其中该处理器还用以判断该用户端装置是否位于该主机装置的一视野范围之内,以及若判定该用户端装置位于该主机装置的该视野范围之内该视野范围,该处理器还用以以高可信度更新该地图数据库以及准确地取得该比例信息。
于部分实施例中,其中该主机装置还包含:一追踪器,用以取得该物件信息以判断是否该用户端装置位于该主机装置的该视野范围之内。
于部分实施例中,其中该物件信息包含一物件的形状、颜色及/或特征。
于部分实施例中,其中若判定该用户端装置位于该主机装置的该视野范围之内,该处理器还用以判断是该用户端装置否曾经访问该位置,以及若判定该用户端装置曾经访问该位置,该处理器还用以依据该地图数据库的历史信息判断该用户端装置位于该环境之内的该位置。
于部分实施例中,其中若判定该用户端装置从未访问该位置,该处理器还用以以低可信度更新该地图数据库。
本公开的一实施方式涉及一种非挥发性电脑可读取记录媒体,用以存储电脑程序,其中在执行电脑程序时,将致使一或多处理元件执行多个操作包含:接收控制器的第一相对移动向量;接收与长度相关的比例信息;依据第一相对移动向量以及比例信息计算控制器的第一实际移动向量;以及融合第一相对移动向量、比例信息以及第一实际移动向量以产生控制器的3D位置。
通过本公开的实施方式,追踪系统可以准确地取得X、Y、Z转换。
附图说明
图1为根据本公开一些实施例所示出的追踪系统的示意图;
图2为根据本发明一些实施例所示出的视野范围(field of view)的示意图;
图3为根据本发明一些实施例所示出的控制器的示意图;以及
图4为根据本发明一些实施例所示出的操作方法的流程图。
附图标记说明:
100: 追踪系统
110: 主机装置
112、155A、155B: 处理器
116: 追踪器
114: 存储器
152A、152B: 空中鼠标
153A、153B: 移动感测器
154、118: 惯性感测单元
150: 用户端装置
FOV: 视野范围
P1a、P1b、P2、P3: 位置
300: 控制器
310: 处理器
330A、330B: 移动感测器
350A、350B: 深度感测器
400: 操作方法
S410至S470: 步骤
具体实施方式
以下将以附图及详细叙述清楚说明本公开内容的构思,任何所属技术领域中技术人员在了解本公开内容的实施例后,当可由本公开内容所启示的技术,加以改变及修饰,其并不脱离本公开内容的构思与范围。
关于本文中所使用的“电性连接”,可指二或多个元件相互直接作实体或电性接触,或是相互间接作实体或电性接触,而“电性连接”还可指二或多个元件相互操作或动作。
关于本文中所使用的“第一”、“第二”、…等,并非特别指称次序或顺位的意思,亦非用以限定本发明,其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
关于本文中所使用的“及/或”,包括所述事物的任一或全部组合。
关于本文中所使用的方向用语,例如:上、下、左、右、前或后等,仅是参考附加附图的方向。因此,使用的方向用语是用来说明并非用来限制本公开。
关于本文中所使用的用词(terms),除有特别注明外,通常具有每个用词使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本公开的用词将于下或在此说明书的别处讨论,以提供本领域技术人员在有关本公开的描述上额外的引导。
图1为根据本公开一些实施例所示出的追踪系统100的示意图。如图1所示出,追踪系统100包含主机装置110以及用户端装置150。追踪系统100可被实作为,例如,虚拟现实(VR)、增强现实(AR)、混和实境(MR),或相关环境。
于一些实施例中,主机装置110通过有线或无线连线与用户端装置150进行通信。例如Bluetooth,WIFI,USB,等。
请参阅图1。于一些实施例中,主机装置110还包含存储器114。存储器114耦接于处理器112。存储器114用以存储追踪系统100的环境的地图数据库。依据地图数据库以及用户端装置150的相对移动向量,处理器112还用以取得用户端装置150位于环境之内的3D位置。
于一些实施例中,主机装置110包含追踪器116。追踪器116耦接于处理器112。追踪器116用以取得物件信息(例如,物件的形状、颜色、特征或其他)以及建立3D环境,例如同步定位与地图构建(SLAM或simultaneous localization and mapping),用以判断是否用户端装置150位于主机装置110的视野范围之内。处理器112还用以判断是否用户端装置150位于主机装置110的视野范围之内。
于一些实施例中,主机装置110还包含惯性感测单元118。惯性感测单元118耦接于处理器112。惯性感测单元118用以取得主机装置110的移动量以及旋转角动量。
于一些实施例中,用户端装置150包含空中鼠标152A、152B以及惯性感测单元154。于一些实施例中,空中鼠标152A包含移动感测器153A以及处理器155A。空中鼠标152B包含移动感测器153B以及处理器155B。主机装置110包含处理器112。于连接关系上,惯性感测单元154耦接于空中鼠标152A以及空中鼠标152B。处理器155A耦接于移动感测器153A。处理器155B耦接于移动感测器153B。于一些实施例中,处理器155A以及155B可为,例如,处理器(DSP),但本实施不以此为限。为了方便说明,移动感测器153A、153B可为相机。但本实施不以此为限。
于一些实施例中,空中鼠标152A由移动感测器153A用以使用称为光流的方法等检测X方向以及Y方向的改变值。同样地,空中鼠标152B用以由移动感测器153B使用称为光流的方法等检测Y方向以及Z方向的改变值。于一些实施例中,X方向、Y方向以及Z方向互相垂直。于一些实施例中,移动感测器153A以及153B可由其他元件替代,例如雷达、超声波、激光测距仪等,但本公开不以此为限。
于一些实施例中,移动感测器153A用以取得用户端装置150于第一虚拟平面上的移动向量,例如,XY平面。移动感测器153B用以取得用户端装置150于第二虚拟平面上的移动向量。第二虚拟平面垂直于第一虚拟平面,例如,YZ平面。也就是说,由移动感测器153A于XY平面上取得的移动向量包含X方向上的向量以及Y方向上的向量。由移动感测器153B取得的YZ平面上的移动向量包含Y方向上的向量以及Z方向上的向量。于一些实施例中,X方向,Y方向,以及Z方向互相垂直。于一些实施例中,惯性感测单元154用以取得由时间点t1至时间点t2的移动向量。于一些实施例中,用户端装置150传送检测的由时间点t1至时间点t2于XY平面上的移动向量及/或于YZ平面上的移动向量至主机装置110。依据由惯性感测单元154检测的由时间点t1至时间点t2于XY平面上的移动向量及/或YZ平面上的移动向量,主机装置110的处理器112取得主机装置110以及用户端装置150之间的相对移动向量。
接着,主机装置110的处理器112还计算用户端装置150的实际移动向量。详细而言,依据由追踪器116取得的关于用户端装置150的位置信息,处理器112估计基于地图数据库比例信息。此外,结合由追踪器116取得的比例信息、关于用户端装置150的位置信息,以及地图数据库,主机装置110的处理器112计算用户端装置150于3D环境中的3D位置。
例如,若由移动感测器153A取得的用户端装置150由时间点t1至时间点t2于XY平面上的移动向量为(3,-4)。接着,由惯性感测单元154检测的由时间点t1至时间点t2的移动向量为(30,-40,0)。于此情况下,基于主机装置110的坐标以及地图数据库,处理器112取得实际移动向量以及相对移动向量之间的比例信息为10厘米/像素(cm/pixel)。于次一个时间区间,若由移动感测器153A取得的用户端装置150于XY平面上的移动向量为(-5,5);由惯性感测单元154检测由时间点t2至时间点t3的移动向量为(-40,40,0)。因此,处理器112取得实际移动向量以及相对移动向量之间的比例信息为大约8厘米/像素。然而,于不同的时间区间,比例信息应被重新计算以确保用户端装置150的3D位置。
此外,3D位置包含6个自由度(DoF)矩阵(3个移量以及3个旋转)。于一些实施例中,主机装置110的3D位置可由追踪器116以及惯性感测单元118直接估计。相对于主机装置110的3D位置的用户端装置150的3D位置可由主机装置110通过使用地图数据库由深度估计比例信息以及相对移动向量以取得。因此,主机装置110基于由追踪器116取得的物件信息以及比例信息最终产生用户端装置150的3D位置。
请参阅图2。图2为根据本发明一些实施例所示出的视野范围(field of view,FOV)的示意图。若用户端装置150位于位置P1a,处理器112判断用户端装置150位于主机装置110的视野范围之内。另一方面,若用户端装置150位于位置P2,处理器112判断用户端装置150不位于主机装置110的视野范围之内。
于一些实施例中,物件信息包含由追踪器116拍摄的图像。例如,追踪器116拍摄图像以判断是否用户端装置150is位于主机装置110的视野范围之内。也就是说,若用户端装置150位于追踪器116于时间点t1拍摄的图像内,处理器112判断s用户端装置150于时间点t1位于主机装置110的视野范围之内。然而,本实施不以上述方法为限。
请再次参阅图1。若判定用户端装置150位于主机装置110的视野范围之内,处理器112is还用以以高可信度更新地图数据库以及准确地取得比例信息。另一方面,若判定用户端装置150不位于主机装置110的视野范围之内,处理器112还用以判断用户端装置150是否曾经访问位置。
若判定用户端装置150曾经访问位置,处理器112还用以依据地图数据库的历史信息判断用户端装置150位于环境之内的位置。另一方面,若判定用户端装置150从未访问位置,处理器112还用以以低可信度更新地图数据库。
请同时参阅图1以及图2。例如,若用户端装置150于时间点t1位于位置P1a以及判定用户端装置150于时间点t2移动至位置P1b。由于用户端装置150位于主机装置110的视野范围之内,处理器112以高可信度更新地图数据库以及准确地取得比例信息。也就是说,处理器112以高准确率计算实际移动向量。
再举例而言,若用户端装置150于时间点t1位于位置P3以及于时间点t2位于位置P2。由于用户端装置150不位于主机装置110的视野范围之内,处理器112判断是否用户端装置150曾经访问位置P2。若判定用户端装置150曾经访问位置P3,由于处理器112已经知道位置P3的环境,处理器112依据地图数据库的历史信息判断用户端装置150位于环境之内的位置。此外,处理器112取得位置P3的历史比例信息以计算用户端装置150的实际移动向量。也就是说,前一次用户端装置150访问位置P3时,存储器114存储位置P3的比例信息,这可以做为当户端装置150移动至视野范围以外到位置P3时的位置P3的历史比例信息。
另一方面,若判定用户端装置150从未访问位置P3,处理器112以低可信度更新地图数据库。
请参阅图3。图3为根据本发明一些实施例所示出的控制器300的示意图。于一些实施例中,控制器300可被视为如图1示出的用户端装置150。如图3所示出,控制器300包含处理器310、移动感测器330A、330B,以及深度感测器350A、350B。于连接关系上,移动感测器330A、330B以及深度感测器350A、350B分别连接至处理器310。为了方便说明,移动感测器330A、330B可由相机实现,但本实施不以此为限。
于操作关系上,移动感测器330A用以取得控制器300于第一虚拟平面上的移动向量。也就是说,由移动感测器330A取得的移动向量包含X方向上的向量以及Y方向上的向量。X方向垂直于Y方向。深度感测器350A用以取得Z方向上的深度信息,Z方向垂直于第一虚拟平面。
移动感测器330B用以取得控制器300于第二虚拟平面上的移动向量。也就是说,由移动感测器330B取得的移动向量包含Y方向上的向量以及Z方向上的向量,Y方向垂直于Z方向。深度感测器350B用以取得X方向上的深度信息,X方向垂直于第一虚拟平面。
通过控制器300于XY平面以及YZ平面上的相对移动向量,以及X方向以及Z方向上的深度信息,处理器310计算3D环境中的实际移动向量。于一些实施例中,相对移动向量以及X方向和Z方向上的深度信息可被传送至主机装置110,以取得实际移动向量。
于一些实施例中,深度感测器350A、350B可为,例如,超声波单元、雷达、激光测距仪等,但本公开不以此为限。然而,本公开不以此为限。
须注意的是追踪系统100以及控制器300的装置以及元件的实现方式并不以上述为限。此外,装置以及元件之间的连接方式不以上述为限。任何装置以及元件的实施方式与连接关系可使追踪系统100以及控制器300能够实践本公开所述的技术特征及/或权利要求均可被使用。
基于上述,本实施中的追踪系统100以及控制器300可由相对移动向量以及实际移动向量之间的比例信息以高准确率计算特定物件的实际移动向量(例如,用户端装置150或控制器300),比例信息可由深度感测器350A、350B或地图数据库取得。
请参阅图4。图4为根据本发明一些实施例所示出的操作方法400的流程图。然而,本公开不以此为限。
应注意到,此操作方法可应用于与于图1中所示结构的追踪系统100或图3中所示结构的控制器300相同或相似的追踪系统或控制器。而为使叙述简单,以下将根据本发明一实施例,以图1中的追踪系统100或图3中的控制器300为例进行对操作方法叙述,然本发明不以1图中的追踪系统100或图3中的控制器300的应用为限。
此外,操作方法亦可实作为一电脑程序,并存储于一非暂态电脑可读取记录媒体中,而使电脑、电子装置、或前述一或如图1所示的处理器112、155、如图3所示的处理器310读取此记录媒体后执行此一操作方法。非暂态电脑可读取记录媒体可为只读存储器、快闪存储器、软碟、硬盘、光盘、U盘、磁带、可由网络存取的数据库或熟悉此技艺者可轻易思及具有相同功能的非暂态电脑可读取记录媒体。
另外,应了解到,在本实施方式中所提及的操作方法的操作,除特别叙明其顺序者外,均可依实际需要调整其前后顺序,甚至可同时或部分同时执行。
再者,在不同实施例中,此些操作亦可适应性地增加、置换、及/或省略。
参照图4,操作方法400包括以下操作。
于步骤S410中,取得用户端装置的相对移动向量。于一些实施例中,步骤S410可由图1的移动感测器153A或153B以及惯性感测单元154或图3移动感测器330A、330B执行。于一些实施例中,于步骤410取得的相对移动向量包含XY平面上的向量以及YZ平面上的向量。XY平面垂直于YZ平面。于一些实施例中,步骤410还包含于第一时间点取得第一帧,以及于第二时间点取得第二帧,以及依据第一帧以及第二帧计算用户端装置150基于第一时间点以及第二时间点之间的时间间隔于平面上的相对移动向量,例如,XY平面或YZ平面。
例如,图1的移动感测器153A于第一时间点t1取得XY平面或YZ平面上的第一帧,并于第二时间点t2取得XY平面或YZ平面上的第二帧。移动感测器153A传送第一帧以及第二帧至处理器155A。处理器155A,依据第一帧以及第二帧,计算用户端装置150基于第一时间点t1以及第二时间点t2之间的时间间隔于XY平面或YZ平面上的相对移动向量。
再举例而言,图3的移动感测器330A取得于XY平面上于第一时间点t1的第一帧以及取得于第二时间点t2的第二帧。移动感测器330A传送第一帧以及第二帧至处理器310。处理器310,依据第一帧以及第二帧,计算控制器300基于第一时间点t1以及第二时间点t2之间的时间间隔于XY平面上的相对移动向量。同样地,图3的移动感测器330B取得YZ平面上的于于第一时间点t1的第三帧以及于取得于第二时间点t2的第四帧。移动感测器330B传送第三帧以及第四帧至处理器310。处理器310依据第三帧以及第四帧,计算控制器300基于第一时间点t1以及第二时间点t2之间的时间间隔于YZ平面上的相对移动向量。
于步骤S430中,取得与长度相关的比例信息。于一些实施例中,比例信息可依据图1的地图数据库取得或由图3的深度感测器350A、350B取得。例如,图1的惯性感测单元154还传送第一时间点t1以及第二时间点t2之间的移动向量至处理器112,以使处理器112基于地图数据库计算相对移动向量以及实际移动向量之间的比例信息。再举例而言,图3的深度感测器350A、350B检测控制器300以及平面之间的深度信息。于一些实施例中,深度感测器350A取得XY平面上的深度信息以及深度感测器350B取得YZ平面上的深度信息。XY平面以及YZ平面互相垂直。据此,处理器112依据由空中鼠标152A以及153B检测的相对移动向量,以及关于XY平面以及YZ平面的深度信息计算比例信息。
于步骤S450中,依据移动向量以及比例信息计算用户端装置的实际移动向量。于一些实施例中,步骤S450可由图1的处理器112或图3的处理器310执行。例如,图1的处理器112依据由空中鼠标152A、152B取得的移动向量以及由处理器112取得的比例信息计算用户端装置150的实际移动向量。再举例而言,图3的处理器310依据由移动感测器330A、330B取得的相对移动向量以及由深度感测器350A、350B取得的深度信息计算控制器300的实际移动向量。
于步骤S470中,融合用户端装置的物件信息以及实际移动向量以产生用户端装置的3D位置。于一些实施例中,步骤S470可由图1的处理器112执行。例如,图1的处理器112融合由追踪器116取得的用户端装置的物件信息以及由处理器112取得的实际移动向量以产生用户端装置150的3D位置。详细而言,结合比例信息,由追踪器116取得的关于用户端装置150的位置信息,以及存储器114存储的地图数据库,主机装置110的处理器112计算用户端装置150于3D环境中的3D位置。
再举例而言,图1的处理器112融合相对移动向量由移动感测器330A、330B取得的相对移动向量、由深度感测器350A、350B取得的比例信息,以及由处理器310取得的实际移动向量以产生a用户端装置的3D位置。详细而言,结合比例信息、由追踪器116取得的用户端装置300的位置信息以及存储器114存储的地图数据库,主机装置110的处理器112计算用户端装置300于3D环境中的3D位置。
于一些实施例中,用户端装置150或300的3D位置为相对于主机装置110的3D位置,且用户端装置150或300的3D位置可由主机装置110估计比例信息、地图数据库以及相对移动向量以取得。
于一些实施例中,操作方法400还包含依据地图数据库以及实际移动向量判断用户端装置位于环境之内的位置。请同时参阅图1以及图4。于一些实施例中,依据地图数据库以及实际移动向量判断用户端装置150于环境之内的位置的步骤包含判断用户端装置150是否位于主机装置110的视野范围之内。若判定用户端装置150位于主机装置110的视野范围之内,处理器112还用以以高可信度更新地图数据库以及准确地取得比例信息。另一方面,若判定用户端装置150不位于主机装置110的视野范围之内,处理器112还用以判断用户端装置150是否曾经访问位置。若判定用户端装置150曾经访问位置,处理器112还用以依据地图数据库的历史信息判断用户端装置150位于环境之内的位置。另一方面,若判定用户端装置150从未访问位置,处理器112还用以以低可信度更新地图数据库。
关于上述操作方法的具体细节可参照前述段落,故在此不赘述。
通过上述操作,追踪系统100或控制器300可以高准确率计算特定物件(例如,用户端装置150或控制器300)的实际移动向量。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的构思和范围内,当可作各种的变动与润饰,因此本发明的保护范围当视权利要求为准。

Claims (20)

1.一种追踪系统的操作方法,该追踪系统包含一主机装置以及一用户端装置,其特征在于,该操作方法包含:
取得该用户端装置以及该主机装置于一第一虚拟平面上的一第一相对移动向量;
取得与该第一相对移动向量有关的一第一深度信息;
依据该第一相对移动向量及该第一深度信息取得实际移动向量以及相对移动向量之间的一比例信息;
依据该第一相对移动向量以及该比例信息计算该用户端装置于该追踪系统的一环境之内的一第一实际移动向量;以及
由该主机装置的一处理器融合该用户端装置的一物件信息以及该第一实际移动向量以产生该用户端装置于该环境之内的一3D位置。
2.如权利要求1所述的操作方法,其特征在于,其中该第一相对移动向量包含与一2D平面有关的一移动向量以及由该用户端装置的一第一惯性感测单元检测的一移动向量。
3.如权利要求2所述的操作方法,其特征在于,其中该比例信息是基于取得存储于该主机装置的一存储器中的一地图数据库。
4.如权利要求2所述的操作方法,其特征在于,其中依据该第一相对移动向量以及该比例信息以计算该用户端装置于该追踪系统的该环境之内的该第一实际移动向量包含:
由一第二惯性感测单元以及一追踪器以取得该主机装置于该环境之内的一3D位置;以及
依据该主机装置的该3D位置以及该移动向量计算该第一相对移动向量。
5.如权利要求2所述的操作方法,其特征在于,还包含:
取得该用户端装置以及该主机装置于一第二虚拟平面上的一第二相对移动向量;以及
取得与该第二相对移动向量有关的一第二深度信息;
其中与该第一相对移动向量有关的该第一深度信息垂直于与该第二相对移动向量有关的该第二深度信息。
6.如权利要求5所述的操作方法,其特征在于,其中该比例信息是依据该第一相对移动向量、该第二相对移动向量、该第一深度信息以及该第二深度信息以取得。
7.如权利要求1所述的操作方法,其特征在于,还包含:
由该主机装置的该处理器判断该用户端装置是否位于该主机装置的一视野范围之内;以及
若判定该用户端装置位于该主机装置的该视野范围之内,由该处理器以高可信度更新一地图数据库以及准确地取得该比例信息。
8.如权利要求7所述的操作方法,其特征在于,其中判断该用户端装置是否位于该主机装置的该视野范围之内包含:
取得该物件信息以判断该用户端装置是否位于该主机装置的该视野范围之内,
其中该物件信息包含一物件的形状、颜色及/或特征。
9.如权利要求7所述的操作方法,其特征在于,还包含:
若判定该用户端装置不位于该主机装置的该视野范围之内,由该处理器判断该用户端装置是否曾经访问该3D位置;
若判定该用户端装置曾经访问该3D位置,由该处理器依据该地图数据库的历史信息判断该用户端装置的位于该环境之内的该3D位置;以及
若判定该用户端装置从未访问该3D位置,由该处理器以低可信度更新该地图数据库。
10.一种控制器,其特征在于,包含:
一第一移动感测器,用以取得该控制器于一第一虚拟平面上的一第一移动向量;
一第二移动感测器,用以取得该控制器于一第二虚拟平面上的一第二移动向量;
一第一深度感测器,用以取得与该第一虚拟平面有关的一第一深度信息;
一第二深度感测器,用以取得与该第二虚拟平面有关的一第二深度信息;以及
一处理器,用以依据该第一移动向量、该第二移动向量、该第一深度信息以及该第二深度信息计算该控制器于该控制器的一环境之内的一第一实际移动向量。
11.一种追踪系统,其特征在于,包含:
一用户端装置,包含:
一第一空中鼠标,用以取得该用户端装置于一第一虚拟平面上的一第一移动向量;以及
一惯性感测单元,用以取得该用户端装置的一惯性感测单元移动向量;以及
一主机装置,包含:
一处理器,用以通过使用该追踪系统的一环境的一地图数据库由与该第一移动向量有关的一深度信息取得实际移动向量以及移动向量之间的一比例信息,以依据该第一移动向量、该惯性感测单元移动向量以及该比例信息计算该用户端装置于该追踪系统的该环境之内的一第一实际移动向量,并用以融合该用户端装置的一物件信息以及该第一实际移动向量以产生该用户端装置于该环境之内的一3D位置。
12.如权利要求11所述的追踪系统,其特征在于,其中该用户端装置还包含:
一第二空中鼠标,用以取得该用户端装置于一第二虚拟平面上的一第二移动向量,其中该第二虚拟平面垂直于该第一虚拟平面。
13.如权利要求12所述的追踪系统,其特征在于,其中该主机装置的该处理器还用以依据该第二移动向量、该惯性感测单元移动向量以及该比例信息计算该用户端装置于该追踪系统的该环境之内的一第二实际移动向量,并用以融合该第一移动向量、该第二移动向量、该比例信息、该第一实际移动向量以及该第二实际移动向量以产生该用户端装置的该3D位置。
14.如权利要求11所述的追踪系统,其特征在于,其中该主机装置还包含:
一存储器,用以存储该追踪系统的该环境的该地图数据库;
其中该处理器还用以依据该地图数据库以及该第一实际移动向量判断该用户端装置位于该环境之内的该3D位置。
15.如权利要求14所述的追踪系统,其特征在于,其中该处理器还用以判断该用户端装置是否位于该主机装置的一视野范围之内,以及若判定该用户端装置位于该主机装置的该视野范围之内该视野范围,该处理器还用以以高可信度更新该地图数据库以及准确地取得该比例信息。
16.如权利要求15所述的追踪系统,其特征在于,其中该主机装置还包含:
一追踪器,用以取得该物件信息以判断是否该用户端装置位于该主机装置的该视野范围之内。
17.如权利要求16所述的追踪系统,其特征在于,其中该物件信息包含一物件的形状、颜色及/或特征。
18.如权利要求15所述的追踪系统,其特征在于,其中若判定该用户端装置位于该主机装置的该视野范围之内,该处理器还用以判断是该用户端装置否曾经访问该3D位置,以及若判定该用户端装置曾经访问该3D位置,该处理器还用以依据该地图数据库的历史信息判断该用户端装置位于该环境之内的该3D位置。
19.如权利要求18所述的追踪系统,其特征在于,其中若判定该用户端装置从未访问该3D位置,该处理器还用以以低可信度更新该地图数据库。
20.一种非挥发性电脑可读取记录媒体,其特征在于,用以存储一电脑程序,其中在执行该电脑程序时,将致使一或多处理元件执行多个操作包含:
接收一控制器的一第一移动向量;
取得与该第一移动向量有关的一第一深度信息;
依据该第一移动向量及该第一深度信息取得与实际移动向量以及移动向量之间相关的一比例信息;
依据该第一移动向量以及该比例信息计算该控制器于该控制器的一环境之内的一第一实际移动向量;以及
融合该第一移动向量、该比例信息以及该第一实际移动向量以产生该控制器于该环境之内的一3D位置。
CN201810345074.7A 2017-04-21 2018-04-17 追踪系统、其操作方法、控制器、及电脑可读取记录媒体 Active CN108733211B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762488071P 2017-04-21 2017-04-21
US62/488,071 2017-04-21

Publications (2)

Publication Number Publication Date
CN108733211A CN108733211A (zh) 2018-11-02
CN108733211B true CN108733211B (zh) 2020-05-22

Family

ID=62044498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810345074.7A Active CN108733211B (zh) 2017-04-21 2018-04-17 追踪系统、其操作方法、控制器、及电脑可读取记录媒体

Country Status (4)

Country Link
US (1) US10564733B2 (zh)
EP (1) EP3392748B1 (zh)
CN (1) CN108733211B (zh)
TW (1) TWI700614B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220317771A1 (en) * 2021-04-01 2022-10-06 Htc Corporation Method for tracking trackers and host
US20230222625A1 (en) * 2022-01-12 2023-07-13 Htc Corporation Method for adjusting virtual object, host, and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630877A (zh) * 2000-12-22 2005-06-22 皇家菲利浦电子有限公司 基于计算机视觉的无线定向系统
CN101484933A (zh) * 2006-05-04 2009-07-15 索尼计算机娱乐美国公司 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
US8456524B2 (en) * 2008-09-02 2013-06-04 Samsung Electronics Co., Ltd. Egomotion speed estimation on a mobile device using a single imager

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091218A (ja) 1999-09-14 2001-04-06 Mitsubishi Electric Inf Technol Center America Inc 3次元運動検知装置及び3次元運動検知方法
WO2004015369A2 (en) 2002-08-09 2004-02-19 Intersense, Inc. Motion tracking system and method
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
EP2013865A4 (en) * 2006-05-04 2010-11-03 Sony Comp Entertainment Us METHODS AND APPARATUS FOR APPLYING ADAPTATION EFFECTS TO INPUT BASED ON ONE OR MORE VISUAL, ACOUSTICAL, INERTIAL AND MIXED DATA
GB0808081D0 (en) * 2008-05-02 2008-06-11 In2Games Ltd Bridging ultrasonic position with accelerometer/gyroscope inertial guidance
US8976172B2 (en) * 2012-12-15 2015-03-10 Realitycap, Inc. Three-dimensional scanning using existing sensors on portable electronic devices
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
KR101689335B1 (ko) * 2015-04-24 2016-12-23 성균관대학교산학협력단 복수 개의 불확실성 또는 상호 상관성이 있을 수 있는 데이터를 융합하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630877A (zh) * 2000-12-22 2005-06-22 皇家菲利浦电子有限公司 基于计算机视觉的无线定向系统
CN101484933A (zh) * 2006-05-04 2009-07-15 索尼计算机娱乐美国公司 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
US8456524B2 (en) * 2008-09-02 2013-06-04 Samsung Electronics Co., Ltd. Egomotion speed estimation on a mobile device using a single imager

Also Published As

Publication number Publication date
EP3392748A2 (en) 2018-10-24
CN108733211A (zh) 2018-11-02
US20180307331A1 (en) 2018-10-25
EP3392748B1 (en) 2020-08-12
US10564733B2 (en) 2020-02-18
TWI700614B (zh) 2020-08-01
TW201839558A (zh) 2018-11-01
EP3392748A3 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
CN108700946B (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
WO2020037492A1 (en) Distance measuring method and device
US10247556B2 (en) Method for processing feature measurements in vision-aided inertial navigation
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
JP2019215853A (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
WO2022193508A1 (zh) 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品
US8467612B2 (en) System and methods for navigation using corresponding line features
JP2000097637A5 (ja) 姿勢位置検出装置及び移動体姿勢検出装置
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
EP3318841A2 (en) Camera controller
CN108733211B (zh) 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190081334A (ko) 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN116086442A (zh) 包含惯性传感器的多个定位传感器的融合定位装置
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
KR20150089366A (ko) 지자계 센서를 이용한 실내 위치 추적 시스템
JP6653151B2 (ja) 進行方向推定システム
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット
JP6670682B2 (ja) 位置検出方法及び位置検出システム
JP2019148456A (ja) 算出装置、自己位置算出方法、およびプログラム
CN111078489B (zh) 电子装置及其姿态校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant