CN116963028A - 一种头戴式终端设备及其追踪方法和装置 - Google Patents

一种头戴式终端设备及其追踪方法和装置 Download PDF

Info

Publication number
CN116963028A
CN116963028A CN202210387200.1A CN202210387200A CN116963028A CN 116963028 A CN116963028 A CN 116963028A CN 202210387200 A CN202210387200 A CN 202210387200A CN 116963028 A CN116963028 A CN 116963028A
Authority
CN
China
Prior art keywords
head
wireless communication
external tracking
integrated machine
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210387200.1A
Other languages
English (en)
Inventor
张秀志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210387200.1A priority Critical patent/CN116963028A/zh
Priority to PCT/CN2023/082445 priority patent/WO2023197831A1/zh
Publication of CN116963028A publication Critical patent/CN116963028A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请公开了一种头戴式一体机系统及其追踪方法和装置。头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，头戴式一体机与外部追踪设备之间能够通过至少两种无线通讯方式通讯。追踪方法包括：根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；根据外部追踪设备的惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据姿态数据进行用户身体部位追踪。本申请的方案通过头戴式一体机与外部追踪设备的无线通讯方式确定头戴式终端设备进行相应的时间同步，降低时间延时，提高头戴式终端设备对用户身体部位的追踪精度。

Description

一种头戴式终端设备及其追踪方法和装置
技术领域
本申请涉及头戴一体机技术领域，具体涉及一种头戴式终端设备及其追踪方法和装置。
背景技术
随着VR(Virtual Reality，虚拟现实)技术的发展，VR头盔体验和游戏内容越来越丰富，尤其是随着6DoF(Degree of Freedom，自由度)VR一体机的性能提升，6DoF游戏内容和体验都在快速提升。现有的VR 6DoF游戏和应用主要依赖头戴和手柄的6DoF功能实现，通过头戴和手柄能够完成游戏和应用交互的基本动作，但类似于步行，跑步，坐下，下蹲，跳舞，踢球，瑜伽等身体动作还不能实现，影响用户体验。
相关方案是通过追踪器等outside-in(外向内追踪技术)解决方案，在外部环境中布置激光塔，追踪器内置激光点，通过激光塔和追踪器上的激光点的配合，定位身体部位的位置信息，再将位置信息通过USB或者无线传输给PC(Personal Computer，个人计算机)或者一体机，从而追踪用户身体的动作。
这种实现方式安装复杂，需要搭建外部激光塔，并且使用复杂，尤其是对于头戴式一体机，需要校准头戴式一体机和激光塔的位置关系。
发明内容
有鉴于此，本申请的主要目的在于提供了一种头戴式终端设备及其追踪方法和装置，用于解决或部分解决上述问题。
依据本申请的第一方面，提供了一种头戴式终端设备的追踪方法，头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元；追踪方法包括：
根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
依据本申请的第二方面，提供了一种头戴式终端设备的追踪装置，头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元；追踪装置包括：
时间同步单元，用于根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
用户追踪单元，用于根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
依据本申请的第三方面，提供了一种头戴式终端设备，
头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元；
其中头戴式一体机包括：处理器和存储计算机可执行指令的存储器，计算机可执行指令在被所述处理器执行时，实现头戴式终端设备的追踪方法。
依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现头戴式终端设备的追踪方法。
本申请采用的上述至少一个技术方案能够达到以下有益效果：
1)本申请实施例中头戴式一体机与多个外部追踪设备采用无线通讯连接方式进行配对连接，不需要搭建外部激光塔，不需要复杂的安装过程。
2)本申请实施例中外部追踪设备是可穿戴在用户身体各部位的，使用时只需要将外部追踪设备穿戴在需要追踪的身体部位，例如穿戴在用户手部、膝关节、肘关节、小腿等身体部位，配合头戴式一体机即可对用户头手、身体动作进行实时追踪，使头戴式一体机系统可对用户的多个身体部位进行追踪。
3)本申请实施例的头戴式一体机与多个外部追踪设备之间存在至少两种无线通讯方式，在利用头戴式终端设备进行用户追踪时，根据头戴式一体机与外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行相应的时间同步，降低设备之间的数据传输延时，提高头戴式一体机系统的用户追踪精度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的头戴式终端设备的用户追踪方法流程示意图；
图2示出了根据本申请一个实施例示出的基于第一种无线通讯方式建立无线连接的示意图；
图3示出了根据本申请一个实施例示出的基于第二种无线通讯方式建立无线连接的示意图；
图4示出了根据本申请一个实施例示出的基于第一种无线通讯方式和第二种无线通讯方式建立无线连接的示意图；
图5示出了根据本申请一个实施例的头戴式一体机的外观示意图；
图6示出了根据本申请一个实施例的头戴式终端设备的用户追踪装置的框图；
图7示出了本申请一个实施例头戴式终端设备的结构示意图；
图8示出了本申请一个实施例的身体追踪器的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。
为解决头戴式终端设备的身体追踪问题，本申请实施例设计与头戴式一体机配合的外部追踪设备，利用外部追踪设备的惯性测量单元(Inertial Measurement Unit，IMU)实现对用户身体动作的追踪，根据头戴式一体机与外部追踪设备的无线通讯方式，控制头戴式一体机和外部追踪设备进行相应方式的时间同步，以降低数据延时，提高对用户身体动作的追踪精度。
本申请实施例提供了一种头戴式终端设备的追踪方法。
图1示出了根据本申请一个实施例的头戴式终端设备的追踪方法流程示意图。本申请实施例的头戴式终端设备包括头戴式一体机和可穿戴在用户身体各部位的至少一个外部追踪设备，头戴式一体机与至少一个外部追踪设备之间能够通过至少两种无线通讯方式通讯，其中第一种无线通讯方式是基于定制信道实现，定制信道在数据传输过程中不支持数据重传，第二种无线通信方式是基于经典信道实现。
本实施例的外部追踪设备包括惯性测量单元。可以理解的是，本实施例的外部追踪设备包括但不限于手柄控制器和身体追踪器。
如图1所示，本申请实施例的头戴式终端设备的追踪方法至少包括如下步骤S110至步骤S120：
步骤S110，根据头戴式一体机与外部追踪设备之间的无线通讯连接方式，控制头戴式终端设备进行时间同步。
本实施例的头戴式终端设备包括无线通讯装置，头戴式终端设备能够通过该无线通讯装置以至少两种无线通讯方式通讯。例如，当头戴式一体机与外部追踪设备以第一种无线通讯方式通讯时，头戴式一体机能够与外部追踪设备时间同步。又例如，当头戴式一体机与外部追踪设备以第二种无线通讯方式通讯时，头戴式一体机不与外部追踪设备时间同步，而是各个外部追踪设备之间时间同步。
与现有技术不同的是，本申请实施例中的至少两种无线通信方式是指用于数据传输的至少两种不同类型的信道，例如定制信道和经典信道。经典信道是指基于无线通信协议栈构建的信道，定制信道是指根据需求个性化定制的不支持数据重传的信道。
需要说明的是，目前基于标准无线通信协议构建的各种短距离无线通讯方式，例如基于WireLess HD技术、基于WiGig技术等所构建的信道都属于本实施例的经典信道。
以蓝牙协议栈为例，蓝牙协议栈主要包括物理层、逻辑层、L2CAP(Logical LinkControl and Adaptation Protocol，又称为逻辑链路控制和适配协议)层和应用层，其中逻辑层主要功能是在已连接的蓝牙设备之间，基于物理链路建立逻辑信道。本实施例中至少两种无线通讯方式可以理解为至少两种不同类型的逻辑信道。
由于物理层不可靠的，任何数据传输都可能由于干扰等问题而损毁、丢失，因此物理层还提供了校验、重传等机制，确保数据传输的可靠性。而校验与重传等机制导致相互连接的蓝牙设备无法获得对方准确的时间信息，从而导致目前基于蓝牙方式连接的头戴式一体机和外部追踪设备无法实现高精度的时间同步。
基于此，本申请实施例设置支持定制信道的无线通讯方式，利用定制信道实现头戴式一体机和外部追踪设备的时间同步。
步骤S120，根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
本实施例中的外部追踪设备包括手持式设备、可穿戴式设备等等。实际应用中，可以根据应用需求，设置外部追踪设备的类型，例如在需要对用户手部进行追踪的场景，外部追踪设备包括手柄控制器，在需要对用户身体动作进行追踪的场景，外部追踪设备包括身体追踪器。
本实施例中的外部追踪设备包括惯性测量单元，头戴式一体机可以根据惯性测量单元的惯性导航数据计算出外部追踪设备在三维空间中的姿态数据，即3DOF追踪数据。头戴式一体机还包括摄像头模块，利用摄像头模块采集外部追踪设备的图像数据，根据外部追踪设备的图像数据和外部追踪设备在三维空间中的姿态数据可以计算出外部追踪设备的位姿数据，根据位姿数据可以实现对外部追踪设备的6DOF追踪，这里位姿数据包括姿态数据和位置数据。
可见，图1所示的方法，在由头戴式一体机与至少一个外部追踪设备组成的头戴式终端设备中，头戴式一体机能够通过至少两种无线通讯方式与至少一个外部追踪设备通讯，在头戴式终端设备进行用户追踪的场景中，根据头戴式一体机与外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行相应方式的时间同步，通过降低设备之间的数据传输延时，提高头戴式终端设备对用户身体部位的追踪精度。
在一些实施例中，头戴式一体机与外部追踪设备之间能够通过两种无线通讯方式通讯，第一种无线通讯方式是基于定制信道实现，定制信道在数据传输过程中不支持数据重传，第二种无线通信方式是基于经典信道实现。
当头戴式一体机通过第一种无线通讯方式与至少一个外部追踪设备通讯时，控制头戴式一体机与至少一个外部追踪设备实现时间同步；即在第一种无线通讯方式中，头戴式一体机与外部追踪设备能够实现时间同步。当头戴式一体机通过第二种无线通讯方式与多个外部追踪设备通讯时，控制多个外部追踪设备之间实现时间同步；即在第二种无线通讯方式中，头戴式一体机不与外部追踪设备时间同步，而是各个外部追踪设备之间实现时间同步。
研究发现，在头戴式终端设备中，数据的时间延迟主要体现在两方面，第一方面是头戴式一体机的处理器读取时间到头戴式一体机的无线通讯装置的发送时间之间的第一种延时；第二方面是由头戴式一体机的无线通讯装置的发送时间到外部追踪设备的无线通讯装置的接收时间的第二种延时。
举例来说，目前头戴式终端设备的无线芯片包括Wifi和蓝牙，而大多数的外设设备都是通过BLE(Bluetooth Low Energy，蓝牙低功耗)协议连接。数据接收的传输流程是：无线接收->BLE协议栈->串口->处理器；数据发送的传输流程：处理器->串口->BLE协议栈->无线发送。
目前，在基于经典信道的蓝牙通讯方式中，从处理器的时间系统读取时间到数据由处理器以有线方式发送到无线通讯装置的时间是不确定的，而且BLE协议会有重传机制，无法确定数据传输延时。因此，基于经典信道的无线通讯方式无法实现头戴式一体机和外部追踪设备的时间系统同步。
针对上述延时问题，在一些实施例中，当头戴式一体机通过第一种无线通讯方式与至少一个外部追踪设备通讯时，控制头戴式一体机与至少一个外部追踪设备实现时间同步，包括：
生成硬件中断事件，获取硬件中断事件对应的头戴式一体机的时间延迟信息；通过定制信道发送所述时间延迟信息，使至少一个外部追踪设备根据时间延迟信息和传播时间信息与头戴式一体机时间同步，传播时间信息包括事先得到的头戴式一体机与外部追踪设备之间电磁波的传播时间。由于电磁波的传输速度远远大于设备间的距离，所以头戴式一体机与外部追踪设备之间电磁波的传播时间为确定值，可以事先得到。
其中，可以通过下述步骤获取时间延时信息：响应硬件中断事件，获取硬件中断事件对应的处理器时间和无线通讯装置时间；根据所述处理器时间和所述无线通讯装置时间得到无线通讯装置时间相对处理器时间的时间延迟信息。
也就是说，本实施例中的头戴式一体机中包括处理器和无线通讯装置，其中处理器中包括主时钟，无线通讯装置中包括子时钟，时间延时信息是指子时钟和主时钟之间的时间延迟。本实施例通过子时钟和时间延时可以显著降低前文所述的第一种延时。通过头戴式一体机的无线通讯装置的子时钟、外部追踪设备的无线通讯装置的时钟和传播时间信息可以显著降低前文所述的第二种延时。
在一些实施例中，可以通过下述步骤获取硬件中断事件对应的头戴式一体机的时间延迟信息：
响应硬件中断事件，获取硬件中断事件对应的处理器时间和无线通讯装置时间；根据所述处理器时间和所述无线通讯装置时间得到无线通讯装置时间相对处理器时间的时间延迟信息。
这样，在通过定制信道发送所述时间延迟信息之前，获取无线通讯装置的当前时间，并根据无线通讯装置的当前时间和时间延迟信息生成头戴式一体机的时间戳信息，通过定制信道发送所述时间戳信息。外部追踪设备根据时间戳信息和传播时间信息即可获取外部追踪设备与头戴式一体机之间的时间延时，根据时间延迟实现与头戴式一体机的时间同步。
参考图2，头戴式终端设备包括头戴式一体机和外部追踪设备，其中外部追踪设备包括左手柄控制器、右手柄控制器和n个身体追踪器。
头戴式一体机包括从无线通讯模块，该从无线通讯模块以第一种无线通讯方式进行通讯，该从无线通讯模块中包括子时钟，即时间系统1，处理器中包括主时钟，即时间系统0。外部追踪设备包括与从无线通讯模块匹配的无线通讯模块，各个无线通讯模块分别包括时间系统。
如图2所示，头戴式一体机通过第一种无线通讯方式分别与左手柄控制器、右手柄控制器和n个身体追踪器无线建立通讯。
本实施例相应于第一种无线通讯方式的时间同步机制是基于无线系统的深度开发，头戴式一体机的从无线通讯模块在数据发送时刻读取时间系统1的时间，在外部追踪设备的无线通讯模块的数据接收时刻读取无线通讯模块的时间系统的时间；无线数据传输速度是光速，且数据包不使用重传技术，所以从头戴式一体机的从无线通讯模块发送中断到外部追踪设备的无线通讯模块的接收中断时间固定，通过这个传播时间信息实现外部追踪设备的无线通讯模块和头戴式一体机的从无线通讯模块的时间系统同步。
类似的，头戴式一体机的处理器和从无线通讯模块之间的时间系统同步也是使用类似机制，使用有线传输和硬件事件中断获取时间系统0和时间系统1之间的延时。
在得到头戴式一体机的处理器与从无线通讯模块之间的时间系统延时、从无线通讯模块与各个外部追踪设备的无线通讯模块之间的时间系统延时，就可以获得头戴式一体机的处理器与各个外部追踪设备的无线通讯模块之间的时间系统延时，从而实现头戴式一体机与各个外部追踪设备的时间系统同步，本实施例的时间同步精度可以达到几个us。
需要说明的是，在身体部位追踪场景下，头戴式一体机和各个外部追踪设备还可以包括其他功能组件，例如头戴式一体机还包括摄像头模块，左手柄控制器和右手柄控制器还包括惯性测量单元和发光二极管。本领域技术人员可以灵活设置头戴式终端设备的相关功能模块。
在一些实施例中，当头戴式一体机通过第二种无线通讯方式与多个外部追踪设备通讯时，控制多个外部追踪设备之间实现时间同步，包括：
通过经典信道向多个外部追踪设备发送主从设置命令，使外部追踪设备根据所述主从设置命令确定出主设备和从设备，其中主设备是向各个从设备广播同步信号，从设备是接收主设备广播的同步信号，主设备和从设备通过所述同步信号实现时间同步。
其中，同步信号携带主设备的时间戳信息和传播时间信息，各个从设备可以根据主设备的时间戳信息和传播时间信息确定出从设备与主设备之间的时间延时，从而实现主设备与从设备之间的时间同步。
参考图3，头戴式终端设备包括头戴式一体机和外部追踪设备，其中外部追踪设备包括n个身体追踪器。
头戴式一体机包括主无线通讯模块，该主无线通讯模块以第二种无线通讯方式进行通讯，头戴式一体机还包括处理器，处理器中包括主时钟，即时间系统0。外部追踪设备包括与主无线通讯模块匹配的无线通讯模块，各个无线通讯模块分别包括各自的时间系统。
如图3所示，头戴式一体机通过第二种无线通讯方式分别与n个身体追踪器无线建立通讯。
本实施例相应于第二种无线通讯方式的时间同步机制是现阶段的无线系统，头戴式一体机通过主无线通信模块的经典信道向n个身体追踪器发送主从设置命令，n个身体追踪器根据主从设置命令选举出主设备和从设备，主设备向各个从设备广播同步信号，同步信号携带主设备的时间戳信息和传播时间信息，从设备根据主设备的时间戳信息、传播时间信息和从设备的本地时间，实现与主设备的时间同步。
在实际应用中，头戴式终端设备还包括图4所示的无线通讯场景，头戴式一体机通过第一种无线通讯方式与一部分外部追踪设备通讯，还通过第二种无线通讯方式与另一部分外部追踪设备通讯。本实施例中示例性示出每个外部追踪设备在一个时刻下只能通过一种无线通讯方式与头戴式一体机通讯，在实际应用中，本领域技术人员可以合理设置，例如可以设置每个外部追踪设备可以同时通过两种无线通讯方式与头戴式一体机通讯。
在图4所示场景中，头戴式一体机包括主无线通讯模块和从无线通讯模块，该主无线通信模块以第二种无线通讯方式进行通讯，该从无线通讯模块以第一种无线通讯方式进行通讯。外部追踪设备包括左手柄控制器、右手柄控制器和n个身体追踪器。
如图4所示，在需要进行时间同步时，头戴式一体机通过从无线通讯模块向左、右手柄控制器发送头戴式一体机的时间戳信息，该时间戳信息包括从无线通讯模块的当前时间和时间延迟信息，左、右手柄控制器根据时间系统1的当前时间、时间延迟信息、传播时间信息和时间系统2、3的本地时间，确定出时间系统2、3相对与时间系统0的时间延时，根据该时间延时实现左、右手柄控制器与头戴式一体机的时间同步。
在左、右手柄控制器实现时间同步后，左、右手柄控制器的惯性导航数据有统一的时间戳信息，通过时间系统0也能精确控制手柄控制器的发光二极管和摄像头模块的曝光时间点对应，以基于手柄控制器的惯性导航数据和手柄控制器的图像数据计算出手柄控制器在三维空间中的位姿数据，对用户头手部位进行6DOF追踪。
如图4所示，在需要进行时间同步时，头戴式一体机还通过主无线通讯模块向n个身体追踪器发送主从设置命令，n个身体追踪器根据主从设置命令确定出主设备和从设备。主设备与从设备之间可以通过无线通讯模块交换各自的地址信息，主设备基于从设备的地址信息进行同步信号的广播，同步信号携带主设备的时间戳信息和传播时间信息，从设备根据主设备的时间戳信息、传播时间信息和从设备的本地时间，与主设备进行时间同步。
在一些实施例中，在根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步之前，还包括：
根据外部追踪设备所支持的无线通信方式控制头戴式一体机通过相应的无线通讯方式与至少一个外部追踪设备建立无线连接。
例如，当外部追踪设备支持第一种无线通讯方式，控制头戴式一体机通过第一种无线通讯方式与该外部追踪设备建立无线连接。当外部追踪设备支持第二种无线通讯方式，控制头戴式一体机通过第二种无线通讯方式与该外部追踪设备建立无线连接。
又例如，当外部追踪设备即支持第一种无线通讯方式，又支持第二种无线通讯方式时，此时可以根据无线通信方式选择指令、外部追踪设备的优先级、从无线通讯模块可接入的外接追踪设备的数量等方式控制头戴式一体机与该外部追踪设备建立无线连接。
举例来说，在一个场景中，外部追踪设备中设置有与头戴式一体机的主从无线通讯模块匹配的无线通讯模块，且头戴式一体机的从无线通讯模块可接入的外部追踪设备的数量不超过2。若头戴式一体机与少于2个外部追踪设备进行无线连接，此时所有外部追踪设备都可以采用第一种无线通讯方式与头戴式一体机进行无线连接。当头戴式一体机与多于2个外部追踪设备进行无线连接时，可以按照外部追踪设备的类型、功能、优先级等控制外接追踪设备与头戴式一体机进行无线连接。例如，当所有外部追踪设备是相同功能的设备群，可以控制所有外部追踪设备都采用第二种无线通讯方式与头戴式一体机进行无线连接。
在一些实施例中，可以在头戴式终端设备初始化时，根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步。
当然，也可以在头戴式终端设备数据交互过程中，头戴式一体机按照设定频次控制头戴式终端设备进行时间同步。通过多次时间同步处理，保证各传感器具有相同的时间戳，提高用户追踪的精度。
以上实施例是通过时间同步方案来提高头戴式一体机系统对用户追踪的精度，在一些实施例中，还可以通过提高头戴式一体机中摄像头模块的视场角范围提高头戴式一体机系统对用户追踪的精度。
头戴式一体机包括摄像头模块，摄像头模块包括多个摄像头。多个摄像头分散安装在头戴式一体机表面，以增加头戴式一体机的追踪范围，且在头戴式一体机对手柄控制器等外部追踪设备进行实时追踪时，可提高光学手柄控制器的可追踪范围，减少光学手柄控制器的追踪盲区，获得更好的手柄控制器的追踪体验。
举例来说，如图5所示，摄像头模块包括四个摄像头，在人眼主要可视范围以内，保持多个摄像头重合，提升追踪精度和稳定性，四个摄像头的重合区域可以保证更好的追踪精度和稳定性。具体来说，可以在左下摄像头501和右下摄像头502，重点增加摄像头的重合区域，提升可视区域的稳定性和精度。在人眼不会重点关注的区域，如左上摄像头503和右上摄像头504，重点增加单个摄像头的追踪区域，增加可追踪的范围。
继续参考5，本实施例中的任一个摄像头可以具有相同的水平视场角、竖直视场角和对角视场角，对于任一个摄像头，其具有一定的内凹形状，以避免摄像头磨损。
本申请实施例中的多个摄像头保持同步工作，由于每个摄像头安装位置不同，每个摄像头对应的外界环境会不同，曝光参数有所不同，例如环境较暗的摄像头曝光设置较长，环境较好的摄像头曝光设置较短，这种情况下实现曝光中心点的对齐，这样可以保证多个摄像头数据采集时间的一致，多个摄像头能够拍摄相同时刻的周围环境，保证追踪精度。
对于光学外接追踪设备，例如在内嵌有发光二极管的手柄控制器中，手柄控制器的光源相对于外界环境亮很多，为了降低外界环境对手柄追踪的影响，多个摄像头的曝光时间应设置很小，多个摄像头使用相同的曝光时间，同时保证手柄控制器在曝光时刻时，手柄控制器的光源处于发光状态，多个摄像头可以同时拍摄手柄控制器的光源图像。
与前述的头戴式终端设备的追踪方法同属于一个技术构思，本申请实施例还提供了头戴式终端设备的追踪装置。头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元。
图6示出了本申请一个实施例的头戴式终端设备的追踪装置的框图，如图6所示，头戴式终端设备的追踪装置600包括：
时间同步单元610，用于根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
用户追踪单元620，用于根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
在一些实施例中，头戴式终端设备的追踪装置600还包括：判断控制单元；
判断控制单元，用于当头戴式一体机通过第一种无线通讯方式与至少一个外部追踪设备通讯时，控制头戴式一体机与至少一个外部追踪设备实现时间同步；所述第一种无线通讯方式是基于定制信道实现，所述定制信道在数据传输过程中不支持数据重传；当头戴式一体机通过第二种无线通讯方式与多个外部追踪设备通讯时，控制多个外部追踪设备之间实现时间同步，第二种无线通信方式是基于经典信道实现。
在一些实施例中，判断控制单元包括第一控制模块和第二控制模块；
第一控制模块，用于生成硬件中断事件，获取硬件中断事件对应的头戴式一体机的时间延迟信息；通过所述定制信道发送所述时间延迟信息，使至少一个外部追踪设备根据所述时间延迟信息和传播时间信息与头戴式一体机时间同步，所述传播时间信息包括事先得到的头戴式一体机与外部追踪设备之间电磁波的传播时间。
在一些实施例中，所述头戴式一体机包括处理器和无线通讯装置；第一控制模块，还用于响应硬件中断事件，获取硬件中断事件对应的处理器时间和无线通讯装置时间；根据所述处理器时间和所述无线通讯装置时间得到无线通讯装置时间相对处理器时间的时间延迟信息。
在一些实施例中，第一控制模块，还用于在通过所述定制信道发送所述时间延迟信息之前，获取无线通讯装置的当前时间，并根据所述无线通讯装置的当前时间和时间延迟信息生成头戴式一体机的时间戳信息；通过所述定制信道发送所述时间戳信息。
在一些实施例中，第二控制模块，用于通过经典信道向多个外部追踪设备发送主从设置命令，使外部追踪设备根据所述主从设置命令确定出主设备和从设备，其中主设备是向各个从设备广播同步信号，从设备是接收主设备广播的同步信号，主设备和从设备通过所述同步信号实现时间同步。
在一些实施例中，头戴式终端设备的追踪装置600还包括：连接控制单元；
连接控制单元，用于在根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步之前，根据外部追踪设备所支持的无线通信方式控制头戴式一体机通过相应的无线通讯方式与至少一个外部追踪设备建立无线连接。
在一些实施例中，时间同步单元610，用于在头戴式终端设备初始化时，根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；和/或，在头戴式终端设备数据交互过程中，头戴式一体机按照设定频次控制头戴式终端设备进行时间同步。
能够理解，上述头戴式终端设备的追踪装置，能够实现前述实施例中提供的头戴式终端设备的追踪方法的各个步骤，关于头戴式终端设备的追踪方法的相关阐释均适用于头戴式终端设备的追踪装置，此处不再赘述。
需要说明的是：
图7示意了头戴式终端设备的结构示意图。请参考图7，在硬件层面，头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元。
在一些实施例中，外接追踪设备包括手柄控制器和/或身体追踪器。
其中手柄控制器上设置有无线通讯模块，以通过对应的无线通讯模块与头戴式一体机进行无线通信连接。该手柄控制器上还包括惯性测量单元和多个发光体，手柄控制器还可以包括开机/系统键、确认健、返回键、菜单键、摇杆确认键、扳机键、抓取键、摇杆等。同时手柄控制器支持确认键、返回键、遥感按键、扳机键触摸功能，另外有拇指休息区。关于手柄控制器的时间同步控制可以参照上述实施例，在此不再赘述。
身体追踪器设置有无线通讯模块，以通过对应的无线通讯模块与头戴式一体机进行无线通信连接。如图8所示，该身体追踪器包括输入按键，例如开机键。同时，该身体追踪器还包括指示灯、电池、电源电路等。
其中头戴式一体机包括存储器和处理器，可选地还包括接口模块、通信模块等。存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴式一体机还可能包括其他业务所需要的硬件。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：
根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
上述如本申请图1所示实施例揭示的头戴式终端设备的追踪方法执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的头戴式终端设备的追踪方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种头戴式终端设备的追踪方法，其特征在于，头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元；所述方法包括：
根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
2.根据权利要求1所述的方法，其特征在于，根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步，包括：
当头戴式一体机通过第一种无线通讯方式与至少一个外部追踪设备通讯时，控制头戴式一体机与至少一个外部追踪设备实现时间同步；所述第一种无线通讯方式是基于定制信道实现，所述定制信道在数据传输过程中不支持数据重传；
当头戴式一体机通过第二种无线通讯方式与多个外部追踪设备通讯时，控制多个外部追踪设备之间实现时间同步，第二种无线通信方式是基于经典信道实现。
3.根据权利要求2所述的方法，其特征在于，当头戴式一体机通过第一种无线通讯方式与至少一个外部追踪设备通讯时，控制头戴式一体机与至少一个外部追踪设备实现时间同步，包括：
生成硬件中断事件，获取硬件中断事件对应的头戴式一体机的时间延迟信息；
通过所述定制信道发送所述时间延迟信息，使至少一个外部追踪设备根据所述时间延迟信息和传播时间信息与头戴式一体机时间同步，所述传播时间信息包括事先得到的头戴式一体机与外部追踪设备之间电磁波的传播时间。
4.根据权利要求3所述的方法，其特征在于，所述头戴式一体机包括处理器和无线通讯装置；生成硬件中断事件，获取硬件中断事件对应的头戴式一体机的时间延迟信息，包括：
响应硬件中断事件，获取硬件中断事件对应的处理器时间和无线通讯装置时间；
根据所述处理器时间和所述无线通讯装置时间得到无线通讯装置时间相对处理器时间的时间延迟信息。
5.根据权利要求4所述的方法，其特征在于，在通过所述定制信道发送所述时间延迟信息之前，还包括：
获取无线通讯装置的当前时间，并根据所述无线通讯装置的当前时间和时间延迟信息生成头戴式一体机的时间戳信息；
通过所述定制信道发送所述时间延迟信息，包括：
通过所述定制信道发送所述时间戳信息。
6.根据权利要求2所述的方法，其特征在于，当头戴式一体机通过第二种无线通讯方式与多个外部追踪设备通讯时，控制多个外部追踪设备之间实现时间同步，包括：
通过经典信道向多个外部追踪设备发送主从设置命令，使外部追踪设备根据所述主从设置命令确定出主设备和从设备，其中主设备是向各个从设备广播同步信号，从设备是接收主设备广播的同步信号，主设备和从设备通过所述同步信号实现时间同步。
7.根据权利要求1所述的方法，其特征在于，在根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步之前，还包括：
根据外部追踪设备所支持的无线通信方式控制头戴式一体机通过相应的无线通讯方式与至少一个外部追踪设备建立无线连接。
8.根据权利要求1所述的方法，其特征在于，根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步，包括：
在头戴式终端设备初始化时，根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
和/或，在头戴式终端设备数据交互过程中，头戴式一体机按照设定频次控制头戴式终端设备进行时间同步。
9.一种头戴式终端设备的追踪装置，其特征在于，所述头戴式终端设备包括头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元，所述装置包括：
时间同步单元，用于根据头戴式一体机与至少一个外部追踪设备之间的无线通讯方式，控制头戴式终端设备进行时间同步；
用户追踪单元，用于根据所述惯性测量单元的惯性导航数据，确定至少一个外部追踪设备在三维空间中的姿态数据，根据所述姿态数据进行用户身体部位追踪。
10.一种头戴式终端设备，其特征在于，包括：头戴式一体机和可穿戴在用户身体部位的至少一个外部追踪设备，所述头戴式一体机与所述外部追踪设备之间能够通过至少两种无线通讯方式通讯，所述外部追踪设备包括惯性测量单元；
其中所述头戴式一体机包括：处理器和存储计算机可执行指令的存储器，所述计算机可执行指令在被所述处理器执行时，实现权利要求1-8任一所述头戴式终端设备的追踪方法。
CN202210387200.1A 2022-04-13 2022-04-13 一种头戴式终端设备及其追踪方法和装置 Pending CN116963028A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210387200.1A CN116963028A (zh) 2022-04-13 2022-04-13 一种头戴式终端设备及其追踪方法和装置
PCT/CN2023/082445 WO2023197831A1 (zh) 2022-04-13 2023-03-20 一种头戴式终端设备及其追踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210387200.1A CN116963028A (zh) 2022-04-13 2022-04-13 一种头戴式终端设备及其追踪方法和装置

Publications (1)

Publication Number Publication Date
CN116963028A true CN116963028A (zh) 2023-10-27

Family

ID=88328842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210387200.1A Pending CN116963028A (zh) 2022-04-13 2022-04-13 一种头戴式终端设备及其追踪方法和装置

Country Status (2)

Country Link
CN (1) CN116963028A (zh)
WO (1) WO2023197831A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653044A (zh) * 2016-03-14 2016-06-08 北京诺亦腾科技有限公司 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统
CN108268129B (zh) * 2016-12-30 2021-03-12 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
CN106648116B (zh) * 2017-01-22 2023-06-20 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN111947650A (zh) * 2020-07-14 2020-11-17 杭州瑞声海洋仪器有限公司 基于光学追踪与惯性追踪的融合定位系统及方法
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN113368486B (zh) * 2021-05-17 2023-03-14 青岛小鸟看看科技有限公司 一种用于vr头戴设备的光学追踪器和运动健身系统

Also Published As

Publication number Publication date
WO2023197831A1 (zh) 2023-10-19

Similar Documents

Publication Publication Date Title
US10911930B2 (en) Wireless system, wireless device, non-transitory computer-readable storage medium having stored therein communication program, and communication method
CN109613983A (zh) 头戴显示系统中手柄的定位方法、装置和头戴显示系统
TWI537747B (zh) 動作啟始之時間同步技術
US20190327675A1 (en) Wireless system, wireless device, non-transitory computer-readable storage medium having stored therein communication program, and communication method
US11343645B2 (en) Method and apparatus for measuring location of multiple electronic devices based on time scheduling information in connection with ultra-wide band communication
US11819755B2 (en) VR system and positioning and tracking method of VR system
WO2022057832A1 (zh) 高精度抗干扰的vr系统、运行方法
JP2018152762A (ja) 通信装置及び通信システム
CN111897394A (zh) 一种设备配对方法、配对设备及设备配对系统
JP2009157526A (ja) 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム
JP2016021020A (ja) 制御装置およびその制御方法ならびにシステム
US11425668B2 (en) Electronic device for performing device-to-device communication and method therefor
JP7124375B2 (ja) 電子ペン、表示システムおよび電子ペンの制御方法
CN116963028A (zh) 一种头戴式终端设备及其追踪方法和装置
KR20180096622A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US11729277B2 (en) Apparatus and method for controlling application relocation in edge computing environment
JP6305757B2 (ja) プログラム
US20150339092A1 (en) Projector and control method
US11864117B2 (en) Program and electronic device
WO2022037575A1 (zh) 一种低功耗定位方法及相关装置
CN209805837U (zh) 一种vr时间同步器
KR20170037802A (ko) 웨어러블 디바이스를 활용한 실내외 응급호출 구현 방안
US20220342075A1 (en) Information processing apparatus and control method
US11777626B2 (en) Method and apparatus related to multiple modes
JP6815439B2 (ja) 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination