CN112822480A - Vr系统及其定位追踪方法 - Google Patents

Vr系统及其定位追踪方法 Download PDF

Info

Publication number
CN112822480A
CN112822480A CN202011619535.9A CN202011619535A CN112822480A CN 112822480 A CN112822480 A CN 112822480A CN 202011619535 A CN202011619535 A CN 202011619535A CN 112822480 A CN112822480 A CN 112822480A
Authority
CN
China
Prior art keywords
handle
head
mounted display
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011619535.9A
Other languages
English (en)
Other versions
CN112822480B (zh
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202011619535.9A priority Critical patent/CN112822480B/zh
Publication of CN112822480A publication Critical patent/CN112822480A/zh
Priority to PCT/CN2021/114361 priority patent/WO2022142403A1/zh
Priority to EP21913150.5A priority patent/EP4192007A4/en
Application granted granted Critical
Publication of CN112822480B publication Critical patent/CN112822480B/zh
Priority to US17/885,103 priority patent/US11819755B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi or piconet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

本发明提供一种VR系统及其定位追踪方法，VR系统包括头戴显示器和手柄，头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，手柄包括第二惯性传感器和多个第二拍摄装置，第一拍摄装置采集头戴显示器坐标系外部环境图像，第一惯性传感器采集头戴显示器的惯性数据，第二拍摄装置采集手柄坐标系外部环境图像，第二惯性传感器采集手柄的惯性数据，第一处理器通过头戴显示器的惯性数据及其外部环境图像获得头戴显示器在世界坐标系下6DOF数据，通过手柄惯性数据及其外部环境图像获得手柄在世界坐标系下6DOF数据，生成头戴显示器上手柄端的6DOF数据。上述系统及方法能够高精度低延时获得头戴显示器上手柄6DOF数据。

Description

VR系统及其定位追踪方法
技术领域
本发明涉及虚拟现实技术领，尤其涉及一种VR系统及其定位追踪方法。
背景技术
现有的All-in-one VR(Virtual Reality，VR)6DOF一体机设计中，大部分是支持头部6DOF(Six Degrees of Freedom)追踪，通过光学，超声波，电磁等方案判断HMD(头戴显示器)和手柄的相对位置关系，在当前HMD 6DOF的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系。光学手柄存在FOV(视场角)的问题，在超出HMD camera的FOV外，会引入较大误差；超声波方案存在遮挡和反射问题，对无线同步的要求很高，无线波动也会引入一定的误差；电磁方案可以实现360度追踪，但受外界磁场影响较大，另外设备与设备之间的相互干扰也是一个困难的问题，通常情况下不支持很多设备同时工作。
电磁和超声波的相对位置转换是基于HMD上超声波和电磁接收器的位置，对产品组装一致性有很高的要求，后期使用中跌落等都会影响产品精度。
发明内容
本发明提供一种高精度低延时获得头戴显示器上手柄6DOF数据的VR系统及其定位追踪方法。
为实现上述目的，本发明提供的一种VR系统，包括头戴显示器和手柄，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
可选地，还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
可选地，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，在物理层解析和回复数据信号。
可选地，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0
T0＝(T2-T1-T4+T3)/2。
可选地，还包括第二时间同步模块，通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
可选地，所述第二时间同步模块还包括：
第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
可选地，还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
可选地，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
为了解决上述问题，本发明还提供一种VR系统的定位追踪方法，所述VR系统包括头戴显示器和手柄，所述定位追踪方法包括：
在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
可选地，还包括：
将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
本发明所述VR系统及其定位追踪方法通过手柄端加入第二拍摄装置采集手柄的外部环境图像，将外部环境图像发送到头戴显示器处理直接生成手柄端的6DOF数据，实现高精度低延时手柄6DOF解决方案。
附图说明
图1是本发明所述VR系统的构成框图；
图2为本发明所述头戴显示器的示意图；
图3为本发明所述手柄的示意图；
图4为本发明所述VR系统的一个具体实施例的示意图；
图5是本发明所述VR系统的定位追踪方法的流程图；
图6是本发明所述头戴显示器和手柄时间同步的一个实施例的示意图；
图7是本发明所述头戴显示器和手柄时间同步的另一个实施例的示意图；
图8是本发明所述头戴显示器和手柄时间同步的第三个实施例的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
头戴显示设备的定位技术有两种，一种是外向内追踪(Outside-inTracking)技术，该技术是目前的主流，但是该技术也存在一些缺点，比如用户的可移动范围仅限于传感器监测范围，需要使用外部传感器，容易受到遮挡物影响等。另一种是内向外追踪技术(Inside-out Tracking)，内向外追踪技术不需任何外接传感器，因此可以在无硬件搭建、无标记的环境中使用，也不受传感器监测范围限制，因此拥有更多样的移动性与更高的自由度。
本发明采用inside-out追踪的VR系统，支持HMD的大场景追踪，尤其是支持手柄自适应追踪，通过手柄端的第二拍摄装置采集的环境图像，HMD可以准确判断手柄在世界坐标系的位置，也就是说，定位追踪手柄并实现VR一体机中手柄的6DOF功能。6DOF即六自由度，自由度总共有6个，可分成两种不同的类型：平移和旋转刚体可以在3个自由度中平移：向前/向后，向上/向下，向左/向右，刚体也可以在3个自由度中旋转：纵摇(Pitch)、横摇(Roll)和垂摇(Yaw)。因此，3种类型的平移自由度+3种类型的旋转自由度＝6自由度。
图1是本发明所述VR系统的构成框图，如图1所示，所述VR系统包括头戴显示器(HMD)1和手柄2，所述头戴显示器包括第一处理器12、第一惯性传感器14和多个第一拍摄装置11，所述手柄2包括第二惯性传感器25和多个第二拍摄装置21，所述第一惯性传感器14采集头戴显示器的惯性数据，所述第一拍摄装置11采集头戴显示器坐标系的外部环境图像，所述第二拍摄装置21采集手柄坐标系的外部环境图像，所述第二惯性传感器25采集手柄的惯性数据，所述第一处理器12通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
第一惯性传感器和第二惯性传感器为惯性测量单元IMU(InertialMeasurementUnit，简称IMU)，惯性测量单元是一种通过传感器来测量和报告速度、方向和重力的电子设备，惯性测量单元可以包括加速度计、陀螺仪和磁力计中的一种或多种的组合，可以分别获得头戴显示器好和手柄的惯性数据，所述惯性数据包括相对位置信息和相对姿态信息。
在一个实施例中，VR系统还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
在一个可选实施例中，主设备和从设备之间的数据信号通过无线方式进行传输，也就是说，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块。
优选地，第一无线传输模块和第二无线传输模块在物理层解析和回复数据信号，保证主从设备交互时，数据链路传输时间相同。
另外，优选地，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0
T0＝(T2-T1-T4+T3)/2。
在一个实施例中，VR系统还包括第二时间同步模块，通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
优选地，所述第二时间同步模块还包括：
第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
在一个实施例中，VR系统还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
在本发明的一个优选实施例中，头戴显示器1包括多个第一拍摄装置11、第一处理器12、第一无线传输模块13、第一惯性传感器14、距离传感器、电源、按键、指示灯和显示器；
手柄2包括第二拍摄装置21、图像处理模块22、第二处理器23、第二无线传输模块24、第二惯性传感器25、电源、按键和指示灯，图像处理模块22包括多传感图像处理器及数据通道221、矫正单元222、存储单元223、接口单元224和处理单元225，
其中，启动头戴显示器1的按键，第一无线传输模块和第二无线传输模块建立无线连接，通过第一惯性传感器检测头戴显示器的惯性数据传输至第一处理器，所述头戴显示器的惯性数据包括头戴显示器的相对位置信息和相对姿态信息，例如将头戴显示器的加速度、角度、方向等信息传输至第一处理器，通过第二惯性传感器检测手柄的惯性数据，所述手柄的惯性数据包括手柄的相对位置信息和相对姿态信息，例如将手柄的加速度、角度、方向等信息发送至第二处理器，通过第二无线传输模块和第一无线传输模块传输到第一处理器，通过头戴显示器的第一拍摄装置拍摄头戴显示器坐标系的外部环境，头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器的外部环境图像直接输送至第一处理器，第二拍摄装置拍摄手柄坐标系的外部环境图像，发送至图像处理模块，多传感图像处理器及数据通道对图像进行颜色空间转换和多通道数据传输，矫正单元222滤除多通道数据中的异常数据，存储单元223用于存储指令，该指令用于控制第二处理器进行操作和第一处理器12结合以执行本发明实施例提供的任意一项时间同步方法。手柄的外部环境图像通过第二无线传输模块和第一无线传输模块传送到第一处理器，第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。第二处理器还用于图像处理模块22与第二处理器以及第二处理器与第二无线传输模块不同数据类型的处理。接口单元224包括连接第二拍摄装置和处理单元225的接口以及连接存储单元223和第二处理器23之间的接口。
本领域技术人员应当理解，尽管在图1中对头戴显示器以及手柄都示出了多个装置，但是，本发明可以仅涉及其中的部分装置，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在本发明的一个具体实施例中，如图2和3所示，头戴显示器上布置有多个第一拍摄装置，手柄上布置有多个第二拍摄装置，从不同的角度采集环境图像，优选地，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
优选地，头盔显示器上布置有4个第一拍摄装置，手柄上布置有3个第二拍摄装置，4个第一拍摄装置处于同一高度，分别位于头戴显示器外表面矩形的四个顶角处，3个第二拍摄装置设置在手柄的边缘环凸起的等分线上。
如图3所示，手柄包括操作部和光学部，所述光学部与操作部的一端相交，操作部包括多自由度运动操作的按键，光学部包括多个第二拍摄装置，第二拍摄装置拍摄所述包括按键设定区域的外部环境图像。
如图4所示，HMD是由多个鱼眼相机组成的6DOF追踪系统，实现多个鱼眼相机同步；还包含一颗单独的无线芯片(第一无线传输模块)支持802.11ad，实现手柄和HMD的时间同步，传输手柄的IMU数据，按键数据，能够低延时传输手柄端的图像数据到HMD，用来实现手柄追踪以及通过手柄的鱼眼相机实现see through(透视)等功能；还包含惯性测量单元，实现HMD 6DOF的关键器件；还包含显示，存储，无线，声音，电源，按键，指示灯，距离传感器等部分。
手柄是多个鱼眼相机组成的6DOF追踪系统，实现多个鱼眼相机同步；还包含一颗单独的无线芯片(第二无线传输模块)支持802.11ad，实现手柄和HMD系统的时间同步，传输手柄的IMU数据，按键数据，6DOF数据等，无线芯片可传输手柄的图像数据到HMD，实现手柄的追踪和see though功能。还包含多路MIPI转USB处理器，以及USB3.0转PCIe处理器(第二处理器23)。
在手柄中，鱼眼相机通过CSI(COMS SensorInterface，相机串行接口)连接到多传感图像处理器及数据通道221，进行图像传输，通过I2C连接至8051(处理单元225)，采用I2C驱动鱼眼相机，在初始化时，通过RST引脚设置多个鱼眼相机依次工作，在每个鱼眼工作时，分别设置每个鱼眼相机的I2C地址，8051的FSIN引脚与多个鱼眼相机连接，鱼眼相机收到FSIN信号以后，复位输出的时钟，一段时间以后输出MIPI数据，该FSIN信号不改变已经产生的信号，为保证系统的稳定性，FSIN信号在曝光信号结束以后、在向头戴显示器发出同步信号之前能够完成多个鱼眼相机的同步功能，既保证了同步功能，又保证了信号的稳定性，该同步信号可以和鱼眼相机的帧率信号相同，也可以是帧率的1/2等。
图5是本发明所述VR系统的定位追踪方法的流程图，如图5所示，所述定位追踪方法包括：
步骤S1，在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
步骤S2，在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
步骤S3，通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
步骤S4，通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
在一个实施例中，上述定位追踪方法还包括对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤。
在一个实施例中，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
优选地，如图6所示，主设备在T1时刻发送同步信号，从设备在T2时刻接收到同步信号，主设备将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，从设备将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；主设备将包含T4时刻主设备数据包发送给从设备；通过下式获得头戴显示器和手柄的时间偏差T0，具体地：
T2-T1＝Td+T0
T4-T3＝Td-T0
Td＝(T2-T1+T4-T3)/2
T0＝(T2-T1-T4+T3)/2
其中，Td为无线数据传输时间。
在一个实施例中，如图7所示，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：通过时间戳对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步，具体地：
按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
优选地，还包括：基于数据中断在第一惯性传感器采集的姿态数据中添加时间戳，减去第一惯性传感器的延时获得第三时间戳。
在一个优选实施例中，HMD的第一拍摄装置采集的外环境图像的时间戳按照曝光中心点时刻添加，所述时间戳可以基于FSIN信号和曝光时间计算，也可以使用MIPI SOF信号(MIPI帧起始信号)和曝光时间计算；HMD中IMU数据(惯性数据)的时间戳基于数据中断添加，由于IMU物理发生到中断产生有一定的延时IMU Latency(惯性延时)，所述惯性延时可以根据IMU配置滤波参数确定，在中断添加时间戳以后减去这个延时时间，以得到精确的时间戳数据；
手柄端需要添加IMU时间戳，HMD时间系统和手柄时间系统同步以后，图像处理模块FSIN触发的中断和曝光数据计算图像的时间戳；在IMU中断时添加IMU时间戳，同样减去IMU本身的延时得到精确的时间戳数据。
多个第一拍摄装置通过FSIN信号实现图像同步功能，HMD和手柄端通过无线信号实现同步HMD时间系统和手柄时间系统。图像帧率及基本参数设置确定以后，手柄光学追踪曝光的中心点和FSIN信号有固定的时间间隔，可以确定HMD追踪手柄的时间点。
在一个实施例中，如图8所示，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
在一个具体实施例中，无线传输延时按照4个CMOS，分辨率640x4808bits灰度图像评估按照802.11ad比较稳定的4Gbps左右带宽来评估，无线传输延时在2ms左右。802.11ad使用60GHz频段，干扰较少，传输稳定，也有利于6DOF的性能和稳定性。802.11ad传输距离较短，降低了多套设备的相互影响。
本发明VR系统及其定位追踪方法采用inside-out追踪支持HMD的大场景追踪尤其是支持手柄自适应追踪，通过手柄端的采集的黄精图像，HMD可以准确判断手柄在世界坐标系的位置。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种VR系统，包括头戴显示器和手柄，其特征在于，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
2.如权利要求1所述的VR系统，其特征在于，还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
3.如权利要求2所述的VR系统，其特征在于，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，在物理层解析和回复数据信号。
4.如权利要求3所述的VR系统，其特征在于，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0
T0＝(T2-T1-T4+T3)/2。
5.如权利要求2所述的VR系统，其特征在于，还包括第二时间同步模块，通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
6.如权利要求5所述的VR系统，其特征在于，所述第二时间同步模块还包括：
第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
7.如权利要求4所述的VR系统，其特征在于，还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
8.如权利要求4所述的VR系统，其特征在于，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
9.一种VR系统的定位追踪方法，所述VR系统包括头戴显示器和手柄，其特征在于，所述定位追踪方法包括：
在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
10.如权利要求9所述的VR系统的定位追踪方法，其特征在于，还包括：
将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
CN202011619535.9A 2020-12-31 2020-12-31 Vr系统及其定位追踪方法 Active CN112822480B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011619535.9A CN112822480B (zh) 2020-12-31 2020-12-31 Vr系统及其定位追踪方法
PCT/CN2021/114361 WO2022142403A1 (zh) 2020-12-31 2021-08-24 Vr系统及其定位追踪方法
EP21913150.5A EP4192007A4 (en) 2020-12-31 2021-08-24 VR SYSTEM AND POSITIONING AND TRACKING METHOD THEREOF
US17/885,103 US11819755B2 (en) 2020-12-31 2022-08-10 VR system and positioning and tracking method of VR system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011619535.9A CN112822480B (zh) 2020-12-31 2020-12-31 Vr系统及其定位追踪方法

Publications (2)

Publication Number Publication Date
CN112822480A true CN112822480A (zh) 2021-05-18
CN112822480B CN112822480B (zh) 2022-05-17

Family

ID=75855970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011619535.9A Active CN112822480B (zh) 2020-12-31 2020-12-31 Vr系统及其定位追踪方法

Country Status (4)

Country Link
US (1) US11819755B2 (zh)
EP (1) EP4192007A4 (zh)
CN (1) CN112822480B (zh)
WO (1) WO2022142403A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721767A (zh) * 2021-08-30 2021-11-30 歌尔光学科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN113849072A (zh) * 2021-10-11 2021-12-28 深圳市瑞立视多媒体科技有限公司 一种无线手柄以及动作捕捉系统
WO2022142403A1 (zh) * 2020-12-31 2022-07-07 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
WO2023016283A1 (zh) * 2021-08-10 2023-02-16 青岛小鸟看看科技有限公司 头戴式设备和外设的时间同步方法、装置
WO2023179369A1 (zh) * 2022-03-21 2023-09-28 北京字跳网络技术有限公司 控制装置的定位方法、装置、设备、存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102869310A (zh) * 2010-05-10 2013-01-09 奥林巴斯株式会社 操作输入装置以及机械手系统
US20150352437A1 (en) * 2014-06-09 2015-12-10 Bandai Namco Games Inc. Display control method for head mounted display (hmd) and image generation device
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
WO2017213939A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Six dof mixed reality input by fusing inertial handheld controller with hand tracking

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724887B2 (en) * 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9471090B2 (en) * 2012-11-21 2016-10-18 Starkey Laboratories, Inc. Method and apparatus for synchronizing hearing instruments via wireless communication
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10391400B1 (en) * 2016-10-11 2019-08-27 Valve Corporation Electronic controller with hand retainer and finger motion sensing
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US20180224887A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Apparatus and method for asynchronous event timestamping
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
US10719125B2 (en) * 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
CN107329593B (zh) * 2017-06-28 2020-10-09 歌尔科技有限公司 一种vr手柄定位方法及装置
CN109497944A (zh) * 2017-09-14 2019-03-22 张鸿 基于互联网的远程医疗检测系统
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10504243B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Calibration system for a head-mounted display tracking system
US10863469B2 (en) * 2017-10-11 2020-12-08 Google Llc System and method for accurate timestamping of virtual reality controller data
US10481679B2 (en) * 2017-12-18 2019-11-19 Alt Llc Method and system for optical-inertial tracking of a moving object
CN207704395U (zh) * 2018-01-10 2018-08-07 深圳创维新世界科技有限公司 手柄、增强现实显示系统及头戴显示系统
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
US10819926B2 (en) * 2018-04-09 2020-10-27 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
US10558261B1 (en) * 2018-10-29 2020-02-11 Facebook Technologies, Llc Sensor data compression
CN209373535U (zh) * 2018-11-02 2019-09-10 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
EP3930865A4 (en) * 2019-02-28 2022-07-27 Magic Leap, Inc. METHOD AND SYSTEM USING PHASE-DRIVEN NETWORK BEAMFORMING FOR SIX DEGREE-OF-FREEDOM TRACKING OF A TRANSMITTER IN AUGMENTED REALITY SYSTEMS
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
CN113708877B (zh) * 2019-03-29 2023-09-05 北京航迹科技有限公司 用于车辆的时间同步系统和方法
US10997949B2 (en) * 2019-10-04 2021-05-04 Facebook Technologies, Llc Time synchronization between artificial reality devices
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
US11516526B2 (en) * 2019-12-05 2022-11-29 Hyundai Mobis Co., Ltd. Method and apparatus for synchronizing camera image based on GM clock time information
US11567528B2 (en) * 2020-05-19 2023-01-31 Microsoft Technology Licensing, Llc LED synchronization for virtual and augmented reality devices
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102869310A (zh) * 2010-05-10 2013-01-09 奥林巴斯株式会社 操作输入装置以及机械手系统
US20150352437A1 (en) * 2014-06-09 2015-12-10 Bandai Namco Games Inc. Display control method for head mounted display (hmd) and image generation device
WO2017213939A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Six dof mixed reality input by fusing inertial handheld controller with hand tracking
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142403A1 (zh) * 2020-12-31 2022-07-07 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
US11819755B2 (en) 2020-12-31 2023-11-21 Qingdao Pico Technology Co., Ltd. VR system and positioning and tracking method of VR system
WO2023016283A1 (zh) * 2021-08-10 2023-02-16 青岛小鸟看看科技有限公司 头戴式设备和外设的时间同步方法、装置
US11894917B2 (en) 2021-08-10 2024-02-06 Qingdao Pico Technology Co., Ltd. Method and apparatus for time synchronization between head-mounted device and peripheral device
CN113721767A (zh) * 2021-08-30 2021-11-30 歌尔光学科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN113721767B (zh) * 2021-08-30 2024-02-02 歌尔科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN113849072A (zh) * 2021-10-11 2021-12-28 深圳市瑞立视多媒体科技有限公司 一种无线手柄以及动作捕捉系统
WO2023179369A1 (zh) * 2022-03-21 2023-09-28 北京字跳网络技术有限公司 控制装置的定位方法、装置、设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN112822480B (zh) 2022-05-17
US20220379197A1 (en) 2022-12-01
EP4192007A4 (en) 2024-03-20
US11819755B2 (en) 2023-11-21
EP4192007A1 (en) 2023-06-07
WO2022142403A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112822480B (zh) Vr系统及其定位追踪方法
CN109104259B (zh) 一种多传感器对时同步系统和方法
KR101722068B1 (ko) 디바이스의 다수의 센서들로부터 수신된 데이터를 동기화시키는 방법들 및 시스템들
JP4532856B2 (ja) 位置姿勢計測方法及び装置
CN106687063B (zh) 跟踪系统及利用其的跟踪方法
KR101753316B1 (ko) 디지털 이미지 포맷으로 애플리케이션 프로세서에 센서 데이터 및 이미지 데이터를 제공하기 위한 방법들 및 시스템들
US9277361B2 (en) Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
CN112945228B (zh) 一种多传感器时间同步方法及同步装置
KR20160146196A (ko) 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법
WO2023093054A1 (zh) 一种数据处理的方法、装置、系统、设备及存储介质
JP2016006415A (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
CN112214106A (zh) 高精度抗干扰的vr系统、运行方法
JP6859447B2 (ja) 情報処理システムおよび対象物情報取得方法
US11039120B2 (en) Imaging apparatus
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
CN112995524A (zh) 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN115604402A (zh) 一种无线智能可穿戴装置及其图像采集方法
Guidolin et al. A ROS driver for xsens wireless inertial measurement unit systems
US11694409B1 (en) Augmented reality using a split architecture
WO2018143311A1 (en) Imaging apparatus
CN117118554A (zh) 一种多模态传感器硬件时间同步方法
JP2023098572A (ja) 独立的な時点管理を有する方法及び電子装置
CN116156143A (zh) 数据生成方法、摄像设备、头戴式显示设备和可读介质
JP2019211322A (ja) ３次元計測方法及び３次元計測装置
JP2005114452A (ja) 位置姿勢計測装置およびその方法並びにプログラムコード、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant