CN111420391A - 一种头戴显示系统及其空间定位方法 - Google Patents

一种头戴显示系统及其空间定位方法 Download PDF

Info

Publication number
CN111420391A
CN111420391A CN202010142916.6A CN202010142916A CN111420391A CN 111420391 A CN111420391 A CN 111420391A CN 202010142916 A CN202010142916 A CN 202010142916A CN 111420391 A CN111420391 A CN 111420391A
Authority
CN
China
Prior art keywords
head
mounted display
data
mobile terminal
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010142916.6A
Other languages
English (en)
Inventor
马晓卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010142916.6A priority Critical patent/CN111420391A/zh
Publication of CN111420391A publication Critical patent/CN111420391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种头戴显示系统及其空间定位方法。头戴显示系统包括头戴显示设备，头戴显示设备工作时连接移动终端，借助移动终端完成数据处理；头戴显示设备内集成有九轴传感器、双目鱼眼摄像头和一信号转换芯片，在头戴显示设备运动时，九轴传感器采集头戴显示设备的空间姿态数据传输给信号转换芯片，双目鱼眼摄像头采集头戴显示设备的空间位置数据传输给信号转换芯片；信号转换芯片将头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为USB数据传输给移动终端，由移动终端根据该USB数据对头戴显示设备进行六自由度追踪。本发明能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且不会影响到头戴显示设备对显示、声音等数据的传输。

Description

一种头戴显示系统及其空间定位方法
技术领域
本发明涉及一种头戴显示系统及其空间定位方法。
背景技术
随着头戴显示技术的逐步成熟，围绕虚拟显示设备的各种技术也得到了快速发展，这些技术包括虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，简称为AR)、混合现实(Mix Reality，简称为MR)等。其中，VR是让用户完全沉浸在虚拟的世界里，AR是将虚拟信息加在真实环境中，来增强真实环境，MR则是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，新的可视化环境中同时包含了物理实体与虚拟信息。
随着手机的平台芯片的发展，目前VR/AR/MR设备除一体机之外，正在发展出另外一种形态，即单独的HMD(Head Mounted Display，头戴显示设备)作为VR/AR/MR设备连接手机或平板电脑iPad使用。这种形态的VR/AR/MR设备体积更小、重量更轻、携带方便，只需连接手机或iPad即可使用，非常方便。VR/AR/MR设备的数据处理是借助手机或iPad的平台完成，而HMD只是负责显示、声音等的传输。
目前这种插接手机或iPad的VR/AR/MR设备，其HMD部分基本上都设计有IMU单元(Inertial Measurement Unit，惯性测量单元)，可以追踪到HMD的XYZ三轴上下左右前后三个方向的平移量，实现三自由度(Degree of Freedom，DoF)的定位。
然而，仅是实现三自由度的定位会限制很多应用、游戏等的使用，只能玩类似于切水果等的简单游戏，对于需要身体跟随移动的一些游戏则无法胜任。例如，用户头部的动作还会在空间中发生空间坐标的位移，这种空间位置的变动仅靠IMU单元，无法完成定位追踪。
发明内容
本发明的目的在于提供了一种头戴显示系统及其空间定位方法，能够实现六自由度的定位追踪，增加使用设备时的沉浸感。
根据本发明的第一方面的实施例，提供了一种头戴显示系统，包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；
所述头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；
在所述头戴显示设备运动时，所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；
所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给所述移动终端，由所述移动终端根据所述第一USB数据对所述头戴显示设备进行六自由度追踪。
根据本发明的第二方面的实施例，提供了一种头戴显示系统的空间定位方法，所述头戴显示系统包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；所述方法包括：
在所述头戴显示设备内集成第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，将所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；
在所述头戴显示设备运动时，利用所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，利用所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；
利用所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给所述移动终端，由所述移动终端根据所述第一USB数据对所述头戴显示设备进行六自由度追踪。
与现有技术相比，本发明实施例的有益效果是：
本发明实施例提供的头戴显示系统及其空间定位方法，在头戴显示设备内部同时集成有九轴传感器和双目鱼眼摄像头，既采集头戴显示设备的空间姿态数据，还采集头戴显示设备的空间位置数据，信号转换芯片将采集到的这些数据进行整合转换为USB数据传输给移动终端，由移动终端根据该USB数据对头戴显示设备进行追踪定位，实现用户头部的六自由度追踪，相比于仅是实现用户头部的三自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明是借助移动终端完成空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的部分实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的一种头戴显示系统的结构框图；
图2为本发明实施例示出的另一种头戴显示系统的结构框图；
图3为本发明实施例示出的一种头戴显示系统的电子线路示意图；
图4为本发明实施例示出的一种头戴显示设备的空间定位方法的流程图；
图5为本发明实施例示出的一种输入设备的空间定位方法的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1为本发明实施例示出的一种头戴显示系统的结构框图，如图1所示，本发明实施例的头戴显示系统包括头戴显示设备100，该头戴显示设备100工作时连接移动终端300，借助移动终端300完成数据处理；其中，
头戴显示设备100内集成有第一九轴传感器110、双目鱼眼摄像头120和一信号转换芯片130，第一九轴传感器110和双目鱼眼摄像头120分别连接信号转换芯片130；
在头戴显示设备100运动时，第一九轴传感器110采集头戴显示设备110的空间姿态数据，双目鱼眼摄像头120采集头戴显示设备110的空间位置数据；
信号转换芯片130将头戴显示设备100的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给移动终端300。该第一USB数据例如可以为USB3.0数据、USB3.1数据或者支持更高版本USB传输协议的USB数据，信号转换芯片130基于相应的USB传输协议将第一USB数据传输给移动终端300，由移动终端300根据该第一USB数据对头戴显示设备100进行六自由度追踪。
为实现头戴显示设备六自由度的定位追踪，本发明实施例在头戴显示设备内既集成有九轴传感器，还集成有双目鱼眼摄像头。
九轴传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计。一个IMU单元包含了三个单轴的加速度计和三个单轴的陀螺仪，因此九轴传感器可以视为是一个IMU单元加上一个三轴磁力计。磁力计(Magnetic、M-Sensor)也叫地磁、磁感器，可用于测试磁场强度和方向，定位设备的方位，磁力计的原理跟指南针原理类似，可以测量出当前设备与东南西北四个方向上的夹角。
本发明实施例通过在头戴显示设备内集成第一九轴传感器110，利用第一九轴传感器110来采集头戴显示设备的空间姿态数据，相比于仅使用IMU单元采集头戴显示设备的空间姿态数据，提高了姿态检测结果的精确度。这样因为：有了加速度计数据可以确定物体摆放的状态，例如有加速度计的手机，可以根据手机的横竖屏状态来触发屏幕相应的旋转，但对于物体的翻转、旋转的快慢无从得知，检测不到物体的瞬时状态，这时候就需要加入陀螺仪，通过加速度和陀螺仪的积分运算，可以获得到物体的运动状态，积分运算与真实状态存在微小差值，短时间内影响很小，但这个误差会一直累积，随着使用时间增加，就会有明显的偏离，六轴的设备在转动360度后，图像并不能回到原点，这时候就需要一个准确的方向，因此引入磁力计，来找到正确的方向进行校正。实际应用中，是把这九轴的数据经过融合算法来计算出物体正确的姿态。
双目鱼眼摄像头具有很强的环境追踪性能，可以提供实时的地图初始化，快速地扩展场景，能准确的测量环境尺度并防止漂移。本发明实施例通过在头戴显示设备内集成双目鱼眼摄像头，利用双目鱼眼摄像头采集头戴显示设备的空间位置数据，可以完成除纵摇、横摇、垂摇外的空间位置定位追踪。
第一九轴传感器110采集的头戴显示设备100的空间姿态数据、双目鱼眼摄像头120采集的头戴显示设备100的空间位置数据，均发送至信号转换芯片130。
信号转换芯片130负责向移动终端300传输头戴显示设备100的空间姿态数据和空间位置数据，由移动终端300通过预定算法计算后，对头戴显示设备进行六自由度追踪，实现对用户头部运动轨迹的准确定位。
相比于仅是实现用户头部的三自由度追踪，本发明实施例的方案能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。
<实施例二>
图2为本发明实施例示出的另一种头戴显示系统的结构框图，如图2所示，头戴显示系统还包括输入设备200，本发明实施例的输入设备包括但不局限为单只手柄、双手柄、手套等。
头戴显示设备内除了集成有图1所示的第一九轴传感器110、双目鱼眼摄像头120和一信号转换芯片130之外，还集成有第一射频单元140和电磁接收单元150；输入设备200内集成有第二九轴传感器210、第二射频单元220和电磁发射单元230，第二九轴传感器210连接第二射频单元220；
第一射频单元140和第二射频单元220完成配对后，头戴显示设备100和输入设备200建立无线连接；
在输入设备200运动时，第二九轴传感器210采集输入设备200的空间姿态数据发送给第二射频单元220，第二射频单元220将该输入设备200的空间姿态数据传输给第一射频单元140；
同时在输入设备200运动时，电磁发射单元230随输入设备200运动对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备200空间位置的信息，该电磁信号数据被头戴显示设备100的电磁接收单元150接收；
头戴显示设备100内的微处理器160将输入设备200的空间姿态数据和电磁信号数据进行整合，转换为第二USB数据，该第二USB数据例如可以为USB2.0数据、USB3.0数据或者USB3.1数据等，微处理器160基于相应的USB传输协议将第二USB数据传输给移动终端300，由移动终端300根据该第二USB数据对输入设备200进行六自由度追踪。
对于输入设备，例如电磁手柄，手柄部分基本都会集成有IMU单元，用于满足手部的XYZ三轴上下左右前后三个方向的平移。但是手部同样不会简单的做平行移动，比如在握住网球球拍的情况下，每次的挥拍都是混合有平移和旋转的两种动作的。
为实现输入设备六自由度的定位追踪，本发明实施例在输入设备内既集成有九轴传感器，还集成有电磁发射单元，在头戴显示设备内集成了电磁接收单元，此外在头戴显示设备和输入设备内还分别集成了一射频单元。具体地，
输入设备内集成有第二九轴传感器210。第二九轴传感器210用于采集输入设备200的空间姿态数据，其结构构成同于第一九轴传感器110。利用第二九轴传感器210来采集输入设备的空间姿态数据，相比于使用IMU单元采集输入设备的空间姿态数据，提高了姿态检测结果的精确度。
输入设备内集成有电磁发射单元230。在输入设备200运动时，电磁发射单元230对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备200空间位置的信息。为适配输入设备200的电磁发射方案，本发明实施例在头戴显示设备内集成了电磁接收单元150，用于接收电磁发射单元230对外发射的电磁信号数据。
头戴显示设备100内集成有第一射频单元140，输入设备200内集成有第二射频单元220，通过配对这两个射频单元建立头戴显示设备100和输入设备200之间的无线连接，并且这两个射频单元还负责传输输入设备的空间姿态数据。需要说明的是，实际中第一射频单元140可与微处理器160集成在同一个芯片上，构成具有射频功能的单片机。
在头戴显示设备100的内部，第一射频单元140和电磁接收单元150分别连接微处理器160，第一射频单元140将接收到的输入设备的空间姿态数据发送至微处理器160，电磁接收单元150将接收到的电磁信号数据也发送至微处理器160。微处理器160负责向移动终端300传输输入设备的空间姿态数据和电磁信号数据，由移动终端300通过预定算法计算之后，对输入设备进行六自由度追踪。若输入设备为电磁手柄，则实现了对用户手部六自由度追踪。
<实施例三>
图3为本发明实施例示出的一种头戴显示系统的电子线路示意图。结合图1-3所示，本发明实施例的头戴显示系统包括头戴显示设备和电磁手柄，头戴显示设备工作时通过USB Type-C接口(对应图3示出的Type-C连接器)连接手机端(对应图3示出的Phone)，借助手机的平台芯片完成数据处理。
头戴显示设备内集成的第一九轴传感器110对应图3示出的“IMU+地磁”，双目鱼眼摄像头120对应图3示出的两个鱼眼摄像头，信号转换芯片130对应图3示出的“MIPI CSI TOUSB3”芯片，该芯片能够实现MIPI(Mobile Industry Processor Interface，移动产业处理器接口)CSI(Camera Serial Interface，相机串行接口)转USB3.0的功能。
头戴显示设备内集成的第一射频单元140对应图3示出的“RF”，即无线射频(RadioFreqency)，电磁接收单元150对应图3示出的“电磁接收”，微处理器160对应图3示出的“MCU”。图3示出的“RF+MCU”是表明RF与MCU集成在同一个芯片上。
电磁手柄内集成的第二九轴传感器在图3中未示出，第二射频单元220和电磁发射单元230分别对应图3手柄内示出的“RF”和“电磁”。
图3示出的“USB HUB”芯片可以将一个USB接口扩展为多个，并可以使这些接口同时使用。USB HUB芯片可支持的USB传输协议包括USB2.0、USB3.0、USB3.1等，图3中示出了USB2.0和USB3.0两种。
USB Type-C接口是一种USB接口形式，可以支持多种USB传输协议，通过一根Type-C连接线可同时实现充电、数据传输以及音视频传输的功能。
为适配USB Type-C接口，头戴显示设备内还集成有PD(Power Delivery，功率输出)控制芯片，对应图3中的“TypeC PD Controller&Demux”芯片,其中Demux是指解复用器或分路器。
该PD控制芯片与手机端的平台芯片进行协商，将USB Type-C接口适配为DP(DisplayPort，显示接口)交替模式(Alt Mode)，告知手机的TypeC接口需要传输两路DP信号和一对USB3.0信号。DP信号用于手机端传输视频信号给头戴显示设备，具体是用于手机传输视频信号给头戴显示设备的桥接芯片，桥接芯片对应图3中的“TypeC DP to MIPI DSIBridge”芯片，DSI是指MIPI的显示串行接口，然后由桥接芯片将该DP信号转为MIPI信号给到显示屏(对应图3中的两个LCD)用于显示画面。USB3.0信号用于头戴显示设备传输数据给手机端，本发明实施例中该数据具体是指第一九轴传感器110采集的头戴显示设备的空间姿态数据和双目鱼眼摄像头120采集的头戴显示设备的空间位置数据。
手机端的音频信号是通过USB Type-C接口的USB2.0信号(经过了图3中的USBHUB)传输给头戴显示设备的USB Audio Codec(音频编码)芯片，进而用于驱动喇叭(SPK)和耳机(MIC)等音频外设。图3中的“PA”是指功率放大器(Power Amplifier)。
对于头戴显示设备侧，“IMU+地磁”采集头戴显示设备的空间姿态数据发送至“MIPI CSI TO USB3”芯片，双目鱼眼摄像头采集头戴显示设备的空间位置数据也发送至“MIPI CSI TO USB3”芯片，经“MIPI CSI TO USB3”芯片整合之后，转化为USB3.0数据，依次经过图3中的“USB HUB”芯片、“TypeC PD Controller&Demux”芯片以及“TypeC连接器”后，传输给手机的平台芯片。手机平台芯片通过预定算法计算之后，对头戴显示设备进行六自由度追踪，则可以准确的得出用户头部的运动轨迹。
对于电磁手柄侧，九轴传感器(图3未示出)采集电磁手柄的空间姿态数据，该空间姿态数据通过手柄的射频单元(RF)传输给头戴显示设备的射频单元(RF)。手柄的电磁发射单元(电磁)对外发射指示手柄不同空间位置信息的电磁信号数据，该电磁信号数据被头戴显示装置的电磁接收单元接收，并由电磁接收单元发送给MCU。图3中RF和MCU集成在同一个集成芯片上。该RF+MCU集成芯片对电磁手柄的空间姿态数据和电磁信号数据进行整合后，转换为USB2.0数据，依次经过图3中的“USB HUB”芯片和“TypeC连接器”之后，传输给手机的平台芯片。手机平台芯片通过预定算法计算之后，对电磁手柄进行六自由度追踪，则可以准确的得出用户手部的运动轨迹。
这样，头戴显示设备和电磁手柄结合在一起，整套系统完成了对用户头部和手部六自由度追踪，可以增加人们在使用设备时候的沉浸感，并且可以增加更多的游戏和应用的体验。
本发明实施例将头戴显示设备的空间姿态数据和空间位置数据整合成USB3.0数据，将电磁手柄的空间姿态数据和电磁信号数据整合USB2.0数据，采用不同的传输路径传输给手机的平台芯片，保证了数据传输的时效性，手机的平台芯片对头戴显示设备和电磁手柄分别独立进行六自由度追踪，避免了彼此干扰。
<实施例四>
图4为本发明实施例示出的一种头戴显示设备的空间定位方法的流程图，该头戴显示设备工作时连接移动终端，借助移动终端完成数据处理；头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，第一九轴传感器和双目鱼眼摄像头分别连接信号转换芯片；如图4所示，本发明实施例的方法包括：
S410，在头戴显示设备运动时，利用第一九轴传感器采集头戴显示设备的空间姿态数据；
S420，在头戴显示设备运动时，利用双目鱼眼摄像头采集头戴显示设备的空间位置数据；
S430，利用信号转换芯片将头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给移动终端，由移动终端根据第一USB数据对头戴显示设备进行六自由度追踪。
上述步骤S410与步骤S420是并行关系。
为实现头戴显示设备六自由度的定位追踪，本发明实施例在头戴显示设备内既集成有九轴传感器，还集成有双目鱼眼摄像头。
信号转换芯片负责向移动终端传输头戴显示设备的空间姿态数据和空间位置数据，由移动终端通过预定算法计算后，对头戴显示设备进行六自由度追踪，实现对用户头部运动轨迹的准确定位。
在一些具体示例中，头戴显示设备采用USB Type-C接口连接移动终端。头戴显示设备内集成有PD控制芯片，这些具体示例的方法还包括：
利用PD控制芯片与移动终端的平台芯片进行协商，将USB Type-C接口适配为DP交替模式，用于传输两路DP信号和一对USB信号，其中DP信号用于移动终端传输视频信号给头戴显示设备，USB信号用于头戴显示设备传输数据给移动终端。
相比于仅是实现头戴显示设备的三自由度追踪，本发明实施例的方案可以实现头戴显示设备的六自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成对头戴显示设备的空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。
<实施例五>
图5为本发明实施例示出的一种输入设备的空间定位方法的流程图，该输入设备与头戴显示设备一起构成头戴显示系统，头戴显示设备工作时连接移动终端，借助移动终端完成数据处理。头戴显示设备内集成有第一射频单元和电磁接收单元；所述输入设备内集成有第二九轴传感器、第二射频单元和电磁发射单元，第二九轴传感器连接第二射频单元；所述方法包括：
S510，通过配对第一射频单元和第二射频单元，将输入设备与头戴显示设备建立无线连接；
S520，在输入设备运动时，利用第二九轴传感器采集输入设备的空间姿态数据，并利用第二射频单元将输入设备的空间姿态数据传输给第一射频单元；
S530，在输入设备运动时，电磁发射单元随输入设备运动对外发射不同的电磁信号数据，该电磁信号数据携带有指示输入设备空间位置的信息，利用电磁接收单元接收该电磁信号数据；
S540，利用头戴显示设备内的微处理器将输入设备的空间姿态数据和电磁信号数据进行整合，转换为第二USB数据传输给移动终端，由移动终端根据第二USB数据对输入设备进行六自由度追踪。
为上述步骤S520与步骤S530是并行关系。
实现输入设备六自由度的定位追踪，本发明实施例在输入设备内既集成有九轴传感器，还集成有电磁发射单元。为适配输入设备的电磁发射方案，在头戴显示设备内集成了电磁接收单元，电磁接收单元接收电磁发射单元对外发射的电磁信号数据。此外在头戴显示设备和输入设备内还分别集成了一射频单元，通过配对这两个射频单元输入设备与头戴显示设备建立无线连接，并且这两个射频单元还负责传输输入设备的空间姿态数据。
头戴显示设备内的微处理器负责向移动终端传输输入设备的空间姿态数据和电磁信号数据，由移动终端通过预定算法计算之后，对输入设备进行六自由度追踪。
在一些具体示例中，输入设备为电磁手柄，在这些具体示例中可实现对用户手部运动轨迹的准确定位。
相比于仅是实现输入设备的三自由度追踪，本发明实施例的方案可以实现输入设备的六自由度追踪，能够增加人们在使用头戴显示设备时的沉浸感，提升使用体验，且本发明实施例是借助移动终端完成对输入设备的空间定位数据的处理，不会影响到头戴显示设备对显示、声音等数据的传输。
对于方法实施例而言，由于其基本对应于装置实施例，所以相关之处参见装置实施例的部分说明即可。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种头戴显示系统，其特征在于，包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；
所述头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；
在所述头戴显示设备运动时，所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；
所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给所述移动终端，由所述移动终端根据所述第一USB数据对所述头戴显示设备进行六自由度追踪。
2.根据权利要求1所述的头戴显示系统，其特征在于，所述头戴显示系统还包括输入设备，
所述头戴显示设备内还集成有第一射频单元和电磁接收单元；所述输入设备内集成有第二九轴传感器、第二射频单元和电磁发射单元，所述第二九轴传感器连接所述第二射频单元；
所述第一射频单元和所述第二射频单元完成配对后，所述头戴显示设备和所述输入设备建立无线连接；
在所述输入设备运动时，所述第二九轴传感器采集所述输入设备的空间姿态数据，所述第二射频单元将所述输入设备的空间姿态数据传输给所述第一射频单元；所述电磁发射单元随所述输入设备运动对外发射不同的电磁信号数据，所述电磁信号数据携带有指示所述输入设备的空间位置的信息，所述电磁接收单元接收所述电磁信号数据；
所述头戴显示设备内的微处理器将所述输入设备的空间姿态数据和所述电磁信号数据进行整合，转换为第二USB数据传输给所述移动终端，由所述移动终端根据所述第二USB数据对所述输入设备进行六自由度追踪。
3.根据权利要求2所述的头戴显示系统，其特征在于，所述输入设备为电磁手柄。
4.根据权利要求1-3任一项所述的头戴显示系统，其特征在于，所述头戴显示设备采用USB Type-C接口连接所述移动终端。
5.根据权利要求4所述的头戴显示系统，其特征在于，所述头戴显示设备内还集成有PD控制芯片，所述PD控制芯片与所述移动终端的平台芯片进行协商，将USB Type-C接口适配为DP交替模式，用于传输两路DP信号和一对USB信号，其中DP信号用于所述移动终端传输视频信号给所述头戴显示设备，USB信号用于所述头戴显示设备传输数据给所述移动终端。
6.一种头戴显示系统的空间定位方法，所述头戴显示系统包括头戴显示设备，所述头戴显示设备工作时连接移动终端，借助所述移动终端完成数据处理；其特征在于，所述头戴显示设备内集成有第一九轴传感器、双目鱼眼摄像头和一信号转换芯片，所述第一九轴传感器和所述双目鱼眼摄像头分别连接所述信号转换芯片；所述方法包括：
在所述头戴显示设备运动时，利用所述第一九轴传感器采集所述头戴显示设备的空间姿态数据，利用所述双目鱼眼摄像头采集所述头戴显示设备的空间位置数据；
利用所述信号转换芯片将所述头戴显示设备的空间姿态数据和空间位置数据进行整合，转换为第一USB数据传输给所述移动终端，由所述移动终端根据所述第一USB数据对所述头戴显示设备进行六自由度追踪。
7.根据权利要求6所述的头戴显示系统追踪方法，其特征在于，所述头戴显示系统还包括输入设备，所述头戴显示设备内还集成有第一射频单元和电磁接收单元；所述输入设备内集成有第二九轴传感器、第二射频单元和电磁发射单元，所述第二九轴传感器连接所述第二射频单元；所述方法还包括：
通过配对所述第一射频单元和所述第二射频单元，将所述头戴显示设备和所述输入设备建立无线连接；
在所述输入设备运动时，利用所述第二九轴传感器采集所述输入设备的空间姿态数据，并利用所述第二射频单元将所述输入设备的空间姿态数据传输给所述第一射频单元；所述电磁发射单元随所述输入设备运动对外发射不同的电磁信号数据，所述电磁信号数据携带有指示所述输入设备空间位置的信息，利用所述电磁接收单元接收所述电磁信号数据；
利用所述头戴显示设备内的微处理器将所述输入设备的空间姿态数据和所述电磁信号数据进行整合，转换为第二USB数据传输给所述移动终端，由所述移动终端根据所述第二USB数据对所述输入设备进行六自由度追踪。
8.根据权利要求7所述的头戴显示系统追踪方法，其特征在于，所述输入设备为电磁手柄。
9.根据权利要求6-8任一项所述的头戴显示系统追踪方法，其特征在于，所述头戴显示设备采用USB Type-C接口连接所述移动终端。
10.根据权利要求9所述的头戴显示系统追踪方法，其特征在于，所述头戴显示设备内集成有PD控制芯片，所述方法还包括：
利用所述PD控制芯片与所述移动终端的平台芯片进行协商，将USB Type-C接口适配为DP交替模式，用于传输两路DP信号和一对USB信号，其中DP信号用于所述移动终端传输视频信号给所述头戴显示设备，USB信号用于所述头戴显示设备传输数据给所述移动终端。
CN202010142916.6A 2020-03-04 2020-03-04 一种头戴显示系统及其空间定位方法 Pending CN111420391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010142916.6A CN111420391A (zh) 2020-03-04 2020-03-04 一种头戴显示系统及其空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010142916.6A CN111420391A (zh) 2020-03-04 2020-03-04 一种头戴显示系统及其空间定位方法

Publications (1)

Publication Number Publication Date
CN111420391A true CN111420391A (zh) 2020-07-17

Family

ID=71547663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142916.6A Pending CN111420391A (zh) 2020-03-04 2020-03-04 一种头戴显示系统及其空间定位方法

Country Status (1)

Country Link
CN (1) CN111420391A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112107366A (zh) * 2020-07-23 2020-12-22 常州锦瑟医疗信息科技有限公司 一种混合现实超声导航系统
JP7423781B2 (ja) 2021-08-18 2024-01-29 株式会社ハシラス Ｖｒアミューズメントプログラムおよび装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互系统及方法
CN106507092A (zh) * 2016-11-29 2017-03-15 歌尔科技有限公司 摄像装置及其图像处理方法、虚拟现实设备
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
WO2018014435A1 (zh) * 2016-07-19 2018-01-25 深圳纳德光学有限公司 一种头戴显示器及其画中画显示方法和系统
CN207301974U (zh) * 2017-06-26 2018-05-01 浙江大华技术股份有限公司 一种头戴式虚拟现实设备
CN109358754A (zh) * 2018-11-02 2019-02-19 北京盈迪曼德科技有限公司 一种混合现实头戴显示系统
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
US20190081494A1 (en) * 2017-09-12 2019-03-14 Acer Incorporated Head-mounted display system
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109655789A (zh) * 2018-12-26 2019-04-19 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位追踪装置、方法
CN109753155A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 头戴显示设备、其驱动方法及虚拟现实显示装置
CN209373535U (zh) * 2018-11-02 2019-09-10 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
WO2020024116A1 (zh) * 2018-07-31 2020-02-06 华为技术有限公司 一种接口配置方法、终端设备及接口

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014435A1 (zh) * 2016-07-19 2018-01-25 深圳纳德光学有限公司 一种头戴显示器及其画中画显示方法和系统
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互系统及方法
CN106507092A (zh) * 2016-11-29 2017-03-15 歌尔科技有限公司 摄像装置及其图像处理方法、虚拟现实设备
CN106768361A (zh) * 2016-12-19 2017-05-31 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和系统
CN107153369A (zh) * 2017-05-23 2017-09-12 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
CN207301974U (zh) * 2017-06-26 2018-05-01 浙江大华技术股份有限公司 一种头戴式虚拟现实设备
US20190081494A1 (en) * 2017-09-12 2019-03-14 Acer Incorporated Head-mounted display system
WO2020024116A1 (zh) * 2018-07-31 2020-02-06 华为技术有限公司 一种接口配置方法、终端设备及接口
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN109358754A (zh) * 2018-11-02 2019-02-19 北京盈迪曼德科技有限公司 一种混合现实头戴显示系统
CN209373535U (zh) * 2018-11-02 2019-09-10 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN109655789A (zh) * 2018-12-26 2019-04-19 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位追踪装置、方法
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN109753155A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 头戴显示设备、其驱动方法及虚拟现实显示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戚玉强等: "传感器与检测技术 第4版", 北京航空航天大学出版社, pages: 164 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112107366A (zh) * 2020-07-23 2020-12-22 常州锦瑟医疗信息科技有限公司 一种混合现实超声导航系统
JP7423781B2 (ja) 2021-08-18 2024-01-29 株式会社ハシラス Ｖｒアミューズメントプログラムおよび装置

Similar Documents

Publication Publication Date Title
EP2359606B1 (en) Tracking system calibration with minimal user input
US9317108B2 (en) Hand-held wireless electronic device with accelerometer for interacting with a display
EP2359223B1 (en) Correcting angle error in a tracking system
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
CN110327048B (zh) 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
EP2435784A1 (en) Tracking system calibration using object position and orientation
US9989924B2 (en) Smart watch and motion gaming system
JP7316282B2 (ja) 拡張現実のためのシステムおよび方法
WO2017005130A1 (zh) 一种测量人体在运动中消耗能量的方法、装置及计步器
Keir et al. Gesture-recognition with non-referenced tracking
US20210263592A1 (en) Hand and totem input fusion for wearable systems
CN111420391A (zh) 一种头戴显示系统及其空间定位方法
WO2023016283A1 (zh) 头戴式设备和外设的时间同步方法、装置
US11994676B2 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements
TWI476733B (zh) 運動軌跡重建方法及其裝置
CN114935975A (zh) 虚拟现实的多用户交互方法、电子设备和可读存储介质
CN211554996U (zh) 定位装置、定位系统及虚拟现实系统
US11486961B2 (en) Object-localization and tracking using ultrasonic pulses with reflection rejection
Karimi et al. A wearable 3D motion sensing system integrated with a Bluetooth smart phone application: A system level overview
CN111514552A (zh) 一种可检测飞行轨迹的智能排球
Kazempourradi et al. Wireless controller for interactive virtual reality games
TW201103001A (en) Moving trajectory reconstruction system and a signal input apparatus
Jiang et al. Low-Cost VR System Based on Wireless Accelerometer Sensor
Islam et al. A sensor array system for the estimation of 3D body and parts movements
CN111380500A (zh) 一种模拟手术刀空间定位方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination