CN109613983A - 头戴显示系统中手柄的定位方法、装置和头戴显示系统 - Google Patents

头戴显示系统中手柄的定位方法、装置和头戴显示系统 Download PDF

Info

Publication number
CN109613983A
CN109613983A CN201811599896.4A CN201811599896A CN109613983A CN 109613983 A CN109613983 A CN 109613983A CN 201811599896 A CN201811599896 A CN 201811599896A CN 109613983 A CN109613983 A CN 109613983A
Authority
CN
China
Prior art keywords
handle
frequency
equipment
less radio
helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811599896.4A
Other languages
English (en)
Inventor
张秀志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201811599896.4A priority Critical patent/CN109613983A/zh
Publication of CN109613983A publication Critical patent/CN109613983A/zh
Priority to PCT/CN2019/128488 priority patent/WO2020135539A1/zh
Priority to US17/417,814 priority patent/US11294189B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00Details of, or arrangements associated with, antennas
    • H01Q1/27Adaptation for use in or on movable bodies
    • H01Q1/273Adaptation for carrying or wearing by persons or animals
    • H01Q1/276Adaptation for carrying or wearing by persons or animals for mounting on helmets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种头戴显示系统中手柄的定位方法、装置和头戴显示系统,方法包括:利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作;利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位,其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。本发明实施例通过电磁定位,降低了手柄数据抖动,提高了手柄空间定位的精度。

Description

头戴显示系统中手柄的定位方法、装置和头戴显示系统
技术领域
本发明涉及头戴显示技术领域,具体涉及一种头戴显示系统中手柄的定位方法、装置和头戴显示系统。
背景技术
随着头戴显示技术的逐步成熟,围绕虚拟显示设备的各种技术也得到了快速发展,这些技术包括虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,简称为AR)、混合现实(Mix Reality,简称为MR)等。其中,VR是让用户完全沉浸在虚拟的世界里,AR是将虚拟信息加在真实环境中,来增强真实环境,MR则是将真实世界和虚拟世界混合在一起,来产生新的可视化环境,新的可视化环境中同时包含了物理实体与虚拟信息。
在上述VR、AR或者MR系统中,手柄的定位跟踪基本采用光学方案,为了解决容易受到遮挡问题并实现6自由度空间定位,往往是通过布置多个摄像头或多个光塔,同时在HMD(Head Mount Display,头戴显示器)和手柄上添加多个特征点以最大限度的减小盲区,但受制于视场角等影响不能从根本上解决盲区问题,手部6自由度运动的空间定位实现困难,同时由于摄像头的空间定位数据频率较低,手柄端的延时较大,在视场角边缘区域,精度较差。
发明内容
本发明提供了一种头戴显示系统中手柄的定位方法、装置和头戴显示系统,避免了光学方案容易受遮挡的技术问题,并且基于手柄端和头戴设备端的电磁信号,实现电磁定位,有效降低了手柄端位姿数据抖动,提高了手柄空间定位的精度。
根据本申请的一个方面,提供了一种头戴显示系统中手柄的定位方法,包括:
利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作;
利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;
根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位,其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
根据本申请的另一个方面,提供了一种头戴显示系统中手柄的定位装置,包括:
配对模块,适于利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作;
电磁定位模块,适于利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
根据本申请的又一个方面,提供了一种头戴显示系统,包括:头戴设备、第一手柄和第二手柄,所述头戴设备中包括如本申请另一个方面所述的头戴显示系统中手柄的定位装置。
本申请实施例的头戴显示系统中手柄的定位方法、装置和头戴显示系统,头戴显示系统中的头戴设备与第一手柄和第二手柄建立无线射频配对,利用头戴设备上的电磁波接收器接收第一手柄以及第二手柄分别发射的电磁波,根据感应的电动势,计算得到第一手柄、第二手柄对应的位置平移信息和方向旋转信息,完成定位,从而利用电磁定位的方案,解决了光学定位方案中容易受到遮挡、定位精度差的问题,并且,降低了手柄端6自由度数据的延时,提高了各手柄的空间定位的精度。
附图说明
图1是本发明一个实施例的头戴显示系统中手柄的定位方法的流程图;
图2是本发明一个实施例的配对流程示意图;
图3是本发明一个实施例的头戴显示系统中手柄的定位装置的流程图;
图4是本发明一个实施例的头戴显示系统的结构示意图;
图5是本发明一个实施例的头戴显示系统的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的设计构思在于:针对现有技术中,头戴显示系统的手柄的定位大多采用光学比如利用摄像头或设置光塔进行定位的技术,该技术容易受遮挡难以实现手部6自由度运动的空间定位,并且存在视场角问题,定位精度较差,本发明实施例提出一种头戴显示系统中手柄的定位方法、装置和头戴显示系统,通过在双手柄中安装电磁波发射器,头戴端安装电磁波接收器,根据手柄端发射的电磁波信号计算出各手柄相对于头戴端的空间位置,从而完成定位,一方面,通过电磁定位,避免了光学方案容易受遮挡,难以实现手部6自由度运动的定位问题,提高6DOF数据精度。另一方面,各手柄均设置电磁波发射器,相对于其他单手柄的电磁定位,满足了双手柄场景的定位需求,适合大多数游戏应用。
图1是本发明一个实施例的头戴显示系统中手柄的定位方法的流程图,参见图1,本实施例的头戴显示系统中手柄的定位方法,包括下列步骤:
步骤S101,利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄无线射频从设备配对的操作;
步骤S102,利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;
步骤S103,根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位,其中,位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
由图1所示可知,头戴显示系统中手柄的定位方法,利用头戴设备与两个手柄建立配对连接,并通过头戴设备接收手柄内的电磁波发射器发射的电磁波,基于接收的电磁波计算出手柄相对于头戴设备的位置和方向,完成手柄的定位。从而,基于电磁定位,避免了定位过程中遮挡物遮挡的问题,并且两个手柄中均设置电磁波发射器,有利于提高手柄的6自由度运动的定位精度。
如前述,本实施例的手柄包括第一手柄和第二手柄,两个手柄可以分别佩戴在佩戴者的左手和右手上,两个手柄的设计满足了PC(personal computer,个人计算机)上大部分双手柄游戏应用的需求。而为了实现对双手柄利用电磁波定位,需要解决2个发射器1个接收器设计中发射器的相互干扰问题。
下面结合图2对本发明实施例采取的解决发射器之间相互干扰的技术手段进行说明。
总的来说,本发明实施例是通过自动控制两个发射器工作在不同的发射频率(即跳频)来消除相互之间的干扰,并通过不同的设备号以及数据传输的延时不同来区分两个手柄。
在头戴和手柄开始交互之前,配对是必经过程,这里先对配对状态进行说明。具体的,本发明实施例利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作。
参见图2,需要说明的是,由于第一手柄和第二手柄中均设置有无线射频从设备,两个手柄的结构基本相同,所以图2中的无线射频从设备既可以是第一手柄中的无线射频从设备,也可以是第二手柄中的无线射频从设备,这里以第一手柄为例进行说明,无线配对流程如下:
无线射频从设备执行步骤S201,读取固定配对频点;
需要说明的是,本实施例中预先从2.4G频段的多个不同的频点中选择N(比如N=5)个频点,将这N个频点作为固定的配对使用的配对频点存储在头戴和手柄的程序中,手柄和头戴进入配对状态以后首先读取配对频点以进行配对。
无线射频从设备,执行步骤S202,选择一个配对频点发送配对请求,
例如,第一手柄的无线射频从设备从5个固定的配对频点中选择一个通道发送配对请求,配对请求中包含从设备的设备地址。
需要说明的是,本实施例的具体的配对过程是:头戴设备进入配对状态以后,也会在5个固定的配对频点中选择一个通道侦测配对请求,如果4ms没有侦听到配对请求,会跳到下一个配对通道继续侦测4ms,本实施例中设置手柄在固定通道每2ms发送一次中断请求,所以在5个固定通道上,最多花费20ms,头戴端可以侦测到配对请求。手柄和头戴完成工作通道同步以后,按照4ms的跳频逻辑继续完成配对流程,由此,本发明实施例具有很好的抗干扰能力。
无线射频主设备,执行步骤S203,发送配对响应,
头戴设备上的无线射频主设备接收第一手柄根据配对请求保存从设备的设备地址到本地缓存(Flash区域)并向第一手柄发送配对响应,配对响应中包括:无线射频主设备的设备地址、跳频频点列表以及唯一标识从设备的设备号。这里需要说明的是,为了提高数据通讯时的抗干扰能力,本发明实施例的头戴设备预先确定包含2.4G频段的多个不同频点的跳频频点列表,用于后续正常数据通讯时跳频使用。
这里的,确定包含2.4G频段的多个不同的频点的跳频频点列表包括:将2.4G频段的频点划分为多个分组,各分组中选取一个不存在干扰的频点作为中心频点并保存,将各分组的中心频点作为跳频频点按顺序(比如频点由小到大)排列得到跳频频点列表。比如将2.4G频段的80个频点(配对频点除外)划分为5个分组,每个分组中选取一个干净的频点作为发射信号的载波频率,即中心频点,将5个分组的5个中心频点作为后续数据通讯时跳频的频点,按顺序排列得到跳频频点列表。
这里的设备号是主设备为了区分两个从设备为其分配的标识,比如第一手柄中的从设备的设备号为1,第二手柄中的从设备的设备号为2。通过该设备号可以区分是哪个手柄,进而可以自动控制两个手柄延时不同的时间向头戴发送数据,比如,第一手柄延时100us,第二手柄延时300us,以此避免两个手柄间的数据干扰。
无线射频从设备,执行步骤S204,发送确认信息,
无线射频从设备收到配对响应之后,保存配对响应中的配对信息,并发送确认消息即,ACK消息给无线射频主设备。
无线射频主设备,接收第一手柄保存配对信息后发送的确认信息,确定与第一手柄配对成功。
需要说明的是,本实施例中,配对顺序进行,也就是说两个手柄与头戴的配对不是同时完成的,头戴设备上的无线射频主设备可以先与第一手柄的无线射频从设备进行配对,并在配对之后再与第二手柄的无线射频从设备进行配对。当然,头戴设备上的无线射频主设备可以先与第二手柄的无线射频从设备进行配对,并在配对之后再与第一手柄的无线射频从设备进行配对。配对的具体过程参见前述说明。
至此,无线射频主设备与无线射频从设备成功配对,配对成功以后,每个从设备有一个设备号,通过该设备号头戴可以区分是哪个手柄,进而可以自动控制两个手柄延时不同的时间发送数据,避免两个手柄间的数据干扰,实现了对双手柄准确定位的支持,提升了产品的竞争力。
实际使用过程中,可能存在多套设备同时工作的情况,导致设备相互干扰,对此,头戴设备判断接收的电磁波之间是否存在干扰;如果存在干扰,则无线射频主设备分别向第一手柄的无线射频从设备和第二手柄的无线射频从设备发送更新命令(比如将当前的工作频率由10切换为20),以分别更新第一手柄和第二手柄的电磁波发射器的工作频率。
也就是说,在该种情况下,通过头戴设备的电磁波接收器这一端来判断电磁信号的干扰,如果存在干扰或如果存在较大干扰,通过无线射频通信链路发送电磁波发射频率的命令到手柄端,手柄端在收到命令后更新电磁波发射器的工作频率,从而提高6DOF(Degree Of Freedom,自由度)数据的精度。
由上可知,本实施例中,通过在头戴设备与手柄之间建立无线射频配对连接,并在头戴设备中检测两个电磁波发射器的电磁信号是否存在干扰,如果存在干扰,经配对成功的无线射频通道通知手柄端,切换电磁波发射器的工作频率,控制两个手柄工作在不同的发射频率,降低了相互干扰,解决了2个发射器1个接收器的设计中发射器相互干扰问题,提高了定位精度。
在本发明的一个实施例中,为保证6DOF的精度和性能,除了使用电磁波定位手柄之外,还利用惯性传感器采集的数据对手柄定位数据进行补偿。也就是说,本实施例中,第一手柄和第二手柄上还安装有IMU传感器,即惯性传感器,用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动,并且IMU传感器的数据频率要求在200Hz以上,而为了实现将手柄的IMU数据及时、准确传输至头戴设备,本发明实施例的头戴设备的无线射频主设备与手柄的无线射频从设备组成的无线射频RF通信系统采用私有协议,保证第一手柄以及第二手柄中每次数据传输的延时固定且不同(比如,第一手柄延时100us,第二手柄延时300us),以此降低数据之间的干扰,提高定位精度。
无线射频RF通信系统的通信过程大致是:无线射频主设备定时发出一次广播信号,接收配对成功的第一手柄的无线射频从设备和第二手柄的无线射频从设备根据广播信号返回态数据,当无线射频主设备在预设时间段内未收到无线射频从设备返回的姿态数据时,无线射频主设备发出二次广播信号,二次广播信号中包括返回失败的无线射频从设备的设备号,以进行数据重传。
这里的,接收配对成功的第一手柄的无线射频从设备和第二手柄的无线射频从设备根据广播信号返回的数据包括:接收配对成功的第一手柄返回的发射电磁波时的时间戳、生成的姿态数据以及同步时间戳,以及接收配对成功的第二手柄返回的发射电磁波时的时间戳、生成的姿态数据以及姿态数据的时间戳。注:第一手柄或第二手柄在发射电磁波时为电磁波数据添加时间戳,并在根据采集的传感器数据生成IMU数据时为IMU数据添加时间戳,通过时间戳的形式实现IMU数据与电磁波数据同步。
需要说明的是,本实施例中对于每个数据帧,头戴设备发出2次广播信号,广播信号中包含需要返回数据的从设备号。第一次广播要求所有从设备返回数据。第二次广播,则仅要求第一次发送失败的从设备返回姿态数据,以节省功耗,提高数据处理效率。一个实施例中,每个广播信号含有10个Bytes(字节)的信息,包含需要回复数据的从设备号,系统同步信息,系统控制命令等信息。手柄端返回的响应包含32Bytes的数据,包含IMU数据,同步时间戳、电磁数据时间戳等,注:同步时间戳是后续计算手柄位置和姿态时,用于同步手柄的电磁数据和IMU数据。
图3是本发明一个实施例的头戴显示系统中手柄的定位装置的流程图,参见图3,本实施例的头戴显示系统中手柄的定位装置300包括:
配对模块301,适于利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄无线射频从设备配对的操作;
电磁定位模块302,适于利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
在本发明的一个实施例中,配对模块301具体适于,利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄的无线射频从设备从预设的N个配对频点中选择一个后发送的配对请求,配对请求包含从设备的设备地址;根据所述配对请求保存从设备的设备地址到本地缓存中,并向所述第一手柄或所述第二手柄发送配对响应,配对响应中包括:主设备的设备地址、跳频频点列表以及唯一标识从设备的设备号,其中,跳频频点列表包含2.4G频段的多个用于数据通讯的跳频频点;利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄保存配对信息后发送的确认信息,确定与第一手柄或所述第二手柄配对成功。
在本发明的一个实施例中,头戴显示系统中手柄的定位装置300还包括:跳频模块,用于利用头戴设备判断接收的电磁波之间是否存在干扰,如果存在干扰,则无线射频主设备分别向所述第一手柄的无线射频从设备和所述第二手柄的无线射频从设备发送更新命令,以分别更新所述第一手柄和所述第二手柄的电磁波发射器的工作频率。
在本发明的一个实施例中,头戴显示系统中手柄的定位装置300还包括补偿模块,用于通过无线射频主设备定时发出一次广播信号,接收配对成功的第一手柄的无线射频从设备和第二手柄的无线射频从设备根据广播信号返回的数据;当无线射频主设备在预设时间段内未收到无线射频从设备返回的数据时,无线射频主设备发出二次广播信号,二次广播信号中包括返回失败的无线射频从设备的设备号,以进行数据重传。
在本发明的一个实施例中,补偿模块,具体用于接收配对成功的第一手柄返回的发射电磁波时的时间戳,生成的姿态数据以及姿态数据的时间戳;接收配对成功的第二手柄返回的发射电磁波时的时间戳,生成的姿态数据以及姿态数据的时间戳。
另外,本发明实施例中还提供了一种头戴显示系统,如图4所示头戴设备HMD中设置有RF(2.4G无线射频芯片,即,用作无线射频主设备)以及电磁波接收器EMF Rx(EMF是指电磁场辐射Electromagnetic Fields,R表示接收,Receive,x表示交叉)。电磁波接收器EMFRx通过USB/SPI接口与处理器连接,处理器中运行有电磁定位算法。电磁波接收器EMF Rx通过电磁链路(即图4中的EMF Link)即磁场接收第一手柄、第二手柄的电磁波发射器(即图4中的EMF Tx)发射的电磁波。
头戴设备HMD中设置的RF(2.4G无线射频芯片)通过射频传输链路即RF Link与第一手柄中的RF(2.4G无线射频芯片,用作从设备)进行无线通信并通过射频传输链路即RFLink与第二手柄中的RF(2.4G无线射频芯片,用作从设备)进行通信。另外,如图4所示,本实施例的第一手柄和第二手柄中设置有IMU传感器(即图4中的IMU)采集手柄的姿态数据。
在一个实施例中,参见图5,头戴显示系统500包括头戴设备501、第一手柄502和第二手柄503,头戴设备501中包括上述的头戴显示系统中手柄的定位装置。
具体的,上述头戴显示系统中手柄的定位装置应用于头戴设备,由头戴设备中多个模块组成并配合实现对手柄的定位。具体的,头戴设备中包括无线射频主设备,电磁波接收器、USB/SPI接口以及电磁定位模块,无线射频主设备执行与第一手柄的无线射频从设备和第二手柄无线射频从设备配对的操作,电磁波接收器接收第一手柄以及第二手柄发射的电磁波并生成感应电动势,将感应电动势通过USB或者SPI接口发送给电磁定位模块,电磁定位模块根据感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位,其中,位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息,即手部6自由度的运动信息。
如图5所示,头戴设备501中还设置有运动传感器(图5中的摄像头以及IMU传感器)、头部运动计算模块、数据融合模块以及显示控制模块,头部运动计算模块根据运动传感器采集的运动数据,确定出佩戴者头部运动时的位置平移信息和方向旋转信息;数据融合模块,利用数据融合算法,将佩戴者头部运动的位置平移信息和方向旋转信息以及佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息进行数据融合处理得到融合处理结果;显示控制模块,根据融合处理结果控制头戴设备的显示画面;由此,通过USB(Universal Serial Bus,通用串行总线)或SPI(Serial Peripheral Interface,串行外设接口)接口读取电磁数据和手柄IMU数据,计算电磁波发射器和电磁波接收器之间的相对位置,并在头戴设备上产生6DOF手部、头部数据融合显示。
参见图5,本实施例的第一手柄502和第二手柄503中还设置有用于采集手柄姿态数据的惯性测量单元IMU,用于采集手柄的IMU数据,以对电磁数据进行补偿,提高手柄6自由度定位精度。
综上所述,本发明实施例的头戴显示系统中手柄的定位方法、装置和头戴显示系统,避免了光学方案容易受遮挡的技术问题,并且基于手柄端和头戴设备端的电磁信号,实现电磁定位,有效降低手柄端位姿数据抖动,提高了手柄空间定位的精度。
本发明的另一个实施例提供一种计算机可读存储介质,计算机可读存储介质存储计算机指令,计算机指令使所述计算机执行上述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,正如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种头戴显示系统中手柄的定位方法,其特征在于,包括:
利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作;
利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;
根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位,
其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
2.根据权利要求1所述的方法,其特征在于,利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作包括:
利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄的无线射频从设备从预设的N个配对频点中选择一个后发送的配对请求,配对请求包含从设备的设备地址;
根据所述配对请求保存从设备的设备地址到本地缓存中并向所述第一手柄或所述第二手柄发送配对响应,配对响应中包括:主设备的设备地址、跳频频点列表以及唯一标识从设备的设备号,其中,跳频频点列表包含2.4G频段的多个用于数据通讯的跳频频点;
利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄保存配对信息后发送的确认信息,确定与第一手柄或所述第二手柄配对成功。
3.根据权利要求2所述的方法,其特征在于,该方法还包括:
头戴设备判断接收的电磁波之间是否存在干扰;
如果存在干扰,则无线射频主设备分别向所述第一手柄的无线射频从设备和所述第二手柄的无线射频从设备发送更新命令,以分别更新所述第一手柄和所述第二手柄的电磁波发射器的工作频率。
4.根据权利要求1所述的方法,其特征在于,该方法还包括:
通过无线射频主设备定时发出一次广播信号,接收配对成功的第一手柄的无线射频从设备和第二手柄的无线射频从设备根据广播信号返回的数据;
当无线射频主设备在预设时间段内未收到无线射频从设备返回的数据时,无线射频主设备发出二次广播信号,二次广播信号中包括返回失败的无线射频从设备的设备号,以进行数据重传。
5.根据权利要求4所述的方法,其特征在于,接收配对成功的第一手柄的无线射频从设备和第二手柄的无线射频从设备根据广播信号返回的数据包括:
接收配对成功的第一手柄返回的发射电磁波时的时间戳,生成的姿态数据以及姿态数据的时间戳;
接收配对成功的第二手柄返回的发射电磁波时的时间戳,生成的姿态数据以及姿态数据的时间戳。
6.一种头戴显示系统中手柄的定位装置,其特征在于,包括:
配对模块,适于利用头戴显示系统中头戴设备上的无线射频主设备执行与第一手柄的无线射频从设备和第二手柄的无线射频从设备配对的操作;
电磁定位模块,适于利用头戴设备上的电磁波接收器接收所述第一手柄以及所述第二手柄发射的电磁波并生成感应电动势;根据所述感应电动势,分别计算得到第一手柄对应的位姿信息以及第二手柄对应的位姿信息完成定位其中,所述位姿信息包括佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息。
7.根据权利要求6所述的装置,其特征在于,
所述配对模块具体适于,利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄的无线射频从设备从预设的N个配对频点中选择一个后发送的配对请求,配对请求包含从设备的设备地址;根据所述配对请求保存从设备的设备地址到本地缓存中,并向所述第一手柄或所述第二手柄发送配对响应,配对响应中包括:主设备的设备地址、跳频频点列表以及唯一标识从设备的设备号,其中,跳频频点列表包含2.4G频段的多个用于数据通讯的跳频频点;利用头戴设备上的无线射频主设备接收所述第一手柄或所述第二手柄保存配对信息后发送的确认信息,确定与第一手柄或所述第二手柄配对成功。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:跳频模块,用于利用头戴设备判断接收的电磁波之间是否存在干扰,如果存在干扰,则无线射频主设备分别向所述第一手柄的无线射频从设备和所述第二手柄的无线射频从设备发送更新命令,以分别更新所述第一手柄和所述第二手柄的电磁波发射器的工作频率。
9.一种头戴显示系统,其特征在于,包括:头戴设备、第一手柄和第二手柄,所述头戴设备中包括如权利要求6或7所述的头戴显示系统中手柄的定位装置。
10.根据权利要求9所述的头戴显示系统,其特征在于,所述头戴设备中还设置有运动传感器、头部运动计算模块、数据融合模块以及显示控制模块,
所述头部运动计算模块根据运动传感器采集的运动数据,确定出佩戴者头部运动时的位置平移信息和方向旋转信息;
所述数据融合模块,利用数据融合算法,将佩戴者头部运动的位置平移信息和方向旋转信息以及佩戴者佩戴第一手柄或第二手柄运动时的位置平移信息和方向旋转信息进行数据融合处理得到融合处理结果;
所述显示控制模块,根据融合处理结果控制头戴设备的显示画面;
所述第一手柄和所述第二手柄中还设置有用于采集手柄姿态数据的惯性测量单元IMU。
CN201811599896.4A 2018-12-26 2018-12-26 头戴显示系统中手柄的定位方法、装置和头戴显示系统 Pending CN109613983A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811599896.4A CN109613983A (zh) 2018-12-26 2018-12-26 头戴显示系统中手柄的定位方法、装置和头戴显示系统
PCT/CN2019/128488 WO2020135539A1 (zh) 2018-12-26 2019-12-26 头戴显示系统中手柄的定位方法、装置和头戴显示系统
US17/417,814 US11294189B2 (en) 2018-12-26 2019-12-26 Method and device for positioning handle in head mounted display system and head mounted display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811599896.4A CN109613983A (zh) 2018-12-26 2018-12-26 头戴显示系统中手柄的定位方法、装置和头戴显示系统

Publications (1)

Publication Number Publication Date
CN109613983A true CN109613983A (zh) 2019-04-12

Family

ID=66011640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811599896.4A Pending CN109613983A (zh) 2018-12-26 2018-12-26 头戴显示系统中手柄的定位方法、装置和头戴显示系统

Country Status (3)

Country Link
US (1) US11294189B2 (zh)
CN (1) CN109613983A (zh)
WO (1) WO2020135539A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN111174683A (zh) * 2020-01-07 2020-05-19 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质
WO2020135539A1 (zh) * 2018-12-26 2020-07-02 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN111420391A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位方法
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及系统
CN111897394A (zh) * 2020-06-28 2020-11-06 北京凌宇智控科技有限公司 一种设备配对方法、配对设备及设备配对系统
CN112378395A (zh) * 2020-10-26 2021-02-19 歌尔智能科技有限公司 从设备定位方法和控制方法、虚拟现实设备及可穿戴设备
CN113138666A (zh) * 2021-04-15 2021-07-20 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
CN113747370A (zh) * 2021-08-10 2021-12-03 青岛小鸟看看科技有限公司 数据传输方法、装置、设备及系统
CN114740967A (zh) * 2021-01-07 2022-07-12 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
CN114973042A (zh) * 2022-05-13 2022-08-30 歌尔股份有限公司 一种vr手柄位置侦测方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973397B (zh) * 2020-07-10 2023-09-08 北京凌宇智控科技有限公司 一种设备配对方法、配对设备及设备配对系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2353021B1 (en) * 2008-11-19 2014-03-26 Elbit Systems Ltd. A system and a method for mapping a magnetic field
CN103797864A (zh) * 2011-09-13 2014-05-14 北欧半导体公司 从设备和主设备间的无线数据通信
CN103856629A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 信息提供方法及其移动终端
CN106200981A (zh) * 2016-07-21 2016-12-07 北京小鸟看看科技有限公司 一种虚拟现实系统及其无线实现方法
US20170205880A1 (en) * 2015-02-20 2017-07-20 Sony Interactive Entertainment Inc. Magnetic tracking of glove interface object
CN107360633A (zh) * 2017-06-05 2017-11-17 北京小鸟看看科技有限公司 虚拟现实系统的配对连接方法、设备及虚拟现实系统
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN107592657A (zh) * 2017-07-29 2018-01-16 深圳市盛路物联通讯技术有限公司 一种频点切换的控制方法、及终端设备
CN108170297A (zh) * 2017-09-11 2018-06-15 南京睿悦信息技术有限公司 实时六自由度vr/ar/mr设备定位方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130265300A1 (en) * 2011-07-03 2013-10-10 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US20150318874A1 (en) * 2014-04-30 2015-11-05 Aliphcom Pairing devices using acoustic signals
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US10275025B2 (en) * 2015-06-14 2019-04-30 Sony Interactive Entertainment Inc. Gloves that include haptic feedback for use with HMD systems
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
KR20170016253A (ko) * 2015-08-03 2017-02-13 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10182325B2 (en) * 2015-11-23 2019-01-15 Anthony Peter Dobaj Movement control system
CN105929367A (zh) * 2016-04-28 2016-09-07 乐视控股(北京)有限公司 一种手柄的定位方法、装置及系统
WO2018005690A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods for assisting virtual gestures based on viewing frustum
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互系统及方法
US20190369752A1 (en) * 2018-05-30 2019-12-05 Oculus Vr, Llc Styluses, head-mounted display systems, and related methods
CN109633632B (zh) 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备,手柄及其定位追踪方法
CN109613983A (zh) * 2018-12-26 2019-04-12 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2353021B1 (en) * 2008-11-19 2014-03-26 Elbit Systems Ltd. A system and a method for mapping a magnetic field
CN103797864A (zh) * 2011-09-13 2014-05-14 北欧半导体公司 从设备和主设备间的无线数据通信
CN103856629A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 信息提供方法及其移动终端
US20170205880A1 (en) * 2015-02-20 2017-07-20 Sony Interactive Entertainment Inc. Magnetic tracking of glove interface object
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN106200981A (zh) * 2016-07-21 2016-12-07 北京小鸟看看科技有限公司 一种虚拟现实系统及其无线实现方法
CN107360633A (zh) * 2017-06-05 2017-11-17 北京小鸟看看科技有限公司 虚拟现实系统的配对连接方法、设备及虚拟现实系统
CN107592657A (zh) * 2017-07-29 2018-01-16 深圳市盛路物联通讯技术有限公司 一种频点切换的控制方法、及终端设备
CN108170297A (zh) * 2017-09-11 2018-06-15 南京睿悦信息技术有限公司 实时六自由度vr/ar/mr设备定位方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135539A1 (zh) * 2018-12-26 2020-07-02 青岛小鸟看看科技有限公司 头戴显示系统中手柄的定位方法、装置和头戴显示系统
US11294189B2 (en) 2018-12-26 2022-04-05 Qingdao Pico Technology Co., Ltd. Method and device for positioning handle in head mounted display system and head mounted display system
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN111174683B (zh) * 2020-01-07 2021-11-30 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质
CN111174683A (zh) * 2020-01-07 2020-05-19 青岛小鸟看看科技有限公司 手柄定位方法、头戴显示设备以及存储介质
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及系统
CN111420391A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位方法
CN111427447B (zh) * 2020-03-04 2023-08-29 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及系统
CN111897394A (zh) * 2020-06-28 2020-11-06 北京凌宇智控科技有限公司 一种设备配对方法、配对设备及设备配对系统
CN111897394B (zh) * 2020-06-28 2022-08-05 北京凌宇智控科技有限公司 一种设备配对方法、配对设备及设备配对系统
CN112378395B (zh) * 2020-10-26 2023-08-08 歌尔智能科技有限公司 从设备定位方法和控制方法、虚拟现实设备及可穿戴设备
CN112378395A (zh) * 2020-10-26 2021-02-19 歌尔智能科技有限公司 从设备定位方法和控制方法、虚拟现实设备及可穿戴设备
CN114740967A (zh) * 2021-01-07 2022-07-12 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
WO2022148224A1 (zh) * 2021-01-07 2022-07-14 华为技术有限公司 手柄校正方法、电子设备、芯片及可读存储介质
CN113138666A (zh) * 2021-04-15 2021-07-20 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
CN113747370A (zh) * 2021-08-10 2021-12-03 青岛小鸟看看科技有限公司 数据传输方法、装置、设备及系统
WO2023016157A1 (zh) * 2021-08-10 2023-02-16 青岛小鸟看看科技有限公司 数据传输方法、装置、设备及系统
US11800542B2 (en) * 2021-08-10 2023-10-24 Qingdao Pico Technology Co., Ltd. Data transmission method, apparatus, device and system
CN114973042A (zh) * 2022-05-13 2022-08-30 歌尔股份有限公司 一种vr手柄位置侦测方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2020135539A1 (zh) 2020-07-02
US20220043270A1 (en) 2022-02-10
US11294189B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN109613983A (zh) 头戴显示系统中手柄的定位方法、装置和头戴显示系统
CN110140099B (zh) 用于跟踪控制器的系统和方法
CN106768361B (zh) 与vr头戴设备配套的手柄的位置追踪方法和系统
JP5067850B2 (ja) システム、頭部装着型表示装置、その制御方法
CN109633632A (zh) 一种头戴显示设备,手柄及其定位追踪方法
WO2016054773A1 (zh) 目标设备的定位方法和移动终端
JP2022533509A (ja) 人工現実システムにおける身体姿勢トラッキングのための磁気センサーサンプリング周波数の同期
WO2018075270A1 (en) Generating and displaying a computer generated image on a future pose of a real world object
NZ787464A (en) Electromagnetic tracking with augmented reality systems
CN109655789A (zh) 一种头戴显示系统及其空间定位追踪装置、方法
TWI606742B (zh) 互動式通訊系統、方法及其穿戴式裝置
TW202241160A (zh) 用於自動觸發測距之系統及方法
JP4991515B2 (ja) 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム
US20210157396A1 (en) System and method related to data fusing
TW202004424A (zh) 用於追蹤和渲染對應於實體對象的虛擬對象的追蹤系統以及用於其的操作方法
CN111782064A (zh) 一种运动式无线定位的6dof追踪系统
CN113190113A (zh) 超宽带定位的虚拟现实系统及实现位置和方向的定位方法
US6765498B1 (en) Embedded digitization system
CN108738074B (zh) 一种信号传输控制方法、装置及系统
CN113259843A (zh) 受控设备的控制方法、装置、系统、终端设备及uwb组件
JP2016129316A (ja) 通信装置、その制御方法、プログラム、および通信システム
WO2023197831A1 (zh) 一种头戴式终端设备及其追踪方法和装置
EP3910448B1 (en) Augmented reality generating device, augmented reality display device, and augmented reality system
US20240049230A1 (en) Systems and methods of uwb configuration for application types
US20240049218A1 (en) Systems and methods of slot scheduling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination