CN115144874A - 一种定位方法及相关装置 - Google Patents

一种定位方法及相关装置 Download PDF

Info

Publication number
CN115144874A
CN115144874A CN202110352854.6A CN202110352854A CN115144874A CN 115144874 A CN115144874 A CN 115144874A CN 202110352854 A CN202110352854 A CN 202110352854A CN 115144874 A CN115144874 A CN 115144874A
Authority
CN
China
Prior art keywords
head
mounted display
display device
input device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110352854.6A
Other languages
English (en)
Inventor
陈健
袁海林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110352854.6A priority Critical patent/CN115144874A/zh
Publication of CN115144874A publication Critical patent/CN115144874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种定位方法，其特征在于，方法包括：头戴显示设备通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像；头戴显示设备基于第一图像和第二图像中输入设备的位置，确定出输入设备在虚拟现实VR画面中的第一显示位置；头戴显示设备检测到输入设备的位置满足第一预设条件之后，基于第一卫星定位模块获取到头戴显示设备的第一地理位置信息，并指示输入设备通过第二卫星定位模块获取到输入设备的第二地理位置信息；头戴显示设备基于第一地理位置信息和第二地理位置信息，确定出输入设备在VR画面中的第二显示位置，并在第二显示位置显示输入设备对应的标记。本申请实施例，能够提高头戴显示设备对输入设备的定位精度。

Description

一种定位方法及相关装置
技术领域
本申请涉及电子技术领域，尤其涉及一种定位方法及相关装置。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种虚拟场景，使用户沉浸到该虚拟场景中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备(例如头戴显示设备)结合使其转化为能够让人们感受到的场景，并通过三维模型表现出来，并且用户与这个场景可以通过相应的输入设备进行信息交互。想要实现输入设备和虚拟场景的交互，头戴显示设备需要对输入设备的位置、姿态进行识别，从而确定出输入设备的位置和姿态在虚拟场景中对应的操作指令。
目前头戴显示设备需要对输入设备的定位方式需要依靠头戴显示设备对输入设备进行图像数据采集，在输入设备超出了头戴显示设备的摄像头的拍摄范围的情况下，头戴显示设备无法捕捉到输入设备的图像数据，头戴显示设备只能接收到输入设备的运动数据，头戴显示设备通过输入设备的运动数据对输入设备的位置进行定位，这种定位方式精度不高，可能会导致用户操作和显示画面不匹配，影响用户体验。
发明内容
本申请实施例提供了一种定位方法及相关装置，可以提高定位精度。
第一方面，本申请提供了一种定位方法，该方法包括：头戴显示设备通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；头戴显示设备基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，并在第一显示位置显示输入设备对应的标记；头戴显示设备检测到输入设备的位置满足第一预设条件之后，基于第一卫星定位模块获取到头戴显示设备的第一地理位置信息，并发送第一指令给输入设备，第一指令用于指示输入设备通过第二卫星定位模块获取到输入设备的第二地理位置信息；头戴显示设备接收到输入设备的第二地理位置信息；头戴显示设备基于第一地理位置信息和第二地理位置信息，确定出输入设备在VR画面中的第二显示位置，并在第二显示位置显示输入设备对应的标记。
本申请实施例中，头戴显示设备10通过摄像头采集的图像数据中包括手柄的图像数据，基于手柄的图像数据确定手柄和头戴显示设备10的相对位置。然后基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的操作指令。当头戴显示设备检测到输入设备的位置满足第一预设条件，头戴显示设备10和手柄激活自身的定位模块，通过定位模块获取自身的位置信息，手柄通过无线连接模块传输自身的位置信息给头戴显示设备10，头戴显示设备10计算出手柄和头戴显示设备10的相对位置，确定手柄在头戴显示设备10的VR画面中的显示位置。这样，能够提高头戴显示设备对输入设备的定位精度。
其中，第一摄像头和第二摄像头可以为头戴显示设备10的两个鱼眼镜头，其中，输入设备上设置有灯带，灯带是由多个LED灯组成。第一图像和第二图像中均包括有输入设备，指的是第一图像和第二图像中均包括有输入设备所有的LED灯的图像。
在一些实施方式中，头戴显示设备基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，包括：头戴显示设备基于第一图像中输入设备的位置信息以及第二图像中输入设备的位置信息，确定出输入设备相对于头戴显示设备的位置信息；头戴显示设备基于头戴显示设备相对于输入设备的位置信息，确定出输入设备在虚拟现实VR画面中的第一显示位置。
在一些实施方式中，头戴显示设备基于第一地理位置信息和第二地理位置信息，确定出输入设备在VR画面中的第二显示位置，包括：头戴显示设备基于第一地理位置信息和第二地理位置信息，确定出输入设备相对于头戴显示设备的位置信息；头戴显示设备基于头戴显示设备相对于输入设备的位置信息，确定出输入设备在虚拟现实VR画面中的第二显示位置。
在一些实施方式中，第一预设条件包括输入设备移出头戴显示设备的拍摄范围；头戴显示设备检测到输入设备的位置满足第一预设条件，包括：头戴显示设备基于第一摄像头或第二摄像头采集到的图像，检测到输入设备移出头戴显示设备的拍摄范围。
在一些实施方式中，第一预设条件包括输入设备移出头戴显示设备的拍摄范围内的限定范围；头戴显示设备检测到输入设备的位置满足第一预设条件，包括：头戴显示设备基于第一摄像头或第二摄像头采集到的图像，检测到输入设备移出头戴显示设备的拍摄范围内的限定范围。
在一些实施方式中，头戴显示设备基于第一地理位置信息和第二地理位置信息，确定出输入设备在VR画面中的第二显示位置，并在第二显示位置显示输入设备对应的标记，之后还包括：头戴显示设备接收输入设备测量出的输入设备的运动数据；头戴显示设备基于输入设备在VR画面中的第二显示位置，结合输入设备的运动数据，确定输入设备在VR画面中的操作指令；头戴显示设备响应于操作指令，显示相应的VR画面。
在一些实施方式中，第一卫星定位模块和第二卫星定位模块是基于北斗卫星定位的。
第二方面，本申请提供了又一种定位方法，该方法包括：头戴显示设备通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；头戴显示设备基于第一图像和第二图像，确定输入设备在虚拟现实VR画面中的第一显示位置，并在第一显示位置显示输入设备对应的标记；头戴显示设备检测到输入设备的位置满足第二预设条件之后，向输入设备发送第二指令，第一指令用于指示输入设备开启卫星定位模块；头戴显示设备从输入设备接收第三地理位置信息；头戴显示设备检测到输入设备的位置满足第三预设条件之后，向输入设备发送第三指令；头戴显示设备接收输入设备响应于第三指令发送的第四地理位置信息；头戴显示设备基于第三地理位置信息和第四地理位置信息，确定出输入设备在VR画面中的第三显示位置，并在第三显示位置显示输入设备对应的标记。
本申请实施例中，头戴显示设备10通过摄像头采集的图像数据中包括手柄的图像数据，基于手柄的图像数据确定手柄和头戴显示设备10的相对位置。然后基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的操作指令。当头戴显示设备检测到输入设备的位置满足第二预设条件，手柄通过定位模块记录此时自身的位置为初始位置，当头戴显示设备检测到输入设备的位置满足第三预设条件，手柄再次通过定位模块实时记录自身的位置；手柄通过无线连接模块传输该初始位置和实时记录自身的位置信息给头戴显示设备10，头戴显示设备10计算出手柄和初始位置的相对位置，进而确定手柄和头戴显示设备10的相对位置。头戴显示设备10基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的显示位置以及操作指令。这样，能够提高头戴显示设备对输入设备的定位精度。
在一些实施方式中，第二预设条件包括输入设备触及到头戴显示设备的拍摄范围的边界；头戴显示设备检测到输入设备的位置满足第二预设条件，包括：头戴显示设备基于第一摄像头或第二摄像头采集到的图像，检测到输入设备触及到头戴显示设备的拍摄范围的边界。
在一些实施方式中，第二预设条件包括输入设备触及到头戴显示设备的拍摄范围内的限定范围的边界；头戴显示设备检测到输入设备的位置满足第二预设条件，包括：头戴显示设备基于第一摄像头或第二摄像头采集到的图像，检测到输入设备触及到头戴显示设备的拍摄范围内的限定范围的边界。
在一些实施方式中，第三预设条件包括输入设备移出头戴显示设备的拍摄范围；头戴显示设备检测到输入设备的位置满足第三预设条件，包括：头戴显示设备基于第一摄像头或第二摄像头采集到的图像，检测到输入设备移出头戴显示设备的拍摄范围。
在一些实施方式中，头戴显示设备基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，包括：头戴显示设备基于第一图像中输入设备的位置信息以及第二图像中输入设备的位置信息，确定出输入设备相对于头戴显示设备的位置信息；头戴显示设备基于头戴显示设备相对于输入设备的位置信息，确定出输入设备在虚拟现实VR画面中的第一显示位置。
在一些实施方式中，头戴显示设备基于第三地理位置信息和第四地理位置信息，确定出输入设备在VR画面中的第三显示位置，并在第三显示位置显示输入设备对应的标记，之后还包括：头戴显示设备接收输入设备测量出的输入设备的运动数据；头戴显示设备基于输入设备在VR画面中的第三显示位置，结合输入设备的运动数据，确定输入设备在VR画面中的操作指令；头戴显示设备响应于操作指令，显示相应的VR画面。
第三方面，本申请提供了一种定位系统，包括头戴显示设备和输入设备；
头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；
头戴显示设备，还用于基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，并在第一显示位置显示输入设备对应的标记；
头戴显示设备，还用于在检测到输入设备的位置满足第一预设条件之后，基于第一卫星定位模块获取到头戴显示设备的第一地理位置信息，并发送第一指令给输入设备；
输入设备，用于响应于第一指令，通过第二卫星定位模块获取到输入设备的第二地理位置信息，并将第二地理位置信息发送给头戴显示设备；
头戴显示设备，还用于基于第一地理位置信息和第二地理位置信息，确定出输入设备在VR画面中的第二显示位置，并在第二显示位置显示输入设备对应的标记。
第四方面，本申请提供了又一种定位系统，包括头戴显示设备和输入设备；
头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；
头戴显示设备，还用于基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，并在第一显示位置显示输入设备对应的标记；
头戴显示设备，还用于在检测到输入设备的位置满足第二预设条件之后，发送第二指令给输入设备；
输入设备，用于响应于第二指令，通过第二卫星定位模块获取到输入设备的第三地理位置信息，并将第三地理位置信息发送给头戴显示设备；
头戴显示设备，还用于在检测到输入设备的位置满足第三预设条件之后，发送第三指令给输入设备；
输入设备，用于响应于第三指令，通过第二卫星定位模块获取到输入设备的第四地理位置信息，并将第四地理位置信息发送给头戴显示设备；
头戴显示设备，还用于基于第三地理位置信息和第四地理位置信息，确定出输入设备在VR画面中的第三显示位置，并在第三显示位置显示输入设备对应的标记。
第五方面，本申请提供了又一种定位系统，包括头戴显示设备、输入设备和电子设备；头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；头戴显示设备，还用于将第一图像和第二图像发送到电子设备；电子设备，用于基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，并向头戴显示设备发送第四指令；头戴显示设备，还用于响应于第四指令，在第一显示位置显示输入设备对应的标记；电子设备，还用于在检测到输入设备的位置满足第一预设条件之后，向头戴显示设备发送第五指令；头戴显示设备，还用于响应于第五指令，基于第一卫星定位模块获取到头戴显示设备的第五地理位置信息，并发送第六指令给输入设备；输入设备，用于响应于第六指令，通过第二卫星定位模块获取到输入设备的第六地理位置信息，并将第二地理位置信息发送给头戴显示设备；头戴显示设备，还用于将第五地理位置信息和第六地理位置信息发送到电子设备；电子设备，还用于基于第五地理位置信息和第六地理位置信息，确定出输入设备在VR画面中的第四显示位置，并向头戴显示设备发送第七指令；头戴显示设备，还用于响应于第七指令，在第四显示位置显示输入设备对应的标记。
第六方面，本申请提供了又一种定位系统，包括头戴显示设备、输入设备和电子设备；头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，第一图像和第二图像都显示包括有输入设备；头戴显示设备，还用于将第一图像和第二图像发送到电子设备；电子设备，用于基于第一图像和第二图像，确定出输入设备在虚拟现实VR画面中的第一显示位置，并向头戴显示设备发送第四指令；头戴显示设备，还用于响应于第四指令，在第一显示位置显示输入设备对应的标记；电子设备，还用于在检测到输入设备的位置满足第二预设条件之后，发送第八指令给输入设备；输入设备，用于响应于第八指令，通过第二卫星定位模块获取到输入设备的第七地理位置信息，并将第七地理位置信息发送给头戴显示设备；电子设备，还用于在检测到输入设备的位置满足第三预设条件之后，发送第九指令给输入设备；输入设备，用于响应于第九指令，通过第二卫星定位模块获取到输入设备的第八地理位置信息，并将第八地理位置信息发送给头戴显示设备；头戴显示设备，还用于将第七地理位置信息和第八地理位置信息发送到电子设备；电子设备，还用于基于第七地理位置信息和第八地理位置信息，确定出输入设备在VR画面中的第五显示位置，并向头戴显示设备发送第十指令；头戴显示设备，还用于响应于第十指令，在第五显示位置显示输入设备对应的标记。
第七方面，本申请提供了一种头戴显示设备，包括：一个或多个处理器、一个或多个存储器；该一个或多个存储与一个或多个处理器耦合；该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令；当该计算机指令在该处理器上运行时，使得该电子设备执行上述任一方面任一种可能的实现方式中的定位方法。
第八方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得通信装置执行上述任一方面任一项可能的实现方式中的定位方法。
第九方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的定位方法。
附图说明
图1为本申请实施例提供的一种系统架构示意图；
图2为本申请实施例提供的6DOF技术和3DOF技术的原理示意图；
图3为本申请实施例提供的一种定位方法的场景示意图；
图4为本申请实施例提供的又一种系统架构示意图；
图5为本申请实施例提供的一种软件结构示意图；
图6A～图6C为本申请实施例提供的一种北斗卫星定位方式的原理示意图；
图7为本申请实施例提供的一种定位方法的步骤流程图；
图8为本申请实施例提供的一种确定位置信息方法的原理示意图；
图9为本申请实施例提供的又一种确定位置信息方法的原理示意图；
图10为本申请实施例提供的又一种确定位置信息方法的原理示意图；
图11为本申请实施例提供的又一种定位方法的步骤流程图；
图12为本申请实施例提供的又一种定位方法的步骤流程图；
图13为本申请实施例提供的又一种定位方法的步骤流程图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“中间”、“左”、“右”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本申请实施例提供了一种基于虚拟现实系统下的定位方法，图1为本申请实施例示出的一种虚拟现实系统的系统架构示意图，如图1所示，虚拟现实系统中包括头戴显示设备10以及一个或多个输入设备20。头戴显示设备10和输入设备20可以通过有线连接，也可以通过蓝牙、WiFi等方式进行无线连接。其中，头戴显示设备10也可以称为头戴眼镜设备、眼镜设备、VR眼镜等，输入设备20也可以称为手柄、电磁手柄、控制手柄等。
用户戴上头戴显示设备10，可以观看到一种虚拟的沉浸式场景，并且通过自身的移动、头部的转动、以及输入设备20的移动、输入设备20的转动与这种场景进行交互。举例来说，头戴显示设备10通过自身的移动和/或头部的转动确定显示的场景内容，用户可以通过对输入设备20进行移动、转动、点击等操作，与显示的场景内容进行交互。也即是说，头戴显示设备10会基于头戴显示设备10和输入设备20的位置变化对输出的显示内容进行变化。这里就涉及到对于头戴显示设备10和输入设备20的定位问题，头戴显示设备10通过对自身的空间定位、对输入设备20的空间定位，可以实现虚拟现实系统的避障功能、操作识别功能或无线传输功能，从而确定显示的场景内容。
其中，头戴显示设备10的空间定位涉及到6DOF技术和3DOF技术。DoF代表自由度，附加的数字代表要跟踪多少个不同的轴。平移(前后、左右、上下)三个轴，由加速度仪测量；旋转(俯仰、偏航、滚转)三个轴，由陀螺仪测量。3DOF限制了只能使用一组旋转的测量能力。如图2所示，3DOF技术中限制了只能使用旋转的测量能力，当用户的头部进行前后左右上下的旋转时，头戴显示设备10能够测量到用户的旋转角度、旋转角速度等数据；而当用户向前后左右走动时，头戴显示设备10无法测量到用户的移动速度和距离等数据。在6DOF技术中则能够同时测量到平移(前后、左右、上下)三个轴和旋转(俯仰、偏航、滚转)三个轴上的运动数据。
用户可以通过对输入设备20进行移动、转动、点击等操作，实现用户和虚拟场景的交互，例如头戴显示设备10此时显示出一个游戏界面，用户可以通过输入设备20对该游戏界面进行操作。头戴显示设备10通过输入设备20的位置以及运动数据，可以识别出输入设备20在虚拟场景中的对应的操作，做出相应的响应。那么，头戴显示设备10需要对输入设备20的位置进行定位，从而确定输入设备20在头戴显示设备10的显示画面中的位置。在一些实施方式中，头戴显示设备10对于输入设备20的定位，是通过头戴显示设备10的摄像头实时采集图像数据，对采集到的图像数据进行处理，然后通过检测到图像数据中包括输入设备20的图像数据，基于输入设备20的图像数据计算得到输入设备20和头戴显示设备10的相对位置，从而确定输入设备20在头戴显示设备10显示的VR画面中的显示位置。如图3所示，头戴显示设备10包括两个鱼眼镜头，分别为左摄像头和右摄像头，同一个输入设备20(图2中以手柄为例)在左摄像头和右摄像头采集到的图像数据中是不同的。头戴显示设备10通过内部运算判断两幅图像数据中同一个输入设备20的位置的差距，以及两个摄像头(左摄像头和右摄像头)位置的差距，可以得到输入设备20相对于头戴显示设备10的位置。可选的，头戴显示设备10将输入设备20的图像叠加显示在头戴显示设备10的场景内容中。
头戴显示设备10结合输入设备20自身测量到的运动数据(平移三个轴和/或旋转三个轴)，判断该输入设备20的运动数据对应的操作指令。也即是说，用户可以通过控制输入设备20，实现和虚拟场景的交互，当用户控制输入设备20在虚拟场景中进行点击、滑动等操作时，头戴显示设备10响应于该操作，显示相应的显示画面。
在输入设备20超出了头戴显示设备10的摄像头的拍摄范围之后，头戴显示设备10采集到的图像数据中不包括输入设备20的图像数据，头戴显示设备10只能接收到输入设备20的运动数据，头戴显示设备10通过输入设备20的运动数据对输入设备20的显示位置进行定位，这种定位方式精度不高，可能会导致用户操作和显示画面不匹配，影响用户体验。
不限于上述图1所示的系统架构，图4为本申请实施例示出的又一种虚拟现实系统的系统架构示意图，如图4所示，虚拟现实系统中包括头戴显示设备40、一个或多个输入设备50、电子设备60。电子设备60用于承担该虚拟现实系统中的数据计算能力。可选的，电子设备100安装和运行有支持VR画面显示的应用程序，该应用程序可以是游戏类应用程序、视频类应用程序等。
电子设备60可以是服务器、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、手机、膝上型计算机、手持式通信设备、手持式计算设备、移动设备、用户终端和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的终端设备或者未来演进的公共陆地移动网络(public land mobile network，PLMN)网络中的终端设备等。
可以理解的，图4中头戴显示设备40和电子设备60共同实现的功能相当于图1中头戴显示设备10实现的功能。一般来说，基于硬件结构的不同，头戴显示设备10拥有独立处理计算的能力，可以称为VR一体机；而头戴显示设备40和电子设备60可以称为VR分体机，电子设备60可以承担该虚拟现实系统中的数据计算能力，头戴显示设备40和电子设备60可以通过有线连接，也可以通过蓝牙、WiFi等方式进行无线连接。
头戴显示设备40和输入设备50可以通过有线连接，也可以通过蓝牙、WiFi等方式进行无线连接。在一些实施例中，输入设备50和电子设备60可以通过有线连接，也可以通过蓝牙、WiFi等方式进行无线连接；输入设备和电子设备60也可以通过头戴显示设备40实现数据交互。
本申请实施例中，电子设备60通过对头戴显示设备40的空间定位、对输入设备20的空间定位，可以实现虚拟现实系统的避障功能、操作识别功能或无线传输功能，从而确定显示的场景内容。
电子设备60获取头戴显示设备40的运动数据(例如头戴显示设备10测量到的旋转角度、旋转角速度等数据)，确定显示的场景内容，指示头戴显示设备40显示相应的场景内容；电子设备60获取头戴显示设备40实时捕捉到的图像数据，通过图像数据中输入设备20的位置计算得到输入设备50和头戴显示设备40的相对位置，从而确定输入设备50在头戴显示设备10显示的VR画面中的显示位置。
电子设备60结合输入设备50自身测量到的运动数据(例如旋转三个轴上的运动数据)，判断该输入设备50的运动数据对应的操作指令。也即是说，用户可以通过控制输入设备20，实现和虚拟场景的交互，当用户控制输入设备20在虚拟场景中进行点击、滑动等操作时，头戴显示设备10响应于该操作，显示相应的显示画面。
在输入设备50超出了头戴显示设备40的摄像头的拍摄范围之后，头戴显示设备40捕捉到的图像数据中不包括输入设备50的图像数据，电子设备60只能接收到输入设备50的运动数据，电子设备60通过输入设备50的运动数据对输入设备50的显示位置进行定位，这种定位方式精度不高，可能会导致用户操作和显示画面不匹配，影响用户体验。
本申请实施例提供了一种基于虚拟现实系统下的北斗定位方法，在输入设备20超出了头戴显示设备10的摄像头的拍摄范围的情况下，能够提高头戴显示设备10对输入设备20的定位精度。
基于上述图1中的系统架构，图5为本申请实施例示出的一种虚拟现实系统的结构示意图，如图5所示，头戴显示设备10和输入设备20通过有线或无线的方式连接，头戴显示设备10上集成有处理器11、显示屏12、镜头模块13、无线通信模块14、惯性测量模块15和定位模块16，输入设备20上集成有无线通信模块21、惯性测量模块22和定位模块23。
可以理解的是，本申请实施例示意的结构并不构成对头戴显示设备10和输入设备20的具体限定。在本申请另一些实施例中，头戴显示设备10和输入设备20可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
头戴显示设备10中，处理器11，可以包括一个或多个处理单元，例如：处理器11可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphicsprocessing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是头戴显示设备10的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器11中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器11中的存储器为高速缓冲存储器。该存储器可以保存处理器11刚用过或循环使用的指令或数据。如果处理器11需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器11的等待时间，因而提高了系统的效率。
ISP用于处理镜头模块13反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在镜头模块13中。
头戴显示设备10通过GPU，显示屏12，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器11可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏12用于显示图像，视频等。显示屏12包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，头戴显示设备10可以包括1个或N个显示屏12，N为大于1的正整数。在本申请的一些实施例中，显示屏12中显示有系统当前输出的显示内容。例如，界面内容为应用程序提供的界面。
电子设备100可以通过ISP，镜头模块13，视频编解码器，GPU，显示屏12以及应用处理器等实现拍摄功能。
ISP用于处理镜头模块13反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在镜头模块13中。
镜头模块13中可以包括双目鱼眼镜头(FishEye Camera)、红外镜头(IR Camera)和TOF镜头等。镜头模块13用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。本申请实施例中，头戴显示设备10通过镜头模块13采集图像数据，通过处理器11对图像数据中的输入设备20的图像数据进行处理，进而对输入设备20实现定位。
无线连接模块13用于头戴显示设备10和一个或多个输入设备20建立连接，可以提供应用在头戴显示设备10上的包括UWB，无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
惯性测量单元14由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计可以检测头戴显示设备10在坐标系三轴(X轴、Y轴、Z轴)的加速度信号，当佩戴了头戴显示设备10的用户进行前后左右的移动以及上下的移动时，加速度仪能够检测到头戴显示设备10在三轴上的相应的加速度信号；陀螺仪检测头戴显示设备10相对于坐标系三轴(X轴、Y轴、Z轴)的角速度信号，当佩戴了头戴显示设备10的用户转动头部时，陀螺仪能够检测到头戴显示设备10在三轴上的相应的角速度信号。
处理器11对惯性测量单元15测量出的加速度信号和角速度信号进行处理之后，便可分析确定出头戴显示设备10当前的姿态。处理器11根据头戴显示设备10当前的姿态及时的更新头戴显示设备10的显示画面，从而使用户感觉到自己是在看一个环绕的虚拟空间，从而产生360度的三维空间感。
定位模块16用于获取头戴显示设备10的位置信息。定位模块16的定位方式包括例如使用全球导航卫星系统(global navigation satellite system，GNSS)、全球定位系统(Global Positioning System，GPS)、北斗卫星定位系统等来获取位置信息。
本申请实施例以北斗卫星定位为例，定位模块16可以接收到北斗卫星发送的信号，头戴显示设备10基于信号发送和接收的时间差计算出头戴显示设备10的位置信息。目前部署的北斗卫星导航系统，可在全球范围内全天候、全天时为各类用户提供高精度、高可靠定位、导航、授时服务，并且具备短报文通信能力。头戴显示设备10可以通过定位模块16实时获取自身的位置信息。如图6A所示，图6A示例性的示出了四颗北斗卫星的分布位置，其中单颗卫星可以确定一个维度上的位置信息，三颗北斗卫星可以定位出XYZ三轴的维度上的位置信息，而四颗卫星还能明确时间维度的信息。北斗定位采用多颗卫星同时定位，可选的，利用实时动态(Real-time kinematic，RTK)载波相位差分技术可以将精度进一步提高。其中，北斗定位有很多种方式，包括伪距、载波相位等方式。
本申请实施例示例性的介绍一种基于北斗卫星的伪距定位方式，如图6B所示，图6B中分布着三个北斗卫星，这三个北斗卫星的坐标分别为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)，头戴显示设备10接收到三个北斗卫星发送的信号，头戴显示设备10记录接收到三个北斗卫星发送的信号的时刻分别为Ta1、Ta2、Ta3；然后头戴显示设备10对接收到的信号进行解析，得到北斗卫星发送该信号的时刻为Tb1、Tb2、Tb3。可以理解的，北斗卫星发射信号的时间和头戴显示设备10接收该信号的时间是具有时间差的，如图6C所示，图6C中示出了北斗卫星发射信号的时间和头戴显示设备10的定位模块16接收到该信号的时间差δt2；同理北斗卫星发射信号的时间和输入设备20的定位模块23接收该信号的时间是具有时间差的，为δt1。
其中，信号的传播速度为光速c，那么假设头戴显示设备10当前的位置坐标为(x，y，z)，头戴显示设备10和北斗卫星的距离＝光速*(信号到达时间-信号发射时间)。即可以列出以下公式，
Figure BDA0003002709780000101
Figure BDA0003002709780000102
Figure BDA0003002709780000103
根据上述三个公式，即可计算得到头戴显示设备10当前的位置坐标(x，y，z)。
在一些实施例中，在满足预设条件的情况下，例如输入设备20在头戴显示设备10的拍摄范围内，定位模块16处于休眠状态；在不满足预设条件的情况下，例如输入设备20在头戴显示设备10的拍摄范围之外，定位模块16处于工作状态，此时头戴显示设备10通过定位模块获取头戴显示设备10当前的位置信息。
头戴显示设备10中，处理器11用于与镜头模块13、无线连接模块13、惯性测量单元14、定位模块16进行数据交互并进行指令控制，可以实现对头戴显示设备10的6自由度(degree of freedom，DoF)空间定位。
输入设备20中，无线连接模块21用于输入设备20和头戴显示设备10建立无线连接，可以提供应用在输入设备20上的包括UWB，无线局域网(wireless local areanetworks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
惯性测量单元22用于测量输入设备20在平移三轴和/或旋转三轴上的信号数据。其中，同理于头戴显示设备10的惯性测量单元14，输入设备20的惯性测量单元22的相关描述可以参考上述惯性测量单元14的相关描述，此处不再赘述。
定位模块23用于获取输入设备20的位置信息。其中，同理于头戴显示设备10的定位模块16，输入设备20的定位模块23的相关描述可以参考上述定位模块16的相关描述，此处不再赘述。
本申请实施例，头戴显示设备10可以通过镜头模块13中的两个鱼眼镜头对输入设备20进行定位。在一些实施例中，输入设备20上有一系列发光二极管(LED)，作为光学上的目标特征点。头戴显示设备10的左摄像头和右摄像头在不同角度对目标特征点进行追踪。输入设备20基于LED发出可见光或者850nm的红外光，被头戴显示设备10的左摄像头和右摄像头捕捉到。头戴显示设备10通过内部运算判断两幅图像中目标特征点的位置的差距，以及两个摄像头位置的差距，可以得到目标特征点的相对于头戴显示设备10的位置，即可以得到输入设备20相对于头戴显示设备10的位置，从而确定输入设备20在头戴显示设备10显示的VR画面中的显示位置。可选的，头戴显示设备10将输入设备20的图像叠加显示在头戴显示设备10的场景内容中。
进一步的，当输入设备20发生运动时，输入设备20的惯性测量单元22能够测量出输入设备20的运动数据(例如旋转三个轴上的运动数据)，头戴显示设备10根据输入设备20的运动数据，以及摄像头实时捕捉到的输入设备20的图像数据，实时确定输入设备20在头戴显示设备10的VR画面中的显示位置以及操作指令。
本申请实施例中，在满足预设条件的情况下，例如输入设备20在头戴显示设备10的拍摄范围内，定位模块23处于休眠状态；在不满足预设条件的情况下，例如输入设备20在头戴显示设备10的拍摄范围之外，定位模块23处于工作状态，此时输入设备20通过定位模块获取输入设备20当前的位置信息。进而头戴显示设备10可以确定输入设备20相对于头戴显示设备10的位置，结合输入设备20的运动数据从而确定输入设备20在头戴显示设备10的VR画面中的操作指令。由于目前的北斗卫星导航系统，可在全球范围内全天候、全天时为各类用户提供高精度、高可靠定位、导航、授时服务，并且具备短报文通信能力。目前北斗卫星导航系统的定位精度可以达到分米级、厘米级，授时精度可达10ns。因此本申请实施例提供的基于北斗卫星的定位方法能够解决在输入设备20在头戴显示设备10的拍摄范围之外的情况下，头戴显示设备10只能通过输入设备20的运动数据对输入设备20的位置进行定位，定位精度不高的问题。
基于上述图4中的系统架构，图4中的头戴显示设备40和输入设备50的结构与上述图5中的头戴显示设备10和输入设备20的结构相同，不同之处在于电子设备60可以承担图5中头戴显示设备10的处理器11的大部分能力。
本申请实施例中，头戴显示设备40通过自身的惯性测量单元测量出加速度信号和角速度信号，传输到电子设备60，电子设备60便可分析确定出头戴显示设备40当前的姿态。电子设备60根据头戴显示设备40当前的姿态及时的更新头戴显示设备40的显示画面，从而使用户感觉到自己是在看一个环绕的虚拟空间，从而产生360度的三维空间感。
头戴显示设备40可以通过镜头模块中的两个鱼眼镜头对输入设备50进行定位。头戴显示设备40通过自身的镜头模块采集图像数据，将采集到的图像数据传输到电子设备60，电子设备60对采集到的图像数据中输入设备50的图像数据进行处理，进而对输入设备50实现定位，实时确定输入设备50在头戴显示设备40的VR画面中的显示位置。
进一步的，当输入设备50发生运动时，输入设备50的惯性测量单元能够测量出输入设备50的运动数据(例如旋转三个轴上的运动数据)，头戴显示设备10将输入设备50的运动数据传输到电子设备60，电子设备60根据输入设备50的运动数据，实时确定输入设备50在头戴显示设备40的VR画面中的操作指令。可选的，输入设备50将自身的运动数据传输到电子设备60，电子设备60根据输入设备50的运动数据，实时确定输入设备50在头戴显示设备40的VR画面中的操作指令。
本申请实施例中，在满足预设条件的情况下，例如输入设备50在头戴显示设备40的拍摄范围内，输入设备50的定位模块处于休眠状态；在不满足预设条件的情况下，例如输入设备50在头戴显示设备40的拍摄范围之外，输入设备50的定位模块处于工作状态，此时输入设备50通过定位模块获取输入设备50当前的位置信息。电子设备60获取到输入设备50当前的位置信息，进而电子设备60确定输入设备50相对于头戴显示设备40的位置，结合输入设备50的运动数据从而确定输入设备50在头戴显示设备40的VR画面中的操作指令。这样，解决了在输入设备50在头戴显示设备40的拍摄范围之外的情况下，电子设备60只能通过输入设备50的运动数据对输入设备50的位置进行定位，定位精度不高的问题。
下面结合上述图5描述的系统结构，将以输入设备20为手柄为例，具体描述本申请实施例提供的一种基于北斗卫星的定位方法。
实施例一、手柄有定位模块，头戴显示设备10有定位模块。
如图7所示，图7示出了实施例一提供的一种基于北斗卫星的定位方法的步骤流程图。
步骤S101、头戴显示设备10和手柄建立连接。
头戴显示设备10和一个或多个手柄建立有线连接或无线连接，其中，无线连接方式包括UWB连接、Wi-Fi连接、蓝牙连接、NFC连接等等。
步骤S102、头戴显示设备10通过摄像头采集图像数据，基于图像中手柄的位置确定手柄和头戴显示设备10的相对位置。
头戴显示设备10通过摄像头实时采集图像数据，若手柄在头戴显示设备10的拍摄范围内，则头戴显示设备10上的摄像头采集到的图像数据中包括手柄的图像数据，头戴显示设备基于采集到的图像数据中手柄的位置，可以计算出手柄相对头戴显示设备10的位置。
具体地，头戴显示设备10可以通过两个摄像头得到手柄的初始定位。手柄上有一系列发光二极管(LED)，作为光学上的目标特征点。头戴显示设备10的左摄像头和右摄像头在不同角度对目标特征点进行追踪。手柄基于LED发出可见光或者850nm的红外光，被头戴显示设备10的左摄像头和右摄像头捕捉到。头戴显示设备10通过内部运算判断两幅图像中目标特征点的位置的差距，以及两个摄像头位置的差距，可以得到目标特征点相对于头戴显示设备10的位置。
如图8所示，在图8中，左摄像头和右摄像头分别采集到了包括有手柄的图像数据的图像，其中P1为左摄像头采集到的手柄图像的成像点，P2为右摄像头采集到的手柄图像的成像点；P点为手柄的实际位置。其中，左摄像头和右摄像头的光轴是平行的，L1和L2分别为左摄像头和右摄像头的光心。
基于三角形相似原理，三角形PP1P2和三角形PL1L2相似，由于已知L1和L2的三维坐标，和P1和P2的三维坐标，通过三角形相似原理进而可以计算出P点的三维坐标，即获取手柄的三维坐标。头戴显示设备10确定手柄和头戴显示设备10的相对位置。由于手柄在空间内的位置信息是唯一的。只要这个手柄被两个或两个以上的摄像头同时拍摄到，就可以把手柄的位置信息定位出来。
步骤S103、头戴显示设备10基于手柄和头戴显示设备10的相对位置，确定手柄在VR画面中的显示位置，在该显示位置上显示手柄对应的标记。
头戴显示设备10的显示屏上里会显示VR画面，一般情况下默认VR画面在是视觉1m远的位置；头戴显示设备10基于该VR画面进行建模，在头戴显示设备10获取到手柄和头戴显示设备10的相对位置之后，头戴显示设备10根据手柄相对头戴显示设备10的位置，确定手柄显示在头戴显示设备10的VR画面中的显示位置，并在该显示位置上显示手柄对应的标记。其中，手柄在VR画面中的显示形式可以是手柄的图像、也可以是一个图标、动图、特效、文字的形式，本申请对此不作限制。
在一些实施例中，头戴显示设备10基于手柄和头戴显示设备10的相对位置，结合手柄的运动数据可以确定手柄在头戴显示设备10的VR画面中的操作指令。
头戴显示设备10基于手柄和头戴显示设备10的相对位置可以确定出手柄在头戴显示设备10的VR画面中的显示位置，当用户控制手柄进行运动时，手柄的惯性测量单元能够测量出手柄的运动数据，头戴显示设备10根据手柄的运动数据，可以确定出手柄的操作手势，例如手柄向左滑动了10厘米、手柄向下滑动了20厘米等。
头戴显示设备10结合手柄在头戴显示设备10的VR画面中的显示位置以及操作手势，确定手柄在头戴显示设备10的VR画面中的操作指令，例如手柄向左滑动了10厘米，触发头戴显示设备10从当前显示的场景切换到显示下一个场景。
步骤S104、头戴显示设备10检测到手柄移出头戴显示设备10的摄像头拍摄范围。
用户通过手柄和头戴显示设备10显示的VR画面进行交互，当用户控制手柄进行运动(例如滑动、挥动、甩动等)，手柄可能会移出头戴显示设备10的摄像头拍摄范围，此时头戴显示设备10拍摄到的图像数据中没有手柄的图像数据，即头戴显示设备10无法通过摄像头采集的图像数据判断出手柄和头戴显示设备10的相对位置。
头戴显示设备10检测到手柄不在头戴显示设备10的拍摄范围内。这里，手柄不在头戴显示设备10的拍摄范围内，可以是手柄不在头戴显示设备10的两个镜头(左摄像头和右摄像头)中任一一个镜头的拍摄范围内；也可以是手柄不在头戴显示设备10的两个镜头(左摄像头和右摄像头)的拍摄范围内。
在一些实施例中，手柄上设置有灯带，灯带是由多个LED灯组成。头戴显示设备10通过摄像头采集图像数据，基于图像数据中的LED灯数量，检测手柄是否移出头戴显示设备10的摄像头拍摄范围。若LED灯数量大于阈值，则认为手柄没有移出头戴显示设备10的摄像头拍摄范围；若LED灯数量小于或等于阈值，则认为手柄移出了头戴显示设备10的摄像头拍摄范围。
如图9所示，以手柄上的灯带有10个LED灯为例，图9示例性的示出了头戴显示设备10的左摄像头采集到的图像，右摄像头同理。图9中，在T1时刻，头戴显示设备10可以检测到通过左摄像头采集到的图像中包括10个LED灯，若阈值为9，LED灯数量大于9，则确定手柄在头戴显示设备10的拍摄范围之内；在T2时刻，头戴显示设备10可以检测到通过左摄像头采集到的图像中包括6个LED灯，由于LED灯数量小于阈值9，则确定手柄在头戴显示设备10的拍摄范围之外。
步骤S105、头戴显示设备10使用自身的定位模块获取头戴显示设备10的地理位置信息；手柄使用自身的定位模块获取手柄的地理位置信息。
头戴显示设备10通过摄像头实时采集图像数据，当头戴显示设备10检测到手柄的位置在头戴显示设备10的拍摄范围之外，头戴显示设备10使用定位模块获取自身的地理位置信息，并向手柄发送指令，指示手柄使用定位模块进行定位。即头戴显示设备10将之前休眠或起辅助作用的定位模块激活，通过定位模块实时获取头戴显示设备10的地理位置X1；并且手柄将之前休眠或起辅助作用的定位模块激活，手柄通过定位模块获取此时自身的地理位置X2。
步骤S106、手柄向头戴显示设备10实时发送手柄的地理位置信息。
步骤S107、头戴显示设备10基于头戴显示设备10和手柄的地理位置信息，确定手柄和头戴显示设备10的相对位置。
手柄将自身的地理位置X2发送给头戴显示设备10，头戴显示设备10基于地理位置X1和地理位置X2，通过计算可以获取手柄和头戴显示设备10的相对位置。
在一些实施例中，头戴显示设备10预设一个特定范围作为限定范围，该限定范围在摄像头的拍摄范围之内。头戴显示设备10通过摄像头实时采集图像数据，当头戴显示设备10检测到图像数据中手柄的位置不在头戴显示设备10的限定范围之内，头戴显示设备10通过自身的定位模块获取地理位置信息，并向手柄发送指令，指示手柄使用定位模块进行定位。手柄通过自身的定位模块获取地理位置信息，然后手柄向头戴显示设备10发送手柄的地理位置信息。头戴显示设备10基于头戴显示设备10和手柄的地理位置信息，确定手柄和头戴显示设备10的相对位置。
其中，摄像头的拍摄范围可以用视场角(Field of View，FOV)来描述，摄像头的视场角决定了摄像头的拍摄范围。头戴显示设备10预设一个限定范围，该限定范围的视场角小于头戴显示设备10的摄像头的视场角，即该限定范围在摄像头的拍摄范围之内。如图10所示，图10示例性的示出了左摄像头的拍摄范围和限定范围，在拍摄范围之内且在限定范围之外的区域为阴影区域。其中左摄像头的拍摄范围的视场角为α1，限定范围的视场角为α2，α1>α2。头戴显示设备10通过摄像头采集图像数据，图像数据中包括10个LED灯的图像，则确定手柄在左摄像头的拍摄范围内。图10中，左摄像头和S1的距离为视深距离，头戴显示设备10基于图像数据中LED灯的位置以及该视深距离，可以确定出LED灯的视场角α3，若LED灯所在位置的视场角α3小于α2，则认为该LED灯在限定范围内。若10个LED灯均在限定范围内，则认为手柄没有移出头戴显示设备10的摄像头的限定范围；若不足10个LED灯在限定范围内，则认为手柄移出头戴显示设备10的摄像头的限定范围。
当头戴显示设备10检测到手柄移出头戴显示设备10的摄像头的限定范围，头戴显示设备10和手柄使用定位模块进行定位。即头戴显示设备10将之前休眠或起辅助作用的定位模块激活，通过定位模块实时获取头戴显示设备10的位置X3；并且指示手柄将之前休眠或起辅助作用的定位模块激活，手柄通过定位模块记录此时自身的位置X4。手柄将自身的位置X4发送给头戴显示设备10，头戴显示设备10基于位置X3和位置X4，可以获取手柄和头戴显示设备10的相对位置。从而头戴显示设备10能够实时确定手柄在头戴显示设备10的VR画面中的显示位置。
这种预设一个限定范围的方式，能够使头戴显示设备10和手柄提前预知手柄即将移出头戴显示设备10的摄像头拍摄范围之外，这时将头戴显示设备10和手柄的定位方式切换到北斗定位，能够提高定位的精度。
步骤S108、头戴显示设备10基于手柄和头戴显示设备10的相对位置，确定手柄在VR画面中的显示位置，在该显示位置上显示手柄对应的标记。
其中，基于同一发明构思，步骤S108解决问题的原理与上述步骤S103中相似，因此步骤S108的实施可以参见上述步骤S103的实施对应的相关描述，此处不再赘述。
本申请实施例中，当手柄在头戴显示设备10的拍摄范围内，头戴显示设备10通过摄像头采集的图像数据中包括手柄的图像数据，基于手柄的图像数据确定手柄和头戴显示设备10的相对位置。然后基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的操作指令。当手柄在头戴显示设备10的拍摄范围之外，头戴显示设备10无法获取到手柄的图像数据，因此头戴显示设备10无法准确判断手柄和头戴显示设备10的相对位置，进而无法准确判断手柄在头戴显示设备10的VR画面中的显示位置。因此，本申请实施例在检测到手柄在头戴显示设备10的拍摄范围之外的情况下，头戴显示设备10和手柄激活自身的定位模块，通过定位模块获取自身的位置信息，手柄通过无线连接模块传输自身的位置信息给头戴显示设备10，头戴显示设备10计算出手柄和头戴显示设备10的相对位置，确定手柄在头戴显示设备10的VR画面中的显示位置。这样，通过北斗定位的方式解决了当手柄在头戴显示设备10的拍摄范围之外的情况下，头戴显示设备10对手柄的定位精度不高的问题。
在一些实施例中，当手柄在头戴显示设备10的拍摄范围内，头戴显示设备10和手柄也可以使用定位模块来进行定位。也即是说，头戴显示设备10和手柄可以始终通过定位模块获取自身的地理位置信息，从而获取头戴显示设备10和手柄的相对位置，确定手柄在头戴显示设备10的VR画面中的显示位置。这样，头戴显示设备10无需检测不同的情况去切换对手柄的定位方式，节约资源。
基于上述实施例，下面结合上述图4描述的系统结构，描述本申请实施例提供的又一种基于北斗卫星的定位方法。该方法的步骤流程如图11所示，
步骤S201、头戴显示设备40和手柄建立连接，头戴显示设备40和电子设备60建立连接。其中，连接方式包括有线连接、无线连接，无线连接方式包括UWB连接、Wi-Fi连接、蓝牙连接、NFC连接等等。
步骤S202、头戴显示设备40通过摄像头实时采集图像数据，并将采集到的图像数据发送到电子设备60。
步骤S203、电子设备60基于接收到的图像数据中手柄的位置确定手柄和头戴显示设备40的相对位置。
其中，电子设备60在步骤S203中执行操作的实现方式可以参考上述步骤S102中头戴显示设备10确定手柄和头戴显示设备10的相对位置的相应描述，此处不再赘述。
步骤S204、电子设备60基于手柄和头戴显示设备40的相对位置，确定出手柄在VR画面中的显示位置，并指示头戴显示设备40在该显示位置显示手柄对应的标记。
其中，电子设备60在步骤S204中执行操作的实现方式可以参考上述步骤S103中头戴显示设备10执行的操作的相应描述，此处不再赘述。
步骤S205、电子设备60检测到手柄移出头戴显示设备40的拍摄范围。
其中，电子设备60在步骤S205中执行操作的实现方式可以参考上述步骤S104中头戴显示设备10执行的操作的相应描述，此处不再赘述。
步骤S206、电子设备60向头戴显示设备40发送指令，指示头戴显示设备40和手柄分别使用其自身的定位模块获取地理位置信息。
步骤S207、头戴显示设备40接收到电子设备60发送的指令后，向手柄发送指令，指示手柄使用自身的定位模块获取地理位置信息。
步骤S208、头戴显示设备40使用自身的定位模块获取头戴显示设备40的地理位置信息；手柄使用自身的定位模块获取手柄的地理位置信息。
步骤S209、手柄向头戴显示设备40发送手柄的地理位置信息。
步骤S210、头戴显示设备40向电子设备60发送手柄和头戴显示设备40的地理位置信息。
步骤S211、电子设备60基于头戴显示设备10和手柄的地理位置信息，确定手柄和头戴显示设备40的相对位置。其中，电子设备60在步骤S211中执行操作的实现方式可以参考上述步骤S107中头戴显示设备10执行的操作的相应描述，此处不再赘述。
步骤S212、电子设备60基于手柄和头戴显示设备40的相对位置，确定手柄在VR画面中的显示位置，并指示头戴显示设备在该显示位置上显示手柄对应的标记。其中，电子设备60在步骤S212中执行操作的实现方式可以参考上述步骤S108中头戴显示设备10执行的操作的相应描述，此处不再赘述。
本申请实施例中，电子设备60相当于图7中头戴显示设备10的处理设备，减轻了头戴显示设备10的数据处理压力。
在一些实施例中，电子设备60和一个或多个手柄可以建立有线连接或无线连接，即电子设备60和手柄之间可以直接通信。在这种情况下，上述步骤S206中和步骤S207中，电子设备60可以分别向头戴显示设备40和手柄发送指令，分别指示头戴显示设备40和手柄使用定位模块获取地理位置信息，无需在步骤S207中通过头戴显示设备40向手柄发送指令。同理，在步骤S209中，手柄可以直接向电子设备60发送手柄的地理位置信息，无需在步骤S210中通过头戴显示设备40向电子设备60发送手柄的地理位置信息。
实施例二、手柄有定位模块，头戴显示设备10没有定位模块。
如图12所示，图12示出了实施例二提供的一种基于北斗卫星的定位方法的步骤流程图。
步骤S301、头戴显示设备10和手柄建立连接。
步骤S302、头戴显示设备10通过摄像头采集图像数据，基于图像中手柄的位置确定手柄和头戴显示设备10的相对位置。
步骤S303、头戴显示设备10基于手柄和头戴显示设备10的相对位置，确定手柄在VR画面中的显示位置，在该显示位置上显示手柄对应的标记。
其中，基于同一发明构思，步骤S301-步骤S303解决问题的原理与上述步骤S101-步骤S103中相似，因此步骤S301-步骤S303的实施可以参见上述步骤S101-步骤S103的实施对应的相关描述，此处不再赘述。
步骤S304、头戴显示设备10基于采集到的图像数据检测到手柄的位置触及到头戴显示设备10的拍摄范围边界。
用户通过手柄和头戴显示设备10显示的VR画面进行交互，当用户控制手柄进行运动(例如滑动、挥动、甩动等)，手柄会触及到头戴显示设备10的摄像头拍摄范围边界。头戴显示设备10实时采集图像数据，通过识别该图像数据可以检测到手柄的位置触及到头戴显示设备10的拍摄范围边界。
在一些实施例中，手柄上设置有灯带，灯带是由多个LED灯组成。头戴显示设备10通过摄像头实时采集图像数据，基于图像数据中的LED灯数量，检测手柄是否触及到头戴显示设备10的拍摄范围边界。若手柄上的灯带有10个LED灯，当采集到的图像数据中的LED灯数量为10，则认为手柄没有移出头戴显示设备10的摄像头拍摄范围；若LED灯数量大于0且小于10，则认为手柄触及到头戴显示设备10的拍摄范围边界。
在一些实施例中，头戴显示设备10通过摄像头实时采集图像数据，基于图像数据中的LED灯数量，检测手柄是否触及到头戴显示设备10的拍摄范围边界。若手柄上的灯带有10个LED灯，当头戴显示设备10在第一时刻采集到的图像数据中的LED灯数量为10，在第二时刻采集到的图像数据中的LED灯数量小于10，其中第一时刻在第二时刻之前，第一时刻和第二时刻采集到的图像数据为头戴显示设备10采集到的相邻的图像数据；则第二时刻为头戴显示设备10检测到手柄的位置触及到头戴显示设备10的拍摄范围边界的时刻。
步骤S305、头戴显示设备10向手柄发送指令，指示手柄使用定位模块获取手柄此时的地理位置信息。
步骤S306、手柄使用定位模块获取手柄此时的位置信息作为初始位置信息。
头戴显示设备10检测到手柄的位置触及到头戴显示设备10的拍摄范围边界，手柄通过定位模块获取并记录此时自身的地理位置X5，该地理位置X5为手柄的初始位置。
其中，位置X5为头戴显示设备10检测到手柄的位置触及拍摄范围边界时，基于定位模块获取到的第一个地理位置。此时手柄依然在头戴显示设备10的拍摄范围之内，头戴显示设备10根据摄像头采集的图像数据确定并记录头戴显示设备10和手柄(地理位置X5)的相对位置。
在一些实施例中，头戴显示设备10通过摄像头实时采集图像数据，基于图像数据中的LED灯数量，检测手柄是否触及到头戴显示设备10的拍摄范围边界。若手柄上的灯带有10个LED灯，当头戴显示设备10在T3时刻采集到的图像数据中的LED灯数量为10，在T4时刻采集到的图像数据中的LED灯数量小于10，其中T3时刻在T4时刻之前，T3时刻和T4时刻采集到的图像数据为头戴显示设备10采集到的相邻的图像数据；则T4时刻为头戴显示设备10检测到手柄的位置触及到头戴显示设备10的拍摄范围边界的时刻。在T4时刻，手柄将定位模块激活，通过定位模块获取并记录此时自身的地理位置X5，这里的地理位置X5可以认为是T4时刻手柄的地理位置，该地理位置X5为手柄的初始位置。并且，头戴显示设备10记录此时(T4时刻)头戴显示设备10和初始位置(地理位置X5)的相对位置。
步骤S307、手柄将初始位置信息发送给头戴显示设备10。
步骤S308、头戴显示设备10检测到手柄移出头戴显示设备10的摄像头拍摄范围。
用户通过手柄和头戴显示设备10显示的VR画面进行交互，当用户控制手柄进行运动(例如滑动、挥动、甩动等)，手柄会移出头戴显示设备10的摄像头拍摄范围，此时移出头戴显示设备10拍摄到的图像数据中不包括手柄的图像数据，即头戴显示设备10无法通过手柄的图像数据判断出手柄和头戴显示设备10的相对位置。
头戴显示设备10检测到手柄移出头戴显示设备10的摄像头拍摄范围，即手柄不在头戴显示设备10的拍摄范围内。这里，手柄不在头戴显示设备10的拍摄范围内，可以是头戴显示设备10的两个镜头(左摄像头和右摄像头)中有任一一个镜头采集不到手柄的图像数据；也可以是头戴显示设备10的两个镜头(左摄像头和右摄像头)都采集不到手柄的图像数据。
步骤S309、头戴显示设备10检测到手柄移出头戴显示设备10的摄像头拍摄范围后，向手柄发送指令，指示手柄使用定位模块实时获取手柄的地理位置信息。
步骤S310、手柄使用定位模块获取手柄的地理位置信息。
当头戴显示设备10通过摄像头采集手柄的实时图像位置，检测到手柄的位置不在头戴显示设备10的拍摄范围之内，头戴显示设备10向手柄发送指令，指示手柄使用定位模块进行定位。手柄接收到头戴显示设备10发送的指令后，手柄通过定位模块实时获取自身的地理位置X6。
步骤S311、手柄向头戴显示设备10发送手柄的地理位置信息。
步骤S312、头戴显示设备10基于自身的运动数据和手柄的地理位置信息，确定手柄和头戴显示设备10的相对位置。
手柄将位置X6发送给头戴显示设备10，头戴显示设备10基于位置X5和位置X6，可以获取手柄相对于初始位置X5的位置，由于头戴显示设备10记录下了头戴显示设备10和初始位置(地理位置X5)的相对位置(步骤S306中)。进而头戴显示设备10可以计算出手柄和头戴显示设备10的相对位置。
具体来说，基于上述S306中的举例，头戴显示设备10获取到初始位置X5，以及在T4时刻头戴显示设备10和初始位置X5的相对位置。头戴显示设备10可以基于对自身的运动数据的实时测量，计算出头戴显示设备10和初始位置X5的实时的相对位置。当头戴显示设备10获取到手柄的地理位置信息X6，头戴显示设备10基于头戴显示设备10和初始位置X5的实时的相对位置，以及X6和初始位置X5的相对位置，计算出手柄和头戴显示设备10的相对位置。
其中，手柄通过定位模块实时获取地理位置信息，并将自身的地理位置信息同步发送到头戴显示设备10。头戴显示设备10基于获取到的手柄的地理位置信息，始终将手柄的地理位置信息和初始位置信息做比较，获取手柄和初始位置的相对位置。并且基于头戴显示设备10的运动数据确定出头戴显示设备10和初始位置的实时相对位置，进而计算出手柄和头戴显示设备10的相对位置。
在一些实施例中，头戴显示设备10可以通过手柄的相邻两个地理位置信息来判断手柄和头戴显示设备10的相对位置。举例来说，头戴显示设备10获取到手柄在T4时刻的初始位置X5和T5时刻的位置X6，头戴显示设备10通过位置X5和位置X6，以及头戴显示设备10在T4时刻和T5时刻之间的运动数据可以计算得到手柄和头戴显示设备10的相对位置。在下一个时刻T6，手柄获取到的实时位置为X9，其中X6和X9为手柄获取到的两个相邻的位置信息。头戴显示设备10通过位置X6和位置X9可以计算得到手柄的移动数据，再基于在T5时刻(位置X6)时手柄在头戴显示设备10显示的VR画面上的显示位置，以及头戴显示设备10在T5时刻和T6时刻之间的运动数据，头戴显示设备10可以计算得到手柄和头戴显示设备10的相对位置，从而确定手柄在T6时刻(位置X9)的显示位置。
在一些实施例中，头戴显示设备10预设一个特定范围作为限定范围，该限定范围在摄像头的拍摄范围之内。当头戴显示设备10通过摄像头实时采集图像数据，当头戴显示设备10检测到图像数据中手柄的位置不在头戴显示设备10的限定范围之内，头戴显示设备10向手柄发送指令，指示手柄使用定位模块进行定位，手柄向头戴显示设备10发送手柄的地理位置信息。其中，这里的实现方式可以参考上述步骤S107中对图10的相关描述，此处不再赘述。
即手柄将之前休眠或起辅助作用的定位模块激活，手柄通过定位模块记录此时自身的位置X7作为初始位置。手柄将初始位置发送到头戴显示设备。其中，位置X7为头戴显示设备10检测到手柄的位置超出限定范围时，基于定位模块获取到的第一个地理位置。此时手柄依然在头戴显示设备10的拍摄范围之内，头戴显示设备10根据摄像头采集的图像数据确定并记录此时头戴显示设备10和手柄(位置X7)的相对位置。
头戴显示设备10通过摄像头采集图像数据，当头戴显示设备10检测到手柄的位置不在头戴显示设备10的拍摄范围之内，手柄通过定位模块记录此时自身的位置X8。手柄将自身的位置X8发送给头戴显示设备10，头戴显示设备10基于初始位置X7和位置X8，可以获取手柄和初始位置X7的相对位置。并且，头戴显示设备10基于对自身的运动数据的实时测量，可以计算出头戴显示设备10和初始位置X7的实时的相对位置。基于手柄和初始位置X7的相对位置，以及头戴显示设备10和位置X7的实时的相对位置，头戴显示设备10能够确定手柄和头戴显示设备10的相对位置。
这种预设一个限定范围的方式，能够使头戴显示设备10和手柄提前预知手柄即将移出头戴显示设备10的摄像头拍摄范围之外，这时将头戴显示设备10和手柄的定位方式切换到北斗定位，能够提高定位的精度。
步骤S313、头戴显示设备10基于手柄和头戴显示设备10的相对位置，确定手柄在VR画面中的显示位置，在该显示位置上显示手柄对应的标记。
其中，基于同一发明构思，步骤S312解决问题的原理与上述步骤S303中相似，因此步骤S312的实施可以参见上述步骤S303的实施对应的相关描述，此处不再赘述。
本申请实施例中，当手柄在头戴显示设备10的拍摄范围内，头戴显示设备10通过摄像头采集的图像数据中包括手柄的图像数据，基于手柄的图像数据确定手柄和头戴显示设备10的相对位置。然后基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的操作指令。当手柄在头戴显示设备10的拍摄范围之外，头戴显示设备10无法获取到手柄的图像数据，因此头戴显示设备10无法准确判断手柄和头戴显示设备10的相对位置，进而无法准确判断手柄在头戴显示设备10的VR画面中的显示位置。因此，手柄在头戴显示设备10的拍摄范围之外的情况下，首先当手柄的位置触及到头戴显示设备10的拍摄范围边界时，手柄通过定位模块记录此时自身的位置为初始位置，当手柄的位置在头戴显示设备10的拍摄范围之外，手柄再次通过定位模块实时记录自身的位置；手柄通过无线连接模块传输该初始位置和实时记录自身的位置信息给头戴显示设备10，头戴显示设备10计算出手柄和初始位置的相对位置，进而确定手柄和头戴显示设备10的相对位置。头戴显示设备10基于手柄和头戴显示设备10的相对位置确定手柄在VR画面中的显示位置，进而结合手柄的运动数据确定手柄在头戴显示设备10的VR画面中的显示位置以及操作指令。这样，通过北斗定位的方式解决了当手柄在头戴显示设备10的拍摄范围之外的情况下，头戴显示设备10对手柄的定位精度不高的问题。
基于上述实施例，下面结合上述图4描述的系统结构，描述本申请实施例提供的又一种基于北斗卫星的定位方法。该方法的步骤流程如图13所示，
步骤S401、头戴显示设备40和手柄建立连接，头戴显示设备40和电子设备60建立连接。
步骤S402、头戴显示设备40通过摄像头实时采集图像数据，并将采集到的图像数据发送到电子设备60。
步骤S403、电子设备60基于接收到的图像数据中手柄的位置确定手柄和头戴显示设备40的相对位置。
步骤S404、电子设备60基于手柄和头戴显示设备40的相对位置，确定出手柄在VR画面中的显示位置，并指示头戴显示设备40在该显示位置显示手柄对应的标记。
上述步骤S401-步骤S404的实现方式可以参考上述图10中步骤S201-步骤S204的相应描述，此处不再赘述。
步骤S405、电子设备60检测到手柄的位置触及到头戴显示设备40的摄像头拍摄范围边界。
电子设备60接收到头戴显示设备40实时采集到的手柄的图像数据，基于采集到的图像数据，电子设备60可以检测到手柄触及到头戴显示设备10的拍摄范围边界。
步骤S406、电子设备60向头戴显示设备40发送指令，指示手柄使用定位模块获取手柄此时的地理位置信息。
步骤S407、头戴显示设备40接收到电子设备60发送的指令后，向手柄发送指令，指示手柄使用定位模块获取手柄此时的地理位置信息。
步骤S408、手柄使用定位模块获取手柄此时的位置信息作为初始位置信息。
步骤S409、手柄将初始位置信息发送给头戴显示设备40。
步骤S410、头戴显示设备40将手柄的初始位置信息发送给电子设备60。
步骤S411、电子设备60检测到手柄移出头戴显示设备40的拍摄范围。
电子设备60接收到头戴显示设备40实时采集到的手柄的图像数据，基于采集到的图像数据，电子设备60可以检测到手柄移出头戴显示设备10的拍摄范围。
步骤S412、电子设备60向头戴显示设备40发送指令，指示手柄使用定位模块实时获取手柄的地理位置信息。
步骤S413、头戴显示设备40接收到电子设备60发送的指令后，向手柄发送指令，指示手柄使用定位模块实时获取手柄的地理位置信息。
步骤S414、手柄使用定位模块实时获取手柄的地理位置信息。
步骤S415、手柄向头戴显示设备40发送手柄的地理位置信息。
步骤S416、头戴显示设备40向电子设备60发送手柄的地理位置信息。
步骤S417、电子设备60基于初始位置信息和手柄的实时位置信息，确定手柄和头戴显示设备40的相对位置。
步骤S418、电子设备60基于手柄和头戴显示设备40的相对位置，确定手柄在VR画面中的显示位置，指示头戴显示设备在该显示位置上显示手柄对应的标记。
其中，电子设备60在步骤S417-步骤S418中执行操作的实现方式可以参考上述步骤S312-步骤S313中头戴显示设备10执行的操作的相应描述，此处不再赘述。
本申请实施例中，电子设备60相当于图11中头戴显示设备10的处理设备，减轻了头戴显示设备10的数据处理压力。
在一些实施例中，电子设备60和一个或多个手柄可以建立有线连接或无线连接，即电子设备60和手柄之间可以直接通信。在这种情况下，上述步骤S406中和步骤S407中，电子设备60可以直接向手柄发送指令，指示手柄使用定位模块获取手柄此时的地理位置信息，无需通过头戴显示设备40向手柄发送指令。同理，在步骤S409中和步骤S410中，手柄可以直接向电子设备60发送初始位置信息，无需通过头戴显示设备40向电子设备60转发手柄的初始位置信息。同理，在步骤S412中和步骤S413中，电子设备60可以直接向手柄发送指令，指示手柄使用定位模块实时获取手柄的地理位置信息，无需通过头戴显示设备40向手柄发送指令。同理，在步骤S415中和步骤S416中，手柄可以直接向电子设备60发送手柄的地理位置信息，无需通过头戴显示设备40向电子设备60转发手柄的地理位置信息。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (20)

1.一种定位方法，其特征在于，所述方法包括：
头戴显示设备通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有输入设备；
所述头戴显示设备基于所述第一图像和所述第二图像，确定所述输入设备在虚拟现实VR画面中的第一显示位置，并在所述第一显示位置显示所述输入设备对应的标记；
所述头戴显示设备检测到所述输入设备的位置满足第一预设条件之后，基于第一卫星定位模块获取所述头戴显示设备的第一地理位置信息，以及向所述输入设备发送第一指令，所述第一指令用于指示所述输入设备开启卫星定位模块；
所述头戴显示设备从所述输入设备接收第二地理位置信息；
所述头戴显示设备基于所述第一地理位置信息和所述第二地理位置信息，确定所述输入设备在VR画面中的第二显示位置，并在所述第二显示位置显示所述输入设备对应的标记。
2.根据权利要求1所述的方法，其特征在于，所述头戴显示设备基于所述第一图像和所述第二图像，确定所述输入设备在虚拟现实VR画面中的第一显示位置，包括：
所述头戴显示设备基于所述第一图像中所述输入设备的位置信息以及所述第二图像中所述输入设备的位置信息，确定所述输入设备相对于所述头戴显示设备的位置信息；
所述头戴显示设备基于所述头戴显示设备相对于所述输入设备的位置信息，确定所述输入设备在虚拟现实VR画面中的第一显示位置。
3.根据权利要求1所述的方法，其特征在于，所述头戴显示设备基于所述第一地理位置信息和所述第二地理位置信息，确定所述输入设备在VR画面中的第二显示位置，包括：
所述头戴显示设备基于所述第一地理位置信息和所述第二地理位置信息，确定所述输入设备相对于所述头戴显示设备的位置信息；
所述头戴显示设备基于所述头戴显示设备相对于所述输入设备的位置信息，确定所述输入设备在虚拟现实VR画面中的第二显示位置。
4.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括所述输入设备移出所述头戴显示设备的拍摄范围；
所述头戴显示设备检测到所述输入设备的位置满足第一预设条件，包括：
所述头戴显示设备基于第一摄像头或所述第二摄像头采集到的图像，检测到所述输入设备移出所述头戴显示设备的拍摄范围。
5.根据权利要求1所述的方法，其特征在于，所述第一预设条件包括所述输入设备移出所述头戴显示设备的拍摄范围内的限定范围；
所述头戴显示设备检测到所述输入设备的位置满足第一预设条件，包括：
所述头戴显示设备基于第一摄像头或所述第二摄像头采集到的图像，检测到所述输入设备移出所述头戴显示设备的拍摄范围内的限定范围。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述头戴显示设备基于所述第一地理位置信息和所述第二地理位置信息，确定出所述输入设备在VR画面中的第二显示位置，并在所述第二显示位置显示所述输入设备对应的标记，之后还包括：
所述头戴显示设备接收所述输入设备测量出的所述输入设备的运动数据；
所述头戴显示设备基于所述输入设备在VR画面中的第二显示位置，结合所述输入设备的运动数据，确定所述输入设备在所述VR画面中的操作指令；
所述头戴显示设备响应于所述操作指令，显示相应的VR画面。
7.根据权利要求6所述的方法，其特征在于，所述第一卫星定位模块是基于北斗卫星定位的。
8.一种定位方法，其特征在于，所述方法包括：
头戴显示设备通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有输入设备；
所述头戴显示设备基于所述第一图像和所述第二图像，确定所述输入设备在虚拟现实VR画面中的第一显示位置，并在所述第一显示位置显示所述输入设备对应的标记；
所述头戴显示设备检测到所述输入设备的位置满足第二预设条件之后，向所述输入设备发送第二指令，所述第一指令用于指示所述输入设备开启卫星定位模块；
所述头戴显示设备从所述输入设备接收第三地理位置信息；
所述头戴显示设备检测到所述输入设备的位置满足第三预设条件之后，向所述输入设备发送第三指令；
所述头戴显示设备接收所述输入设备响应于第三指令发送的第四地理位置信息；
所述头戴显示设备基于所述第三地理位置信息和所述第四地理位置信息，确定出所述输入设备在VR画面中的第三显示位置，并在所述第三显示位置显示所述输入设备对应的标记。
9.根据权利要求8所述的方法，其特征在于，所述第二预设条件包括所述输入设备触及到所述头戴显示设备的拍摄范围的边界；
所述头戴显示设备检测到所述输入设备的位置满足第二预设条件，包括：
所述头戴显示设备基于第一摄像头或所述第二摄像头采集到的图像，检测到所述输入设备触及到所述头戴显示设备的拍摄范围的边界。
10.根据权利要求8所述的方法，其特征在于，所述第二预设条件包括所述输入设备触及到所述头戴显示设备的拍摄范围内的限定范围的边界；
所述头戴显示设备检测到所述输入设备的位置满足第二预设条件，包括：
所述头戴显示设备基于第一摄像头或所述第二摄像头采集到的图像，检测到所述输入设备触及到所述头戴显示设备的拍摄范围内的限定范围的边界。
11.根据权利要求9或10所述的方法，其特征在于，所述第三预设条件包括所述输入设备移出所述头戴显示设备的拍摄范围；
所述头戴显示设备检测到所述输入设备的位置满足第三预设条件，包括：
所述头戴显示设备基于第一摄像头或所述第二摄像头采集到的图像，检测到所述输入设备移出所述头戴显示设备的拍摄范围。
12.根据权利要求8所述的方法，其特征在于，所述头戴显示设备基于所述第一图像和所述第二图像，确定出所述输入设备在虚拟现实VR画面中的第一显示位置，包括：
所述头戴显示设备基于所述第一图像中所述输入设备的位置信息以及所述第二图像中所述输入设备的位置信息，确定出所述输入设备相对于所述头戴显示设备的位置信息；
所述头戴显示设备基于所述头戴显示设备相对于所述输入设备的位置信息，确定出所述输入设备在虚拟现实VR画面中的第一显示位置。
13.根据权利要求8所述的方法，其特征在于，所述头戴显示设备基于所述第三地理位置信息和所述第四地理位置信息，确定出所述输入设备在VR画面中的第三显示位置，并在所述第三显示位置显示所述输入设备对应的标记，之后还包括：
所述头戴显示设备接收所述输入设备测量出的所述输入设备的运动数据；
所述头戴显示设备基于所述输入设备在VR画面中的第三显示位置，结合所述输入设备的运动数据，确定所述输入设备在所述VR画面中的操作指令；
所述头戴显示设备响应于所述操作指令，显示相应的VR画面。
14.一种定位系统，其特征在于，包括头戴显示设备和输入设备；
所述头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有所述输入设备；
所述头戴显示设备，还用于基于所述第一图像和所述第二图像，确定出所述输入设备在虚拟现实VR画面中的第一显示位置，并在所述第一显示位置显示所述输入设备对应的标记；
所述头戴显示设备，还用于在检测到所述输入设备的位置满足第一预设条件之后，基于第一卫星定位模块获取到所述头戴显示设备的第一地理位置信息，并发送第一指令给所述输入设备；
所述输入设备，用于响应于所述第一指令，通过第二卫星定位模块获取到所述输入设备的第二地理位置信息，并将所述第二地理位置信息发送给所述头戴显示设备；
所述头戴显示设备，还用于基于所述第一地理位置信息和所述第二地理位置信息，确定出所述输入设备在VR画面中的第二显示位置，并在所述第二显示位置显示所述输入设备对应的标记。
15.一种定位系统，其特征在于，包括头戴显示设备和输入设备；
所述头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有所述输入设备；
所述头戴显示设备，还用于基于所述第一图像和所述第二图像，确定所述输入设备在虚拟现实VR画面中的第一显示位置，并在所述第一显示位置显示所述输入设备对应的标记；
所述头戴显示设备，还用于在检测到所述输入设备的位置满足第二预设条件之后，发送第二指令给所述输入设备；
所述输入设备，用于响应于所述第二指令，通过第二卫星定位模块获取到所述输入设备的第三地理位置信息，并将所述第三地理位置信息发送给所述头戴显示设备；
所述头戴显示设备，还用于在检测到所述输入设备的位置满足第三预设条件之后，发送第三指令给所述输入设备；
所述输入设备，用于响应于所述第三指令，通过所述第二卫星定位模块获取到所述输入设备的第四地理位置信息，并将所述第四地理位置信息发送给所述头戴显示设备；
所述头戴显示设备，还用于基于所述第三地理位置信息和所述第四地理位置信息，确定出所述输入设备在VR画面中的第三显示位置，并在所述第三显示位置显示所述输入设备对应的标记。
16.一种定位系统，其特征在于，包括头戴显示设备、输入设备和电子设备；
所述头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有所述输入设备；
所述头戴显示设备，还用于将所述第一图像和所述第二图像发送到所述电子设备；
所述电子设备，用于基于所述第一图像和所述第二图像，确定出所述输入设备在虚拟现实VR画面中的第一显示位置，并向所述头戴显示设备发送第四指令；
所述头戴显示设备，还用于响应于所述第四指令，在所述第一显示位置显示所述输入设备对应的标记；
所述电子设备，还用于在检测到所述输入设备的位置满足第一预设条件之后，向所述头戴显示设备发送第五指令；
所述头戴显示设备，还用于响应于所述第五指令，基于第一卫星定位模块获取到所述头戴显示设备的第五地理位置信息，并发送第六指令给所述输入设备；
所述输入设备，用于响应于所述第六指令，通过第二卫星定位模块获取到所述输入设备的第六地理位置信息，并将所述第二地理位置信息发送给所述头戴显示设备；
所述头戴显示设备，还用于将所述第五地理位置信息和所述第六地理位置信息发送到所述电子设备；
所述电子设备，还用于基于所述第五地理位置信息和所述第六地理位置信息，确定出所述输入设备在VR画面中的第四显示位置，并向所述头戴显示设备发送第七指令；
所述头戴显示设备，还用于响应于所述第七指令，在所述第四显示位置显示所述输入设备对应的标记。
17.一种定位系统，其特征在于，包括头戴显示设备、输入设备和电子设备；
所述头戴显示设备，用于通过第一摄像头采集到第一图像，通过第二摄像头采集到第二图像，所述第一图像和所述第二图像都显示包括有所述输入设备；
所述头戴显示设备，还用于将所述第一图像和所述第二图像发送到所述电子设备；
所述电子设备，用于基于所述第一图像和所述第二图像，确定出所述输入设备在虚拟现实VR画面中的第一显示位置，并向所述头戴显示设备发送第四指令；
所述头戴显示设备，还用于响应于所述第四指令，在所述第一显示位置显示所述输入设备对应的标记；
所述电子设备，还用于在检测到所述输入设备的位置满足第二预设条件之后，发送第八指令给所述输入设备；
所述输入设备，用于响应于所述第八指令，通过第二卫星定位模块获取到所述输入设备的第七地理位置信息，并将所述第七地理位置信息发送给所述头戴显示设备；
所述电子设备，还用于在检测到所述输入设备的位置满足第三预设条件之后，发送第九指令给所述输入设备；
所述输入设备，用于响应于所述第九指令，通过所述第二卫星定位模块获取到所述输入设备的第八地理位置信息，并将所述第八地理位置信息发送给所述头戴显示设备；
所述头戴显示设备，还用于将所述第七地理位置信息和所述第八地理位置信息发送到所述电子设备；
所述电子设备，还用于基于所述第七地理位置信息和所述第八地理位置信息，确定出所述输入设备在VR画面中的第五显示位置，并向所述头戴显示设备发送第十指令；
所述头戴显示设备，还用于响应于所述第十指令，在所述第五显示位置显示所述输入设备对应的标记。
18.一种头戴显示设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、摄像头、显示屏；所述一个或多个存储器分别与所述一个或多个处理器、摄像头、显示屏耦合；所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令在所述处理器上运行时，使得所述头戴显示设备执行如权利要求1-7所述的方法。
19.一种头戴显示设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、摄像头、显示屏；所述一个或多个存储器分别与所述一个或多个处理器、摄像头、显示屏耦合；所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令在所述处理器上运行时，使得所述头戴显示设备执行如权利要求8-13所述的方法。
20.一种计算机可读介质，用于存储一个或多个程序，其中所述一个或多个程序被配置为被所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令用于执行如权利要求1-7或权利要求8-13所述的方法。
CN202110352854.6A 2021-03-31 2021-03-31 一种定位方法及相关装置 Pending CN115144874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110352854.6A CN115144874A (zh) 2021-03-31 2021-03-31 一种定位方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110352854.6A CN115144874A (zh) 2021-03-31 2021-03-31 一种定位方法及相关装置

Publications (1)

Publication Number Publication Date
CN115144874A true CN115144874A (zh) 2022-10-04

Family

ID=83405456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110352854.6A Pending CN115144874A (zh) 2021-03-31 2021-03-31 一种定位方法及相关装置

Country Status (1)

Country Link
CN (1) CN115144874A (zh)

Similar Documents

Publication Publication Date Title
US10169923B2 (en) Wearable display system that displays a workout guide
KR102497683B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
EP2691938B1 (en) Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US10999412B2 (en) Sharing mediated reality content
US20160049011A1 (en) Display control device, display control method, and program
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
US20190222774A1 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110825333B (zh) 显示方法、装置、终端设备及存储介质
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200116459A (ko) 증강 현실을 위한 시스템들 및 방법들
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN112785682A (zh) 模型的生成方法、模型的重建方法及装置
CN114514744B (zh) 多维渲染
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
CN115144874A (zh) 一种定位方法及相关装置
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US20240094822A1 (en) Ar glasses as iot remote control
JP2018056791A (ja) 表示装置、受信装置、プログラム、及び受信装置の制御方法。
JP2024040034A (ja) プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination