CN111427447B - 虚拟键盘的显示方法、头戴显示设备及系统 - Google Patents

Abstract

本发明公开了虚拟键盘的显示方法、头戴显示设备及系统，该方法包括：通过电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；对第一位姿和第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿；基于第三位姿向用户呈现虚拟键盘。

Description

虚拟键盘的显示方法、头戴显示设备及系统

技术领域

本发明涉及人机交互技术领域，更具体地，涉及一种虚拟键盘的显示方法、头戴显示设备及系统。

背景技术

虚拟现实(Virtual Reality，简称VR)是近年来出现的高新技术。随着虚拟现实行业的蓬勃发展，用户使用过程中，虚拟与现实的交互需求日益剧增。

目前，基于虚拟现实设备的交互主要集中在语音识别、手势识别、头部转动跟踪等。而对于文字输入、属性浏览、桌面环境的使用等更复杂的交互方式，需要在虚拟现实设备中显示虚拟键盘。

通常可以基于视觉、惯性传感器、超声波等定位虚拟键盘。但是，基于视觉定位虚拟键盘的方式容易受环境光的影响，定位准确性较差。而基于超声波定位虚拟键盘的方式，定位精度较高，但是超声波的频率容易受到多普勒效应和温度的影响，并且设备成本较高。而基于惯性传感器定位虚拟键盘的方式，设备成本较低，但是定位精度有限。

因此，有必要提供一种新的显示虚拟键盘的方案。

发明内容

本发明的一个目的是提供一种虚拟键盘的显示方法、头戴显示设备及系统的技术方案。

根据本发明的第一方面，提供了一种头戴显示设备中虚拟键盘的显示方法，应用于头戴显示设备，所述头戴显示设备设有电磁接收器，所述方法包括：

通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；

接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；

对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿；

基于所述第三位姿向用户呈现虚拟键盘。

可选地，所述通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿包括：

根据所述电磁接收器输出的感应信号，确定所述头戴显示设备与所述物理键盘之间的第一距离和第一相对姿态；

根据所述第一距离和所述第一相对姿态，确定所述物理键盘在头戴坐标系下的第一位姿。

可选地，所述第一位姿包括第一位置参数和第一姿态参数，所述第二位姿包括第二位置参数和第二姿态参数；

所述对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿包括：

将所述第一位姿的第一位置参数和所述第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将所述第一位姿的第一姿态参数和所述第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；

根据所述第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿。

可选地，还包括：

接收物理键盘发送的键值；

基于物理键盘的按键与所述键值的映射关系，根据所述键值确定被按压的按键；

以预设的点亮时间点亮所述虚拟键盘上对应的所述被按压的按键。

可选地，还包括：

接收物理键盘的振动马达发出的振动信号；

根据所述振动信号，点亮所述虚拟键盘上与所述振动信号对应的指定按键。

根据本发明的第二方面，提供了一种头戴显示设备中虚拟键盘的显示方法，应用于物理键盘，所述物理键盘设有电磁发射器和惯性测量单元，所述方法包括：

通过所述电磁发射器向头戴显示设备发射电磁信号；

通过所述惯性测量单元测量所述物理键盘的位姿变化信息，将所述位姿变化信息发送至所述头戴显示设备。

可选地，还包括：

响应于用户的按压操作，获取键值；

将所述键值发送至头戴显示设备。

可选地，所述物理键盘还设有振动马达，所述振动马达用于在预设的指定按键被按压的情况下发出振动信号，所述方法还包括：

响应于用户对预设的指定按键的操作，所述振动马达产生振动信号；

将所述振动信号发送至头戴显示设备。

根据本发明的第三方面，提供了一种头戴显示设备，包括：电磁接收器、第一位姿确定模块、第二位姿确定模块、第三位姿确定模块和显示模块；

第一位姿确定模块，用于通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；

第二位姿确定模块，用于接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；

第三位姿确定模块，用于对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴显示设备坐标系下的第三位姿；

显示模块，用于基于所述第三位姿向用户呈现虚拟键盘。

根据本发明的第四方面，提供了一种头戴显示设备，包括：

存储器，所述存储器用于存储计算机指令；

处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如本发明第一方面提供的一种头戴显示设备中虚拟键盘的显示方法。

根据本发明的第五方面，提供了一种物理键盘，包括：

电磁信号发射器，用于向头戴显示设备发射电磁信号；

惯性测量单元，用于测量所述物理键盘的位姿变化信息，将所述位姿变化信息发送至所述头戴显示设备。

根据本发明的第六方面，提供了一种物理键盘，包括：

存储器，所述存储器用于存储计算机指令；

处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如本发明第二方面提供的一种头戴显示设备中虚拟键盘的显示方法。

根据本发明的第七方面，提供了一种头戴显示系统，包括如本发明第三方面或第四方面提供的一种头戴显示设备、如本发明第五方面或第六方面提供的一种头戴物理键盘。

根据本公开的一个实施例，基于电磁定位原理确定物理键盘的第一位姿，基于惯性测量单元的定位原理确定物理键盘的第二位姿，并将第一位姿与第二位姿进行融合，能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。本实施例结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1根据本发明提供头戴显示系统的硬件配置示意图；

图2根据本发明头戴显示设备中虚拟键盘的显示方法的一种实施方式的流程图；

图3根据本发明头戴显示设备中虚拟键盘的显示方法的另一种实施方式的流程图；

图4根据本发明头戴显示设备中虚拟键盘的显示方法的再一种实施方式的流程图；

图5根据本发明头戴显示设备的一种实施结构的方框原理图；

图6根据本发明头戴显示设备的另一种实施结构的方框原理图；

图7根据本发明物理键盘的一种实施结构的方框原理图；

图8根据本发明物理键盘的另一种实施结构的方框原理图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1是可用于实现本发明的头戴显示系统100的硬件配置的框图。

该头戴显示系统100包括头戴显示设备110和物理键盘120。

该头戴显示设备110可以是VR(虚拟现实，Virtual Reality)设备、AR(增强现实，Augmented Reality)设备及MR(混合现实，Mixed Reality)设备等。

该头戴显示设备110设置有电磁接收器，该电磁接收器可以用于感应物理键盘的电磁发射器发射的电磁信号。

在一个例子中，如图1所示，该头戴显示设备110可以包括处理器111、存储器112、接口装置113、通信装置114、显示装置115、输入装置116、音频装置117、摄像头118、电磁接收器119等。

其中，处理器111例如可以是中央处理器CPU、微处理器MCU等。存储器112例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置113例如包括USB接口、串行接口、红外接口等。通信装置114例如能够进行有线或无线通信。显示装置115例如是液晶显示屏、LED显示屏、触摸显示屏等。输入装置116例如包括触摸屏、手柄、体感输入等。音频装置117可以用于输入/输出语音信息。摄像头118可以用于获取图像信息，例如可以是双目摄像头。电磁接收器119可以用于感应物理键盘的电磁发射器发射的电磁信号。

尽管在图1中对头戴显示设备110示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如头戴显示设备110只涉及理器111、存储器112和电磁接收器119。

该物理键盘120设置有电磁发射器和惯性测量单元，该电磁发射器用于发射电磁信号，惯性测量单元用于获取物理键盘的位姿变化信息。

在一个例子中，如图1所示，该物理键盘120可以包括处理器121、存储器122、接口装置123、通信装置124、电磁发射器125、惯性测量单元126等。

其中，处理器121例如可以是中央处理器CPU、微处理器MCU等。存储器122例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置123例如包括USB接口、串行接口、红外接口等。通信装置124例如能够进行有线或无线通信。电磁发射器125可以用于向头戴显示设备发射电磁信号。惯性测量单元126可以用于测量物理键盘120的位姿变化。

尽管在图1中对物理键盘120示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如物理键盘120只涉及理器111、存储器112和电磁发射器125和惯性测量单元126。

在上述描述中，技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

图1所示的头戴显示系统仅是解释性的，并且决不是为了要限制本公开、其应用或用途。

<第一实施例>

图2是本说明书的一个实施例提供的头戴显示设备中虚拟键盘的显示方法的示意图。该实施例提供的虚拟键盘的显示方法，通过计算机技术实现，可以由图1所述的头戴显示设备110实施。

该实施例提供的头戴显示设备中虚拟键盘的显示方法，包括步骤S2200-S2800。

步骤S2200，通过电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿。

该实施例中，头戴显示设备设有电磁接收器，该电磁接收器用于感应物理键盘的电磁发射器发射的电磁信号。电磁接收器可以固定设置于头戴显示设备上，并与头戴显示设备的显示屏形成固定的位置关系。电磁接收器的设置位置通过电磁接收器感应物理键盘的电磁发射器发射的电磁信号，可以确定物理键盘在头戴坐标系下的第一位姿。

头戴坐标系是以头戴显示设备的中心为坐标原点建立的三维坐标系，该头戴坐标系以左目镜头和右目镜头的连线所在的方向为X轴，以垂直于左目镜头和右目镜头的连线的方向为Y轴，垂直于X轴和Y轴构成的平面的方向为Z轴。

在一个实施例中，通过电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿的步骤，可以进一步包括：步骤S2210-S2220。

步骤S2210，根据电磁接收器输出的感应信号，确定头戴显示设备与物理键盘之间的第一距离和第一相对姿态。

该实施例中，电磁接收器设有正交三轴线圈，正交三轴线圈包括两两垂直的三组线圈。电磁接收器的三组线圈感应电磁发射器发射的电磁信号，输出感应信号。输出的感应信号可以反映电磁接收器的三组线圈产生的感应电动势，产生的感应电动势与电磁发射器和电磁接收器之间的相对位置与方向有关。根据电磁接收器的三组线圈产生的感应电动势，组建感应电动势矩阵，利用六自由度算法求解出电磁发射器的位置参数和姿态参数，从而物理键盘与头戴显示设备之间的第一距离和第一相对姿态。

步骤S2220，根据第一距离和第一相对姿态，确定物理键盘在头戴坐标系下的第一位姿。

在本发明的实施例中，头戴显示设备的电磁接收器通过感应物理键盘的电磁发射器发射的电磁信号，产生感应电动势，根据感应电动势计算物理键盘的第一位姿，从而实现对物理键盘的定位。本实施例基于电磁定位，避免了定位过程中遮挡物遮挡的问题，能够提高定位精度，实现360°跟踪定位。

在确定确定物理键盘在头戴坐标系下的第一位姿之后，进入：

步骤S2400，接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿。

在一个实施例中，物理键盘上设有惯性测量单元，惯性测量单元用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(Dof)运动，以获取物理键盘的位姿变化信息，并将位姿变化信息发送至头戴显示设备。

在一个实施例中，物理键盘在头戴坐标系下的初始位姿，是指在头戴显示设备开启时，物理键盘相对于头戴显示设备的位姿。

物理键盘的初始位姿可以基于电磁定位原理获取。在头戴显示设备开启时，头戴显示设备的电磁接收器感应物理键盘的电磁发射器发射的电磁信号，输出感应信号；根据获取的头戴显示设备开启时的感应信号，可以确定物理键盘的初始位姿。

根据物理键盘在头戴坐标系下的初始位姿和通过惯性测量单元测量的物理键盘的位姿变化信息，可以确定物理键盘在头戴坐标系下的第二位姿。

在确定确定物理键盘在头戴坐标系下的第二位姿之后，进入：

步骤S2600，对第一位姿和第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿。

在一个实施例中，第一位姿包括第一位置参数和第一姿态参数，第二位姿包括第二位置参数和第二姿态参数。

该实施例中，对第一位姿和第二位姿进行融合，确定物理键盘的头戴显示设备坐标系下的第三位姿的步骤，可以进一步包括：步骤S2610-S2630。

步骤S2610，将第一位姿的第一位置参数和第二位姿的第二位置参数求加权平均值，得到第三位置参数。

该实施例中，第一位置参数和第二位置参数的权重可以根据工程经验进行设定。

步骤S2620，将第一位姿的第一姿态参数和第二位姿的第二姿态参数求加权平均值，得到第三姿态参数。

该实施例中，第一姿态参数和第二姿态参数的权重可以根据工程经验进行设定。

步骤S2630，根据第三位置参数和第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿。

在确定确定物理键盘在头戴坐标系下的第三位姿之后，进入：

步骤S2800，基于第三位姿向用户呈现虚拟键盘。

在一个实施例中，将在头戴坐标系下的第三位姿转换至世界坐标系下，基于转换后的第三位姿向用户呈现虚拟键盘，使虚拟场景与真实环境相契合，用户体验更好。

根据本发明的实施例，基于电磁定位原理确定物理键盘的第一位姿，基于惯性测量单元的定位原理确定物理键盘的第二位姿，并将第一位姿与第二位姿进行融合，能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。本实施例结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。

在一个实施例中，该实施例提供的头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S3200-S3600。

步骤S3200，接收物理键盘发送的键值。

该实施例中，响应于用户对物理键盘的按压操作，物理键盘向头戴显示设备发射键值。键值可以反映用户按压的按键。

步骤S3400，基于物理键盘的按键与键值的映射关系，根据键值确定被按压的按键。

在一个实施例中，物理键盘的按键与键值存在映射关系，当用户按压按键时，物理键盘将与被按压的按键对应的键值以信号的方式发送至头戴显示设备，头戴显示设备根据获取的键值，确定被按压的按键。

步骤S3600，以预设的点亮时间点亮虚拟键盘上对应的被按压的按键。

在一个实施例中，预设的点亮时间可以是被按压的按键持续点亮状态的时间。点亮时间过短，用户不容易观察到虚拟键盘中被按压的按键，点亮时间过长，在用户连续按压时，影响虚拟键盘的显示效果。预设的点亮时间可以根据实践经验进行设定。例如，点亮时间为0.3s。

例如，按键A的键值为10000，按键B的键值为01000，按键C的键值为00100，按键D的键值为00010，按键E的键值为00001。当头戴显示器接收到的键值为00100，说明按键C被按下，对应点亮虚拟键盘中的按键C。

根据本发明的实施例，接收物理键盘发送的键值，根据键值确定被按压的按键，并以预设的点亮时间点亮虚拟键盘上对应的被按压的按键，可以实现用户与虚拟键盘的交互，能够提高用户体验。

在一个实施例中，该实施例提供的头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S4200-S4400。

步骤S4200，接收物理键盘的振动马达发出的振动信号。

步骤S4400，根据振动信号，点亮虚拟键盘上与振动信号对应的指定按键。

该实施例中，指定的按键可以用于实现特定的功能。指定的按键可以是单一按键，也可以是组合按键。例如，指定按键为用于版本升级的组合键。

该实施例中，物理键盘还设置振动马达，振动马达用于在预设的指定按键被按压的情况下发出振动信号，并将振动信号发送至头戴显示设备，根据振动信号，点亮虚拟键盘上与振动信号对应的指定按键，以提示用户以按压特定的按键。

在一个实施例中，该实施例提供的头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S5200-S5400。

步骤S4200，接收物理键盘发送的触摸位置信息。

步骤S4400，根据触摸位置信息，向用户呈现虚拟光标。

该实施例中，物理键盘还设置触摸板，响应于用户对触摸板的操作，物理键盘可以获取触摸位置信息，并将触摸位置信息发送给头戴显示设备，以供头戴显示设备在虚拟场景中向用户呈现虚拟光标。

根据本发明的实施例，基于电磁定位原理确定物理键盘的第一位姿，基于惯性测量单元的定位原理确定物理键盘的第二位姿，并将第一位姿与第二位姿进行融合，能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。本实施例结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。

<第二实施例>

图3是本说明书的一个实施例提供的头戴显示设备中虚拟键盘的显示方法的示意图。该实施例提供的虚拟键盘的显示方法，通过计算机技术实现，可以由图1所述的物理键盘120实施。

该实施例提供的头戴显示设备中虚拟键盘的显示方法，包括步骤S2100-S2300。

步骤S2100，通过电磁发射器向头戴显示设备发射电磁信号。

该实施例中，电磁发射器安装在物理键盘上，电磁发射器的安装位置可以根据经验设定，例如，电磁发射器可以安装在物理键盘的中心，这样便于第一位姿的计算。

电磁发射器设有正交三轴线圈，正交三轴线圈包括两两垂直的三组线圈。控制三组线圈发射不同频率的电磁信号，以供头戴显示设备的电磁接收器感应电磁发射器发射的电磁信号并产生感应电动势。电磁发射器的三组线圈发射的电磁信号的频率不同，能够避免电磁发射器的三组线圈发射的电磁信号相互干扰。电磁发射器发射的电磁信号的强度，可以根据物理键盘与头戴显示设备的距离的远近进行调整，以保证头戴显示设备的电磁接收器能够稳定感应到电磁信号。

电磁发射器可以实时发射电磁信号，也可以基于用户的触发操作发射电磁信号。

在一个具体的例子中，电磁发射器可以以预设的时间间隔，向头戴显示设备发射电磁信号。

在一个具体的例子中，物理键盘可以接收头戴显示设备发送的发射电磁信号的请求，响应于头戴显示设备发送的发射电磁信号的请求，控制电磁发射器工作，以向头戴显示设备发射电磁信号。

在一个具体的例子中，电磁发射器可以响应于用户的开启操作，向头戴显示设备发射电磁信号。

在一个具体的例子中，响应于用户对物理键盘的操作，电磁发射器工作，以向头戴显示设备发射电磁信号。

在本发明的实施例中，物理键盘的电磁发射器向头戴显示设备发射电磁信号，以供头戴显示设备的电磁接收器感应电磁信号，产生感应电动势，根据感应电动势计算物理键盘的第一位姿，从而实现对物理键盘的定位。本实施例基于电磁定位，避免了定位过程中遮挡物遮挡的问题，能够实现360°跟踪定位。

步骤S2300，通过惯性测量单元测量物理键盘的位姿变化信息，将位姿变化信息发送至头戴显示设备。

本实施例中，惯性测量单元安装在物理键盘上，惯性测量单元用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(Dof)运动，以获取物理键盘的位姿变化信息，并将位姿变化信息发送至头戴显示设备，以供头戴显示设备根据初始位姿和位姿变化信息，计算物理键盘的第二位姿。

在一个实施例中，该实施例提供的头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S3100。

步骤S3100，响应于用户的按压操作，获取键值，将键值发送至头戴显示设备。

该实施例中，物理键盘的按键与键值存在映射关系，当用户按压按键时，物理键盘将与被按压的按键对应的键值以信号的方式发送至头戴显示设备，头戴显示设备根据获取的键值，确定被按压的按键。

例如，按键A的键值为10000，按键B的键值为01000，按键C的键值为00100，按键D的键值为00010，按键E的键值为00001。当用户按下按键C时，物理键盘将按键C对应的键值00100发送至头戴显示器。

根据本发明的实施例，响应于用户的按压操作，获取键值，将键值发送至头戴显示设备，以使头戴显示设备以预设的点亮时间点亮虚拟键盘上对应的被按压的按键，可以实现用户与虚拟键盘的交互，能够提高用户体验。

在一个实施例中，物理键盘还设有振动马达，振动马达用于在预设的指定按键被按压的情况下发出振动信号。

该实施例中，该头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S4100。

步骤S4100，响应于用户对预设的指定按键的操作，振动马达产生振动信号；将振动信号发送至头戴显示设备。

该实施例中，指定的按键可以用于实现特定的功能。指定的按键可以是单一按键，也可以是组合按键。例如，指定按键为用于版本升级的组合键。

该实施例中，物理键盘还设置振动马达，振动马达用于在预设的指定按键被按压的情况下发出振动信号，并将振动信号发送至头戴显示设备，根据振动信号，点亮虚拟键盘上与振动信号对应的指定按键，以提示用户以按压特定的按键。

在一个实施例中，物理键盘还设置触摸板，该实施例提供的头戴显示设备中虚拟键盘的显示方法还可以包括：步骤S5100。

步骤S5100，响应于用户对触摸板的操作，获取触摸位置信息，并将触摸位置信息发送至头戴显示设备。

该实施例中，物理键盘还设置触摸板，响应于用户对触摸板的操作，物理键盘可以获取触摸位置信息，并将触摸位置信息发送给头戴显示设备，以供头戴显示设备在虚拟场景中向用户呈现虚拟光标。

根据本发明的实施例，基于电磁定位原理确定物理键盘的第一位姿，基于惯性测量单元的定位原理确定物理键盘的第二位姿，并将第一位姿与第二位姿进行融合，能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。本实施例结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。

<例子>

如图4所示，该头戴显示设备中虚拟键盘的显示方法可以包括如下步骤S401～S409。

步骤S401，通过电磁发射器向头戴显示设备发射电磁信号；

步骤S402，通过电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；

步骤S403，通过惯性测量单元测量物理键盘的位姿变化信息，将位姿变化信息发送至头戴显示设备；

步骤S404，接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；

步骤S405，对第一位姿和第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿；

步骤S406，基于第三位姿向用户呈现虚拟键盘；

步骤S407，响应于用户的按压操作，获取键值，将键值发送至头戴显示设备；

步骤S408，接收物理键盘发送的键值；

步骤S409，基于物理键盘的按键与键值的映射关系，根据键值确定被按压的按键。

根据本发明的实施例，基于电磁定位原理确定物理键盘的第一位姿，基于惯性测量单元的定位原理确定物理键盘的第二位姿，并将第一位姿与第二位姿进行融合，能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。本实施例结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。

<第三实施例>

图5是本发明的一个实施例提供的头戴显示设备的示意图。

该头戴显示设备可以是VR设备、AR设备及MR设备等。

该实施例提供的头戴显示设备500，包括电磁接收器501、第一位姿确定模块502、第二位姿确定模块503、第三位姿确定模块504和显示模块505。

第一位姿确定模块502可以用于通过电磁接收器501感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿。

在一个实施例中，第一位姿确定模块502可以进一步用于根据电磁接收器输出的感应信号，确定头戴显示设备与所述物理键盘之间的第一距离和第一相对姿态；

以及，用于根据第一距离和第一相对姿态，确定物理键盘在头戴坐标系下的第一位姿。

第二位姿确定模块503可以用于接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿。

第三位姿确定模块504可以用于对第一位姿和第二位姿进行融合，确定物理键盘的头戴显示设备坐标系下的第三位姿。

在一个实施例中，第一位姿包括第一位置参数和第一姿态参数，第二位姿包括第二位置参数和第二姿态参数。

该实施例中，第三位姿确定模块504可以进一步用于：

将第一位姿的第一位置参数和第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将第一位姿的第一姿态参数和第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；以及，

根据第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿。

显示模块505可以用于基于第三位姿向用户呈现虚拟键盘。

在一个实施例中，该头戴显示设备500还包括：键值接收模块506、按键确定模块507和第一点亮模块508。

键值接收模块506可以用于接收物理键盘发送的键值。

按键确定模块507可以用于基于物理键盘的按键与所述键值的映射关系，根据键值确定被按压的按键。

第一点亮模块508可以用于以预设的点亮时间点亮虚拟键盘上对应的被按压的按键。

在一个实施例中，该头戴显示设备500还包括：振动信号接收模块509、第二点亮模块510。

振动信号接收模块509可以用于接收物理键盘的振动马达发出的振动信号。

第二点亮模块510可以用于根据振动信号，点亮虚拟键盘上与振动信号对应的指定按键。

图6是本发明的另一个实施例提供的头戴显示设备的示意图。

该头戴显示设备可以是VR设备、AR设备及MR设备等。

该实施例提供的头戴显示设备600，包括处理器601和存储器602，存储器602中存储有计算机指令，所述计算机指令被处理器601运行时执行前述第一实施例的头戴显示设备中虚拟键盘的显示方法。

根据本发明的实施例，结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。本实施例能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。此外，本实施例的头戴显示设备结构简单，能够实现量产。

<第四实施例>

图7是本发明的一个实施例提供的物理键盘的示意图。

该物理键盘与头戴显示设备通信连接，该实施例提供的物理键盘700，包括电磁发射器701和惯性测量单元702。

电磁发射器701可以用于向头戴显示设备发射电磁信号。

惯性测量单元702可以用于测量物理键盘的位姿变化信息，将位姿变化信息发送至头戴显示设备。

在一个实施例中，该物理键盘还包括键值获取模块703。

键值获取模块703可以用于响应于用户的按压操作，获取键值，将键值发送至头戴显示设备。

在一个实施例中，该物理键盘还包括振动信号获取模块704。

振动信号获取模块704可以用于响应于用户对预设的指定按键的操作，振动马达产生振动信号；将振动信号发送至头戴显示设备。

图8是本发明的另一个实施例提供的物理键盘的示意图。

该实施例提供的物理键盘800，包括处理器801和存储器802，存储器802中存储有计算机指令，所述计算机指令被处理器801运行时执行前述第二实施例的头戴显示设备中虚拟键盘的显示方法。

根据本发明的实施例，结合电磁信号和惯性测量单元对物理键盘进行定位，能够提高定位的精确度，同时能够保证定位的稳定性。本实施例能够利用惯性测量单元短时定位的准确性，以弥补电磁信号的强度变化导致的电磁定位得到虚拟键盘的位姿变化不平滑，从而降低画面抖动。此外，本实施例的头戴显示设备结构简单，能够实现量产。

上述各实施例主要重点描述与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种头戴显示设备中虚拟键盘的显示方法，应用于头戴显示设备，所述头戴显示设备设有电磁接收器，所述方法包括：

通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；其中，所述第一位姿包括第一位置参数和第一姿态参数；

接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；其中，所述第二位姿包括第二位置参数和第二姿态参数；

对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿，包括：

所述第一位姿的第一位置参数和所述第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将所述第一位姿的第一姿态参数和所述第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；

根据所述第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿；

基于所述第三位姿向用户呈现虚拟键盘。

2.根据权利要求1所述的方法，所述通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿包括：

根据所述电磁接收器输出的感应信号，确定所述头戴显示设备与所述物理键盘之间的第一距离和第一相对姿态；

根据所述第一距离和所述第一相对姿态，确定所述物理键盘在头戴坐标系下的第一位姿。

3.根据权利要求1所述的方法，还包括：

接收物理键盘发送的键值；

基于物理键盘的按键与所述键值的映射关系，根据所述键值确定被按压的按键；

以预设的点亮时间点亮所述虚拟键盘上对应的所述被按压的按键。

4.根据权利要求1所述的方法，还包括：

接收物理键盘的振动马达发出的振动信号；

根据所述振动信号，点亮所述虚拟键盘上与所述振动信号对应的指定按键。

5.一种头戴显示设备中虚拟键盘的显示方法，应用于物理键盘，所述物理键盘设有电磁发射器和惯性测量单元，所述方法包括：

通过所述电磁发射器向头戴显示设备发射电磁信号，以使所述头戴显示设备确定物理键盘在头戴坐标系下的第一位姿；其中，所述第一位姿包括第一位置参数和第一姿态参数；

通过所述惯性测量单元测量所述物理键盘的位姿变化信息，将所述位姿变化信息发送至所述头戴显示设备，以使所述头戴显示设备根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；其中，所述第二位姿包括第二位置参数和第二姿态参数；

对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿，包括：

所述第一位姿的第一位置参数和所述第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将所述第一位姿的第一姿态参数和所述第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；

根据所述第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿；

基于所述第三位姿向用户呈现虚拟键盘。

6.根据权利要求5所述的方法，还包括：

响应于用户的按压操作，获取键值；

将所述键值发送至头戴显示设备。

7.根据权利要求5所述的方法，所述物理键盘还设有振动马达，所述振动马达用于在预设的指定按键被按压的情况下发出振动信号，所述方法还包括：

响应于用户对预设的指定按键的操作，所述振动马达产生振动信号；

将所述振动信号发送至头戴显示设备。

8.一种头戴显示设备，包括：电磁接收器、第一位姿确定模块、第二位姿确定模块、第三位姿确定模块和显示模块；

第一位姿确定模块，用于通过所述电磁接收器感应物理键盘的电磁发射器发射的电磁信号，以确定物理键盘在头戴坐标系下的第一位姿；其中，所述第一位姿包括第一位置参数和第一姿态参数；

第二位姿确定模块，用于接收物理键盘发送的通过设置在物理键盘的惯性测量单元测量得到的位姿变化信息，根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；其中，所述第二位姿包括第二位置参数和第二姿态参数；

第三位姿确定模块，用于对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴显示设备坐标系下的第三位姿，包括：

所述第一位姿的第一位置参数和所述第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将所述第一位姿的第一姿态参数和所述第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；

根据所述第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿；

显示模块，用于基于所述第三位姿向用户呈现虚拟键盘。

9.一种头戴显示设备，包括：

存储器，所述存储器用于存储计算机指令；

处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如权利要求1-5中任一项所述的一种头戴显示设备中虚拟键盘的显示方法。

10.一种物理键盘，包括：

电磁信号发射器，用于向头戴显示设备发射电磁信号，以使所述头戴显示设备确定物理键盘在头戴坐标系下的第一位姿；其中，所述第一位姿包括第一位置参数和第一姿态参数；

惯性测量单元，用于测量所述物理键盘的位姿变化信息，将所述位姿变化信息发送至所述头戴显示设备，以使所述头戴显示设备根据物理键盘在头戴坐标系下的初始位姿和位姿变化信息，确定物理键盘在头戴坐标系下的第二位姿；其中，所述第二位姿包括第二位置参数和第二姿态参数；

对所述第一位姿和所述第二位姿进行融合，确定物理键盘的头戴坐标系下的第三位姿，包括：

所述第一位姿的第一位置参数和所述第二位姿的第二位置参数求加权平均值，得到第三位置参数；

将所述第一位姿的第一姿态参数和所述第二位姿的第二姿态参数求加权平均值，得到第三姿态参数；

根据所述第三位置参数和所述第三姿态参数，确定物理键盘的头戴坐标系下的第三位姿；

基于所述第三位姿向用户呈现虚拟键盘。

11.一种物理键盘，包括：

存储器，所述存储器用于存储计算机指令；

处理器，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如权利要求5-7中任一项所述的一种头戴显示设备中虚拟键盘的显示方法。

12.一种头戴显示系统，包括如权利要求8或9所述的头戴显示设备和如权利要求10或11所述物理键盘。