CN115047966A - 交互方法、电子设备与交互系统 - Google Patents

交互方法、电子设备与交互系统 Download PDF

Info

Publication number
CN115047966A
CN115047966A CN202110218458.4A CN202110218458A CN115047966A CN 115047966 A CN115047966 A CN 115047966A CN 202110218458 A CN202110218458 A CN 202110218458A CN 115047966 A CN115047966 A CN 115047966A
Authority
CN
China
Prior art keywords
hand
input
head
head display
tracking data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110218458.4A
Other languages
English (en)
Inventor
麦睿楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110218458.4A priority Critical patent/CN115047966A/zh
Priority to PCT/CN2021/140534 priority patent/WO2022179279A1/zh
Priority to EP21927703.5A priority patent/EP4276591A1/en
Publication of CN115047966A publication Critical patent/CN115047966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

本申请提供一种交互方法、电子设备与交互系统，涉及虚拟现实技术领域，其中，该方法包括：头显设备显示虚拟键盘；手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向头显设备发送手部检测数据；头显设备根据手部检测数据确定发生输入触发事件后，根据摄像头采集的手部图像确定目标手指相对于虚拟键盘的初始点击位置；手戴设备向头显设备发送运动传感器采集的手部运动跟踪数据；头显设备响应于用户的输入结束操作，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果。本申请提供的技术方案可以提高虚拟现实场景中手势输入的准确率。

Description

交互方法、电子设备与交互系统
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种交互方法、电子设备与交互系统。
背景技术
随着计算机图形技术和终端技术的发展，虚拟现实(virtual reality，VR)技术、增强现实(augmented reality，AR)技术和混合现实(mixed reality，MR)技术被越来越多的应用到人们的生活中。在VR、AR或MR等场景中，用户可以通过头戴显示器(head-mounteddisplay，HMD)设备(简称头显设备)构建的虚拟融合环境获得可交互的沉浸式体验。
在虚拟环境中，用户可以通过头显设备提供的虚拟用户界面，与头显设备进行交互。例如，头显设备可以显示渲染虚拟键盘，用户可以在虚拟键盘上进行触控操作，以实现手势输入。在感知触控操作时，目前主流的方案是利用头显设备上的摄像头采集用户的手部图像，基于连续多帧手部图像识别、跟踪用户手部关键点的空间位置，进而基于跟踪的坐标数据确定用户的触控操作。但是，这种基于摄像头感知用户触控操作来实现手势输入的方式，由于手部自遮挡等原因，输入识别结果的准确率较低。
发明内容
有鉴于此，本申请提供一种交互方法、电子设备与交互系统，用于提高虚拟现实场景中手势输入识别结果的准确率。
为了实现上述目的，第一方面，本申请实施例提供一种交互方法，应用于交互系统，该交互系统包括头显设备和手戴设备，头显设备上具有摄像头，手戴设备上具有运动传感器，手戴设备上还具有振动传感器和/或脉搏波传感器，该方法包括：
头显设备显示虚拟键盘；
手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向头显设备发送手部检测数据，目标传感器信号包括振动传感器检测到的生物振动波信号和/或脉搏波传感器检测到的脉搏波信号；
头显设备根据手部检测数据确定发生输入触发事件后，根据摄像头采集的手部图像确定目标手指相对于虚拟键盘的初始点击位置；
手戴设备向头显设备发送运动传感器采集的手部运动跟踪数据；
头显设备响应于用户的输入结束操作，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果。
本申请实施例提供的交互方法，头显设备可以显示虚拟键盘，手戴设备可以在检测到目标传感器信号后，向头显设备发送手部检测数据；头显设备可以基于该手部检测数据确定输入触发事件，实现点击动作的检测。手戴设备还可以将运动传感器采集的目标手指的手部运动跟踪数据传输给头显设备，头显设备可以通过摄像头采集用户的手部图像，基于该手部图像和运动传感器采集的手部运动跟踪数据，进行输入结果的确定和显示。上述方案中，通过采用振动传感器或脉搏波传感器检测的信号来检测点击动作，并基于运动传感器采集的手部运动跟踪数据确定输入结果，可以避免手部遮挡问题，因而可以提升确定的输入结果的准确性；另外，运动传感器的采样频率通常远高于摄像头的帧率，信号处理算法的复杂度相对也比较低，因而采用运动传感器采集的信号确定输入结果，也可以降低输出时延，提升用户手势输入的实时性体验。
在第一方面的一种可能的实施方式中，手部图像包括摄像头采集的手部图像跟踪数据，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果，包括：
对手部图像跟踪数据和手部运动跟踪数据进行数据融合，得到目标手指的运动跟踪数据；
根据初始点击位置、运动跟踪数据、虚拟键盘的键盘布局和预设的语言模型，确定输入结果；
显示输入结果。
上述实施方式中，头显设备通过对摄像头采集的手部图像跟踪数据和IMU采集的手部运动跟踪数据进行数据融合，然后基于融合得到目标手指的运动跟踪数据确定输入结果，可以进一步提高确定的输入结果的准确性。
在第一方面的一种可能的实施方式中，手部图像跟踪数据包括目标手指上目标部位的图像跟踪数据或手戴设备的图像跟踪数据。这样头显设备可以从手部图像跟踪数据中提取目标部位或手戴设备的图像跟踪数据，进行输入结果的确定，以提高处理效率。
在第一方面的一种可能的实施方式中，手戴设备上设置有视觉标记，手部图像跟踪数据包括视觉标记的图像跟踪数据。这样头显设备可以从手部图像跟踪数据中提取视觉标记的图像跟踪数据，进行输入结果的确定，以提高处理效率。
在第一方面的一种可能的实施方式中，头显设备在根据手部检测数据确定目标传感器信号满足预设要求的情况下，确定发生输入触发事件。这样可以提高手势输入触发检测的准确性。
在第一方面的一种可能的实施方式中，手部检测数据中包括指示信息，根据检测到的目标传感器信号向所述头显设备发送手部检测数据，包括：
对检测到的目标传感器信号进行特征提取；
在提取的目标信号特征满足预设要求的情况下，向头显设备发送指示信息；
对应的，头显设备在接收到指示信息时，确定目标传感器信号满足预设要求。
上述实施方式中，通过在手戴设备上检测目标传感器信号是否满足预设要求，可以减小手戴设备与头显设备之间的数据传输量，进而可以提高传输效率，同时也可以节省手戴设备的传输能耗。
在第一方面的一种可能的实施方式中，头显设备在根据摄像头采集的手部图像确定输入触发操作作用于虚拟键盘上的情况下，确定发生输入触发事件。这样可以方便后续输入结果的识别，也可以节省能耗。
在第一方面的一种可能的实施方式中，头显设备在根据摄像头采集的手部图像确定用户佩戴手戴设备的手部为目标手势的情况下，确定发生输入触发事件。这样可以提高手势输入触发检测的准确性。
在第一方面的一种可能的实施方式中，虚拟键盘的渲染位置位于物理平面上，输入触发操作为目标手指点击物理平面上虚拟键盘的操作，输入结束操作为目标手指离开物理平面上虚拟键盘的操作。
在第一方面的一种可能的实施方式中，输入触发操作为目标手指与拇指的捏合操作，输入结束操作为目标手指与拇指松开的操作。
在第一方面的一种可能的实施方式中，虚拟键盘的渲染位置位于空中。这样可以提高用户操作的便利性。
在第一方面的一种可能的实施方式中，手戴设备响应于用户的滑动输入操作，向头显设备发送运动传感器采集的手部运动跟踪数据。这样用户可以通过滑动输入操作输入内容，从而可以提升用户进行输入操作的灵活性。
在第一方面的一种可能的实施方式中，手戴设备为指戴设备，目标手指为佩戴手戴设备的手指。这样可以方便用户佩戴，并且可以更好的检测目标手指的运动，从而可以提高检测结果的准确性。
在第一方面的一种可能的实施方式中，振动传感器和运动传感器为同一IMU，头显设备与手戴设备之间通过蓝牙连接通信。
上述实施方式中，振动传感器和运动传感器采用同一IMU，可以降低手戴设备的结构复杂度，并可以提高检测的手部运动跟踪数据的准确性；头显设备与手戴设备之间通过蓝牙连接通信，可以降低功耗和成本。
第二方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面中头显设备或手戴设备所执行的方法。
第三方面，本申请实施例提供一种交互系统，其特征在于，包括：头显设备和手戴设备，头显设备上具有摄像头，手戴设备上具有运动传感器，手戴设备上还具有振动传感器和/或脉搏波传感器，其中，头显设备用于执行上述第一方面中头显设备所执行的方法，手戴设备用于执行上述第一方面中手戴设备所执行的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中头显设备或手戴设备所执行的方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中头显设备或手戴设备所执行的方法。
第六方面，本申请实施例提供一种芯片系统，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述第一方面中头显设备或手戴设备所执行的方法。其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的交互系统的系统架构示意图；
图2为本申请实施例提供的头显设备的功能结构示意图；
图3为本申请实施例提供的手戴设备的功能结构示意图；
图4为本申请实施例提供的交互方法的流程示意图；
图5为本申请实施例提供的生物振动波信号的示意图；
图6为本申请实施例提供的一种输入结果示意图；
图7为本申请实施例提供的另一种输入结果示意图；
图8本申请实施例提供的一种交互装置的结构示意图；
图9为本申请实施例提供的另一种交互装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
为了便于理解本申请实施例中的技术方案，下面首先对本申请实施例中所涉及的部分术语进行解释：
VR：虚拟现实技术，是一种可以创建和体验虚拟世界的计算机仿真系统，该技术利用计算机生成一种模拟环境，使用户沉浸到该虚拟环境中，产生有立体感的视觉、听觉、触觉甚至嗅觉，并能通过语言、手势等进行实时交互。
AR：增强现实技术，是一种将虚拟信息与真实世界融合的技术，通过运用多媒体技术、三维建模技术、智能交互技术、传感器技术等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等信息叠加到真实世界中，使得数字、物理两种信息互为补充，从而实现对真实世界的“增强”。
MR：混合现实技术，是VR和AR技术的进一步发展，通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。混合现实一般采用光学透视技术，在人的眼球叠加虚拟图像。
VR、AR和MR等与虚拟环境相关的技术，广义上都可以称为虚拟现实技术，在本申请的一些描述中，虚拟现实技术可以作为广义上的理解。
本申请的技术方案可以应用于VR设备、AR设备或MR设备，常见的例如头显设备等，本申请实施例中即以头显设备为例进行示例性说明。
在VR、AR或MR等场景中，都涉及数字化的虚拟场景。虚拟场景通常通过VR设备、AR设备或MR设备实现，为给用户提供可交互的沉浸式体验，可以采用手柄、触控板等物理硬件，或者语音指令、手势操作等方式供用户进行输入。
在通过手势操作进行输入的具体实现过程中，可以通过设备的传感器系统获取用户的手势操作。例如，可以通过头显设备上的摄像头采集用户在操作虚拟键盘的过程中的手部图像，基于采集的手部图像分割、识别、跟踪用户手部关键点的空间位置，进而基于跟踪数据确定用户在虚拟键盘上的触控操作(即手势操作)。但是，这种基于摄像头感知用户触摸操作来实现手势输入的方式，由于头显设备上摄像头与用户手部的相对位置关系，手指的点击动作容易被手上的其他部位，比如手背遮挡，导致点击动作容易被误识、漏识；而且，基于摄像头感知用户触控操作的算法通常比较复杂，对算力要求高，较大的时延不能满足快速点击动作检测的需求。
为此，本申请实施例提供一种交互方法，通过采用振动传感器采集的沿着手指皮层、脂肪层传递的生物振动信号来实现点击动作的检测，并通过结合运动传感器提供的手部运动跟踪数据和摄像头采集的手部图像进行手势操作的识别，来提高虚拟现实场景中手势输入的准确率和实时性体验。
下面首先对本申请实施例涉及的系统进行说明。
图1为本申请实施例提供的交互系统的系统架构示意图，如图1所示，交互系统可以包括：头显设备100和手戴设备200。
其中，头显设备100可以是头盔、眼镜等，手戴设备200可以是诸如指环、指套之类的指戴设备，也可以是诸如手环、臂环之类的臂戴设备，图1中是以指戴设备为例进行示例性说明。
头显设备100与手戴设备200之间可以建立近距离通信连接，通过建立的近距离通信连接进行数据交互。建立近距离通信连接的技术包括但不局限于：无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(bluetooth，BT)技术、超宽带(ultrawide band，UWB)技术、近场通信(near fieldcommunication，NFC)技术、红外(infrared，IR)技术、通用2.4G/5G频段无线通信技术等。在本申请一实施例中，头显设备100与手戴设备200之间采用蓝牙技术建立近距离通信连接，以降低功耗和开发实现成本，本申请实施例中后续也以蓝牙连接为例进行示例性说明。
头显设备100可以以VR、AR或MR等方式为用户提供虚拟环境供用户交互，用户可以通过语音输入或手势输入等方式实现用户输入，其中，手势输入可以包括隔空手势输入和基于界面的手势输入(比如基于虚拟键盘的手势输入)。对于基于虚拟键盘的手势输入，头显设备100与手戴设备200建立近距离通信连接后，可以获取手戴设备200采集的手部运动跟踪数据，基于获取的手部运动跟踪数据进行手势操作的识别。
图2为本申请实施例提供的头显设备100的功能结构示意图，如图2所示，头显设备100可以包括：处理器110、存储器120、通信模块130、显示屏141、摄像头142、音频模块143、扬声器143A、麦克风143B、通用串行总线(Universal Serial Bus，USB)接口150、充电管理模块160、电源管理模块161、电池162、传感器模块170、按键180、指示器190等。
可以理解的是，本申请实施例示意的结构并不构成对头显设备100的具体限定。在本申请另一些实施例中，头显设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP，调制解调处理器，GPU，ISP，控制器，存储器，视频编解码器，DSP，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是头显设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令，从而执行头显设备100的各种功能应用以及数据处理。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序等。存储数据区可存储头显设备100使用过程中所创建的数据(比如图像数据等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal FlashStorage，UFS)等。
通信模块130可以提供应用在头显设备100上的包括WLAN(如Wi-Fi网络)，蓝牙，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，NFC，IR等无线通信的解决方案。通信模块130可以是集成至少一个通信处理模块的一个或多个器件。
显示屏141可以采用液晶显示屏(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)、柔性发光二极管(flex light-emitting diode，FLED)、Mini LED、Micro LED、量子点发光二极管(quantumdot light emitting diodes，QLED)等。
在一些实施例中，头显设备100可以具有透明或半透明显示屏142，用户可以透过该显示屏142直接查看物理环境；头显设备100可以在透明或半透明显示屏142上呈现虚拟环境。头显设备100也可以具有不透明显示屏142，头显设备100可以捕获物理环境的图像或视频，将捕获的图像或视频与虚拟环境组合后在不透明显示屏142上呈现。
摄像头142用于捕获静态图像(如设备周围的物理环境)或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
在一些实施例中，头显设备100可以包括1个或多个摄像头142，每个摄像头142可以是传统的灰度、RGB单目摄像头或深度摄像头(比如，基于双目视差实现深度成像的摄像头、基于时间飞行实现深度成像的摄像头)，头显设备100可以通过一个或多个摄像头142捕获物理环境的图像或视频，以在虚拟环境中叠加显示物理环境，或者基于捕获的图像或视频感知物理环境中物理对象的位置等信息，将虚拟对象叠加显示在物理对象上，比如在物理表面上显示虚拟键盘。
头显设备100可以通过音频模块143，扬声器143A，麦克风143B，以及应用处理器等实现音频功能。例如，头显设备100可以模拟物理环境中的声音进行播放，也可以接收用户的语音信息等。
音频模块143用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块143还可以用于对音频信号编码和解码。在一些实施例中，音频模块143可以设置于处理器110中，或将音频模块143的部分功能模块设置于处理器110中。
扬声器143A，也称“喇叭”，用于将音频电信号转换为声音信号。用户可以通过扬声器143A收听音频信息。
麦克风143B，也称“传声器”，用于将声音信号转换为电信号。当发送语音信息时，用户可以通过人嘴靠近麦克风143B发声，将声音信号输入到麦克风143B。头显设备100可以设置至少一个麦克风143B。在另一些实施例中，头显设备100可以设置两个麦克风143B，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，头显设备100还可以设置三个，四个或更多麦克风143B，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
USB接口150是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口150可以用于连接充电器为头显设备100充电，也可以用于头显设备100与外围设备之间传输数据。该接口还可以用于连接其他头显设备100。
充电管理模块160用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块160可以通过USB接口150接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块160可以通过头显设备100的无线充电线圈接收无线充电输入。充电管理模块160为电池162充电的同时，还可以通过电源管理模块161为终端设备供电。
电源管理模块161用于连接电池162，充电管理模块160与处理器110。电源管理模块161接收电池162和/或充电管理模块160的输入，为处理器110、存储器120、通信模块130和摄像头142等供电。电源管理模块161还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块161也可以设置于处理器110中。在另一些实施例中，电源管理模块161和充电管理模块160也可以设置于同一个器件中。
传感器模块170可以包括压力传感器、陀螺仪传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器和触摸传感器等。
按键180包括开机键，音量键等。按键180可以是机械按键。也可以是触摸式按键。头显设备100可以接收按键输入，产生与头显设备100的用户设置以及功能控制有关的键信号输入。
指示器190可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息等。
图3为本申请实施例提供的手戴设备200的功能结构示意图，如图3所示，手戴设备200可以包括：处理器210、存储器220、通信模块230、振动传感器241、脉搏波传感器242、运动传感器243、USB接口250、充电管理模块260、电源管理模块261、电池262、按键270、指示器280等。
可以理解的是，本申请实施例示意的结构并不构成对手戴设备200的具体限定。在本申请另一些实施例中，手戴设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。
存储器220可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在存储器220的指令，从而执行手戴设备200的各种功能应用以及数据处理。
通信模块230可以提供应用在手戴设备200上的包括WLAN(如Wi-Fi网络)，蓝牙，NFC，IR等无线通信的解决方案。通信模块230可以是集成至少一个通信处理模块的一个或多个器件。
振动传感器241可以是能够检测生物振动波信号的压电传感器、光学传感器或运动传感器等。
脉搏波传感器242用于检测用户手部或手臂的脉搏波信号，其可以设置在手戴设备朝向用户皮肤的一面。脉搏波传感器242具体可以是压电传感器，也可以是光电容积传感器或其他可测量脉搏波信号的传感器，其中，压电传感器采集的脉搏波信号为压力脉搏波信号，光电容积传感器采集的脉搏波信号为光电容积描记(Photoplethysmograph，PPG)信号；压电传感器具体可以为压电薄膜传感器或压电陶瓷传感器等，光电容积传感器具体可以采用发光二极管和光电二极管实现。
运动传感器243可以是3轴加速度传感器(accelerator，ACC)、3轴陀螺仪传感器(gyroscope)或6轴/9轴惯性测量单元(Inertial measurement unit，IMU)。在本申请一实施例中，运动传感器243采用IMU，以提高检测的准确性，振动传感器241也可以采用同一IMU，以提高手戴设备的结构复杂度。
USB接口250是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口250可以用于连接充电器为手戴设备200充电，也可以用于手戴设备200与外围设备之间传输数据。该接口还可以用于连接其他手戴设备200。
充电管理模块260用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块260可以通过USB接口250接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块260可以通过手戴设备200的无线充电线圈接收无线充电输入。充电管理模块260为电池262充电的同时，还可以通过电源管理模块261为终端设备供电。
电源管理模块261用于连接电池262，充电管理模块260与处理器210。电源管理模块261接收电池262和/或充电管理模块260的输入，为处理器210、存储器220、通信模块230和摄像头142等供电。电源管理模块261还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块261也可以设置于处理器210中。在另一些实施例中，电源管理模块261和充电管理模块260也可以设置于同一个器件中。
按键270包括开机键等。按键270可以是机械按键。也可以是触摸式按键。手戴设备200可以接收按键输入，产生与手戴设备200的用户设置以及功能控制有关的键信号输入。
指示器280可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息等。
本实施例中，手戴设备200上的振动传感器241可以检测目标手指执行敲击或捏合等动作时产生的生物振动波信号，脉搏波传感242可以检测目标手指执行敲击或捏合等动作时手部或手臂的脉搏波信号，IMU(即运动传感器243)可以检测目标手指执行敲击或捏合等动作时用户手部的加速度信号，还可以检测用户手部的角速度和地磁场等信息。对应的，IMU可以包括三轴加速度计，也可以包括三轴陀螺仪和三轴磁传感器，以分别检测用户手部的加速度、角速度和地磁场。其中，当手戴设备200为指戴设备时，目标手指可以是用户佩戴该指戴设备的手指，脉搏波传感242可以检测目标手指的脉搏波信号；当手戴设备200为臂戴设备时，目标手指可以是佩戴手戴设备200的手部的任一手指，比如食指，脉搏波传感242可以检测用户手臂的脉搏波信号。
手戴设备200可以通过通信模块230与头显设备100的通信模块130建立近距离通信连接，在建立连接后，手戴设备200可以在脉搏波传感器和/或振动传感器检测到相关的信号(此处称为目标传感器信号)后，向头显设备100发送对应的波形数据或者特征；头显设备100可以基于该波形数据或者特征确定输入触发事件，实现点击动作的检测。手戴设备200还可以将IMU采集的手部运动跟踪数据，比如线性加速度、角速度等传输给头显设备100，头显设备100可以同时通过摄像头采集用户的手部图像跟踪数据，将IMU采集的手部运动跟踪数据和摄像头采集的手部图像跟踪数据融合在一起，然后进行输入结果的确定和显示。其中，头显设备100采用脉搏波传感器和/或振动传感器检测的信号来检测点击动作，可以避免基于摄像头感知用户触控操作时的手部遮挡问题，因而可以提高输入识别结果的准确性；而且，头显设备100在确定输入结果时，融合IMU采集的手部运动跟踪数据和摄像头采集的手部图像跟踪数据进行确定，也可以克服IMU累计误差引起的漂移，提高跟踪精度的鲁棒性，进一步提升确定的输入识别结果的准确性；另外，IMU的采样频率通常远高于摄像头的帧率，信号处理算法的复杂度相对也比较低，因而头显设备100采用IMU采集的信号确定输入结果，也可以降低输出时延，提升用户手势输入的实时性体验。
在一些实施方式中，IMU的采样频率可以高于100Hz，以提高识别准确率，并降低输出时延以满足检测快速点击动作的需求。
对于用户的每次输入操作，手戴设备200和头显设备100都可以通过上述交互过程进行输入结果的确定，下面对用户的一次输入操作对应的输入过程进行说明。
图4为本申请实施例提供的交互方法的流程示意图，如图4所示，该方法可以包括如下步骤：
S110、头显设备显示虚拟键盘。
如前所述，头显设备可以为用户提供虚拟场景供用户交互，虚拟场景中可以包括虚拟键盘等内容作为交互界面，供用户基于手势完成输入。
具体地，头显设备可以采用基于单目视觉的同步定位与建图(simultaneouslocalization and mapping，SLAM)算法或运动恢复结构(Structure From Motion，SFM)算法等三维重建算法显示虚拟键盘，本实施例对具体采用三维重建算法不做特别限定。
虚拟键盘的渲染位置在物理平面上，例如可以桌面或墙面上；也可以位于空中，例如，虚拟键盘在用户视野前方30厘米的空间平面上。
其中，虚拟键盘可以是QWERTY布局的虚拟键盘，也可以是其他布局的虚拟键盘，例如，便携式终端键盘。
S120、手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向头显设备发送手部检测数据。
具体地，用户可以在虚拟键盘上进行输入操作，输入操作可以是单击操作，也可以是滑动操作。
其中，用户在进行输入操作时，可以通过单指实现，也可以通过多指实现，比如，虚拟键盘位于虚拟空间中时，用户可以通过双指捏合操作实现单击或滑动输入，这样可以使用户感受到一定的触觉反馈，在一定程度上可以提高用户的输入体验。其中，对于多指实现的输入操作，双指捏合操作更方便用户操作，本实施例后续也以双指捏合操作为例进行示例性说明。
对于单指实现的一次输入操作，单击操作可以是目标手指在虚拟键盘所在物理平面上的一次点击操作，滑动操作可以是目标手指在物理平面上点击某个按键后滑动到其他按键再抬起的操作。一次输入操作的起始操作(即输入触发操作)即为目标手指点击物理平面上虚拟键盘的操作，输入结束操作即为目标手指离开物理平面上虚拟键盘的操作。
对于多指实现的一次输入操作，单击操作可以是目标手指与其他手指(比如拇指)针对虚拟键盘上的按键进行的一次捏合操作，滑动操作可以是目标手指与其他手指针对虚拟键盘上某个按键捏合在一起后滑动到其他按键再松开的操作。即捏合操作可以认为是目标手指对捏合位置对应的按键的点击操作。一次输入操作的输入触发操作即为目标手指与拇指的捏合操作，输入结束操作即为目标手指与拇指松开的操作。
用户在通过点击物理平面上虚拟键盘或者针对虚拟键盘捏合双指以实现输入触发操作时，目标手指会产生振动，对应地，手戴设备上的振动传感器则可以检测到生物振动波信号。另外，用户执行上述输入触发操作时，血流也会发生变化，对应地，手戴设备上的脉搏波传感器检测到脉搏波信号会发生变化。
手戴设备可以将振动传感器和/或脉搏波传感器检测到的目标传感器信号作为手部检测数据发送给头显设备，以供头显设备确定输入触发事件，触发手势输入检测过程。其中，采用单一目标传感器信号确定输入触发事件，可以降低算法复杂度，而且手戴设备上只需设置其中一个传感器即可，因而也可以降低手戴设备的结构复杂度；同时采用振动传感器和脉搏波传感器检测的目标传感器信号确定输入触发事件，可以提高检测结果的准确性。在具体实现时可以根据需要选择采用单一传感器还是多个传感器，本实施例对此不做特别限定。
考虑到用户手部在受到轻微碰撞时也可能产生振动，为了提高手势输入触发检测的准确性，本实施例中，可以在上述目标传感器信号满足预设要求的情况下，触发头显设备的手势输入检测过程。
其中，判断目标传感器信号是否满足预设要求的过程，可以在头显设备上执行，也可以在手戴设备上执行。如果在头显设备执行该判断过程，手戴设备只需持续发送原始数据给头显，这样在一定程度上可以降低手戴设备的设备复杂度；如果在手戴设备上执行该判断过程，手戴设备在发送手部检测数据时，可以只在目标传感器信号满足预设要求的情况下发送判断结果，这样可以减小手戴设备与头显设备之间的数据传输量，因而可以提高传输效率，同时也可以节省手戴设备的传输功耗。上述判断过程的执行主体具体可以根据需要选择，本实施例对此不做特别限定，本实施例中以手戴设备执行该判断过程为例进行示例性说明。
在具体判断时，手戴设备可以对振动传感器和/或脉搏波传感器检测到的目标传感器信号进行特征提取，在提取的目标信号特征满足预设要求的情况下，将指示信息作为手部检测数据发送给头显设备。
以振动传感器为IMU为例，图5为本申请实施例提供的生物振动波信号的示意图，该图中示出了目标手指在桌面的虚拟键盘上点击两次时，IMU中3轴加速度计x轴、y轴、z轴对应的波形图，其中，每个波形图中的横坐标表示时间或采样点，纵坐标表示加速度或可指示加速度的电信号，图5中以横坐标表示时间，纵坐标表示加速度为例进行示例性说明。
如图5所示，目标手指产生振动时，IMU检测的加速度信号的波形会发生变化，手戴设备可以以预设的时间窗口(比如1秒)周期性检测加速度信号的波形特征是否满足预设要求。
具体的，加速度信号的波形特征可以包括时域特征(比如x轴、y轴、z轴的幅度、均值和方差)和变换域特征(比如频域、梯度域、小波域特征等)，在进行特征提取时，可以选取这些特征中的多种特征(即目标信号特征)，然后采用相关的特征提取算法进行特征提取，具体的特征提取算法本实施例不做特别限定。
与加速度信号类似，脉搏波信号的波形特征也可以包括时域特征和变换域特征，可以选取一些目标信号特征，采用相关的特征提取算法进行特征提取，具体的特征提取算法本实施例也不做特别限定。
在完成特征提取后，可以判断提取的目标信号特征是否满足预设要求，其中，对于每个目标信号特征，可以设置对应的阈值，在各个目标信号特征满足对应的阈值要求的情况下，可以认为目标信号特征满足预设要求；或者也可以统计满足阈值要求的目标信号特征的数量，在该数量满足预设数量的情况下，认为目标信号特征满足预设要求。此处只是举例说明了两种判断方法，其并非用于限定本申请，具体实现时可以根据需要采用其他的判断方法，本申请对此不做特别限定。另外，如果振动传感器采用压电传感器或光学传感器等其他传感器，也可以基于波形特征判断生物振动波信号是否满足预设要求，具体的判断方法与上述的判断方法类似，此处不再赘述。
如果目标信号特征满足预设要求，手戴设备可以向头显设备发送对应的指示信息，其中，该指示信息可以作为手部检测数据，通过蓝牙数据包发送给头显设备。
具体的，可以在蓝牙数据包中增加目标字段，该指示信息可以携带在该目标字段中，比如可以在蓝牙数据包的协议数据单元(protocol data unit，PDU)字段中增加目标字段，在该目标字段中用“1”表示该指示信息。对应的，头显设备接收到数据包后，可以在确定该目标字段的值为1时，认为生物振动波信号满足预设要求。
为了提高数据传输的可靠性，手戴设备可以对手部检测数据进行纠错编码后添加到蓝牙数据包中，其中，纠错编码技术可以采用奇偶校验编码、卷积编码、里德-索罗门(reed-solomon，RS)编码、循环冗余校验序列(cyclical redundancy check，CRC)编码等。
S130、头显设备根据手部检测数据确定发生输入触发事件后，根据摄像头采集的手部图像确定目标手指相对于虚拟键盘的初始点击位置。
头显设备接收到蓝牙数据包后，可以对数据包中携带的数据进行纠错校验和解码，得到手部检测数据(例如上述的指示信息)，在根据手部检测数据确定上述目标传感器信号满足预设要求时，确定发生输入触发事件，此时可以触发手势输入检测过程，通过摄像头采集手部图像，以确定输入结果。这样可以节省一些处理能耗，而且，在采集物理环境的摄像头与采集手部图像的摄像头不同的情况下，头显设备可以在确定目标传感器信号满足预设要求时再启动用于采集手部图像的摄像头，这样也可以节省能耗。
考虑到用户的输入触发操作可能位于虚拟键盘区域外，本实施例中，头显设备可以在接收到手部检测数据中，进一步判断用户的输入触发操作是否作用于虚拟键盘上，若是，再触发手势输入检测过程，这样可以方便后续输入结果的识别，也可以节省能耗。
具体的，头显设备可以根据摄像头采集的手部图像，确定目标手指的指端是否指向虚拟键盘区域内，如果是，则可以认为用户的输入触发操作作用于虚拟键盘上。
如前所述，用户手部在受到轻微碰撞时也可能产生振动，为了进一步提高手势输入触发检测的准确性，本实施例中，头显设备也可以根据摄像头采集的手部图像判断用户佩戴手戴设备的手部是否为目标手势，在确定用户佩戴手戴设备的手部为目标手势的情况下，再触发头显设备的手势输入检测过程，进行后续的输入结果的确定。
其中，目标手势例如可以是食指伸出、其他手指弯曲的指向手势，或者食指与拇指捏合的手势等，具体可以根据需要设置目标手势，本实施例对此不做特别限定。为了方便用户使用，头显设备也可以提供手势自定义功能，供用户自定义目标手势。
如果触发了手势输入检测过程，头显设备则可以进一步从摄像头采集的手部图像中识别出目标手指相对于虚拟键盘的初始点击位置，具体可以采用各种相关的图像识别算法，本实施例对此不做特别限定。
S140、手戴设备向头显设备发送运动传感器采集的手部运动跟踪数据。
手戴设备向头显设备发送手部检测数据后，可以继续向头显设备发送运动传感器采集的手部运动跟踪数据，以便头显设备进行输入结果的识别，其中，手部运动跟踪数据中可以包括运动传感器采集的一系列的本地坐标。
S150、头显设备响应于用户的输入结束操作，根据初始点击位置和手部运动跟踪数据，确定并显示输入结果。
在手戴设备为指戴设备的情况下，头显设备可以基于接收的手部运动跟踪数据识别用户是否执行了输入结束操作，即识别用户是否结束本次输入操作，如果结束，则可以继续确定输入结果。
具体的，如前所述，输入结束操作可以是目标手指离开物理平面上虚拟键盘的操作，或者目标手指与拇指松开的操作；根据手部运动跟踪数据中目标手指的运动轨迹即可确定用户是否结束本次输入操作。
可以理解的是，判断用户是否结束本次输入操作的过程也可以在手戴设备上执行，对应的，手戴设备可以在确定用户结束本次输入操作时，向头显设备发送的手部运动跟踪数据中携带表示输入结束的指示信息，该指示信息的实现方式与上述表示目标信号特征满足预设要求的指示信息类似，可以通过预设的字段表示，比如可以继续采用上述目标字段，在字段值为2时，表示输入结束。进一步的，手戴设备可以在确定用户结束本次输入操作时，暂停向头显设备发送手部运动跟踪数据，以节省传输能耗。另外，如前所述，用户的输入操作可以是单击操作或滑动操作，如果是单击操作，手部运动跟踪数据即为该表示输入结束的指示信息；如果是滑动操作，手部运动跟踪数据还可以包括IMU在目标手指滑动的过程中采集的数据。
在具体确定输入结果时，如果是单击操作，头显设备可以根据手部运动跟踪数据确定用户结束本次输入操作后，再根据初始点击位置和虚拟键盘的键盘布局确定输入结果。
如果是滑动操作，头显设备可以根据手部运动跟踪数据确定用户结束本次输入操作后，根据初始点击位置、手部运动跟踪数据和虚拟键盘的键盘布局确定输入结果。
在手戴设备为臂戴设备的情况下，对于目标手指离开物理平面上虚拟键盘的输入结束操作，头显设备可以根据手部运动跟踪数据中目标手指的运动轨迹确定用户是否结束本次输入操作，在确定用户结束本次输入操作后，继续确定输入结果。对于目标手指与拇指松开的输入结束操作，用户可以以一定的松开力度执行该操作，此时用户手部也会产生生物振动波信号，头显设备则可以基于手戴设备检测的生物振动波信号判断用户是否结束输入操作，具体的检测过程与输入触发操作的检测过程类似，此处不再赘述。其中，在判断过程中，头显设备可以根据检测到的生物振动波信号的次数和/或信号特征(比如幅度)区别是输入触发操作还是输入结束操作。与输入触发操作类似，用户以一定的松开力度执行输入结束操作时，用户手部的血流也会发生变化，头显设备也可以基于手戴设备检测的脉搏波信号判断用户是否结束输入操作，具体的判断过程与生物振动波信号对应的判断过程类似，此处不再赘述。
为了更加方便用户使用，对于目标手指与拇指松开的输入结束操作，头显设备也可以基于摄像头采集的手部图像识别用户是否结束本次输入操作。具体的，头显设备可以基于手部图像识别目标手指与拇指是否是松开的手势，在识别出目标手指与拇指松开的情况下确定用户结束本次输入操作，然后再确定输入结果。
为了提高确定的输入结果的准确性，本实施例中，在步骤S130中，头戴设备接收到手部检测数据后，在确定用户的输入触发操作作用于虚拟键盘上的情况下，可以通过摄像头采集用户的手部图像跟踪数据，即摄像头采集的手部图像可以包括该手部图像跟踪数据；对应的，在确定输入结果时，头显设备可以对摄像头采集的手部图像跟踪数据和IMU采集的手部运动跟踪数据进行数据融合，然后基于融合得到的目标手指的运动跟踪数据，结合初始点击位置和虚拟键盘的键盘布局确定输入结果。
其中，手部图像跟踪数据包括目标手指上目标部位(比如指尖或指关节等手指关键点)的图像跟踪数据，以及手戴设备的图像跟踪数据，头显设备可以从手部图像跟踪数据中提取目标部位或手戴设备的图像跟踪数据，进行输入结果的确定，以提高处理效率。另外，手戴设备上可以设置视觉标记(比如LED灯、二维码或图案等)，手戴设备的图像跟踪数据则可以包括该视觉标记的图像跟踪数据，头显设备可以从手部图像跟踪数据中提取视觉标记的图像跟踪数据，进行输入结果的确定，以进一步提高处理效率。
在进行数据融合时，可以采用卡尔曼滤波或最大似然估计等数据融合算法，比如多状态约束下的卡尔曼滤波等视觉惯性里程计算法，融合手部图像跟踪数据和手部运动跟踪数据，对于具体采用的数据融合算法，本实施例不做特别限定。
在具体确定输入结果时，可以结合语言模型(例如N元语言模型)进行确定，具体可以采用各种相关的基于键盘的手势输入算法，本实施例对此不做特别限定。
图6为本申请实施例提供的一种输入结果示意图，该图中示出了用户的一种单击操作的输入结果。如图6所示，用户输入字符串“hello”后，又通过两次单击操作依次点击了位置1A和1B(图中用虚线圈表示)。对于第二次单击操作，头显设备根据初始点击位置、虚拟键盘的键盘布局和N元语言模型，可以确定各种候选的输入结果：wo、world和would；用户可以从这些候选的输入结果中进一步选择最终的输入结果。
图7为本申请实施例提供的另一种输入结果示意图，该图中示出了用户的一种滑动操作的输入结果。如图7所示，位置2A表示滑动手势的开始位置(即初始点击位置)，位置2B和2C表示滑动手势经过的位置，位置2D表示滑动手势结束的位置。头显设备根据目标手指的运动跟踪数据可以确定目标手指的运动轨迹和一些运动特征，再结合虚拟键盘的键盘布局和N-Gram语言模型，可以确定各种候选的输入结果：apple、Apple和apples；用户可以从候选的输入结果中进一步选择最终的输入结果。
本领域技术人员可以理解，以上实施例是示例性的，并非用于限定本申请。在可能的情况下，以上步骤中的一个或者几个步骤的执行顺序可以进行调整，也可以进行选择性组合，得到一个或多个其他实施例。例如，上述步骤S130中确定初始点击位置的过程与步骤S150之间没有严格的时序执行关系，确定初始点击位置的过程也可以在头显设备响应输入结束操作的过程中实现。本领域技术人员可以根据需要从上述步骤中任意进行选择组合，凡是未脱离本申请方案实质的，都落入本申请的保护范围。
本实施例提供的交互方法，头显设备可以显示虚拟键盘，手戴设备可以在检测到目标传感器信号后，向头显设备发送手部检测数据；头显设备可以基于该手部检测数据确定输入触发事件，实现点击动作的检测。手戴设备还可以将运动传感器采集的手部运动跟踪数据传输给头显设备，头显设备可以通过摄像头采集用户的手部图像，基于该手部图像和运动传感器采集的手部运动跟踪数据，进行输入结果的确定和显示。上述方案中，通过采用振动传感器或脉搏波传感器检测的信号来检测点击动作，并基于运动传感器采集的手部运动跟踪数据确定输入结果，可以避免手部遮挡问题，因而可以提升确定的输入结果的准确性；另外，运动传感器的采样频率通常远高于摄像头的帧率，信号处理算法的复杂度相对也比较低，因而采用运动传感器采集的信号确定输入结果，也可以降低输出时延，提升用户手势输入的实时性体验。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种交互装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图8本申请实施例提供的一种交互装置的结构示意图，该装置可以应用于头显设备，如图8所示，本实施例提供的交互装置300可以包括：显示模块310、输入模块320、处理模块330和通信模块340。
其中，显示模块310用于支持头显设备执行上述实施例中步骤S110中的显示操作和/或用于本文所描述的技术的其它过程。显示模块可以是触摸屏或其他硬件或硬件与软件的综合体。
输入模块320用于接收用户在头显设备上的输入操作，如语音输入、手势输入等，和/或用于本文所描述的技术的其它过程。输入模块可以是触摸屏或其他硬件或硬件与软件的综合体。
处理模块330用于支持头显设备执行上述实施例中的步骤S130中的处理操作、S150和/或用于本文所描述的技术的其它过程。
通信模块340用于支持头显设备执行上述实施例中步骤S130中接收手部检测数据的操作和/或用于本文所描述的技术的其它过程。
本实施例提供的装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
图9为本申请实施例提供的另一种交互装置的结构示意图，该装置可以应用于手戴设备，如图9所示，本实施例提供的交互装置400可以包括：处理模块410和通信模块420。
其中，处理模块410用于支持手戴设备执行上述实施例中的处理操作和/或用于本文所描述的技术的其它过程。
通信模块420用于支持手戴设备执行上述实施例中步骤S120、S140和/或用于本文所描述的技术的其它过程。
本实施例提供的装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现上述方法实施例所述的方法。其中，电子设备可以是上述头显设备或手戴设备。
本申请实施例还提供一种芯片系统，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述方法实施例所述的方法。其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘或磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质可以包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
应当理解，在本申请说明书和所附权利要求书的描述中，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。
并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项”或其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b，或c中的至少一项，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种交互方法，应用于交互系统，其特征在于，所述交互系统包括头显设备和手戴设备，所述头显设备上具有摄像头，所述手戴设备上具有运动传感器，所述手戴设备上还具有振动传感器和/或脉搏波传感器，所述方法包括：
所述头显设备显示虚拟键盘；
所述手戴设备响应于用户的输入触发操作，根据检测到的目标传感器信号向所述头显设备发送手部检测数据，所述目标传感器信号包括所述振动传感器检测到的生物振动波信号和/或所述脉搏波传感器检测到的脉搏波信号；
所述头显设备根据所述手部检测数据确定发生输入触发事件后，根据所述摄像头采集的手部图像确定目标手指相对于所述虚拟键盘的初始点击位置；
所述手戴设备向所述头显设备发送所述运动传感器采集的手部运动跟踪数据；
所述头显设备响应于用户的输入结束操作，根据所述初始点击位置和所述手部运动跟踪数据，确定并显示输入结果。
2.根据权利要求1所述的方法，其特征在于，所述手部图像包括所述摄像头采集的手部图像跟踪数据，所述根据所述初始点击位置和所述手部运动跟踪数据，确定并显示输入结果，包括：
对所述手部图像跟踪数据和所述手部运动跟踪数据进行数据融合，得到所述目标手指的运动跟踪数据；
根据所述初始点击位置、所述运动跟踪数据、所述虚拟键盘的键盘布局和预设的语言模型，确定输入结果；
显示所述输入结果。
3.根据权利要求2所述的方法，其特征在于，所述手部图像跟踪数据包括所述目标手指上目标部位的图像跟踪数据或所述手戴设备的图像跟踪数据。
4.根据权利要求3所述的方法，其特征在于，所述手戴设备上设置有视觉标记，所述手部图像跟踪数据包括所述视觉标记的图像跟踪数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述头显设备在根据所述手部检测数据确定所述目标传感器信号满足预设要求的情况下，确定发生输入触发事件。
6.根据权利要求5所述的方法，其特征在于，所述手部检测数据中包括指示信息，所述根据检测到的目标传感器信号向所述头显设备发送手部检测数据，包括：
对检测到的目标传感器信号进行特征提取；
在提取的目标信号特征满足预设要求的情况下，向所述头显设备发送所述指示信息；
对应的，所述头显设备在接收到所述指示信息时，确定所述目标传感器信号满足预设要求。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述头显设备在根据所述摄像头采集的手部图像确定所述输入触发操作作用于所述虚拟键盘上的情况下，确定发生输入触发事件。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述头显设备在根据所述摄像头采集的手部图像确定用户佩戴所述手戴设备的手部为目标手势的情况下，确定发生输入触发事件。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述虚拟键盘的渲染位置位于物理平面上，所述输入触发操作为所述目标手指点击所述物理平面上虚拟键盘的操作，所述输入结束操作为所述目标手指离开所述物理平面上虚拟键盘的操作。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述输入触发操作为所述目标手指与拇指的捏合操作，所述输入结束操作为所述目标手指与所述拇指松开的操作。
11.根据权利要求10所述的方法，其特征在于，所述虚拟键盘的渲染位置位于空中。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述手戴设备响应于所述用户的滑动输入操作，向所述头显设备发送所述运动传感器采集的手部运动跟踪数据。
13.根据权利要求1-12任一项所述的方法，其特征在于，所述手戴设备为指戴设备，所述目标手指为佩戴所述手戴设备的手指。
14.根据权利要求1-13任一项所述的方法，其特征在于，所述振动传感器和所述运动传感器为同一IMU，所述头显设备与所述手戴设备之间通过蓝牙连接通信。
15.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-14任一项中头显设备或手戴设备所执行的方法。
16.一种交互系统，其特征在于，包括：头显设备和手戴设备，所述头显设备上具有摄像头，所述手戴设备上具有运动传感器，所述手戴设备上还具有振动传感器和/或脉搏波传感器，其中，所述头显设备用于执行如权利要求1-14任一项中头显设备所执行的方法，所述手戴设备用于执行如权利要求1-14任一项中手戴设备所执行的方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
CN202110218458.4A 2021-02-26 2021-02-26 交互方法、电子设备与交互系统 Pending CN115047966A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110218458.4A CN115047966A (zh) 2021-02-26 2021-02-26 交互方法、电子设备与交互系统
PCT/CN2021/140534 WO2022179279A1 (zh) 2021-02-26 2021-12-22 交互方法、电子设备与交互系统
EP21927703.5A EP4276591A1 (en) 2021-02-26 2021-12-22 Interaction method, electronic device, and interaction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218458.4A CN115047966A (zh) 2021-02-26 2021-02-26 交互方法、电子设备与交互系统

Publications (1)

Publication Number Publication Date
CN115047966A true CN115047966A (zh) 2022-09-13

Family

ID=83048593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218458.4A Pending CN115047966A (zh) 2021-02-26 2021-02-26 交互方法、电子设备与交互系统

Country Status (3)

Country Link
EP (1) EP4276591A1 (zh)
CN (1) CN115047966A (zh)
WO (1) WO2022179279A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369649B (zh) * 2023-12-05 2024-03-26 山东大学 基于本体感觉的虚拟现实交互系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017021902A1 (en) * 2015-08-03 2017-02-09 Smartvizs Private Limited System and method for gesture based measurement of virtual reality space
CN206162394U (zh) * 2016-11-02 2017-05-10 广州幻境科技有限公司 一种基于触感反馈的用于虚拟现实环境的动作捕捉系统
WO2018155973A2 (ko) * 2017-02-24 2018-08-30 주식회사 브이알애드 가상현실 기반 방사선학 실습 장치 및 방법
CN108932100A (zh) * 2017-05-26 2018-12-04 成都理想境界科技有限公司 一种虚拟键盘的操作方法及头戴式显示设备
CN110333776A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种基于穿戴设备的军事装备操作训练系统及方法

Also Published As

Publication number Publication date
WO2022179279A1 (zh) 2022-09-01
EP4276591A1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
Yang et al. Gesture interaction in virtual reality
CN102789313B (zh) 一种用户交互系统和方法
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US11625103B2 (en) Integration of artificial reality interaction modes
CN114303120A (zh) 虚拟键盘
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
KR20150067250A (ko) 사용자 인터페이스를 위한 터치리스 입력
CN104298340A (zh) 控制方法和电子设备
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018009844A1 (en) Methods and apparatus to determine objects to present in virtual reality environments
US20200326783A1 (en) Head mounted display device and operating method thereof
CN107272892A (zh) 一种虚拟触控系统、方法及装置
WO2022179279A1 (zh) 交互方法、电子设备与交互系统
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
CN203070205U (zh) 一种基于手势识别的输入设备
CN115223248A (zh) 手部姿态识别方法、手部姿态识别模型的训练方法及装置
CN110113248A (zh) 历史消息的处理方法、设备及计算机可读存储介质
WO2023124113A1 (zh) 三维空间中的交互方法、装置、存储介质及电子装置
US20240126373A1 (en) Tractable body-based ar system input
US20240070994A1 (en) One-handed zoom operation for ar/vr devices
US20230342026A1 (en) Gesture-based keyboard text entry
WO2023227072A1 (zh) 在虚拟现实场景中确定虚拟光标方法、装置、设备和介质
Anavekar et al. The Techniques of Human-Machine Communication through Expressive Gestures.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination