CN113253908B - 按键功能执行方法、装置、设备及存储介质 - Google Patents

按键功能执行方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113253908B
CN113253908B CN202110693794.4A CN202110693794A CN113253908B CN 113253908 B CN113253908 B CN 113253908B CN 202110693794 A CN202110693794 A CN 202110693794A CN 113253908 B CN113253908 B CN 113253908B
Authority
CN
China
Prior art keywords
target
gesture
cursor
virtual keyboard
human hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110693794.4A
Other languages
English (en)
Other versions
CN113253908A (zh
Inventor
陈镜州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110693794.4A priority Critical patent/CN113253908B/zh
Publication of CN113253908A publication Critical patent/CN113253908A/zh
Priority to JP2023571382A priority patent/JP2024520943A/ja
Priority to EP22827258.9A priority patent/EP4307096A1/en
Priority to PCT/CN2022/093610 priority patent/WO2022267760A1/zh
Priority to US18/295,623 priority patent/US20230244379A1/en
Application granted granted Critical
Publication of CN113253908B publication Critical patent/CN113253908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种按键功能执行方法、装置、设备及存储介质，属于计算机技术领域。本申请实施例通过结合手势和移动两种操作，为对虚拟键盘中按键进行触发的场景，提供了一种灵活、操作简单的方式。在该方式中，用户仅需人手做出目标手势，即可触发光标的显示，然后通过保持目标手势的同时移动人手，即可控制光标移动，这样操作十分简单、便利，还可以控制光标移动，以精确地对单个按键进行选择和触发，从而提高了对按键触发的颗粒度和精准度，能够实现对任意一种形式的字符的输入，因而适用性比较好。且基于目标手势的生物识别特征来确定光标的初始显示位置，能够尽量减少光标移动距离，降低操作复杂度，提高操作效率。

Description

按键功能执行方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种按键功能执行方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，通过在电子设备显示按键，由用户对按键进行操作，以触发电子设备自动执行相应功能，大大减少了人工成本，实现了智能化。
目前，按键功能执行方法通常是在屏幕中显示虚拟键盘，响应于检测到用户对屏幕的触摸操作，执行该触摸操作的触点所对应按键的功能。
上述按键功能执行方法必须通过用户触屏来触发按键功能，在一些场景中可能会操作不便。例如，在虚拟现实场景中，虚拟键盘显示在虚拟现实显示设备上，用户无法触摸到屏幕，也就无法触发按键。因而，上述方法的适用性差，操作不便利。
发明内容
本申请实施例提供了一种按键功能执行方法、装置、设备及存储介质，提高了对按键触发的颗粒度和精准度，适用性比较好。所述技术方案如下：
一方面，提供了一种按键功能执行方法，所述方法包括：
显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和第二区域中每个区域内包括至少两个按键，所述第一区域和所述第二区域分别与左手和右手对应；
响应于检测到人手处于目标手势，根据所述目标手势的生物识别特征，在所述虚拟键盘内所述生物识别特征对应区域内的第一位置上显示光标，所述第一位置为所述生物识别特征对应的位置；
响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，所述第二位置为所述人手的手势变化时所述光标所在位置。
一方面，提供了按键功能执行系统，所述系统包括电子设备、手势跟踪传感器和显示设备；其中，所述手势跟踪传感器和所述显示设备分别与所述电子设备连接；
所述显示设备用于显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和第二区域中每个区域内包括至少两个按键，所述第一区域和所述第二区域分别与左手和右手对应；
所述手势跟踪传感器用于检测到人手处于目标手势；
所述显示设备还用于响应于检测到人手处于目标手势，根据所述目标手势的生物识别特征，在所述虚拟键盘内所述生物识别特征对应区域内的第一位置上显示光标，所述第一位置为所述生物识别特征对应的位置；
所述手势跟踪传感器还用于检测到所述人手保持所述目标手势且移动；
所述显示设备还用于响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
所述电子设备用于响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，所述第二位置为所述人手的手势变化时所述光标所在位置。
一方面，提供了一种按键功能执行装置，所述装置包括：
显示模块，用于显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和第二区域中每个区域内包括至少两个按键，所述第一区域和所述第二区域分别与左手和右手对应；
所述显示模块，还用于响应于检测到人手处于目标手势，根据所述目标手势的生物识别特征，在所述虚拟键盘内所述生物识别特征对应区域内的第一位置上显示光标，所述第一位置为所述生物识别特征对应的位置；
所述显示模块，还用于响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
执行模块，用于响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，所述第二位置为所述人手的手势变化时所述光标所在位置。
在一些实施例中，所述显示模块用于：
响应于所述生物识别特征指示所述人手为左手，在所述虚拟键盘内所述第一区域内的目标位置上显示光标；
响应于所述生物识别特征指示所述人手为右手，在所述虚拟键盘内所述第二区域内的目标位置上显示光标。
在一些实施例中，所述显示模块用于：
响应于所述生物识别特征指示所述人手为左手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第一区域内所述第一手指对应的子区域内目标位置上显示光标；
响应于所述生物识别特征指示所述人手为右手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第二区域内所述第一手指对应的子区域内目标位置上显示光标。
在一些实施例中，所述目标位置为区域的中心位置。
在一些实施例中，所述显示模块用于：
响应于所述人手保持所述目标手势且移动，获取所述人手移动的位移；
根据所述第一位置以及所述人手移动的位移，确定所述光标的第三位置；
显示所述光标从所述第一位置移动至所述第三位置。
在一些实施例中，所述执行模块用于下述任一项：
响应于所述第二位置对应按键为字符按键，在所述虚拟键盘的输入框或拼音显示区域中输入所述第二位置对应按键所表示的字符；
响应于所述第二位置对应按键为删除按键，将所述虚拟键盘的输入框或拼音显示区域中的最后一位字符删除；
响应于所述第二位置对应按键为换行按键，显示所述虚拟键盘的输入框中的输入光标换到下一行；
响应于所述第二位置对应按键为确认按键，将所述虚拟键盘的输入框中已输入的内容作为目标内容，并取消对所述虚拟键盘的显示。
在一些实施例中，所述显示模块还用于响应于所述虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在所述拼音显示区域的目标范围内显示所述已输入的字符组合对应的候选汉字。
在一些实施例中，所述虚拟键盘内还包括至少一个虚拟控件；
所述显示模块还用于响应于检测到人手未处于所述目标手势且移动，显示所述光标随着所述人手移动而移动；
所述执行模块还用于响应于检测到所述人手做出目标动作且所述光标位于所述至少一个虚拟控件中目标虚拟控件上，执行所述目标虚拟控件所对应的功能。
在一些实施例中，所述执行模块用于：
响应于所述目标虚拟控件为大写输入和小写输入的切换控件，对所述虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换；
响应于所述目标虚拟控件为符号输入和字母输入的切换控件，对所述虚拟键盘内显示的字符在字母和符号之间进行切换；
响应于所述目标虚拟控件为中文输入和英文输入的切换控件，对所述虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
在一些实施例中，所述执行模块还用于对所述目标虚拟控件的显示内容进行更新，更新后的所述显示内容与所述虚拟键盘内字符的切换或字符输入模式的切换相符。
一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述按键功能执行方法的各种可选实现方式。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述按键功能执行方法的各种可选实现方式。
一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备执行上述任一种可能实施方式的按键功能执行方法。
本申请实施例通过结合手势和移动两种操作，为对虚拟键盘中按键进行触发的场景，提供了一种灵活、操作简单的方式。在该方式中，用户仅需人手做出目标手势，即可触发光标的显示，然后通过保持目标手势的同时移动人手，即可控制光标移动，这样操作十分简单、便利，还可以控制光标移动，以精确地对单个按键进行选择和触发，从而提高了对按键触发的颗粒度和精准度，能够实现对任意一种形式的字符的输入，因而适用性比较好。另外，在检测到目标手势时，还可以基于目标手势的生物识别特征来确定光标的初始显示位置，以使得用户能够灵活使用不同人手进行手势操作，来确定光标显示位置，以尽量减少光标移动距离，降低操作复杂度，提高操作效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。
图1是本申请实施例提供的一种按键功能执行方法的实施环境的示意图；
图2是本申请实施例提供的一种按键功能执行方法的实施环境的示意图；
图3是本申请实施例提供的一种按键功能执行方法的实施环境的示意图；
图4是本申请实施例提供的一种按键功能执行方法的实施环境的示意图；
图5是本申请实施例提供的一种按键功能执行方法的实施环境的示意图；
图6是本申请实施例提供的一种按键功能执行方法的流程图；
图7是本申请实施例提供的一种按键功能执行方法的流程图；
图8是本申请实施例提供的一种终端界面示意图；
图9是本申请实施例提供的一种终端界面示意图；
图10是本申请实施例提供的一种终端界面示意图；
图11是本申请实施例提供的一种终端界面示意图；
图12是本申请实施例提供的一种终端界面示意图；
图13是本申请实施例提供的一种终端界面示意图；
图14是本申请实施例提供的一种终端界面示意图；
图15是本申请实施例提供的一种终端界面示意图；
图16是本申请实施例提供的一种终端界面示意图；
图17是本申请实施例提供的一种终端界面示意图；
图18是本申请实施例提供的一种按键功能执行系统的示意图；
图19是本申请实施例提供的一种按键功能执行装置的结构示意图；
图20是本申请实施例提供的一种电子设备的结构示意图；
图21是本申请实施例提供的一种终端的结构框图；
图22是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种示例的范围的情况下，第一图像被称为第二图像，并且类似地，第二图像被称为第一图像。第一图像和第二图像都是图像，并且在某些情况下，是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。
应理解，在本文中对各种示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示存在三种关系，例如，A和/或B，表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，根据A确定B并不意味着仅仅根据A确定B，还根据A和/或其它信息确定B。
还应理解，术语“包括”(也称“inCludes”、“inCluding”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
下面对本申请的实施环境进行说明。
图1、图2、图3和图4均是本申请实施例提供的一种按键功能执行方法的实施环境的示意图。如图1所示，该实施环境可以包括终端101。如图2所示，该实施环境可以包括终端101、手势跟踪传感器102。如图3所示，该实施环境可以包括终端101、手势跟踪传感器102和显示设备103。如图4所示，该实施环境可以包括终端101和显示设备103。
其中，终端101是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机中的至少一种。终端101安装和运行有支持按键功能执行的应用程序，例如，该应用程序是系统应用、VR(Virtual Reality，虚拟现实)应用，即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。
如图1所示，实施环境包括终端101，该终端101上可以安装有手势跟踪传感器和屏幕显示器，这样该终端能够通过手势跟踪传感器对用户的人手进行跟踪，并能够识别出人手做出的手势或动作，以触发该手势或动作相应的指令。该终端还具有显示功能，能够通过屏幕显示器显示虚拟键盘，在识别人手的手势或动作时，能够通过屏幕显示器根据该手势或动作，显示相应的变化。例如，该手势跟踪传感器可以为摄像头，该摄像头能够对人手进行拍摄，以采集人手的手势或动作。
如图2所示，实施环境包括终端101和手势跟踪传感器102。该终端101和手势跟踪传感器102通过有线或无线网络连接，该终端101具有显示功能，能够在屏幕显示器上显示虚拟键盘。手势跟踪传感器102能够对用户的人手进行跟踪，并能够识别出人手做出的手势或动作，然后可以将识别结果发送至终端101，该终端101能够根据识别结果，在虚拟键盘中显示相应的内容。
手势跟踪传感器可以为任一种手势传感器，例如Leap Motion传感器，又例如手指跟踪手套等，本申请实施例对此不作限定。
如图3所示，该实施环境可以包括终端101、手势跟踪传感器102和显示设备103。该终端101分别与手势跟踪传感器102和显示设备103通过有线或无线网络连接。该终端101具有数据处理功能。该终端101可以控制显示设备103显示虚拟键盘。手势跟踪传感器102能够对用户的人手进行跟踪，并能够识别出人手做出的手势或动作，然后可以将识别结果发送至终端101，该终端101能够根据识别结果，控制显示设备103在虚拟键盘中显示相应的内容。
显示设备可以为任一种显示设备，例如屏幕显示器，又例如VR头戴式显示设备(简称VR头显)等，本申请实施例对此不作限定。
如图4所示，该实施环境可以包括终端101和显示设备103。该终端101与显示设备103通过有线或无线网络连接。该终端101具有数据处理功能。该终端101可以控制显示设备103显示虚拟键盘。该终端101上安装有手势跟踪传感器，能够通过所安装的手势跟踪传感器对用户的人手进行跟踪，并能够识别出人手做出的手势或动作，然后终端101根据手势或动作，确定显示内容的变化，并通过显示设备103进行显示。
上述提供了四种可能的实施环境，本申请实施例对具体采用哪种不作限定。下面通过图5对该按键功能执行方法的实施环境进行综合说明，如图5所示，该实施环境包括手势跟踪传感器501、设备系统502和显示设备503。手势跟踪传感器501与设备系统502连接。
手势跟踪传感器501用于检测跟踪用户的手指操作。其中，手势跟踪传感器501可以有为不同设备，如Leap Motion传感器、摄像头、手指跟踪手套。手势跟踪传感器501能够获得每个手指关节的旋转、坐标信息。
设备系统502能够运行游戏应用或其他应用的程序，应用内包括输入法程序模块。设备系统能够在程序内运行输输入法程序模块。
显示设备503能够显示画面。其中，该显示设备503可以是VR头显或屏幕显示器等。
图6是本申请实施例提供的一种按键功能执行方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图6，以该方法应用于终端为例，该方法包括以下步骤。
601、终端显示虚拟键盘，该虚拟键盘包括第一区域和第二区域，该第一区域和第二区域中每个区域内包括至少两个按键，该第一区域和该第二区域分别与左手和右手对应。
虚拟键盘为一种屏幕上显示的虚拟的键盘，虚拟键盘上包括至少两个按键。其中，至少两个是指两个或两个以上，也即是多个。
虚拟键盘中的按键可以包括多种类型的按键，例如，虚拟键盘中可以显示有多个字母按键、数字按键或符号按键。
在本申请实施例中，可以将虚拟键盘划分为两个区域：第一区域和第二区域。第一区域对应左手，第二区域对应右手。每个区域内包括至少两个按键，在对任一按键进行操作时，能够触发该按键的功能。这样用户可以使用不同的手做出目标手势，来控制对虚拟键盘中不同区域的按键进行触发。
602、终端响应于检测到人手处于目标手势，根据该目标手势的生物识别特征，在该虚拟键盘内该生物识别特征对应区域内的第一位置上显示光标，该第一位置为该生物识别特征对应的位置。
在本申请实施例中，用户能够无需触碰显示屏，通过人手做出手势，终端检测到人手的手势，可以基于手势确定在虚拟键盘对应的操作位置，进而再进一步确定出用户真正想要触发的按键，以执行该按键的功能。
对于该目标手势，可以为虚拟键盘与人手的生物识别特征关联，在生物识别特征不同时，其在虚拟键盘中对应的位置可以不同。其中，该生物识别特征用于指示进行该手势的人手为哪个手，或者该生物识别特征还用于指示进行该手势的手指分别为哪个手指。
具体地，终端可以检测人手的手势，在确定人手处于目标手势时，可以根据该目标手势的生物识别特征来确定该生物识别特征对应区域内的第一位置，该第一位置即为光标的初始显示位置。终端可以在该第一位置上显示光标，以表示如果当前要人手所在位置对应的操作位置就是第一位置。这样人手只需要作出目标手势，无需触摸屏幕，即可触发终端在第一位置上显示光标。
可以理解地，上述将虚拟键盘划分为两个区域，在用户使用左手做出目标手势时，该生物识别特征对应区域即为第一区域，在用户使用右手做出目标手势时，该生物识别特征对应区域即为第二区域。
603、终端响应于该人手保持该目标手势且移动，显示该光标跟随该人手的移动而移动。
本申请实施例结合了手势与移动两种操作，在做出目标手势之后，如果用户其实并非对第一位置上按键进行触发，则可以保持目标手势来移动人手，这样终端能够对人手进行跟踪，来控制光标跟随人手的移动而移动。这样用户只需要移动人手就可以轻松地移动光标，以精确地选定想要触发的按键，操作简单即可实现对按键的精确触发，提高按键功能执行的准确性和灵活性。
604、终端响应于该人手的手势变化，执行该虚拟键盘的第二位置对应按键的功能，该第二位置为该人手的手势变化时该光标所在位置。
通过上述步骤603，光标的位置已经发生了变化，可能移动到了其他位置，也可能又移动回了第一位置。用户将光标移动至想要触发的按键位置上之后，可以改变手势，也即是不再保持目标手势，这样终端即可以确定用户是想要对光标当前位置上的按键进行触发，因而，可以执行光标当前位置(也即是第二位置)上按键的功能。
本申请实施例通过结合手势和移动两种操作，为对虚拟键盘中按键进行触发的场景，提供了一种灵活、操作简单的方式。在该方式中，用户仅需人手做出目标手势，即可触发光标的显示，然后通过保持目标手势的同时移动人手，即可控制光标移动，这样操作十分简单、便利，还可以控制光标移动，以精确地对单个按键进行选择和触发，从而提高了对按键触发的颗粒度和精准度，能够实现对任意一种形式的字符的输入，因而适用性比较好。另外，在检测到目标手势时，还可以基于目标手势的生物识别特征来确定光标的初始显示位置，以使得用户能够灵活使用不同人手进行手势操作，来确定光标显示位置，以尽量减少光标移动距离，降低操作复杂度，提高操作效率。
图7是本申请实施例提供的一种按键功能执行方法的流程图，参见图7，该方法包括以下步骤。
701、终端显示虚拟键盘，该虚拟键盘包括第一区域和第二区域，该第一区域和第二区域中每个区域内包括至少两个按键，该第一区域和该第二区域分别与左手和右手对应。
虚拟键盘中可以显示有多个字母按键、数字按键或符号按键。
例如，虚拟键盘可以如图8所示，虚拟键盘包括多个字母按键，例如Q、A、Z、W等等，在此不一一列举。该虚拟键盘也可以包括符号按键，例如“空”用于表示空格，“，”、“.”、等均为符号按键，该虚拟键盘还可以包括功能按键，例如“←”为删除按键。
该虚拟键盘的显示可以由对输入框的触发操作来触发。例如，终端显示第一页面，在该第一页面中显示有输入框。用户通过移动人手，以控制光标跟随人手移动至输入框内，然后人手可以进行点按动作或者拍击动作，终端检测到该人手的点按动作或拍击动作且光标位于输入框内，可以在第一页面中显示虚拟键盘。
在另一些实施例中，该虚拟键盘的显示可以由对虚拟键盘控件的触发操作来触发。例如，终端显示第一页面，在该第一页面中显示有虚拟键盘控件。用户通过移动人手，以控制光标跟随人手移动至虚拟键盘控件所在位置上，然后人手可以进行点按动作或者拍击动作，终端检测到该人手的点按动作或者拍击动作且光标位于虚拟键盘控件所在位置，则可以在第一页面中显示虚拟键盘。
702、终端响应于检测到人手处于目标手势，根据该目标手势的生物识别特征，在该虚拟键盘内该生物识别特征对应区域内的第一位置上显示光标，该第一位置为该生物识别特征对应的位置。
在本申请实施例中，用户能够无需触碰显示屏，通过人手做出目标手势或做出目标手势后移动，即可触发在虚拟键盘内选择按键，并执行按键的功能。
在一些实施例中，终端可以通过手势跟踪传感器对用户的人手的手势、动作或位置进行采集。
可选地，该手势跟踪传感器可以为安装于该终端上的传感器，例如该手势跟踪传感器可以为终端上安装的摄像头。相应地，终端可以基于摄像头对用户进行拍摄，然后通过计算机视觉检测的方式来对拍摄得到的图像进行分析，以确定用户的人手的手势、动作或位置。具体地，在进行计算机视觉检测时，可以通过对图像中进行人手检测，确定出人手所在位置，然后确定各个手指的形状，进而与候选手势中各个手指的形状进行匹配，确定出人手当前的手势。
可选地，该手势跟踪传感器可以为终端外的手势跟踪传感器。例如，该手势跟踪传感器可以为Leap Motion传感器、手指跟踪手套或者摄像头设备。其中，手指跟踪手套能够采集人手各个指节的旋转、位置等，进而通过各个指节的旋转、位置等，来分析各个手指的形状，进而与候选手势中各个手指的形状进行匹配，以匹配得到当前人手的手势。
在一些实施例中，该目标手势可以按捏手势，也即是，一个人手的拇指和另一个手指的指腹贴合在一起。终端可以对人手的图像进行采集或者通过手势传感手套获取到人手的形状参数，然后通过手势识别，确定匹配度高于匹配度阈值，且匹配度最大的候选手势为目标手势，则可以执行光标显示的步骤。当然，该目标手势也可以为其他手势，比如，目标手势可以为五指并在一起的手势，或者目标手势可以为握拳手势等，该目标手势可以由相关技术人员根据需求进行设置，也可以由用户根据自身的操作习惯设置，本申请实施例对此不作限定。
手势识别包括手势分割、手势分析和识别三部分。其中，手势分割法主要包括基于单目视觉的手势分割和基于立体视觉的手势分割。
单目视觉是利用一个图像采集设备获得手势，得到手势的平面模型。建立手势形状数据库的方法是将能够考虑的所有手势建立起来，利于手势的模版匹配，但其计算量随之增加，不利于系统的快速识别。
立体视觉是利用多个图像采集设备得到手势的不同图像，转换成立体模型。立体匹配的方法与单目视觉中的模板匹配方法类似，也要建立大量的手势库；而三维重构则需建立手势的三维模型，计算量将增加，但分割效果较好。
手势分析是完成手势识别系统的关键技术之一。通过手势分析，可获得手势的形状特征或运动轨迹。手势的形状和运动轨迹是动态手势识别中的重要特征，与手势所表达意义有直接的关系。手势分析的主要方法有以下几类：边缘轮廓提取法、质心手指等多特征结合法以及指关节式跟踪法等。例如，边缘轮廓提取法是手势分析常用的方法之一，手型因其特有的外形而与其他物体区分；何阳青采用结合几何矩和边缘检测的手势识别算法，通过设定两个特征的权重来计算图像间的距离，实现对字母手势的识别。多特征结合法则是根据手的物理特性分析手势的姿势或轨迹；Meenakshi Panwar将手势形状和手指指尖特征相结合来实现手势的识别。指关节式跟踪法主要是构建手的二维或三维模型，再根据人手关节点的位置变化来进行跟踪，其主要应用于动态轨迹跟踪。
手势识别是将模型参数空间里的轨迹分类到该空间里某个子集的过程，其包括静态手势识别和动态手势识别，动态手势识别最终可转化为静态手势识别。从手势识别的技术实现来看，常见手势识别方法主要有:模板匹配法神经网络法和隐马尔可夫模型法。
模板匹配法是将手势的动作看成是一个由静态手势图像所组成的序列，然后将待识别的手势模板序列与已知的手势模板序列进行比较，从而识别出手势。
隐马尔可夫模型法(Hidden Markov Model，HMM):是一种统计模型，用隐马尔可夫建模的系统具有双重随机过程，其包括状态转移和观察值输出的随机过程。其中状态转移的随机过程是隐性的，其通过观察序列的随机过程所表现。
对于该目标手势，可以为虚拟键盘与人手的生物识别特征关联，在生物识别特征不同时，其在虚拟键盘中对应的位置可以不同。其中，该生物识别特征用于指示进行该手势的人手为哪个手，或者该生物识别特征还用于指示进行该手势的手指分别为哪个手指。
在一些实施例中，该步骤702中，终端可以先确定出第一位置，再在该第一位置上电视光标。具体地，终端可以响应于检测到人手处于目标手势，根据该目标手势的生物识别特征，在该虚拟键盘内该生物识别特征，确定该生物识别特征对应区域内的该第一位置，然后在该虚拟键盘的第一位置上显示光标。
在用户使用的人手不同时，该生物识别特征不同，其所对应区域也可以不同。具体地，第一区域对应左手，第二区域对应右手。该步骤702中，终端可以响应于该生物识别特征指示该人手为左手，在该虚拟键盘内该第一区域内的目标位置上显示光标；终端可以响应于该生物识别特征指示该人手为右手，在该虚拟键盘内该第二区域内的目标位置上显示光标。
具体地，终端可以响应于该生物识别特征指示该人手为左手，确定该虚拟键盘内该第一区域内的目标位置为第一位置，然后在该第一位置上显示光标。终端可以响应于该生物识别特征指示该人手为右手，确定该虚拟键盘内该第二区域内的目标位置为第一位置，然后在该第一位置上显示光标。
例如，如图9所示，可以对虚拟键盘进行均分，得到左侧区域901和右侧区域902，该左侧区域901可以为第一区域，右侧区域902可以为第二区域。这样用户如果用左手做出目标手势，则对应的第一位置在左侧区域901内。如果用户用右手做出目标手势，则对应的第一位置在右侧区域902内。
通过划分，用户能够通过区分左右手，以对虚拟键盘内的小区域进行区分，用户可以根据想要触发按键的位置，来选择使用左手还是右手，这样再在小区域内进行进一步精确选择，能够减小进一步选择的范围，这样相较于不对虚拟键盘进行划分的方式，能够尽可能地减少用户调整光标的操作，以提高操作效率。
在一些实施例中，还可以将上述第一区域和第二区域进行进一步划分，第一区域对应左手，第二区域对应右手。第一区域和第二区域内还分别划分为多个子区域，人手的不同手指与不同的子区域对应。该目标手势可以由人手的一个手指与拇指形成，那么这个手指可以对应子区域。
相应地，该步骤302中，终端可以响应于该生物识别特征指示该人手为左手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第一区域内该第一手指对应的子区域内目标位置上显示光标。
终端可以响应于该生物识别特征指示该人手为右手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第二区域内该第一手指对应的子区域内目标位置上显示光标。
在一个具体示例中，第一区域可以划分为两个子区域，第二区域也划分为两个子区域。
第一区域的第一子区域对应左手的第二手指，第一区域的第二子区域对应左手的第三手指。
第二区域的第三子区域对应右手的第四手指，第二区域的第四子区域对应右手的第五手指。可以理解地，一只手除了拇指之外包括四个手指：食指、中指、无名指和小指。具体第二手指和第三手指分别为四个手指中的哪两个可以由相关技术人员根据需求设置，也可以由用户根据操作习惯设置，第四手指和第五手指同理，本申请实施例对此不作限定。
例如，如图10所示，左手作左半边键盘(第一区域1001)的输入，右手作右半边键盘(第二区域1001)的输入。以目标手势为按捏手势、第二手指为左手中指、第三手指为左手食指、第四手指为右手食指、第五手指为右手中指为例。当用户使用左手的食指与拇指按捏时，光标出现在第一区域1001的第二子区域1003内，用于控制E、R、T、D、F、G、C、V、B的触发。当用户使用左手的中指与拇指按捏时，光标出现在第一区域1001的第一子区域1004内，用于控制Q、W、A、S、Z、X的触发。
在一些实施例中，该目标位置为区域的中心位置。这样将光标显示在中心位置，如果后续用户想要移动光标进行按键选择时，能够保证距离其他按键的距离之和最小，这样用户移动光标的距离能够大幅度减小，操作更加便利，效率更高。
以图10所示示例为例，当用户使用左手的食指与拇指按捏时，光标出现在第一区域1001的第二子区域1003内的中心位置F按键上。当用户使用左手的中指与拇指按捏时，光标出现在第一区域1001的第一子区域1004内的中心位置A和S按键之间。
在另一个具体示例中，第一区域可以划分为三个子区域，第二区域也划分为三个子区域。第一区域的第一子区域对应左手的第二手指，第一区域的第二子区域对应左手的第三手指。第一区域的第三子区域对应右手的第四手指。第二区域的第四子区域对应右手的第五手指，第二区域的第五子区域对应右手的第六手指，第二区域的第六子区域对应右手的第七手指。具体第二手指、第三手指和第四手指分别为四个手指中的哪两个可以由相关技术人员根据需求设置，也可以由用户根据操作习惯设置，第五手指、第六手指和第七手指同理，本申请实施例对此不作限定。
例如，如图11所示，左手作左半边键盘(第一区域1101)的输入，右手作右半边键盘(第二区域1102)的输入。以目标手势为按捏手势、第二手指、第三手指和第四手指分别为左手无名指、中指、食指，第五手指、第六手指和第七手指分别为右手食指、中指、无名指为例。当用户使用左手的食指与拇指按捏时，光标出现在第一区域1101的第三子区域1103内，用于控制R、T、F、G、V、B的触发。当用户使用左手的中指与拇指按捏时，光标出现在第一区域1101的第二子区域1104内，用于控制W、E、S、D、X、C的触发。当用户使用左手的无名指与拇指按捏时，光标出现在第一区域1101的第一子区域1105内，用于控制Q、A、X的触发。右手同理，在此不多做赘述。
在一些实施例中，该目标位置为区域的中心位置，以图11所示示例为例，当用户使用左手的食指与拇指按捏时，光标出现在第一区域1101的第三子区域1103内的中心位置F和G按键之间。
在另一个具体示例中，第一区域可以划分为四个子区域，第二区域也划分为四个子区域。
第一区域的第一子区域对应左手的第二手指，第一区域的第二子区域对应左手的第三手指。
第一区域的第三子区域对应右手的第四手指，第一区域的第四子区域对应左手的第五手指。第二区域的第五子区域对应右手的第六手指，第二区域的第六子区域对应右手的第七手指，第二区域的第七子区域对应右手的第八手指，第二区域的第八子区域对应右手的第九手指。具体第二手指、第三手指、第四手指和第五手指分别为四个手指中的哪两个可以由相关技术人员根据需求设置，也可以由用户根据操作习惯设置，第六手指、第七手指、第八手指、第九手指同理，本申请实施例对此不作限定。
例如，如图12所示，左手作左半边键盘(第一区域1201)的输入，右手作右半边键盘(第二区域1202)的输入。以目标手势为按捏手势、第二手指、第三手指、第四手指和第五手指分别为左手小指、无名指、中指、食指第六手指、第七手指、第八手指、第九手指分别为右手食指、中指、无名指、小指为例。当用户使用左手的食指与拇指按捏时，光标出现在第一区域1201的第四子区域1203内，用于控制R、T、F、G、V、B的触发。当用户使用左手的中指与拇指按捏时，光标出现在第一区域1201的第三子区域1204内，用于控制E、D、C的触发。当用户使用左手的无名指与拇指按捏时，光标出现在第一区域1201的第二子区域1205内，用于控制W、S、X的触发。当用户使用左手的小指与拇指按捏时，光标出现在第一区域1201的第一子区域1206内，用于控制Q、A、X的触发。右手同理，在此不多做赘述。
在一些实施例中，该目标位置为区域的中心位置，以图12所示示例为例，当用户使用左手的食指与拇指按捏时，光标出现在第一区域1201的第四子区域1203内的中心位置F和G按键之间。当用户使用左手的中指与拇指按捏时，光标出现在第一区域1201的第三子区域1204内的中心位置D按键上。
需要说明的是，终端在检测到人手处于目标手势时，还可以确定该目标手势的生物识别特征。如果该生物识别特征指示人手的第一手指与拇指形成该目标手势，且该第一手指不存在对应的第一位置，则忽略本次操作。
703、终端响应于该人手保持该目标手势且移动，获取该人手移动的位移。
上述第一位置可以理解为光标的初始显示位置，该初始显示位置可能在按键上，也可能在按键之间，用户可以移动人手来控制光标移动。
在人手保持目标手势的同时移动时，终端可以获取人手移动的位移。该人手移动的位移的获取过程可以采用上述手势识别同理的步骤，终端可以采集人手的两个图像，对人手的位置进行识别，以确定出两幅图像中人手的位置变化，也即是位移。
或者，上述手势跟踪传感器确定出的旋转等特征用于描述手指的形状，还可以确定出人手的各个指节的位置(该位置可以通过坐标的方式表示)。然后终端在人手移动时，也可以继续获取人手的各个指节的位置，从而与上述步骤702中获取到的位置进行对比，确定出人手的位移。
704、终端根据该第一位置以及该人手移动的位移，确定该光标的第三位置。
已知光标的初始位置(第一位置)，通过人手移动的位置，终端可以确定出光标的位移，进而，通过第一位置与光标的位移，确定出光标的第三位置。
终端根据人手移动的位移确定光标的位移时，可以通过多种实现方式实现。在一些实施例中，终端可以将人手移动的位移作为光标的位移。在另一些实施例中，终端可以根据人手移动的位移和灵敏度，确定光标的位移。
该灵敏度可以由相关技术人员根据需求设置，也可以由用户根据自身的操作习惯设置，本申请实施例对此不作限定。
705、终端显示该光标从该第一位置移动至该第三位置。
终端在确定出光标的第三位置后，即可控制光标从第一位置移动到第三位置，从而体现出光标跟随人手的移动而移动的效果。
上述步骤703至步骤705为响应于该人手保持该目标手势且移动，显示该光标跟随该人手的移动而移动的一种可能实现方式，上述以根据人手的位移确定光标的位置来控制光标移动为例进行了说明，该过程也可以通过其他方式实现，例如，终端也可以无需确定光标的第三位置，而是直接获取光标的位移，然后按照光标的位移来控制光标移动。本申请实施例对此不作限定。
在一个具体示例中，假设手指位移与光标位移同等增加或减少，也即是灵敏度为1。假设第一位置用InitCursorPos表示，在检测到人手保持目标手势的同时移动时，获取到人手的位移(人手的位移用TipMovement表示)，则光标的第三位置为CursorPos＝InitCursorPos+TipMovement。
706、终端响应于该人手的手势变化，执行该虚拟键盘的第二位置对应按键的功能，该第二位置为该人手的手势变化时该光标所在位置。
用户在将光标移动至预期的位置时，比如第二位置，然后可以不再保持目标手势，终端检测到人手的手势发生变化，则可以执行第二位置上按键的功能。
虚拟键盘可以包括多种类型的按键：字符按键、功能按键等。在该第二位置对应案件为不同类型的按键时，终端执行的功能也可以不同。相应地，该步骤706可以包括以下几种情况。
情况一、响应于该第二位置对应按键为字符按键，在该虚拟键盘的输入框或拼音显示区域中输入该第二位置对应按键所表示的字符。
在该情况一中，如果当前为英文输入模式，或当前为中文输入模式但字符按键并非字母按键，终端可以在虚拟键盘的输入框中输入第二位置对应按键所表示的字符。如果当前为中文输入模式且字符按键为字母按键，则终端可以在拼音显示区域中输入该第二位置对应按键所表示的字符。
情况二、响应于该第二位置对应按键为删除按键，将该虚拟键盘的输入框或拼音显示区域中的最后一位字符删除。
在情况二中，删除按键为一种功能按键，并非字符输入，而是删除已输入的字符。如果当前为英文输入模式，或者为中文输入模式且拼音显示区域内无已输入字符，终端可以将虚拟键盘的输入框中的最后一位字符删除。如果当前为中文输入模式且拼音显示区域内存在已输入字符，终端可以将拼音显示区域中的最后一位字符删除。
情况三、响应于该第二位置对应按键为换行按键，显示该虚拟键盘的输入框中的输入光标换到下一行。
情况四、响应于该第二位置对应按键为确认按键，将该虚拟键盘的输入框中已输入的内容作为目标内容，并取消对该虚拟键盘的显示。
上述仅提供了几种可能的按键类型，但并不限定虚拟键盘中仅包括这几种，本领域技术人员可以根据需求任意设置虚拟键盘中的按键，例如，该虚拟键盘还包括退出按键或返回按键，终端可以响应于该第二位置对应按键为退出按键或返回按键，可以取消对虚拟键盘的显示。又例如，该虚拟键盘还包括参数调节按键，终端可以响应于第二位置对应按键为参数调节按键，对当前显示界面的参数进行调节，该参数包括显示参数、音量参数、控制参数中的至少一项。本申请实施例对此不作限定。
当然，还有一种可能情况，该第二位置并非按键所在位置，则终端可以忽略本次操作。
在一些实施例中，该虚拟键盘内还包括至少一个虚拟控件。终端还可以响应于检测到人手未处于该目标手势且移动，显示该光标随着该人手移动而移动，然后响应于检测到该人手做出目标动作且该光标位于该至少一个虚拟控件中目标虚拟控件上，执行该目标虚拟控件所对应的功能。其中，在显示光标随着人手移动而移动的过程与上述步骤303至步骤305同理，在此不多做赘述。
其中，该目标动作可以由相关技术人员根据需求继续设置，也可以由用户根据操作习惯进行设置，比如目标动作可以为点按动作，又比如目标动作可以为拍击动作，本申请实施例对此不作限定。
在一些实施例中，该虚拟控件可能包括以下几种：大写输入和小写输入的切换控件、符号输入和字母输入的切换控件、中文输入和英文输入的切换控件。下面针对这几种虚拟控件进行说明。
终端可以响应于该目标虚拟控件为大写输入和小写输入的切换控件，对该虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换。
在一些实施例中，该大写输入还可以包括大写输入和锁定大写输入两种。
在一些实施例中，终端还可以对该目标虚拟控件的显示内容进行更新，更新后的该显示内容与该虚拟键盘内字符的切换或字符输入模式的切换相符。
例如，如图13所示，大小写状态有3种：小写、大写、锁定大写。以目标动作为点按动作为例，用户在光标在大小写切换按键1301上时，进行点按操作一次，就会进入下一个状态，在第3个状态时按下会进入第一个状态，以此循环。键盘上的字母会随状态切换成大写或小写，按键会显示当前状态的文字或图标示意，图13中以大小写切换按键1301在大写状态下显示“大写”为例。大写状态下用户输入了一个字母，键盘会自动切换回小写状态。锁定大写状态下，用户可以持续地输入大写字母。
在一些实施例中，终端可以响应于该目标虚拟控件为符号输入和字母输入的切换控件，对该虚拟键盘内显示的字符在字母和符号之间进行切换。
例如，如图14所示，在光标位于符号输入和字母输入的切换控件1401上时，进行点按动作一次，符号输入和字母输入的切换控件1401会从字母按键切换成符号按键，相应的，虚拟键盘上显示的字符会从字母变成符号，如图14所示。再点按一次则切换回字母按键，相应的，虚拟键盘上显示的字符会从符号变成字母。
终端可以响应于该目标虚拟控件为中文输入和英文输入的切换控件，对该虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
例如，如图15所示，在光标位于中文输入和英文输入的切换控件1501上时，进行点按动作，会在英文和中文拼音两种模式间作切换。其中，英文输入模式下切换控件1501示“EN”，中文输入模式下切换控件1501显示“拼音”。在中文输入模式下，用户通过上述目标手势加移动输入拼音，拼音会出现在切换控件1501中，图15中以显示输入的拼音“fa”为例，也即是拼音显示区域为该切换控件1501所在区域。当然，该拼音显示区域还可以为其他区域，并不在切换控件1501所在区域。
在中文输入情况中，终端可以响应于该虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在该拼音显示区域的目标范围内显示该已输入的字符组合对应的候选汉字。
例如，如图15所示，拼音显示区域内包括多个字符，该多个字符对应有候选汉字，则可以在右边显示候选汉字。图15中以“fa”对应有多个候选汉字，比如发、惩、筏、伐、乏、阀、法等等，图中仅示出了“发、惩、筏、伐、乏、阀、法”，对于其他候选汉字，如果用户在光标候选汉字上时进行滑动动作时，显示的候选汉字能够滚动显示其他候选汉字。
上述方法详见图16和图17，对于每个检测周期，可以等待用户手势操作，如果有手势操作，则判断是否检测到用户的手，如果检测到手，在确定是否已做过按捏手势，如果是，则说明当前用户保持按捏手势，进而可以判断当前是否释放按捏手势，如果是，则可以触发光标所在的按键功能，并施放光标。按键功能包括多种，在此不多做赘述。如果没有释放手势则可以继续按捏手指的空间坐标NewTipPos,来与手指之前的空间坐标InitTipPos来确定出手指位移Tipmovement，然后可以确定光标的新位置CursorPos＝光标之前所在位置InitCursorPos+Tipmovement。如果判断之前并未做过按捏手势，也即是当前刚好检测到按捏手势，则可以判断是否为左手，如果是，则操作将应用于做键盘部分。如果不是左手，操作将应用于右键盘部分。进而确定是哪根手指与拇指做按捏手势，然后根据判断出来的手指，来确定是否有对应的键盘操作区域，如果有则在对应操作区域中心显示光标，这个光标所在位置为初始光标位置InitCursorPos。然后还可以记录下手指的标识Fingerindex(食指到小指分别为数字1-4)，然后记录下该手指的空间坐标InitTipPos。
在中文输入模式中，在通过按捏手势确定输入一个字母时，可以将字母添加到拼音末尾，然后判断现在已输入的拼音是否找到对应的汉字，如果能找到则罗列出汉字，如果不能找到则继续检测用户的手势操作。在罗列出汉字的情况下，用户可以点按动作，来触发汉字按键，进而在输入框中输入汉字。用户也可以通过左右滑动操作来左右滑动汉字横条，从而横条左右滚动，来显示其他汉字，以供选择。
本申请无需手柄，用手势以按捏加移动手势触发键盘虚拟按键。按捏手势后会从操控区域的中心出发，缩短到区域中每个按键的距离。用左手、右手是一个大区域筛选(筛选出左边或右边键盘部分)，每个手指又可以是小区域的筛选(筛选出一列或两列键盘按键)，通过按捏筛选出最后的按键区域后，再用位移做精准按键选择(上中下精确选择)，利用了手势提高选择效率，同时有位移操作填补最后具体按键的选择自由度。
本申请实施例通过结合手势和移动两种操作，为对虚拟键盘中按键进行触发的场景，提供了一种灵活、操作简单的方式。在该方式中，用户仅需人手做出目标手势，即可触发光标的显示，然后通过保持目标手势的同时移动人手，即可控制光标移动，这样操作十分简单、便利，还可以控制光标移动，以精确地对单个按键进行选择和触发，从而提高了对按键触发的颗粒度和精准度，能够实现对任意一种形式的字符的输入，因而适用性比较好。另外，在检测到目标手势时，还可以基于目标手势的生物识别特征来确定光标的初始显示位置，以使得用户能够灵活使用不同人手进行手势操作，来确定光标显示位置，以尽量减少光标移动距离，降低操作复杂度，提高操作效率。
上述所有可选技术方案，采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图18是本申请实施例提供的一种按键功能执行系统的示意图，按键功能执行系统包括电子设备1801、手势跟踪传感器1802和显示设备1803；其中，该手势跟踪传感器1802和该显示设备1802分别与该电子设备1801连接。
该显示设备1802用于显示虚拟键盘，该虚拟键盘包括第一区域和第二区域，该第一区域和第二区域中每个区域内包括至少两个按键，该第一区域和该第二区域分别与左手和右手对应；
该手势跟踪传感器1802用于检测到人手处于目标手势；
该显示设备1802还用于响应于检测到人手处于目标手势，根据该目标手势的生物识别特征，在该虚拟键盘内该生物识别特征对应区域内的第一位置上显示光标，该第一位置为该生物识别特征对应的位置；
该手势跟踪传感器1802还用于检测到该人手保持该目标手势且移动；
该显示设备1802还用于响应于该人手保持该目标手势且移动，显示该光标跟随该人手的移动而移动；
该电子设备1801用于响应于该人手的手势变化，执行该虚拟键盘的第二位置对应按键的功能，该第二位置为该人手的手势变化时该光标所在位置。
在一些实施例中，该显示设备1802为虚拟现实(VR)显示设备或屏幕显示器。
在一些实施例中，该显示设备1802用于：
响应于该生物识别特征指示该人手为左手，在该虚拟键盘内该第一区域内的目标位置上显示光标；
响应于该生物识别特征指示该人手为右手，在该虚拟键盘内该第二区域内的目标位置上显示光标。
在一些实施例中，该显示设备1802用于：
响应于该生物识别特征指示该人手为左手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第一区域内该第一手指对应的子区域内目标位置上显示光标；
响应于该生物识别特征指示该人手为右手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第二区域内该第一手指对应的子区域内目标位置上显示光标。
在一些实施例中，该目标位置为区域的中心位置。
在一些实施例中，该电子设备1801用于响应于该人手保持该目标手势且移动，获取该人手移动的位移；根据该第一位置以及该人手移动的位移，确定该光标的第三位置；
该显示设备1802用于显示该光标从该第一位置移动至该第三位置。
在一些实施例中，该显示设备1802用于执行下述任一项：
响应于该第二位置对应按键为字符按键，在该虚拟键盘的输入框或拼音显示区域中输入该第二位置对应按键所表示的字符；
响应于该第二位置对应按键为删除按键，将该虚拟键盘的输入框或拼音显示区域中的最后一位字符删除；
响应于该第二位置对应按键为换行按键，显示该虚拟键盘的输入框中的输入光标换到下一行；
响应于该第二位置对应按键为确认按键，将该虚拟键盘的输入框中已输入的内容作为目标内容，并取消对该虚拟键盘的显示。
在一些实施例中，该显示设备1802还用于响应于该虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在该拼音显示区域的目标范围内显示该已输入的字符组合对应的候选汉字。
在一些实施例中，该虚拟键盘内还包括至少一个虚拟控件；
该显示设备1802还用于响应于检测到人手未处于该目标手势且移动，显示该光标随着该人手移动而移动；
该电子设备1801还用于响应于检测到该人手做出目标动作且该光标位于该至少一个虚拟控件中目标虚拟控件上，执行该目标虚拟控件所对应的功能。
在一些实施例中，该电子设备1801用于：
响应于该目标虚拟控件为大写输入和小写输入的切换控件，对该虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换；
响应于该目标虚拟控件为符号输入和字母输入的切换控件，对该虚拟键盘内显示的字符在字母和符号之间进行切换；
响应于该目标虚拟控件为中文输入和英文输入的切换控件，对该虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
在一些实施例中，该显示设备1802还用于对该目标虚拟控件的显示内容进行更新，更新后的该显示内容与该虚拟键盘内字符的切换或字符输入模式的切换相符。
图19是本申请实施例提供的一种按键功能执行装置的结构示意图，参见图19，该装置包括：
显示模块1901，用于显示虚拟键盘，该虚拟键盘包括第一区域和第二区域，该第一区域和第二区域中每个区域内包括至少两个按键，该第一区域和该第二区域分别与左手和右手对应；
该显示模块1901，还用于响应于检测到人手处于目标手势，根据该目标手势的生物识别特征，在该虚拟键盘内该生物识别特征对应区域内的第一位置上显示光标，该第一位置为该生物识别特征对应的位置；
该显示模块1901，还用于响应于该人手保持该目标手势且移动，显示该光标跟随该人手的移动而移动；
执行模块1902，用于响应于该人手的手势变化，执行该虚拟键盘的第二位置对应按键的功能，该第二位置为该人手的手势变化时该光标所在位置。
在一些实施例中，该显示模块1901用于：
响应于该生物识别特征指示该人手为左手，在该虚拟键盘内该第一区域内的目标位置上显示光标；
响应于该生物识别特征指示该人手为右手，在该虚拟键盘内该第二区域内的目标位置上显示光标。
在一些实施例中，该显示模块1901用于：
响应于该生物识别特征指示该人手为左手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第一区域内该第一手指对应的子区域内目标位置上显示光标；
响应于该生物识别特征指示该人手为右手且该目标手势为该人手的第一手指与拇指所形成的手势，确定该虚拟键盘内该第二区域内该第一手指对应的子区域内目标位置上显示光标。
在一些实施例中，该目标位置为区域的中心位置。
在一些实施例中，该显示模块1901用于：
响应于该人手保持该目标手势且移动，获取该人手移动的位移；
根据该第一位置以及该人手移动的位移，确定该光标的第三位置；
显示该光标从该第一位置移动至该第三位置。
在一些实施例中，该执行模块1902用于下述任一项：
响应于该第二位置对应按键为字符按键，在该虚拟键盘的输入框或拼音显示区域中输入该第二位置对应按键所表示的字符；
响应于该第二位置对应按键为删除按键，将该虚拟键盘的输入框或拼音显示区域中的最后一位字符删除；
响应于该第二位置对应按键为换行按键，显示该虚拟键盘的输入框中的输入光标换到下一行；
响应于该第二位置对应按键为确认按键，将该虚拟键盘的输入框中已输入的内容作为目标内容，并取消对该虚拟键盘的显示。
在一些实施例中，该显示模块1901还用于响应于该虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在该拼音显示区域的目标范围内显示该已输入的字符组合对应的候选汉字。
在一些实施例中，该虚拟键盘内还包括至少一个虚拟控件；
该显示模块1901还用于响应于检测到人手未处于该目标手势且移动，显示该光标随着该人手移动而移动；
该执行模块1902还用于响应于检测到该人手做出目标动作且该光标位于该至少一个虚拟控件中目标虚拟控件上，执行该目标虚拟控件所对应的功能。
在一些实施例中，该执行模块1902用于：
响应于该目标虚拟控件为大写输入和小写输入的切换控件，对该虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换；
响应于该目标虚拟控件为符号输入和字母输入的切换控件，对该虚拟键盘内显示的字符在字母和符号之间进行切换；
响应于该目标虚拟控件为中文输入和英文输入的切换控件，对该虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
在一些实施例中，该执行模块1902还用于对该目标虚拟控件的显示内容进行更新，更新后的该显示内容与该虚拟键盘内字符的切换或字符输入模式的切换相符。
本申请实施例通过结合手势和移动两种操作，为对虚拟键盘中按键进行触发的场景，提供了一种灵活、操作简单的方式。在该方式中，用户仅需人手做出目标手势，即可触发光标的显示，然后通过保持目标手势的同时移动人手，即可控制光标移动，这样操作十分简单、便利，还可以控制光标移动，以精确地对单个按键进行选择和触发，从而提高了对按键触发的颗粒度和精准度，能够实现对任意一种形式的字符的输入，因而适用性比较好。另外，在检测到目标手势时，还可以基于目标手势的生物识别特征来确定光标的初始显示位置，以使得用户能够灵活使用不同人手进行手势操作，来确定光标显示位置，以尽量减少光标移动距离，降低操作复杂度，提高操作效率。
需要说明的是：上述实施例提供的按键功能执行装置在按键功能执行时，仅以上述各功能模块的划分进行举例说明，实际应用中，根据需要而将上述功能分配由不同的功能模块完成，即将按键功能执行装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的按键功能执行装置与按键功能执行方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图20是本申请实施例提供的一种电子设备的结构示意图，该电子设备2000可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central ProcessingUnits，CPU)2001和一个或一个以上的存储器2002，其中，该存储器2002中存储有至少一条计算机程序，该至少一条计算机程序由该处理器2001加载并执行以实现上述各个方法实施例提供的按键功能执行方法。该电子设备还包括其他用于实现设备功能的部件，例如，该电子设备还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出。本申请实施例在此不做赘述。
上述方法实施例中的电子设备实现为终端。例如，图21是本申请实施例提供的一种终端的结构框图。该终端2100可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端2100包括有：处理器2101和存储器2102。
处理器2101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器2101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器2101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器2101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器2102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器2102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器2102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器2101所执行以实现本申请中方法实施例提供的按键功能执行方法。
在一些实施例中，终端2100还可选包括有：外围设备接口2103和至少一个外围设备。处理器2101、存储器2102和外围设备接口2103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2103相连。具体地，外围设备包括：射频电路2104、显示屏2105、摄像头组件2106、音频电路2107、定位组件2108和电源2109中的至少一种。
外围设备接口2103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器2101和存储器2102。在一些实施例中，处理器2101、存储器2102和外围设备接口2103被集成在同一芯片或电路板上；在一些其他实施例中，处理器2101、存储器2102和外围设备接口2103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路2104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路2104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路2104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路2104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路2104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏2105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2105是触摸显示屏时，显示屏2105还具有采集在显示屏2105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2101进行处理。此时，显示屏2105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏2105可以为一个，设置在终端2100的前面板；在另一些实施例中，显示屏2105可以为至少两个，分别设置在终端2100的不同表面或呈折叠设计；在另一些实施例中，显示屏2105可以是柔性显示屏，设置在终端2100的弯曲表面上或折叠面上。甚至，显示屏2105还可以设置成非矩形的不规则图形，也即异形屏。显示屏2105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件2106用于采集图像或视频。可选地，摄像头组件2106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件2106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路2107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器2101进行处理，或者输入至射频电路2104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端2100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2101或射频电路2104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路2107还可以包括耳机插孔。
定位组件2108用于定位终端2100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。
电源2109用于为终端2100中的各个组件进行供电。电源2109可以是交流电、直流电、一次性电池或可充电电池。当电源2109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端2100还包括有一个或多个传感器2110。该一个或多个传感器2110包括但不限于：加速度传感器2111、陀螺仪传感器2112、压力传感器2113、指纹传感器2114、光学传感器2115以及接近传感器2116。
加速度传感器2111可以检测以终端2100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器2111可以用于检测重力加速度在三个坐标轴上的分量。处理器2101可以根据加速度传感器2111采集的重力加速度信号，控制显示屏2105以横向视图或纵向视图进行用户界面的显示。加速度传感器2111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器2112可以检测终端2100的机体方向及转动角度，陀螺仪传感器2112可以与加速度传感器2111协同采集用户对终端2100的3D动作。处理器2101根据陀螺仪传感器2112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器2113可以设置在终端2100的侧边框和/或显示屏2105的下层。当压力传感器2113设置在终端2100的侧边框时，可以检测用户对终端2100的握持信号，由处理器2101根据压力传感器2113采集的握持信号进行左右手识别或快捷操作。当压力传感器2113设置在显示屏2105的下层时，由处理器2101根据用户对显示屏2105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器2114用于采集用户的指纹，由处理器2101根据指纹传感器2114采集到的指纹识别用户的身份，或者，由指纹传感器2114根据采集到的指纹识别用户的身份。指纹传感器2114可以被设置在终端2100的正面、背面或侧面。当终端2100上设置有物理按键或厂商Logo时，指纹传感器2114可以与物理按键或厂商Logo集成在一起。
光学传感器2115用于采集环境光强度。在一个实施例中，处理器2101可以根据光学传感器2115采集的环境光强度，控制显示屏2105的显示亮度。具体地，当环境光强度较高时，调高显示屏2105的显示亮度；当环境光强度较低时，调低显示屏2105的显示亮度。在另一个实施例中，处理器2101还可以根据光学传感器2115采集的环境光强度，动态调整摄像头组件2106的拍摄参数。
接近传感器2116，也称距离传感器，通常设置在终端2100的前面板。接近传感器2116用于采集用户与终端2100的正面之间的距离。在一个实施例中，当接近传感器2116检测到用户与终端2100的正面之间的距离逐渐变小时，由处理器2101控制显示屏2105从亮屏状态切换为息屏状态；当接近传感器2116检测到用户与终端2100的正面之间的距离逐渐变大时，由处理器2101控制显示屏2105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图21中示出的结构并不构成对终端2100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
上述方法实施例中的电子设备实现为服务器。例如，图22是本申请实施例提供的一种服务器的结构示意图，该服务器2200可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central Processing Units，CPU)2201和一个或一个以上的存储器2202，其中，该存储器2202中存储有至少一条计算机程序，该至少一条计算机程序由该处理器2201加载并执行以实现上述各个方法实施例提供的按键功能执行方法。当然，该服务器还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序由可由处理器执行以完成上述实施例中的按键功能执行方法。例如，计算机可读存储介质是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-OnlyMemory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备执行上述按键功能执行方法。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域普通技术人员理解实现上述实施例的全部或部分步骤通过硬件来完成，也通过程序来指令相关的硬件完成，该程序存储于一种计算机可读存储介质中，上述提到的存储介质是只读存储器，磁盘或光盘等。
以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种按键功能执行方法，其特征在于，所述方法包括：
显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和所述第二区域中每个区域内包括至少两个按键，每个按键上显示一个字符，所述第一区域和所述第二区域分别与左手和右手对应，所述第一区域和所述第二区域内分别划分为多个子区域，人手的不同手指与不同的子区域对应；
响应于检测到人手处于目标手势，且所述目标手势的生物识别特征指示所述人手为左手，在所述虚拟键盘内所述第一区域内的目标位置上显示光标，所述目标位置为做出所述目标手势的手指对应的子区域的中心位置；
响应于检测到所述人手处于所述目标手势，且所述目标手势的生物识别特征指示所述人手为右手，在所述虚拟键盘内所述第二区域内的目标位置上显示光标；
响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，并释放光标，所述第二位置为所述人手的手势变化时所述光标所在位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述生物识别特征指示所述人手为左手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第一区域内所述第一手指对应的子区域内目标位置上显示光标；
响应于所述生物识别特征指示所述人手为右手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第二区域内所述第一手指对应的子区域内目标位置上显示光标。
3.根据权利要求1所述的方法，其特征在于，所述响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动，包括：
响应于所述人手保持所述目标手势且移动，获取所述人手移动的位移；
根据所述目标位置以及所述人手移动的位移，确定所述光标的第三位置；
显示所述光标从所述目标位置移动至所述第三位置。
4.根据权利要求1所述的方法，其特征在于，所述执行所述虚拟键盘的第二位置对应按键的功能，包括下述任一项：
响应于所述第二位置对应按键为字符按键，在所述虚拟键盘的输入框或拼音显示区域中输入所述第二位置对应按键所表示的字符；
响应于所述第二位置对应按键为删除按键，将所述虚拟键盘的输入框或拼音显示区域中的最后一位字符删除；
响应于所述第二位置对应按键为换行按键，显示所述虚拟键盘的输入框中的输入光标换到下一行；
响应于所述第二位置对应按键为确认按键，将所述虚拟键盘的输入框中已输入的内容作为目标内容，并取消对所述虚拟键盘的显示。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在所述拼音显示区域的目标范围内显示所述已输入的字符组合对应的候选汉字。
6.根据权利要求1所述的方法，其特征在于，所述虚拟键盘内还包括至少一个虚拟控件；所述方法还包括：
响应于检测到所述人手未处于所述目标手势且移动，显示所述光标随着所述人手移动而移动；
响应于检测到所述人手做出目标动作且所述光标位于所述至少一个虚拟控件中目标虚拟控件上，执行所述目标虚拟控件所对应的功能。
7.根据权利要求6所述的方法，其特征在于，所述执行所述目标虚拟控件所对应的功能，包括：
响应于所述目标虚拟控件为大写输入和小写输入的切换控件，对所述虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换；
响应于所述目标虚拟控件为符号输入和字母输入的切换控件，对所述虚拟键盘内显示的字符在字母和符号之间进行切换；
响应于所述目标虚拟控件为中文输入和英文输入的切换控件，对所述虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
8.根据权利要求7所述的方法，其特征在于，所述执行所述目标虚拟控件所对应的功能，还包括：
对所述目标虚拟控件的显示内容进行更新，更新后的所述显示内容与所述虚拟键盘内字符的切换或字符输入模式的切换相符。
9.一种按键功能执行系统，其特征在于，所述系统包括电子设备、手势跟踪传感器和显示设备；其中，所述手势跟踪传感器和所述显示设备分别与所述电子设备连接；
所述显示设备用于显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和所述第二区域中每个区域内包括至少两个按键，每个按键上显示一个字符，所述第一区域和所述第二区域分别与左手和右手对应，所述第一区域和所述第二区域内分别划分为多个子区域，人手的不同手指与不同的子区域对应；
所述手势跟踪传感器用于检测到人手处于目标手势；
所述显示设备还用于响应于检测到人手处于目标手势，且所述目标手势的生物识别特征指示所述人手为左手，在所述虚拟键盘内所述第一区域内的目标位置上显示光标，所述目标位置为做出所述目标手势的手指对应的子区域的中心位置；响应于检测到所述人手处于所述目标手势，且所述目标手势的生物识别特征指示所述人手为右手，在所述虚拟键盘内所述第二区域内的目标位置上显示光标；
所述手势跟踪传感器还用于检测到所述人手保持所述目标手势且移动；
所述显示设备还用于响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
所述电子设备用于响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，并释放光标，所述第二位置为所述人手的手势变化时所述光标所在位置。
10.根据权利要求9所述的系统，其特征在于，所述显示设备为虚拟现实显示设备或屏幕显示器。
11.一种按键功能执行装置，其特征在于，所述装置包括：
显示模块，用于显示虚拟键盘，所述虚拟键盘包括第一区域和第二区域，所述第一区域和所述第二区域中每个区域内包括至少两个按键，每个按键上显示一个字符，所述第一区域和所述第二区域分别与左手和右手对应，所述第一区域和所述第二区域内分别划分为多个子区域，人手的不同手指与不同的子区域对应；
所述显示模块，还用于响应于检测到人手处于目标手势，且所述目标手势的生物识别特征指示所述人手为左手，在所述虚拟键盘内所述第一区域内的目标位置上显示光标，所述目标位置为做出所述目标手势的手指对应的子区域的中心位置；响应于检测到所述人手处于所述目标手势，且所述目标手势的生物识别特征指示所述人手为右手，在所述虚拟键盘内所述第二区域内的目标位置上显示光标；
所述显示模块，还用于响应于所述人手保持所述目标手势且移动，显示所述光标跟随所述人手的移动而移动；
执行模块，用于响应于所述人手的手势变化，执行所述虚拟键盘的第二位置对应按键的功能，并释放光标，所述第二位置为所述人手的手势变化时所述光标所在位置。
12.根据权利要求11所述的装置，其特征在于，所述显示模块，用于：
响应于所述生物识别特征指示所述人手为左手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第一区域内所述第一手指对应的子区域内目标位置上显示光标；
响应于所述生物识别特征指示所述人手为右手且所述目标手势为所述人手的第一手指与拇指所形成的手势，确定所述虚拟键盘内所述第二区域内所述第一手指对应的子区域内目标位置上显示光标。
13.根据权利要求11所述的装置，其特征在于，所述显示模块，用于：
响应于所述人手保持所述目标手势且移动，获取所述人手移动的位移；
根据所述目标位置以及所述人手移动的位移，确定所述光标的第三位置；
显示所述光标从所述目标位置移动至所述第三位置。
14.根据权利要求11所述的装置，其特征在于，所述执行模块用于执行下述任一项：
响应于所述第二位置对应按键为字符按键，在所述虚拟键盘的输入框或拼音显示区域中输入所述第二位置对应按键所表示的字符；
响应于所述第二位置对应按键为删除按键，将所述虚拟键盘的输入框或拼音显示区域中的最后一位字符删除；
响应于所述第二位置对应按键为换行按键，显示所述虚拟键盘的输入框中的输入光标换到下一行；
响应于所述第二位置对应按键为确认按键，将所述虚拟键盘的输入框中已输入的内容作为目标内容，并取消对所述虚拟键盘的显示。
15.根据权利要求11所述的装置，其特征在于，所述显示模块，还用于：
响应于所述虚拟键盘的拼音显示区域中已输入的字符组合存在对应的候选汉字，在所述拼音显示区域的目标范围内显示所述已输入的字符组合对应的候选汉字。
16.根据权利要求11所述的装置，其特征在于，所述虚拟键盘内还包括至少一个虚拟控件；所述显示模块，还用于响应于检测到所述人手未处于所述目标手势且移动，显示所述光标随着所述人手移动而移动；
所述执行模块，还用于响应于检测到所述人手做出目标动作且所述光标位于所述至少一个虚拟控件中目标虚拟控件上，执行所述目标虚拟控件所对应的功能。
17.根据权利要求16所述的装置，其特征在于，所述执行模块，用于：
响应于所述目标虚拟控件为大写输入和小写输入的切换控件，对所述虚拟键盘内显示的字符在大写输入字符和小写输入字符之间进行切换；
响应于所述目标虚拟控件为符号输入和字母输入的切换控件，对所述虚拟键盘内显示的字符在字母和符号之间进行切换；
响应于所述目标虚拟控件为中文输入和英文输入的切换控件，对所述虚拟键盘的字符输入模式在中文输入和英文输入之间进行切换。
18.根据权利要求17所述的装置，其特征在于，所述执行模块，还用于对所述目标虚拟控件的显示内容进行更新，更新后的所述显示内容与所述虚拟键盘内字符的切换或字符输入模式的切换相符。
19.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的按键功能执行方法。
20.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的按键功能执行方法。
CN202110693794.4A 2021-06-22 2021-06-22 按键功能执行方法、装置、设备及存储介质 Active CN113253908B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110693794.4A CN113253908B (zh) 2021-06-22 2021-06-22 按键功能执行方法、装置、设备及存储介质
JP2023571382A JP2024520943A (ja) 2021-06-22 2022-05-18 キー機能実行方法、キー機能実行システム、キー機能実行装置、電子機器、及びコンピュータプログラム
EP22827258.9A EP4307096A1 (en) 2021-06-22 2022-05-18 Key function execution method, apparatus and device, and storage medium
PCT/CN2022/093610 WO2022267760A1 (zh) 2021-06-22 2022-05-18 按键功能执行方法、装置、设备及存储介质
US18/295,623 US20230244379A1 (en) 2021-06-22 2023-04-04 Key function execution method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693794.4A CN113253908B (zh) 2021-06-22 2021-06-22 按键功能执行方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113253908A CN113253908A (zh) 2021-08-13
CN113253908B true CN113253908B (zh) 2023-04-25

Family

ID=77189245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693794.4A Active CN113253908B (zh) 2021-06-22 2021-06-22 按键功能执行方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20230244379A1 (zh)
EP (1) EP4307096A1 (zh)
JP (1) JP2024520943A (zh)
CN (1) CN113253908B (zh)
WO (1) WO2022267760A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253908B (zh) * 2021-06-22 2023-04-25 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质
CN116048374B (zh) * 2023-03-05 2023-08-29 广州网才信息技术有限公司 虚拟隐形键盘的在线考试方法及系统
CN117193540B (zh) * 2023-11-06 2024-03-12 南方科技大学 虚拟键盘的控制方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324271B (zh) * 2012-03-19 2017-07-25 联想(北京)有限公司 一种基于手势的输入方法和电子设备
CN102880304A (zh) * 2012-09-06 2013-01-16 天津大学 用于便携设备的字符输入方法及装置
WO2018103040A1 (zh) * 2016-12-08 2018-06-14 深圳市柔宇科技有限公司 头戴式显示设备及其内容输入方法
CN109542239A (zh) * 2019-01-16 2019-03-29 张斌 一种手势控制方法、手势设备及系统
CN109828672B (zh) * 2019-02-14 2022-05-27 亮风台（上海）信息科技有限公司 一种用于确定智能设备的人机交互信息的方法与设备
US20200387214A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Artificial reality system having a self-haptic virtual keyboard
US10955929B2 (en) * 2019-06-07 2021-03-23 Facebook Technologies, Llc Artificial reality system having a digit-mapped self-haptic input method
CN111142674B (zh) * 2019-12-31 2021-09-14 联想(北京)有限公司 一种控制方法及电子设备
CN111142675A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 输入方法及头戴式电子设备
CN111443831A (zh) * 2020-03-30 2020-07-24 北京嘉楠捷思信息技术有限公司 一种手势识别方法及装置
CN111596757A (zh) * 2020-04-02 2020-08-28 林宗宇 一种基于指尖交互的手势控制方法和装置
CN113253908B (zh) * 2021-06-22 2023-04-25 腾讯科技（深圳）有限公司 按键功能执行方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2024520943A (ja) 2024-05-27
US20230244379A1 (en) 2023-08-03
EP4307096A1 (en) 2024-01-17
CN113253908A (zh) 2021-08-13
WO2022267760A1 (zh) 2022-12-29

Similar Documents

Publication Publication Date Title
CN113253908B (zh) 按键功能执行方法、装置、设备及存储介质
KR100783552B1 (ko) 휴대 단말기의 입력 제어 방법 및 장치
CN111382624B (zh) 动作识别方法、装置、设备及可读存储介质
EP2068235A2 (en) Input device, display device, input method, display method, and program
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
CN110163380B (zh) 数据分析方法、模型训练方法、装置、设备及存储介质
US20150294516A1 (en) Electronic device with security module
WO2006036069A1 (en) Information processing system and method
CN112068762B (zh) 应用程序的界面显示方法、装置、设备及介质
CN109558000B (zh) 一种人机交互方法及电子设备
KR20160071263A (ko) 이동단말기 및 그 제어방법
CN109495616B (zh) 一种拍照方法及终端设备
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN112540696A (zh) 屏幕触控管理方法、智能终端、装置及可读存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN111192072B (zh) 用户分群方法及装置、存储介质
US20140063053A1 (en) Mobile terminal and control method thereof
US20220019288A1 (en) Information processing apparatus, information processing method, and program
CN112230781B (zh) 字符推荐方法、装置及存储介质
CN109889654B (zh) 一种信息显示方法及终端设备
US11500103B2 (en) Mobile terminal
CN112861565B (zh) 确定轨迹相似度的方法、装置、计算机设备和存储介质
CN111093035B (zh) 图像处理方法、电子设备及存储介质
CN109002239B (zh) 一种信息显示方法及终端设备
CN111310526B (zh) 目标跟踪模型的参数确定方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051670

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant