CN114527926A - 一种按键操作方法及电子设备 - Google Patents

Abstract

本申请实施例公开了一种按键操作方法及电子设备。该方法包括：在显示界面上显示一个虚拟键盘，确定手指对应的所述虚拟键盘中的目标按键；通过摄像头或体感手套获取用户的手指动作，确定针对所述目标按键的输入操作；响应所述输入操作。采用本申请实施例，可以提高按键操作的便捷性和准确性。

Description

一种按键操作方法及电子设备

技术领域

本申请涉及电子技术领域，尤其涉及一种按键操作方法及电子设备。

背景技术

对于非触屏设备，键盘一般都是外接在设备上，用户在使用键盘时，由于注意力集中在屏幕上，使用键盘输入信息时容易发生误触。对于一些使用场景(如游戏类应用)而言，需要记忆不同技能对应的不同按键的位置，如果需要记忆的数量较多，操作难度提升、导致用户体验降低。触屏设备调用虚拟键盘通常会对屏幕有一定面积的占用和遮挡，不利于内容的展示。在增强现实(augmented reality，AR)和虚拟现实(virtual reality，VR)场景下，以上两种场景统称为XR(X Rreality)场景，由于无法精准的识别用户的手势，导致输入精确性不高，操作困难，容易发生误操作。

发明内容

本申请实施例提供一种按键操作方法及电子设备，提高操作的便捷性和准确性。

第一方面，本申请实施例提供了一种按键操作方法，包括：在显示界面上显示一个虚拟键盘，确定手指对应的所述虚拟键盘中的目标按键；通过摄像头或体感手套获取用户的手指动作，确定针对所述目标按键的输入操作；响应所述输入操作。对于一些设备，例如非触屏设备、近距离操作会引起不适的大屏的设备、垂直于人的视线不便操作的设备、不可移动和旋转设备，可以任意选择电子设备与用户之间的输入距离。并且在输入过程中，虚拟键盘中按键可以跟随手指移动，用户不受键盘空间位置限制，也不需记忆按键位置，提高操作的准确性和便捷性。

在一种可能的设计中，接收第一操作，所述第一操作包括双手从中间向两侧滑动；根据所述第一操作，触发显示所述虚拟键盘。

在另一种可能的设计中，所述目标按键跟随所述手指移动。

第二方面，本申请实施例提供了一种按键操作方法，包括：在显示界面上显示一个虚拟键盘；将所述虚拟键盘中至少一个按键映射到一个目标按键上，所述至少一个按键的功能与所述目标按键的功能相同；通过摄像头或体感手套获取用户的手势动作，确定针对所述目标按键的输入操作；响应所述输入操作。通过将虚拟键盘中的其他按键映射到一个单功能按键上，在输入过程中对其他按键进行操作时，实际上对该单功能按键进行操作，从而有效防止误触。

第三方面，本申请实施例提供了一种按键操作方法，包括：触发光标控制，在显示界面上显示光标；通过摄像头或体感手套获取用户的手势动作；当手在所述光标对应的控制区域内移动时，显示所述光标跟随手移动；当手超出所述控制区域时，将所述控制区域移动至与手心对齐的位置，或将所述控制区域的边缘移动至与手的移动方向的边缘对齐。通过采用光标对应的控制区域随手移动的方式，可以简化操作，实现完成自由距离、灵活角度的隔空操作。

在一种可能的设计中，接收第一操作，所述第一操作包括五指并拢；根据所述第一操作，触发所述光标控制。

在另一种可能的设计中，接收第二操作；根据所述第二操作，锁定所述控制区域，锁定后的所述控制区域不跟随手移动。

第四方面，本申请实施例提供了一种按键操作方法，包括：识别当前应用，生成第一虚拟键盘和第二虚拟键盘；显示所述第一虚拟键盘和所述第二虚拟键盘；通过摄像头或体感手套获取用户的手势动作，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作；当手超出所述第一虚拟键盘或所述第二虚拟键盘的范围时，将所述第一虚拟键盘或所述第二虚拟键盘移动至手掌心对齐的位置。通过自动生成的虚拟键盘没有冗余按键和功能，使得操作更加简便，防止误操作，方便用户结合自己的使用习惯进行操作，提高操作的便捷性。

在一种可能的设计中，接收第一手势；根据所述第一手势，显示所述第一虚拟键盘和所述第二虚拟键盘。

在另一种可能的设计中，接收第二手势；根据所述第二手势，显示鼠标的光标。

在另一种可能的设计中，接收第三手势；根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。

第五方面，本申请实施例提供了一种按键操作方法，包括：识别当前应用生成虚拟键盘；显示所述虚拟键盘，所述虚拟键盘中各个按键对应一个手指；通过摄像头或体感手套获取用户的手指动作，确定针对所述按键的输入操作；响应所述输入操作。通过识别手指动作确定输入操作，使得操作更加快捷、准确。

在一种可能的设计中，接收第一手势；根据所述第一手势，显示所述虚拟键盘。

在另一种可能的设计中，接收第二手势；根据所述第二手势，显示鼠标的光标。

在另一种可能的设计中，所述虚拟键盘包括第一虚拟键盘和第二虚拟键盘，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作。

在另一种可能的设计中，接收第三手势；根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。

第六方面，本申请实施例提供了一种按键操作方法，包括：显示虚拟键盘，进入自定义模式；从所述虚拟键盘中选取多个按键，并将所述多个按键拖动至所述虚拟键盘外；将所述多个按键重新组合为一个自定义键盘，退出所述自定义模式；通过摄像头或体感手套获取用户的手指动作，确定针对所述自定义键盘的输入操作；响应所述输入操作。通过从虚拟键盘中自由选择有用的按键，仅仅将有用的按键重新组合成自定义键盘，减少冗余按键，降低误触概率。

在一种可能的设计中，所述自定义键盘对应一个手的操作，另一个手的操作对应鼠标。

在另一种可能的设计中，接收第一手势，所述第一手势包括双手并拢向两侧拉伸；根据所述第一手势，显示所述虚拟键盘。

在另一种可能的设计中，接收第二手势，所述第二手势包括手掌从中间向两侧划过；根据所述第二手势，进入所述自定义模式。

第七方面，本申请实施例提供了一种按键操作方法，包括：识别第一应用显示第一虚拟键盘，所述第一虚拟键盘中的各个按键对应一个手指；通过摄像头或体感手套获取用户的手指动作，确定针对所述第一虚拟键盘的第一输入操作，响应所述第一输入操作；当检测到所述第一应用的工作模式发生改变或从所述第一应用切换到第二应用时，显示第二虚拟键盘，所述第二虚拟键盘中的各个按键对应一个手指；通过摄像头或体感手套获取用户的手指动作，确定针对所述第二虚拟键盘的第二输入操作，响应所述第二输入操作。通过识别当前应用的窗口或工作模式，自动切换手手指对应的按键或切换键盘，切换的过程流畅，减少了操作步骤。

第八方面，本申请实施例提供了一种按键操作方法，包括：显示虚拟键盘和鼠标，所述虚拟键盘对应一个手的操作，所述鼠标对应另一个手的操作；从N个活动窗口中选取M个活动窗口，所述N为大于等于2的整数，所述M为大于等于1、且小于等于N的整数；通过摄像头或体感手套获取用户的手指动作，确定针对所述虚拟键盘或鼠标的输入操作；响应所述输入操作，同时对所述M个活动窗口进行操作。通过对选取的多个活动窗口进行同时窗口，实现跨窗口、跨应用进行批量操作，提高了操作的便捷性。

第九方面，本申请实施例提供了一种电子设备，所述电子设备包括一个或多个处理器、存储器、显示屏块；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器执行所述计算机指令以使所述电子设备执行上述第一方面至第八方面的任意一种实现方式提供的按键操作方法。

第十方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行本申请实施例第一方面至第八方面的任意一种实现方式提供的按键操作方法。

第十一方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行本申请实施例第一方面至第八方面的任意一种实现方式提供的按键操作方法。

可以理解地，上述提供的第九方面提供的电子设备、第十方面提供的计算机存储介质，以及第十一方面提供的计算机程序产品均用于执行第一方面至第八方面的任意一种实现方式提供的按键操作方法，因此，其所能达到的有益效果可参考第一方面至第八方面的任意一种实现方式提供的按键操作方法中的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种电子设备的结构示意图；

图2是本申请实施例提供的一种电子设备的软件结构框图；

图3是本申请实施例提供的一种按键操作方法的流程示意图；

图4是本申请实施例提供的一种用户界面的示意图；

图5是本申请实施例提供的一种按键操作方法的流程示意图；

图6(A)是本申请实施例提供的一种用户界面的示意图；

图6(B)是本申请实施例提供的一种用户界面的示意图；

图7是本申请实施例提供的一种按键操作方法的流程示意图；

图8是本申请实施例提供的一种用户界面的示意图；

图9是本申请实施例提供的一种按键操作方法的流程示意图；

图10是本申请实施例提供的一种用户界面的示意图；

图11是本申请实施例提供的一种按键操作方法的流程示意图；

图12是本申请实施例提供的一种用户界面的示意图；

图13是本申请实施例提供的一种按键操作方法的流程示意图；

图14是本申请实施例提供的一种用户界面的示意图；

图15是本申请实施例提供的一种按键操作方法的流程示意图；

图16(A)是本申请实施例提供的一种用户界面的示意图；

图16(B)是本申请实施例提供的一种用户界面的示意图；

图17是本申请实施例提供的一种按键操作方法的流程示意图；

图18是本申请实施例提供的一种用户界面的示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。

本申请实施例中涉及的电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、虚拟现实设备等。

接下来，介绍本申请以下实施例中提供的示例性电子设备。

图1示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触控操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触控操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触控操作强度的触控操作，可以对应不同的操作指令。例如：当有触控操作强度小于第一压力阈值的触控操作作用于短消息应用图标时，执行查看短消息的指令。当有触控操作强度大于或等于第一压力阈值的触控操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。

气压传感器180C用于测量气压。

磁传感器180D包括霍尔传感器。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。

环境光传感器180L用于感知环境光亮度。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触控操作。触摸传感器可以将检测到的触控操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触控操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触控操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触控操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器，事件管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

事件管理器可用于在已开启第一控制模式的情况下，判断用户的触控操作的触摸坐标是否在第一区域内。若是，将该触控操作的事件上报至应用程序层；若否，对该触控操作不做任何处理。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

在以下技术方案中，电子设备可以通过具备获取用户手势能力的摄像头来获取手指动作、手势动作、或接收操作，摄像头可以安装在电子设备上，也可以外接于电子设备上。电子设备也可以通过穿戴设备来获取手指动作、手势动作或接收操作，例如体感手套等。其中，穿戴设备可以与电子设备建立网络连接，并且可以将用户的手势动作传输给电子设备。应注意，用户可以在摄像头的摄像范围内任何位置进行操作，或者在穿戴设备与电子设备的感应范围内的任何位置进行操作。

如图3所示，图3是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S301，在显示界面上显示一个虚拟键盘，确定手指对应的所述虚拟键盘中的目标按键。

具体的，电子设备可以接收第一操作，所述第一操作包括双手从中间向两侧滑动；根据所述第一操作，触发显示所述虚拟键盘。也可以采用其他操作方式来唤醒并显示虚拟键盘。

其中，目标按键可以虚拟键盘中的一个按键，也可以是多个按键，每个按键对应一个手指。例如，如果左手食指对应F键，右手食指对应J键，则通过左手食指可以操作F键，通过右手食指可以操作J键。

可选的，可以根据用户的自身输入习惯更改每个手指对应的目标按键。例如，左手食指对应D键，右手食指对应K键。或者，可以根据用户的自身输入习惯更改目标按键对应的手指。例如，F键对应左手中指，J键对应右手中指。

S302，通过摄像头或体感手套获取用户的手指动作，确定针对所述目标按键的输入操作。

S303，响应所述输入操作。

其中，所述目标按键跟随所述手指移动。

例如，如图4所示，双手由中间向两侧滑动触发虚拟键盘，在显示界面上显示相应的虚拟键盘，并且显示虚拟键盘中的目标按键(F键和J键)。其中，F键对应用户的左手食指，J键对应用户的右手食指。其中，F键可以跟随用户的左手食指移动，J键可以跟随用户的右手食指移动。用户可以在电子设备的摄像头的摄像范围内通过手指动作进行输入操作，或者穿戴体感手套通过手指动作进行输入操作。例如，左手食指点击，相应的对F键进行点击操作，在显示界面上的虚拟键盘显示相应的视觉反馈(显示点击F键的动画)。电子设备响应F键操作，在显示界面上显示响应的内容。

在本申请实施例中，对于一些设备(例如非触屏设备、近距离操作会引起不适的大屏的设备、垂直于人的视线不便操作的设备、不可移动和旋转设备)，可以任意选择电子设备与用户之间的输入距离。并且在输入过程中，虚拟键盘中按键可以跟随手指移动，用户不受键盘空间位置限制，也不需记忆按键位置，提高操作的准确性和便捷性。

如图5所示，图5是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S501，在显示界面上显示一个虚拟键盘。

可选的，可以接收第一操作，第一操作可以包括双手由中间向两侧滑动。根据第一操作，触发在显示界面上显示一个虚拟键盘。

S502，将所述虚拟键盘中至少一个按键映射到一个目标按键上，所述至少一个按键的功能与所述目标按键的功能相同。

例如，在玩游戏时，主要的技能按键包括Q键、W键、E键和R键。如图6(A)所示，以Q键为例，由于玩游戏时Q键周围的按键没有作用，而Q键使用较频繁。可以将按键Q的上方的按键(esc键、～键和1键)、左侧按键(->键)均映射到Q键上，如果用户在游戏中碰触到Q周边设置过映射的按键(esc键、～键、1键和->键)都等同于点击Q键。

可选的，可以接收第一手势(例如左右两手从中间向两边拉伸)，触发将所述虚拟键盘中至少一个按键映射到一个目标按键上。或者，接收第二手势(例如左右两手从两边向中间靠拢)，触发取消将所述虚拟键盘中至少一个按键映射到一个目标按键上。

可选的，手掌左右挥动(或更多其他手势)也可以映射到Q键，在使用手掌左右挥动手势操作的时也等同于点击Q键。例如，如图6(B)所示，用户的左手向左挥动或者向右挥动，均等同于触控Q键。

S503，通过摄像头或体感手套获取用户的手势动作，确定针对所述目标按键的输入操作。

S504，响应所述输入操作。

在本申请实施例中，通过将虚拟键盘中的其他按键映射到一个单功能按键上，在输入过程中对其他按键进行操作时，实际上对该单功能按键进行操作，从而有效防止误触。或者将其他手势(例如手掌左右挥动)也映射到该单功能按键上，在通过其他手势进行输入时，实际上对该单功能按键进行操作，从而有效防止误触。

如图7所示，图7是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S701，触发光标控制，在显示界面上显示光标。

可选的，可以接收第一操作，所述第一操作包括五指并拢。例如左手五指并拢或者右手五指并拢。第一操作也可以包括其他手势。然后根据所述第一操作，触发所述光标控制。

其中，光标可以是原点，控制区域可以预设半径为R的圆形区域，也可以是其他形状的区域。

S702，通过摄像头或体感手套获取用户的手势动作。

S703，当手在所述光标对应的控制区域内移动时，显示所述光标跟随手移动。

S704，当手超出所述控制区域时，将所述控制区域移动至与手心对齐的位置，或将所述控制区域的边缘移动至与手的移动方向的边缘对齐。

其中，手超出控制区域可以包括手超出控制区域一部分，或手完全超出控制区域，此处不做限定。

可选的，可以接收第二操作；根据所述第二操作，锁定所述控制区域，锁定后的所述控制区域不跟随手移动。或者接收第三操作；根据所述第三操作，解锁所述控制区域。

如图8所示，图8所示的控制方式包括三种场景。第一，手在控制区域内移动，光标随着手的移动而移动。第二，手完全超出控制区域或手超出控制区域一部分。第三，将所述控制区域移动至与手心对齐的位置，或将所述控制区域的边缘移动至与手的移动方向的边缘对齐。

在本申请实施例中，如果控制实体鼠标来移动光标时，需要人为控制鼠标的移动范围，例如需要将移动后的鼠标重新放置到方便操作的位置。而采用光标对应的控制区域随手移动的方式，可以简化操作，实现完成自由距离、灵活角度的隔空操作。

如图9所示，图9是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S901，识别当前应用，生成第一虚拟键盘和第二虚拟键盘。

S902，显示所述第一虚拟键盘和所述第二虚拟键盘。

可选的，可以接收第一手势；根据所述第一手势，显示所述第一虚拟键盘和所述第二虚拟键盘。例如，可以使用一个手的手势唤醒两个虚拟键盘。相应的，可以使用另一个手的手势收起两个虚拟键盘。

S903，通过摄像头或体感手套获取用户的手势动作，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作。

S904，当手超出所述第一虚拟键盘或所述第二虚拟键盘的范围时，将所述第一虚拟键盘或所述第二虚拟键盘移动至手掌心对齐的位置。

例如，如图10所示，打开视频应用，自动生成虚拟键盘，该虚拟键盘包括左边键盘和右边键盘，左边键盘可用左手任意手指点击，右边键盘可用右手任意手指点击。其中，左边键盘和右边键盘可以包括播放/暂停，快进/快退、进度条，增/减音量，增/减屏幕亮度，开启/关闭弹幕，锁定/解锁右手键盘，暂停/播放，清晰度变更，锁定/解锁左手键盘等按键。并且，可以对左边键盘和右边键盘进行锁定或解锁。

可选的，当手超出左边键盘或右边键盘对应的控制区域时，将控制区域移动至与手心对齐的位置，或将所述控制区域的边缘移动至与手的移动方向的边缘对齐。其中，左边键盘跟随左手移动而移动，右手键盘跟随右手移动而移动。

可选的，可以使用手势唤起全键盘，相应的，另一手势可收起全键盘。当左手或右手进入全键盘的控制区域内时，跟随左手的左手键盘和跟随右手的右手键盘浮动在全键盘的左右两侧，此时全键盘不跟随手移动。

可选的，可以接收第二手势；根据所述第一手势，显示鼠标的光标。例如，可以使用一个手的手势唤醒鼠标，相应的，使用另一个手的相同的手势收起鼠标。可选的，可以将右手键盘变为鼠标功能键，也可以将左手键盘变为鼠标功能键。如鼠标左键、右键、滚轮、鼠标移动。如果设备不外接鼠标，可以在显示界面显示鼠标的光点，该光点表示当前鼠标的位置。并且可以对鼠标功能键进行锁定与解锁。

可选的，可以接收第三手势；根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。例如可以将右边键盘调换到左边，用户使用左手任意手指点击。将左边键盘调换到右边，使用右手任意手指点击。

在本申请实施例中，通过自动生成的虚拟键盘没有冗余按键和功能，使得操作更加简便。并且没有限制用户单侧区域内点击键盘的手指，支持左右键盘对调，方便用户结合自己的使用习惯进行操作。在操作过程中支持唤起全键盘；用户在操作过程中需要处理其他业务时，可以锁定键盘，防止误操作。

如图11所示，图11是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S1101，识别当前应用生成虚拟键盘。

S1102，显示所述虚拟键盘，所述虚拟键盘中各个按键对应一个手指。

可选的，可以接收第一手势；根据所述第一手势，显示所述虚拟键盘。其中，所述虚拟键盘包括第一虚拟键盘和第二虚拟键盘，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作。例如第一虚拟键盘为左边键盘，第二虚拟键盘为右边键盘，左边键盘可用左手任意手指点击，右边键盘可用右手任意手指点击。

如图12所示，打开游戏，自动生成针对游戏的虚拟键盘，每个手指对应的按键非用户设定，按键跟随手指移动。其中，右手每个手指对应一个游戏技能，也可以使用手掌部位对应一个游戏技能。右手掌部靠左区域对应锁定/解锁右手键盘。左手掌有方向性的移动控制游戏角色方向，方向轮盘始终跟随左手，轮盘中心与左手掌心对齐。左手食指控制游戏地图，点击展开地图，地图上出现光点表示焦点位置，移动左手则焦点位置移动，左手中指点击则标记地图中位置，左手食指再次点击地图按键收起地图。左手小手指进入游戏设置，启用游戏设置时，右手键盘自动变为鼠标。左手掌部靠右区域对应锁定/解锁左手键盘。

S1103，通过摄像头或体感手套获取用户的手指动作，确定针对所述按键的输入操作。

S1104，响应所述输入操作。

可选的，可以使用手势唤起全键盘，相应的，另一手势可收起全键盘。当左手或右手进入全键盘的控制区域内时，跟随左手的左手键盘和跟随右手的右手键盘浮动在全键盘的左右两侧，此时全键盘不跟随手移动。

可选的，接收第二手势；根据所述第二手势，显示鼠标的光标。例如，可以使用一个手的手势唤醒鼠标，相应的，使用另一个手的相同的手势收起鼠标。可选的，可以将右手键盘变为鼠标功能键，也可以将左手键盘变为鼠标功能键。如鼠标左键、右键、滚轮、鼠标移动。如果设备不外接鼠标，可以在显示界面显示鼠标的光点，该光点表示当前鼠标的位置。并且可以对鼠标功能键进行锁定与解锁。

可选的，可以接收第三手势；根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。例如可以将右边键盘调换到左边，用户使用左手任意手指点击。将左边键盘调换到右边，使用右手任意手指点击。

在本申请实施例中，在解锁状态下的键盘始终跟随手指，不受空间位置和角度的限制，操作自由度大。并且，通过识别手指动作确定输入操作，使得操作更加快捷、准确。支持左边键盘和右边键盘对调，方便用户结合自己的使用习惯进行操作。

如图13所示，图13是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S1301，显示虚拟键盘，进入自定义模式。

其中，自定义模式表示可以由用户自己选定按键重新组合键盘的模式。该虚拟键盘可以为全键盘。

可选的，可以接收第一手势，所述第一手势包括双手并拢向两侧拉伸；根据所述第一手势，显示虚拟键盘。

可选的，在显示虚拟键盘之后，可以接收第二手势，所述第二手势包括手掌从中间向两侧划过，例如右手手掌从中间向右侧划过，或者左手手掌从中间向左侧划过；根据所述第二手势，唤起虚拟键盘并进入所述自定义模式。

S1302，从所述虚拟键盘中选取多个按键，并将所述多个按键拖动至所述虚拟键盘外。

S1303，将所述多个按键重新组合为一个自定义键盘，退出所述自定义模式。

具体的，在自定义模式下，选取多个按键，并将选取的按键移动到虚拟键盘之外，生成自定义键盘。其中，选取的按键的功能与虚拟键盘中的按键的功能相同。

例如，如图14所示，用户点击选取或框选虚拟键盘上的1、2、3、4、5、6、7、8、9、0、Tab、Q、W、E、R、A、S、D、F、G、Z、X、C、B、Shift、＝、Space Bar等键，拖动到全键盘外的左侧，并调整位置。如果将不需要的按键(多余的按键)到全键盘的左右两侧，则可以点击选取该按键，重新将按键拖动到全键盘区域内，从自定义键盘中移除该按键。其中，左侧的自定义键盘除了包括点击选取或框选虚拟键盘中的多个按键之外，还可以包括键盘锁定键，键盘锁定键可以位于左手掌部靠右区域。用户点击键盘锁定键可以锁定左侧的自定义键盘，锁定之后自定义键盘固定在锁定时的位置。用户也可以重新点击键盘锁定键，解锁自定义键盘，解锁后的自定义键盘可以重新跟随手掌移动。可选的，用户可以使用左手任意手指点击左边的自定义键盘，当手完全超出自定义键盘对应控制区域，自定义键盘跟随手掌移动，与掌心对齐。

可选的，可以接收第三手势，第三手势可以包括右手手掌从右侧从向中间划过、或左手手掌从左侧向中间划过，根据第三手势，退出自定义键盘模式，并关闭虚拟键盘。

其中，所述自定义键盘对应一个手的操作，另一个手的操作对应鼠标。可选的，可以为左手设定自定义键盘，为右手设定鼠标功能键。其中，食指为鼠标左键，中指为右键，中指上下滑动为鼠标滚轮滚动，右手移动为鼠标移动，与真实鼠标外设操作一致，如果设备不外接鼠标，可以在显示界面显示鼠标的光点，该光点表示当前鼠标的位置。并且可以对鼠标功能键进行锁定与解锁。

可选的，用户可以使用双手并拢向两侧拉伸唤起全键盘，相应的，另一手势可收起全键盘。当左手或右手进入全键盘的控制区域内时，跟随左手的左手键盘和跟随右手的右手键盘浮动在全键盘的左右两侧，此时全键盘不跟随手移动。用户使用双手由两侧向中间靠拢可以收起全键盘。

S1304，通过摄像头或体感手套获取用户的手指动作，确定针对所述自定义键盘的输入操作。

S1305，响应所述输入操作。

在本申请实施例中，通过从虚拟键盘中自由选择有用的按键，仅仅将有用的按键重新组合成自定义键盘，减少冗余按键，降低误触概率。并且可以采用键盘和鼠标的操作模式，符合用户的操作习惯。

如图15所示，图15是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S1501，识别第一应用显示第一虚拟键盘，所述第一虚拟键盘中的各个按键对应一个手指；

S1502，通过摄像头或体感手套获取用户的手指动作，确定针对所述第一虚拟键盘的第一输入操作，响应所述第一输入操作；

S1503，当检测到所述第一应用的工作模式发生改变或从所述第一应用切换到第二应用时，显示第二虚拟键盘，所述第二虚拟键盘中的各个按键对应一个手指；

S1504，通过摄像头或体感手套获取用户的手指动作，确定针对所述第二虚拟键盘的第二输入操作，响应所述第二输入操作。

对于同一应用，不同模式下，生成不同的虚拟键盘，手指与按键的对应关系可以切换。如图16(A)所示以绘画应用为例，打开画板时，食指滑动的功能效果是使用铅笔绘制，中指滑动的功能效果对应使用橡皮擦除。如果从画板模式切换到色板模式，当打开色板时，手指与按键的对应关系切换，食指滑动的功能效果对应使用红色涂抹，中指滑动的功能效果对应使用灰色涂抹。

对于不同的应用，自动识别当前应用生成虚拟键盘，如果当前应用发生切换，手指与按键的对应关系切换。如图16(B)所示，以绘画应用、音乐应用为例，当前应用为绘画应用时，食指滑动对应使用画笔绘制；当从绘画应用切换为音乐应用时，食指对应的功能发生变化，食指滑动对应控制音乐播放进度。

对于不同的应用，自动识别当前应用并生成虚拟键盘，如果当前应用发生切换，键盘随之切换，键盘跟随手移动。以视频应用、社交应用为例。如果当前应用为视频应用，自动生成视频应用对应的虚拟键盘，该虚拟键盘可以包括快进/退、上/下一集等按键。如果从视频应用切换为社交应用，切换虚拟键盘，自动生成社交应用对应的虚拟键盘，该虚拟键盘可以包括发送语音/文字消息、发送表情等按键。

在本申请实施例中，通过识别当前应用的窗口或工作模式，自动切换手手指对应的按键或切换键盘，切换的过程流畅，减少了操作步骤。

如图17所示，图17是本申请实施例提供的一种按键操作方法的流程示意图。本申请实施例中的步骤包括：

S1701，显示虚拟键盘和鼠标，所述虚拟键盘对应一个手的操作，所述鼠标对应另一个手的操作。

其中，虚拟键盘可以为全键盘。虚拟键盘可以跟随左手移动，鼠标跟随右手的移动。可选的，虚拟键盘可以跟随右手移动，而鼠标也可以跟随左手移动。当双手都进入虚拟键盘的区域时，可以将鼠标浮动在虚拟键盘左侧或右侧。

可选的，当手完全超出虚拟键盘或鼠标对应的控制区域时，可以将键盘移动至与左手掌心对齐的位置，或将鼠标移动至与右手掌心对齐的位置。或者，当手超出虚拟键盘或鼠标对应的控制区域时，将键盘或鼠标移动至目标位置处，所述目标位置可以是虚拟键盘或鼠标对应的控制区域边缘与手移动方向的边缘对齐的位置。

可选的，如图18所示，可以分别显示虚拟键盘对应的第一锁定键、和鼠标对应的第二锁定键。第一锁定键可以位于靠近左手掌心位置处，而第二锁定键位于靠近右手掌心处。当用户点击第一锁定键或第二锁定键时，可以分别对虚拟键盘和鼠标进行锁定，锁定后的虚拟键盘和鼠标被固定在锁定时的位置处。当用户再次点击第一锁定键或第二锁定键时，可以分别对虚拟键盘和鼠标进行解锁，解锁后的虚拟键盘和鼠标可以跟随用户手部移动。

S1702，从N个活动窗口中选取M个活动窗口，所述N为大于等于2的整数，所述M为大于等于1、且小于等于N的整数。

其中，N个活动窗口可以属于同一应用，也可以属于不同的应用。

S1703，通过摄像头或体感手套获取用户的手指动作，确定针对所述虚拟键盘或鼠标的输入操作。

S1704，响应所述输入操作，同时对所述M个活动窗口进行操作。

例如，如图18所示，在显示界面显示4个窗口，用户可以从4个窗口中选取3个窗口，对选取的3个窗口进行相同的操作。例如，可以同时对3个窗口进行群发、隐藏或关闭等等。在此过程中，如果用户也可以重新选取其他窗口，或者取消已经选取的窗口。

在本申请实施例中，通过对选取的多个活动窗口进行同时窗口，实现跨窗口、跨应用进行批量操作，提高了操作的便捷性。

在本申请中，电子设备响应用户的预设操作，唤起对应虚拟键盘，同时界面上显示相应的图形用户界面(graphical user interface，GUI)交互反馈。虚拟键盘默认在解锁状态时跟随手指或手部移动(虚拟位置)，支持锁定已固定键盘和解锁使虚拟键盘重新跟随手指或手部区域。

在上述实施中，上述虚拟键盘可以是根据应用生成的特定键盘，涵盖应用的高频主要功能按键；也可以是自定义键盘，用户从全键盘中选取需要的按键重新排列后生成新的键盘；也可以是多个按键对应同一含义的特殊键盘；还可以是普通的常用全键盘。

在上述实施中，虚拟键盘跟随手指或手部移动可以是虚拟键盘中的某个按键跟随某个手指。某个手指位置移动时，虚拟键盘上该按键同步移动，整个虚拟键盘相应发生移动；也可以是虚拟键盘每个按键都跟随特定的手指；还可以是虚拟键盘一定范围内，手可以自由移动，当手完全超出虚拟键盘的控制区域的范围时，虚拟键盘移动，其某个位置与手的某个位置在移动后对齐。

在上述实施中，一些虚拟键盘分为两个区域分别由左、右手分开操作，这类虚拟键盘的左右功能预设不是绝对的，可以左右调换；也支持替换其中一些按键的功能为用户的自定义内容。

在上述实施中，锁定、解锁虚拟键盘可以用特定操作来触发，可以是某个手指或者手的某个部位对应的按键，也可以是通过某个手势来锁定。锁定的虚拟键盘固定在锁定时的位置，不再跟随手移动，解锁以后又恢复锁定之前的跟随手移动的机制。

本技术所有提到的手势包含但不限于点击、滑动、挥动、长按，实施例中所述手势仅仅是举例说明，不代表在实际应用中一定按照举例所述手势实行。

只要能触发虚拟键盘和使用该键盘输入信息，均属于本技术方案保护范围。界面显示键盘的GUI与否，键盘跟随手移动与否，根据应用生成、切换键盘与否，都不影响上述保护范围。

本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。该计算机可读存储介质包括：只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (25)

1.一种按键操作方法，其特征在于，所述方法包括：

在显示界面上显示一个虚拟键盘，确定手指对应的所述虚拟键盘中的目标按键；

通过摄像头或体感手套获取用户的手指动作，确定针对所述目标按键的输入操作；

响应所述输入操作。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收第一操作，所述第一操作包括双手从中间向两侧滑动；

根据所述第一操作，触发显示所述虚拟键盘。

3.如权利要求1或2所述的方法，其特征在于，所述目标按键跟随所述手指移动。

4.一种按键操作方法，其特征在于，所述方法包括：

在显示界面上显示一个虚拟键盘；

将所述虚拟键盘中至少一个按键映射到一个目标按键上，所述至少一个按键的功能与所述目标按键的功能相同；

通过摄像头或体感手套获取用户的手势动作，确定针对所述目标按键的输入操作；

响应所述输入操作。

5.一种按键操作方法，其特征在于，所述方法包括：

触发光标控制，在显示界面上显示光标；

通过摄像头或体感手套获取用户的手势动作；

当手在所述光标对应的控制区域内移动时，显示所述光标跟随手移动；

当手超出所述控制区域时，将所述控制区域移动至与手心对齐的位置，或将所述控制区域的边缘移动至与手的移动方向的边缘对齐。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

接收第一操作，所述第一操作包括五指并拢；

根据所述第一操作，触发所述光标控制。

7.如权利要求5或6所述的方法，其特征在于，所述方法还包括：

接收第二操作；

根据所述第二操作，锁定所述控制区域，锁定后的所述控制区域不跟随手移动。

8.一种按键操作方法，其特征在于，所述方法包括：

识别当前应用，生成第一虚拟键盘和第二虚拟键盘；

显示所述第一虚拟键盘和所述第二虚拟键盘；

通过摄像头或体感手套获取用户的手势动作，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作；

当手超出所述第一虚拟键盘或所述第二虚拟键盘的范围时，将所述第一虚拟键盘或所述第二虚拟键盘移动至手掌心对齐的位置。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

接收第一手势；

根据所述第一手势，显示所述第一虚拟键盘和所述第二虚拟键盘。

10.如权利要求8或9所述的方法，其特征在于，所述方法还包括：

接收第二手势；

根据所述第二手势，显示鼠标的光标。

11.如权利要求8-10任一项所述的方法，其特征在于，所述方法还包括：

接收第三手势；

根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。

12.一种按键操作方法，其特征在于，所述方法包括：

识别当前应用生成虚拟键盘；

显示所述虚拟键盘，所述虚拟键盘中各个按键对应一个手指；

通过摄像头或体感手套获取用户的手指动作，确定针对所述按键的输入操作；

响应所述输入操作。

13.如权利要求12所述的方法，其特征在于，所述方法还包括：

接收第一手势；

根据所述第一手势，显示所述虚拟键盘。

14.如权利要求12或13所述的方法，其特征在于，所述方法还包括：

接收第二手势；

根据所述第二手势，显示鼠标的光标。

15.如权利要求12-14任一项所述的方法，其特征在于，所述虚拟键盘包括第一虚拟键盘和第二虚拟键盘，所述第一虚拟键盘对应一个手的操作，所述第二虚拟键盘对应另一个手的操作。

16.如权利要求15所述的方法，其特征在于，所述方法还包括：

接收第三手势；

根据所述第三手势，调换所述第一虚拟键盘和所述第二虚拟键盘的显示位置。

17.一种按键操作方法，其特征在于，所述方法包括：

显示虚拟键盘，进入自定义模式；

从所述虚拟键盘中选取多个按键，并将所述多个按键拖动至所述虚拟键盘外；

将所述多个按键重新组合为一个自定义键盘，退出所述自定义模式；

通过摄像头或体感手套获取用户的手指动作，确定针对所述自定义键盘的输入操作；

响应所述输入操作。

18.如权利要求17所述的方法，其特征在于，所述自定义键盘对应一个手的操作，另一个手的操作对应鼠标。

19.如权利要求17或18所述的方法，其特征在于，所述方法还包括：

接收第一手势，所述第一手势包括双手并拢向两侧拉伸；

根据所述第一手势，显示所述虚拟键盘。

20.如权利要求17-19任一项所述的方法，其特征在于，所述方法还包括：

接收第二手势，所述第二手势包括手掌从中间向两侧划过；

根据所述第二手势，进入所述自定义模式。

21.一种按键操作方法，其特征在于，所述方法包括：

识别第一应用显示第一虚拟键盘，所述第一虚拟键盘中的各个按键对应一个手指；

通过摄像头或体感手套获取用户的手指动作，确定针对所述第一虚拟键盘的第一输入操作，响应所述第一输入操作；

当检测到所述第一应用的工作模式发生改变或从所述第一应用切换到第二应用时，显示第二虚拟键盘，所述第二虚拟键盘中的各个按键对应一个手指；

通过摄像头或体感手套获取用户的手指动作，确定针对所述第二虚拟键盘的第二输入操作，响应所述第二输入操作。

22.一种按键操作方法，其特征在于，所述方法包括：

显示虚拟键盘和鼠标，所述虚拟键盘对应一个手的操作，所述鼠标对应另一个手的操作；

从N个活动窗口中选取M个活动窗口，所述N为大于等于2的整数，所述M为大于等于1、且小于等于N的整数；

通过摄像头或体感手套获取用户的手指动作，确定针对所述虚拟键盘或鼠标的输入操作；

响应所述输入操作，同时对所述M个活动窗口进行操作。

23.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器、存储器、显示屏块；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器执行所述计算机指令以使所述电子设备执行如权利要求1-22任一项所述的方法。

24.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-22中任一项所述的方法。

25.一种芯片，其特征在于，包括处理器，用于从存储器中调用并运行所述存储器中存储的指令，使得安装有所述芯片的电子设备执行如权利要求1-22中任一项的方法。

Images