CN110045819B - 一种手势处理方法及设备 - Google Patents

Abstract

本申请实施例提供一种手势处理方法及设备，涉及电子技术领域，能够根据隔空手势生成系统应用和第三方应用均能够响应的通用输入事件，提高隔空手势的使用范围，省去第三方应用的适配工作。具体方案为：电子设备检测到隔空手势后，根据隔空手势生成通用输入事件，该通用输入事件为系统应用和第三方应用均能够响应的输入事件，电子设备通过相关应用响应该通用输入事件，从而响应该隔空手势。本申请实施例用于手势处理。

Description

一种手势处理方法及设备

技术领域

本申请实施例涉及电子技术领域，尤其涉及一种手势处理方法及设备。

背景技术

随着电子设备的智能化发展，用户与手机等电子设备的交互方式也越来越多。隔空手势就是近年来兴起的一种交互形式。

通常，电子设备本身的系统应用支持用户的隔空手势，第三方应用则一般需要与隔空手势预先进行适配。例如，第三方应用需要在代码中事先定义隔空手势与应用控件或指令等的对应关系，从而在电子设备检测到隔空手势后通过对应的应用控件或指令进行响应。

目前，用户在电子设备上使用的第三方应用的种类和数量都越来越多，若每个第三方应用都分别与隔空手势进行适配，则适配的工作量较大；若不进行适配，则用户无法通过隔空手势操作第三方应用，从而限制了隔空手势的使用范围，影响了隔空手势的用户体验。

发明内容

本申请实施例提供一种手势处理方法及设备，能够根据隔空手势生成对应的通用输入事件，该通用输入事件为用户在电子设备上的接触操作对应的输入事件，从而使得系统应用和第三方应用均能够响应该通用输入事件，即均能够响应该隔空手势，因而可以提高隔空手势的使用范围，省去第三方应用的适配工作。

为达到上述目的，本申请实施例采用如下技术方案：

一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个多媒体应用(即一个或多个多媒体应用程序)，多媒体应用包括音频应用或视频应用；一个或多个计算机程序；显示屏，用于显示界面；以及检测部件。其中，检测部件包括以下任意一项或任意多项的组合：摄像头，设置于显示屏下方的红外传感器，设置于显示屏下方的超声波传感器，或设置于显示屏下方的电磁感应器件。检测部件用于检测用户在未接触电子设备时作出的隔空手势。一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被处理器执行时，使得电子设备执行以下步骤：在启动多媒体应用后，显示多媒体应用的第一界面，第一界面与第一多媒体文件对应。若检测部件检测到隔空手势，则根据隔空手势，执行响应操作。其中，响应操作包括以下至少一个：播放第一多媒体文件，暂停播放第一多媒体文件，调节第一多媒体文件的播放进度，调节播放音量，调节显示亮度，或将第一多媒体文件切换为另一多媒体文件。

其中，该多媒体应用可以是电子设备中的系统应用，也可以是第三方应用。

这样，用户可以在不接触电子设备的情况下，通过隔空手势使得电子设备中的系统多媒体应用和第三方多媒体应用执行播放控制相关的操作，从而可以提高用户的使用体验。

在一种可能的实现中，隔空手势为挥动手或平行移动手。响应操作包括：快进第一多媒体文件，后退第一多媒体文件，调大播放音量，调小播放音量，调大显示亮度，调小显示亮度，或将第一多媒体文件切换为另一多媒体文件。

也就是说，用户可以通过挥动手或平行移动手的隔空手势，使得电子设备中的多媒体应用执行播放控制相关的操作。

在另一种可能的设计中，多媒体应用为第一视频播放器。根据隔空手势，执行响应操作，包括：根据隔空手势和隔空手势的发生位置，执行响应操作。其中，当隔空手势为向上平行移动手或向上挥动手时，若隔空手势的发生位置靠近电子设备的右侧，则响应操作为调大播放音量；若隔空手势的发生位置靠近电子设备的左侧，则响应操作为调大显示亮度。当隔空手势为向下平行移动手或向下挥动手时，若隔空手势的发生位置靠近电子设备的右侧，则响应操作为调小播放音量；若隔空手势的发生位置靠近电子设备的左侧，则响应操作为调小显示亮度。当隔空手势为向右平行移动手或向右挥动手时，响应操作为快进第一多媒体文件。当隔空手势为向左平行移动手或向左挥动手时，响应操作为后退第一多媒体文件。

也就是说，用户可以通过手挥动或平移的方向，手挥动或平移的发生位置等因素，使得电子设备中的视频播放器执行播放控制相关的操作。

在另一种可能的设计中，多媒体应用为音频播放器。当隔空手势为向右平行移动手或向右挥动手时，响应操作为快进第一多媒体文件。当隔空手势为向左平行移动手或向左挥动手时，响应操作为后退第一多媒体文件。

这样，用户可以通过挥动手或平移手的隔空手势，使得电子设备中的音频播放器执行播放控制相关的操作。

在另一种可能的设计中，多媒体应用为第二视频播放器。当隔空手势为向上平行移动手或向上挥动手时，响应操作为将第一多媒体文件切换为第二多媒体文件。当隔空手势为向下平行移动手或向下挥动手时，响应操作为将第一多媒体文件切换为第三多媒体文件。

这样，用户可以通过挥动手或平移手的隔空手势，使得电子设备中的视频播放器执行播放控制相关的操作。

在另一种可能的设计中，多媒体应用为图库。当隔空手势为向右平行移动手或向右挥动手时，响应操作为将第一多媒体文件切换为第二多媒体文件。当隔空手势为向左平行移动手或向左挥动手时，响应操作为将第一多媒体文件切换为第三多媒体文件。

这样，用户可以通过挥动手或平移手的隔空手势，使得电子设备中的图库切换所显示的图片。

在另一种可能的设计中，隔空手势为向电子设备方向靠近手掌，响应操作包括：播放第一多媒体文件，暂停播放第一多媒体文件，或将第一多媒体文件切换为另一多媒体文件。

其中，向电子设备方向靠近手掌，也可以称为向电子设备方向拍击。

这样，用户可以通过向电子设备方向靠近手掌的隔空手势，使得电子设备中的多媒体应用执行播放控制相关的操作。

在另一种可能的设计中，多媒体应用为第一视频播放器，第一界面包括播放控制控件和切换控件。根据隔空手势，执行响应操作，包括：根据隔空手势，隔空手势的发生位置，以及第一视频播放器的当前状态，执行响应操作。其中，当隔空手势的发生位置靠近播放控制控件，且当前正在播放第一多媒体文件时，响应操作为停止播放第一多媒体文件。当隔空手势的发生位置靠近播放控制控件，且当前未播放第一多媒体文件时，响应操作为播放第一多媒体文件。当隔空手势的发生位置靠近切换控件时，响应操作为将第一多媒体文件切换为另一多媒体文件。

也就是说，电子设备可以结合用户作出的隔空手势，隔空手势的发生位置，以及视频播放器当前的播放状态，执行不同的响应操作。

另一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个应用(即一个或多个应用程序)；一个或多个计算机程序；显示屏，用于显示界面；以及检测部件，检测部件用于检测用户在未接触电子设备时作出的隔空手势。检测部件包括以下任意一项或任意多项的组合：摄像头，设置于显示屏下方的红外传感器，设置于显示屏下方的超声波传感器，或设置于显示屏下方的电磁感应器件。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被处理器执行时，使得电子设备执行以下步骤：在启动应用后，显示应用的第一界面；若检测部件检测到隔空手势，则根据隔空手势，执行响应操作。该响应操作包括以下至少一个：滚动页面，或者将第一界面切换为另一界面。

其中，该应用可以是电子设备中的系统应用，也可以是第三方应用。

这样，用户可以在不接触电子设备的情况下，通过隔空手势使得电子设备中的系统应用和第三方应用执行滚动页面和切换显示界面的操作，从而可以提高用户的使用体验。

在一种可能的设计中，当隔空手势为向上平行移动手或向上挥动手时，响应操作为向上滚动页面。当隔空手势为向下平行移动手或向下挥动手时，响应操作为向下滚动页面。

这样，用户可以通过平移手或挥动手的隔空手势，使得电子设备执行滚动页面的操作。

在另一种可能的设计中，当隔空手势为向右平行移动手或向右挥动手时，响应操作为将第一界面切换为第二界面。当隔空手势为向左平行移动手或向左挥动手时，响应操作为将第一界面切换为第三界面。其中，第一界面与应用的第一功能对应，第二界面与应用的第二功能对应，第三界面与应用的第三功能对应。或者，应用为阅读器，第一界面、第二界面和第三界面分别为阅读器显示的三个页面。

这样，用户可以通过平移手或挥动手的隔空手势，使得微信等应用切换显示不同功能对应的页面；或者，使得阅读器等应用进行翻页。

在另一种可能的设计中，当指令被处理器执行时，还使得电子设备执行以下步骤：在检测部件检测到隔空手势后，显示与隔空手势对应的操作标记。

在该方案中，该操作标记可以用于模拟隔空手势对应的用户在触摸屏上的实际触摸操作，给用户以直观的视觉体验。

在另一种可能的设计中，根据隔空手势，执行响应操作，包括：根据隔空手势生成通用输入事件，通用输入事件为系统应用和第三方应用均可以响应的输入事件。根据通用输入事件，执行响应操作。

也就是说，电子设备可以根据用户的隔空手势，生成系统应用和第三方应用均可以响应的通用输入事件，因而电子设备上的系统应用和第三方应用均可以响应该通用输入事件，从而均可以响应用户的隔空手势，使得隔空手势的使用范围较大。

在另一种可能的设计中，根据隔空手势生成通用输入事件，包括：根据预设的第一对应关系确定隔空手势的手势类型。第一对应关系为隔空手势的手势信息与手势类型的对应关系。手势信息包括以下任意一项或任意多项的组合：隔空手势的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、或位置与时刻的对应关系。将手势类型上报给电子设备的应用程序框架层。应用程序框架层根据预设的第二对应关系确定通用输入事件，并将通用输入事件上报给应用程序层，以生成通用输入事件，第二对应关系为手势类型与通用输入事件的对应关系。应用程序层中的前台系统应用或前台第三方应用，执行响应该通用输入事件的操作。

也就是说，电子设备内部的应用程序框架层和应用程序层可以根据隔空手势，生成对应的通用输入事件，从而进行响应。

在另一种可能的设计中，当指令被处理器执行时，还使得电子设备执行以下步骤：若根据第一对应关系确定不存在与隔空手势对应的手势类型，则隔空手势为无效手势，根据当前应用和/或用户使用习惯，确定有效的参考隔空手势。向用户提示参考隔空手势。

这样，在电子设备发现用户的手势无效时，可以结合当前应用和/或用户使用习惯确定用户可能使用的、经常使用的、当前应用可以响应的等有效的隔空手势作为参考隔空手势，从而提示给用户，以便用户可以根据提示作出正确的隔空手势。

在另一种可能的设计中，当指令被处理器执行时，还使得电子设备执行以下步骤：若根据第一对应关系确定不存在与隔空手势对应的手势类型，则隔空手势为无效手势，根据当前应用和/或用户使用习惯，确定有效的参考隔空手势。确定参考隔空手势对应的参考通用输入事件；根据参考通用输入事件和当前应用确定第一操作；提示用户是否执行第一操作；在检测到用户指示执行第一操作的指令后，执行第一操作。

这样，电子设备可以根据当前应用和/或用于使用习惯，猜测用户的意图，即猜测用户可能想要电子设备执行的第一操作。该方式可以使得电子设备直接执行用户想要的第一操作，而不需要用户再次作出相应的隔空手势。

在另一种可能的设计中，当隔空手势为挥动手或平行移动手时，通用输入事件为滑动事件；当隔空手势为向电子设备方向靠近手掌时，通用输入事件为点击事件。

也就是说，电子设备根据挥动手或平移手的隔空手势，可以生成滑动事件；根据向电子设备方向靠近手掌的隔空手势，可以生成点击事件。

在另一种可能的设计中，当指令被处理器执行时，还使得电子设备执行以下步骤：在生成通用输入事件后，显示与通用输入事件对应的操作标记。

在该方案中，该操作标记可以用于模拟通用输入事件对应的用户在触摸屏上的实际触摸操作，给用户以直观的视觉体验。

在另一种可能的设计中，操作标记为静态标记，或动态标记。其中，该动态标记可以是一个过程性的图示。

例如，该静态标记可以是一个箭头，或一个实心圆点等；例如，该动态标记可以是一个移动的箭头，或手随着箭头移动的图示等。

在另一种可能的设计中，通用输入事件除了包括点击事件、滑动事件外，还可以包括长按事件或拖拽事件；点击事件包括单击事件或双击事件。

例如，该通用输入事件可以是用户实际触摸电子设备的触摸屏时，可以生成的输入事件。

在另一种可能的设计中，通用输入事件通过至少一个down事件，至少一个up事件，和/或至少一个move事件表示。

也就是说，通用输入事件可以通过down事件，up事件，move事件或这些事件的组合事件来描述。

另一方面，本申请实施例提供了一种手势处理方法，包括：电子设备检测隔空手势；电子设备根据隔空手势，生成通用输入事件；电子设备通过系统应用或第三方应用，响应通用输入事件。

在该方案中，电子设备可以根据隔空手势生成系统应用和第三方应用均可响应的通用输入事件，以使得电子设备上的任何应用都可以响应该通用输入事件，即均可以响应用户的隔空手势，从而提高了隔空手势的使用范围和用户的使用体验。

在一种可能的设计中，电子设备根据隔空手势确定通用输入事件，包括：电子设备根据隔空手势的手势信息，生成通用输入事件。

在该方案中，电子设备可以根据隔空手势的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、或位置与时刻的对应关系等手势信息，生成对应的通用输入事件，而不用根据手势信息先确定手势类型，再根据手势类型确定对应的通用输入事件。

在另一种可能的设计中，电子设备在检测到用户触发了隔空手势后，检测隔空手势。当电子设备检测到用户的手时，确定用户触发了隔空手势。电子设备检测隔空手势包括：电子设备通过检测部件采集隔空手势的数据信息。

这样，在用户触发隔空手势后再采集隔空手势的数据信息，并进行确定手势信息，确定手势类型，生成通用输入事件等一系列操作；而不用不断地、实时地进行这一系列操作，因而可以节省电子设备的相关资源。

在另一种可能的设计中，电子设备检测隔空手势，包括：电子设备在开启隔空手势检测功能后，检测隔空手势。

这样，电子设备在开启隔空手势后再检测隔空手势，一方面可以节省电子设备的相关检测资源，另一方面还可以降低隔空手势导致的误操作。

另一方面，本申请实施例提供了一种手势处理装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，检测模块或单元、生成模块或单元、执行模块或单元等。

又一方面，本申请实施例提供了一种电子设备，包括至少一个处理器和至少一个存储器。该至少一个存储器与至少一个处理器耦合，至少一个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当至少一个处理器执行计算机指令时，使得电子设备执行上述方面任一项可能的实现中的手势处理方法。

另一方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方面任一项可能的实现中的手势处理方法。

又一方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方面任一项可能的实现中的手势处理方法。

附图说明

图1为本申请实施例提供的一种手机的硬件结构示意图；

图2为本申请实施例提供的一种手机的软件结构示意图；

图3为本申请实施例提供的一组手势处理流程图；

图4为本申请实施例提供的一组操作效果示意图；

图5A为本申请实施例提供的一组手势示意图；

图5B为本申请实施例提供的摄像头采集到的一组手势示意图；

图5C为本申请实施例提供的一种手势示意图；

图6为本申请实施例提供的一组界面示意图；

图7为本申请实施例提供的一种界面示意图；

图8为本申请实施例提供的另一组操作效果示意图；

图9为本申请实施例提供的另一组操作效果示意图；

图10为本申请实施例提供的另一组操作效果示意图；

图11为本申请实施例提供的另一组操作效果示意图；

图12为本申请实施例提供的另一组操作效果示意图；

图13为本申请实施例提供的另一组操作效果示意图；

图14为本申请实施例提供的一种操作标记示意图；

图15为本申请实施例提供的一组操作标记示意图；

图16为本申请实施例提供的另一种操作标记示意图；

图17为本申请实施例提供的一种手势处理方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。

并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项”或其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b，或c中的至少一项，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

用户在使用手机等电子设备时，可能会遇到不方便用手直接接触电子设备来进行操作的情况。例如，在用户手上有水，有油或比较脏的情况下，用户不方便直接用手接触电子设备。再例如，在户外较冷，用户戴有手套的情况下，用户不方便直接用手接触电子设备。再例如，用户躺在床上看手机，手机通过支架架在床头，距离用户的手较远；或在车载情况下，电子设备距离用户较远，用户不方便直接用手操作电子设备。

此时，用户可以通过隔空手势来操作电子设备。隔空手势是指用户的手部不接触电子设备，且手与电子设备之间的距离大于或者等于预设距离阈值(例如1cm)时的手势操作。电子设备可以利用摄像头、触摸屏、电磁感应器件(例如可以设置在电子设备显示屏的下方)、红外传感器(例如可以设置在电子设备显示屏的下方)、超声波传感器(例如可以设置在电子设备显示屏的下方)等检测部件，采集用户的手部形状、运动情况等信息，以检测隔空手势。该隔空手势可以包括但不限于静态手势和动态手势。其中，静态手势指某一时刻手部的姿态，比如手指弯曲、收拢等，如OK手势、V手势、五指伸开的手势等。动态手势指一段时间内手部的运动情况，包括运动方向、速度、手部姿态变化等，如挥动手势、平移手势、握拳手势、按压手势等。

本申请实施例提供了一种手势处理方法，可以应用于电子设备，能够根据隔空手势生成对应的通用输入事件，该通用输入事件为用户在电子设备上的接触操作对应的输入事件，从而使得系统应用和第三方应用均能够响应该通用输入事件，即均能够响应该隔空手势，因而可以提高隔空手势的使用范围，省去第三方应用的适配工作；并且，不需要第三方应用事先与隔空手势进行适配，因而减少了适配的工作量。

示例性的，该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备，本申请实施例对电子设备的具体类型不作任何限制。

示例性的，当电子设备为手机时，图1示出了手机100的结构示意图。手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。例如，手机100还可以包括红外传感器，超声波传感器，或电磁感应器件等，可以用于检测隔空手势，并将采集到的隔空手势的数据信息发送给处理器，以获取隔空手势的手势信息。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现手机100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现手机100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现手机100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为手机100充电，也可以用于手机100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机100的结构限定。在本申请另一些实施例中，手机100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为手机100供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。

在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194，也可以称为屏幕194，可以用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。

摄像头可以包括RGB摄像头、红外摄像头、深度摄像头等一种或多种。在一些实施例中，摄像头可以用于检测隔空手势，并将采集到的隔空手势的数据信息发送给处理器，以获取隔空手势的手势信息。例如，该数据信息可以是采集到的隔空手势的图像信息。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在一些实施例中，NPU或其他处理器可以根据摄像头等检测部件发送的隔空手势的数据信息获取手势信息，根据手势信息识别手势类型等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。

在另一些实施例中，手机100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，手机100根据压力传感器180A检测触摸操作强度。手机100也可以根据压力传感器180A的检测信号计算触摸的位置。

在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定手机100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测手机100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消手机100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别手机100的姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机100附近有物体。当检测到不充分的反射光时，手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测手机100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

在另一些实施例中，触摸屏可以用于检测隔空手势，并将采集到的隔空手势的数据信息发送给处理器，以获取隔空手势的手势信息。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机100中，不能和手机100分离。

图2是本申请实施例的手机100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

在本申请的实施例中，电子设备根据隔空手势生成的，系统应用和第三方应用都可以直接响应的通用输入事件，可以是用户在电子设备上的接触操作对应的输入事件。例如，该电子设备可以是具有触摸屏的设备(例如具有触摸屏的手机，平板电脑等)，电子设备根据隔空手势生成的通用输入事件可以是用户在触摸屏上的触摸操作对应的输入事件；或者，该电子设备可以是具有按键的设备(例如具有物体按键的手机，笔记本电脑等)，电子设备根据隔空手势生成的通用输入事件可以是用户在按键上的操作对应的输入事件；或者，该电子设备还可以是与鼠标配合使用的设备，电子设备根据隔空手势生成的通用输入事件可以是用户在鼠标上的点击、滚动等操作对应的输入事件；或者，该电子设备还可以是与触控板配合使用的设备(例如笔记本电脑等)，电子设备根据隔空手势生成的通用输入事件可以是用户针对触控板的触摸操作对应的输入事件等。

其中，当电子设备为上述手机100时，在本申请的一些实施例中，参见图3中的(a)，NPU或其他处理器等计算模块可以根据手机100的摄像头、触摸屏、红外传感器、超声波传感器、电磁感应器件或其他检测部件(例如leapmotion等外插部件)采集到的隔空手势的数据信息，获取手势信息；并根据手势信息进行手势识别，从而确定手势类型。计算模块将手势类型上报给应用程序框架层。应用程序框架层根据预设的手势类型与通用输入事件的对应关系，确定计算模块上报的手势类型对应的通用输入事件，并将该通用输入事件上报给应用程序层。即应用程序框架层生成了该通用输入事件。其中，该通用的输入事件是操作系统通用定义的，在用户接触手机进行操作时可生成的，系统应用和第三方应用都可以直接响应该输入事件。应用程序层中的相关应用(例如前台应用)可以响应该通用输入事件，执行相应的功能。其中，该相关应用可以是系统应用，也可以是第三方应用。

在本申请的另一些实施例中，参见图3中的(b)，NPU或其他处理器等计算模块可以根据检测部件采集到的隔空手势的数据信息，获取手势信息；并将手势信息上报给应用程序框架层。应用程序框架层结合预设的映射策略，根据手势信息生成对应的通用输入事件，该通用输入事件可以是通过电子设备系统通用定义的down事件、up事件、和/或move事件描述的事件，即该通用输入事件可以是down事件、up事件、move事件或其中的多个事件的组合事件。应用程序框架层将通用输入事件上报给应用程序层。应用程序层中的系统应用或第三方应用，可以响应通过down事件、up事件、和/或move事件描述的该通用输入事件，执行相应的功能。

这样，系统应用和第三方应用均可以响应根据隔空手势生成的通用输入事件(也可以称为隔空手势映射的通用输入事件)，即统应用和第三方应用均可以响应该隔空手势。因而，隔空手势的使用范围较大，隔空手势的用户使用体验较好；并且，不需要第三方应用事先与隔空手势进行适配，可以省去三方应用的适配工作。

目前，以具有触摸屏的手机为例，用户在触摸屏上的触摸操作(即接触操作)的处理过程可以包括：在触摸屏检测到用户的触摸操作后，相应的硬件中断被发给内核层。内核层将触摸操作加工成通用输入事件(包括触摸坐标，触摸操作的时间戳等信息)。通用输入事件被存储在内核层。应用程序框架层从内核层获取通用输入事件，并传送给相关应用(例如前台应用)，相关应用响应该通用输入事件，从而响应该触摸操作。

对比本申请实施提供的隔空手势操作的处理过程和目前触摸操作的处理过程可知，手机可以根据隔空手势生成用户在触摸屏上的触摸操作对应的通用输入事件，因而系统应用和第三方应用均能够响应该通用输入事件，从而均能够响应该隔空手势。也可以理解为，手机通过隔空手势模拟了用户在触摸屏上的实际触摸操作，从而生成了该实际触摸操作对应的通用输入事件，使得系统应用和第三方应用均能够响应该通用输入事件，从而可以响应该隔空手势。

以下实施例将以电子设备为具有触模屏的手机，手机根据隔空手势生成的通用输入事件为用户的实际触摸事件对应的输入事件为例，对本申请实施例提供的手势处理方法进行阐述。

在本申请的实施例中，手机具有隔空手势的检测功能。在隔空手势的检测功能开启后，手机可以通过摄像头、触摸屏、红外传感器、超声波传感器等检测部件，检测用户的隔空手势。

在一些实施例中，手机默认开启隔空手势的检测功能，在触摸屏的亮屏状态和黑屏状态下都可以持续检测隔空手势。

例如，手机上可以通过低功耗处理器，支持手机在黑屏状态下采用摄像头、触摸屏、红外传感器、超声波传感器等检测部件持续检测是否触发隔空手势。示例性的，该低功耗处理器可以是传感器中枢sensor hub。

在另一些实施例中，在黑屏状态下，手机默认关闭隔空手势的检测功能。

例如，在一种技术方案中，在亮屏状态下，若当前触摸屏已解锁，则手机自动开启隔空手势的检测功能，以避免在触摸屏未解锁时由于检测到隔空手势而导致的误操作。

在另一种技术方案中，若触摸屏亮屏，则不论触摸屏是否解锁，均自动开启隔空手势的检测功能。由于触摸屏一般是在检测到用户的亮屏操作后才会点亮的，而一般情况下用户点亮触摸屏是想要使用手机或者用户正在关注手机，此时手机也可以检测用户主动发出的隔空手势，从而通过隔空手势直接对手机进行操作，以减少用户解锁触摸屏的操作。

在另一些实施例中，手机默认关闭隔空手势的检测功能，在检测到用户的开启指示后，才开启隔空手势的检测功能。其中，该开启指示可以是用户的语音指示，用户按压手机上的物理按键的操作，用户在触摸屏上的触摸操作，或者用户晃动手机的操作等。

示例性的，在黑屏状态下，手机的触摸屏不显示内容，但是触摸屏的触摸功能开启，当用户的手指在触摸屏上滑动时，触摸屏开始显示内容，所显示的内容为用户在触摸屏上滑动的手势轨迹。参见图4中的(a)，手机在检测到用户在触摸屏上画了一个圈的轨迹的操作后，显示该轨迹，并开启隔空手势的检测功能。

再示例性的，参见图4中的(b)，在亮屏状态下，比如，手机在检测到用户通过指关节在触摸屏上画了一个“g”的轨迹的操作后，开启隔空手势的检测功能。

在另一些实施例中，手机默认在亮屏状态下开启隔空手势的检测功能，在黑屏状态下关闭隔空手势的检测功能。在黑屏状态下，手机在检测到用户的开启指示后，才开启隔空手势的检测功能。若手机为黑屏状态，则用户当前可能并不想操作手机，手机在检测到用户的开启指示后再开启隔空手势的检测功能，可以避免隔空手势导致的误操作，提高操作的准确性。

在另一些实施例中，手机默认在亮屏状态下开启隔空手势的检测功能，在转为黑屏状态后提示用户是否继续开启隔空手势的检测功能；在检测到用户的开启指示后，继续开启隔空手势的检测功能。

在隔空手势的检测功能已开启的情况下，手机可以检测用户的隔空手势，采集隔空手势的数据信息，根据该数据信息获取手势信息，并根据手势信息进行手势类型识别，生成通用输入事件等处理。

在一种技术方案中，在隔空手势的检测功能开启后，手机均不断地采集数据，并根据采集到的数据进行手势类型识别，生成通用输入事件等处理，而不论用户是否进行了隔空手势操作。

在另一种技术方案中，在隔空手势的检测功能开启后，若手机确定用户触发了隔空手势(或称用户触发了隔空手势检测)，则手机采集用户的隔空手势的数据信息，并根据该数据信息进行手势类型识别，生成通用输入事件等处理。而在手机未检测到用户触发隔空手势之前，则不根据采集到的数据信息进行手势类型识别等处理，从而可以节省手机的计算资源。以下将以该种方案为例进行说明。

在一些实施例中，若手机检测到了用户的手，且确定用户的手未接触手机，则手机可以确定用户触发了隔空手势。

其中，手机检测是否出现手的方法可以有多种。例如，当通过摄像头检测是否出现手时，在一种方案中，手机采用神经网络算法对摄像头采集到的图像进行识别，神经网络算法事先已经过训练。在训练时，神经网络输入了大量的手的图像和手的标签。在摄像头采集到的图像输入训练后的神经网络后，若神经网络输出的标签为手的标签，则手机确定检测到了用户的手。并且，神经网络在训练时还可以事先输入了大量的包含局域手掌的图像(例如包括一个或多个指尖的手的图像)，从而在手距离摄像头较近，只能拍摄到局部手掌时，手机通过神经网络也可以准确地识别到手。

当通过摄像头检测是否出现手时，在另一种方案中，手机上设置有手的模型，手机对摄像头采集到的手的图像与手的模型进行匹配，若相似度大于或者等于70％，则手机确定检测到手。

再例如，当通过红外传感器检测是否出现手时，红外发射器可以发射红外线，红外线被被测目标反射。被测目标反射的红外辐射能量分布图形可以反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。不同被测目标的表面的热分布场不同。当被测目标的热像图与手的表面的热分布场相匹配时，手机可以确定检测到用户的手。

在另一些实施例中，手机上还可以配置有检测策略，可以用于减少隔空手势的误检测事件。例如，在一种检测策略中，在手未接触手机，且手与手机之间的距离小于或者等于预设值1(例如20cm)时，手机可以确定用户触发了隔空手势；而在手与手机之间的距离大于预设值1时，手机可以认为用户未触发隔空手势。

再例如，在另一种检测策略中，在手未接触手机，且手机检测到的手部的面积大于或者等于预设值2(例如9cm²)时，手机可以确定用户触发了隔空手势；而在检测到的手的面积小于预设值2时，手机可以认为用户未触发隔空手势。

其中，手与手机之间的距离可以是手的某个部位(例如手的重心，食指尖部，手机首先检测到的手的部位等)与手机上的某个部位(例如触摸屏的中心位置)之间的距离；也可以是手的某个部位与手机触摸屏所在平面之间的垂直距离；还可以是其他距离，本申请实施例不予限定。

若手机检测到用户触发了隔空手势，则手机可以采集隔空手势的数据信息。其中，隔空手势的数据信息是在隔空手势操作过程中，检测部件采集到的数据。

举例来说，当检测部件为摄像头时，隔空手势的数据信息可以是摄像头采集到的包括用户的手的图像；当检测部件为红外传感器时，隔空手势的数据信息可以是红外传感器探测到手的情况下红外线的发射数据和反射数据等。

具体的，手机可以在隔空手势触发后，且隔空手势结束前，持续采集隔空手势的数据信息。其中，手机确定隔空手势结束的方式可以有多种。例如，在一实施例中，手机在不再检测到用户的手的情况下，确定隔空手势结束。

再例如，在另一实施例中，手机在确定手与手机之间的距离大于或者等于预设值3(例如20cm)时，确定隔空手势结束。在又一实施例中，手机在检测到用户发出的“结束隔空手势”的语音后，确定隔空手势结束。在另一实施例中，手机在检测到用户的结束手势时，确定隔空手势结束。例如，该结束手势为“V”手势，隔空手势为向上挥手的手势，用户在做完向上挥手的隔空手势后，再做一个“V”手势，表明隔空手势已完成。

示例性的，以检测部件为摄像头为例，摄像头可以通过较慢的帧率(例如10帧每秒(fps))拍摄图像，以根据图像中是否出现手确定是否触发隔空手势。手机在确定摄像头拍摄的图像上出现手后确定触发了隔空手势。而后，摄像头可以通过较快的帧率(例如60fps)拍摄图像，以采集用户的隔空手势的数据信息。

示例性的，在图5A中的(a)-(d)所示的用户向上挥手的过程中，摄像头采集到的数据信息可以为图5B中的(a)-(d)所示的手部姿态和运动情况均动态变化的图像集。在摄像头拍摄到的图像上不再包括手时，手机确定隔空手势结束，可以继续以较慢的帧率拍摄图像，以再次检测是否触发隔空手势。

而后，手机可以根据采集到的隔空手势的数据信息，获取隔空手势的手势信息。该手势信息用于表示隔空手势的姿态和运动情况等信息。例如，手势信息可以包括手的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、位置与时刻的对应关系等中的一种或多种。

其中，手机可以采用多种方法确定手势信息中的手的姿态、形状等静态特征。例如，手机上采用神经网络算法确定手的姿态、形状等静态特征。该神经网络在训练时预先输入了多种不同姿态和形状的手的图像以及对应的标签。当采用训练后的神经网络对摄像头采集到的图像进行处理时，可以识别出手的不同姿态、形状等静态特征。

再例如，不同姿态、形状等静态特征的手的表面的热分布场不同。手机可以根据被测目标的热像图，与预设的不同姿态、形状等静态特征的手的表面的热分布场的匹配情况，识别出手的不同姿态、形状等静态特征。

示例性的，对于图5B所示的图像集对应的隔空手势，手机获取的手势信息可以包括：手的形状为手部侧面，移动的起始位置为(x1,y1)，移动的终止位置为(x2,y2)，移动距离为10cm，移动方向为从下到上，移动轨迹为(x1,y1)，(x3,y3)，(x4,y4)，…，(x2,y2)，(x1,y1)处手的姿态为侧面手部横向伸展，(x2,y2)处手的姿态为侧面手部倾斜，(x3,y3)处手的姿态为侧面手部接近竖向伸展，以及时刻与位置的对应关系等。

在获取到隔空手势的手势信息后，在一实施例中，手机可以根据手势信息进行手势识别，从而得到隔空手势的手势类型。

其中，隔空手势的手势类型可以包括但不限于静态手势的手势类型和动态手势的手势类型。例如，静态手势的手势类型可以包括OK手势类型、V手势类型或五指伸开的手势类型等。动态手势的手势类型可以包括挥动(例如向上、下、左、右等方向挥动)、平行移动、拍击、抓合或松手等多种。

手机可以根据手的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、位置与时刻的对应关系等手势信息，确定隔空手势的手势类型。例如，手机在确定手的姿态、形状等静态特征后，可以根据该静态特征确定静态手势的手势类型。对于动态手势，手机可以根据不同时刻手的姿态、形状等静态特征，和/或手的移动距离、移动方向、移动速度等运动情况，确定动态手势的手势类型。

需要说明的是，对于同一个手势类型的隔空手势，不同用户的操作行为可能会有些许差异，但隔空手势的特征是基本一致的，手机可以识别出不同用户做出的同一种手势类型的隔空手势。

示例性的，对于从图5B所示的图像集获取的手势信息，手机可以根据手势信息确定手掌和手腕初始时横向放置，指尖朝右，而后手腕基本不动，手掌向上方转动，从而确定对应的手势类型为向上挥动。

在一些实施例中，若手机确定没有与手势信息匹配的手势类型，则确定未识别到有效的隔空手势，从而可以通过语音、振动或在触摸屏上显示提示信息等方式，提示用户当前的隔空手势无效。还可以根据手机之前学习和记录的用户习惯或当前正在使用的应用提示用户是否想要执行某个正确的隔空手势，或者提示用户是否想要手机执行某个操作。

示例性的，手机可以语音提示用户“该隔空手势无效，请做出正确的隔空手势”。再示例性的，参见图6中的(a)，手机可以在触摸屏上显示提示信息601：“当前隔空手势无效，您是否想要向上挥手？”若手机检测到用户语音输入“是”的指示，则根据向上挥手的手势执行本申请实施例中的后续步骤。

再示例性的，参见图6中的(b)，手机可以在触摸屏上显示提示信息602：“当前隔空手势无效，是否想要向上滑动页面？”若手机检测到用户语音输入“是”的指示，或者检测到用户点击控件603的操作，则向上滑动页面。

再示例性的，参见图6中的(c)或(d)，手机可以在触摸屏上显示用户可能想要使用的隔空手势的文字信息604和/或图示信息605。

再示例性的，手机可以在触摸屏上显示，当前应用界面可响应的通用输入事件对应的隔空手势的文字信息和/或图示信息。

再示例性的，手机可以在触摸屏上显示，与当前的无效隔空手势类似的有效隔空手势的文字信息和/或图示信息。

再示例性的，手机可以在触摸屏上显示，用户之前使用次数最多的一个或多个有效隔空手势的文字信息和/或图示信息。

手机在确定手势类型后，可以根据手势类型生成对应的通用输入事件。该通用输入事件是系统通用定义的，模拟用户在触摸手机的触摸屏时产生的，系统应用和第三方应用均可以直接响应的输入事件。例如，手机上预设有手势类型与通用输入事件的对应关系，手机可以根据该对应关系，确定手势类型对应的通用输入事件，从而生成该通用输入事件。具体的，手机的应用程序框架层可以根据该对应关系确定与手势类型对应的通用输入事件，并将该通用输入事件上报给应用程序层，从而生成该通用输入事件。

示例性的，手势类型与通用输入事件的对应关系可以参见表1，挥动手势类型对应滑动事件：图5A所示的向上挥动的手势类型对应上滑事件，向左挥动的手势类型对应左滑事件，向某个方向挥动的手势类型对应向该方向的滑动事件。

如表1所示，拍击(即向手机所在方向靠近手掌)的手势类型对应点击事件：拍击一次的手势类型对应单击事件，预设时长内连续拍击两次的手势类型对应双击事件，快速拍击的手势类型对应压力按事件(即按下的力度大于或者等于预设阈值的事件)。

再例如，参见表1，OK手势类型对应单击事件。系统应用和第三方应用可以直接响应上滑事件、左滑事件或单击事件等通用输入事件，即可以响应隔空手势。

表1

其中，手机上预设的与手势类型对应的通用输入事件，可以通过down事件、up事件、和/或move事件来描述。例如，手机上可以预设有通用输入事件与down事件、up事件、和/或move事件的对应关系，滑动事件可以通过down事件、move事件和up事件来描述，点击事件可以通过down事件和up事件来描述。示例性的，上滑事件可以描述为：依次接收到down事件、然后接收到一系列的move事件、最后接收到up事件，其中move事件描述的运动方向为向上移动。

在其他实施例中，手机上可以分别存储有静态手势的手势类型与通用输入事件的对应关系，以及动态手势的手势类型与通用输入事件的对应关系。用户还可以指示(例如通过语音指示)隔空手势为静态手势还是动态手势；手机在检测到用户指示隔空手势为静态手势的情况下，根据静态手势的手势类型与通用输入事件的对应关系确定相应的通用输入事件；手机在检测到用户指示隔空手势为动态手势的情况下，根据动态手势的手势类型与通用输入事件的对应关系确定相应的通用输入事件，从而可以提高隔空手势与通过输入事件的匹配准确度和匹配效率。

在其他实施例中，手机在确定手势类型后，可以根据手势类型，生成通过down事件、up事件、和/或move事件来描述的通用输入事件。例如，手机上可以预设有手势类型与down事件、up事件、和/或move事件的对应关系，挥动的手势类型可以对应down事件、move事件和up事件的组合描述的通用输入事件，拍击的手势类型可以对应down事件和up事件的组合描述的通用输入事件；OK手势类型可以对应down事件和up事件的组合描述的通用输入事件。系统应用和第三方应用可以直接响应通过down事件、up事件、和/或move事件描述的通用输入事件，即可以响应隔空手势。具体的，手机的应用程序框架层可以根据该手势类型确定通过down事件、up事件、和/或move事件来描述的通用输入事件，并将该通用输入事件上报给应用程序层，从而生成该通用输入事件。

示例性的，当手势类型为三指下压时，手机可以根据三指下压生成通过down事件、up事件、和/或move事件来描述的多点触摸事件(即通用输入事件)，也就是说，不同位置同时接收到多个down事件，而后该不同位置接收到up事件。

再示例性的，当手势类型为三指向下移动时，手机可以生成通过down事件、up事件、和/或move事件来描述的多点下滑事件(即通用输入事件)。再示例性的，当手势类型为抓合时，手机可以生成通过down事件、up事件、和/或move事件来描述的捏合事件(即通用输入事件)。

再示例性的，当手势类型为松手时，手机可以生成通过down事件、up事件、和/或move事件来描述的扩张事件(即通用输入事件)。

在其他实施例中，根据手部运动的幅度、速度等特征的不同，隔空手势还可以包括其他手势类型，手机还可以生成与其他手势类型对应的，且通过down事件、up事件、和/或move事件来描述的通用输入事件。

例如，其他手势类型还可以包括大幅上挥，快速上挥等。当手势类型为大幅上挥时，手机可以对应生成通过down事件、up事件、和/或move事件来描述的长距离上滑事件(即通用输入事件)。当手势类型为快速上挥时，手机可以对应生成通过down事件、up事件、和/或move事件描述的快速上滑事件(即通用输入事件)。手机可以直接响应通过down事件、up事件、和/或move事件描述的长距离上滑事件，快速上滑事件等，即可以响应隔空手势。

其中，在通过down事件、up事件、和/或move事件来描述与手势类型对应的通用输入事件的情况下，示例性的，手部偏移量与move事件中的移动距离可以具有预设的比例关系，当手部向上挥动时的偏移量大于预设值4(例如15cm)时，该隔空手势为大幅上挥手势；隔空手势对应的move事件中的移动距离之和大于预设值5(例如3cm)，move事件描述的通用输入事件为长距离上滑事件。

再示例性的，当手部向上挥动时的移动速度大于预设值6(例如1m/s)时，该隔空手势为快速上挥手势；隔空手势对应的move事件的移动速度大于预设值7(例如5cm/s)，move事件描述的通用输入事件为快速滑动事件。

需要说明的是，由于手机根据手势类型生成的通用输入事件，是用户实际触摸操作手机时会生成的输入事件，因而也可以说，手机将隔空手势模拟成了用户的实际触摸操作，从而生成了用户的实际触摸操作对应的通用输入事件。

手机在生成通用输入事件后，可以通过相关应用响应该通用输入事件。其中，该相关应用可以是前台应用，也可以是与前台应用相关的应用，例如从当前应用跳转后的其他应用。

具体的，相关应用可以根据预设策略响应该通过输入事件。示例性的，在图5A所示的用户通过浏览器浏览网页，且向上挥手的场景下，手机根据向上挥动的手势类型生成上滑事件，如图7所示，浏览器应用响应于上滑事件，可以向上滚动页面，滚动的页面长度为触摸屏高度的1/3。浏览器应用响应于长距离上滑事件和快速上滑事件，也可以向上滚动页面，滚动的页面长度可以分别为触摸屏高度的2/3和触摸屏高度的1倍。

再示例性的，在图5C所示的用户通过浏览器浏览网页，且向上平行移动手的场景下，手机根据向上平移的手势类型生成上滑事件。如图7所示，浏览器响应于上滑事件，向上滚动页面。

再示例性的，在用户通过浏览器浏览网页的场景下，若隔空手势为向下挥手或向下平行移动手，则手机根据向下挥动或向下平移的手势类型生成向下滑动事件。浏览器应用响应于下滑事件，可以向下滚动页面。

再示例性的，在如图8中的(a)所示的音乐播放场景下，隔空手势为用户手掌向手机方向按压(或称手掌向手机方向靠近，手掌向手机方向拍击)一次，通用输入事件为单击事件，音乐播放器当前界面上有多个控件可以响应该单击事件，例如上一首控件、暂停控件、下一首控件等。在一种技术方案中，根据预设策略，预设位置的控件(例如触摸屏上最左边的上一首控件)可以响应该单击事件。在另一种技术方案中，根据预设策略，预设的控件(例如暂停控件801)可以响应该单击事件；暂停后的示意图可以参见图8中的(b)。

在另一种技术方案中，根据预设策略，手机还可以结合隔空手势的发生位置响应通用输入事件，例如，当隔空手势的发生位置靠近暂停控件时，暂停控件响应该单击事件；当隔空手势的发生位置靠近上一首控件时，上一首控件响应该单击事件；当隔空手势的发生位置靠近下一首控件时，下一首控件响应该单击事件。示例性的，对于用户向手机方向按压手掌的隔空手势，手机的应用界面上距离手的重心在触摸屏上的投影最近的暂停控件，可以响应该单击事件。

在又一种技术方案中，根据预设策略，手机还可以结合前台运行的应用程序的当前状态，响应该单击事件。例如，音乐播放器当前界面上包括播放控制控件，若当前为音乐播放状态，则当播放控制控件响应单击事件时，手机暂停播放音乐；若当前为未播放音乐的状态，则当播放控制控件响应单击事件时，手机播放音乐。

再示例性的，在如图8中的(a)所示的音乐播放场景下，若隔空手势为用户向右挥手(或为向右平行移动手)的手势，则通用输入事件为右滑事件，音乐播放器响应于该右滑事件向后快进当前音乐的播放进度；若隔空手势为用户向左挥手(或向左平行移动手)的手势，则通用输入事件为左滑事件，音乐播放器响应于该左滑事件向前后退当前音乐的播放进度。

需要说明的是，手机根据隔空手势生成通用输入事件并进行响应的场景并不局限于以上所列举的浏览器场景和音乐播放场景，还可以是其他的多种使用场景。

例如，在如图9中的(a)所示的用户通过抖音(TikTok)播放短视频的场景下，参见图9中的(b)，若手机检测到用户向上挥手(或向上平行移动手)的隔空手势，则可以确定手势类型为向上挥动(或向上平移)，从而可以生成对应的上滑事件。参见图9中的(c)，抖音响应于上滑事件，播放另一短视频。

若手机检测到用户向下挥手(或向下平行移动手)的隔空手势，则可以确定手势类型为向下挥动(或向下平移)，从而可以生成对应的下滑事件。抖音响应于下滑事件，播放另一短视频。

再例如，在如图10中的(a)所示的用户通过抖音播放短视频的场景下，若手机检测到用户手掌向手机方向按压(或称手掌向手机方向靠近，手掌向手机方向拍击)一次的隔空手势，则可以确定手势类型为拍击一次，从而可以生成对应的单击事件。参见图10中的(b)，抖音响应于单击事件，暂停播放当前的短视频。

再例如，在如图11中的(a)所示的用户通过阅读器阅读电子文档的场景下，参见图11中的(b)，若手机检测到用户向左挥手(或向左平行移动手)的隔空手势，则可以确定手势类型为向左挥动(或向左平移)，从而生成对应的左滑事件。参见图11中的(c)，阅读器响应于左滑事件，向后翻页。

若手机检测到用户向右挥手(或向右平行移动手)的隔空手势，则可以确定手势类型为向右挥动(或向右平移)，从而生成对应的右滑事件。阅读器响应于右滑事件，向前翻页。

再例如，在如图12中的(a)所示的手机显示微信的“通讯录”这一功能对应的界面的场景下，参见图12中的(b)，若手机检测到用户向右挥手(或向右平行移动手)的隔空手势，则手机可以确定手势类型为向右挥动(或向右平移)，从而生成对应的右滑事件。参见图12中的(c)，微信响应于右滑事件，显示“微信”这一功能对应的界面。

在图12中的(a)所示的场景下，若手机检测到用户向左挥手(或向左平行移动手)的隔空手势，则手机可以确定手势类型为向左挥动(或向左平移)，从而生成对应的左滑事件。微信响应于左滑事件，显示“发现”这一功能对应的界面。

此外，在如图12中的(a)所示的场景下，微信响应于上滑事件或下滑事件，还可以滚动页面。

再例如，参见图13中的(a)和(b)，在用户通过图库(或称相册)浏览图片的场景下，若手机检测到用户握拳的隔空手势，则手机可以确定手势类型为抓合，从而可以生成对应的捏合事件。参见图13中的(c)，图库响应于捏合事件，缩小显示图片。

若手机检测到用户向右挥手的隔空手势，则确定手势类型为向右挥，生成对应的右滑事件；图库响应于右滑事件，显示上一张图片。若手机检测到用户向左挥手的隔空手势，则确定手势类型为向左挥，生成对应的左滑事件；图库响应于左滑事件，显示下一张图片。

再例如，在用户通过Youtube播放器播放视频的场景下，与音乐播放场景下类似，手机可以根据隔空手势，调节视频的播放进度，播放视频，暂停播放和切换另一个视频。

此外，在手机检测到隔空手势为用户向上挥手(或向上平行移动手)的手势时，通用输入事件为上滑事件，若隔空手势的发生位置靠近手机的右侧，则Youtube播放器响应于该上滑事件调大音量；若隔空手势的发生位置靠近手机的左侧，则Youtube播放器响应于该上滑事件调大显示亮度。类似地，Youtube播放器还可以根据用户的隔空手势调小音量和调小显示亮度。

再例如，在手机显示桌面的界面1的场景下，若手机检测到用户向左挥手(或向左平行移动手)的隔空手势，则可以确定手势类型为向左挥动(或向左平移)，从而生成对应的左滑事件；手机响应于左滑事件，显示桌面的界面2。若手机检测到用户向右挥手(或向右平行移动手)的隔空手势，则可以确定手势类型为向右挥动(或向右平移)，从而生成对应的右滑事件；手机响应于右滑事件，显示桌面的界面3。

在其他一些实施例中，在手机显示任何界面的情况下，若手机检测到用户握拳的隔空手势，则手机可以确定手势类型为抓合，从而生成对应的双击截屏事件。手机响应于该双击截屏事件，截取当前界面形成图片。

在本申请的其他实施例中，手机还可以在触摸屏上显示操作标记，以模拟隔空手势对应的或模拟通用输入事件对应的，用户在触摸屏上的实际触摸操作，给用户以直观的视觉体验。该操作标记还可以用于提示用户手机将响应的通用输入事件。而后，手机可以通过相关应用响应该通用输入事件。其中，该操作标记可以是静态的标记；也可以是动态的标记，该动态的标记可以是一个过程性的图示。

在一种技术方案中，手机上预设有通用输入事件与操作标记的对应关系，手机可以根据手势类型对应的通用输入事件，在触摸屏上显示操作标记，以模拟通用输入事件对应的用户在触摸屏上的实际触摸操作，提示用户手机将响应的通用输入事件。

示例性的，手机在检测到图5A所示的隔空手势之后，确定向上挥的手势类型对应上滑事件，手机可以显示图14所示的操作标记1401，即在触摸屏上显示一个向上的箭头，以模拟用户在触摸屏上向上滑动的操作，提示用户将响应上滑事件。而后，响应于向上滑动的操作，手机可以滚动页面，从而显示图7所示的界面。

再示例性的，参见图15中的(a)和(b)，手机可以在触摸屏上显示从下到上移动的手的形状1501，且手移动的轨迹对应显示有向上的箭头1502，以模拟用户在触摸屏上向上滑动的操作。而后，响应于向上滑动的操作，手机可以滚动页面，从而显示图7所示的界面。

再示例性的，手机在检测到图10中的(a)所示的用户向手机方向按压一次手掌的隔空手势后，可以确定拍击一次的手势类型对应单击事件，并显示如图16所示的圆形标记1601，以模拟用户在触摸屏上的单击操作，提示用户手机将响应单击事件。而后，响应于单击操作，手机暂停播放当前短视频，从而显示图10中的(b)所示的界面。

在另一种技术方案中，手机上预设有手势类型与操作标记的对应关系，手机可以根据手势类型在触摸屏上显示操作标记，以模拟通用输入事件对应的用户在触摸屏上的实际触摸操作，提示用户手机将响应的通用输入事件。示例性的，手机在识别到向上挥的隔空手势后，可以在触摸屏上显示如图14、图15所示的操作标记或其他操作标记。

在又一种技术方案中，手机可以根据通用输入事件中的down事件、up事件、和/或move事件在触摸屏上显示操作标记，以模拟通用输入事件对应的用户在触摸屏上的实际触摸操作，提示用户手机将响应的通用输入事件。例如，对应于通用输入事件中的down事件，触摸屏上显示手的形状；对应于move事件，触摸屏上的手发生移动并显示带有方向箭头的移动轨迹；对应于up事件，触摸屏上停止显示手的形状和移动轨迹。

在本申请的其他实施例中，在获取到隔空手势的手势信息后，手机还可以根据手势信息生成通过down事件、up事件、和/或move事件组合的通用输入事件。系统应用和第三方应用可以直接响应down事件、up事件、和/或move事件，即可以直接响应down事件、up事件、和/或move事件组合的通用输入事件，从而可以响应隔空手势。

具体的，手机上可以设置有预设的映射策略，确定手势信息与down事件、up事件、和/或move事件的映射关系。例如，在一种映射策略中，根据手势信息，手机检测到出现手的时刻对应down事件的发生时刻，手的预设部位(例如手的重心，食指尖，或手机首先检测到的手的部位等)在触摸屏上的投影位置(例如触摸屏上的(x0,y0)处)对应down事件的发生位置。若手部发生移动，则手部移动过程对应move事件发生过程(即接收到一些列的move事件)，且手部移动的距离与move事件中的移动距离具有预设的比例关系。而后，手机不再检测到手的预设部位的时刻对应up事件发生的时刻，预设部位最后在触摸屏上的投影位置(例如触摸屏上的(x1,y1)处)对应up事件的发生时刻。手势信息映射的这些down事件、up事件和/或move事件组合成通用输入事件。这些通用输入事件可以是以上实施例中描述的通用输入事件，例如为单击事件、上滑事件、捏合事件、多点触摸事件、快速上滑事件等。

以上实施例主要是以电子设备为手机，手机根据隔空手势生成的通用输入事件，是系统应用和第三方应用都可以直接响应的，用户针对触摸屏的触摸事件对应的输入事件为例进行说明的。

在其他实施例中，通用输入事件也可以是其他输入事件。例如，手机根据隔空手势生成的通用输入事件，是系统应用和第三方应用都可以直接响应的，用户针对手机上的物理按键(例如电源键)的按压操作对应的输入事件。示例性的，电源键周围设置有红外传感器，当电源键周围设置有红外传感器检测到手部向手机侧拍击(即向手机侧靠近)的隔空手势时，生成按下电源键的通用输入事件。

以上实施例主要是以电子设备为手机为例进行说明的，当电子设备为其他电子设备时，电子设备根据隔空手势生成的通用输入事件，也可以是用户在电子设备上的其他类型的接触操作(例如针对按键、触控板、鼠标等的接触操作)对应的输入事件，本申请实施例不再赘述。

本申请另一实施例还提供了一种手势处理方法，可以应用于电子设备，该电子设备上设置有显示屏和检测部件，该显示屏可以用于显示界面，该检测部件可以用于检测隔空手势。其中，该检测部件可以包括以下任意一项或任意多项的组合：摄像头，设置于显示屏下方的红外传感器，设置于显示屏下方的超声波传感器，或设置于显示屏下方的电磁感应器件等。如图17所示，该方法可以包括：

1701、电子设备启动多媒体应用。

例如，该多媒体应用可以是音频应用(例如音乐播放器)、视频播放器(例如抖音等视频播放器)或图库等。

1702、电子设备显示多媒体应用的第一界面，第一界面与第一多媒体文件对应。

1703、若电子设备检测到隔空手势，则根据隔空手势，执行响应操作。

其中，该响应操作可以包括以下至少一个：播放第一多媒体文件，暂停播放第一多媒体文件，调节第一多媒体文件的播放进度，调节播放音量，调节显示亮度，或将第一多媒体文件切换为另一多媒体文件等。即，电子设备可以通过多媒体应用执行该响应操作。其中，该多媒体应用可以是系统应用或第三方应用。

这样，用户可以通过隔空手势，控制电子设备中的系统多媒体应用或第三方多媒体应用执行相应的播放控制操作，因而可以提高用户的使用体验。

本申请实施例提供了一种电子设备，包括：检测单元，用于检测隔空手势，处理单元，用于根据隔空手势执行响应操作。处理单元具体可以用于根据隔空手势生成通用输入事件，并响应该通用输入事件。并且，检测单元和处理单元还可以用于执行上述实施例中的其他各个步骤，以实现上述实施例中的手势处理方法。

本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个应用；一个或多个计算机程序；显示屏，用于显示应用的界面；以及检测部件，检测部件包括以下任意一项或任意多项的组合：摄像头，设置于显示屏下方的红外传感器，设置于显示屏下方的超声波传感器，或设置于显示屏下方的电磁感应器件；检测部件用于检测用户在未接触电子设备时作出的隔空手势；其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当该指令被该处理器执行时，可以使得电子设备执行上述实施例中的各个步骤。

例如，当该指令被该处理器执行时，可以使得电子设备执行：在启动多媒体应用后，显示多媒体应用的第一界面，第一界面与第一多媒体文件对应；若检测部件检测到隔空手势，则根据隔空手势，执行响应操作。其中，该响应操作可以包括以下至少一个：播放第一多媒体文件，暂停播放第一多媒体文件，调节第一多媒体文件的播放进度，调节播放音量，调节显示亮度，或将第一多媒体文件切换为另一多媒体文件等。

再例如，当该指令被该处理器执行时，可以使得电子设备执行：在启动应用后，显示应用的第一界面。若检测部件检测到隔空手势，则根据隔空手势，执行响应操作。其中，该响应操作可以包括以下至少一个：滚动页面，或者将第一界面切换为另一界面等。

示例性的，当该电子设备为手机时，该电子设备中的处理器可以为图1中的处理器110，该存储器可以为图1中的内部存储器121，该显示屏可以是图1中的显示屏194，该检测部件中的摄像头可以是图1中的摄像头193，该检测部件中的红外传感器，超声波传感器，或电磁感应器件等可以是图1中的传感器模块180。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的手势处理方法。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的手势处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的手势处理方法。

其中，本申请实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个多媒体应用，所述多媒体应用包括音频应用或视频应用；

一个或多个计算机程序；

显示屏，用于显示界面；

以及检测部件，用于检测用户在未接触所述电子设备时作出的隔空手势；所述检测部件包括以下任意一项或任意多项的组合：摄像头，设置于所述显示屏下方的红外传感器，设置于所述显示屏下方的超声波传感器，或设置于所述显示屏下方的电磁感应器件；

其中，所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令；当所述指令被所述处理器执行时，使得所述电子设备执行以下步骤：

在启动所述多媒体应用后，显示所述多媒体应用的第一界面，所述第一界面与第一多媒体文件对应；

若所述检测部件检测到所述隔空手势，则根据所述隔空手势生成通用输入事件，所述通用输入事件为用户在电子设备上的接触操作对应的输入事件；

根据所述通用输入事件，执行响应操作；

所述响应操作包括以下至少一个：播放所述第一多媒体文件，暂停播放所述第一多媒体文件，调节所述第一多媒体文件的播放进度，调节播放音量，调节显示亮度，或将所述第一多媒体文件切换为另一多媒体文件。

2.根据权利要求1所述的电子设备，其特征在于，所述隔空手势为挥动手或平行移动手，所述响应操作包括：快进所述第一多媒体文件，后退所述第一多媒体文件，调大播放音量，调小播放音量，调大显示亮度，调小显示亮度，或将所述第一多媒体文件切换为另一多媒体文件。

3.根据权利要求2所述的电子设备，其特征在于，所述多媒体应用为第一视频播放器；所述根据所述隔空手势，执行响应操作，包括：

根据所述隔空手势和所述隔空手势的发生位置，执行所述响应操作；

其中，当所述隔空手势为向上平行移动手或向上挥动手时，若所述隔空手势的发生位置靠近所述电子设备的右侧，则所述响应操作为调大播放音量；若所述隔空手势的发生位置靠近所述电子设备的左侧，则所述响应操作为调大显示亮度；

当所述隔空手势为向下平行移动手或向下挥动手时，若所述隔空手势的发生位置靠近所述电子设备的右侧，则所述响应操作为调小播放音量；若所述隔空手势的发生位置靠近所述电子设备的左侧，则所述响应操作为调小显示亮度；

当所述隔空手势为向右平行移动手或向右挥动手时，所述响应操作为快进所述第一多媒体文件；

当所述隔空手势为向左平行移动手或向左挥动手时，所述响应操作为后退所述第一多媒体文件。

4.根据权利要求2所述的电子设备，其特征在于，所述多媒体应用为音频播放器；

当所述隔空手势为向右平行移动手或向右挥动手时，所述响应操作为快进所述第一多媒体文件；

当所述隔空手势为向左平行移动手或向左挥动手时，所述响应操作为后退所述第一多媒体文件。

5.根据权利要求2所述的电子设备，其特征在于，所述多媒体应用为第二视频播放器；

当所述隔空手势为向上平行移动手或向上挥动手时，所述响应操作为将所述第一多媒体文件切换为第二多媒体文件；

当所述隔空手势为向下平行移动手或向下挥动手时，所述响应操作为将所述第一多媒体文件切换为第三多媒体文件。

6.根据权利要求2所述的电子设备，其特征在于，所述多媒体应用为图库；

当所述隔空手势为向右平行移动手或向右挥动手时，所述响应操作为将所述第一多媒体文件切换为第二多媒体文件；

当所述隔空手势为向左平行移动手或向左挥动手时，所述响应操作为将所述第一多媒体文件切换为第三多媒体文件。

7.根据权利要求1所述的电子设备，其特征在于，所述隔空手势为向所述电子设备方向靠近手掌，所述响应操作包括：播放所述第一多媒体文件，暂停播放所述第一多媒体文件，或将所述第一多媒体文件切换为另一多媒体文件。

8.根据权利要求7所述的电子设备，其特征在于，所述多媒体应用为第一视频播放器；所述第一界面包括播放控制控件和切换控件；所述根据所述隔空手势，执行响应操作，包括：

根据所述隔空手势，所述隔空手势的发生位置，以及所述第一视频播放器的当前状态，执行所述响应操作；

其中，当所述隔空手势的发生位置靠近所述播放控制控件，且当前正在播放所述第一多媒体文件时，所述响应操作为停止播放所述第一多媒体文件；

当所述隔空手势的发生位置靠近所述播放控制控件，且当前未播放所述第一多媒体文件时，所述响应操作为播放所述第一多媒体文件；

当所述隔空手势的发生位置靠近所述切换控件时，所述响应操作为将所述第一多媒体文件切换为另一多媒体文件。

9.根据权利要求1-8任一项所述的电子设备，其特征在于，当所述指令被所述处理器执行时，还使得所述电子设备执行以下步骤：

在所述检测部件检测到所述隔空手势后，显示与所述隔空手势对应的操作标记。

10.根据权利要求1所述的电子设备，其特征在于，所述根据所述隔空手势生成通用输入事件，包括：

根据预设的第一对应关系确定所述隔空手势的手势类型，所述第一对应关系为隔空手势的手势信息与手势类型的对应关系，所述手势信息包括以下任意一项或任意多项的组合：所述隔空手势的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、或位置与时刻的对应关系；

将所述手势类型上报给所述电子设备的应用程序框架层；

所述应用程序框架层根据预设的第二对应关系确定所述通用输入事件，并将所述通用输入事件上报给应用程序层，以生成所述通用输入事件，所述第二对应关系为手势类型与通用输入事件的对应关系；

所述应用程序层中的前台系统应用或前台第三方应用，执行响应该通用输入事件的操作。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

一个或多个应用；

一个或多个计算机程序；

显示屏，用于显示界面；

以及检测部件，用于检测用户在未接触所述电子设备时作出的隔空手势；所述检测部件包括以下任意一项或任意多项的组合：摄像头，设置于所述显示屏下方的红外传感器，设置于所述显示屏下方的超声波传感器，或设置于所述显示屏下方的电磁感应器件；

其中，所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令；当所述指令被所述处理器执行时，使得所述电子设备执行以下步骤：

在启动所述应用后，显示所述应用的第一界面；

若所述检测部件检测到所述隔空手势，则根据所述隔空手势生成通用输入事件，所述通用输入事件为用户在电子设备上的接触操作对应的输入事件；

根据所述通用输入事件，执行响应操作；

所述响应操作包括以下至少一个：滚动页面，或者将所述第一界面切换为另一界面。

12.根据权利要求11所述的电子设备，其特征在于，当所述隔空手势为向上平行移动手或向上挥动手时，所述响应操作为向上滚动页面；

当所述隔空手势为向下平行移动手或向下挥动手时，所述响应操作为向下滚动页面。

13.根据权利要求11所述的电子设备，其特征在于，当所述隔空手势为向右平行移动手或向右挥动手时，所述响应操作为将所述第一界面切换为第二界面；

当所述隔空手势为向左平行移动手或向左挥动手时，所述响应操作为将所述第一界面切换为第三界面；

其中，所述第一界面与所述应用的第一功能对应，所述第二界面与所述应用的第二功能对应，所述第三界面与所述应用的第三功能对应；

或者，所述应用为阅读器，所述第一界面、第二界面和第三界面分别为所述阅读器显示的三个页面。

14.根据权利要求11-13任一项所述的电子设备，其特征在于，当所述指令被所述处理器执行时，还使得所述电子设备执行以下步骤：

在所述检测部件检测到所述隔空手势后，显示与所述隔空手势对应的操作标记。

15.根据权利要求11所述的电子设备，其特征在于，所述根据所述隔空手势生成通用输入事件，包括：

根据预设的第一对应关系确定所述隔空手势的手势类型，所述第一对应关系为隔空手势的手势信息与手势类型的对应关系，所述手势信息包括以下任意一项或任意多项的组合：所述隔空手势的姿态、形状、移动距离、移动方向、移动速度、移动轨迹、或位置与时刻的对应关系；

将所述手势类型上报给所述电子设备的应用程序框架层；

所述应用程序框架层根据预设的第二对应关系确定所述通用输入事件，并将所述通用输入事件上报给应用程序层，以生成所述通用输入事件，所述第二对应关系为手势类型与通用输入事件的对应关系；

所述应用程序层中的前台系统应用或前台第三方应用，执行响应该通用输入事件的操作。

16.根据权利要求15所述的电子设备，其特征在于，当所述指令被所述处理器执行时，还使得所述电子设备执行以下步骤：

若根据所述第一对应关系确定不存在与所述隔空手势对应的手势类型，则所述隔空手势为无效手势，根据当前应用和/或用户使用习惯，确定有效的参考隔空手势；

向所述用户提示所述参考隔空手势。

17.根据权利要求16所述的电子设备，其特征在于，当所述指令被所述处理器执行时，还使得所述电子设备执行以下步骤：

若根据所述第一对应关系确定不存在与所述隔空手势对应的手势类型，则所述隔空手势为无效手势，根据当前应用和/或用户使用习惯，确定有效的参考隔空手势；

确定所述参考隔空手势对应的参考通用输入事件；

根据所述参考通用输入事件和当前应用确定第一操作；

提示所述用户是否执行所述第一操作；

在检测到所述用户指示执行所述第一操作的指令后，执行所述第一操作。

18.根据权利要求15-17任一项所述的电子设备，其特征在于，当所述隔空手势为挥动手或平行移动手时，所述通用输入事件为滑动事件；

当所述隔空手势为向所述电子设备方向靠近手掌时，所述通用输入事件为点击事件。

19.根据权利要求15-17任一项所述的电子设备，其特征在于，当所述指令被所述处理器执行时，还使得所述电子设备执行以下步骤：

在生成所述通用输入事件后，显示与所述通用输入事件对应的操作标记。

Images