CN112394811B - 一种隔空手势的交互方法及电子设备 - Google Patents

一种隔空手势的交互方法及电子设备 Download PDF

Info

Publication number
CN112394811B
CN112394811B CN201910765254.5A CN201910765254A CN112394811B CN 112394811 B CN112394811 B CN 112394811B CN 201910765254 A CN201910765254 A CN 201910765254A CN 112394811 B CN112394811 B CN 112394811B
Authority
CN
China
Prior art keywords
gesture
electronic device
user
indication icon
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910765254.5A
Other languages
English (en)
Other versions
CN112394811A (zh
Inventor
吴义镇
勾军委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910765254.5A priority Critical patent/CN112394811B/zh
Priority to CN202311601423.4A priority patent/CN117784927A/zh
Priority to US17/636,529 priority patent/US20220269351A1/en
Priority to EP20855678.7A priority patent/EP4002066A4/en
Priority to PCT/CN2020/109893 priority patent/WO2021032097A1/zh
Publication of CN112394811A publication Critical patent/CN112394811A/zh
Application granted granted Critical
Publication of CN112394811B publication Critical patent/CN112394811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

本申请提供一种隔空手势的交互方法及电子设备，涉及终端技术领域和AI技术领域，例如AI图像识别领域，可提高用户与电子设备进行隔空交互时的使用体验，降低隔空手势的误操作率。该方法包括：电子设备显示第一应用的第一显示界面；所述电子设备通过摄像头检测到用户输入第一隔空手势；响应于所述第一隔空手势，所述电子设备沿所述第一隔空手势在预设方向上的移动轨迹移动所述第一显示界面中的指示图标；响应于所述第一隔空手势，所述电子设备显示所述第一应用的第二显示界面。

Description

一种隔空手势的交互方法及电子设备
技术领域
本申请涉及终端技术领域，尤其涉及一种隔空手势的交互方法及电子设备。
背景技术
随着电子技术的不断发展，用户对手机等电子设备的使用，不再局限于通过接触触摸屏来进行操作。目前，一些手机可以通过摄像头或超声波传感器等器件，识别用户在三维空间内执行的手势动作(即隔空手势)，从而实现对手机中一些功能的隔空操作。
以用户浏览手机中的电子书APP举例，手机可通过摄像头采集到的图像识别用户执行的隔空手势。例如，如果检测到用户执行向左挥手的第一隔空手势，则手机可响应第一隔空手势在电子书APP中执行“翻转到上一页”的第一操作。如果检测到用户执行向右挥手的第二隔空手势，则手机可响应第二隔空手势在电子书APP中执行“翻转到下一页”的第二操作。
一般，当手机响应用户输入的隔空手势执行相应的操作后，用户可感知到手机已经成功接收到自己输入的隔空手势。而在用户向手机输入隔空手势的过程中，用户无法感知手机是否检测到自己输入的隔空手势，导致用户无法确定正在输入的隔空手势是否正确，使用户与手机进行隔空交互时的使用体验较低，误操作率较高。
发明内容
本申请提供一种隔空手势的交互方法及电子设备，可提高用户与电子设备进行隔空交互时的使用体验，降低隔空手势的误操作率。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种隔空手势的交互方法，包括：电子设备显示第一应用的第一显示界面；同时，电子设备可通过摄像头检测到用户输入第一隔空手势；响应于第一隔空手势，电子设备可沿第一隔空手势在预设方向上的移动轨迹移动第一显示界面中的指示图标；同时，响应于第一隔空手势，电子设备可显示第一应用的第二显示界面。
这样，用户在输入隔空手势(例如上述第一隔空手势)的过程中，一方面电子设备可通过指示图标在预设方向上的移动指导用户完成本次隔空手势，另一方面用户可通过指示图标的移动实时的感知到当前隔空手势的执行进度，从而提高了用户与电子设备进行隔空交互时的使用体验，降低隔空手势的误操作率。
在一种可能的实现方式中，上述预设方向可以为直角坐标系的x轴方向，该x轴方向为用户正常使用电子设备时的水平方向；此时，电子设备沿第一隔空手势在预设方向上的移动轨迹移动第一显示界面中的指示图标，具体包括：电子设备确定第一隔空手势在x轴方向的第一移动距离；进而，电子设备可根据第一移动距离在第一显示界面中沿x轴方向移动该指示图标。例如，电子设备可根据第一移动距离，按照比例系数k沿x轴方向移动该指示图标，通过移动指示图标向用户提示本次隔空手势在x轴方向的执行进度。
在一种可能的实现方式中，上述预设方向可以为直角坐标系的y轴方向，此时，电子设备沿第一隔空手势在预设方向上的移动轨迹移动第一显示界面中的指示图标，具体包括：电子设备确定第一隔空手势在y轴方向的第二移动距离；进而，电子设备可根据第二移动距离在第一显示界面中沿y轴方向移动该指示图标。例如，电子设备可根据第二移动距离，按照比例系数k沿y轴方向移动该指示图标，通过移动指示图标向用户提示本次隔空手势在y轴方向的执行进度。
在一种可能的实现方式中，在电子设备通过摄像头检测到用户输入第一隔空手势之前，还包括：电子设备检测到用户输入第一预设手势，第一预设手势用于进入隔空手势的操作模式；响应于第一预设手势，电子设备在第一显示界面的预设位置显示上述指示图标，使得用户可获知电子设备已经进入隔空手势的操作模式，从而提醒用户开始输入相应的隔空手势。
在一种可能的实现方式中，电子设备在第一显示界面的预设位置显示指示图标，包括：电子设备沿第一显示界面的顶部或底部显示该指示图标；或者；电子设备沿第一显示界面的侧边显示该指示图标。
在一种可能的实现方式中，上述第一预设手势可以为预设的悬停手势；其中，电子设备检测到用户输入的第一预设手势，包括：电子设备通过该摄像头采集到的图像检测到用户输入该悬停手势。当然，电子设备也可以通过语音等等方式检测用户进入隔空手势的操作模式的操作意图。
在一种可能的实现方式中，电子设备通过摄像头检测到用户输入第一隔空手势，包括：电子设备以上述悬停手势悬停的位置为起始位置，通过摄像头采集到的图像检测用户输入的第一隔空手势。
在一种可能的实现方式中，电子设备显示第一应用的第二显示界面，包括：电子设备根据第一隔空手势在该预设方向上的移动距离向第一应用上报滑动事件；电子设备中的第一应用显示与该滑动事件对应的第二显示界面。
在一种可能的实现方式中，上述方法还包括：当第一隔空手势结束后，电子设备将上述指示图标恢复显示至预设位置，从而提示用户本次输入的第一隔空手势已经结束，电子设备已经完成对第一隔空手势的响应。
在一种可能的实现方式中，上述方法还包括：当第一隔空手势结束后，电子设备可通过摄像头检测到用户输入第二隔空手势；响应于第二隔空手势，电子设备可沿第二隔空手势在预设方向上的移动轨迹移动该指示图标；同时，响应于第二隔空手势，电子设备可显示第一应用的第三显示界面。
在一种可能的实现方式中，电子设备通过摄像头检测到用户输入第二隔空手势，包括：当第一隔空手势结束后，电子设备通过该摄像头采集到的图像检测第一隔空手势的回程操作；为了避免电子设备识别第二隔空手势时受到第一隔空手势的回程操作的干扰，电子设备可以以该回程操作结束的位置为起始位置，通过摄像头采集到的图像检测用户输入的第二隔空手势。
在一种可能的实现方式中，上述方法还包括：电子设备检测到用户输入第二预设手势，第二预设手势用于退出隔空手势的操作模式；响应于第二预设手势，电子设备隐藏已显示的指示图标，从而提示用户已经退出隔空手势的操作模式。
在一种可能的实现方式中，上述指示图标具体可以为进度条、滑块、线段或弧线；其中，电子设备沿第一隔空手势在预设方向上的移动轨迹移动第一显示界面中的指示图标，包括：电子设备按照第一隔空手势在预设方向上的移动轨迹滑动、延长或放大该指示图标。
第二方面，本申请提供一种电子设备，包括：触摸屏、摄像头、一个或多个处理器、存储器以及一个或多个计算机程序；其中，处理器与触摸屏、摄像头和存储器均耦合，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述任一项所述的隔空手势的交互方法。
第三方面，本申请提供一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的隔空手势的交互方法。
第四方面，本申请提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的隔空手势的交互方法。
可以理解地，上述提供的第二方面所述的电子设备、第三方面所述的计算机存储介质，以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图一；
图2为本申请实施例提供的一种摄像头的拍摄原理示意图；
图3为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图一；
图4为本申请实施例提供的一种电子设备内操作系统的架构示意图；
图5为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图二；
图6为本申请实施例提供的一种隔空手势的交互方法的流程示意图；
图7为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图三；
图8为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图四；
图9为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图五；
图10为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图六；
图11为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图七；
图12为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图八；
图13为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图九；
图14为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十；
图15为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十一；
图16为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十二；
图17为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十三；
图18为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十四；
图19为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十五；
图20为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十六；
图21为本申请实施例提供的一种隔空手势的交互方法的应用场景示意图十七；
图22为本申请实施例提供的一种电子设备的结构示意图二。
具体实施方式
下面将结合附图对本实施例的实施方式进行详细描述。
示例性的，本申请实施例提供的一种隔空手势的交互方法可应用于手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant，PDA)、可穿戴电子设备、车载设备、虚拟现实设备等电子设备，本申请实施例对此不做任何限制。
示例性的，图1示出了电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，摄像头193以及显示屏194等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141可接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。
电源管理模块141可用于监测电池容量，电池循环次数，电池充电电压，电池放电电压，电池健康状态(例如漏电，阻抗)等性能参数。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括一个或多个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(Bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成一个或多个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode 的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。在一些实施例中，手机100可以包括1个或N个摄像头，N为大于1的正整数。摄像头193可以是前置摄像头也可以是后置摄像头。
如图2所示，摄像头193一般包括镜头(lens)和感光元件(sensor)，该感光元件可以为CCD(charge-coupled device，电荷耦合元件)或者CMOS(complementary metal oxidesemiconductor，互补金属氧化物半导体)等任意感光器件。
仍如图2所示，在拍摄照片或视频的过程中，被拍摄物体的反射光线经过镜头后可生成光学图像，该光学图像投射到感光元件上，感光元件将接收到的光信号转换为电信号，进而，摄像头193将得到的电信号发送至DSP(Digital Signal Processing，数字信号处理)模块进行数字信号处理，最终得到每一帧数字图像。
在本申请实施例中，摄像头193可用于采集用户输入的隔空手势。例如，可将摄像头193设置为常开状态(always on)实时采集当前的图像。摄像头193可将采集到的每一帧图像发送给处理器110。如果从采集到的图像中识别出用户执行了预设的开启手势，说明用户希望使用隔空手势的方式与电子设备进行交互，则处理器110可根据摄像头193实时发来的图像识别此时用户输入的具体隔空手势。
例如，上述预设的开启手势可以为手掌悬停200ms的手势。那么，如果最近200ms内摄像头193采集到的图像中包含用户手掌的图案，且用户手掌没有明显的位置移动，则处理器110可确定用户执行了预设的开启手势。进而，摄像头193可继续将采集的每一帧图像发送给处理器110，处理器110可根据摄像头193发来的多帧图像确定用户本次输入的隔空手势为向上滑动、向下滑动、向左滑动或向右滑动等。需要说明的是，本申请实施例中所述的“上”、“下”、“左”、“右”均为基于用户正常使用手机时的相对方向，可结合具体实施例附图进行理解，本申请实施例对此不做任何限制。
以手机为电子设备举例，可在手机中预先设置第一坐标系，第一坐标系中包括x轴和y轴，x轴为手机正常显示时的水平方向，即用户正常阅读手机显示内容时的水平方向，相应的，y轴为与x轴垂直的竖直方向。例如，x轴为沿手机屏幕短边的水平方向，y轴为沿手机屏幕长边的竖直方向。处理器110可以根据连续多帧图像中用户手掌上某一点的位置变化，确定用户手掌在x轴和y轴上的移动距离。如果用户手掌在x轴上的移动距离大于阈值1，则处理器110可确定用户执行了向左(或向右)滑动的隔空手势。如果用户手掌在y轴上的移动距离大于阈值2，则处理器110可确定用户执行了向上(或向下)滑动的隔空手势。
在本申请实施例中，处理器110不仅可以实时的确定出用户输入的隔空手势，还可以指示显示屏194实时显示该隔空手势的执行进度。以向下滑动的隔空手势举例，处理器110确定出用户执行了预设的开启手势后，如图3所示，处理器110可指示显示屏194在正在显示的界面301中显示滑块302，以提示用户进入隔空手势的操作模式。在检测到用户输入向下滑动的隔空手势的过程中，处理器110可指示显示屏194实时的向下滑动滑块302。
这样，用户在输入隔空手势的过程中，一方面电子设备可通过滑块302的移动指导用户完成本次隔空手势，另一方面用户可通过滑块302的移动实时的感知到当前隔空手势的执行进度，从而提高了用户与电子设备进行隔空交互时的使用体验，降低隔空手势的误操作率。
同时，处理器110检测到到用户输入的具体隔空手势时，可响应该隔空手势执行对应的翻页、返回、或下一步等操作，本申请实施例对此不做任何限制，从而使得用户可以通过隔空手势控制电子设备实现相应的功能。
需要说明的是，电子设备除了可以通过摄像头193采集用户输入的隔空手势外，还可以通过红外传感器、超声波传感器等一个或多个器件采集用户输入的隔空手势，本申请实施例对此不做任何限制。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备100执行本申请一些实施例中所提供的方法，以及各种功能应用和数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。在另一些实施例中，处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，来使得电子设备100执行本申请实施例中所提供的方法，以及各种功能应用和数据处理。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置一个或多个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等，本申请实施例对此不做任何限制。
当然，本申请实施例提供的电子设备100还可以包括按键190、马达191、指示器192以及SIM卡接口195等一项或多项器件，本申请实施例对此不做任何限制。
上述电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图4是本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图4所示，应用程序层中可以安装通话，备忘录，浏览器，联系人，相机，图库，日历，地图，蓝牙，音乐，视频，短信息等APP(应用，application)。
另外，应用程序层中还包括SystemUI等Android核心应用，SystemUI可用于反馈系统及应用状态并与用户保持交互。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
在本申请实施例中，仍如图4所示，应用程序框架层中还可以包括AI引擎。AI引擎可用于根据摄像头采集到的图像实时识别用户输入的隔空手势。AI引擎识别出用户输入的隔空手势后，还可向应用程序层中的相关应用传递该隔空手势，使得应用能够响应用户输入的隔空手势执行相应的操作。可以理解的是，本申请实施例中对上述AI引擎的具体名称不做限定，可以在应用程序框架层中设置任意名称的功能模块用于执行上述功能。
示例性的，AI引擎的工作状态可以包括普通模式和隔空手势模式。
在普通模式下，AI引擎可根据摄像头实时采集到的图像确定用户是否输入了隔空手势模式的开启手势，即用户是否有启用隔空手势的操作意图。例如，AI引擎通过调用内核层的摄像头驱动，可获取到摄像头实时采集到的每一帧图像。进而，AI引擎可根据这些图像识别用户是否输入了预设的开启手势。以预设的开启手势可以为手掌悬停200ms的手势举例，AI引擎可不断的获取最近200ms内采集到的N(N＞1)帧图像，并识别这N帧图像中是否包含用户手掌的图案。如果这N帧图像中包含用户手掌的图案，且用户手掌在这N帧图像中的位置移动小于阈值，则AI引擎可确定此时用户输入了开启手势。
当AI引擎确定用户输入了开启手势后，可向应用程序框架层中的system UI上报第一事件，第一事件可用于指示开启隔空手势模式。system UI接收到该第一事件后，如图5中的(a)所示，system UI可在当前的显示界面501的预设位置上显示隔空手势的指示图标502。指示图标502可提示用户已经检测到上述开启手势并开始检测用户输入的隔空手势。其中，指示图标502具体可以为进度条、滑块等图案，本申请实施例对指示图标502的大小、位置、形状以及颜色等显示效果不做任何限制。
同时，当AI引擎确定用户输入了开启手势后，AI引擎从普通模式进入隔空手势模式。
在隔空手势模式下，AI引擎可根据摄像头实时采集到的图像确定用户输入的具体隔空手势。例如，AI引擎通过调用内核层的摄像头驱动，可获取到摄像头实时采集到的每一帧图像。进而，AI引擎可根据这些图像中用户手势的移动距离识别用户输入的隔空手势。例如，AI引擎可将用户执行上述开启手势时用户手掌的位置作为初始位置A，进而，AI引擎可根据实时采集到的图像，以初始位置A为起点计算用户手掌在x轴方向和y轴方向的移动距离。这样，根据用户手掌在x轴方向和y轴方向的移动距离，AI引擎可进一步确定出用户正在输出向上滑动、向下滑动、向左滑动或向右滑动的隔空手势。
以用户输入向左滑动的隔空手势举例，AI引擎确定出用户正在输入向左滑动的隔空手势后，可向system UI和正在前台运行的相册APP上报对应的滑动事件。此时，如图5中的(b)所示，相册APP接收到该滑动事件后，可响应该滑动事件开始显示位于当前图片503之后的下一张图片504。同时，system UI接收到该滑动事件后，可响应该滑动事件向左滑动指示图标502。例如，指示图标502的滑动距离与用户正在输入的隔空手势的移动距离呈正比。
这样一来，用户通过隔空手势控制相关应用的同时，还可以通过显示界面中的指示图标502实时的了解到当前隔空手势的执行进度，手机也可通过指示图标502实时的指导用户如何完成本次隔空手势，从而提高了用户与手机进行隔空交互时的使用体验，降低隔空手势的误操作率。
另外，当用户不再希望使用隔空手势与手机交互时，还可以向摄像头输入隔空手势模式的结束手势。例如，该结束手势可以为用户握拳悬停200ms的手势。那么，AI引擎根据摄像头采集到的图像确定出用户输入了预设的结束手势时，AI引擎可从隔空手势模式切换为普通模式。同时，AI引擎可向system UI上报第二事件，第二事件可用于指示结束隔空手势模式。system UI接收到该第二事件后，可在当前的显示界面中隐藏上述指示图标502，从而提示用户已经退出隔空手势的操作模式。
另外，上述窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。上述内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。上述视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。上述电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。上述资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。上述通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
如图4所示，系统库可以包括多个功能模块。例如：表面管理器(surfacemanager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等，本申请实施例对此不做任何限制。
以手机为电子设备举例，以下将结合附图详细阐述本申请实施例提供的一种隔空手势的交互方法，如图6所示，该方法包括：
S601、手机通过摄像头检测用户输入预设的开启手势。
示例性的，可将手机的摄像头设置为常开状态。也就是说，手机的摄像头可一直处于工作状态，摄像头可按照一定的工作频率采集拍摄范围内的图像。示例性的，上述摄像头还可以为3D摄像头(也可称为深度摄像头或景深摄像头)，手机通过3D摄像头拍摄的图像可以获取到图像中物体或用户与手机之间的距离。
一般，手机可默认关闭手机的隔空手势功能以节省手机的功耗，此时，手机的摄像头仍然处于工作状态。那么，当用户希望使用隔空手势与手机交互时，如图7所示，可在手机摄像头(例如前置摄像头)的拍摄范围内输入隔空手势的开启手势。例如，该开启手势可以为用户手掌悬停200ms的手势。由于手机的摄像头为常开状态，因此，摄像头可采集到用户手掌悬停时的多帧图像，手机可根据摄像头采集到的多帧图像识别出用户当前是否输入上述开启手势。
仍以用户手掌悬停200ms的手势为开启手势举例，如图8所示，手机可实时的获取最近200ms内摄像头采集到的N帧图像。并且，手机内可预设二维直角坐标系(或空间直角坐标系)。仍如图8所示，以每一帧图像的右上角为原点O建立x轴和y轴举例，x轴和y轴可以以像素为单位，也可以设置mm、cm等距离单位。手机可识别这N帧图像中用户手掌的图案801以及图案801中的参考点C，参考点C可以是图案801中的任一点。例如，参考点C可以是图案801的中心点，或参考点C可以是用户食指的端点等。
如果上述N帧图像中每帧图像内均包含图案801，或上述N帧图像中包含图案801的图像数目大于预设值1，说明用户手掌在这200ms内一直出现在摄像头的拍摄范围内。同时，手机可根据上述N帧图像中参考点C1、C2、……、C(n)的坐标，计算用户手掌的移动距离。如果用户手掌的移动距离小于预设值2(例如，预设值2为50个像素单位)，说明用户手掌在这200ms内一直悬停在摄像头的拍摄范围内，此时，手机可确定用户输入了预设的开启手势。
另外，手机检测到用户输入了预设的开启手势后，还可以记录此时用户手掌所在的位置。例如，手机可将图8中第N帧图像内用户手掌的参考点C(n)的坐标作为用户手掌所在的位置，该位置也可作为后续用户输入隔空手势的起始位置A1。
当然，如果手机确定出上述N帧图像中包含图案801的图像数目小于预设值1，或者，手机确定出用户手掌的移动距离大于预设值2，则说明用户在这200ms内没有输入手掌悬停的开启手势，则手机可继续获取最近200ms内摄像头采集到的N帧图像，并按照上述方法继续识别用户此时是否输入预设的开启手势。
在另一些实施例中，用户也可以通过其他方式触发手机进入隔空手势的操作模式。例如，用户可以通过手机中的语音助手APP输入开启隔空手势的语音信号。进而，手机检测到该语音信号后，可打开摄像头开始采集用户输入的隔空手势。又例如，手机中可设置对应的按键(例如虚拟按键或实体按键)或操作(例如按压操作、双击操作等)用于开启隔空手势的操作模式。当检测到用户点击上述按键或执行上述操作后，手机可打开摄像头开始采集用户输入的隔空手势。另外，手机打开摄像头后可将摄像头首次采集到的用户手掌所在的位置作为后续用户输入隔空手势的起始位置A1。或者，手机打开摄像头后可检测用户是否执行预设的悬停手势，如果检测到用户执行了预设的悬停手势，则手机可将用户悬停的位置作为后续用户输入隔空手势的起始位置A1。
手机检测到用户输入了预设的开启手势后，可响应该开启手势分别执行下述步骤S602和S603。需要说明的是，本申请实施例对下述步骤S602和S603的执行顺序不做任何限制，手机可同时执行下述步骤S602和S603，也可以先执行步骤S602再执行步骤S603，或先执行步骤S603再执行步骤S602。
S602、响应于上述开启手势，手机在当前的第一显示界面中显示预设的指示图标。
在步骤S602中，手机检测到用户输入了预设的开启手势后，说明用户希望使用隔空手势控制手机中正在运行的应用。为了指导和提示用户高效、正确的输入隔空手势，手机可在正在显示的界面(例如第一显示界面)的预设位置显示预设的指示图标，该指示图标在界面中的位置、长度或形状是可以改变的。
示例性的，以手机正在前台运行电子书APP举例，如图9所示，用户输入上述开启手势时，手机正在显示电子书APP的第一显示界面901。检测到用户输入上述开启手势后，手机可沿水平方向在屏幕顶部显示第一指示图标902。第一显示界面901中出现第一指示图标902后，用户便可获知手机已经进入隔空手势的操作模式，从而提醒用户开始输入相应的隔空手势。
其中，上述第一指示图标902可以是滑块、进度条等图标；上述第一指示图标902可以是直线型也可以是弧线形的图标；本申请实施例对第一指示图标902的具体形状、大小、位置或颜色等显示效果不做任何限制。
示例性的，仍如图9所示，手机可沿第一显示界面901的顶部，在顶部的中间位置显示第一指示图标902，避免第一指示图标902对第一显示界面901中的显示内容产生遮挡。第一指示图标902可在水平方向(即x轴方向)移动，第一指示图标902可用于指示用户输入的隔空手势在水平方向的移动距离。也就是说，手机进入隔空手势的操作模式后，手机可将用户后续输入的隔空手势分解为在x轴方向的滑动操作，并通过移动第一指示图标902向用户提示本次隔空手势在x轴方向的执行进度。
又或者，手机除了在第一显示界面901中显示上述第一指示图标902外，还可以显示文字、箭头或预设图标等指示信息。如图10所示，可以在第一指示图标902的左侧显示第一箭头，并通过文字提示用户向左滑动进行翻页；并且，可以在第一指示图标902的右侧显示第二箭头，并通过文字提示用户向右滑动进行翻页，使得用户可以根据这些指示信息有目的性的执行相应的隔空手势。或者，仍如图9所示，检测到用户输入了预设的开启手势后，手机可以在状态栏内显示预设图标903，从而提醒用户手机已经进入隔空手势的操作模式，可以开始输入相应的隔空手势。当然，手机检测到用户输入了上述开启手势后，还可以通过语音等方式提醒用户进入隔空手势的操作模式，并提示用户输入相应的隔空手势，本申请实施例对此不做任何限制。
在另一些实施例中，如图11所示，如果手机在显示浏览器APP的界面1101时检测到用户输入预设的开启手势，手机可在竖直方向(即y轴方向)上显示第二指示图标1102。例如，手机可沿着显示屏的左侧边(或右侧边)，在左侧边(或右侧边)的中间位置显示第二指示图标1102。第二指示图标1102可在竖直方向(即y轴方向)移动，第二指示图标1102可用于指示用户输入的隔空手势在竖直方向的移动距离。也就是说，手机进入隔空手势的操作模式后，手机可将用户后续输入的隔空手势分解为在y轴方向的滑动操作，并通过移动第二指示图标1102向用户提示本次隔空手势在y轴方向的执行进度。
示例性的，检测到用户输入上述开启手势后，手机还可以根据正在前台运行的应用类型或正在显示的界面类型确定当前显示的界面(例如界面1101)是否支持上下滑动或左右滑动的操作。如果当前显示的界面支持左右滑动的操作，则手机可在屏幕顶部显示上述第一指示图标902；如果当前显示的界面支持上下滑动的操作，则手机可在屏幕侧边显示上述第二指示图标1102；如果当前显示的界面既支持上下滑动的操作又支持左右滑动的操作，则手机可同时显示上述第一指示图标902和第二指示图标1102，本申请实施例对此不作任何限制。
或者，检测到用户输入上述开启手势后，手机也可以默认在当前的第一显示界面的预设位置(例如屏幕顶部的中央位置)显示指示图标(如图9中所示的第一指示图标902)。后续如果检测到用户输入上下滑动的隔空手势时，手机可将指示图标显示在屏幕侧边(如图11中所示的第二指示图标1102)，并响应该隔空手势移动第二指示图标1102。
在另一些实施例中，如图12所示，可在手机中预先建立显示屏上各个位置与摄像头采集的每帧图像上各个位置之间的对应关系。例如，可将手机显示屏的右上角作为原点O1，并以O1为原点建立第一坐标系。同样，可将摄像头拍摄的每一帧图像的右上角作为原点O2，并以O2为原点建立第二坐标系。第一坐标系中的每一坐标点与第二坐标系中的每一坐标点之间具有映射关系。
当手机检测到用户输入的开启手势时，手机可将开启手势结束时采集到的用户手掌所在的位置(即A1点)确定为用户输入隔空手势的起始位置。进而，手机可确定在第一坐标系中与起始位置A1点对应的B点。也就是说，用户手掌当前所在的位置对应于显示屏中的B点。那么，如图13所示，以手机正在显示桌面1301举例，手机可在桌面1301的B点显示第三指示图标1302，从而提示用户当前手掌所在的位置对应于桌面1301的P点。第三指示图标1302也可随着用户输入的隔空手势在桌面1301中移动。
可以看出，在本申请实施例中，当手机进入隔空手势的操作模式时，手机可在当前的显示界面中显示预设的指示图标，提示用户开始输入隔空手势。后续，手机还可以通过移动该指示图标指导用户输入隔空手势的执行进度，从而提高用户使用隔空手势与手机交互的使用体验。
S603、响应于上述开启手势，手机通过摄像头开始检测用户输入的第一隔空手势。
在步骤S603中，手机检测到用户输入了预设的开启手势后，说明用户希望使用隔空手势控制手机中正在运行的应用，手机进入隔空手势的操作模式。那么，手机可继续使用摄像头实时采集每一帧图像，并且，手机可根据采集到的图像识别用户输入的具体隔空手势。
示例性的，检测到用户输入了预设的开启手势后，手机可以开启手势结束时采集到的用户手掌所在的位置为起始位置A1，进而根据最近采集到的M帧图像实时的确定用户输入的第一隔空手势。
例如，如图14所示，手机进入隔空手势的操作模式后，手机每获取到一帧图像后，均可识别该图像中用户手掌的图案。进而，手机可确定用户手掌在图像中的位置。例如，手机可将用户手掌的中心点A(m)的坐标作为每帧图像中用户手掌所在的位置。这样，手机从起始位置A1的坐标开始，可根据每帧图像中中心点A(m)的坐标计算出用户手掌在x轴上的移动距离S1以及用户手掌在y轴上的移动距离S2。
另外，如果手机的摄像头为3D摄像头，则用户手掌的起始位置A还包括用户手掌在z轴(即垂直于手机屏幕方向)上的距离，即A1＝(X1，Y1，Z1)。并且，手机采集到的每一帧图像中用户手掌的位置(即中心点A(m))均包括z轴上的距离，即A(m)＝(X(m)，Y(m)，Z(m))。那么，手机除了可以计算出用户手掌在x轴上的移动距离S1以及用户手掌在y轴上的移动距离S2之外，还可以计算出用户手掌在z轴上的移动距离S3。
也就是说，手机将用户正在输入的第一隔空手势可分解为在x轴、y轴和z轴三个方向上的手势操作。
示例性的，当用户手掌在x轴正方向上的移动距离S1大于阈值1时，说明用户输入的第一隔空手势正在向左移动；当用户手掌在x轴负方向上的移动距离S1大于阈值1时，说明用户输入的第一隔空手势正在向右移动。当用户手掌在y轴正方向上的移动距离S2大于阈值2时，说明用户输入的第一隔空手势正在向下移动；当用户手掌在y轴负方向上的移动距离S2大于阈值2时，说明用户输入的第一隔空手势正在向上移动。当用户手掌在z轴方向上的移动距离S3大于阈值3时，说明用户输入的第一隔空手势为按压操作。
又或者，由于第一隔空手势的输入过程是一个连续的输入过程，那么，手机可在x轴、y轴和z轴上设置对应的步长。以手机在x轴上设置的步长为50个像素单位举例，手机可以用户手掌的起始位置A1为起点，根据最近获取的M帧图像实时检测用户手掌在x轴正方向上的移动距离S1。
每当检测到用户手掌在x轴正方向上的移动距离S1增加50个像素单位时，说明用户正在输入的第一隔空手势向左移动了一定距离，此时，手机可向应用程序层中的systemUI上报一次向左滑动的滑动事件，使得手机可响应该滑动事件执行下述步骤S604。
另外，每当检测到用户手掌在x轴正方向上的移动距离S1增加50个像素单位时，手机还可以向应用程序层中的正在前台运行的应用(例如上述电子书APP)上报一次向左滑动的滑动事件，使得手机可响应该滑动事件执行下述步骤S605。
也就是说，手机可根据检测到的第一隔空手势在x轴、y轴和z轴三个方向上的移动距离，响应该第一隔空手势执行下述步骤S604-S605。需要说明的是，本申请实施例对下述步骤S604和S605的执行顺序不做任何限制，手机可同时执行下述步骤S604和S605，也可以先执行步骤S604再执行步骤S605，或先执行步骤S605再执行步骤S604。
S604、响应于第一隔空手势，手机按照第一隔空手势的运动轨迹移动上述指示图标。
S605、响应于第一隔空手势，手机显示与第一隔空手势对应的第二显示界面。
以图9中所示的第一指示图标902举例，在步骤S604中，如果检测到第一隔空手势在x轴正方向的移动距离S1大于对应的步长，如图15所示，则手机可同样沿x轴正方向(即向左)延长第一指示图标902。这样，用户在输入第一隔空手势的同时可同步在显示界面中通过第一指示图标902获知第一隔空手势的移动轨迹。
示例性的，手机可根据第一隔空手势在x轴正方向的移动距离S1，按照一定的比例系数k(k＞0)计算手机向左延长第一指示图标902的距离L1。
例如，可预先设置移动距离S1、距离L1、以及比例系数k之间的关系为：L1＝S1*k。那么，当手机检测到第一隔空手势在x轴上的移动距离S1增大或减小时，可根据上述比例系数k计算出第一指示图标902需要移动的距离L1，从而动态的向左或向右延长第一指示图标902。
另外，上述比例系数k的大小可与用户距离手机的距离R成正比。例如，手机可以通过3D摄像头检测用户与手机之间的距离R。进而，手机可根据用户与手机之间的距离R动态的确定上述比例系数k。当用户与手机之间的距离R越大时，可设置对应的比例系数k越大；当用户与手机之间的距离R越小时，可设置对应的比例系数k越小。
同时，如果检测到第一隔空手势在x轴正方向的移动距离S1大于对应的步长，则在步骤S605中，手机还可以向正在运行的电子书APP上报滑动事件，该滑动事件可包括滑动方向和移动距离S1等参数。那么，仍如图15所示，电子书APP响应该滑动事件可执行翻页操作，此时，手机可显示与移动距离S1对应的第二显示界面1501。第二显示界面1501与输入第一隔空手势前显示的第一显示界面901中可以有部分显示内容相同。这样，用户在输入第一隔空手势的同时手机可响应该第一隔空手势控制相关应用实现对应的功能，实现手机与用户进行隔空交互的操作体验。
以图11中所示的第二指示图标1102举例，在步骤S604中，如果检测到第一隔空手势在y轴正方向的移动距离S2大于对应的步长，如图16所示，则手机可按照一定比例向下延长第二指示图标1102。这样，用户在输入第一隔空手势的同时可同步在显示界面中通过第二指示图标1102获知第一隔空手势的移动轨迹和执行进度。
同时，在步骤S605中，手机还可以向正在运行的浏览器APP上报滑动事件，该滑动事件可包括滑动方向和移动距离S2等参数。那么，仍如图16所示，浏览器APP响应该滑动事件可执行翻页操作，此时，手机可显示与移动距离S2对应的显示界面1601，使得手机能够响应用户正在输入的第一隔空手势完成对应的功能。
另外，图16是以浏览器APP举例说明用户在输入上下滑动的隔空手势时手机对该隔空手势的响应过程。可以理解的是，上述浏览器APP还可以为视频类APP等支持上下滑动操作的应用。以抖音APP举例，手机在播放抖音APP的短视频A时，如果检测到用户输入手掌悬停200ms的预设操作，则手机可在短视频A的第一显示界面中显示预设的指示图标，提示用户已经进入隔空手势的操作模式。例如，可将指示图标显示在第一显示界面的顶部。后续，如果通过摄像头检测到用户输入向上滑动的隔空手势，则手机可根据该隔空手势在y轴上的移动距离，将指示图标显示在第一显示界面的侧边，并沿y轴移动该指示图标，以提示用户本次隔空手势在y轴上的执行进度。同时，抖音APP可响应该隔空手势显示短视频B的第二显示界面，从而响应用户输入的向上滑动的隔空手势。
以图13中所示的第三指示图标1302举例，在步骤S604中，如果检测到第一隔空手势在z轴方向的移动距离S3大于阈值3，说明用户希望按压屏幕，如图17所示，手机可按照一定比例放大第三指示图标1302。这样，用户在输入第一隔空手势的同时可同步在显示界面中通过第三指示图标1302获知第一隔空手势的移动轨迹和执行进度。
同时，在步骤S605中，手机还可以向正在运行的桌面APP上报按压事件，该按压事件中可包括第三指示图标1302所在的位置坐标B点。那么，仍如图17所示，浏览器APP响应该按压事件可打开与B点对应的微信APP，此时，手机可显示微信APP的显示界面1701，使得手机能够响应用户正在输入的第一隔空手势完成对应的功能。
上述实施例中是以延长指示图标(例如上述第一指示图标902、第二指示图标1102)以及放大指示图标(例如上述第三指示图标1302)为显示效果举例说明的。可以理解的是，本领域技术人员可以根据实际经验或实际应用场景设置指示图标响应用户输入隔空手势时的显示效果。例如，手机可通过滑动上述第一指示图标902和第二指示图标1102向用户在显示界面中反馈隔空手势的执行进度，本申请实施例对此不作任何限制。
S606、当第一隔空手势结束时，手机将上述指示图标恢复至预设位置。
仍以图9和图15中所示的第一指示图标902举例，在用户输入第一隔空手势的过程中，手机可按照上述方法实时的计算第一隔空手势在x轴上的移动距离S1，进而实时的按照移动距离S1向左(或向右)移动第一指示图标902。如图18中的所示，当第一指示图标902移动至预设的结束位置，例如屏幕的最左侧或最右侧时，说明本次用户输入的第一隔空手势结束，此时，如图18中的所示，电子书APP响应该第一隔空手势已经翻页至上一页(或下一页)。或者，当检测到第一隔空手势在x轴上的移动距离S1大于预设的门限值(例如500个像素单位)时，说明本次用户输入的第一隔空手势结束，此时电子书APP已经翻页至上一页(或下一页)。
或者，在用户输入第一隔空手势的过程中，如果手机在最近连续多帧图像内没有检测到用户手掌的相关图案，说明用户输入的第一隔空手势已经超出摄像头的拍摄范围，则此时手机可确定本次用户输入的第一隔空手势结束。
又或者，在用户输入第一隔空手势的过程中，如果手机在最近连续多帧图像内检测到用户手掌的位置没有明显变化，说明用户输入的隔空手势出现停顿，则此时手机也可确定本次用户输入的第一隔空手势结束。
当第一隔空手势结束后，仍以第一指示图标902举例，如图19所示，手机可将第一指示图标902恢复至第一指示图标902出现时在第一显示界面中的预设位置，例如屏幕顶端的中间位置，从而提示用户本次的第一隔空手势已经结束，手机已经完成对第一隔空手势的响应。
S607、手机继续通过摄像头检测用户输入的第二隔空手势。
当第一隔空手势结束后，手机还可以通过摄像头继续采集用户输入的第二隔空手势。一般，用户在执行第一隔空手势和第二隔空手势的过程之间会产生第一隔空手势的回程操作。该回程操作是指用户执行第一隔空手势后，沿第一隔空手势移动的反方向执行的手势返回操作。
例如，第一隔空手势为用户向上滑动手掌的操作，第二隔空手势也为用户向上滑动手掌的操作。如图20所示，手机采集到的第一隔空手势的多帧图像中用户手掌沿y轴的负方向移动，在用户开始执行第二隔空手势前，需要先将手掌沿y轴的正方向收回产生回程操作，再开始第二次向上滑动手掌沿y轴的负方向执行第二隔空手势。
那么，当第一隔空手势结束后，手机可根据采集到的图像实时检测到用户执行的回程操作。例如，当T1时刻第一隔空手势结束后，说明用户开始执行第一隔空手势的回程操作；当手机检测到用户手掌的移动方向从沿y轴的正方向变化为沿y轴的负方向时(即T2时刻)，说明本次回程操作结束。为了避免手机识别第二隔空手势时受到本次回程操作的干扰，手机可将T1-T2时刻采集到的图像丢弃。
并且，手机可将T2时刻采集到的图像中用户手掌的位置作为第二隔空手势的起始位置(例如起始位置为B1)，并根据采集到的图像实时的识别用户输入的第二隔空手势。例如，手机可以起始位置B1的坐标为起点，计算在第二隔空手势中用户手掌在x轴、y轴和z轴三个方向上的移动距离，从而识别用户输入的第二隔空手势。
其中，手机识别用户输入的第二隔空手势的具体方法与步骤S603中手机识别用户输入的第一隔空手势的具体方法类似，故此处不予赘述。
S608、响应于第二隔空手势，手机按照第二隔空手势的运动轨迹移动上述指示图标。
S609、响应于第二隔空手势，手机显示与第二隔空手势对应的显示界面。
与步骤S604-S605类似的，当手机检测到用户输入的第二隔空手势时，一方面，手机可向system UI上报对应的事件(例如滑动事件、按压事件等)，使得system UI响应该事件在当前的显示界面中控制指示图标(例如上述第一指示图标902、第二指示图标1102或第三指示图标1302)按照第二隔空手势的运动轨迹移动。另一方面，手机可向正在前台运行的应用上报对应的事件(例如翻页事件、返回事件等)，使得相关应用能够响应该事件实现对应的应用功能。
另外，当检测到上述第二隔空手势结束后，与步骤S606类似的，手机可再次将当前显示界面中的指示图标恢复至起始位置。后续，手机还可按照上述方法继续识别并响应用户输入的第三隔空手势、第四隔空手势、……。
这样，手机进入隔空手势的操作模式后，手机可连续识别并响应用户连续执行的多次隔空手势，并通过指示图标向用户在显示界面中反馈每次输入的隔空手势的执行进度，从而提高用户使用隔空手势与手机交互的使用体验。
在一些实施例中，手机可以在检测到用户输入开启手势后启动预设的定时器。以10s的定时器1举例，检测到用户输入手掌悬停200ms的开启手势后，手机可启动定时器1，在定时器1未超时的10s内，手机可以按照上述实施例中的方法连续识别并响应用户连续执行的多次隔空手势，并通过指示图标向用户在显示界面中反馈每次输入的隔空手势的执行进度。
当定时器1超时后，手机可自动退出隔空手势的操作模式，不再根据摄像头采集到的图像继续识别并响应用户执行的隔空手势。此时，如果用户希望继续使用隔空手势与手机交互，则用户可再次向手机输入预设的开启手势。那么，手机可继续从上述步骤S601开始执行本申请实施例提供的隔空手势的交互方法。另外，当定时器1超时后，手机可将原本显示出的指示图标隐藏在当前的显示界面中，从而提示用户手机已经退出隔空手势的操作模式。
又或者，当用户不再希望使用隔空手势与手机交互时，还可以向摄像头输入预先为退出隔空手势模式设置的结束手势。例如，该结束手势可以为用户握拳悬停200ms的手势。
如图21中的(a)所示，如果手机检测到最近200ms采集到的图像中包含用户握拳的图案，且用户握拳的位置在图像中没有发生明显变化，则手机可确定用户输入了预设的结束手势。那么，响应于结束手势，如图21中的(b)所示，手机可在当前的显示界面901中隐藏上述指示图标(例如第一指示图标902)，从而提示用户已经退出隔空手势的操作模式。
本申请实施例公开了一种电子设备，包括处理器，以及与处理器相连的存储器、输入设备和输出设备。其中，输入设备和输出设备可集成为一个设备，例如，可将触摸传感器作为输入设备，将显示屏作为输出设备，并将触摸传感器和显示屏集成为触摸屏。
此时，如图22所示，上述电子设备可以包括：触摸屏2201，所述触摸屏2201包括触摸传感器2206和显示屏2207；一个或多个处理器2202；一个或多个摄像头2208；存储器2203；一个或多个应用程序(未示出)；以及一个或多个计算机程序2204，上述各器件可以通过一个或多个通信总线2205连接。其中该一个或多个计算机程序2204被存储在上述存储器2203中并被配置为被该一个或多个处理器2202执行，该一个或多个计算机程序2204包括指令，上述指令可以用于执行上述实施例中的各个步骤。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述，在此不再赘述。
示例性的，上述处理器2202具体可以为图1所示的处理器110，上述存储器2203具体可以为图1所示的内部存储器122，上述摄像头2208具体可以为图1所示的摄像头193，上述显示屏2207具体可以为图1所示的显示屏194，上述触摸传感器2206具体可以为图1所示的传感器模块180中的触摸传感器，本申请实施例对此不做任何限制。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种隔空手势的交互方法，其特征在于，包括：
电子设备显示第一应用的第一显示界面；
所述电子设备检测到用户输入第一预设手势，所述第一预设手势用于进入隔空手势的操作模式；
响应于所述第一预设手势，当所述第一显示界面为第一界面时，在所述电子设备的触摸屏的顶部或底部显示用于左右滑动的第一指示图标，当所述第一显示界面为第二界面时，在所述电子设备的触摸屏的侧边显示用于上下滑动的第二指示图标；
所述电子设备通过摄像头检测到用户输入第一隔空手势；
响应于所述第一隔空手势，当所述第一显示界面为所述第一界面时，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，当所述第一显示界面为所述第二界面时，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第二指示图标；
响应于所述第一隔空手势，所述电子设备显示所述第一应用的第二显示界面。
2.根据权利要求1所述的方法，其特征在于，所述预设方向为直角坐标系的x轴方向，所述x轴方向为所述电子设备显示时的水平方向；
其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，包括：
所述电子设备确定所述第一隔空手势在x轴方向的第一移动距离；
所述电子设备根据所述第一移动距离在所述第一显示界面中沿x轴方向移动所述第一指示图标。
3.根据权利要求1所述的方法，其特征在于，所述预设方向为直角坐标系的y轴方向，
其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第二指示图标，包括：
所述电子设备确定所述第一隔空手势在y轴方向的第二移动距离；
所述电子设备根据所述第二移动距离在所述第一显示界面中沿y轴方向移动所述第二指示图标。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一预设手势为预设的悬停手势；
其中，所述电子设备检测到用户输入第一预设手势，包括：
所述电子设备通过所述摄像头采集到的图像检测到用户输入所述悬停手势。
5.根据权利要求4所述的方法，其特征在于，所述电子设备通过摄像头检测到用户输入第一隔空手势，包括：
所述电子设备以所述悬停手势悬停的位置为起始位置，通过所述摄像头采集到的图像检测用户输入的所述第一隔空手势。
6.根据权利要求1-3、5中任一项所述的方法，其特征在于，所述电子设备显示所述第一应用的第二显示界面，包括：
所述电子设备根据所述第一隔空手势的移动距离向所述第一应用上报滑动事件；
所述电子设备中的所述第一应用显示与所述滑动事件对应的第二显示界面。
7.根据权利要求1-3、5中任一项所述的方法，其特征在于，所述方法还包括：
当所述第一显示界面为所述第一界面且所述第一隔空手势结束后，所述电子设备将所述第一指示图标恢复显示至预设位置；
当所述第一显示界面为所述第二界面且所述第一隔空手势结束后，所述电子设备将所述第二指示图标或恢复显示至所述预设位置。
8.根据权利要求1-3、5中任一项所述的方法，其特征在于，所述方法还包括：
当所述第一隔空手势结束后，所述电子设备通过所述摄像头检测到用户输入第二隔空手势；
响应于所述第二隔空手势，所述电子设备沿所述第二隔空手势的移动轨迹在所述预设方向上移动指示图标，所述指示图标包括：所述第一指示图标或所述第二指示图标；
响应于所述第二隔空手势，所述电子设备显示所述第一应用的第三显示界面。
9.根据权利要求8所述的方法，其特征在于，所述电子设备通过所述摄像头检测到用户输入第二隔空手势，包括：
当所述第一隔空手势结束后，所述电子设备通过所述摄像头采集到的图像检测所述第一隔空手势的回程操作；
所述电子设备以所述回程操作结束的位置为起始位置，通过所述摄像头采集到的图像检测用户输入的所述第二隔空手势。
10.根据权利要求1-3、5、9中任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备检测到用户输入第二预设手势，所述第二预设手势用于退出隔空手势的操作模式；
响应于所述第二预设手势，所述电子设备隐藏已显示的指示图标，所述指示图标包括：所述第一指示图标或所述第二指示图标。
11.根据权利要求1-3、5、9中任一项所述的方法，其特征在于，所述指示图标为进度条、滑块、线段或弧线；
其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，包括：
所述电子设备按照所述第一隔空手势的移动轨迹在预设方向上滑动、延长或放大所述指示图标。
12.一种电子设备，其特征在于，包括：
触摸屏，所述触摸屏包括触摸传感器和显示屏；
一个或多个摄像头；
一个或多个处理器；
存储器；
其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行以下步骤：
显示第一应用的第一显示界面；
检测到用户输入第一预设手势，所述第一预设手势用于进入隔空手势的操作模式，所述第一预设手势为预设的悬停手势；
响应于所述第一预设手势，当所述第一显示界面为第一界面时，在所述电子设备的触摸屏的顶部或底部显示用于左右滑动的第一指示图标，当所述第一显示界面为第二界面时，在所述电子设备的触摸屏的侧边显示用于上下滑动的第二指示图标；
通过所述摄像头检测到用户输入第一隔空手势；
响应于所述第一隔空手势，当所述第一显示界面为所述第一界面时，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，当所述第一显示界面为所述第二界面时，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第二指示图标；
响应于所述第一隔空手势，所述电子设备显示所述第一应用的第二显示界面。
13.根据权利要求12所述的电子设备，其特征在于，所述预设方向为直角坐标系的x轴方向，所述x轴方向为所述电子设备显示时的水平方向；
其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，具体包括：
确定所述第一隔空手势在x轴方向的第一移动距离；
根据所述第一移动距离在所述第一显示界面中沿x轴方向移动所述第一指示图标。
14.根据权利要求12所述的电子设备，其特征在于，所述预设方向为直角坐标系的y轴方向，
其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第二指示图标，具体包括：
确定所述第一隔空手势在y轴方向的第二移动距离；
根据所述第二移动距离在所述第一显示界面中沿y轴方向移动所述第二指示图标。
15.根据权利要求12-14中任一项所述的电子设备，其特征在于，所述第一预设手势为预设的悬停手势；其中，所述电子设备检测到用户输入第一预设手势，具体包括：
通过所述摄像头采集到的图像检测到用户输入所述悬停手势。
16.根据权利要求15所述的电子设备，其特征在于，所述电子设备通过摄像头检测到用户输入第一隔空手势，具体包括：
以所述悬停手势悬停的位置为起始位置，通过所述摄像头采集到的图像检测用户输入的所述第一隔空手势。
17.根据权利要求12-14、16中任一项所述的电子设备，其特征在于，所述电子设备显示所述第一应用的第二显示界面，具体包括：
根据所述第一隔空手势在所述预设方向上的移动距离向所述第一应用上报滑动事件；
所述第一应用显示与所述滑动事件对应的第二显示界面。
18.根据权利要求12-14、16中任一项所述的电子设备，其特征在于，所述电子设备还用于执行：
当所述第一显示界面为所述第一界面且所述第一隔空手势结束后，所述电子设备将所述第一指示图标恢复显示至预设位置；
当所述第一显示界面为所述第二界面且所述第一隔空手势结束后，所述电子设备将所述第二指示图标或恢复显示至所述预设位置。
19.根据权利要求12-14、16中任一项所述的电子设备，其特征在于，所述电子设备还用于执行：
当所述第一隔空手势结束后，通过所述摄像头检测到用户输入第二隔空手势；
响应于所述第二隔空手势，沿所述第二隔空手势的移动轨迹在所述预设方向上移动所述指示图标，所述指示图标包括：所述第一指示图标或所述第二指示图标；
响应于所述第二隔空手势，显示所述第一应用的第三显示界面。
20.根据权利要求19所述的电子设备，其特征在于，所述电子设备通过所述摄像头检测到用户输入第二隔空手势，具体包括：
当所述第一隔空手势结束后，通过所述摄像头采集到的图像检测所述第一隔空手势的回程操作；
以所述回程操作结束的位置为起始位置，通过所述摄像头采集到的图像检测用户输入的所述第二隔空手势。
21.根据权利要求12-14、16、20中任一项所述的电子设备，其特征在于，所述电子设备还用于执行：
检测到用户输入第二预设手势，所述第二预设手势用于退出隔空手势的操作模式；
响应于所述第二预设手势，隐藏已显示的所述指示图标，所述指示图标包括：所述第一指示图标或所述第二指示图标。
22.根据权利要求12-14、16、20中任一项所述的电子设备，其特征在于，所述指示图标为进度条、滑块、线段或弧线；其中，所述电子设备沿所述第一隔空手势的移动轨迹在预设方向上同步移动所述第一显示界面中的所述第一指示图标，具体包括：
按照所述第一隔空手势的移动轨迹在预设方向上滑动、延长或放大所述指示图标。
23.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11中任一项所述的隔空手势的交互方法。
CN201910765254.5A 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备 Active CN112394811B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910765254.5A CN112394811B (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备
CN202311601423.4A CN117784927A (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备
US17/636,529 US20220269351A1 (en) 2019-08-19 2020-08-18 Air Gesture-Based Interaction Method and Electronic Device
EP20855678.7A EP4002066A4 (en) 2019-08-19 2020-08-18 INTERACTION METHOD BY GESTURE CONTROL IN THE AIR AND ASSOCIATED ELECTRONIC DEVICE
PCT/CN2020/109893 WO2021032097A1 (zh) 2019-08-19 2020-08-18 一种隔空手势的交互方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910765254.5A CN112394811B (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311601423.4A Division CN117784927A (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备

Publications (2)

Publication Number Publication Date
CN112394811A CN112394811A (zh) 2021-02-23
CN112394811B true CN112394811B (zh) 2023-12-08

Family

ID=74603490

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311601423.4A Pending CN117784927A (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备
CN201910765254.5A Active CN112394811B (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311601423.4A Pending CN117784927A (zh) 2019-08-19 2019-08-19 一种隔空手势的交互方法及电子设备

Country Status (4)

Country Link
US (1) US20220269351A1 (zh)
EP (1) EP4002066A4 (zh)
CN (2) CN117784927A (zh)
WO (1) WO2021032097A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405720B2 (ja) * 2020-09-18 2023-12-26 シャープ株式会社 画像形成装置、制御プログラムおよび制御方法
CN112947755A (zh) * 2021-02-24 2021-06-11 Oppo广东移动通信有限公司 手势控制方法与装置、电子设备及存储介质
CN113095836A (zh) * 2021-04-22 2021-07-09 北京市商汤科技开发有限公司 自助购物方法及装置、电子设备和存储介质
CN115484394B (zh) * 2021-06-16 2023-11-14 荣耀终端有限公司 一种隔空手势的引导使用方法及电子设备
CN115484391B (zh) * 2021-06-16 2023-12-12 荣耀终端有限公司 一种拍摄方法及电子设备
CN116193243B (zh) * 2021-11-25 2024-03-22 荣耀终端有限公司 拍摄方法和电子设备
CN115562472B (zh) * 2022-02-11 2023-09-22 荣耀终端有限公司 手势交互方法、介质及电子设备
CN114690905A (zh) * 2022-03-30 2022-07-01 歌尔股份有限公司 一种手势控制方法、系统、装置、可穿戴产品及介质
CN117111727A (zh) * 2023-02-22 2023-11-24 荣耀终端有限公司 手方向的检测方法、电子设备及可读介质
CN117373135B (zh) * 2023-12-07 2024-03-15 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218042A (zh) * 2013-03-27 2013-07-24 苏州百纳思光学科技有限公司 一种用于便携电子设备的远红外手势识别装置
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法
CN103558920A (zh) * 2013-11-15 2014-02-05 深圳市中兴移动通信有限公司 非接触式姿势的处理方法及装置
CN103648008A (zh) * 2013-12-23 2014-03-19 乐视致新电子科技（天津）有限公司 一种利用手势对智能电视进行操作控制的方法和装置
WO2014207288A1 (en) * 2013-06-24 2014-12-31 Nokia Corporation User interfaces and associated methods for controlling user interface elements
CN107918481A (zh) * 2016-10-08 2018-04-17 天津锋时互动科技有限公司深圳分公司 基于手势识别的人机交互方法与系统
CN109491584A (zh) * 2018-10-17 2019-03-19 深圳传音制造有限公司 一种基于移动终端的屏幕控制方法及一种移动终端
WO2019061541A1 (zh) * 2017-09-30 2019-04-04 华为技术有限公司 编辑主屏幕的方法、图形用户界面及电子设备
CN109725727A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
CN109725724A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7692627B2 (en) * 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
JP4840620B2 (ja) * 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
TWI482077B (zh) * 2009-06-02 2015-04-21 Htc Corp 電子裝置、其桌面瀏覽方法與電腦程式產品
CN102713794A (zh) * 2009-11-24 2012-10-03 奈克斯特控股公司 用于手势识别模式控制的方法和装置
WO2011119154A1 (en) * 2010-03-24 2011-09-29 Hewlett-Packard Development Company, L.P. Gesture mapping for display device
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US9766718B2 (en) * 2011-02-28 2017-09-19 Blackberry Limited Electronic device and method of displaying information in response to input
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
TWI450128B (zh) * 2011-12-05 2014-08-21 Wistron Corp 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
US9632658B2 (en) * 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
CN104142730B (zh) * 2014-07-04 2017-06-06 华南理工大学 一种手势跟踪结果映射成鼠标事件的方法
CN105278771A (zh) * 2014-07-25 2016-01-27 南京瀚宇彩欣科技有限责任公司 无挡触控的手持式电子装置、方法及图形化使用者界面
US10015402B2 (en) * 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
US10042445B1 (en) * 2014-09-24 2018-08-07 Amazon Technologies, Inc. Adaptive display of user interface elements based on proximity sensing
CN104407705B (zh) * 2014-11-27 2017-10-20 上海斐讯数据通信技术有限公司 隔空手势操作图片的方法及电子终端
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6561400B2 (ja) * 2015-02-10 2019-08-21 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6534011B2 (ja) * 2015-02-10 2019-06-26 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US10521101B2 (en) * 2016-02-09 2019-12-31 Microsoft Technology Licensing, Llc Scroll mode for touch/pointing control
CN106055098B (zh) * 2016-05-24 2019-03-15 北京小米移动软件有限公司 隔空手势操作方法及装置
WO2018176006A1 (en) * 2017-03-24 2018-09-27 Inmentis, Llc Social media system with navigable, artificial-intelligence-based graphical user interface and artificial-intelligence-driven search
US20180357479A1 (en) * 2017-06-08 2018-12-13 Microsoft Technology Licensing, Llc Body-worn system providing contextual, audio-based task assistance
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces
US11393170B2 (en) * 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218042A (zh) * 2013-03-27 2013-07-24 苏州百纳思光学科技有限公司 一种用于便携电子设备的远红外手势识别装置
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互系统和方法
WO2014207288A1 (en) * 2013-06-24 2014-12-31 Nokia Corporation User interfaces and associated methods for controlling user interface elements
CN103558920A (zh) * 2013-11-15 2014-02-05 深圳市中兴移动通信有限公司 非接触式姿势的处理方法及装置
CN103648008A (zh) * 2013-12-23 2014-03-19 乐视致新电子科技（天津）有限公司 一种利用手势对智能电视进行操作控制的方法和装置
CN107918481A (zh) * 2016-10-08 2018-04-17 天津锋时互动科技有限公司深圳分公司 基于手势识别的人机交互方法与系统
WO2019061541A1 (zh) * 2017-09-30 2019-04-04 华为技术有限公司 编辑主屏幕的方法、图形用户界面及电子设备
CN109491584A (zh) * 2018-10-17 2019-03-19 深圳传音制造有限公司 一种基于移动终端的屏幕控制方法及一种移动终端
CN109725727A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
CN109725724A (zh) * 2018-12-29 2019-05-07 百度在线网络技术（北京）有限公司 有屏设备的手势控制方法和装置
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备

Also Published As

Publication number Publication date
CN117784927A (zh) 2024-03-29
US20220269351A1 (en) 2022-08-25
EP4002066A4 (en) 2022-09-07
WO2021032097A1 (zh) 2021-02-25
EP4002066A1 (en) 2022-05-25
CN112394811A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112394811B (zh) 一种隔空手势的交互方法及电子设备
US11922005B2 (en) Screen capture method and related device
US11797143B2 (en) Method for controlling small screen window and related device
JP7391102B2 (ja) ジェスチャ処理方法およびデバイス
US20220224665A1 (en) Notification Message Preview Method and Electronic Device
US11921987B2 (en) System navigation bar display method, system navigation bar control method, graphical user interface, and electronic device
US11762529B2 (en) Method for displaying application icon and electronic device
CN111147660B (zh) 一种控件的操作方法及电子设备
US20230119849A1 (en) Three-dimensional interface control method and terminal
CN112835501A (zh) 一种显示方法及电子设备
CN112578981A (zh) 具有柔性屏幕的电子设备的控制方法及电子设备
CN115185440A (zh) 一种控件显示方法及相关设备
US20230353862A1 (en) Image capture method, graphic user interface, and electronic device
WO2022222688A1 (zh) 一种窗口控制方法及其设备
EP4321978A1 (en) Display method, electronic device, storage medium and program product
CN116204254A (zh) 一种批注页面生成方法、电子设备及存储介质
CN115484393B (zh) 一种异常提示方法及电子设备
CN114356186A (zh) 一种拖动阴影动画效果的实现方法及相关设备
JP2024513773A (ja) 表示方法、電子機器、記憶媒体、及びプログラムプロダクト
CN117008772A (zh) 一种应用窗口的显示方法及电子设备
KR20150102418A (ko) 이동 단말기 및 이의 제어 방법
CN116301483A (zh) 一种应用卡片的管理方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant