CN112527093A - 手势输入方法及电子设备 - Google Patents
手势输入方法及电子设备 Download PDFInfo
- Publication number
- CN112527093A CN112527093A CN201910883139.8A CN201910883139A CN112527093A CN 112527093 A CN112527093 A CN 112527093A CN 201910883139 A CN201910883139 A CN 201910883139A CN 112527093 A CN112527093 A CN 112527093A
- Authority
- CN
- China
- Prior art keywords
- gesture
- sub
- electronic device
- function
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000006870 function Effects 0.000 claims description 187
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 abstract description 36
- 230000003993 interaction Effects 0.000 abstract description 28
- 210000000707 wrist Anatomy 0.000 description 66
- 238000004891 communication Methods 0.000 description 33
- 230000006854 communication Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 31
- 239000010410 layer Substances 0.000 description 26
- 238000001514 detection method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000007726 management method Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000010295 mobile communication Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 230000002618 waking effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012905 input function Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种手势输入方法及电子设备。该方法包括:电子设备获取第一手势,第一手势包括第一子手势和第二子手势;当第一子手势与预设手势匹配时,识别第二子手势对应的功能;执行第二子手势对应的功能。本申请中操作手势可以包括唤醒手势,即操作手势的起始手势可以为唤醒手势,减小手势操作时延,提高电子设备的响应效率,提高用户与电子设备的交互效率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种手势输入方法及电子设备。
背景技术
随着人工智能(artificial intelligence,AI)技术在移动终端的发展,通过AI技术时刻感知用户行为,提高用户粘性,为用户提高更加智能化的服务,已经成为了移动终端的火爆卖点。
目前,人们与移动终端交互的方式主要包括触摸屏滑动、语音等。动态手势交互作为新一代的人机交互方式,在提升移动终端交互体验有着不可替代的作用。
现有技术中动态手势的交互过程为:用户输入指定的单一手势维持一段时间以激活手势交互的功能,然后变换手势以使终端实现相应的功能。该交互过程中用户等待时间长,交互效率低,且在交互过程中需要变换手势,用户体验差。
发明内容
本申请公开了一种手势输入方法及电子设备,可以使用户通过手势与终端交互,且输入的手势包含唤醒手势,无需额外输入唤醒手势,在交互过程中的交互效率高,用户体验好。
第一方面,本申请实施例提供一种手势输入方法,该方法应用于电子设备,该方法包括:电子设备获取第一手势,第一手势包括第一子手势和第二子手势;当第一子手势与预设手势匹配时,识别第二子手势对应的功能;执行第二子手势对应的功能。
本申请实施例中,操作手势可以包括唤醒手势,即操作手势的起始手势可以为唤醒手势,减小手势操作时延,提高电子设备的响应效率,提高用户与电子设备的交互效率。
在一种可能实现方式中,电子设备获取第一手势包括:电子设备以第一帧率获取第一子手势;当第一子手势与预设手势匹配时,识别第二子手势对应的功能包括:当第一子手势与预设手势匹配时,以第二帧率继续获取第一子手势;当继续获取的第一子手势与预设手势匹配时,以第三帧率获取第二子手势;其中,第三帧率大于第一帧率;确定第二子手势对应的功能。
本申请实施例中,在首次确定第一子手势与预设手势匹配后,可进一步继续采集第一子手势,判断后续采集的第一子手势是否与预设手势匹配。这样可以降低误触发概率,避免由于手势误触发造成的功耗浪费。此外,本申请实施例中,在确定用户输入的手势的起始部分与功能手势的起始部分匹配之后,提高图像采集的帧率,可以提升电子设备识别手势的速度,进而提升电子设备做出响应的速度,提升用户与电子设备的交互效率。
在一种可能的实现方式中,第二帧率等于第三帧率。
本申请实施例可以在第一次检测到第一手子势与预设手势匹配后立即切换采集图像的帧率,进而以第三帧率采集后续的第一子手势及第二子手势,既可以降低误触发的概率,又可在最大程度上提升电子设备的响应速度,提升用户与电子设备的交互效率。
在一种可能的实现方式中,第二帧率等于第一帧率。
具体地,上述第一帧率可以是10帧/秒,即电子设备的摄像头可以每秒采集10帧图像。采集的多帧图像中可能包含第一子手势。
具体地,上述第三帧率可以是30帧/秒,即电子设备的摄像头可以每秒采集30帧图像。采集的图像流中可能包含第二子手势。
在一种可能的实现方式中,当继续获取的第一子手势与预设手势匹配时,以第三帧率获取第二子手势包括:当连续X个第一子手势中,有x个第一子手势与预设手势匹配时,以第三帧率获取第二子手势;其中,X及x均为正整数,且X大于或等于x。
本申请提供了一种具体的确定第一子手势与预设手势匹配的方式,保证识别第一子手势的准确性,降低误触发的概率,避免由于手势误触发造成的功耗浪费。
在一种可能的实现方式中,上述电子设备获取第一手势之前,该方法还包括:电子设备显示第一用户界面。
在一种可能的实现方式中,上述当第一子手势与预设手势匹配时,识别第二子手势对应的功能包括:当第一子手势与预设手势匹配时,在第一用户界面中显示指示符,识别第二子手势对应的功能,其中,指示符用于指示电子设备正在识别手势。
本申请实施例可以在确定第一子手势与预设手势匹配后,在电子设备的显示界面中显示指示符,提示用户当前正在识别手势,可以提升用户与电子设备的交互性。
在一种可能的实现方式中,上述当第一子手势与预设手势匹配时,识别第二子手势对应的功能包括:当第一子手势与预设手势匹配时,在第一用户界面中显示提示符,识别第二子手势对应的功能,其中,提示符用于指示电子设备支持的多种手势各自对应的功能。
本申请实施例可以通过在用户界面中显示提示符,并将显示符的显示样式与支持的功能手势关联起来,可以减轻用户的记忆负担,提高用户与电子设备的交互效率。
在另外一种可能的实现方式中,上述电子设备显示第一用户界面,上述第二子手势对应的功能为第一功能;上述执行第二子手势对应的功能之后,上述方法还包括:电子设备显示第二用户界面,上述第一用户界面与上述第一用户界面不同;电子设备获取上述第一手势;当上述第一手势与上述预设手势匹配时,识别上述第二子手势对应的功能为第二功能;上述第一功能与上述第二功能不同;执行上述第二功能。
本申请实施例中,电子设备在显示不同的用户界面时,用户输入相同的手势可以实现不同的功能。这样可以根据用户界面当前显示的内容的属性设定与该用户界面对应的手势响应功能,可以充分提高手势输入的利用率,提升用户与电子设备交互的趣味性。
第二方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器、存储器、显示屏以及摄像头;所述存储器、所述显示屏以及所述第一摄像头与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行:获取第一手势,所述第一手势包括第一子手势和第二子手势;当所述第一子手势与预设手势匹配时,识别所述第二子手势对应的功能;执行所述第二子手势对应的功能。
在一种可能的实现方式中,上述电子设备执行获取第一手势,具体执行:电子设备以第一帧率获取第一子手势;上述电子设备执行当第一子手势与预设手势匹配时,识别第二子手势对应的功能,具体执行:当第一子手势与预设手势匹配时,以第二帧率继续获取第一子手势;当继续获取的第一子手势与预设手势匹配时,以第三帧率获取第二子手势;其中,第三帧率大于第一帧率;确定第二子手势对应的功能。
在一种可能的实现方式中,第二帧率等于第三帧率。
在一种可能的实现方式中,第二帧率等于第一帧率。
具体地,上述第一帧率可以是10帧/秒,即电子设备的摄像头可以每秒采集10帧图像。采集的多帧图像中可能包含第一子手势。
具体地,上述第三帧率可以是30帧/秒,即电子设备的摄像头可以每秒采集30帧图像。采集的图像流中可能包含第二子手势。
在一种可能的实现方式中,上述电子设备执行当继续获取的第一子手势与预设手势匹配时,以第三帧率获取第二子手势,具体执行:当连续X个第一子手势中,有x个第一子手势与预设手势匹配时,以第三帧率获取第二子手势;其中,X及x均为正整数,且X大于或等于x。
在一种可能的实现方式中,上述电子设备获取第一手势之前,电子设备还执行:显示第一用户界面。
在一种可能的实现方式中,上述电子设备执行当第一子手势与预设手势匹配时,识别第二子手势对应的功能,具体执行:当第一子手势与预设手势匹配时,在第一用户界面中显示指示符,识别第二子手势对应的功能,其中,指示符用于指示电子设备正在识别手势。
在一种可能的实现方式中,上述电子设备执行上述当第一子手势与预设手势匹配时,识别第二子手势对应的功能,具体执行:当第一子手势与预设手势匹配时,在第一用户界面中显示提示符,识别第二子手势对应的功能,其中,提示符用于指示电子设备支持的多种手势各自对应的功能。
在一种可能的实现方式中,上述电子设备显示第一用户界面,上述第二子手势对应的功能为第一功能;上述电子设备执行第二子手势对应的功能之后,上述电子设备还执行:显示第二用户界面,上述第一用户界面与上述第一用户界面不同;获取上述第一手势;当上述第一手势与上述预设手势匹配时,识别上述第二子手势对应的功能为第二功能;上述第一功能与上述第二功能不同;执行上述第二功能。
第三方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在电子设备上运行时,使得电子设备执行上述第一方面或者第一方面的任意一种实现方式提供的方法。
第四方面,本申请实施例提供了一种计算机程序产品,当其在电子设备上运行时,使得电子设备执行上述第一方面或者第一方面的任意一种实现方式提供的方法。
可以理解地,上述第二方面提供的电子设备、上述第三方面提供的上述的计算机存储介质或者上述第四方面提供的计算机程序产品均用于执行第一方面所提供的手势输入方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1为本申请实施例提供的电子设备的结构示意图;
图2是本申请实施例提供的电子设备的软件结构框图;
图3为本申请实施例提供的一种用户输入手势示意图;
图4为本申请实施例提供的另外一种电子设备的结果示意图;
图5为本申请实施例提供的一种图像采集过程示意图;
图6为本申请实施例提供的另外一种图像采集过程示意图;
图7为本申请实施例提供的应用场景一示意图;
图8为本申请实施例提供的应用场景一的一些用户界面示意图;
图9为本申请实施例提供的应用场景一的另一些用户界面示意图;
图10为本申请实施例提供的应用场景二示意图;
图11为本申请实施例提供的应用场景二的一些用户界面示意图;
图12为本申请实施例提供的应用场景三的一些用户界面示意图;
图13为本申请实施例提供的一种手势交互提示符;
图14为本申请实施例提供的另一种手势交互提示符;
图15为本申请实施例提供的一种手势输入方法流程示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。
本申请实施例提供了一种手势输入方法,电子设备可以在识别出用户输入的任意手势的初始动作时先判断该手势是否为电子设备支持的手势,若是则继续识别用户输入的手势,并确定该手势对应的功能。也即是说,电子设备支持的每个操作手势的起始动作可以作为手势交互功能的唤醒手势。这样,与现有技术中先输入唤醒手势再输入操作手势的方式相比,本申请可以省略唤醒手势,减少用户隔空输入手势的时间,减少手势操作时延,提高用户与电子设备的交互效率。
本申请实施例中涉及的电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer,UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant,PDA)、可穿戴电子设备、虚拟现实设备等。
接下来,介绍本申请以下实施例中提供的示例性电子设备。
图1示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。本申请实施例中,ISP可以对摄像头193采集的包含用户手势的图像进行处理。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。本申请实施例中,摄像头193可以用于以第一频率采集图像流,在NPU识别出图像流中包含电子设备支持的手势的起始部分时,以第二频率采集图像流。其中,第一频率低于第二频率。本申请实施例中涉及的摄像头193可以为前置摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。本申请实施例中,NPU可以用于处理摄像头193采集的图像,分析图像中包含的手势是否为电子设备100支持的手势的起始部分,或者分析图像中包含的手势是否为电子设备100支持的手势。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。本申请实施例中,内部存储器121可以用于存储电子设备100支持的手势的模型,以及各个支持的手势对应的功能。可能地,不同的应用程序的应用界面中,支持的手势可能不同,相同的手势实现的功能也可能不同。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
图3示例性示出了一种隔空输入手势的示意图。如图3所示,用户可以在电子设备100前置摄像头193前方的预设范围如5厘米-30厘米内做出功能手势的起始部分,功能手势即为电子设备100支持的手势。
前置摄像头193采集的图像的数据可以是RGB数据或灰度数据等。
不限于由前置摄像头193采集图像,在具体实现中还可以通过深度摄像头或红外传感器采集用户的手势的深度数据,此时保存在内部存储器121中的功能手势的数据为深度数据,即为该功能手势的三维模型。深度摄像头例如可以是飞行时间(time of flight,tof)摄像头。本申请实施例对此不作限定。不限于此,在具体实现中,还可以通过雷达传感器采集用户的手势的深度数据。
图4示例性示出了本申请实施例提供的另外一种电子设备的结构示意图。如图4所示,电子设备可200以包括亮屏检测模块210、图像采集模块220、低功耗动作检测模块230、手势识别模块240及执行模块250。
具体地,亮屏检测模块210可以用于检测电子设备200是否处于亮屏状态,即电子设备200的显示屏是否被点亮。若电子设备200处于亮屏状态,则图像采集模块220开始以第一帧率采集多帧图像。将采集到的多帧图像以帧为单位作为低功耗动作检测模块230的输入。若低功耗动作检测模块230输出的结果为多帧图像中存在支持的手势的起始部分,则图像采集模块220以第三帧率采集图像流,并作为手势识别模块240的输入。手势识别模块240输出的结果可以是功能手势的识别结果。执行模块250可以根据手势识别模块240输出的识别结果执行该功能手势相应的事件。其中,图像流可以包括多帧连续的图像。第一帧率和第三帧率为图像采集模块220采集图像的频率。
其中,第一帧率小于第三帧率。即在没有识别到手势时图像获取单元220可以以第一帧率采集多帧图像,在确定输入的手势为功能手势的起始手势时以第三帧率采集图像流,既可以保证电子设备200识别手势并做出响应的速率,又可以在最大程度上节约电子设备200的功耗,尽可能的提升电子设备200的续航能力。上述第一帧率例如可以是10帧/秒,第三帧率例如可以是30帧/秒。
其中,图像采集模块220可以是图3中提到的前置摄像头193、深度摄像头、红外传感器或雷达传感器等。
具体地,上述低功耗动作检测模块230、手势识别模块240均可为由NPU执行的算法实现。
具体地,低功耗动作检测模块230可以包括第一神经网络模型和后处理模块。其中,第一神经网络模型可以用于识别输入的图片中包含的手势是否为起始手势。电子设备100可以将图像采集模块220采集的包含手势的图片输入到该模型中,由该模型输出起始手势的识别结果。识别结果可以但不限于用0或1来表征。例如,当识别结果为1时,表征输入的手势为起始手势;当识别结果为0时,表征输入的手势不是起始手势。后处理模块可以用于处理第一神经网络模型输出的多帧图像中每帧图像各自对应的识别结果,并根据上述识别结果判断是否需要唤醒手势识别模块240。
具体地,手势识别模块240可以包括第二神经网络模型。其中,第二神经网络模型可以用于识别输入的图像流中可能包含的手势以及各个手势对应的概率。电子设备100可以将图像采集模块220采集的图像流输入到该模型中,由该模型输出手势识别的结果。识别结果可以包括多种可能的功能手势以及各个功能手势的概率。
具体地,上述执行模块250可以是CPU。
可能地,功能手势的识别结果可以用于表征用户输入的功能手势具体是什么,例如是手腕上翻还是手腕下翻。CPU可以根据功能手势的识别结果确定该功能手势对应的事件,并执行该事件。
可能地,功能手势的识别结果可以用于表征用户输入的功能手势对应的事件,CPU可以执行该事件。
可能地,功能手势的识别结果可以表征用户输入的手势不属于任意一种功能手势,则手势识别模块240可以不将识别结果发送给CPU。或者手势识别模块240可以将识别结果发送给CPU,但CPU可以不作任何响应。
可能地,若执行模块250执行某功能手势对应的事件后,电子设备100的图像采集模块220在一段时间内(如1秒、2秒、5秒等)没有检测到任何手势,则图像采集模块220可以将帧率从第三帧率降低为第一帧率以节省功耗开销。
本申请实施例可以使用户隔空输入功能手势操作电子设备时,无需额外输入激活手势,即功能手势的起始手势可作为激活手势,输入的手势一气呵成,减小手势操作时延,且电子设备响应速度快,并避免由手势误触发造成的功耗浪费。
在一些可能的实施例中,电子设备200可以不包括上述亮屏检测模块210。也即是说,图像采集模块220可以在电子设备200熄屏的状态下采集图像流。
可能地,电子设备200可以在熄屏的状态下确定采集的图像中存在手势,然后进行身份验证。在确定用户身份为机主后,触发手势识别流程。其中,身份验证的方式可以但不限于是掌纹识别、虹膜识别、指纹识别、声纹识别等。
接下来结合图4示出的电子设备的结构示意图,分别介绍两种图像采集的过程。图像采集过程的前提为电子设备为亮屏状态,以保证机主的隐私。以下这两种过程均以图像采集模块220为前置摄像头193为例进行说明。
首先参见图5。图5示例性示出了一种图像采集过程示意图。
如图5所示,前置摄像头193在电子设备为亮屏状态时持续以第一帧率(如10帧/秒)采集多帧图像。前置摄像头193可以将以第一帧率采集到的图像输入到低功耗动作检测模块230中。假设低功耗动作检测模块230在第5帧图像中识别出有起始手势(即某功能手势的起始部分),则切换帧率至第三帧率(如30帧/秒),并进一步的根据接下来的几帧图像中是否依然存在某功能的起始手势。
若根据接下来的几帧图像确定存在某功能手势的起始手势,则唤醒手势识别模块240对前置摄像头193采集的图像流进行识别。进一步确定前置摄像头193采集的图像流中是否存在功能手势。若存在,则电子设备100执行与该功能手势相应的事件。
接下来依然结合图5,示例性地介绍低功耗动作检测模块230如何确定存在某功能手势的起始手势,以及手势识别模块240如何确定存在功能手势。
关于低功耗动作检测模块230如何确定存在某功能手势的起始手势的过程示例性地如下:
具体地,低功耗动作检测模块230中的第一神经网络模型可以分别识别连续X帧图像的每帧图像是否存在某功能手势的起始手势。后处理模块可以根据上述连续X帧图像的识别结果判断是否需要唤醒手势识别模块240。若从当前帧起,之前的连续X帧(包括当前帧)中有超过x帧图像中均包含起始手势,则后处理模块可唤醒手势识别模块240。其中,X和x均为正整数,x小于或等于X。例如,X可以但不限于为7,x可以但不限于为5。若从当前帧起,之前的连续X帧(包括当前帧)中不超过x帧图像包含起始手势,则第一神经网络模型继续识别下一帧图像中是否存在起始手势,直至连续X帧图像中有超过x帧图像中均包括起始手势为止。
示例性地,若第一神经网络模型识别出第7帧-第13帧这7帧图像中,有5帧图像(如第7帧、第9帧、第10帧、第12帧、第13帧)中均包含起始手势,则后处理模块可唤醒手势识别模块240。其中,上述当前帧即为第13帧。
关于手势识别模块240如何确定存在功能手势的过程示例性地如下:
若低功耗动作检测模块230在第13帧时刻确定包含的手势为功能手势的起始手势,则在采集第14帧图像时唤醒手势识别模块240。具体可以取第14帧-第23帧作为滑动窗口(以下简称滑窗)。滑窗的长度为10,即滑窗可包含10帧连续的图像,步进为1,即滑窗每次可往前移动一帧。手势识别模块240可以对每个滑窗包含的10帧图像(第14帧-第23帧)的内容进行分析,输出识别结果。即将滑窗包含的10帧图像输入到第二神经网络模型中,输出识别结果。识别结果具体可以是该滑窗包含的图像流中可能存在的各种手势以及各种手势对应概率。各个手势对应的概率和为1。
不限于10帧,在具体实现中上述滑窗的长度还可以是其他值,本申请实施例对此不作限定。
如图5所示,可以将包含第14帧-第23帧图像的滑窗称为滑窗1,将包含第15帧-第24帧图像的滑窗称为滑窗2,将包含第16帧-第25帧图像的滑窗称为滑窗3。
示例性地,手势识别模块240对滑窗1包含的图像流进行分析后,可以输出的结果为:手势1,概率50%;手势2,概率30%;手势3,20%。
手势识别模块240对滑窗2包含的图像流进行分析后,可以输出的结果为:手势1,概率60%;手势2,概率20%;手势3,15%;手势4,5%。
将滑窗1和滑窗2输出的结果中各个手势对应的概率加权求和即可得到各个手势分别对应的综合概率,即滑窗2的综合结果。
假设滑窗1的权重为35%,滑窗2的权重为65%,则:
手势1的概率:50%*35%+60%*65%=56.5%;
手势2的概率:30%*35%+20%*65%=23.5%;
手势3的概率:20%*35%+15%*65%=16.75%;
手势4的概率:5%*65%=3.25%。
递进地,滑窗3的综合结果可以是将滑窗3输出的结果与滑窗2的综合结果进行加权求和得到的。滑窗4的综合结果可以是将滑窗4输出的结果与滑窗3的综合结果进行加权求和得到的,如此迭代计算,直至计算出最后一个滑窗的综合结果。根据最后一个滑窗的综合结果,可以确定概率值最高的手势即为用户输入的功能手势。
图5中示出的种图像采集过程可以在低功耗动作检测模块230识别到有起始手势后就切换第三帧率,这样可以保证手势识别的速度,从而保证电子设备的响应速度。此外,低功耗动作检测模块230在确定用户输入的手势为功能手势的起始手势后再唤醒手势识别模块240,可以避免手势识别模块被误唤醒而导致功耗浪费。
图6示例性示出了另外一种图像采集过程示意图。图6与图5的区别在于,切换帧率的时间点不同。具体地,前置摄像头193可以在唤醒手势识别模块240后,从第一帧率(如10帧/秒)切换为第三帧率(30帧/秒)。其他过程与图5示出的图像采集过程一致,此处不再赘述。
不限于上述列举的亮屏状态,在具体实现中图像采集过程也可以在电子设备100熄屏的情况下进行。
可能地,电子设备可以在熄屏的状态下确定采集的图像中存在手势,然后进行身份验证。在确定用户身份为机主后,触发手势识别流程。其中,身份验证的方式可以但不限于是掌纹识别、虹膜识别、指纹识别、声纹识别等。
本申请中,电子设备100可以对用户隔空输入的功能手势做出响应。用户可以直接作出功能手势,无需先输入唤醒手势,再切换成功能手势,输入功能手势的过程一气呵成。即每个功能手势的起始手势均可作为唤醒手势,不同的功能手势的唤醒手势可以不同。与现有技术相比,本申请省略了唤醒手势,减小手势操作时延,提升电子设备响应速度,提升手势输入的效率。
在一种可能的实施例中,用户可以在电子设备100显示某用户界面时隔空输入手腕上翻(或者手腕下翻)的功能手势,使电子设备100更新显示该用户界面中显示的内容。
下面介绍本申请实施例涉及的应用场景一以及该应用场景下的用户界面(userinterface,UI)实施例。
应用场景一:查看微信会话列表的场景。
图7示例性示出了用于展示微信会话列表的用户界面。其中,微信是一种即时通讯软件。
如图7所示,用于展示微信会话列表的用户界面30可以包括:状态栏301、会话列表302、“微信”菜单控件303、“通讯录”菜单控件304、“发现”菜单控件305及“我”菜单控件306。其中:
状态栏301可以包括:运营商指示符(例如运营商的名称“中国移动”)、无线高保真(wireless fidelity,Wi-Fi)信号的一个或多个信号强度指示符、移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、时间指示符和电池状态指示符。
会话列表302可以用于按照时间顺序显示与该用户联系的联系人的会话框。电子设备100可以检测到作用于会话列表的用户操作(如上滑操作),响应于该用户操作,电子设备100可以在会话列表中显示时间更早的会话。
“微信”菜单控件303可以用于显示会话列表302。电子设备100可以检测到作用于“微信”菜单控件303的点击操作,响应于该点击操作,电子设备100可以显示“微信”菜单的用户界面,该用户界面即为用户界面30。响应于该点击操作,电子设备100还可以使“微信”菜单控件303特殊显示,例如加重显示颜色或者更改显示颜色等。
“通讯录”菜单控件304可以用于显示该用户的联系人列表等。电子设备100可以检测到作用于“通讯录”菜单控件304的点击操作,响应于该点击操作,电子设备100可以显示“通讯录”菜单的用户界面,该用户界面可以包括该用户的联系人列表。响应于该点击操作,电子设备100还可以使“通讯录”菜单控件304特殊显示,例如加重显示颜色或者更改显示颜色等。
“发现”菜单控件305可以用于显示包括各种功能入口的列表,各种功能例如可以是“朋友圈”、“扫一扫”、“摇一摇”、“看一看”、“搜一搜”等。电子设备100可以检测到作用于“发现”菜单控件305的点击操作,响应于该点击操作,电子设备100可以显示“发现”菜单的用户界面,该用户界面可以包括上述各种功能入口的列表。响应于该点击操作,电子设备100还可以使“发现”菜单控件305特殊显示,例如加重显示颜色或者更改显示颜色等。
“我”菜单控件306可以用于显示与该用户相关的选项,如“支付”、“收藏”、“相册”等。电子设备100可以检测到作用于“我”菜单控件306的点击操作,响应于该点击操作,电子设备100可以显示“我”菜单的用户界面,该用户界面可以包括与该用户相关的选项。响应于该点击操作,电子设备100还可以使“我”菜单控件306特殊显示,例如加重显示颜色或者更改显示颜色等。
在电子设备100显示用户界面30时,若用户想要查看会话列表中时间更早的会话,可以通过手势隔空操作电子设备100。隔空输入手势的示意图如图3所示。
图8示例性示出了用户在电子设备100显示用户界面30时隔空输入功能手势(手腕上翻或手腕下翻)后电子设备100做出的响应。
电子设备100可以在唤醒手势识别模块240后,在用户界面30中显示指示符307。指示符307可以用于指示电子设备100当前正在检测用户隔空输入的手势。
若当前显示的用户界面为图8中的左图,电子设备100在检测到用户手腕上翻的动作后,可更新显示用户界面30中的会话列表302,更新后的用户界面30中的会话列表302如图8中的右图所示。对比虚线框中的部分(即会话列表302)可以看出,更新后的会话列表302中可以显示时间更早的会话。即用户可以隔空输入手腕上翻的功能手势以查看时间更早的会话。
若当前显示的用户界面为图8中的右图,电子设备100在检测到用户手腕下翻的动作后,可更新显示用户界面30中的会话列表302,更新后的用户界面30中的会话列表302如图8中的左图所示。对比虚线框中的部分(即会话列表302)可以看出,更新后的会话列表302中可以显示时间更晚的会话。即用户可以隔空输入手腕下翻的功能手势以查看时间更晚的会话。
可知,当用户在用户界面30中输入上滑的触控操作时,电子设备100也可以在用户界面30中显示时间更早的会话。当用户在用户界面30中输入下滑的触控操作时,电子设备100也可以在用户界面30中显示时间更晚的会话。也即是说,手腕上翻的功能手势对应的事件可以与上滑的触控操作一致,手腕下翻的功能手势对应的事件可以与下滑的触控操作一致。
不限于上述列举的应用场景,在具体实现中还可以在其他应用场景中输入手腕上翻或手腕下翻的功能手势使电子设备更新显示用户界面中的显示内容。例如,浏览微博的用户界面、浏览淘宝的用户界面、浏览华为商城的用户界面等,本申请实施例对上述列举的应用场景不作限定。
不限于通过上述列举的手腕上翻或手腕下翻的功能手势使电子设备更新显示用户界面中的显示内容,在具体实现中还可以有其他的功能手势,如食指隔空上滑或下滑等使电子设备更新显示用户界面中的显示内容,本申请实施例对此不作限定。
不限于上述列举的手腕上翻或手腕下翻对应的事件,在具体实现中手腕上翻或手腕下翻还可以对应其他事件,本申请实施例对此不作限定。
在另外一些实施例中,用户可以在电子设备100显示某用户界面时隔空输入手腕左翻(或者手腕右翻)的功能手势,使电子设备100显示其他的用户界面。
依然以上述场景一为例进行说明。
图9示例性示出了用户在电子设备100显示用户界面30时隔空输入功能手势(手腕左翻或手腕右翻)后电子设备100做出的响应。
若当前显示的用户界面为图9中的左图,电子设备100在检测到用户手腕左翻的动作后,可显示图9中的右图所示的用户界面40。从图9中可以看出,左图中显示的用户界面30为“微信”菜单的用户界面,右图中显示的用户界面40为“通讯录”菜单的用户界面。对比左图和右图中的“微信”菜单控件303及“通讯录”菜单控件304的显示方式也可以看出当前显示的用户界面的变化。
若当前显示的用户界面为图9中的右图,电子设备100在检测到用户手腕右翻的动作后,可显示图9中的左图显示的用户界面30。
可知,当用户在用户界面30中输入左滑的触控操作时,电子设备100也可以将用户界面30切换为用户界面40。当用户在用户界面30中输入右滑的触控操作时,电子设备100也可以将用户界面40切换为用户界面30。也即是说,手腕左翻的功能手势对应的事件可以与左滑的触控操作一致,手腕右翻的功能手势对应的事件可以与右滑的触控操作一致。
若当前显示的用户界面为图9中的右图,电子设备100在检测到用户手腕左翻的动作后,可显示“发现”菜单控件305的用户界面。若当前显示的用户界面为“发现”菜单控件305的用户界面,电子设备100在检测到用户手腕右翻的动作后,可显示“通讯录”菜单控件304的用户界面,即图9中的右图示出的用户界面40。
若当前显示的用户界面为“发现”菜单控件305的用户界面,电子设备100在检测到用户手腕左翻的动作后,可显示“我”菜单控件306的用户界面。若当前显示的用户界面为“我”菜单控件306的用户界面,电子设备100在检测到用户手腕左翻的动作后,可显示“发现”菜单控件305的用户界面。
不限于上述列举的应用场景,在具体实现中还可以在其他应用场景中输入手腕左翻或手腕右翻的功能手势使电子设备切换显示用户界面。例如,浏览电子书的用户界面等,本申请实施例对上述列举的应用场景不作限定。
不限于上述列举的手腕左翻或手腕右翻的功能手势,在具体实现中还可以有其他的功能手势,如食指隔空左滑或右滑等,本申请实施例对此不作限定。
不限于上述列举的手腕左翻或手腕右翻对应的事件,在具体实现中手腕左翻或右腕下翻还可以对应其他事件,本申请实施例对此不作限定。
本申请中,用户在电子设备100显示不同的用户界面时,隔空输入相同的功能手势,电子设备100可以做出不同的响应。
在一些的实施例中,用户可以在电子设备100显示某用户界面时隔空输入手腕上翻(或者手腕下翻)的功能手势,使电子设备100更新显示该用户界面中显示的内容,如图8所示。
在另外一些实施例中,用户可以在电子设备100显示某用户界面时隔空输入手腕上翻(或者手腕下翻)的功能手势,使电子设备100增大扬声器170A的播放音量。
下面介绍本申请实施例涉及的应用场景二以及该应用场景下的用户界面(userinterface,UI)实施例。
应用场景二:播放音乐的场景。
图10示例性示出了用于播放音乐的用户界面50。如图10所示,用户界面50可以包括返回控件501、下载控件502、分享控件503、上一首控件504、暂停控件505、下一首控件506及进度条507。其中:
返回控件501可以用于返回上一级用户界面。电子设备100可以检测到作用于返回控件501的用户操作(如作用于返回控件501的点击操作),响应于该操作,电子设备100可以显示该应用程序中用户界面50的上一级用户界面。
下载控件502可以用于下载音乐数据至内部存储器121。电子设备100可以检测到作用于下载控件502的用户操作(如作用于下载控件502的点击操作),响应于该操作,电子设备100可以从服务器下载当前播放的音乐的数据并保存至内部存储器121。
分享控件503可以用于分享当前播放的音乐给其他用户。电子设备100可以检测到作用于分享控件503的用户操作(如作用于分享控件503的点击操作),响应于该操作,电子设备100可以分享当前播放的音乐给其他用户。
上一首控件504可以用于切换至上一首音乐。电子设备100可以检测到作用于上一首控件504的用户操作(如作用于上一首控件504的点击操作),响应于该操作,电子设备100可以将当前播放的音乐切换为当前音乐播放列表中的上一首音乐。
暂停控件505可以用于暂停播放音乐。电子设备100可以检测到作用于暂停控件505的用户操作(如作用于暂停控件505的点击操作),响应于该操作,电子设备100可以暂停当前播放的音乐。
下一首控件506可以用于切换至上一首音乐。电子设备100可以检测到作用于下一首控件506的用户操作(如作用于下一首控件506的点击操作),响应于该操作,电子设备100可以将当前播放的音乐切换为当前音乐播放列表中的下一首音乐。
进度条507可以用于显示并调整当前音乐的播放进度。电子设备100可以检测到作用于进度条507的用户操作(如作用于进度条507的点击操作),响应于该操作,电子设备100可以调整当前音乐的播放进度。
图11示例性示出了用户在电子设备100显示用户界面50时隔空输入功能手势(手腕上翻或手腕下翻)后电子设备100做出的响应。
电子设备100可以在唤醒手势识别模块240后,在用户界面50中显示指示符508。指示符508可以用于指示电子设备100当前正在检测用户隔空输入的手势。
如图11所示,若用户隔空输入手腕上翻的功能手势,电子设备100可以在用户界面中显示音量调节符509。此外,电子设备100还可以根据用户手腕上翻的幅度增大扬声器170A的播放音量。若用户隔空输入手腕下翻的功能手势,电子设备100可以在用户界面中显示音量调节符509。此外,电子设备100还可以根据用户手腕下翻的幅度减小扬声器170A的播放音量。
限于上述列举的应用场景,在具体实现中还可以在其他应用场景中输入手腕上翻或手腕下翻的功能手势使电子设备调节扬声器170A的播放音量。例如,其他播放音频或视频的用户界面,或者通话的用户界面等,本申请实施例对上述列举的应用场景不作限定。
不限于通过上述列举的手腕上翻或手腕下翻的功能手势来调节播放音量,在具体实现中还可以有其他的功能手势,如食指隔空上滑或下滑等来调节播放音量,本申请实施例对此不作限定。
不限于上述列举的手腕上翻或手腕下翻对应的事件,在具体实现中手腕上翻或手腕下翻还可以对应其他事件,本申请实施例对此不作限定。
不限于上述列举的手腕上翻或手腕下翻的功能手势,用户界面50中还可以支持其他的功能手势,如手腕左翻或手腕右翻来实现切换音乐至上一首或下一首的功能,或者通过手腕左翻或手腕右翻来实现调节当前音乐的播放进度。本申请实施例对此均不作限定。
下面介绍本申请实施例涉及的应用场景三以及该应用场景下的用户界面(userinterface,UI)实施例。
应用场景三:播放视频的场景。
图12示例性示出了用于播放视频的用户界面60及在该用户界面60中隔空输入功能手势后电子设备100做出的响应。
如图12所示,用户界面60可以包括:退出控件601、内容显示区602、暂停控件603、上一集控件604、下一集控件605及进度条606。其中:
退出控件601可用于退出当前用户界面。电子设备100可以检测到作用于退出控件601的用户操作(如在退出控件601上的点击操作),响应于该操作,电子设备100可以退出当前用户界面。
内容显示区602可用于显示视频内容。此外,内容显示区602还可调节播放亮度及播放音量。电子设备100可以检测到作用于内容显示区602左侧的触控操作(如上滑或下滑操作),响应于该操作,电子设备100可以调节当前播放亮度(增大或减小)。电子设备100可以检测到作用于内容显示区602右侧的触控操作(如上滑或下滑操作),响应于该操作,电子设备100可以调节当前播放音量(增大或减小)。
暂停控件603可用于暂停播放视频。电子设备100可以检测到作用于暂停控件503的用户操作(如在暂停控件603上的点击操作),响应于该操作,电子设备100可以暂停播放视频。
上一集控件604可用于切换播放内容至上一集。电子设备100可以检测到作用于上一集控件604的用户操作(如在上一集控件604上的点击操作),响应于该操作,电子设备100可以切换播放内容至上一集。
下一集控件605可用于切换播放内容至下一集。电子设备100可以检测到作用于下一集控件605的用户操作(如在下一集控件605上的点击操作),响应于该操作,电子设备100可以切换播放内容至下一集。
进度条606用于显示当前视频播放进度,且可用于调整播放进度。电子设备100可以检测到作用于进度条606的用户操作(如在进度条606上的滑动操作),响应于该操作,电子设备100可以调整当前播放进度。
电子设备100可以在唤醒手势识别模块240后,在用户界面60中显示指示符607。指示符607可以用于指示电子设备100当前正在检测用户隔空输入的手势。
如图12所示,若用户隔空输入手腕上翻的功能手势,电子设备100可以根据用户手腕上翻的幅度增加视频播放音量。若用户隔空输入手腕下翻的功能手势,电子设备100可以根据用户手腕下翻的幅度减小视频播放音量。
若用户隔空输入手腕左翻的功能手势,电子设备100可以根据用户手腕左翻的幅度向后调节视频播放的进度。若用户隔空输入手腕右翻的功能手势,电子设备100可以根据用户手腕右翻的幅度向前调节视频播放的进度。
以上图6-图12示例性示出了几种本申请实施例适用的应用场景。不限于上述列举的应用场景,本申请实施例还可以适用于其他的应用场景,本申请实施例对此不作限定。
此外,在各个应用场景中,用户均可隔空输入由手掌到握拳的功能手势实现截屏的功能。也即是说,当电子设备100检测到用户隔空输入的手势为由手掌到握拳时,电子设备100可以将保存当前显示的用户界面至内部存储器121中。不限于上述列举的手掌到握拳的功能手势,在具体实现中还可以有其他的功能手势使电子设备100实现截屏的功能,本申请实施例对此不作限定。
本申请中,用户在电子设备100显示某用户界面隔空输入功能手势时,电子设备100可以在该用户界面中显示提示符,以提示用户该用户界面中可以支持的多个功能手势。此外,提示符可以包括该用户界面支持的多个功能手势对应的事件的图标,这些事件的图标可以在显示的方位上与功能手势对应,从而减轻用户的记忆负担,提高用户与电子设备100的交互效率。
图13和图14均以应用场景三为例,分别提供了提示符的两种显示方式。
具体地,电子设备100可以在唤醒手势识别模块240后,在用户界面60中显示提示符。提示符可以用于指示电子设备100当前正在检测用户隔空输入的手势,以及该用户界面中可以支持的多个功能手势对应的事件的图标。
如图13所示,提示符608可以包括用于指示当前正在检测隔空输入的手势的图标,以及以圆环形式呈现的各个功能手势对应的事件的图标。结合图12中列举的用户界面60支持的各个功能手势及各自对应的事件,从图13中可以看出,视频播放音量增加的图标显示在圆环的上方,用于表征手腕上翻的功能手势可以实现视频播放音量增加;视频播放音量减小的图标显示在圆环的下方,用于表征手腕下翻的功能手势可以实现视频播放音量减小;进度后退的图标显示在圆环的左方,用于表征手腕左翻的功能手势可以实现视频播放进度后退;进度前进的图标显示在圆环的右方,用于表征手腕右翻的功能手势可以实现视频播放进度前进。
如图14所示,提示符608可以包括用于指示当前正在检测隔空输入的手势的图标,以及用箭头图标指向各个功能手势对应的事件的图标。结合图12中列举的用户界面60支持的各个功能手势及各自对应的事件,从图14中可以看出,向上的箭头图标指向视频播放音量增加的图标,用于表征手腕上翻的功能手势可以实现视频播放音量增加;向下的箭头图标指向视频播放音量减小的图标,用于表征手腕下翻的功能手势可以实现视频播放音量减小;向左的箭头图标指向进度后退的图标,用于表征手腕左翻的功能手势可以实现视频播放进度后退;向右的箭头图标指向进度前进的图标,用于表征手腕右翻的功能手势可以实现视频播放进度前进。
通过在用户界面中显示提示符,并将显示符的显示样式与支持的功能手势关联起来,可以减轻用户的记忆负担,提高用户与电子设备100的交互效率。
接下来介绍本申请实施例提供的手势输入方法,该方法可以由图1或图4示出的电子设备执行。图15示例性示出了本申请实施例提供的手势输入方法流程示意图。
如图15所示,手势输入方法至少可以包括以下几个步骤:
S1501:电子设备获取第一手势,第一手势包括第一子手势和第二子手势。
具体地,第一手势可以是图8-图12中示出的手腕上翻、手腕下翻、手腕左翻或手腕右翻等。第一手势还可以是由手掌到握拳的手势。
不限于上述列举的手势,在具体实现中第一手势还可以是其他手势,本申请实施例对此不作限定。
具体地,第一子手势可以是第一手势的起始部分。第二子手势可以是第一手势中除起始手势外的其他部分。
本申请实施例中,第一手势可以包括多个第一子手势。第一子手势可以以帧为单位,具体可以是上述图4实施例中提到的低功耗检测模块230输入的多帧图像中包含的手势。第二子手势可以以图像流为单位,具体是上述图4实施例中提到的手势识别模块240输入的图像流中包含的手势。
S1502:当第一子手势与预设手势匹配时,识别第二子手势对应的功能。
具体地,预设手势可以是上述电子设备支持的各个手势的起始手势。
具体地,第一神经网络模型可以是由大量的预设手势与非预设手势训练而成。预设手势对应的第一神经网络模型的识别结果为1,非预设手势对应的第一神经网络模型的识别结果为0。
S1503:执行第二子手势对应的功能。
具体地,第一手势可以是图8实施例中示出的手腕上翻或手腕下翻,第二子手势对应的功能可以是更新显示用户界面30中显示的内容。
具体地,第一手势可以是图9实施例中示出的手腕左翻(或手腕右翻),第二子手势对应的功能可以是将用户界面30切换为用户界面40(或将用户界面40切换为用户界面30)。
具体地,第一手势可以是图11实施例中示出的手腕上翻(或手腕下翻),第二子手势对应的功能可以是增大扬声器170A的播放音量(或减小扬声器170A的播放音量)。
具体地,第一手势可以是图12实施例中示出的手腕上翻(或手腕下翻),第二子手势对应的功能可以是增大视频播放的音量(或减小视频播放的音量)。
具体地,第一手势可以是图12实施例中示出的手腕左翻(或手腕右翻),第二子手势对应的功能可以是向后调节视频播放的进度(或向前调节视频播放的进度)。
不限于上述列举的第一手势及第二子手势对应的功能,在具体实现中第一手势还可以是其他手势,第二子手势还可以对应其他的功能,本申请实施例对此均不作限定。
本申请实施例中功能手势可以包括唤醒手势,唤醒电子设备的手势识别功能。即功能手势的起始手势可以作为唤醒手势,不同的功能手势的唤醒手势可以不同。与现有技术中先输入唤醒手势,再切换手势输入功能手势相比,本申请实施例可以省略输入唤醒手势的过程,减小手势操作的时延,提高电子设备的响应速度,提升用户与电子设备的交互效率。
在一些可能的实施例中,电子设备可以通过图像采集模块220以第一帧率获取第一子手势。在第一次确定第一子手势与预设手势匹配后,切换为第二帧率,以第二帧率继续获取第一子手势。在确定继续获取的第一子手势与预设手势匹配后,通过低功耗动作检测模块230以第三帧率获取第二子手势,并通过手势识别模块240确定第二子手势对应的功能。其中,第三帧率大于第一帧率。第三帧率例如可以是30帧/秒,第一帧率例如可以是10帧/秒。
可能地,第二帧率可以为第三帧率。
示例性地,如图5所示,电子设备可以在第5帧图像中第一次确定第一张手势与预设手势匹配(即低功耗检测模块230识别到有起始手势)后,从第6帧开始,将帧率从第一帧率切换为第三帧率。以第三帧率继续获取第一子手势,直至第13帧确定第一子手势与预设手势匹配(即确定功能手势为起始手势)后,从第14帧开始以第三帧率获取第二子手势。
本申请实施例可以在第一次检测到第一手子势与预设手势匹配后立即切换采集图像的帧率,进而以第三帧率采集后续的第一子手势及第二子手势,既可以降低误触发的概率,又可在最大程度上提升电子设备的响应速度,提升用户与电子设备的交互效率。
可能地,第二帧率可以为第一帧率。
示例性地,如图6所示,电子设备可以在第5帧图像中第一次确定第一张手势与预设手势匹配(即低功耗检测模块230识别到有起始手势)后,依然以第一帧率继续获取第一子手势,直至第13帧确定第一子手势与预设手势匹配(即确定功能手势为起始手势)后,从第14帧开始以第三帧率获取第二子手势。
在一些可能的实施例中,当连续X个第一子手势中,有x个第一子手势与预设手势匹配时,以第三帧率获取第二子手势。
示例性地,如图5所示,电子设备可以在第7帧-第13帧这连续7帧图像中识别出第一子手势,当这7帧图像中的7个第一子手势中有5个第一子手势与预设手势匹配,即可确定第一子手势为功能手势的起始手势,唤醒手势识别模块240以第三帧率获取第二子手势。
通过识别连续多帧图像中包含的第一子手势是否与预设手势匹配可以降低手势误触发的概率,确保手势识别模块240是唤醒时用户意图明确,而不是被用户不经意间的手势唤醒的,降低手势误触发造成的功耗。
在一些可能的实施例中,上述电子设备获取第一手势之前,上述方法还包括:电子设备显示第一用户界面。
示例性地,第一用户界面可以是图7中示出的用户界面30。第一用户界面还可以是图10中示出的用户界面50。第一用户界面还可以是图12中示出的用户界面60。
不限于上述列举的第一用户界面,在具体实现中,第一用户界面还可以是其他电子设备可以显示的任意的用户界面,本申请实施例对此不作限定。
在一些可能的实施例中,当第一子手势与预设手势匹配时,电子设备可以在第一用户界面中显示指示符,并识别第二子手势对应的功能。其中,指示符可以用于指示该电子设备正在识别手势。
具体地,电子设备100可以在唤醒手势识别模块240后,在第一用户界面中显示指示符。
示例性地,指示符可以是图8示出的指示符307、图11中示出的指示符508、图12中示出的指示符607。
本申请实施例可以在确定第一子手势与预设手势匹配后,在电子设备的显示界面中显示指示符,提示用户当前正在识别手势,可以提升用户与电子设备的交互性。
在一些可能的实施例中,当第一子手势与预设手势匹配时,电子设备可以在第一用户界面中显示提示符,并识别第二子手势对应的功能。其中,提示符可以用于指示该电子设备支持的多种手势各自对应的功能。
具体地,电子设备100可以在唤醒手势识别模块240后,在第一用户界面中显示提示符。
示例性地,指示符可以是图13示出的提示符608、图14中示出的提示符609。
如图13所示,电子设备在显示当前用户界面时,可以支持4种功能手势。各种功能手势对应的功能均不相同。从图13中可以看出,视频播放音量增加的图标显示在圆环的上方,用于表征手腕上翻的功能手势可以实现视频播放音量增加;视频播放音量减小的图标显示在圆环的下方,用于表征手腕下翻的功能手势可以实现视频播放音量减小;进度后退的图标显示在圆环的左方,用于表征手腕左翻的功能手势可以实现视频播放进度后退;进度前进的图标显示在圆环的右方,用于表征手腕右翻的功能手势可以实现视频播放进度前进。
图14示例性示出了另外一种提示符的显示方式。如图14所示,提示符608可以包括用于指示当前正在检测隔空输入的手势的图标,以及用箭头图标指向各个功能手势对应的事件的图标。结合图12中列举的用户界面60支持的各个功能手势及各自对应的事件,从图14中可以看出,向上的箭头图标指向视频播放音量增加的图标,用于表征手腕上翻的功能手势可以实现视频播放音量增加;向下的箭头图标指向视频播放音量减小的图标,用于表征手腕下翻的功能手势可以实现视频播放音量减小;向左的箭头图标指向进度后退的图标,用于表征手腕左翻的功能手势可以实现视频播放进度后退;向右的箭头图标指向进度前进的图标,用于表征手腕右翻的功能手势可以实现视频播放进度前进。
本申请实施例中,电子设备可以通过各功能手势对应的功能的图标的显示方位将不同的功能手势与其对应的功能关联起来,可以减轻用户的记忆负担,提高用户与电子设备的交互效率。
在另外一些可能的实施例中,上述电子设备显示第一用户界面,上述第二子手势对应的功能为第一功能;上述执行第二子手势对应的功能之后,上述方法还包括:电子设备显示第二用户界面,上述第一用户界面与上述第一用户界面不同;电子设备获取上述第一手势;当上述第一手势与上述预设手势匹配时,识别上述第二子手势对应的功能为第二功能;上述第一功能与上述第二功能不同;执行上述第二功能。
也即是说,电子设备在显示不同的用户界面时,用户输入相同的手势可以实现不同的功能。这样可以根据用户界面当前显示的内容的属性设定与该用户界面对应的手势响应功能,可以充分提高手势输入的利用率,提升用户与电子设备交互的趣味性。
具体地,第一显示界面例如可以是图8中示出的手腕上翻,第一功能可以是更新显示用户界面30中的显示内容。
第二用户界面例如可以是图11中的手腕上翻,第二功能例如可以是将增大扬声器170A的播放音量(音量加)。
不限于上述列举的第一用户界面、第一功能、第二用户界面及第二功能,在具体实现中还可以有其他的第一用户界面、第一功能、第二用户界面及第二功能,本申请实施例对此不作限定。
不限于上述列举的识别功能手势,并使电子设备执行相应的功能,在具体实现中,还可以通过识别用户全身的动作,用于识别体育运动的类型。或者还可以识别用户的面部表情来实现抓拍的功能。或者还可以通过识别用户的手势来实现拍摄特效的添加或更换等。本申请实施例对此不作限定。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述信号处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在所述计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (12)
1.一种手势输入方法,其特征在于,所述方法应用于电子设备,所述方法包括:
所述电子设备获取第一手势,所述第一手势包括第一子手势和第二子手势;
当所述第一子手势与预设手势匹配时,识别所述第二子手势对应的功能;
执行所述第二子手势对应的功能。
2.如权利要求1所述的方法,其特征在于,所述电子设备获取第一手势包括:所述电子设备以第一帧率获取第一子手势;
所述当所述第一子手势与预设手势匹配时,识别所述第二子手势对应的功能包括:
当所述第一子手势与预设手势匹配时,以第二帧率继续获取所述第一子手势;
当所述继续获取的所述第一子手势与所述预设手势匹配时,以第三帧率获取第二子手势;其中,所述第三帧率大于所述第一帧率;
确定所述第二子手势对应的功能。
3.如权利要求2所述的方法,其特征在于,所述第二帧率等于所述第三帧率。
4.如权利要求2所述的方法,其特征在于,所述第二帧率等于所述第一帧率。
5.如权利要求2-4任一项所述的方法,其特征在于,所述当所述继续获取的所述第一子手势与所述预设手势匹配时,以第三帧率获取第二子手势包括:
当连续X个第一子手势中,有x个第一子手势与所述预设手势匹配时,以第三帧率获取第二子手势;其中,X及x均为正整数,且X大于或等于x。
6.如权利要求1-5任一项所述的方法,其特征在于,所述电子设备获取第一手势之前,所述方法还包括:所述电子设备显示第一用户界面。
7.如权利要求6所述的方法,其特征在于,所述当所述第一子手势与预设手势匹配时,识别所述第二子手势对应的功能,包括:当所述第一子手势与预设手势匹配时,在所述第一用户界面中显示指示符,识别所述第二子手势对应的功能;其中,所述指示符用于指示所述电子设备正在识别手势。
8.如权利要求6所述的方法,其特征在于,所述当所述第一子手势与预设手势匹配时,识别所述第二子手势对应的功能,包括:当所述第一子手势与预设手势匹配时,在所述第一用户界面中显示提示符,识别所述第二子手势对应的功能;其中,所述提示符用于指示所述电子设备支持的多种手势各自对应的功能。
9.如权利要求6-8任一项所述的方法,其特征在于,所述第二子手势对应的功能为第一功能;
所述执行所述第二子手势对应的功能之后,所述方法还包括:
所述电子设备显示第二用户界面,所述第一用户界面与所述第二用户界面不同;
所述电子设备获取所述第一手势;
当所述第一子手势与所述预设手势匹配时,识别所述第二子手势对应的功能为第二功能;所述第一功能与所述第二功能不同;
执行所述第二功能。
10.一种电子设备,其特征在于,包括:一个或多个处理器、存储器、显示屏以及摄像头;
所述存储器、所述显示屏以及所述摄像头与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1-9任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得所述计算机或处理器执行如权利要求1-9任一项所述的方法。
12.一种包含指令的计算机程序产品,当其在计算机或处理器上运行时,使得所述计算机或处理器执行如权利要求1-9任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910883139.8A CN112527093A (zh) | 2019-09-18 | 2019-09-18 | 手势输入方法及电子设备 |
PCT/CN2020/112039 WO2021052139A1 (zh) | 2019-09-18 | 2020-08-28 | 手势输入方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910883139.8A CN112527093A (zh) | 2019-09-18 | 2019-09-18 | 手势输入方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112527093A true CN112527093A (zh) | 2021-03-19 |
Family
ID=74883340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910883139.8A Pending CN112527093A (zh) | 2019-09-18 | 2019-09-18 | 手势输入方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112527093A (zh) |
WO (1) | WO2021052139A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031776A (zh) * | 2021-03-25 | 2021-06-25 | 恒大新能源汽车投资控股集团有限公司 | 一种手势处理方法、装置及设备 |
CN114785954A (zh) * | 2022-04-27 | 2022-07-22 | 深圳影目科技有限公司 | 处理器唤醒方法以及装置、系统、存储介质、ar眼镜 |
CN117111727A (zh) * | 2023-02-22 | 2023-11-24 | 荣耀终端有限公司 | 手方向的检测方法、电子设备及可读介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115484391B (zh) * | 2021-06-16 | 2023-12-12 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN114415830A (zh) * | 2021-12-31 | 2022-04-29 | 科大讯飞股份有限公司 | 隔空输入方法及设备、计算机可读存储介质 |
CN117149046B (zh) * | 2023-10-25 | 2024-03-15 | 荣耀终端有限公司 | 交互手势强度阈值调整方法及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101702106A (zh) * | 2009-11-04 | 2010-05-05 | 深圳市汇顶科技有限公司 | 一种触摸屏终端的唤醒方法及系统 |
CN102200831A (zh) * | 2010-03-25 | 2011-09-28 | 索尼公司 | 手势输入设备、手势输入方法和程序 |
CN103380405A (zh) * | 2010-12-30 | 2013-10-30 | 汤姆逊许可公司 | 用于手势识别的用户界面、装置和方法 |
CN104267819A (zh) * | 2014-10-09 | 2015-01-07 | 苏州触达信息技术有限公司 | 可手势唤醒的电子设备以及电子设备手势唤醒方法 |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
CN104781763A (zh) * | 2012-09-28 | 2015-07-15 | 辛纳普蒂克斯公司 | 用于低电力输入对象检测和交互的系统及方法 |
CN105302301A (zh) * | 2015-10-15 | 2016-02-03 | 广东欧珀移动通信有限公司 | 一种移动终端的唤醒方法、装置及移动终端 |
CN107479816A (zh) * | 2017-07-28 | 2017-12-15 | 广东欧珀移动通信有限公司 | 黑屏手势的识别方法、装置、存储介质及移动终端 |
CN107479700A (zh) * | 2017-07-28 | 2017-12-15 | 广东欧珀移动通信有限公司 | 黑屏手势控制方法、装置、存储介质及移动终端 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183144A (zh) * | 2015-04-29 | 2015-12-23 | 比亚迪股份有限公司 | 移动终端的控制方法和装置 |
US9710639B1 (en) * | 2015-09-14 | 2017-07-18 | Google Inc. | Single input unlock for computing devices |
CN109085885A (zh) * | 2018-08-14 | 2018-12-25 | 李兴伟 | 智能戒指 |
CN111158467A (zh) * | 2019-12-12 | 2020-05-15 | 青岛小鸟看看科技有限公司 | 一种手势交互方法和终端 |
-
2019
- 2019-09-18 CN CN201910883139.8A patent/CN112527093A/zh active Pending
-
2020
- 2020-08-28 WO PCT/CN2020/112039 patent/WO2021052139A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101702106A (zh) * | 2009-11-04 | 2010-05-05 | 深圳市汇顶科技有限公司 | 一种触摸屏终端的唤醒方法及系统 |
CN102200831A (zh) * | 2010-03-25 | 2011-09-28 | 索尼公司 | 手势输入设备、手势输入方法和程序 |
CN103380405A (zh) * | 2010-12-30 | 2013-10-30 | 汤姆逊许可公司 | 用于手势识别的用户界面、装置和方法 |
CN104781763A (zh) * | 2012-09-28 | 2015-07-15 | 辛纳普蒂克斯公司 | 用于低电力输入对象检测和交互的系统及方法 |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
CN104267819A (zh) * | 2014-10-09 | 2015-01-07 | 苏州触达信息技术有限公司 | 可手势唤醒的电子设备以及电子设备手势唤醒方法 |
CN105302301A (zh) * | 2015-10-15 | 2016-02-03 | 广东欧珀移动通信有限公司 | 一种移动终端的唤醒方法、装置及移动终端 |
CN107479816A (zh) * | 2017-07-28 | 2017-12-15 | 广东欧珀移动通信有限公司 | 黑屏手势的识别方法、装置、存储介质及移动终端 |
CN107479700A (zh) * | 2017-07-28 | 2017-12-15 | 广东欧珀移动通信有限公司 | 黑屏手势控制方法、装置、存储介质及移动终端 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031776A (zh) * | 2021-03-25 | 2021-06-25 | 恒大新能源汽车投资控股集团有限公司 | 一种手势处理方法、装置及设备 |
CN114785954A (zh) * | 2022-04-27 | 2022-07-22 | 深圳影目科技有限公司 | 处理器唤醒方法以及装置、系统、存储介质、ar眼镜 |
CN117111727A (zh) * | 2023-02-22 | 2023-11-24 | 荣耀终端有限公司 | 手方向的检测方法、电子设备及可读介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021052139A1 (zh) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3872807B1 (en) | Voice control method and electronic device | |
CN110134316B (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
CN113645351B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
CN110114747B (zh) | 一种通知处理方法及电子设备 | |
CN110138959B (zh) | 显示人机交互指令的提示的方法及电子设备 | |
CN110825469A (zh) | 语音助手显示方法及装置 | |
CN111819533B (zh) | 一种触发电子设备执行功能的方法及电子设备 | |
WO2021052139A1 (zh) | 手势输入方法及电子设备 | |
CN110489215A (zh) | 一种应用程序中等待场景的处理方法和装置 | |
CN115344173A (zh) | 一种分屏显示的操作方法及电子设备 | |
CN111742539B (zh) | 一种语音控制命令生成方法及终端 | |
CN111316199A (zh) | 一种信息处理方法及电子设备 | |
CN112887583A (zh) | 一种拍摄方法及电子设备 | |
CN118051111A (zh) | 一种高能效的显示处理方法及设备 | |
CN110633043A (zh) | 一种分屏处理方法及终端设备 | |
CN114115512B (zh) | 信息显示方法、终端设备及计算机可读存储介质 | |
CN112740148A (zh) | 一种向输入框中输入信息的方法及电子设备 | |
CN115206308A (zh) | 一种人机交互的方法及电子设备 | |
CN114911400A (zh) | 分享图片的方法和电子设备 | |
CN114740986B (zh) | 手写输入显示方法及相关设备 | |
CN115706916A (zh) | 一种基于位置信息的Wi-Fi连接方法及装置 | |
CN114035989A (zh) | 卡死识别方法及电子设备 | |
CN114205318B (zh) | 头像显示方法及电子设备 | |
CN114006976B (zh) | 一种界面显示方法及终端设备 | |
WO2022222702A1 (zh) | 屏幕解锁方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |