CN112149483A - 一种吹气检测方法及设备 - Google Patents

Abstract

本申请实施例提供一种吹气检测方法及设备，涉及电子技术领域，能够检测到用户吹气的位置、方向、强度、节奏等多维特征，根据特征进行多种复杂的响应操作或输入控制，增强人机交互能力，提高娱乐性和用户体验。具体方案为：电子设备采用第一图像采集装置采集第一图像，采用第二图像采集装置采集第二图像，第二图像为热图像；根据第二图像，识别用户的吹气行为；根据第一图像和/或第二图像，识别用户人脸的朝向，确定用户的吹气方向；根据第一图像和第二图像，确定用户人脸相对于电子设备的三维信息；根据吹气方向和三维信息，确定吹气气流到达电子设备的目标位置；根据吹气行为的特征进行响应，该特征包括目标位置。本申请实施例用于吹气检测。

Description

一种吹气检测方法及设备

技术领域

本申请实施例涉及电子技术领域，尤其涉及一种吹气检测方法及设备。

背景技术

随着电子技术的发展，用户与手机等电子设备的交互方式越来越多。例如，用户可以采用吹气的方式，在手机上进行一些趣味性游戏。手机可以通过麦克风进行用户的吹气检测。

在现有吹气检测方案中，麦克风可以周期性(例如10ms)地采集音频脉冲数据。手机对音频脉冲数据进行调制，然后对调制后的波形信号的振幅求平方和，并根据平方和的数值大小来区分用户是否在吹气。例如，如图1中的(a)所示，用户说话时检测到的波形信号的振幅较大，但由于说话过程的间断性，波形分布稀疏，振幅的平方和较小。如图1中的(b)所示，吹气时检测到的波形信号的振幅比较平稳且连续，波形稠密，类似于均匀分布，振幅的平方和较大。

现有麦克风检测方案可以检测到用户是否在吹气，手机可以根据用户是否在吹气进行输入控制，实现简单的操作功能。

发明内容

本申请实施例提供一种吹气检测方法及设备，能够检测到用户吹气的位置、方向、强度、节奏等多维特征，从而可以根据多维特征进行多种复杂的响应操作或输入控制，增强人机交互能力，提高娱乐性和用户体验。

为达到上述目的，本申请实施例采用如下技术方案：

一方面，本申请实施例提供了一种吹气检测方法，应用于电子设备，该电子设备包括第一图像采集装置和第二图像采集装置。该方法包括：电子设备采集第一图像和第二图像。其中，第一图像为第一图像采集装置针对用户人脸拍摄的图像，第二图像为第二图像采集装置针对用户人脸拍摄的热图像。电子设备根据第二图像，识别用户的吹气行为。而后，电子设备根据第一图像和/或第二图像，识别用户人脸的朝向。电子设备根据用户人脸的朝向，确定用户的吹气方向。电子设备根据第一图像和第二图像，确定用户人脸相对于电子设备的三维信息。电子设备根据吹气方向和三维信息，确定吹气气流到达电子设备的目标位置。电子设备根据吹气行为的特征执行响应操作，特征包括目标位置。

在该方案中，电子设备可以通过常用的第一图像采集装置，并结合红外摄像装置(即第二图像采集装置)，就可以确定吹气时人脸与电子设备之间的三维立体信息，进而可以根据该三维立体信息确定气流到达屏幕上的位置和气流的方向等，而不需要再专门设置3D摄像头，从而可以用较少的摄像头识别用户的吹气行为。

在一种可能的设计中，用户人脸相对于电子设备的三维信息包括，用户的嘴部相对于电子设备的第一图像采集装置的三维信息。

也就是说，电子设备可以根据第一图像和第二图像，确定用户的嘴部相对于电子设备的三维立体坐标位置。

在另一种可能的设计中，电子设备包括屏幕，电子设备根据第二图像，识别用户的吹气行为，包括：电子设备根据第二图像，识别用户针对屏幕的吹气行为。

也就是说，电子设备可以通过热图像识别用户针对电子设备特定部位例如屏幕的吹气行为。

在另一种可能的设计中，该方法还包括：电子设备根据多个目标位置，确定电子设备上的气流方向。

可以理解的是，吹气时气流到达电子设备的多个位置形成的轨迹所指示方向，可以为气流方向。

在另一种可能的设计中，电子设备根据第二图像，识别用户的吹气行为，包括：电子设备识别多个第二图像上的气流图像。电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为。其中，面积变化率dS为：dS＝(S2-S1)/T。S1表示相邻采集的前后两张第二图像中，前一张第二图像上气流图像的面积；S2表示后一张第二图像上气流图像的面积；T表示相邻两张第二图像的采集间隔。

也就是说，电子设备可以根据多个热图像之间气流图像的面积变化率，识别用户的吹气行为。

在另一种可能的设计中，电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为，包括：若第一检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值大于或者等于第一预设值，则电子设备确定检测到用户的吹气操作。

这样，若某个检测周期内气流图像的面积变化率的平均值较大，则可以表明气流图像的面积变化率在这一时间段内的整体趋势较大，气流状态的变化在这一时间段内的整体趋势也较大，因而电子设备可以确定用户在吹气。

在另一种可能的设计中，若第一检测周期内，气流图像的面积变化率的平均值大于或者等于第二预设值，第二预设值大于第一预设值，则吹气操作的吹气强度大。若第一检测周期内，气流图像的面积变化率的平均值大于或者等于第一预设值，且小于第二预设值，则吹气操作的吹气强度小。

可以理解的是，当面积变化率的平均值不仅大于第一预设值，还大于第二预设值时，可以表明面积变化率很大，气流状态变化很快，用户可能在大力度地使劲吹气。当该平均值大于第一预设值且小于或者等于第二预设值时，可以表明面积变化率较大，气流状态变化较快，用户可能在轻轻吹气。

在另一种可能的设计中，电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为，还包括：在电子设备确定检测到用户的吹气操作后，若第二检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值小于第三预设值，第三预设值小于或者等于第一预设值，则电子设备确定用户停止吹气。其中，从电子设备确定检测到用户的吹气操作，到电子设备确定检测到用户停止吹气之间的时长，为吹气操作的吹气时长。

可以理解的是，当该平均值小于第三预设值时，可以表明气流图像的面积在检测周期这一时间段内的变化较小，气流状态在检测周期这一时间段内的变化较慢，用户可能已经停止吹气。

在另一种可能的设计中，电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为，包括：若电子设备检测到相邻采集的两张第二图像之间，气流图像的面积变化率大于或者等于第一预设值，则电子设备确定检测到用户的吹气操作。若电子设备检测到相邻采集的两张第二图像之间气流图像的面积变化率小于第三预设值，第三预设值小于或者等于第一预设值，则电子设备确定检测到用户停止吹气。

也就是说，若电子设备确定某两张第二图像之间，气流图像的面积变化率大于或者等于第一预设值，则可以表明气流图像的面积变化大，气流状态变化大，用户在进行吹气操作。某两张第二图像之间，气流图像的面积变化率小于第三预设值，则可以表明气流图像的面积变化小，气流状态变化小，用户可能已经停止吹气。

在另一种可能的设计中，电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为，还包括：电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率的变化，确定吹气和停止吹气的情况。电子设备根据吹气和停止吹气的情况，确定用户的吹气模式，吹气模式包括单次吹气或预设时长内连续多次吹气。

也就是说，电子设备可以根据该面积变化率确定用户开始吹气和停止吹气的相关情况，从而确定用户的吹气模式。

在另一种可能的设计中，吹气行为的特征还包括吹气方向，吹气距离，气流方向，吹气强度，吹气时长，吹气次数，吹气频率，吹气节奏，或吹气模式中的一种或多种。

也就是说，电子设备还可以根据第二图像采集装置采集的热图像，识别用户吹气行为的多维特征，从而根据多维特征进行不同的响应操作或输入控制，增强人机交互能力，提高趣味性和用户体验。

在另一种可能的设计中，电子设备根据吹气行为的特征执行响应操作，包括：电子设备根据吹气行为的特征，针对目标位置显示的目标对象执行响应操作。其中，特征不同，目标对象的大小，颜色，形状，透明度，类型，材质，数量，移动方向，移动距离，旋转角度，作用范围，或响应次数中的一个或多个也不同。

也就是说，针对目标位置显示的目标对象，电子设备可以根据吹气行为的不同特征，执行不同的响应操作。

在另一种可能的设计中，电子设备根据吹气行为的特征执行响应操作，包括：电子设备根据吹气行为的特征，执行相应的触摸操作。其中，特征不同，触摸操作的类型和/或操作方式不同；类型包括点击操作，滑动操作，或拖拽操作。点击操作的操作方式包括，点击位置，点击次数，点击力度，或按压时长中的一个或多个。滑动操作的操作方式包括，滑动位置，滑动方向，或滑动距离中的一个或多个。拖拽操作的操作方式包括，拖拽对象，拖拽方向，或拖拽距离中的一个或多个。

这样，根据吹气行为的不同特征，电子设备可以执行不同的触摸操作。

在另一种可能的设计中，电子设备根据吹气行为的特征执行响应操作，包括：电子设备根据吹气行为的特征滚动页面；且特征不同，页面的滚动方向和/或滚动幅度不同。或者，电子设备根据吹气行为的特征进行翻页；且特征不同，向前或向后翻页的顺序不同和/或翻页的数量不同。电子设备根据吹气行为的特征更新界面内容；且特征不同，界面的更新效果不同。

这样，电子设备可以根据吹气行为的不同特征，执行不同的滚动页面操作，翻页操作，或更新界面操作等。

在另一种可能的设计中，电子设备根据吹气行为的特征进行响应，包括：电子设备通过声音进行响应，且特征不同，声音的曲调，音高，音色，音阶，或声道中的一个或多个也不同。或者，电子设备通过灯光进行响应，且特征不同，灯光的颜色，灯光点亮的时长，灯光投射的图形，灯束的数量，或灯光的闪烁频率中的一个或多个也不同。或者，电子设备通过振动进行响应，且特征不同，振动的频率，幅度，或时长中的一个或多个也不同。

这样，电子设备可以根据吹气行为的不同特征，通过声音、灯光或振动的不同响应方式进行响应。

在另一种可能的设计中，电子设备根据吹气行为的特征进行响应，包括：电子设备通过可变机构进行响应，且特征不同，可变机构的伸缩方向，伸缩程度，旋转方向，旋转程度，形状，大小，材质，或颜色中的一个或多个也不同。

这样，电子设备可以根据吹气行为的不同特征，通过电子设备上设置的可变硬件机构进行不同的响应。

另一方面，本申请实施例提供了一种检测装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，采集模块或单元，识别模块或单元，确定模块或单元，执行模块或单元，以及显示模块或单元等。

另一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器，存储器，第一图像采集装置和第二图像采集装置。其中，第一图像采集装置用于采集针对用户人脸的图像；第二图像采集装置用于采集针对用户人脸的热图像。存储器中存储有代码；当代码被一个或多个处理器执行时，使得电子设备执行上述方面任一项可能的设计中的吹气检测方法。

另一方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方面任一项可能的设计中的吹气检测方法。

又一方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方面任一项可能的设计中的吹气检测方法。

又一方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器和存储器；存储器中存储有代码；当代码被处理器执行时，使得芯片系统执行上述方面任一项可能的设计中的吹气检测方法。

附图说明

图1为现有技术提供的一种吹气检测方式示意图；

图2为本申请实施例提供的一种手机的硬件结构示意图；

图3为本申请实施例提供的一种手机的软件结构示意图；

图4A-4C为本申请实施例提供的一组界面示意图；

图5A-5D为本申请实施例提供的一组气流图像的面积变化率的示意图；

图6A-6B为本申请实施例提供的另一组气流图像的面积变化率的示意图；

图7A-7C为本申请实施例提供的一组确定目标位置的原理示意图；

图8为本申请实施例提供的一种目标位置的示意图；

图9A-9D为本申请实施例提供的一组气流方向的示意图；

图10A-10C为本申请实施例提供的一组吹气响应的示意图；

图11A-11C为本申请实施例提供的另一组吹气响应的示意图；

图12A-12B为本申请实施例提供的另一组吹气响应的示意图；

图13为本申请实施例提供的一种吹气检测的方法流程图；

图14为本申请实施例提供的另一种吹气检测的方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

本申请实施例提供一种吹气检测方法，可以应用于电子设备。该电子设备可以包括第一图像采集装置和第二图像采集装置。其中，第一图像采集装置可以为光学摄像装置，第二图像采集装置可以为红外摄像装置。或者，第一图像采集装置和第二图像采集装置均可以为红外摄像装置。本申请以下实施例中以第一图像采集装置为光学摄像装置，第二图像采集装置为红外摄像装置为例进行说明。

光学摄像装置可以包括图像传感器，可以利用可见光拍摄一张或多张图像。该多张图像也可以是视频图像。例如，该图像传感器可以是电荷耦合器件(charge coupleddevice，CCD)，或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管等感光器件。该光学摄像装置可以是彩色摄像头、黑白摄像头或深度摄像头等多种类型的图像拍摄装置。

红外摄像装置可以包括红外温度传感器，可以基于热成像原理，利用物体的红外线能量辐射和温度分布，拍摄一张或多张热量分布图像，也称热图像。例如，该红外摄像装置可以是红外热像仪或其他红外传感装置。

当用户朝电子设备吹气时，电子设备可以根据第一图像采集装置采集的第一图像，和/或第二图像采集装置采集的第二图像，检测用户的吹气行为。电子设备可以根据第一图像和第二图像，基于双目测距原理，用户人脸相对于所述电子设备的三维信息。进而，电子设备可以根据该三维信息，确定吹气时气流到达电子设备屏幕上的位置。并且，电子设备还可以根据第一图像和/或第二图像确定用户的吹气方向(或吹气角度)，根据第二图像确定吹气强度，吹气时长，或吹气节奏等多维特征。从而，电子设备可以根据吹气的多维特征，对电子设备进行复杂的输入控制，增强人机交互能力，提高娱乐性和用户体验。

在一些实施例中，用户朝着电子设备吹气，也可以是朝着电子设备的特定部位吹气。例如该特定部位可以是电子设备的屏幕，后盖，吹气敏感部位，或其他部位。当用户朝电子设备的屏幕吹气时，电子设备响应于用户的吹气操作，可以在屏幕上显示不同的用户界面。本申请以下实施例中，将以电子设备检测用户朝屏幕吹气为例进行说明。

例如，该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备，本申请实施例对电子设备的设备类型不作具体限制。

示例性的，当电子设备为手机时，图2示出了手机100的一种结构示意图。手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，用户标识模块(subscriber identification module，SIM)卡接口195，以及红外热像仪196等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M，或超声波传感器等。

可以理解的是，本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

该摄像头193可以为上述第一图像采集装置，该红外热像仪196可以为上述第二图像采集装置。

在一些实施例中，处理器110可以对摄像头193采集到的图像进行识别，确定用户人脸的朝向，从而可以根据用户人脸的朝向确定用户的吹气方向。

在一些实施例中，处理器110还可以根据摄像头193采集到的图像和红外热像仪196采集到的图像，确定用户的嘴部相对于第一图像采集装置的位置。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现手机100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现手机100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现手机100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为手机100充电，也可以用于手机100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机100的结构限定。在本申请另一些实施例中，手机100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。

手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。例如，可以是彩色摄像头、黑白摄像头、红外摄像头或深度摄像头等。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。

其中，摄像头193可以设置在手机100的顶部、底部、侧边边框附近或显示屏194的内部等位置；可以是固定的摄像头，也可以是可升降的摄像头。本申请实施例对摄像头193的设置位置和设置方式不予具体限定。

在一些实施例中，摄像头193、红外热像仪196和显示屏位于同一平面。

在一些实施例中，在用户吹气时，摄像头193可以采集用户的人脸图像，以便识别图像中用户人脸的朝向，从而确定用户的吹气方向。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中，手机100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。手机100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，手机100根据压力传感器180A检测触摸操作强度。手机100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。在一些实施例中，压力传感器可以在用户吹气时检测气流对屏幕局部区域的压力变化。

陀螺仪传感器180B可以用于确定手机100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定手机100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测手机100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消手机100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，手机100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。手机100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当手机100是翻盖机时，手机100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机100附近有物体。当检测到不充分的反射光时，手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180G检测用户手持手机100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测手机100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，手机100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，手机100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，手机100对电池142加热，以避免低温导致手机100异常关机。在其他一些实施例中，当温度低于又一阈值时，手机100对电池142的输出电压执行升压，以避免低温导致的异常关机。在一些实施例中，温度传感器可以是热敏元件，可以在用户吹气时检测气流引起的屏幕局部区域的温度变化。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”，或简称屏幕。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在手机100中，不能和手机100分离。

红外热像仪196可以利用红外探测器和光学成像物镜，接受被测目标的红外辐射。被测目标的能量分布图形反映到红外探测器的光敏元件上，从而形成红外热图像。该热图像能够记录物体本身或向外辐射的热量或温度。该热图像与物体表面的热分布场相对应。也就是说，红外热像仪196可以利用红外线能量和温度分布拍摄热量分布图像，从而将物体发出的不可见红外能量转变为可见的热图像。

物体表面在不断地辐射红外线。红外线能够反映物体表面的红外辐射场，即温度场。物体不同，物体表面的红外辐射场也不同。手机100根据红外热像仪196采集的图像上呈现的不同红外辐射场，可以识别不同的拍摄物体。例如，识别用户吹气的气流。

并且，物体温度不同，其辐射出的红外线能量也不同。温度越高，辐射出的红外线能量也越大。不同红外线能量在红外热像仪196采集的图像上的颜色不同，即热图像上不同颜色代表被测物体的不同温度。手机100根据红外热像仪196采集的图像上的不同颜色，可以确定不同物体的温度。

红外热像仪196可以设置在手机100的顶部、底部、侧边边框附近或显示屏194的内部等位置，可以是一个也可以是多个，本申请实施例对红外热像仪196的类型和位置不予限定。

手机100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明手机100的软件结构。

图3是本申请实施例的手机100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供手机100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，手机100振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

在本申请的实施例中，摄像头193和红外热像仪196采集到图像后，内核层中的硬件驱动可以获取到该图像，并上报给处理器110。处理器110对摄像头193采集到的图像和红外热像仪196采集到图像进行处理，检测吹气行为的特征，包括气流到达显示屏194上的位置，气流方向，吹气方向，吹气时长，吹气强度，或吹气模式等多维特征。处理器110将吹气的多维特征上报给应用程序框架层。应用程序框架层可以通过安卓消息广播或事件通知等方式，通知给相关应用程序(例如支持吹气操作的应用程序)。相关应用程序根据预设的响应操作与吹气的多维特征的对应关系，执行相应的响应操作，实现吹气的多维输入控制。

以下将以电子设备为具有图2和图3所示结构的手机100，第一图像采集装置为摄像头193，第二图像采集装置为红外热像仪196，手机100检测用户朝手机100的屏幕进行吹气的操作，该屏幕为显示屏194或触摸屏为例，对本申请实施例提供的吹气检测方法进行阐述。

手机可以开启摄像头和红外热像仪，并利用摄像头和红外热像仪实时采集图像。

例如，手机可以利用摄像头和红外热像仪，周期性地采集多组目标图像。该多组目标图像包括多个第一图像和多个图像。其中，每个采集周期T内可以采集得到一组目标图像。每组目标图像包括摄像头针对用户人脸采集的第一图像，以及红外热像仪针对用户人脸采集的第二图像。该第二图像为热图像。同一组目标图像中的第一图像和第二图像，可以为手机在同一时刻同时采集获得的图像。示例性的，该采集周期T为15ms。

其中，手机开启摄像头和红外热像仪的方式可以有多种。例如，在一些实施例中，手机可以在开机后即开启摄像头和红外热像仪，并周期性地采集图像，以便可以根据采集到的图像及时检测到用户的吹气操作。

在另一些实施例中，由于用户一般在手机解锁后才会进行吹气操作，因而手机在解锁后才开启摄像头和红外热像仪，并周期性地采集图像。在未解锁时，手机可以不开启或关闭摄像头和红外热像仪，以降低手机的功耗。

在又一些实施例中，手机在打开支持吹气操作的应用程序后，自动开启摄像头和红外热像仪，并周期性地采集图像。手机在关闭支持吹气操作的应用程序后，自动关闭摄像头和红外热像仪，以降低手机的功耗。

示例性的，风铃应用程序支持吹气操作，手机检测到用户点击如图4A所示的图标401的操作后，可以打开风铃应用程序，并自动开启摄像头和红外热像仪。

在另一些实施例中，手机在开机后即开启摄像头，并利用摄像头周期性地采集图像。在摄像头采集到的图像出现用户人脸或用户的嘴部时，用户可能要进行吹气操作，因而可以开启红外热像仪，并利用摄像头和红外热像仪周期性地采集图像。

在另一些实施例中，手机在开机后即开启红外热像仪，并利用红外热像仪周期性地采集热图像。手机在根据热图像确定检测到用户的吹气操作后，再开启摄像头，从而根据摄像头和红外热像仪采集到的图像确定吹气的特征。

在又一些实施例中，手机在检测到用户指示打开吹气功能的操作后，开启摄像头和红外热像仪，并周期性地采集图像。

例如，如图4B所示，手机的设置界面有吹气操作的功能开关。手机检测到用户指示打开该开关的操作后，开启摄像头和红外热像仪，并周期性地采集图像。

再例如，手机检测到用户指示打开吹气功能的预设操作后，开启摄像头和红外热像仪，并周期性地采集图像。示例性的，如图4C所示，手机检测到黑屏状态下，用户在屏幕上划出“cq”的轨迹后，开启摄像头和红外热像仪。

又例如，手机在检测到用户语音指示打开吹气功能，或语音指示开启摄像头和红外热像仪的操作后，开启摄像头和红外热像仪，并周期性地采集图像。

在其他一些实施例中，手机在检测到用户指示关闭吹气功能的操作后，可以关闭摄像头和红外热像仪，停止利用摄像头和红外热像仪采集图像。

具体的，在同一周期内，手机可以同时利用摄像头和红外热像仪采集图像，采集同一时刻的人脸图像。

手机可以根据采集到的多个第一图像和多个第二图像，检测用户的吹气行为，以及吹气行为的多维特征。

在一些实施例中，手机可以根据摄像头采集的第一图像，确定用户是否吹气。

在吹气时，用户通常会鼓着脸并撮着嘴，用户的脸部和嘴部会发生相应的变化。因而，手机可以通过图像识别算法，提取第一图像上用户的脸部特征和嘴部特征。在第一图像上用户的脸部特征和嘴部特征，与用户实际吹气时的脸部特征和嘴部特征相匹配时，手机确定检测到用户的吹气操作。

例如，图像识别算法可以包括神经网络算法，模式识别算法等人工智能(artificial intelligence，AI)分类算法，以及其他识别算法。特征提取算法可以包括基于静态图像的特征提取方法(例如整体法或局部法)，或基于动态视频图像的特征提取方法(例如光流法、模型法或几何法)等多种。本申请实施例对图像识别算法、特征提取算法等图像处理算法的类型不作限定。

神经网络算法可以包括卷积神经网络(convolutional neural networks，CNN)算法，循环神经网络(recurrent neural networks，RNN)算法，反向传播(back propagation，BP)神经网络算法，或径向基(radial basis function，RBF)神经网络算法等神经网络算法。神经网络需要先以一定的学习准则进行学习和训练，然后才能工作。

示例性的，在神经网络训练完成，且第一图像输入神经网络后，若神经网络输出的标签表示“吹气”，则手机可以确定第一图像上用户的脸部特征和嘴部特征，与用户实际吹气时用户的脸部特征和嘴部特征相匹配，用户在朝屏幕吹气。

再比如，模式识别算法可以对表征事物或现象的各种形式的信息(例如图像)进行处理和分析，以对事物或现象进行描述和分类等。比如，可以采用K最近邻(K-nearestneighbor)算法，贝叶斯(bayes classifier)算法，主元分析或者主成份分析(principlecomponent analysis，PCA)算法，线性判别(linear discriminant analysis，LDA)算法，非负矩阵分解(non-negative matrix factorization，NMF)算法，高斯混合模型(gaussianmixture model，GMM)等模式识别算法识别拍摄场景。手机通过模式识别算法确定第一图像上用户的嘴部特征，与预设的嘴部特征相匹配时，可以确定第一图像上用户的嘴部特征，与用户实际吹气时的嘴部特征相匹配，用户在朝屏幕吹气。

此外，用户吹气时，除脸部和嘴部以外的人脸其他部位也会发生相应的变化，例如，下巴，鼻子，或眼睛等部位。因而，手机还可以结合其他人脸部位的特征，确定用户是否在吹气，以提高吹气检测精度。当第一图像上用户的脸部特征和嘴部特征，与用户实际吹气时的脸部特征和嘴部特征相匹配；且第一图像上人脸其他部位的特征，与用户实际吹气时的人脸其他部位的特征相匹配时，手机确定检测到用户的吹气操作。

手机还可以根据第一图像上人脸部位的特征，确定用户是否停止吹气，以及吹气时长，吹气强度、或吹气节奏等吹气的多维特征。例如，第一图像上用户鼓脸和撮嘴的程度越大，吹气强度越大；第一图像上用户鼓脸和撮嘴的程度越小，吹气强度越小。再例如，手机根据第一图像上用户鼓着脸且撮着嘴的特征，确定用户吹气；手机根据第一图像上用户停止鼓脸和撮嘴的特征，确定用户停止吹气。从用户开始鼓脸和撮嘴到用户停止鼓脸和撮嘴之间的时长，即为用户从开始吹气到停止吹气之间的吹气时长。再例如，手机根据第一图像上用户连续鼓脸和撮嘴两次，可以确定用户连续吹气两次。

在另一些实施例中，手机可以根据红外热像仪采集的第二图像，确定用户是否吹气。

用户嘴部呼出的气流通常在用户嘴部向外发射的位置，且用户嘴部呼出的气流的温度分布情况符合一定的规律。根据该规律，手机可以识别出第二图像上的气流图像，即用户嘴部呼出的气流在第二图像上形成的图像。

与用户正常呼吸相比，用户吹气时呼出的气流的初速度、温度、气体量等方面均不同。因而，用户吹气时在第二图像上形成的气流图像，与用户正常呼吸时在第二图像上形成的气流图像也不同。

用户正常呼吸时，呼出的气流的初速度小，单位时间内气流移动的距离短，气流状态变化慢。因而，手机相邻采集到的第二图像(即相邻两个采集周期T内分别采集到的第二图像)之间气流图像的面积变化也小，即相邻第二图像上气流图像的面积变化率小。

其中，面积变化率dS可以表示为：dS＝(S2-S1)/T。S1表示相邻采集的前后两张第二图像中，前一张第二图像上气流图像的面积；S2表示后一张第二图像上气流图像的面积。T表示相邻两张第二图像的采集间隔，即为采集周期T。

与用户正常呼吸相比，用户吹气时呼出的气流的初速度大，单位时间内气流移动的距离远，气流状态变化快。因而，手机采集到的相邻第二图像之间(或称手机相邻采集到的第二图像之间)气流图像的面积变化也大，即相邻第二图像上气流图像的面积变化率大。

因此，手机可以实时计算当前采集到的第二图像与相邻采集到的上一张第二图像之间，气流图像的面积变化率。从而可以根据气流图像的面积变化率，识别用户的吹气行为。

其中，气流图像的面积变化率可以通过多种方式来表征。例如，在一些技术方案中，由于气流图像的长度和/或宽度变化越大，则气流图像的面积变化也越大。因而，气流图像的面积变化率，可以通过气流图像的长度和/或宽度的变化率来表征。若气流图像的长度和/或宽度的变化率较大，则可以表明气流图像的面积变化率较大。若气流图像的长度和/或宽度的变化率较小，则可以表明气流图像的面积变化率较小。

在另一些技术方案中，气流图像的面积变化率，可以通过气流图像包括的像素点数量的变化率来表征。若气流图像包括的像素点数量的变化率较大，则可以表明气流图像的面积变化率较大。若气流图像包括的像素点数量的变化率较小，则可以表明气流图像的面积变化率较小。以下主要以该种表征方式为例进行说明。

在一些实施例中，若手机检测到相邻采集的两张第二图像之间气流图像的面积变化率，大于或者等于第一预设值，则手机确定检测到用户的吹气操作。

也就是说，若手机确定某两张第二图像之间，气流图像的面积变化率大于或者等于第一预设值，则可以表明气流图像的面积变化大，气流状态变化大，用户在进行吹气操作。在该方案中，手机可以快速、及时地确定用户是否在吹气。

在另一些实施例中，若手机在第一检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值大于或者等于第一预设值，则手机确定检测到用户的吹气操作。

其中，该检测周期大于图像的采集周期T。示例性的，该采集周期可以为15ms，该检测周期可以为100ms。手机可以实时计算当前时刻之前的检测周期内(即当前时刻之前的100ms内)，第二图像之间气流图像的面积变化率的平均值。当气流图像的面积变化率，在某个检测周期内的平均值大于或者等于第一预设值时，可以表明气流图像的面积变化率在这一时间段内的整体趋势较大，气流状态的变化在这一时间段内的整体趋势也较大，因而手机可以确定用户在吹气。在该方案中，手机根据面积变化率的平均值，可以更为准确地判断用户是否在吹气，避免根据一个面积变化率确定是否吹气而导致的误判。

示例性的，图5A-图6B分别示出了一种面积变化率平均值的曲线图。该曲线图表示在时间轴所示的每个时刻之前的100ms内(即检测周期内)，气流图像面积变化率的平均值。

示例性的，参见图5A，在第215ms之前的100ms内(即第115ms至第215ms之间)，气流图像面积变化率的平均值大于第一预设值，手机确定用户在吹气。

此外，手机还可以根据第二图像间的气流图像面积变化率检测吹气行为的多维特征。比如，吹气操作的吹气强度、吹气时长、吹气模式、吹气次数或吹气节奏等特征。

例如，手机可以检测吹气的强度。在一些实施例中，若手机确定在第一检测周期内，气流图像的面积变化率的平均值大于或者等于第二预设值，第二预设值大于第一预设值，则确定检测到用户的吹气操作且吹气的强度大，即手机检测到用户强力吹气的操作。若手机确定在第一检测周期内，气流图像的面积变化率的平均值大于或者等于第一预设值，且小于第二预设值，则确定检测到用户的吹气操作且吹气的强度小，即手机检测到用户的轻吹操作。

其中，当气流图像的面积变化率的平均值，在某个检测周期内大于第一预设值时，可以确定检测到用户的吹气操作。当该平均值还大于第二预设值时，可以表明面积变化率很大，气流状态变化很快，用户可能在大力度地使劲吹气。当该平均值大于第一预设值且小于或者等于第二预设值时，可以表明面积变化率较大，气流状态变化较快，用户可能在轻轻吹气。

示例性的，如图5B所示，在第215ms之前的100ms内(即第115ms至第215ms之间)，气流图像面积变化率的平均值大于第二预设值，手机确定用户在大力吹气。

再示例性的，如图5C所示，在第215ms之前的100ms内(即第115ms至第215ms之间)，气流图像面积变化率的平均值大于第一预设值且小于或者等于第二预设值，手机确定用户在轻轻吹气。

手机在确定检测到用户的吹气操作后，若确定在第二检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值小于第三预设值，第三预设值小于或者等于第一预设值，则确定用户停止吹气。

当某个检测周期内气流图像面积变化率的平均值小于第三预设值时，可以表明气流图像的面积在检测周期这一时间段内的变化较小，气流状态在检测周期这一时间段内的变化较慢，用户可能已经停止吹气。

示例性的，如图5D所示，在第215ms之前的100ms内(即第115ms至第215ms之间)，气流图像面积变化率的平均值大于第一预设值。而后，在t1时刻之前的100ms内，气流图像面积变化率的平均值小于第三预设值，则手机可以确定用户停止吹气。

其中，从手机确定检测到用户的吹气操作，到手机确定检测到用户停止吹气之间的时长，可以为该吹气操作的吹气时长。例如，若吹气时长小于预设时长1，则手机可以确定该吹气操作为快吹。若吹气时长大于预设时长1，则手机可以确定该吹气操作为慢吹。

根据以上描述可知，手机可以实时计算相邻两张第二图像上气流图像的面积变化率，还可以实时计算每个检测周期内气流图像的面积变化率的平均值。手机还可以根据气流图像面积变化率的变化情况，确定用户的吹气的次数、频率或节奏等特征。

例如，手机可以根据气流图像面积变化率的变化情况，确定手机的吹气和停止吹气的情况。手机根据手机的吹气和停止吹气的情况，确定用户的吹气模式，吹气模式包括单次吹气或预设时长内连续多次吹气。举例来说，若手机根据气流图像的面积变化率的大小变化，在预设时长2内依次检测到用户的吹气操作，检测到用户停止吹气，再次检测到用户的吹气操作，则手机可以确定检测到用户连续吹气两次。

其中，该预设时长2大于检测周期T。例如，预设时长2可以为1s。示例性的，参见图6A所示的曲线图，若手机在t2时刻检测到用户吹气后，又在1s内的t3时刻检测到用户停止吹气，而后在该1s内未检测到用户再次吹气，则手机可以确定用户吹气一次。

示例性的，参见图6B所示的曲线图，若手机在t4时刻检测到用户吹气后，又在1s内的t5时刻检测到用户停止吹气，而后在该1s内的t6时刻又检测到用户再次吹气，则手机可以确定检测到用户连续吹气两次。

与手机确定吹气模式类似，手机还可以根据开始吹气和停止吹气的情况，检测用户的连续多次吹气，吹气次数，吹气频率或吹气节奏等特征。例如，手机可以根据气流图像面积变化率的变化情况，检测到用户先快吹一次再慢吹一次，或者先轻吹两次再大力吹一次等吹气节奏。

在其他一些实施例中，手机可以根据第二图像上气流图像的图形，识别用户的吹气行为。

在第二图像上，用户正常呼吸时呼出的气流对应的气流图像的第一图形，与用户吹气时气流图像的第二图形不同。示例性的，当摄像头和红外热像仪设置于手机的顶部(即手机的额头部位)，用户对着手机屏幕吹气时，第一图形类似于椭圆形；第二图形类似于圆锥形。此外，由于自然风的随机性和不规律性，自然风形成的气流在第二图像上的气流图像的图形通常也不规则。手机可以根据拍摄的第二图像上气流图像的图形，来确定用户是否吹气。

例如，若第二图像上气流图像的图形与预设图形之间的相似度，大于或者等于预设阈值1，则手机可以确定该气流图像为用户吹气时形成的图像，手机检测到用户的吹气操作。

再例如，若某个检测周期内采集到的第二图像上，气流图像的图形与预设图形之间的相似度的平均值大于或者等于预设阈值1，则手机可以确定该气流图像为用户吹气时形成的图像，手机检测到用户的吹气操作。

而后，若某个检测周期内采集到的第二图像上，气流图像的图形与预设图形之间的相似度的平均值小于或者等于预设阈值2，则手机可以确定该气流图像不是用户吹气时形成的图像，手机确定用户停止吹气。其中，该预设阈值2小于或者等于预设阈值1。

举例来说，红外热像仪器设置于手机顶部，预设图形为类似于圆锥形。若相邻多个第二图像上气流图像由类似于椭圆形变为类似于圆锥形，则手机确定检测到用户吹气。若相邻多个第二图像上气流图像由类似于圆锥形变为类似于椭圆形，则手机确定用户停止吹气。手机确定用户开始吹气和停止吹气之间的时长为吹气时长。

手机还可以根据第二图像上气流图像的图形，确定用户的吹气强度。吹气强度不同，气流图像的具体形状也不同。在红外热像仪器设置于手机顶部，用户朝屏幕吹气时，气流图像的图形类似于圆锥；且吹气强度越大，圆锥的高度越大；吹气强度越小，圆锥的高度越小。因而，若相邻n(正整数)张第二图像上，气流图像的图形与预设图形的相似度大于或者等于预设阈值1，气流图像的图形类似于圆锥形，且圆锥的高度大于或者等于预设高度值1，则可以确定用户的吹气强度较大。若第二图像上气流图像的图形与预设图形的相似度大于或者等于预设阈值1，气流图像的图形类似于圆锥形，且圆锥的高度小于预设高度值1，则可以确定用户的吹气强度较小。

此外，手机还可以根据第二图像上气流图像的图形变化情况，确定用户开始吹气、停止吹气、吹气持续时间、以及停止吹气间隔等情况，从而确定用户的吹气次数、吹气节奏等。

在其他一些实施例中，手机可以结合上述第一图像上的脸部特征、嘴部特征以及人脸其他部位的特征，上述第二图像上气流图像的面积变化率，或上述第二图像上气流图像的形状中的任意组合，来检测用户的吹气操作和吹气特征，提高吹气检测的准确率。

手机在检测到用户的吹气操作后，可以实时根据采集到的每组目标图像中的第一图像和第二图像，确定用户吹气的气流到达屏幕上的位置(即目标位置)。以下对该过程进行具体阐述。

手机可以根据每组目标图像中的第一图像和第二图像，基于双目测距原理，确定用户人脸相对于手机的三维(3D)信息。即，用户人脸相对于手机的三维立体信息。例如，用户人脸上特定部位(例如嘴部)相对于手机的三维信息；或者用户人脸上的特定部位相对于手机上的特定部位之间的三维信息等。以下将以该三维信息是用户人脸上的嘴部相对于手机上的摄像头的三维信息为例进行说明。

该三维信息可以包括用户吹气时嘴部相对于摄像头的位置参数。该位置参数可以包括嘴部在以摄像头为坐标原点的三维直角坐标系中的坐标，即嘴部相对于摄像头的三维立体距离。

例如，参见图7A，摄像头位于点L，红外热像仪位于点R，以L为坐标原点建立三维直角坐标系。

如图7A所示，在XZ平面上，嘴部位于点P，坐标为(x，z)。根据三角形相似原理可以得到式1：f/z＝xl/x＝xr/(x-b)。其中，f表示摄像头的焦距。b表示L和R之间的距离。如图7C所示，xl表示预设人脸部位(例如嘴部)在第一图像上的位置，与经过第一图像的中心且与LR垂直的中线之间的距离。xr表示预设人脸部位(例如嘴部)在第二图像上的位置，与经过第一图像的中心且与LR垂直的中线之间的距离。d＝xl–xr，表示第一图像和第二图像在X方向的视差。

由式1可以得出式2：x＝xl*b/d；以及式3：z＝f*b/d。从而，可以得到P点的坐标x和z。其中，z表示吹气时用户嘴部距离屏幕所在平面之间的距离，即吹气时嘴部相对于屏幕的深度。

手机根据式4：θ＝arctan(x/z)，可以计算得到θ。θ表示用户人脸正对屏幕时，PL与PQ之间的夹角。

手机还可以根据第一图像和/或第二图像，通过图像识别算法，识别用户人脸的朝向。手机可以根据用户人脸的朝向，识别用户吹气时脸部偏转的角度，该角度限定的方向即为用户的吹气方向。其中，脸部偏转的角度可以包括脸部在水平方向的偏转角度θ’和在竖直方向的偏转角度φ’。

而后，手机可以计算吹气方向延长线与屏幕所在平面的交点F，在X方向的坐标x_F：x_F＝x–(tan(90-θ-θ’)*z)。

同理，参见图7B，在YZ平面上，嘴部位于点P，坐标为(y，z)。根据三角形相似原理可以得到式5：f/z＝yl/y。yl表示预设人脸部位(例如嘴部)在第一图像上的位置，与经过第一图像的中心且与LR垂直的中线之间的距离。由式5可以得出式2：y＝yl*z/f。从而，可以得到P点的坐标y。手机根据式6：φ＝arctan(y/z)，可以计算得到φ。φ表示用户人脸正对屏幕时，PL与PT之间的夹角。

而后，手机可以计算吹气方向延长线与屏幕所在平面的交点F在Y方向的坐标y_F：y_F＝y–(tan(90-φ-φ’)*z)。

其中，该x_F和y_F表示的位置为气流到达屏幕所在平面的第一位置，该第一位置为相对于坐标原点即摄像头L的位置。手机可以根据屏幕相对于摄像头的位置，确定第一位置是否在屏幕上。如图8所示，若第一位置在屏幕上，则第一位置即为气流到达屏幕的目标位置A。

手机根据实时采集到的每组目标图像所确定的气流到达屏幕上的位置，可以形成气流轨迹。屏幕上气流轨迹的方向趋势，可以称为气流方向。在一些实施例中，手机还可以在屏幕上显示当前的气流方向，或气流到达屏幕上的目标位置形成的轨迹，从而可以方便用户直观看到吹气方向，从而预设吹气的响应效果，提高趣味性和用户使用体验。示例性的，当气流轨迹为如图9A所示的虚线901时，气流方向为从下到上；当气流轨迹为如图9B所示的虚线902时，气流方向为从左到右。再示例性的，如图9C所示，屏幕上可以显示一个嘴的形状，嘴部的朝向表示气流方向。再示例性的，如图9D所示，屏幕上可以显示一个手的形状，手心的朝向表示气流方向。

需要注意的是，由于目前手机等多数电子设备已具有摄像头等光学摄像装置，手机利用现有的光学摄像装置，结合红外摄像装置，就可以确定吹气时人脸与手机之间(例如嘴部与摄像头之间)的三维立体信息，进而可以根据该三维立体信息确定气流到达屏幕上的位置，气流的方向等，而不需要再专门设置3D摄像头，从而可以用较少的摄像头获得吹气的多维特征。

并且，与现有技术中的麦克风检测方案仅能检测用户是否吹气，无法检测到吹气的其他特征相比，本申请实施例提供的吹气检测方案，还可以检测到吹气方向，吹气位置，气流到达屏幕上的位置，吹气强度，吹气时长，吹气次数，吹气模式或吹气节奏等更为丰富的多维特征。从而，手机可以根据更为丰富的多维特征，进行复杂的响应操作或输入控制，增强人机交互能力，提高娱乐性和用户体验。

在其他一些实施例中，手机还可以通过摄像头和红外热像仪以外的其他传感器检测用户是否吹气，以及吹气的多维特征。例如，手机屏幕的外表面或屏幕的内部可以设置有一个或多个热敏元件。当用户对着屏幕吹气时，气流达到屏幕后，屏幕相应位置的温度会发生变化。与根据热图像上气流图像的面积变化率，来检测用户是否吹气以及用户吹气的多维特征类似，手机也可以根据热敏元件检测到的高温区域的面积变化率，来检测用户是否吹气，以及吹气的多维特征。其中，手机在确定用户吹气时，屏幕上温度发生变化的位置即为气流吹到屏幕上的位置。

再例如，手机屏幕的外表面或屏幕的内部可以设置有一个或多个压力传感器。当用户对着屏幕吹气时，气流达到屏幕后，屏幕相应位置的压力会发生变化。与根据热图像上气流图像的面积变化率，来检测用户是否吹气以及用户吹气的多维特征类似，手机也可以根据压力传感器检测到的高温区域的面积变化率，来检测用户是否吹气，以及吹气的多维特征。其中，手机在确定用户吹气时，屏幕上压力发生变化位置为气流吹到屏幕上的位置。

手机可以根据吹气行为的特征进行响应。该吹气行为的特征可以包括上述目标位置，即气流到达屏幕上的位置。例如，手机通过屏幕上目标位置显示的目标对象进行响应。示例性的，屏幕上目标位置处的目标对象为一个乒乓球，响应于用户的吹气操作，目标位置的乒乓球弹跳一次。

除了上述目标位置以外，吹气行为的特征还可以包括，气流方向，气流轨迹，吹气时长，吹气强度，吹气模式，吹气次数，吹气频率，吹气节奏，吹气方向，或吹气距离(即吹气时嘴部与屏幕之间的深度)等吹气时的相关参数。

手机可以根据采集到的第一图像和/或第二图像，确定用户当前吹气行为的特征，从而执行该特征对应的响应操作。在一些实施例中，手机上预设有响应操作与吹气行为的不同特征之间的对应关系。在另一些实施例中，响应操作与吹气行为的不同特征之间的对应关系，可以是用户通过系统设置界面设置的，或者用户通过专门的应用程序App设置的。

例如，吹气行为的特征不同，目标对象的大小，颜色，形状，透明度，类型，材质，数量，移动方向，移动距离，旋转角度，作用范围，或响应次数中的一个或多个也不同。

示例性的，目标位置显示的目标对象为如图9D所示的小猪。吹气强度越大，小猪移动的距离越大；吹气强度越小，小猪移动的距离越小。吹气方向不同，小猪移动的方向不同。单次吹气，小猪移动位置。连续多次吹气，小猪发生跳动，并且跳动次数越多。吹气时长不同，小猪的材质不同。比如，吹气时长短，小猪为橡皮小猪；吹气时长长，小猪为钢铁小猪。

再示例性的，目标位置显示的目标对象可以不同。比如，吹气强度小，目标位置显示的目标对象为蜥蜴；吹气强度大，目标位置显示的目标对象为霸王龙。

再示例性的，目标位置显示的目标对象为左下角的气球。图10A为吹气前气球的状态。如图10B所示，吹气时长越长，吹气强度越大，左下角的气球的体积增长的越大。如图10C所示，吹气时长越短，吹气强度越小，气球的体积增长的越小。吹气方向不同，气球飘动的方向不同。每吹气一次，气球换一种颜色。连续吹气两次，气球颜色为红色。连续吹气3次，气球颜色为绿色。

再示例性的，目标位置显示的目标对象为一把枪，吹气强度不同，枪口的旋转角度也不同。

再例如，手机根据吹气行为的特征滚动页面；且吹气行为的特征不同，页面的滚动方向和/或滚动幅度不同。或者，手机根据吹气行为的特征进行翻页；且吹气行为的特征不同，向前或向后翻页的顺序不同和/或翻页的数量不同。手机根据吹气行为的特征更新界面内容；且吹气行为的特征不同，界面的更新效果不同。

示例性的，图11A为吹气前手机显示的界面，图11B和图11C为吹气后手机显示的界面。且图11B对应的吹气强度大，图11C对应的吹气强度小。

再例如，手机根据吹气行为的特征，执行相应的触摸操作。比如，该触摸操作可以是屏幕上的多种基本的触控输入操作。其中，特征不同，该输入操作的类型和/或操作方式不同。示例性的，该类型可以包括点击操作，滑动操作，或拖拽操作等。点击操作的操作方式可以包括，点击位置，点击次数(例如单击、双击或多次点击等)，点击力度(例如轻触或重按等)，或按压时长(例如重按)等中的一个或多个。滑动操作的操作方式包括，滑动位置，滑动方向，或滑动距离等中的一个或多个。拖拽操作的操作方式包括，拖拽对象，拖拽方向，或拖拽距离等中的一个或多个。

示例性的，吹气强度大对应重按，吹气强度小对应轻触。再示例性的，向屏幕中间区域内轻吹，可对应长按操作；向屏幕中间区域内用力吹可对应单击操作；在预设时长内连续吹两次，可以对应双击操作；从屏幕下方向屏幕上方持续吹气可对应向上滑动的操作等。

在一些实施例中，手机可以在屏幕上显示操作标记，以模拟用户在屏幕上的触摸输入操作。例如，手机在显示浏览器界面时，当检测到用户从屏幕下方向屏幕上方持续吹气时，显示如图12A所示的向上移动的手的形状和箭头，手机执行向上滑动的目标响应操作；如图12B所示，手机向上滚动浏览器界面。

对于手机上的不同App，响应操作与用户吹气行为的特征之间的对应关系可以相同也可以不同。手机根据当前运行的App，执行与用户吹气行为的特征对应的响应操作。

示例性的，在镜子应用中，用户轻吹，镜面上的雾气较小，镜面较为模糊；用户用力吹，镜面上的雾气较大，镜面模糊程度较大。在阅读器中，用户从右向左吹气，对应向后翻页的操作。在图库中，用户从左向右吹气，对应切换上一张图片；用户连续吹两次，对应放大或缩小图片；用户在屏幕的中间区域持续吹气，对应退出图库，回到桌面。

在水墨画应用中，手机根据用户吹气的方向和强度，可以控制屏幕上墨水流动的方向、距离和移动后的位置等，以模拟实际场景中墨水在纸上流动的效果，绘制创意水墨画。

手机还可以通过声音进行响应。且吹气行为的特征不同，声音的曲调，音高，音色，音阶，或声道等中的一个或多个也不同。例如，在风铃演奏应用中，手机根据吹气位置，晃动该位置处的风铃进行奏乐；手机在确定用户连续吹气两次后，在预设时长内持续晃动所有的风铃进行奏乐。再例如，吹气强度小，单种乐器演奏；吹气强度大，多种乐器演奏交响乐。

在一些游戏应用中，手机确定吹气时嘴部与屏幕之间的距离较远时，游戏中目标对象跳起的幅度较小；确定吹气时嘴部与屏幕之间的距离较近时，游戏中目标对象跳起的幅度较大。

在一些社交应用中，手机在检测到用户吹气时，可以通过社交应用APP通知给好友，使得好友的手机屏幕出现刮风、下雨、冰雹、洒落花瓣、洒蛋糕、屏幕碎裂等场景的互动效果。例如，当用户轻吹时，可以达到使得好友屏幕出现少量裂痕的效果；当用户用力吹气时，可以达到使得好友整个屏幕完全碎裂的效果。

在一些增强现实技术(augmented reality，AR)应用中，用户吹气配合AR虚拟技术，还可以实现拍摄用户喷火、喷水等特殊效果。

再例如，手机还可以通过灯光进行响应。且吹气行为的特征不同，灯光的颜色，灯光点亮的时长，灯光投射的图形，灯束的数量，或灯光的闪烁频率等中的一个或多个也不同。示例性的，吹气一次，单种颜色的光进行闪烁；连续吹气两次，多种颜色的光交织形成色彩斑斓的效果。

再例如，手机还可以通过振动进行响应。且吹气行为的特征不同，振动的频率，幅度，或时长等中的一个或多个也不同。示例性的，吹气强度小，手机振动一次；吹气强度大，手机按照一定的韵律持续振动。

再例如，手机通过可变硬件机构进行响应。该可变硬件机构可以在目标位置，也可以在目标位置对应的位置(例如与目标位置位于同一水平方向的其他位置)，或者在手机的任意位置。且吹气行为的特征不同，可变机构的伸缩方向，伸缩程度，旋转方向，旋转程度，形状，大小，材质，或颜色等中的一个或多个也不同。

示例性的，该可变机构可以是一个可升降装置(例如可升降摄像头)。吹气强度越大，可升降摄像头升/降的幅度越大。吹气方向朝上，则升降摄像头向上升起；吹气方向朝下，则升降摄像头向下降落。

可见，在本申请的实施例中，手机可以根据摄像头和红外热像仪采集的图像，获得用户的多维特征，从而根据多维特征进行不同的响应操作或多种输入控制，增强人机交互能力，提高趣味性和用户体验。而现有技术中的麦克风检测方案仅能检测用户有没有吹气，无法根据用户吹气映射更多的输入操作，无法进行更多的功能控制，因而功能较为单一，用户体验较差。

并且，在本申请的实施例中，通过吹气行为执行多种响应操作或进行不同的输入控制，可以作为一种紧急输入方法使用，还可以方便特殊群体或手指不方便接触屏幕的用户进行人机交互。

以上是以手机为手机为例进行说明的，本申请以上实施例提供的吹气检测方法，也可以应用于其他类型的手机，此处不再详细说明。

此外，当手机的屏幕较大时，多个用户也可以通过吹气进行多人游戏互动。或者，多个手机也可以配合使用，游戏界面可以投屏到大屏设备上，多个用户可以分别通过自己的手机进行吹气，大屏设备可以展示多个用户的游戏互动情况。从而，可以提高游戏趣味性，提高用户使用体验。

结合以上附图2-图12B的描述，本申请实施例还提供了一种吹气检测方法，可以应用于具有第一图像采集装置和第二图像采集装置的电子设备。参见图13，该方法可以包括：

1301、电子设备采集第一图像和第二图像，第二图像为热图像。

其中，第一图像为第一图像采集装置针对用户人脸拍摄的图像，第二图像为第二图像采集装置针对用户人脸拍摄的热图像。例如，电子设备可以为具有图2所示结构的手机，第一图像采集装置可以为图2所示的摄像头，第二图像采集装置可以为图2所示的红外热像仪。

1302、电子设备根据第二图像，识别用户的吹气行为。

电子设备可以根据针对用户人脸拍摄的热图像，识别用户是否吹气等吹气行为。在一些实施例中，电子设备可以包括屏幕，电子设备可以根据第二图像识别用户针对屏幕的吹气操作。

1303、电子设备根据第一图像和/或第二图像，识别用户人脸的朝向。

1304、电子设备根据用户人脸的朝向，确定用户的吹气方向。

示例性的，电子设备可以根据用户人脸的朝向，确定如图7A所示的用户吹气时脸部偏转的角度θ’和φ’，脸部偏转的角度限定的方向即为用户的吹气方向。

1305、电子设备根据第一图像和第二图像，确定用户人脸相对于电子设备的三维信息。

示例性的，用户人脸相对于电子设备的三维信息具体为嘴部相对于摄像头的三维信息。电子设备基于如图7A和图7B所示的双目测距原理确定该三维信息。

1306、电子设备根据吹气方向和三维信息，确定吹气气流到达电子设备的目标位置。

示例性的，电子设备可以根据图7A-图8所示的过程确定目标位置A。在获得目标位置后，电子设备可以根据多个目标位置，确定电子设备上的气流方向。

1307、电子设备根据吹气行为的特征执行响应操作，该特征包括目标位置。

此外，吹气行为的特征还可以包括，气流方向，气流轨迹，吹气时长，吹气强度，吹气模式，吹气次数，吹气频率，吹气节奏，吹气方向，或吹气距离等。示例性的，电子设备根据吹气行为的特征执行响应操作的示意图可以参见上述图10A-图12B。

在该方案中，电子设备可以通过常用的第一图像采集装置，并结合红外摄像装置(即第二图像采集装置)，就可以确定吹气时人脸与电子设备之间的三维立体信息，进而可以根据该三维立体信息确定气流到达屏幕上的位置和气流的方向等，而不需要再专门设置3D摄像头，从而可以用较少的摄像头识别用户的吹气行为。

并且，电子设备还可以根据红外热像仪采集的热图像，获得用户吹气行为的多维特征，从而根据多维特征执行不同的响应操作或进行多种输入控制，增强人机交互能力，提高趣味性和用户体验。

在一些实施例中，上述步骤1302具体可以包括：

1302a、电子设备识别多个第二图像上的气流图像。

1302b、电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率，识别用户的吹气行为。

其中，面积变化率dS为：dS＝(S2-S1)/T。S1表示相邻采集的前后两张第二图像中，前一张第二图像上气流图像的面积；S2表示后一张第二图像上气流图像的面积；T表示相邻两张第二图像的采集间隔。

参见图14，步骤1302b具体可以包括：

1401、若第一检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值大于或者等于第一预设值，则电子设备确定检测到用户的吹气操作。

其中，若第一检测周期内，气流图像的面积变化率的平均值大于或者等于第二预设值，第二预设值大于第一预设值，则吹气操作的吹气强度大。若第一检测周期内，气流图像的面积变化率的平均值大于或者等于第一预设值，且小于第二预设值，则吹气操作的吹气强度小。

在步骤1401的基础上，上述步骤1302b还可以包括：

1402、在电子设备确定检测到用户的吹气操作后，若第二检测周期内采集到的多个第二图像中，相邻第二图像之间气流图像的面积变化率的平均值小于第三预设值，第三预设值小于或者等于第一预设值，则电子设备确定用户停止吹气。

其中，从电子设备确定检测到用户的吹气操作，到电子设备确定检测到用户停止吹气之间的时长，为吹气操作的吹气时长。

在另一些实施例中，步骤1302b具体可以包括：

1403、若电子设备检测到相邻采集的两张第二图像之间，气流图像的面积变化率大于或者等于第一预设值，则电子设备确定检测到用户的吹气操作。

1404、若电子设备检测到相邻采集的两张第二图像之间气流图像的面积变化率小于第三预设值，第三预设值小于或者等于第一预设值，则电子设备确定检测到用户停止吹气。

在上述步骤1401-1404的基础上，上述步骤1302b还可以包括：

1405、电子设备根据多个第二图像中，相邻第二图像之间气流图像的面积变化率的变化，确定吹气和停止吹气的情况。

1406、电子设备根据吹气和停止吹气的情况，确定用户的吹气模式，吹气模式包括单次吹气或预设时长内连续多次吹气。

本申请实施例还提供了一种电子设备，可以包括：采集单元，识别单元，确定单元，执行单元，以及显示单元等。这些单元可以执行上述实施例中的各个步骤，以实现吹气检测方法。

本申请实施例还提供了一种电子设备，包括一个或多个处理器，存储器，第一图像采集装置，第二图像采集装置，以及一个或多个计算机程序。其中，第一图像采集装置用于采集针对用户人脸的图像；第二图像采集装置用于采集针对用户人脸的热图像。一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被一个或多个处理器执行时，使得电子设备执行上述实施例中的各个步骤，以实现吹气检测方法。

示例性的，当该电子设备为具有图2所示结构的设备时，该电子设备中的处理器可以为图2中的处理器110，该电子设备中的存储器可以为图2中的内部存储器121，该电子设备中的第一图像采集装置可以为图2中的摄像头193，该电子设备中的第二图像采集装置可以为图2中的红外热像仪196。

本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的吹气检测方法。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的吹气检测方法。

另外，本申请的实施例还提供一种装置，该装置具体可以是芯片，该芯片可以包括处理器和存储器，该存储器中存储有指令。当该指令被处理器执行时，使得该芯片执行上述相关步骤，以实现上述实施例中的吹气检测方法。

或者，该装置可以是芯片系统，该芯片系统应用于具有第一图像采集装置和第二图像采集装置的电子设备。芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，电子设备执行上述相关步骤，以实现上述实施例中的吹气检测方法。

另外，本申请的实施例还提供一种装置，该装置具体可以是组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的吹气检测方法。

其中，本申请实施例提供的电子设备、芯片，计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种吹气检测方法，应用于电子设备，所述电子设备包括第一图像采集装置和第二图像采集装置，其特征在于，所述方法包括：

所述电子设备采集第一图像和第二图像；所述第一图像为所述第一图像采集装置针对用户人脸拍摄的图像，所述第二图像为所述第二图像采集装置针对所述用户人脸拍摄的热图像；

所述电子设备根据所述第二图像，识别所述用户的吹气行为；

所述电子设备根据所述第一图像和/或所述第二图像，识别所述用户人脸的朝向；

所述电子设备根据所述用户人脸的朝向，确定用户的吹气方向；

所述电子设备根据所述第一图像和所述第二图像，确定所述用户人脸相对于所述电子设备的三维信息；

所述电子设备根据所述吹气方向和所述三维信息，确定吹气气流到达所述电子设备的目标位置；

所述电子设备根据所述吹气行为的特征执行响应操作，所述特征包括所述目标位置。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述电子设备根据多个所述目标位置，确定所述电子设备上的气流方向。

3.根据权利要求1或2所述的方法，其特征在于，所述电子设备根据所述第二图像，识别所述用户的吹气行为，包括：

所述电子设备识别多个所述第二图像上的气流图像；

所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率，识别所述用户的吹气行为；

所述面积变化率dS为：

dS＝(S2-S1)/T；

其中，S1表示相邻采集的前后两张所述第二图像中，前一张所述第二图像上气流图像的面积；S2表示后一张所述第二图像上气流图像的面积；T表示相邻两张所述第二图像的采集间隔。

4.根据权利要求3所述的方法，其特征在于，所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率，识别所述用户的吹气行为，包括：

若第一检测周期内采集到的多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率的平均值大于或者等于第一预设值，则所述电子设备确定检测到所述用户的吹气操作。

5.根据权利要求4所述的方法，其特征在于，若所述第一检测周期内，所述气流图像的面积变化率的平均值大于或者等于第二预设值，所述第二预设值大于所述第一预设值，则所述吹气操作的吹气强度大；

若所述第一检测周期内，所述气流图像的面积变化率的平均值大于或者等于所述第一预设值，且小于所述第二预设值，则所述吹气操作的吹气强度小。

6.根据权利要求4或5所述的方法，其特征在于，所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率，识别所述用户的吹气行为，还包括：

在所述电子设备确定检测到所述用户的吹气操作后，若第二检测周期内采集到的多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率的平均值小于第三预设值，所述第三预设值小于或者等于所述第一预设值，则所述电子设备确定所述用户停止吹气；

其中，从所述电子设备确定检测到所述用户的吹气操作，到所述电子设备确定检测到所述用户停止吹气之间的时长，为所述吹气操作的吹气时长。

7.根据权利要求3所述的方法，其特征在于，所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率，识别所述用户的吹气行为，包括：

若所述电子设备检测到相邻采集的两张所述第二图像之间，所述气流图像的面积变化率大于或者等于第一预设值，则所述电子设备确定检测到所述用户的吹气操作；

若所述电子设备检测到相邻采集的两张所述第二图像之间所述气流图像的面积变化率小于第三预设值，所述第三预设值小于或者等于所述第一预设值，则所述电子设备确定检测到所述用户停止吹气。

8.根据权利要求4-7任一项所述的方法，其特征在于，所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率，识别所述用户的吹气行为，还包括：

所述电子设备根据多个所述第二图像中，相邻所述第二图像之间所述气流图像的面积变化率的变化，确定吹气和停止吹气的情况；

所述电子设备根据所述吹气和停止吹气的情况，确定所述用户的吹气模式，所述吹气模式包括单次吹气或预设时长内连续多次吹气。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述用户人脸相对于所述电子设备的三维信息包括，所述用户的嘴部相对于所述电子设备的所述第一图像采集装置的三维信息。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述电子设备包括屏幕，所述电子设备根据所述第二图像，识别所述用户的吹气行为，包括：

所述电子设备根据所述第二图像，识别所述用户针对所述屏幕的吹气行为。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述吹气行为的特征还包括吹气方向，吹气距离，气流方向，吹气强度，吹气时长，吹气次数，吹气频率，吹气节奏，或吹气模式中的一种或多种。

12.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述吹气行为的特征执行响应操作，包括：

所述电子设备根据所述吹气行为的特征，针对所述目标位置显示的目标对象执行响应操作；

其中，所述特征不同，所述目标对象的大小，颜色，形状，透明度，类型，材质，数量，移动方向，移动距离，旋转角度，作用范围，或响应次数中的一个或多个也不同。

13.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述吹气行为的特征执行响应操作，包括：

所述电子设备根据所述吹气行为的特征，执行相应的触摸操作；

其中，所述特征不同，所述触摸操作的类型和/或操作方式不同；所述类型包括点击操作，滑动操作，或拖拽操作；

所述点击操作的操作方式包括，点击位置，点击次数，点击力度，或按压时长中的一个或多个；

所述滑动操作的操作方式包括，滑动位置，滑动方向，或滑动距离中的一个或多个；

所述拖拽操作的操作方式包括，拖拽对象，拖拽方向，或拖拽距离中的一个或多个。

14.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述吹气行为的特征执行响应操作，包括：

所述电子设备根据所述吹气行为的特征滚动页面；且所述特征不同，所述页面的滚动方向和/或滚动幅度不同；

或者，所述电子设备根据所述吹气行为的特征进行翻页；且所述特征不同，向前或向后翻页的顺序不同和/或翻页的数量不同；

所述电子设备根据所述吹气行为的特征更新界面内容；且所述特征不同，界面的更新效果不同。

15.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述吹气行为的特征进行响应，包括：

所述电子设备通过声音进行响应，且所述特征不同，所述声音的曲调，音高，音色，音阶，或声道中的一个或多个也不同；

或者，所述电子设备通过灯光进行响应，且所述特征不同，所述灯光的颜色，灯光点亮的时长，灯光投射的图形，灯束的数量，或灯光的闪烁频率中的一个或多个也不同；

或者，所述电子设备通过振动进行响应，且所述特征不同，所述振动的频率，幅度，或时长中的一个或多个也不同。

16.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述吹气行为的特征进行响应，包括：

所述电子设备通过可变机构进行响应，且所述特征不同，所述可变机构的伸缩方向，伸缩程度，旋转方向，旋转程度，形状，大小，材质，或颜色中的一个或多个也不同。

17.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，第一图像采集装置和第二图像采集装置；

其中，所述第一图像采集装置用于采集针对用户人脸的图像；所述第二图像采集装置用于采集针对所述用户人脸的热图像；

所述存储器中存储有代码；当所述代码被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-16中任一项所述的吹气检测方法。

18.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-16中任一项所述的吹气检测方法。

19.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-16中任一项所述的吹气检测方法。

20.一种芯片系统，其特征在于，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路和一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1-16中任一项所述的吹气检测方法。

Images