CN110688001A - 一种环境活动感知方法及终端设备 - Google Patents

Abstract

本申请公开了一种环境活动感知方法及终端设备，终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。因此，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

Description

一种环境活动感知方法及终端设备

技术领域

本申请涉及终端设备技术领域，尤其涉及一种环境活动感知方法及终端设备。

背景技术

随着人工智能技术的发展，各种智能终端产品(后续简称终端设备)走进了人们的生活，这些产品可以通过用户界面显示内容、声音、甚至动作，或者执行一些内部操作，实现人机交互，提高人们的体验。

在一些场景中，这些终端设备是由用户对其进行操作后，才能被动开启人机交互的模式，这种方法虽然节省功耗，但是用户体验较低，灵活性较差。

在另一些场景中，终端设备需要配备额外的红外运动传感器或者摄像头来感知用户的活动情况，从而开启或关闭人机交互模式。虽然该方法提高了用户体验，但是由于需要配备额外的红外运动传感器或者摄像头，因此该方法增加了终端设备的硬件成本。

发明内容

本申请提供一种环境活动感知方法及终端设备，实现在不增加终端设备的硬件成本的基础上感知周围的环境活动。

第一方面，本申请实施例提供了一种环境活动感知方法，所述方法应用于具有扬声器和麦克风的终端设备。所述方法包括以下步骤：

终端设备通过扬声器播放预设的第一音频信号；然后所述终端设备通过麦克风采集周围环境中的第二音频信号；所述终端设备根据所述第一音频信号和所述第二音频信号，确定存在物体靠近所述终端设备。

在该方法中，终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。并且，由于目前智能终端设备中扬声器和麦克风属于基础部件，显然，该方法无需对终端设备的硬件进行改进。综上，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

在一个可能的设计中，所述终端设备可以在接收到指示启动环境活动感知功能的指令后，启动环境活动感知功能，然后执行以上步骤，监测是否有物体靠近或远离所述终端设备。

在一个可能的设计中，所述第一音频信号可以为音强较低的音乐，或者超声波。其中，所述第一音频信号的音强变化幅度缓慢。这样可以避免由于播放所述第一音频信号对周围环境造成的干扰。

在一个可能的设计中，当所述终端设备确定存在物体靠近所述终端设备之后，所述方法还包括以下任意一项或组合中的步骤自适应调整用户的人机交互动作，以适应用户增强的人机交互需求：所述终端设备启动或改变人机交互行为；所述终端设备停止通过所述扬声器播放所述第一音频信号；所述终端设备停止通过所述麦克风采集所述第二音频信号。

通过该设计，所述终端设备可以在感知到有物体靠近所述终端设备时，自动进行相应的交互动作，以提高用户体验。

在一个可能的设计中，当所述终端设备确定存在物体远离所述终端设备之后，所述终端设备可以通过停止或改变人机交互行为，以适应用户减弱的人机交互需求，以及节省功耗。

在一个可能的设计中，所述终端设备可以通过以下方式，根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备：

方式一：当所述终端设备具有音频数据分析功能时，所述终端设备将所述第二音频信号与所述第一音频信号相比较，得到信号差；所述终端设备确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备；所述终端设备确定所述信号差的音强持续减弱时，确定存在物体远离所述终端设备。

方式二：当所述终端设备具有音频数据分析功能时，所述终端设备可以根据所述第一音频信号和所述第二音频信号估计所述第一音频信号的反射音频信号的音强变化，然后通过对所述第一音频信号的反射音频信号的音强变化(持续增加或持续减弱)，最终确定环境中物体的活动。例如，所述终端设备可以对所述第一音频信号和所述第二音频信号进行叠加、加权和，或求平均值等计算，通过计算结果可以体现所述第一音频信号的反射音频信号的音强变化。另外，所述终端设备还可以通过传统的算法，根据所述第一音频信号和所述第二音频信号，计算所述第一音频信号的反射音频信号的音强变化。

方式三：当所述终端设备不具有音频数据分析功能时，所述终端设备将所述第一音频信号和所述第二音频信号发送给计算设备，并接收所述计算设备发送的通知信息，所述通知信息用于通知所述终端设备存在物体靠近或远离所述终端设备。

由于第一音频信号的反射音频信号的音强变化，可以体现反射点(即物体)与所述麦克风的距离，因此，所述终端设备可以通过所述第一音频信号的反射音频信号的音强变化，确定是否有物体靠近或远离所述终端设备。在该方式一中，所述信号差为所述终端设备估计的第一音频信号的反射信号，因此通过该方式一，可以提高所述终端设备确定存在物体靠近所述终端设备的准确度。另外，在方式三中，所述计算设备也可以通过方式一或方式二中的计算方法，来确定是否存在物体靠近所述终端设备。

在一个可能的设计中，由于所述终端设备周围环境嘈杂、复杂多变，所述第二音频信号为所述第一音频信号、所述第一音频信号的反射音频信号，以及噪声(可选的，例如周围噪音或其他情况导致的音强变化)叠加起来的音频信号。为了提高所述终端设备确定所述第一音频信号的反射音频信号的准确度，在所述终端设备将所述第二音频信号与所述第一音频信号相比较之前，所述终端设备先对所述第二音频信号进行滤波，以过滤掉一部分噪声。示例性的，所述终端设备可以通过均衡滤波器对所述第二音频信号进行滤波。其中，所述均衡滤波器可以为一个硬件部件或者为软件模块，本申请对此不做限定。

在一个可能的设计中，所述终端设备可以通过以下方式，确定所述第一信号差的音强持续增加：

方式一：所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定相邻两个第一采样数据的音强差；所述终端设备确定最新得到的连续N个相邻两个第一采样数据的音强差均大于0，其中，N为大于或等于2的整数。

方式二：所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定相邻两个第一采样数据的音强差；所述终端设备确定最新得到的连续X个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例超过预设的第一比例阈值，其中，X为大于或等于2的整数，所述第一比例阈值大于0且小于1。

方式三：所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定每个第一采样数据的音强变化斜率，确定最新得到的连续M个第一采样数据的音强变化斜率均大于0，其中，M为大于或等于2的整数。

方式四：所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定每个第一采样数据的音强变化斜率；所述终端设备确定最新得到的连续Y个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例超过预设的第二比例阈值，其中，Y为大于或等于2的整数，所述第二比例阈值大于0且小于1。

方式五：所述终端设备确定在第一时间窗口内的所述信号差与存储的第一音频信号模板匹配，其中，所述第一时间窗口的结束时刻为当前时刻，所述第一时间窗口的时长为预设的，所述第一音频信号模板中音频信号的音强持续增加。

通过该设计，所述终端设备可以通过任一种方式灵活地确定所述信号差的音强持续增加。

在一个可能的设计中，所述终端设备可以通过以下方式，确定所述信号差的音强持续减弱：

方式一：所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定相邻两个第二采样数据的音强差；所述终端设备确定最新得到的连续P个相邻两个第二采样数据的音强差均小于0，其中，所述P为大于2的整数。

方式二：所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定相邻两个第二采样数据的音强差；所述终端设备确定最新得到的连续R个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例超过预设的第三比例阈值，其中，R为大于或等于2的整数，所述第三比例阈值大于0且小于1。

方式三：所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定每个第二采样数据的音强变化斜率，确定最新得到的连续Q个第二采样数据的音强变化斜率均小于0，其中，所述Q为大于2的整数。

方式四：所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定每个第二采样数据的音强变化斜率；所述终端设备确定最新得到的连续S个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例超过预设的第四比例阈值，其中，S为大于或等于2的整数，所述第四比例阈值大于0且小于1。

方式五：所述终端设备确定在第二时间窗口内的所述信号差与存储的第二音频信号模板匹配，其中，所述第二时间窗口的结束时刻为当前时刻，所述第二时间窗口的时长为预设的，所述第二音频信号模板中音频信号的音强持续减弱。

通过该设计，所述终端设备可以通过任一种方式灵活地确定所述信号差的音强持续减弱。

第二方面，本申请实施例还提供了一种终端设备，包括用于执行上述第一方面各个步骤的单元或模块。

第三方面，本申请提供一种终端设备，包括至少一个处理元件和至少一个存储元件，其中所述至少一个存储元件用于存储程序和数据，所述至少一个处理元件用于执行本申请第一方面中提供的方法。

第四方面，本申请实施例中还提供一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现第一方面中提供的方法。

第五方面，本申请实施例还提供一种包含指令的计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面中提供的所述的方法。

第六方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备实现上述第一方面中所涉及的功能。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终端设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

附图说明

图1为本申请实施例提供的一种终端设备的结构图；

图2为本申请实施例提供的一种音频信号的传播示意图；

图3为本申请实施例提供的一种环境活动感知方法的流程图；

图4A为本申请实施例提供的第一音频信号的示例图；

图4B为本申请实施例提供的一种第二音频信号的示例图；

图4C为本申请实施例提供的另一种第二音频信号的示例图；

图4D为本申请实施例提供的音频信号的反射音频信号的音强变化示例图；

图4E为本申请实施例提供的确定信号差的音强持续增加的示例图；

图4F为本申请实施例提供的确定信号差的音强持续减弱的示例图；

图5为本申请实施例提供的终端设备中多个麦克风的分布示例图；

图6为本申请实施例提供的又一种终端设备的结构图；

图7为本申请实施例提供的又一种终端设备的结构图。

具体实施方式

本申请提供一种环境活动感知方法及终端设备，实现在不增加终端设备的硬件成本的基础上感知周围的环境活动。其中，方法和终端设备是基于同一技术构思的，由于方法及终端设备解决问题的原理相似，因此终端设备与方法的实施可以相互参见，重复之处不再赘述。

本申请实施例提供的方案中，终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。并且，由于目前智能终端设备中扬声器和麦克风属于基础部件，显然，该方法无需对终端设备的硬件进行改进。综上，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

1)、终端设备，为向用户提供某些服务的智能设备。其中，所述终端设备具有音频信号的收发功能，即所述终端设备内部内嵌有音频电路，包含扬声器和麦克风。终端设备的一些举例为：智能手机、电脑、人工智能(artificial intelligence，AI)语音终端、可穿戴设备、便携式电子设备、智能家居设备(智能电视、智能音箱等)、智能展示设备(广告牌、展示机器人、展示屏等)等。本申请对此不作限定。

在一些实施方式中，所述终端设备具有音频数据分析功能。在该实施方式下，所述终端设备可以自行对播放的预设音频信号和采集的音频信号进行分析，从而判断是否存在物体靠近或远离所述终端设备。

在另一些实施方式中，所述终端设备可以将采集的音频信号以及预设的音频信号以音频数据的形式发送给具有音频数据分析功能的计算设备，然后在该计算设备确定是否存在物体靠近或远离所述终端设备后通知所述终端设备最终的结果。

2)、人机交互模式，为终端设备进入通过人机交互行为向用户提供服务的状态。

示例性的，终端设备的人机交互模式可以但不限于通过以下任一项或任意组合的人机交互行为实现：

终端设备唤醒显示屏，并通过显示屏显示用户界面或多媒体文件的播放界面。

终端设备通过扬声器发出语音信息，向用户提供语音服务。例如，向用户做出语音问候、向用户进行语音讲解，向用户进行日历或任务提醒。

终端设备执行某些物理动作，例如终端设备可以调整显示器的方向或位置，或者所述终端设备向前移动。

3)、音频信号的音强，即音频信号的幅度。

4)、计算设备，在本申请实施例中，为与终端设备连接、具有音频数据分析功能的设备，能够根据终端设备发送的音频数据，分析是否存在物体靠近或远离所述终端设备。在一些实施方式中，计算设备可以是服务器(如云服务器、通用服务器等)、网络设备、也可以是其他电子设备。

例如，在智能家居场景下，终端设备为智能音箱，所述计算设备可以为所述智能音箱接入的网络设备，例如路由器、家庭基站(home evolved NodeB，或home Node B)，接入点(access point，AP)等等。所述计算设备也可以是云端服务器。所述计算设备还可以是与智能音箱连接的其他电子设备，例如智能手机、电脑等。

5)、多个，是指两个或两个以上。

6)、“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

下面结合附图对本申请实施例做进行具体说明。

图1示出了本申请实施例提供的环境活动感知方法可以适用的一种终端设备的结构图。参阅图1所示，所述终端设备100包括：通信单元101、处理器102、存储器103、显示单元104、输入单元105、音频电路106等部件。下面结合图1对所述终端设备100的各个构成部件进行具体的介绍。

通信单元101用于实现终端设备100与其他设备的数据通信。例如，在终端设备100通过计算设备确定是否存在物体靠近或远离所述终端设备的场景中，所述终端设备100可以通过所述通信单元101向所述计算设备发送包含采集的音频信号以及预设的音频信号的数据。另外，所述终端设备100还可以通过所述通信单元101接收所述计算设备返回的指示最终结果的通知信息。可选的，所述通信单元101中可以包括无线通信模块，和/或，移动通信模块。示例性的，所述无线通信模块可以但不限于包含无线保真(wireless fidelity，WiFi)模块1011，和/或，蓝牙(bluetooth)模块1012等。

蓝牙无线技术和WiFi技术均属于短距离无线传输技术，所述终端设备100通过WiFi模块1011可以连接接入点(access point，AP)，从而实现数据网络的访问，以及通过所述AP与连接所述AP其他的电子设备以及数据网络中的服务器通信。所述终端设备100还可以通过蓝牙模块1012直接与其他电子设备建立连接。

可选的，所述通信单元101中包含移动通信模块时，所述移动通信模块中可以包含射频(radio frequency，RF)电路。例如，当所述终端设备100为智能手机时，所述终端设备100可以通过所述RF电路与网络设备建立无线连接，通过移动通信系统实现通话或数据网络的访问，以及实现所述终端设备100与网络设备之间的数据通信。

可选的，所述终端设备100还可以包括通信接口，用于与其他设备实现物理连接。可选的，所述通信接口与所述其他设备的通信接口通过电缆连接，实现所述终端设备100和其他设备之间的数据传输。

所述存储器103可用于存储软件程序以及数据。所述处理器102通过运行存储在所述存储器103的软件程序以及数据，从而执行所述终端设备100的各种功能应用以及数据处理。在本申请实施例中，所述软件程序可以为音频数据分析程序、人机交互程序等。所述数据包括音频信号的音频数据。其中，在一些实施方式中，所述音频数据分析程序可以对所述终端设备发出的预设的音频信号的音频数据和接收的音频信号的音频数据进行分析，从而判断是否存在物体靠近或远离所述终端设备100。在另一些实施方式中，所述音频数据分析程序将采集的音频信号以及预设的音频信号以音频数据的形式通过所述通信单元101发送给计算设备，然后再通过所述通信单元101获得所述计算设备发送的通知信息，然后通过所述通知信息，确定是否存在物体靠近或远离所述终端设备100。所述人机交互程序用于执行所述终端设备100的人机交互动作。

可选的，所述存储器103可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序等；存储数据区可存储用户输入或者所述终端设备100在运行软件程序过程中创建的数据等。此外，所述存储器103可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述输入单元105可用于接收用户输入的字符信息以及信号。可选的，输入单元105可包括触控面板1051以及其他输入设备(例如功能键)。

其中，所述触控面板1051，也称为触摸屏，可收集用户在其上或附近的触摸操作，生成相应的触摸信息发送给处理器102，以使处理器102执行该触摸信息对应的命令。可选的，所述触控面板1051可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。例如，用户可以通过所述触控面板1051启动环境活动感知的功能。

所述显示单元104用于呈现用户界面或多媒体文件的播放界面等内容。所述显示单元104可以包括显示面板1041。可选的，所述显示面板1041可以采用液晶显示屏(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置。

需要说明的是，所述触控面板1051可覆盖所述显示面板1041，虽然在图1中，所述触控面板1051与所述显示面板1041是作为两个独立的部件来实现所述终端设备100的输入和输出功能，但是在本申请实施例中，可以将所述触控面板1051与所述显示面板1041集成(即触摸显示屏，简称显示屏)而实现所述终端设备100的输入和输出功能。

所述处理器102是所述终端设备100的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在所述存储器103内的软件程序和/或模块，以及调用存储在所述存储器103内的数据，执行所述终端设备100的各种功能和处理数据，从而实现基于所述终端设备100的多种业务。例如，所述处理器102通过内部接口和线路连接音频电路106，然后通过所述音频电路106中的扬声器1061播放预设的音频信号，以及通过所述音频电路106中的麦克风1062采集周围环境中的音频信号。又例如，所述处理器102可以运行存储在所述存储器103中的音频数据分析程序、人机交互程序，实现自动确定是否有物体靠近或远离所述终端设备100，进而根据最终结果实现人机交互的自动化。

可选的，所述处理器102可包括一个或多个处理单元。可选的，所述处理器102可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到所述处理器102中。

所述音频电路106，包括扬声器1061，麦克风1062，可提供用户与所述终端设备100之间的音频接口。音频电路106可将接收到的音频数据转换为电信号，并传输到所述扬声器1061，由所述扬声器1061将电信号转换为音频信号(即声波)输出。另一方面，所述麦克风1062将采集的音频信号转换为电信号，由所述音频电路106接收后将电信号转换为音频数据，以进行传输、分析或存储等进一步处理。可选的，所述音频电路106还可以包含耳机接口，用于连接有线耳机。

其中，扬声器1061，也称“喇叭”，用于将承载音频数据的电信号转换为音频信号，并输出。例如，终端设备100可以通过扬声器1061播放音乐，或者发出语音提示等语音信息。

麦克风1062，也称“话筒”、“传声器”，用于采集所述终端设备100的周围环境中的音频信号(例如周围环境声音，包括人发出的声音、设备发出的声音等)，并将音频信号转换为承载音频信号的电信号。例如，当所述终端设备100启动环境活动感知功能时，所述终端设备100可以通过扬声器1061播放预设的第一音频信号，然后通过麦克风采集周围环境中的第二音频信号，然后根据所述第一音频信号和所述第二音频信号，判定物体靠近或远离所述终端设备100。

如图2所示，一般音频信号(即声波)通过介质传播，且声波在介质传播过程中会造成能量(通过音频信号的音强体现)消耗。并且，随着音频信号的传输时间或传输距离的增加，能量的消耗也会增加。另外，声波具有反射特性，即当所述声波在传播过程中，从一种介质入射到另一种不同介质时，声波在两种介质的分界面处将发生反射现象，即使入射声波的一部分能量将会返回前一介质中。如图2所示终端设备100的扬声器1061播放的音频信号在所述终端设备100周围传播，在遇到物体(墙面或人体)时，会反射回来一部分音频信号。

由于扬声器1061和麦克风1062均设置在所述终端设备100内部，物理距离较小，因此，在所述扬声器1061播放的第一音频信号传播到所述麦克风1062处的能量消耗极少，可以忽略不计。因此，在本申请实施例中认为麦克风1062可以采集到所述扬声器1061播放的第一音频信号。

另外，当所述终端设备100周围环境较为嘈杂时，所述麦克风1062还可以收集到噪音。根据声波的反射特性，当所述终端设备100周围包含物体时，在所述麦克风1062还会收集到所述第一音频信号的反射音频信号。综上可知，所述麦克风1062收集到的第二音频信号为所述第一音频信号、周围噪音(可选的)，以及所述第一音频信号的反射音频信号叠加起来的音频信号。

需要说明的是，当所述终端设备100周围的物体(例如墙面)位置不发生变化，那么第一音频信号在所述物体的反射点到所述麦克风1062处距离不变，即第一音频信号的反射音频信号的能量消耗固定不随时间变化。当所述终端设备100周围的物体(例如人体)位置发生变化，那么第一音频信号在所述物体的反射点到所述麦克风1062处距离随着时间变化，即第一音频信号的反射音频信号的能量消耗也随着时间变化。具体的，当物体靠近所述终端设备100时，那么所述第一音频信号的反射音频信号的能量消耗越来越少，换句话说，所述第一音频信号的反射音频信号的音强越来越大；当物体远离所述终端设备100时，那么所述第一音频信号的反射音频信号的能量消耗越来越多，换句话说，所述第一音频信号的反射音频信号的音强越来越小。

因此，本申请实施例中，终端设备或计算设备利用这种现象，通过对麦克风1062采集的第二音频信号、存储的第一音频信号进行分析，判断物体是否靠近或远离所述终端设备100，从而使所述终端设备100可以根据判断结果，自动执行相应的人机交互动作，从而提高用户的体验。

还需要注意的是，所述终端设备100中可以设置至少一个麦克风1062。当所述终端设备100中设置多个麦克风1062，且所述多个麦克风1062可以分布在所述终端设备100的不同位置，用于采集所述终端设备100周围环境中不同方向的第二音频信号。这样，所述终端设备或计算设备可以根据所述多个第二音频信号以及所述第一音频信号，判断在哪个方向上有物体靠近或远离所述终端设备100，从而可以提高人机交互的有效性，进而可以进一步提高用户的体验。

另外，所述终端设备100还可以包含一种或多种传感器、摄像头、电源管理模块、电池等部件，本申请对此不作限定。

本领域技术人员可以理解，图1中示出的终端设备的结构并不构成对终端设备的限定，本申请实施例提供的终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本申请实施例提供了一种环境活动感知方法，该方法适用于如图1所示的终端设备100中。下面以图1所示的终端设备100为例，对该方法进行说明。参阅图3所示，该方法的流程包括：

S301：终端设备的处理器102在启动所述环境活动感知功能后，通过扬声器1061播放预设的第一音频信号。

可选的，所述处理器102可以在接收到指令后，启动所述环境活动感知功能。

在一种实施方式中，所述指令可以为所述终端设备的开机指令，或者为用户通过触摸显示屏或者功能键输入的指令。

在另一种实施方式中，所述处理器102通过计算设备进行音频数据分析获得物体靠近或远离所述终端设备的行为的场景中，所述指令可以为所述计算设备与所述终端设备的通信单元101(例如WiFi模块1011或蓝牙模块1012等)建立通信连接后，向所述通信单元101发送的消息(例如，连接成功消息)。即所述处理器102通过通信单元101与所述计算设备建立连接后，自动启动上述功能。

在又一种实施方式中，当所述处理器102通过通信单元101与其他设备建立通信连接后，用户可以通过其他设备向所述处理器102发送指令，指示所述终端设备启动环境活动感知功能。在该场景中，所述指令为所述处理器102通过所述通信单元101接收的其他设备发送的指令。

在又一种实施方式中，所述处理器102可以在指定时间段内(例如每天人员流动性较大的时间段)或按照设定周期，通过所述扬声器1061播放所述第一音频信号。

在又一种实施方式中，所述处理器102开启人机交互模式后，启动所述环境活动感知功能，以便根据感知的用户的动作，从而自动调整人机交互的动作。

所述处理器102在通过扬声器1061播放预设的第一音频信号时，可以读取存储在存储器103内部的第一音频数据，然后通过音频电路106将所述第一音频数据转换为电信号传输到所述扬声器1061，再由所述扬声器1061将该电信号转换为所述第一音频信号进行播放。

另外，为了避免由于播放所述第一音频信号对周围环境造成干扰，在一个实施方式中，所述第一音频信号可以为音强较低的音乐，即所述处理器102控制所述扬声器1061通过较低的音量播放所述第一音频信号。在另一个实施方式中，所述扬声器1061具有播放超声波的能力，所述第一音频信号可以为一段超声波。进一步的，为了便于所述处理器102进行音频数据分析，所述第一音频信号的音强变化幅度缓慢，如图4A所示。

S302：所述处理器102通过麦克风1062采集周围环境中的第二音频信号。

与所述处理器102通过扬声器1061播放所述第一音频信号的过程相反，所述处理器102在执行S302时，首先所述麦克风1062可以将采集的所述第二音频信号转换为电信号并发送给音频电路106，然后由所述音频电路106接收该电信号并转换为第二音频数据，最后将所述第二音频数据发送给所述处理器102。

需要说明的是，在本申请实施例中，音频信号在播放后和采集前是以声波的形式来表现，而在后续所述处理器102或计算设备在进行音频数据分析过程(包含音频信号传输)中，音频信号均以音频数据的形式来表现。

通过图2所示的声音传输过程的描述可知，所述麦克风1062采集的所述第二音频信号为所述第一音频信号、所述第一音频信号的反射音频信号，以及噪声(可选的，周围噪音或者其他情况(例如空气流动)导致的音强变化)叠加起来的音频信号，如图4B和图4C所示。

S303：所述处理器102根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备。

通过图2所示的声音传输过程的描述可知，所述麦克风1062采集的所述第二音频信号为所述第一音频信号、所述第一音频信号的反射音频信号，以及噪声(可选的)叠加起来的音频信号。并且，随着物体靠近或远离所述终端设备，所述第一音频信号的反射音频信号的音强持续增加或减弱，如图4D所示。

因此，在本申请实施例中，可以利用上述现象，首先根据所述第二音频信号和所述第一音频信号，确定所述第一音频信号的反射音频信号，然后通过所述反射音频信号的变化曲线，来确定当前是否有物体靠近和远离所述终端设备。具体的，在本申请实施例中，所述处理器102可以通过以下实施方式，确定存在物体靠近或远离所述终端设备。

第一种实施方式：所述处理器102具有音频数据分析功能。所述处理器102可以对所述第一音频信号和所述第二音频信号进行分析，确定环境中物体的活动，即是否存在物体靠近或远离所述终端设备。

在一些示例中，所述处理器102可以根据所述第一音频信号和所述第二音频信号估计所述第一音频信号的反射音频信号的音强变化，然后通过对所述第一音频信号的反射音频信号的音强变化(持续增加或持续减弱)，最终确定环境中物体的活动。例如，所述处理器102可以对所述第一音频信号和所述第二音频信号进行叠加、加权和，或求平均值等计算，通过计算结果可以体现所述第一音频信号的反射音频信号的音强变化。

在一个示例性中，所述处理器102可以根据所述第一音频信号和所述第二音频信号估计所述第一音频信号的反射音频信号的音强，然后通过对所述第一音频信号的反射音频信号的音强变化(持续增加或持续减弱)分析，最终确定环境中物体的活动。例如，所述处理器102可以通过以下步骤，确定是否存在物体靠近或远离所述终端设备：

A1：所述处理器102首先通过以下步骤估计所述第一音频信号的反射音频信号：将所述第二音频信号与所述第一音频信号相比较(例如相减)，得到信号差。该信号差即为所述处理器102估计的所述第一音频信号的反射音频信号。

A2：当所述处理器102确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备。

A3：当所述处理器102确定所述信号差的音强持续减弱时，确定存在物体远离所述终端设备。

如图4B或图4C所示，由于所述第二音频信号为所述第一音频信号、所述第一音频信号的反射音频信号，以及噪声(可选的，例如周围噪音或者其他情况(例如空气流动等)导致的音强变化)叠加起来的音频信号，因此理论上来说，所述第一音频信号的反射音频信号可以通过所述第二音频信号减去所述第一音频信号和噪声(可选的)得到。但是由于噪声的音强无法估计，因此，所述处理器102为了提高所述第一音频信号的反射音频信号的准确度，所述处理器102在执行步骤A1前，可以通过对所述第二音频信号进行滤波，过滤掉一部分噪声。示例性的，所述处理器102可以通过均衡滤波器对所述第二音频信号进行滤波。其中，所述均衡滤波器可以为一个硬件部件或者为所述处理器102内部的软件模块，本申请对此不做限定。

由于在A1中，对所述第二音频信号进行滤波，可能无法完全清除噪声，因此，所述信号差中可能由于残留的噪声导致音强短暂的增加和减弱，因此，为了提高所述处理器102音频数据分析结果的准确度，所述处理器102在确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备。

在上述步骤A2中，所述处理器102可以但不限于通过以下方式，确定所述信号差的音强持续增加。假设所述信号差的音强变化曲线为图4E中(1)所示。

方式一：所述处理器102对所述信号差的音强进行采样，获取多个第一采样数据；所述处理器102确定相邻两个第一采样数据的音强差；所述处理器102确定最新确定的连续N个相邻两个第一采样数据的音强差均大于0，其中，N为大于或等于2的整数。

示例性的，N等于5，参阅图4E中的(2)所示，所述处理器102可以通过方式一，确定最新确定的连续5个相邻两个第一采样数据的音强差大于0时，确定所述信号差的音强持续增加。

方式二：所述处理器102对所述信号差的音强进行采样，获取多个第一采样数据；所述处理器102确定相邻两个第一采样数据的音强差；所述处理器102确定在最新确定的连续X个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例超过第一比例阈值，其中，X为大于或等于2的整数，所述第一比例阈值为预设的大于0且小于1的数。

示例性的，X＝7，第一比例阈值为80％；参阅图4E中的(2)所示，所述处理器102确定在最新的确定7个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例(6/7＝85.71％)超过80％，因此，所述处理器102确定所述信号差的音强持续增加。

方式三：所述处理器102对所述信号差的音强进行采样，获取多个第一采样数据；所述处理器102确定每个第一采样数据的音强变化斜率，确定最新确定的连续M个第一采样数据的音强变化斜率均大于0，其中，M为大于或等于2的整数。

示例性的，M等于5，参阅图4E中的(3)所示，所述处理器102将所述信号差的音强进行采样，确定7个第一采样数据；所述处理器102确定每个第一采样数的音强变化斜率k1-k7，其中，k1，k3-k7均大于0，k2小于0。由于最新确定的连续5个第一采样数据的音强变化斜率k3-k7均大于0，因此，所述处理器102可以确定所述信号差的音强持续增加。

方式四：所述处理器102对所述信号差的音强进行采样，获取多个第一采样数据；所述处理器102确定每个第一采样数据的音强变化斜率；所述处理器102确定在最新确定的连续Y个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例超过第二比例阈值，其中，Y为大于或等于2的整数，所述第二比例阈值为预设的大于0且小于1的数。

示例性的，Y＝7，第二比例阈值为80％；参阅图4E中的(3)所示，所述处理器102确定在最新的确定的7个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例(6/7＝85.71％)超过80％，因此，所述处理器102确定所述信号差的音强持续增加。

方式五：所述处理器102确定在设定第一时间窗口内的所述信号差与存储的第一音频信号模板匹配，其中，所述第一时间窗口的结束时刻为当前时刻，所述第一时间窗口的时长为预设的，所述第一音频信号模板中音频信号的音强持续增加。

示例性的，参阅图4E中的(4)所示，所述第一音频信号模板中的音频信号的音强持续增加。所述处理器102持续得到所述信号差的过程中，在所述信号差的曲线中取以当前时刻为参考点，回退设定时长的第一时间窗口内的信号差与第一音频信号模板匹配，若匹配成功，则所述处理器102可以确定所述第一信号差的音强持续增加。

与所述处理器102执行步骤A2类似的，在上述步骤A3中，所述处理器102可以但不限于通过以下方式，确定所述信号差的音强持续减弱。假设所述信号差的音强变化曲线为图4F中的(1)所示。

方式一：所述处理器102对所述信号差的音强进行采样，获取多个第二采样数据；所述处理器102确定相邻两个第二采样数据的音强差；所述处理器102确定最新确定的连续P个相邻两个第二采样数据的音强差均小于0，其中，所述P为大于2的整数。

示例性的，P等于5，参阅图4F中的(1)所示，所述处理器102确定最新确定的联系5个相邻两个第二采样数据的音强差小于0时，确定所述信号差的音强持续减弱。

方式二：所述处理器102对所述信号差的音强进行采样，获取多个第二采样数据；所述处理器102确定相邻两个第二采样数据的音强差；所述处理器102确定最新确定的连续R个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例超过预设的第三比例阈值，其中，R为大于或等于2的整数，所述第三比例阈值大于0且小于1。

示例性的，R＝7，第三比例阈值为80％；参阅图4F中的(2)所示，所述处理器102确定在最新的确定7个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例(6/7＝85.71％)超过80％，因此，所述处理器102确定所述信号差的音强持续减弱。

方式三：所述处理器102对所述信号差的音强进行采样，获取多个第二采样数据；所述处理器102确定每个第二采样数据的音强变化斜率，确定最新确定的连续Q个第二采样数据的音强变化斜率均小于0，其中，所述Q为大于2的整数。

示例性的，Q等于5，参阅图4F中的(3)所示，所述处理器102将所述信号差的音强进行采样，确定7个第二采样数据；所述处理器102确定每个第二采样数的音强变化斜率k1-k7，其中，k1，k3-k7均小于0，k2大于0。由于最新确定的连续5个第二采样数据的音强变化斜率k3-k7均小于0，因此，所述处理器102可以确定所述信号差的音强持续减弱。

方式四：所述处理器102对所述信号差的音强进行采样，获取多个第二采样数据；所述处理器102确定每个第二采样数据的音强变化斜率；所述处理器102确定最新确定的连续S个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例超过预设的第四比例阈值，其中，S为大于或等于2的整数，所述第四比例阈值大于0且小于1。

示例性的，S＝7，第四比例阈值为80％；参阅图4F中的(3)所示，所述处理器102确定在最新的确定的7个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例(6/7＝85.71％)超过80％，因此，所述处理器102确定所述信号差的音强持续减弱。

所述终端设备确定在第二时间窗口内的所述信号差与存储的第二音频信号模板匹配，其中，所述第二时间窗口的结束时刻为当前时刻，所述第二时间窗口的时长为预设的，所述第二音频信号模板中音频信号的音强持续减弱。

示例性的，参阅图4F中的(4)所示，所述第二音频信号模板中的音频信号的音强持续减弱。所述处理器102持续得到所述信号差的过程中，在所述信号差的曲线中取以当前时刻为参考点，回退设定时长的第二时间窗口内的信号差与第二音频信号模板匹配，若匹配成功，则所述处理器102可以确定所述信号差的音强持续减弱。

第二种实施方式：所述处理器102不具有音频数据分析功能。所述处理器102可以将所述第一音频信号和所述第二音频信号以音频数据的形式，通过通信单元101实时发送给具有音频数据分析功能的计算设备。所述计算设备在接收到所述第一音频信号和所述第二音频信号后，进行音频数据分析，在确定存在物体靠近所述终端设备时，向所述终端设备发送通知信息，其中，所述通知信息用于通知所述处理器102存在物体靠近或远离所述终端设备。所述处理器102通过所述通信单元101接收所述通知信息，然后确定存在物体靠近或远离所述终端设备。需要说明的是，所述计算设备对所述第一音频信号和所述第二音频信号进行分析的过程，可以参照第一种实施方式中所述处理器102的分析过程，此处不再赘述。

通过以上步骤，终端设备可以通过扬声器1061播放第一音频信号，以及通过麦克风1062采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。

当所述终端设备确定存在物体靠近所述终端设备(即用户即将有人机交互需求、或人机交互需求更强)之后，所述终端设备还可以通过以下任意一项或组合步骤，自动进行相应的交互动作：

启动或改变人机交互行为；停止通过所述扬声器播放所述第一音频信号；停止通过所述麦克风采集所述第二音频信号。

进一步的，所述终端设备可以在首次确定物体靠近所述终端设备之后，启动或改变人机交互行为，然后继续进行环境活动感知功能，当确定物体继续靠近，且满足预设条件后，所述终端设备再停止通过所述扬声器1061播放所述第一音频信号，或者停止通过所述麦克风1062采集所述第二音频信号。示例性的，所述预设条件可以但不限于为：连续V次确定物体靠近，或者为所述第二音频信号的音强达到设定的阈值，或者为所述信号差的音强达到设定的阈值等等。其中V为大于0的整数。

当所述终端设备确定存在物体远离所述终端设备(即用户即将不再有人机交互需求、或人机交互需求更弱)之后，所述终端设备还可以通过关闭或改变人机交互模式，自适应调整交互动作。

另外，在本申请实施例中，所述处理器102可以但不限于通过以下任一方式或组合，启动人机交互行为，进入人机交互模式：

方式一：所述处理器102唤醒显示屏(由显示面板1041和触控面板1051集成)，并通过所述显示屏显示用户界面或多媒体文件的播放界面。

方式二：所述处理器102通过扬声器1061发出语音信息，向用户提供语音服务。例如，向用户做出语音问候、向用户进行语音讲解，向用户进行日历或任务提醒。

方式三：所述处理器102通过麦克风1062采集用户的语音指令，并根据所述语音指令执行相应地操作。

方式四：所述处理器102通过控制所述终端设备内部的电机，以使所述终端设备执行某些物理动作。例如，所述处理器102控制电机，以调整显示器的方向或位置；或者所述处理器102控制电机，以使所述终端设备向前或向后移动，做出迎接用户的动作等。

在本申请实施例中，所述处理器102可以但不限于通过以下任一方式或组合，改变人机交互行为：

方式一：改变当前人机交互行为的方式，例如，所述处理器102可以通过上述方式一进行人机交互的过程中，确定存在物体靠近所述终端设备之后，所述终端设备可以通过方式二进行人机交互。

方式二：改变当前人机交互行为的方式中的一些变量参数的数值，例如，显示屏的角度或位置、扬声器1061的音量、终端设备的角度或位置等。

与所述处理器102启动人机交互行为相对应的，在申请实施例中，所述处理器102也可以但不限于通过以下任一方式或组合，停止所述人机交互行为，从而退出人机交互模式：

方式一：所述处理器102停止通过显示屏显示用户界面或多媒体文件的播放界面，或者所述处理器102休眠所述显示屏。

方式二：所述处理器102停止通过扬声器1061发出语音信息，不再向用户提供语音服务。

方式三：所述处理器102停止通过麦克风1062采集用户的语音指令，或者所述处理器102通过麦克风1062采集到语音指令后不再执行相应地操作。

方式四：所述处理器102不再控制所述终端设备内部电机，不再使终端设备执行某些物理动作，或者所述处理器102控制所述电机，使所述终端设备执行某些物理动作从而恢复到默认状态。

还需要说明的时，在本申请实施例中，所述终端设备可以设置一个麦克风1062，也可以设置多个麦克风1062。当所述终端设备内部存在多个麦克风1062时，所述多个麦克风1062可以分别部署在所述终端设备的不同位置，用于采集所述终端设备周围环境中不同方向的音频信号。所述处理器102在实现上述环境活动感知方法时，可以选择所述多个麦克风1062中的一个麦克风1062来采集周围环境中的第二音频信号，所述处理器102也可以通过所述多个麦克风1062同时采集周围环境中的第二音频信号，这样，所述处理器102在执行S303时，需要针对每个麦克风1062采集的第二音频信号分别进行音频数据分析过程，具体音频数据分析过程可以参考以上S303，此处不再赘述。当根据至少一个麦克风1062采集的第二音频信号确定存在物体靠近或远离所述终端设备时，所述处理器102最终的结果为存在物体靠近或远离所述终端设备。

进一步的，所述处理器102还可以根据所述多个麦克风1062采集的第二音频信号确定物体的方向，这样，所述处理器102可以灵活地针对物体的方向，自适应调整人机交互动作，从而可以提高人机交互的有效性，进而可以进一步提高用户体验。例如，所述处理器102在启动人机交互模式时，可以将扬声器1061或显示屏调整到物体所在的方向，或者使用对应物体所在的方向的麦克风1062采集用户的语音指令；或者控制电机以使所述终端设备在物体所在的方向上移动等。

在一种实施方式中，若所述处理器102根据一个麦克风1062采集的第二音频信号，确定存在物体靠近或远离所述终端设备时，所述处理器102可以确定该麦克风1062所对的方向为物体的方向。

示例性的，参阅图5所示，所述终端设备设置有麦克风a、麦克风b和麦克风c，其中，麦克风a对应所述终端设备的左侧，用于收集左侧的第二音频信号，麦克风b对应所述终端设备正前方，用于收集正前方的第二音频信号，麦克风c对应所述终端设备的右侧，用于收集右侧的第二音频信号。当所述处理器102针对每个麦克风收集的第二音频信号，执行上述音频数据分析过程，若所述处理器102根据麦克风b收集的第二音频信号、第一音频信号，确定存在物体靠近所述终端设备时，所述处理器102可以确定该物体位于所述终端设备的正前方。

在另一种实施方式中，若所述处理器102根据多个麦克风1062采集的第二音频信号，确定存在物体靠近或远离所述终端设备时，所述处理器102可以确定采集的第二音频信号音强最强的麦克风1062，然后确定该麦克风1062所对的方向为物体的方向。

在另一种实施方式中，所述处理器102可以根据多个麦克风1062采集的第二音频信号的音强，采用传统的方法(例如差异检测算法等)，确定物体的方向。

本申请实施例提供了一种环境活动感知方法，在该方法中，终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。并且，由于目前智能终端设备中扬声器和麦克风属于基础部件，显然，该方法无需对终端设备的硬件进行改进。综上，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

基于相同的技术构思，本申请还提供了一种终端设备，所述终端设备用于实现如图3所示的环境活动感知方法。参阅图6所示，所述终端设备600包括：处理单元601，以及扬声器602和麦克风603。下面对各个单元的功能进行描述。

处理单元601，用于通过扬声器602播放预设的第一音频信号；

所述处理单元601，用于通过麦克风603采集周围环境中的第二音频信号；

所述处理单元601，用于根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备600。

在一种实施例方式中，所述处理单元601，还用于在确定存在物体靠近所述终端设备600之后，执行以下任意一项或组合步骤：启动或改变人机交互行为；停止通过所述扬声器播放所述第一音频信号；停止通过所述麦克风采集所述第二音频信号。

在一种实施例方式中，所述处理单元601，还用于在确定存在物体远离所述终端设备600之后，停止或改变人机交互行为。

在一种实施例方式中，所述处理单元601在根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备时，具体用于：

将所述第二音频信号与所述第一音频信号相比较，得到信号差；确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备；确定所述信号差的音强持续减弱时，确定存在物体远离所述终端设备；或者

将所述第一音频信号和所述第二音频信号发送给计算设备，并接收所述计算设备发送的通知信息，所述通知信息用于通知所述处理单元601存在物体靠近或远离所述终端设备。

在一种实施例方式中，所述处理单元601，还用于：

在将所述第二音频信号与所述第一音频信号相比较之前时，对所述第二音频信号进行滤波。

在一种实施例方式中，所述处理单元601，通过以下方式确定所述信号差的音强持续增加：

所述处理单元601对所述信号差的音强进行采样，获取多个第一采样数据；所述处理单元601确定相邻两个第一采样数据的音强差；所述处理单元601确定最新得到的连续N个相邻两个第一采样数据的音强差均大于0，其中，N为大于或等于2的整数；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第一采样数据；所述处理单元601确定相邻两个第一采样数据的音强差；所述处理单元601确定最新得到的连续X个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例超过预设的第一比例阈值，其中，X为大于或等于2的整数，所述第一比例阈值大于0且小于1；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第一采样数据；所述处理单元601确定每个第一采样数据的音强变化斜率，确定最新得到的连续M个第一采样数据的音强变化斜率均大于0，其中，M为大于或等于2的整数；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第一采样数据；所述处理单元601确定每个第一采样数据的音强变化斜率；所述处理单元601确定最新得到的连续Y个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例超过预设的第二比例阈值，其中，Y为大于或等于2的整数，所述第二比例阈值大于0且小于1；或者

所述处理单元601确定在第一时间窗口内的所述信号差与存储的第一音频信号模板匹配，其中，所述第一时间窗口的结束时刻为当前时刻，所述第一时间窗口的时长为预设的，所述第一音频信号模板中音频信号的音强持续增加。

在一种实施例方式中，所述处理单元601可以通过以下方式，确定所述信号差的音强持续减弱：

所述处理单元601对所述信号差的音强进行采样，获取多个第二采样数据；所述处理单元601确定相邻两个第二采样数据的音强差；所述处理单元601确定最新得到的连续P个相邻两个第二采样数据的音强差均小于0，其中，所述P为大于2的整数；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第二采样数据；所述处理单元601确定相邻两个第二采样数据的音强差；所述处理单元601确定最新得到的连续R个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例超过预设的第三比例阈值，其中，R为大于或等于2的整数，所述第三比例阈值大于0且小于1；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第二采样数据；所述处理单元601确定每个第二采样数据的音强变化斜率，确定最新得到的连续Q个第二采样数据的音强变化斜率均小于0，其中，所述Q为大于2的整数；或者

所述处理单元601对所述信号差的音强进行采样，获取多个第二采样数据；所述处理单元601确定每个第二采样数据的音强变化斜率；所述处理单元601确定最新得到的连续S个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例超过预设的第四比例阈值，其中，S为大于或等于2的整数，所述第四比例阈值大于0且小于1；或者

所述处理单元601确定在第二时间窗口内的所述信号差与存储的第二音频信号模板匹配，其中，所述第二时间窗口的结束时刻为当前时刻，所述第二时间窗口的时长为预设的，所述第二音频信号模板中音频信号的音强持续减弱。

在一种实施方式中，如图6所示，所述处理单元601内部包含扬声器驱动单元和麦克风驱动单元，用于分别驱动扬声器602和麦克风603。

需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于相同的技术构思，本申请实施例还提供了一种终端设备，所述终端设备用于实现如图3所示的环境活动感知方法，具有如图6所示的终端设备600的功能。参阅图7所示，所述终端设备700中包括：处理器701和存储器702，收发器703，扬声器704，以及麦克风705。

其中，所述处理器701与其他部件与之间相互连接。可选的，所述处理器701和其他部件可以通过总线相互连接；所述总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

所述收发器703，用于接收和发送数据。所述终端设备700可以通过所述收发器703与其他设备进行通信交互。示例性的，所述收发器703可以包含图1所示的终端设备中的通信单元101。例如，所述收发器703可以为蓝牙模块、WiFi模块，RF电路等。

所述扬声器704，用于播放音频信号。所述麦克风705用于采集周围环境中的音频信号。

所述处理器701，用于实现如图3所示的环境活动感知方法，具体可以参见上述实施例中的描述，此处不再赘述。

在一些实施方式中，所述终端设备700还可以包括摄像头、传感器、显示屏，以及电机等部件，用于实现人机交互。

所述存储器702，用于存放程序指令和数据(例如预设的音频信号，以及音频信号模板等)等。具体地，程序指令可以包括程序代码，该程序代码包括计算机操作的指令。存储器702可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述处理器701执行所述存储器702所存放的程序指令，并通过上述各个部件，实现上述功能，从而最终实现如图3所示的环境活动感知方法。

在本申请以上实施例中，还提供了一种终端设备。终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。并且，由于目前智能终端设备中扬声器和麦克风属于基础部件，显然，该方法无需对终端设备的硬件进行改进。综上，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

基于以上实施例，本申请实施例还提供了一种计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行图3所示的实施例提供的环境活动感知方法。

基于以上实施例，本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，所述计算机程序被计算机执行时，使得计算机执行图3所示的实施例提供的环境活动感知方法。

基于以上实施例，本申请实施例还提供了一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现图3所示的实施例提供的环境活动感知方法。

基于以上实施例，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机装置实现图3所示的实施例中终端设备所涉及的功能。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

综上所述，本申请实施例提供了一种环境活动感知方法及终端设备。在该方案中，终端设备可以通过扬声器播放第一音频信号，以及通过麦克风采集周围环境中的第二音频信号，然后根据这两个音频信号，确定是否存在物体靠近或远离所述终端设备，以便根据感知的物体的活动，自动进行相应的交互动作，可以提高用户体验。并且，由于目前智能终端设备中扬声器和麦克风属于基础部件，显然，该方法无需对终端设备的硬件进行改进。综上，该方法可以在不增加终端设备的硬件成本的基础上，感知周围的环境活动，提高用户的体验。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种环境活动感知方法，所述方法应用于具有扬声器和麦克风的终端设备，其特征在于，所述方法包括：

终端设备通过扬声器播放预设的第一音频信号；

所述终端设备通过麦克风采集周围环境中的第二音频信号；

所述终端设备根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备。

2.如权利要求1所述的方法，其特征在于，当所述终端设备确定存在物体靠近所述终端设备之后，所述方法还包括以下任意一项或组合：

所述终端设备启动或改变人机交互行为；所述终端设备停止通过所述扬声器播放所述第一音频信号；所述终端设备停止通过所述麦克风采集所述第二音频信号；

当所述终端设备确定存在物体远离所述终端设备之后，所述方法还包括：

所述终端设备停止或改变人机交互行为。

3.如权利要求1或2所述的方法，其特征在于，所述终端设备根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备，包括：

所述终端设备将所述第二音频信号与所述第一音频信号相比较，得到信号差；所述终端设备确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备；所述终端设备确定所述信号差的音强持续减弱时，确定存在物体远离所述终端设备；或者

所述终端设备将所述第一音频信号和所述第二音频信号发送给计算设备，并接收所述计算设备发送的通知信息，所述第一通知信息用于通知所述终端设备存在物体靠近或远离所述终端设备。

4.如权利要求3所述的方法，其特征在于，在所述终端设备将所述第二音频信号与所述第一音频信号相比较之前，所述方法还包括：

所述终端设备对所述第二音频信号进行滤波。

5.如权利要求3或4所述的方法，其特征在于，所述终端设备确定所述信号差的音强持续增加，包括：

所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定相邻两个第一采样数据的音强差；所述终端设备确定最新得到的连续N个相邻两个第一采样数据的音强差均大于0，其中，N为大于或等于2的整数；或者

所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定相邻两个第一采样数据的音强差；所述终端设备确定最新得到的连续X个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例超过预设的第一比例阈值，其中，X为大于或等于2的整数，所述第一比例阈值大于0且小于1；或者

所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定每个第一采样数据的音强变化斜率，确定最新得到的连续M个第一采样数据的音强变化斜率均大于0，其中，M为大于或等于2的整数；或者

所述终端设备对所述信号差的音强进行采样，获取多个第一采样数据；所述终端设备确定每个第一采样数据的音强变化斜率；所述终端设备确定最新得到的连续Y个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例超过预设的第二比例阈值，其中，Y为大于或等于2的整数，所述第二比例阈值大于0且小于1；或者

所述终端设备确定在第一时间窗口内的所述信号差与存储的第一音频信号模板匹配，其中，所述第一时间窗口的结束时刻为当前时刻，所述第一时间窗口的时长为预设的，所述第一音频信号模板中音频信号的音强持续增加。

6.如权利要求3或4所述的方法，其特征在于，所述终端设备确定所述信号差的音强持续减弱，包括：

所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定相邻两个第一采样数据的音强差；所述终端设备确定最新得到的连续P个相邻两个第二采样数据的音强差均小于0，其中，所述P为大于2的整数；或者

所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定相邻两个第二采样数据的音强差；所述终端设备确定最新得到的连续R个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例超过预设的第三比例阈值，其中，R为大于或等于2的整数，所述第三比例阈值大于0且小于1；或者

所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定每个第二采样数据的音强变化斜率，确定最新得到的连续Q个第二采样数据的音强变化斜率均小于0，其中，所述Q为大于2的整数；或者

所述终端设备对所述信号差的音强进行采样，获取多个第二采样数据；所述终端设备确定每个第二采样数据的音强变化斜率；所述终端设备确定最新得到的连续S个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例超过预设的第四比例阈值，其中，S为大于或等于2的整数，所述第四比例阈值大于0且小于1；或者

所述终端设备确定在第二时间窗口内的所述信号差与存储的第二音频信号模板匹配，其中，所述第二时间窗口的结束时刻为当前时刻，所述第二时间窗口的时长为预设的，所述第二音频信号模板中音频信号的音强持续减弱。

7.一种终端设备，所述终端设备中包含扬声器和麦克风，其特征在于，所述终端设备还包含：

存储器，用于存储预设的第一音频信号；

处理器，用于通过所述扬声器播放预设的第一音频信号；通过麦克风采集周围环境中的第二音频信号；根据所述第一音频信号和所述第二音频信号，确定存在物体靠近或远离所述终端设备。

8.如权利要求7所述的终端设备，其特征在于，所述处理器，还用于：

在确定存在物体靠近所述终端设备之后，执行以下任意一项或组合：

启动或改变人机交互行为；停止通过所述扬声器播放所述第一音频信号；停止通过所述麦克风采集所述第二音频信号；

在确定存在物体远离所述终端设备之后，停止或改变人机交互行为。

9.如权利要求7或8所述的终端设备，其特征在于，

所述处理器具体用于：将所述第二音频信号与所述第一音频信号相比较，得到信号差；确定所述信号差的音强持续增加时，确定存在物体靠近所述终端设备；确定所述信号差的音强持续减弱时，确定存在物体远离所述终端设备；或者

所述终端设备还包含收发器，所述收发器用于接收和发送数据；所述处理器具体用于：通过所述收发器将所述第一音频信号和所述第二音频信号发送给计算设备，并通过所述收发器接收所述计算设备发送的通知信息，所述通知信息用于通知所述处理器存在物体靠近或远离所述终端设备。

10.如权利要求9所述的终端设备，其特征在于，所述处理器还用于：

在将所述第二音频信号与所述第一音频信号相比较之前，对所述第二音频信号进行滤波。

11.如权利要求9或10所述的终端设备，其特征在于，

所述处理器在确定所述信号差的音强持续增加时，具体用于：对所述信号差的音强进行采样，获取多个第一采样数据；确定相邻两个第一采样数据的音强差；确定最新得到的连续N个相邻两个第一采样数据的音强差均大于0，其中，N为大于或等于2的整数；或者

所述处理器在确定所述信号差的音强持续增加时，具体用于：对所述信号差的音强进行采样，获取多个第一采样数据；确定相邻两个第一采样数据的音强差；确定最新得到的连续X个相邻两个第一采样数据的音强差中，大于0的相邻两个第一采样数据的音强差所占的比例超过预设的第一比例阈值，其中，X为大于或等于2的整数，所述第一比例阈值大于0且小于1；或者

所述处理器在确定所述信号差的音强持续增加时，具体用于：对所述信号差的音强进行采样，获取多个第一采样数据；确定每个第一采样数据的音强变化斜率，确定最新得到的连续M个第一采样数据的音强变化斜率均大于0，其中，M为大于或等于2的整数；或者

所述处理器在确定所述信号差的音强持续增加时，具体用于：对所述信号差的音强进行采样，获取多个第一采样数据；确定每个第一采样数据的音强变化斜率；确定最新得到的连续Y个第一采样数据的音强变化斜率中，大于0的第一采样数据的音强变化斜率所占的比例超过预设的第二比例阈值，其中，Y为大于或等于2的整数，所述第二比例阈值大于0且小于1；或者

所述存储器，还用于存储第一音频信号模板；所述处理器在确定所述信号差的音强持续增加时，具体用于：从所述存储器读取所述第一音频信号模板，确定在第一时间窗口内的所述信号差与所述第一音频信号模板匹配，其中，所述第一时间窗口的结束时刻为当前时刻，所述第一时间窗口的时长为预设的，所述第一音频信号模板中音频信号的音强持续增加。

12.如权利要求9或10所述的终端设备，其特征在于，

所述处理器在确定所述信号差的音强持续减弱时，具体用于：对所述信号差的音强进行采样，获取多个第二采样数据；确定相邻两个第二采样数据的音强差；确定最新得到的连续P个相邻两个第二采样数据的音强差均小于0，其中，所述P为大于2的整数；或者

所述处理器在确定所述信号差的音强持续减弱时，具体用于：对所述信号差的音强进行采样，获取多个第二采样数据；确定相邻两个第二采样数据的音强差；确定最新得到的连续R个相邻两个第二采样数据的音强差中，小于0的相邻两个第二采样数据的音强差所占的比例超过预设的第三比例阈值，其中，R为大于或等于2的整数，所述第三比例阈值大于0且小于1；或者

所述处理器在确定所述信号差的音强持续减弱时，具体用于：对所述信号差的音强进行采样，获取多个第二采样数据；确定每个第二采样数据的音强变化斜率，确定最新得到的连续Q个第二采样数据的音强变化斜率均小于0，其中，所述Q为大于2的整数；或者

所述处理器在确定所述信号差的音强持续减弱时，具体用于：对所述信号差的音强进行采样，获取多个第二采样数据；确定每个第二采样数据的音强变化斜率；确定最新得到的连续S个第二采样数据的音强变化斜率中，小于0的第二采样数据的音强变化斜率所占的比例超过预设的第四比例阈值，其中，S为大于或等于2的整数，所述第四比例阈值大于0且小于1；或者

所述存储器，还用于存储第二音频信号模板；所述处理器在确定所述信号差的音强持续减弱时，具体用于：从所述存储器读取所述第二音频信号模板，确定在第二时间窗口内的所述信号差与所述第二音频信号模板匹配，其中，所述第二时间窗口的结束时刻为当前时刻，所述第二时间窗口的时长为预设的，所述第二音频信号模板中音频信号的音强持续减弱。

13.一种计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-6任一项所述的方法。

15.一种芯片，其特征在于，所述芯片用于读取存储器中存储的计算机程序，执行如权利要求1-6任一项所述的方法。

Images