CN116070684B - 一种集成芯片以及处理传感器数据的方法 - Google Patents

Abstract

本申请公开了人工智能领域中的一种集成芯片。本申请提供了一种集成芯片，其特征在于，包括：第一处理器，用于从第一外部传感器获取第一传感器数据，并且从第一传感器数据中提取第一目标数据，第一处理器为实时响应处理器；加速器，用于根据第一神经网络模型对第一目标数据进行识别以得到第一识别结果，第一识别结果用于确定与第一识别结果对应的目标操作。本申请提供了一种集成芯片以及处理传感器数据的方法，目的在于在实时响应外部传感器的情况下能够识别复杂场景，处理复杂任务。

Description

一种集成芯片以及处理传感器数据的方法

技术领域

本申请涉及人工智能领域中的数据处理领域，并且更具体地，涉及一种集成芯片以及处理传感器数据的方法。

背景技术

电子设备通常包含一种低耗能的实时响应处理器，该实时响应处理器可以定时驱动电子设备上的传感器以感知外界信息，并可以对该传感器获取到的外界信息进行实时响应。例如，电子设备上配置有用于获取外界声音的麦克风，实时响应处理器可以周期性地驱动该麦克风，并对获取到的音频信息进行目标数据提取，判断是否有唤醒词。在实时响应处理器捕获到该唤醒词后，可以唤醒处于休眠状态的模块。一种可能的情况，在捕获到特定唤醒词后，实时响应处理器可以唤醒电子设备内的语音指令模块，使得电子设备可以响应用户的语音指令并执行相应操作。另一种可能的情况，在捕获到特定唤醒词后，实时响应处理器可以唤醒电子设备内的图像显示模块并点亮屏幕。

由于实时响应处理器处于永久在线的状态，为避免能耗过大，实时响应处理器能够响应的任务通常相对简单，无法处理复杂任务，因此无法满足用户的需求。

发明内容

本申请提供一种集成芯片以及处理传感器数据的方法，目的在于在实时响应外部传感器的情况下能够识别复杂场景，处理复杂任务。

第一方面，提供了一种集成芯片，其特征在于，包括：第一处理器，用于从第一外部传感器获取第一传感器数据，并且从所述第一传感器数据中提取第一目标数据，所述第一处理器为实时响应处理器；加速器，用于根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果，所述第一识别结果用于确定与所述第一识别结果对应的目标操作。

集成芯片又可以被称作片上系统(system on a chip，SOC)，或者是片上系统的一部分。

本申请中的“目标数据提取”可以被解释为，从外部传感器获取到的信息中提取一部分信息。被提取出的信息可以等价于“特征”。被提取出的信息可以用于进一步处理。也就是说，可以从外部传感器获取到的信息中剔除一部分数据，保留下来的数据可以被进一步识别。一种方式是依据预设的规则进行目标数据提取，将满足预设规则的数据提取出来。当不存在预设规则的情况下，可以将外部传感器获取到的全部数据发送至加速器。

神经网络模型是一种包含神经网络的数学模型。神经网络模型可以通过算法、代码等形式存储在存储介质上。在本申请中，加速器执行的神经网络模型可以是经过简化的。简化神经网络模型，例如，可以从已经训练好的神经网络模型中去除一部分层，例如卷积层、池化层、神经网络层等。又如，可以减少神经网络模型各层中的神经元数量。简化后的神经网络模型需要重新训练。

一种情况，目标操作可以是维持电子设备当前的状态。另一种情况，目标操作可以是唤醒电子设备内部的其他处理器，使其他处理器从休眠状态切换至工作状态；另一种情况，将第一目标数据、第一识别结果、指令等信息发送至其他处理器。

在本申请实施例中，实时响应处理器可以实时响应外部传感器的数据，而神经网络模型可以对实时响应处理器发送的数据进行高频率响应甚至实时响应，在不明显增加耗电量的情况下能够高频率地识别复杂场景、处理复杂任务。

结合第一方面，在第一方面的某些实现方式中，所述第一处理器还用于根据所述第一识别结果确定所述目标操作。

在本申请实施例中，将能够实时响应外部传感器的第一传感器用于响应加速器，避免使用过多处理器的数量，简化芯片硬件结构。

结合第一方面，在第一方面的某些实现方式中，所述集成芯片还包括：第二处理器，用于根据所述第一识别结果确定所述目标操作。

在本申请实施例中，使用第二处理器处理加速器输出的计算结果，更容易为硬件架构赋予特定地功能，降低了处理器与处理器之间、加速器与处理器之间的数据流向复杂度。

结合第一方面，在第一方面的某些实现方式中，所述第一处理器，还用于在提取所述第一特征数据之后，通知所述第二处理器从休眠状态切换到工作状态；所述第二处理器，具体用于在处于所述工作状态的情况下，根据所述第一识别结果确定所述目标操作。

换句话说，第二处理器可以不是实时响应处理器。

在本申请实施例中，由于加速器的计算能力较高、计算速度较快，当第一处理器完成特征数据的提取之后，可以唤醒第二处理器，使得第二处理器处于工作状态并响应加速器发送的识别结果。由于第二处理器可以不必处于实时在线的状态，这样有助于节省耗能。

结合第一方面，在第一方面的某些实现方式中，所述第一处理器，还用于根据所述第一传感器数据确定第三识别结果，所述第一识别结果与所述第三识别结果用于共同确定所述目标操作。

在本申请实施例中，可以将简单的任务交给第一处理器处理，将复杂的任务交给加速器处理。由于简单任务的计算量小，不需要占用加速器的计算资源，有利于提高加速器的使用效率。并且，将原本由第一处理器处理的任务仍交由第一处理器处理而非转为其他处理器或加速器处理，有利于与传统的实时响应处理器兼容。

结合第一方面，在第一方面的某些实现方式中，所述第一处理器，还用于根据所述第一传感器数据确定第三识别结果；所述第二处理器，具体用于根据所述第一识别结果以及所述第三识别结果，确定所述目标操作。

在本申请实施例中，使用第二处理器处理第一处理器以及加速器输出的计算结果，避免数据回流，更容易为硬件架构赋予特定的功能，降低了处理器与处理器之间、加速器与处理器之间的数据流向复杂度。

结合第一方面，在第一方面的某些实现方式中，所述第一处理器，还用于从第二外部传感器获取第二传感器数据，并且从所述第二传感器数据中提取第二目标数据；所述加速器，还用于根据第二神经网络模型对所述第二目标数据进行识别以得到第二识别结果，所述第二识别结果与所述第一识别结果用于共同确定所述目标操作。

在本申请实施例中，加速器可以对来自两种不同的外部传感器的数据进行处理，因此加速器可以对各种感知数据进行识别，有利于提升电子设备识别复杂场景的能力。

结合第一方面，在第一方面的某些实现方式中，所述加速器，还用于分时对所述第一目标数据和所述第二目标数据进行识别。

在本申请实施例中，由于加速器计算数据耗时非常短，因此可以预设加速器在单位时间内仅处理一个任务。也就是说，无需在加速器内增加处理单元或存储单元，即可及时获取与不同的传感器数据对应的识别结果。

结合第一方面，在第一方面的某些实现方式中，所述集成芯片还包括：控制器，用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级；所述加速器，具体用于根据所述第一优先级和所述第二优先级分时对所述第一目标数据和所述第二目标数据进行识别。

在本申请实施例中，集成芯片还包括用于调度数据流的控制器，集成芯片可以将数据流的处理顺序发送至加速器，加速器可以按照控制器确定的优先级按顺序处理数据，有利于确保重要数据及早地被处理，避免数据流发生拥塞等情况。

结合第一方面，在第一方面的某些实现方式中，所述集成芯片还包括：控制器，用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级，并且根据所述第一优先级和所述第二优先级控制所述第一处理器分时向所述加速器发送所述第一目标数据和所述第二目标数据，以使得所述加速器分时对所述第一目标数据和所述第二目标数据进行识别。

在本申请实施例中，集成芯片还包括用于调度数据流的控制器，在加速器完成对之前数据的处理后，控制器可以控制第一处理器将加速器当前需要处理的数据发送至加速器。加速器无需过多的内存去存储待处理数据。并且，由于第一处理器的处理数据的能力较加速器弱，第一处理器处理数据所需的内存相对较少，因此可以多余的内存可以被用于存储未被加速器处理的数据，有利于充分利用处理单元、存储单元的利用率。

结合第一方面，在第一方面的某些实现方式中，所述集成芯片还包括：第三处理器，用于响应所述目标操作，从休眠状态切换至工作状态。

在本申请实施例中，第三处理器可以不是实时响应处理器，第三处理器可以不必处于实时在线的状态，这样有助于节省耗能。

结合第一方面，在第一方面的某些实现方式中，所述第一神经网络模型中的参数通过网络进行更新。

在本申请实施例中，更新第一神经网络模型的参数可以是一种升级加速器的方法，这种升级加速器的方法占用数据资源少，因此较为简便，便于执行，灵活性较高。

结合第一方面，在第一方面的某些实现方式中，所述第一外部传感器包括摄像头、麦克风、运动传感器、距离传感器、环境光传感器、磁场传感器、指纹传感器或温度传感器中的一种。

在本申请实施例中，对于任意传感器数据均可采用加速器进行处理，有利于识别复杂场景，处理复杂任务。

第二方面，提供了一种电子设备，包括如第一方面以及第一方面任一种可能的实现方式中的集成芯片。

第三方面，提供了一种处理传感器数据的方法，包括：实时地从第一外部传感器获取第一传感器数据，并且从所述第一传感器数据中提取第一目标数据；根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果，所述第一识别结果用于确定与所述第一识别结果对应的目标操作。

结合第三方面，在第三方面的某些实现方式中，所述方法还包括：根据所述第一识别结果确定所述目标操作。

结合第三方面，在第三方面的某些实现方式中，所述方法还包括：实时地从第二外部传感器获取第二传感器数据，并且从所述第二传感器数据中提取第二目标数据；根据第二神经网络模型对所述第二目标数据进行识别以得到第二识别结果，所述第二识别结果与所述第一识别结果用于共同确定所述目标操作。

结合第三方面，在第三方面的某些实现方式中，所述方法还包括：执行所述目标操作。

结合第三方面，在第三方面的某些实现方式中，所述第一神经网络模型中的参数通过网络进行更新。

结合第三方面，在第三方面的某些实现方式中，所述第一外部传感器包括摄像头、麦克风、运动传感器、距离传感器、环境光传感器、磁场传感器、指纹传感器或温度传感器中的一种。

第四方面，提供了一种处理传感器数据的装置，所述装置包括用于执行所述第三方面或者第三方面的任一可能的实现方式中的方法的模块。

附图说明

图1是本申请实施例提供的一种电子设备的硬件结构示意图；

图2是本申请实施例提供的一种集成芯片与外部传感器交互的示意图；

图3是本申请实施例提供的一种加速器的硬件结构示意图；

图4是本申请实施例提供的一种集成芯片与外部传感器交互的示意图；

图5是本申请实施例提供的一种集成芯片与外部传感器交互的示意图；

图6是本申请实施例提供的一种集成芯片与外部传感器交互的示意图；

图7是本申请实施例提供的一种集成芯片与外部传感器交互的示意图；

图8是本申请实施例提供的一种处理传感器数据的方法的示意性流程图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下介绍了本申请实施例提供的电子设备和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，电子设备101也可以包括一个或多个处理器110。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理器110中还可以设置存储器，用于存储指令和数据。示例性地，处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理器110的等待时间，因而提高了电子设备101处理数据或执行指令的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，I2C)接口，集成电路间音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM卡接口，和/或USB接口等。其中，USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与外围设备之间传输数据。该USB接口130也可以用于连接耳机，通过耳机播放音频。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储一个或多个计算机程序，该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令，从而使得电子设备101执行本申请一些实施例中所提供的灭屏显示的方法，以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统；该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片，联系人等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储部件，闪存部件，通用闪存存储器(universal flash storage，UFS)等。在一些实施例中，处理器110可以通过运行存储在内部存储器121的指令，和/或存储在设置于处理器110中的存储器的指令，来使得电子设备101执行本申请实施例中所提供的灭屏显示的方法，以及其他应用及数据处理。电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或多个显示屏194。

电子设备100的显示屏194可以是一种柔性屏，目前，柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言，具有柔韧性强和可弯曲的特点，可以给用户提供基于可弯折特性的新交互方式，可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言，电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此，用户在配置有可折叠显示屏的电子设备上使用分屏功能，也越来越频繁。

电子设备内部的传感器可以包括摄像头193，麦克风170C，压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB(R为red(红)，G为green(绿)，B为blue(蓝))，YUV(Y为亮度分量，U\V为色度分量，U表示蓝色、V表示红色)等格式的图像信号。在一些实施例中，电子设备100可以包括1个或多个摄像头193。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

麦克风170C用于捕获音频。麦克风170C可以将捕获到的声音信号转换为电信号。在一些实例中，麦克风170C可以用于通话、录音等功能。在一些实例中，麦克风170C还可以用于捕获用户的语音指令。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，X，Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

处理器110可以包括实时响应处理器，用于周期性地驱动传感器模块中的各个传感器，并对获取到的信息进行处理。

以摄像头为例，实时响应处理器可以定时驱动摄像头拍摄照片，摄像头将拍摄到的照片通过接口发送给实时响应处理器，实时响应处理器可以判断前一时刻至后一时刻照片中发生的变化(如明暗变化)，并根据判断的结果唤醒下一级处理器。实时响应处理器可以将获取到的照片发送给下一级处理器(如中央处理器(central processing unit，CPU)或GPU)，以执行相应地操作(如调整屏幕亮度)。

以麦克风为例，实时响应处理器可以定时驱动麦克风捕获音频，麦克风将捕获到音频通过接口发送给实时响应处理器，实时响应处理器可以判断该音频中是否有特定频率的声音(如人的声音)出现，并根据判断的结果唤醒下一级处理器。实时响应处理器可以将获取到的音频发送给下一级处理器(如CPU中的语音识别模块)，以执行相应地操作(如执行音频中包含的语音指令)。

以加速度传感器为例，实时响应处理器可以定时驱动加速度传感器，加速度传感器可以确定电子设备的方位，并将该方位信息发送给实时响应处理器，实时响应处理器可以判断电子设备是否处于运动状态，并根据判断的结果唤醒下一级处理器。实时响应处理器可以将获取到的方位信息发送给下一级处理器(如CPU中的计步模块)，以执行相应地操作(如记录用户走路的步数)。

以指纹传感器为例，实时响应处理器可以定时驱动指纹传感器，指纹传感器可以将检测到的信号发送给实时响应处理器，从而实时响应处理器可以判断是否有手指触摸指纹传感器，并可以根据判断的结果唤醒下一级处理器。实时响应处理器可以将获取到的指纹信息发送给下一级处理器(如CPU中的指纹识别模块)，以执行相应地操作(如点亮屏幕)。

以按键为例，实时响应处理器可以定时驱动按键，按键可以将检测到的信号发送给实时响应处理器，从而实时响应处理器可以判断是否有键盘被用户按下，并可以根据判断的结果唤醒下一级处理器。实时响应处理器可以将获取到的按键操作信息发送给下一级处理器(如CPU)，以执行相应的操作(如点亮屏幕)。

如上所述，实时响应处理器所能够处理的任务相对简单，仅在识别到有信息发生变化的情况下可以将数据传递至下一级处理器。一方面，实时响应处理器的识别能力以及可识别的信息量都非常有限，无法识别复杂的环境以调整电子设备的工作状态；另一方面，实时响应处理器会对获取到的部分信息判断不准确，从而误触发其他处理器，导致电子设备无意义地耗电。并且，假设电子设备包含能够识别复杂环境的处理器，但是这类处理器的计算量大，启动这种处理器往往需要多个硬件的配合，还需要启动多重软件程序，不利于及时响应外界环境的变化。由于实时响应处理器具有识别能力低、耗电量小的特点，实时响应处理器通常无法直接启动这一类处理器。为进一步追求电子设备的用户体验度，实现人工智能，本申请提供一种集成芯片，目的在于提升电子设备的实时响应能力。

图2示出了本申请的集成芯片与传感器交互的示意图。集成芯片200可以应用在如图1所示的电子设备100中。集成芯片200可以替换图1所示电子设备100中的处理器110。

集成芯片200包括第一处理器221，用于从第一外部传感器211获取第一传感器数据，并且从所述第一传感器数据中提取第一目标数据，所述第一处理器221为实时响应处理器。集成芯片200还包括：加速器230，用于根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果，该第一识别结果用于确定与所述第一识别结果对应的目标操作。

集成芯片200又可以被称作片上系统(system on a chip，SOC)，或者是片上系统的一部分。

上文中已介绍了实时响应处理器响应外部传感器的多种可能的实现方式，在此不再赘述。

如图3所示为一种加速器230的结构示意图。加速器230的核心部分为运算电路303，控制器304控制运算电路303提取存储器(权重存储器或输入存储器)中的数据并进行运算。在一些实现中，运算电路303内部包括多个处理单元(Process Engine，PE)。在一些实现中，运算电路303是二维脉动阵列。运算电路303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路303是通用的矩阵处理器。举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器302中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)308中。

向量计算单元307可以对运算电路303的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元307可以用于神经网络中非卷积/非FC层的网络计算，如池化(Pooling)，批归一化(Batch Normalization)，局部响应归一化(Local Response Normalization)等。在一些实现中，向量计算单元能307将经处理的输出的向量存储到统一缓存器306。例如，向量计算单元307可以将非线性函数应用到运算电路303的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元307生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路303的激活输入，例如用于在神经网络中的后续层中的使用。本申请提供的方法的部分或全部步骤可以由运算电路303或向量计算单元307执行。

统一存储器306用于存放输入数据以及输出数据。权重数据直接通过总线接口单元312将缓存存储器311中的输入数据搬运到输入存储器301和/或统一存储器306、将缓存存储器311中的权重数据存入权重存储器302，以及将统一存储器306中的数据存入缓存存储器311。

总线接口单元(Bus Interface Unit，BIU)312，用于通过总线实现第一处理器310和取指存储器309之间进行交互。与控制器304连接的取指存储器(instruction fetchbuffer)309，用于存储控制器304使用的指令。控制器304，用于调用取指存储器309中缓存的指令，实现控制该运算加速器230的工作过程。一般地，统一存储器306，输入存储器301，权重存储器302、缓存存储器311以及取指存储器309均为片上(On-Chip)存储器。

应理解，本领域技术人员根据图3所示的加速器230的结构，可以联想到加速器230的其他可能构造。可以理解的是，图3所示的实施例仅是为了帮助本领域技术人员更好地理解本申请的技术方案，而并非是对本申请技术方案的限制。在受益于前述描述和相关附图中呈现的指导启示下，本领域技术人员将会想到本申请的许多改进和其他实施例。因此，应理解，本申请不限于所公开的特定实施例。

第一处理器221可以包括多个处理单元。其中，处理单元可以是逻辑处理单元或物理处理单元。换句话说，可以通过算法将第一处理器221划分为多个处理单元，或者，第一处理器221包括物理可拆解的多个处理单元。多个处理单元协同处理数据。

第一外部传感器211例如可以是如图1所示的摄像头193、麦克风170C、压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K，环境光传感器180L、骨传导传感器180M中的一个。

在一个示例中，第一处理器221可以对多个外部传感器得到的传感器数据进行目标数据提取。

例如，第一处理器221可以对摄像头捕获的照片、麦克风捕获的音频进行目标数据提取。

一种情况，第一处理器221中的第一处理单元可以对摄像头捕获的照片进行目标数据提取，第一处理器221中的第二处理单元可以对麦克风捕获的音频进行目标数据提取。

另一种情况，第一处理器221中的第一处理单元可以对摄像头捕获的照片进行目标数据提取，并且可以对麦克风捕获的音频进行目标数据提取。

在一个示例中，第一处理器221可以仅对一个外部传感器得到的传感器数据进行目标数据提取。例如，第一处理器221仅对摄像头捕获的照片进行目标数据提取。在第一处理器221包括多个处理单元的情况下，处理单元A、处理单元B可以同时对不同的照片进行目标数据提取；或者，处理单元A、处理单元B可以同时对同一照片的不同部分进行目标数据提取。

本申请中的“目标数据提取”可以被解释为，从外部传感器获取到的信息中提取一部分信息。被第一处理器221提取出的信息可以等价于“特征”。被提取出的信息可以用于进一步处理。也就是说，第一处理器221从外部传感器获取到的信息中剔除一部分数据，保留下来的数据可以被进一步识别。第一处理器221可以依据预设的规则进行目标数据提取，将满足预设规则的数据提取出来。当不存在预设规则的情况下，第一处理器221可以将外部传感器获取到的全部数据发送至加速器230。

例如，当外部传感器是摄像头的情况下，被提取的信息可以是构成人物的像素点。也就是说，图像中不构成人物的像素点可以被剔除。也就是说，预设的规则可以是“构成人物的像素点”。又如，当外部传感器是摄像头的情况下，被提取的信息可以是包含若干帧图像的视频，视频中存在某个物体在该若干帧内发生了移动，并且在该若干帧之前，该物体未发生移动。也就是说，视频中未发生物体移动的画面可以被剔除。也就是说，预设的规则可以是“存在处于运动状态的物体的画面”。

例如，当外部传感器是音频数据的情况下，被提取的信息可以是特定频段的数据。也就是说，音频中不是特定频段的音频数据可以被剔除。也就是说，预设的规则可以是“处在特定频段内的音频数据”。

例如，当外部传感器是加速度传感器的情况下，被提取的信息可以是电子设备的方位发生变化的过程。也就是说，在电子设备的方位未发生变化时，加速度传感器捕获的数据可以被剔除。也就是说，预设的规则可以是“方位信号变化的速度大于预设值的方位信号”。

例如，当外部传感器是指纹传感器的情况下，被提取的信息可以是捕获到的指纹信号。也就是说，在电子设备未检测到有指纹时，指纹传感器捕获的数据可以被剔除。也就是说，预设的规则可以是“检测到手指时捕获的信号值”。

例如，当外部传感器是按键的情况下，被提取的信息可以是被按下的按键以及按键被按下的顺序。也就是说，在电子设备未检测到用户按下按键时，按键捕获的数据可以被剔除。也就是说，预设的规则可以是“按键被按下时捕获的信号值”。

加速器230，又可以被称作神经网络加速器230，是具有计算能力、能够执行神经网络模型的装置或模块。在神经网络或数据处理领域中，加速器230有时又被称作分类器(classifier)。例如，加速器230可以是一种神经网络(neural-network，NN)计算处理器。

神经网络模型是一种包含神经网络的数学模型。神经网络模型可以通过算法、代码等形式存储在存储介质上。

神经网络处理器(Neural-network Processing Unit，NPU)为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

加速器230可以执行一个或多个神经网络模型。

在一个示例中，一个神经网络模型对应一个外部传感器。也就是说，一个神经网络模型仅可以处理来自某一种外部传感器的数据。

例如，当第一目标数据包含图像信息的情况下，加速器230可以执行用于图像处理的神经网络模型，得到的识别结果可以是图像的标签以及各个标签所属的概率。图像的标签可以是“男人”、“女人”、“胡须”、“长发”、“白天”、黑夜、“室内”、“室外”、“会议室”、“车内”等。图像的标签可以是该第一目标数据的特征。

例如，当第一目标数据包含音频信息的情况下，加速器230可以执行用于音频处理的神经网络模型，得到的识别结果可以是语音指令的内容，以及各个语音指令内容所属的概率。语音指令的内容可以是“拨打电话”、“会议”、“查询天气”等。语音指令内容可以是该第一目标数据的特征。

例如，当第一目标数据包含方位信息的情况下，加速器230可以执行用于方位信息处理的神经网络模型，得到的识别结果可以是电子设备翻转的角度范围以及该角度范围所属的概率。电子设备翻转的角度范围可以是顺时针翻转360°～720°等。电子设备翻转的角度范围可以是该第一目标数据的特征。

例如，当第一目标数据包含指纹信息的情况下，加速器230可以执行用于指纹匹配的神经网络模型，得到的识别结果可以是指纹类型以及各个指纹类型所属的概率。指纹类型可以是大拇指指纹、无名指指纹等。指纹类型可以是该第一目标数据的特征。

例如，当第一目标数据包含按键信息的情况下，加速器230可以执行用于触控处理的神经网络模型，得到的识别结果可以是触控指令的内容以及各个触控指令内容所属的概率。触控指令的内容可以是“误撞击”、“截取屏幕”等。触控指令的内容可以是该第一目标数据的特征。

在一个示例中，一个神经网络模型对应多个外部传感器。也就是说，一个神经网络模型可以处理来自多种外部传感器的数据。

例如，在由摄像头捕获的视频信息与由麦克风捕获的音频信息之间存在某种关联时，可以使用既能够识别视频信息又能够识别音频信息的神经网络模型。

加速器230获取到的第一识别结果，并将该第一识别结果发送给其他处理器，从而该其他处理器可以确定与该第一识别结果对应的目标操作。

一种情况，目标操作可以是维持电子设备当前的状态。另一种情况，目标操作可以是唤醒电子设备内部的第三处理器，使第三处理器从休眠状态切换至工作状态；目标操作进一步还包括将第一目标数据、第一识别结果、指令等信息发送至第三处理器。另一种情况，被调用的第三处理器是实时响应处理器，那么可以不唤醒第三处理器，直接将指令或数据发送至第三处理器，第三处理器可以实时响应该指令或数据。第三处理器还可以是该集成芯片200上的一个处理器。

该其他处理器可以根据第一识别结果确定一个最终的识别结果。假设第一识别结果中包括特征A、特征B、特征C，以及特征A所属的概率为50％、特征B所属的概率为30％、特征C所述的概率为20％，意味着第一目标数据属于特征A的概率为50％，第一目标数据属于特征B的概率为30％，第一目标数据属于特征C的概率为20％。确定最终识别结果的一种方式，将概率值最大的识别结果作为最终识别结果，即第一目标数据属于特征A。确定最终识别结果的另一种方式，在特征A、特征B、特征C均为数值的情况下，求特征A、特征B、特征C的加权平均值，权重即为各个特征对应的概率值，即第一目标数据属于(特征A×0.5+特征B×0.3+特征C×0.2)/3。确定最终识别结果的另一种方式，将概率值较大的多个特征作为最终的识别结果，例如将特征A、特征B作为最终的识别结果。

可以通过算法或代码的方式将最终识别结果与目标操作关联起来。例如在最终识别结果为识别结果A的情况下，可以确定与该第一识别结果对应的目标操作为操作B。

例如，第一目标数据为照片时，在处理器确定第一目标数据包含“室内”的标签时，可以启动无线通信模块以连接WIFI或蓝牙。

例如，第一目标数据为音频时，在处理器确定第一目标数据包含“会议”的内容时，可以启动录音应用程序以记录会议内容。

例如，第一目标数据为方位时，在处理器确定第一目标数据对应“顺时针翻转360°～720°”的识别结果时，可以启动防跌落应用程序。

例如，第一目标数据为指纹时，在处理器确定第一目标数据对应“无名指指纹”的识别结果时，可以启动与无名指指纹对应的应用程序。

例如，第一目标数据为按键信息时，在处理器确定第一目标数据包含“误撞击”的触控指令时，可以忽略该按键操作，并使电子设备中的部分模块切换至休眠状态。

值得一提的是，传统NPU处理器虽然能够运载重型复杂程序，但需要多级程序或多个硬件唤醒调动(如负载在CPU上作为协作处理器，由CPU负责调度任务)，还需要外接存储设备(如双倍率(Double Data Rate，DDR)内存)，无法对实时响应处理器发送的数据进行高频率地实时响应，即实时响应处理器无法实时调动该传统NPU处理器。并且，传统NPU处理器在运载重型复杂程序时耗电量较大。在本申请中，加速器230的计算能力可以弱于传统NPU处理器。在本申请中，加速器230执行的神经网络模型可以是经过简化的。

降低处理器的计算能力，例如可以是降低处理器的计算精度，由16进制降至8进制。

简化神经网络模型，例如，可以从已经训练好的神经网络模型中去除一部分层，例如卷积层、池化层、神经网络层等。又如，可以减少神经网络模型各层中的神经元数量。简化后的神经网络模型需要重新训练。

另外，传统NPU处理器需要配置外部存储器(如DDR内存)，为数据识别提供存储空间。在本申请中，为了使实时响应处理器能够快速调动加速器230，加速器230内部可以进一步包含存储器，存储器上存储有执行神经网络模型的指令，且加速器230可以保存实时响应处理器发送的第一目标数据，并为加速器230识别第一目标数据提供数据处理存储空间。也就是说，加速器230可以包括处理器以及存储器，或者包括具有存储数据功能的处理器。也就是说，该集成芯片200上除了集成处理器外还集成有具备存储功能的装置或模块。

可选的，加速器230包括缓存存储器，用于存储执行所述第一神经网络模型过程中产生的中间数据。

应理解，加速器230能够执行的神经网络模型越庞大，加速器230内的存储器的存储量也就越大，频繁使用加速器230会引起耗电的问题。但神经网络模型越简单，加速器230生成的识别结果的准确性越无法保证。

另外，可以通过更新神经网络模型的方式升级加速器230，使加速器230能够处理更多的任务。与普通处理器不同之处在于，在普通处理器不使用神经网络模型的情况下，普通处理器通过执行算法或代码完成数据处理过程，算法和代码的提升空间是有限的，更新难度较高，不利于电子设备的人工智能化，也不利于提升电子设备的用户体验度。而更新本申请的加速器230，可以是添加、删减神经网络模型，也可以是更新神经网络模型中的参数，因此本申请加速器230的更新方式较为简便，方便执行。

可选的，所述第一神经网络模型中的参数通过网络进行更新。

第一神经网络模型中的参数例如可以是权重参数、神经元激活/非激活参数等。

可选的，第一处理器221还用于根据该第一识别结果，确定与所述第一识别结果对应的目标操作。

也就是说，由实时响应的第一处理器221处理该第一识别结果，并确定响应该第一识别结果的目标操作。换句话说，该第一处理器221既包括可以实时驱动外部传感器的处理单元，又包括可以实时响应传感器数据的处理单元，并且包括可以响应加速器230并得到识别结果的处理单元。图2示出了第一外部传感器211、第一处理器221、加速器230传递的数据流。

可选的，集成芯片200还包括：第二处理器222，用于根据该第一识别结果，确定与所述第一识别结果对应的目标操作。

也就是说，由与该第一处理器221不同的第二处理器222处理该第一识别结果，并确定响应该第一识别结果的目标操作。换句话说，该第二处理器222包括可以响应加速器230的处理单元。图4-7示出了本申请的集成芯片200与外部传感器交互的示意图。

图4示出了第一外部传感器211、第一处理器221、加速器230、第二处理器222传递的数据流。

为了便于描述，下面以加速器230将识别结果发送至第二处理器222的情况为例进行说明。应理解，在受益于本申请实施例描述和相关附图中呈现的指导启示下，本领域技术人员将会想到本申请的许多改进和其他实施例，如加速器230将识别结果发送至第一处理器221的方案。因此，应理解，本申请不限于所公开的特定实施例。

可选的，所述第一处理器221，还用于在提取所述第一特征数据之后，通知所述第二处理器222从休眠状态切换到工作状态；所述第二处理器222，具体用于在处于所述工作状态的情况下，根据所述第一识别结果确定所述目标操作。

也就是说，第二处理器222可以不是实时响应处理器。由于加速器230的计算能力较高、计算速度较快，当第一处理器221完成特征数据的提取之后，可以唤醒第二处理器222，使得第二处理器222处于工作状态并响应加速器230发送的识别结果。由于第二处理器222可以不必处于实时在线的状态，这样有助于节省耗能。

可选的，所述第一处理器221，还用于从第二外部传感器212获取第二传感器数据，并且从所述第二传感器数据中提取第二目标数据；所述加速器230，还用于根据第二神经网络模型对所述第二目标数据进行识别以得到第二识别结果，所述第二识别结果与所述第一识别结果用于共同确定所述目标操作。

可选的，所述第二处理器222具体用于，根据所述第一识别结果以及所述第二识别结果，确定所述目标操作。

图5示出了第一外部传感器211、第二外部传感器212、第一处理器221、加速器230、第二处理器222传递的数据流。也就是说，两个不同的外部传感器分别捕获第一传感器数据、第二传感器数据，第一处理器221从第一传感器数据中提取第一目标数据，第一处理器221从第二传感器数据中提取第二目标数据，加速器230使用第一神经网络模型对第一目标数据进行识别，使用第二神经网络模型对第二目标数据进行识别。第一神经网络模型、第一目标数据的类型、第一外部传感器211三者之间存在关联关系或对应关系。第二神经网络模型、第二目标数据的类型、第二外部传感器212三者之间存在关联关系或对应关系。第二处理器222可以根据第一识别结果、第二识别结果，确定该目标操作。

在一个示例中，第二处理器222可以是实时响应处理器。第二处理器222可以实时响应加速器230发送的识别结果。

在一个示例中，第二处理器222可以是非实时响应处理器，即第二处理器222包括工作状态以及休眠状态。第一处理器221可以在向加速器230发送第一目标数据的同时，唤醒第二处理器222。或者，由加速器230唤醒该第二处理器222。或者，集成芯片200还包括控制器240，由控制器240唤醒第二处理器222。第二处理器222在一段时间内未接收到新的识别结果，第二处理器222可以切换为休眠状态。或者，第二处理器222可以响应第一处理器221或控制器240的指示，由工作状态切换为休眠状态。

下面通过3个场景为例进行说明。应理解，在受益于本申请实施例的描述和相关附图中呈现的指导启示下，本领域技术人员将会想到本申请的许多改进和其他实施例，因此，除本申请提供的场景以外，集成芯片200还可应用在其他场景中。应理解，本申请不限于所公开的特定实施例。

场景一

第一外部传感器211为摄像头，第二外部传感器212为麦克风。第一处理器221周期性地驱动摄像头捕捉图像信息。第一处理器221周期性地驱动麦克风捕捉音频信息。第一处理器221持续监听摄像头发送的图像信息和麦克风发送的音频信息。当第一处理器221监听到音频中出现了人物的声音时，第一处理器221截取该人声发生时间段内获得的图像信息作为第一目标数据，并截取该人声发生时间段内获得的音频信息作为第二目标数据。第一处理器221将第一目标数据、第二目标数据发送给加速器230。

加速器230可以使用第一神经网络模型对第一目标数据进行识别，得到第一识别结果。该第一神经网络模型可以是图像处理神经网络模型，第一识别结果可以是“夜晚”、“室外”的图像标签。加速器230可以使用第二神经网络模型对第二目标数据进行识别，得到第二识别结果。该第二神经网络模型可以是语音识别神经网络模型，第二识别结果可以是“尖叫”的音频标签。

加速器230将包含“夜晚”、“室外”的第一识别结果以及包含“尖叫”的第二识别结果发送至第二处理器222。第二处理器222可以根据“夜晚”、“室外”、“尖叫”的识别结果，确定目标操作，例如驱动电子设备进入紧急安全模式，提醒正在使用电子设备的用户报警或求救。

换句话说，当用户发出尖叫声时，电子设备可以将摄像头拍摄到图像保存下来。并且电子设备可以启动报警提醒界面，便于用户在紧急状况下快速获取帮助。

场景二

第一外部传感器211为麦克风，第二外部传感器212为触控传感器。第一处理器221周期性地驱动麦克风捕捉音频信息。第一处理器221周期性地驱动触控传感器捕捉手势操作信息。第一处理器221持续监听麦克风发送的音频信息和触控传感器发送的手势操作信息。当第一处理器221监听到音频中出现了人物的声音，且手势操作信号发生波动时，第一处理器221截取音频信息作为第一目标数据，并截取手势操作信息作为第二目标数据。第一处理器221将第一目标数据、第二目标数据发送给加速器230。

加速器230可以使用第一神经网络模型对第一目标数据进行识别，得到第一识别结果。该第一神经网络模型可以是语音识别神经网络模型，第一识别结果可以是“会议纪要”的音频标签。加速器230可以使用第二神经网络模型对第二目标数据进行识别，得到第二识别结果。该第二神经网络模型可以是手势操作神经网络模型，第二识别结果可以是“触摸A区域”的标签。

加速器230将包含“会议纪要”的第一识别结果以及包含“触摸A区域”的第二识别结果发送至第二处理器222。第二处理器222可以根据“会议纪要”、“触摸A区域”的识别结果，确定目标操作，例如驱动电子设备进入会议模式，启动录音程序并打开笔记记录程序。

换句话说，当用户长时间触摸屏幕A区域，并向电子设备说出有关会议的语音，电子设备可以判断用户在发出指令，可以快速识别该语音所包含的指令，从而快速响应用户的操作。

场景三

第一外部传感器211为环境光传感器，第二外部传感器212为加速度传感器。第一处理器221周期性地驱动环境光传感器捕捉光强信息。第一处理器221周期性地驱动加速度传感器捕捉电子设备方位信息。第一处理器221持续监听环境光传感器发送的光强信息和加速度传感器发送的方位信息。当第一处理器221监听到方位信息发生变化时，第一处理器221截取光强信息作为第一目标数据，并截取方位信息作为第二目标数据。第一处理器221将第一目标数据、第二目标数据发送给加速器230。

加速器230可以使用第一神经网络模型对第一目标数据进行识别，得到第一识别结果。该第一神经网络模型可以是光信号处理神经网络模型，第一识别结果可以是“由明变暗”的标签。加速器230可以使用第二神经网络模型对第二目标数据进行识别，得到第二识别结果。该第二神经网络模型可以是旋转角度识别神经网络模型，第二识别结果可以是“跑步”的标签。

加速器230将包含“由明变暗”的第一识别结果以及包含“跑步”的第二识别结果发送至第二处理器222。第二处理器222可以根据“由明变暗”、“跑步”的识别结果，确定目标操作，例如驱动电子设备进入运动记录模式、关闭触控传感器并熄灭显示屏。

换句话说，当用户将手机放入口袋或背包时，电子设备根据加速器230传感器捕获的信息判断用户是否处在运动中。若是，则电子设备可以熄屏，防止用户在运动时因误碰而长时间点亮屏幕。并且，即使用户并未启动任何运动记录程序时，电子设备可以自动触发记录用户的运动数据。

应理解，加速器230可以处理来自更多外部传感器捕获的数据。

可选的，加速器230可以分时对所述第一目标数据和所述第二目标数据进行识别。

例如，在第一时刻对第一目标数据进行识别，在识别完该第一目标数据之后，对该第二目标数据进行识别。

加速器230可以根据接收到第一目标数据、第二目标数据的先后顺序，确定该第一目标数据和该第二目标数据的识别顺序。加速器230也可以根据第一外部传感器211和第二外部传感器212的优先级，判断第一目标数据、第二目标数据的识别顺序。

可选的，所述第一处理器221还用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级。

所述第一优先级、第二优先级可以是第一处理器221发送第一目标数据、第二目标数据的顺序。所述第一优先级、第二优先级可以是第一处理器221对第一传感器数据、第二传感器数据提取数据的顺序。

第一处理器221可以根据接收到第一传感器数据、第二传感器数据的先后顺序，确定该第一目标数据和该第二目标数据的发送顺序。第一处理器221也可以根据第一外部传感器211和第二外部传感器212的优先级，判断第一优先级、第二优先级，如摄像头捕获的信息的优先级高于麦克风捕获的信息的优先级。

可选的，所述第一处理器221还用于分时向所述加速器230发送所述第一目标数据、所述第二目标数据。

可选的，所述集成芯片200还包括：控制器240，用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级；所述加速器230，具体用于根据所述第一优先级和所述第二优先级分时对所述第一目标数据和所述第二目标数据进行识别。

如图6所示，集成芯片200还可以包括控制器240。也就是说，集成芯片200中还包括用于调度数据的控制器240，由控制器240决定加速器230识别数据的顺序。在加速器230识别第一目标数据、第二目标数据之前，控制器240确定第一目标数据的优先级为第一优先级，第二目标数据为第二优先级，从而加速器230按照优先级高低对第一目标数据、第二目标数据进行识别。

在一个示例中，控制器240向加速器230发送所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级，加速器230根据第一优先级和第二优先级，确定分时对所述第一目标数据和所述第二目标数据进行识别。

在一个示例中，控制器240控制第一处理器221分时向加速器230发送所述第一目标数据和所述第二目标数据。从而加速器230可以根据按照接收顺序分时对所述第一目标数据和所述第二目标数据进行识别。

在一个示例中，在第一时刻，加速器230接收到第一目标数据，并对该第一目标数据进行识别。在加速器230尚未完成对第一目标数据识别的第二时刻，加速器230接收到优先级高于该第一目标数据的第二目标数据，加速器230可以中断对第一目标数据的识别过程，优先对第二目标数据进行识别。

可选的，所述第一处理器221，还用于根据所述第一传感器数据确定第三识别结果，所述第三识别结果与所述第一识别结果用于共同确定所述目标操作。

可选的，所述第一处理器还用于根据所述第一识别结果以及所述第三识别结果，确定所述目标操作。

也就是说，可以将简单的任务交给第一处理器221处理，将复杂的任务交给加速器230处理。实时响应的第一处理器221可以对第一传感器数据进行识别，得到第三识别结果，并响应加速器发送的第一识别结果，确定响应该第一识别结果以及第三识别结果的目标操作。

可选的，所述第一处理器221，还用于根据所述第一传感器数据确定第三识别结果；所述第二处理器222，具体用于根据所述第一识别结果以及所述第三识别结果，确定所述目标操作。

也就是说，实时响应的第一处理器221可以对第一传感器数据进行识别，得到第三识别结果。第二处理器222处理该第一识别结果以及第三识别结果，并确定响应该第一识别结果以及第三识别结果的目标操作。换句话说，可以将简单的任务交给第一处理器221处理，将复杂的任务交给加速器230处理。该第二处理器222包括可以响应加速器230以及第一处理器221的处理单元。图7示出了第一外部传感器211、第一处理器221、加速器230、第二处理器222传递的数据流。

以摄像头为例，实时响应处理器可以定时驱动摄像头拍摄照片，摄像头将拍摄到的照片通过接口发送给实时响应处理器，实时响应处理器可以判断前一时刻至后一时刻照片中发生的变化，得出是否发生明暗变化的判断结果，并将同一时段的图像信息发送至加速器230。加速器230对图像信息进行处理，得到图像的标签以及各个标签所属的概率。第二处理器222可以根据第一处理器221以及加速器230发送的识别结果执行相应操作，例如，第一识别结果包含“室内”的标签，第三识别结果为图像发生了明暗变化，第二处理器222可以启动用于提醒用户启动照明设备的程序。

以麦克风为例，实时响应处理器可以定时驱动麦克风捕获音频，麦克风将捕获到音频通过接口发送给实时响应处理器，实时响应处理器可以判断该音频中是否有机主的声音出现，并将相同时段的音频信息发送至加速器230。加速器230对音频信息进行处理，得到语音指令的内容，以及各个语音指令内容所属的概率。第二处理器222可以根据第一处理器221以及加速器230发送的识别结果执行相应操作，例如，第一识别结果包含“拨打电话”的语音指令，第三识别结果为不包含机主声音，第二处理器222可以启动锁定电子设备的程序，并提示正在使用电子设备的用户进行解锁。

图8所示为本申请提供的一种处理传感器数据的方法的示意性流程图。图8所示的方法800可以由图1中的处理器110或者图2所示的集成芯片200执行。

801，实时地从第一外部传感器获取第一传感器数据，并且从所述第一传感器数据中提取第一目标数据。

可选的，所述第一外部传感器包括摄像头、麦克风、运动传感器、距离传感器、环境光传感器、磁场传感器、指纹传感器或温度传感器中的一种。

第一外部传感器例如可以是如图1所示的摄像头193、麦克风170C、压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K，环境光传感器180L、骨传导传感器180M中的一个。

本申请中的“目标数据提取”可以被解释为，从外部传感器获取到的信息中提取一部分信息。被提取出的信息可以等价于“特征”。被提取出的信息可以用于进一步处理。也就是说，从外部传感器获取到的信息中可以剔除一部分数据，保留下来的数据可以被进一步识别。一种方式是依据预设的规则进行目标数据提取，将满足预设规则的数据提取出来。当不存在预设规则的情况下，可以将外部传感器获取到的全部数据发送至加速器。

步骤801可以由如图2所示的集成芯片中的第一处理器执行。

802，根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果，所述第一识别结果用于确定与所述第一识别结果对应的目标操作。

如图2所示的集成芯片中的加速器可以用于根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果。

神经网络模型是一种包含神经网络的数学模型。神经网络模型可以通过算法、代码等形式存储在存储介质上。前文中已经介绍了神经网络的概念，在此不再赘述。在本申请中，加速器执行的神经网络模型可以是经过简化的。简化神经网络模型，例如，可以从已经训练好的神经网络模型中去除一部分层，例如卷积层、池化层、神经网络层等。又如，可以减少神经网络模型各层中的神经元数量。简化后的神经网络模型需要重新训练。

根据第一神经网络模型，可以获取到第一识别结果；根据第一识别结果，可以确定与该第一识别结果对应的目标操作。

该其他处理器可以根据第一识别结果确定一个最终的识别结果。假设第一识别结果中包括特征A、特征B、特征C，以及特征A所属的概率为50％、特征B所属的概率为30％、特征C所述的概率为20％，意味着第一目标数据属于特征A的概率为50％，第一目标数据属于特征B的概率为30％，第一目标数据属于特征C的概率为20％。确定最终识别结果的一种方式，将概率值最大的识别结果作为最终识别结果，即第一目标数据属于特征A。确定最终识别结果的另一种方式，在特征A、特征B、特征C为数值的情况下，求特征A、特征B、特征C的加权平均值，权重即为各个特征对应的概率值，即第一目标数据属于(特征A×0.5+特征B×0.3+特征C×0.2)/3。确定最终识别结果的另一种方式，将概率值较大的多个特征作为最终的识别结果，例如将特征A、特征B作为最终的识别结果。

可以通过算法或代码的方式将最终识别结果与目标操作关联起来。

可选的，所述方法还包括：执行所述目标操作。

一种情况，目标操作可以是维持电子设备当前的状态。另一种情况，目标操作可以是唤醒电子设备内部的其他处理器，使其他处理器从休眠状态切换至工作状态；目标操作进一步还包括将第一目标数据、第一识别结果、指令等信息发送至其他处理器。被唤醒的其他处理器可以是实时响应处理器。

可选的，所述方法还包括：根据所述第一识别结果确定所述目标操作。

由实时响应第一外部传感器的处理器处理该第一识别结果，并确定响应该第一识别结果的目标操作。换句话说，执行方法800的装置包括可以实时驱动外部传感器的处理单元，又包括可以实时响应传感器数据的处理单元，并且包括可以响应加速器得到的识别结果的处理单元。

可选的，所述方法还包括：实时地从第二外部传感器获取第二传感器数据，并且从所述第二传感器数据中提取第二目标数据；根据第二神经网络模型对所述第二目标数据进行识别以得到第二识别结果，所述第二识别结果与所述第一识别结果用于共同确定所述目标操作。

第二外部传感器例如可以是如图1所示的摄像头193、麦克风170C、压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K，环境光传感器180L、骨传导传感器180M中的一个。

也就是说，两个不同的外部传感器分别捕获第一传感器数据、第二传感器数据，从第一传感器数据中可以提取第一目标数据，从第二传感器数据中可以提取第二目标数据，第一神经网络模型可以对第一目标数据进行识别，第二神经网络模型可以对第二目标数据进行识别。第一神经网络模型、第一目标数据的类型、第一外部传感器三者之间存在关联关系或对应关系。第二神经网络模型、第二目标数据的类型、第二外部传感器三者之间存在关联关系或对应关系。处理器根据第一识别结果、第二识别结果，可以确定该目标操作。

可选的，所述第一神经网络模型中的参数通过网络进行更新。

第一神经网络模型中的参数例如可以是权重参数、神经元激活/非激活参数等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种应用于手机的集成芯片，其特征在于，包括：

第一处理器，用于从第一外部传感器获取第一传感器数据，并且提取所述第一传感器数据中全部或一部分数据作为第一目标数据，其中，所述第一处理器能够实时在线；

神经网络加速器，用于根据第一神经网络模型对所述第一目标数据进行识别以得到第一识别结果，其中，所述神经网络加速器能够实时在线；以及

第三处理器，包括中央处理器、图形处理器、或神经网络处理器中至少一个；其中，

所述第一处理器还用于根据所述第一识别结果确定目标操作，所述目标操作用于唤醒所述第三处理器；

所述第三处理器，用于响应所述目标操作，从休眠状态切换至工作状态；

所述第一外部传感器包括摄像头、麦克风、运动传感器、距离传感器、环境光传感器、磁场传感器、指纹传感器或温度传感器中的至少一种；

所述神经网络加速器的计算能力弱于传统神经网络处理器，所述传统神经网络处理器的耗电量大于所述神经网络加速器。

2.如权利要求1所述的集成芯片，其特征在于，

所述第一处理器，还用于从第二外部传感器获取第二传感器数据，并且提取所述第二传感器数据中全部或一部分数据作为第二目标数据；

所述神经网络加速器，还用于根据第二神经网络模型对所述第二目标数据进行识别以得到第二识别结果；

所述第一处理器还用于根据所述第一识别结果和所述第二识别结果确定所述目标操作。

3.如权利要求2所述的集成芯片，其特征在于，

所述神经网络加速器，还用于分时对所述第一目标数据和所述第二目标数据进行识别。

4.如权利要求3所述的集成芯片，其特征在于，所述集成芯片还包括：

控制器，用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级；

所述神经网络加速器，具体用于根据所述第一优先级和所述第二优先级分时对所述第一目标数据和所述第二目标数据进行识别。

5.如权利要求3所述的集成芯片，其特征在于，所述集成芯片还包括：

控制器，用于确定所述第一目标数据对应的第一优先级和所述第二目标数据对应的第二优先级，并且根据所述第一优先级和所述第二优先级控制所述第一处理器分时向所述神经网络加速器发送所述第一目标数据和所述第二目标数据，以使得所述神经网络加速器分时对所述第一目标数据和所述第二目标数据进行识别。

6.根据权利要求1至5中任一项所述的集成芯片，其特征在于，所述第一神经网络模型中的参数通过网络进行更新。

7.根据权利要求1至5中任一项所述的集成芯片，其特征在于，所述神经网络加速器包括通用的矩阵处理器。

8.一种手机，包括如权利要求1至5中任一项所述的集成芯片和所述第一外部传感器。