CN115547312A - 带活动检测的预处理器、芯片和电子设备 - Google Patents

Abstract

本发明公开了一种带活动检测的预处理器、芯片和电子设备。为了最大限度的降低永远在线的语音识别功耗，本发明涉及带活动检测的预处理器，活动检测模块耦接于低功耗放大器与多个并行通道之间，基于所述活动检测模块在最佳窗口上累积的输入信号能量，以激活或关闭后续多个并行通道的运行。本发明在预处理器的并行通道之前检测是否有需要的输入信号，最大限度地降低了功耗，且实现简单、鲁棒性好、虚警率低。本发明适于基于神经形态的感知与计算领域。

Description

带活动检测的预处理器、芯片和电子设备

技术领域

本发明涉及带活动检测的预处理器、芯片和电子设备，尤其涉及低功耗且always-on地识别一维信号的带活动检测的预处理器、芯片和电子设备。

背景技术

在边缘设备或IoT装置中，低功耗且always-on地进行关键词识别（keywordspotting，KWS）是语音检测及处理的基本要求。随着人工智能的发展，基于神经网络的语音识别具有难以抵挡的优势。

当前主流的神经网络为第二代人工神经网络ANN（Artificial Neural Network），ANN（如DNN等）基于冯诺依曼架构，使用浮点数进行加权求和运算，善于处理密集型特征，但计算代价大、且功耗高，并且由于缺少神经元动力学，舍弃了在时间域上的运算仅保留了逐层计算的空间域结构，时空数据处理能力弱。

脉冲神经网络SNN（Spiking Neural Network）是第三代人工神经网络，基于事件驱动（Event-based）架构，内部的信息传递是由离散的时空事件流或脉冲流完成的，仅当有脉冲到达时才触发计算，功耗极低，突破了传统冯诺依曼架构导致的存储墙、功耗墙。SNN神经元具有的脉冲通信方式与动力学特征构成了与当前 ANN 之间最基本的差异，并赋予其进行超低功耗计算与时序任务处理的潜力，使其在处理复杂、稀疏和嘈杂的语音信息方面取得了卓越的性能。

图1为基于SNN的语音识别技术，包括音频前端和SNN处理器，音频前端对麦克风采集的声音进行音频特征提取，并将提取的音频特征编码为脉冲信号后交由SNN进行分类得到推理结果，实现了感算一体，具有超低功耗以及在边缘端的always-on（不需要连网，在事件来了就能实时处理）。可用于关键词识别、声音激活检测VAD（Voice activity detect，基于SNN的分类结果触发是否激活），以及异常检测等。

为了进一步降低语音识别的功耗，一些方法利用两个神经网络，使用第一神经网络进行激活检测，以控制第二神经网络进行推理（第一神经网络比第二神经网络简单），还有一些方法在音频前端与SNN处理器的接口处进行判断，以控制SNN处理器是否进行后续推理。

然而，该些方法无法避免音频前端一直进行音频特征提取产生，如何最大限度的降低always-on的语音识别功耗，是本领域一直亟待解决的难题。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种带活动检测的预处理器，包括低功耗放大器、活动检测模块与多个并行通道；低功耗放大器接收一维信号进行低功耗放大，活动检测模块耦接于低功耗放大器与多个并行通道之间，多个并行通道分频段各自处理与该通道对应频率分量；所述活动检测模块在最佳窗口上累积其输入信号能量，根据累积的所述输入信号的平均能量激活或关闭后续多个并行通道的运行。

在某类实施例中，基于所述平均能量与第一阈值间的关系激活或关闭后续多个并行通道的运行。

在某类实施例中，当所述平均能量大于或大于等于所述第一阈值，则激活后续多个并行通道的运行。

在某类实施例中，基于信噪比设置所述第一阈值，基于所述第一阈值确定应用场景下的最佳窗口长度。

在某类实施例中，第一阈值θ为

的2倍或5倍或10倍，其中，SNR表示信噪比。

在某类实施例中，利用一阶马尔可夫滤波器来估计所述平均能量。

在某类实施例中，所述活动检测模块根据一维输入的特点选择所述平均能量的度量方式。

在某类实施例中，所述预处理器包括同步或异步模数转换器；所述模数转换器耦接于低噪声放大器与活动检测模块之间，用于将经低噪声放大后的一维信号转换为数字信号。

在某类实施例中，被激活的多个并行通道产生脉冲序列，并由神经网络处理器进行处理。

在某类实施例中，所述预处理器为传感器。

一种活动检测方法，基于信噪比设置第一阈值，并根据所述第一阈值确定与应用场景对应的最佳窗口；在最佳窗口上累积活动检测模块的输入信号能量；根据累积的所述输入信号的平均能量激活或关闭后续处理。

在某类实施例中，若所述平均能量是否大于或大于等于第一阈值，则激活后续处理。

在某类实施例中，第一阈值θ为

的2倍或5倍或10倍，其中，SNR表示信噪比。

在某类实施例中，利用一阶马尔可夫滤波器来估计所述平均能量。

在某类实施例中，所述活动检测模块根据一维输入的特点选择所述平均能量的度量方式。

一种芯片，所述芯片包括如前所述的带活动检测的预处理器和处理器；所述处理器与所述预处理器耦接，用于进行推理。

在某类实施例中，所述预处理前端将一维信号转换为脉冲信号；所述处理器为事件驱动型处理器。

在某类实施例中，所述处理器为脉冲神经网络处理器。

在某类实施例中，所述芯片为类脑芯片。

一种电子设备，该电子设备包括如前所述的芯片。

本发明的部分或全部实施例，具有如下有益技术效果：

1）本发明在预处理前端进行活动检测，尤其是在预处理前端的并行通道前检测是否有需要的输入信号，以控制并行通道及后续的神经网络处理器是否进行处理，最大限度地降低了功耗。

2）本发明的活动检测实现简单，鲁棒性好。

3）采用本发明活动检测的预处理前端识别准确率高，且虚警率低。

4）本发明的预处理前端能够处理多种一维信号，并根据一维信号的特点旋转平均能量的度量方式，灵活性强。

5）本发明的预处理前端能够将一维信号转换为脉冲信号，以适应脉冲事件驱动处理器，从而进一步降低信号从感知到得到计算结果的功耗。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是基于SNN的语音识别技术；

图2是本发明某优选实施例中的低功耗音频前端；

图3是本发明另一优选实施例中的低功耗音频前端；

图4 是在低频输入情况下，使用不同的窗口长度估算平均功率的测试结果；

图5是在高频输入情况下，使用不同的窗口长度估算平均功率的测试结果。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

为了最大限度地降低功耗，在音频前端（在本发明中也可称为预处理器）进行活动检测，尤其是在音频信号进入并行通道前进行活动检测。活动检测用于检测输入音频信号中是否有需要的信号（也可称为有效输入或有效音频），以控制多个并行通道是否运行，若是，则激活多个并行通道及后续的处理器进行推理，并当输入中没有需要的信号时（例如输入中全是噪声），不激活或关闭多个并行通道及后续处理器的运行。

多个并行通道按频段进行滤波并检测不同频段下随时间变化的信号活动，每个通道包括带通滤波器BPF、整流器、脉冲发生器（LIF或IAF）等。每个通道的BPF仅保留与该通道BPF中心频率匹配的一小部分经LNA低噪声放大后的音频信号，整流器与BPF耦接，用于对BPF输出的通带信号进行整流，脉冲发生器与整流器耦接用以产生通道对应的脉冲流/脉冲序列。

图2是本发明某优选实施例中的低功耗音频前端，包括依次耦接的低噪声放大器LNA、活动检测器以及多个并行通道。低噪声放大器LNA，用于对输入音频进行低噪声放大。活动检测器，用于与LNA耦接，以控制多个并行通道是否运行。其中，多个并行通道中使用模拟带通滤波器或者数字带通滤波器。

图3是本发明另一优选实施例中的低功耗音频前端，包括依次耦接的低噪声放大器LNA、同步或异步模数转换器ADC、活动检测器以及多个并行通道。优选地，多个并行通道中使用数字带通滤波器。其中，同步或异步模数转换器ADC与低噪声放大器LNA耦接，用于将低噪声放大后的音频信号转换为数字信号，活动检测器，用于与同步或异步模数转换器ADC耦接，以控制多个并行通道是否运行。

本发明的活动检测相当于Pre-AFE激活检测，基于直接从低噪声放大器或ADC接收到的信号进行检测，并在信号传递至并行通道前检测完成。本发明的活动检测，在长度为W的输入样本组成的窗口上累积信号能量，并根据累积信号的平均能量判断是否存在有效输入，基于平均能量判断的一个优点是判断的稳定性及鲁棒性好。

本发明不仅能感算一体地识别语音信号，还能识别振动、压力、温度、加速度、生理信号（如心电、肌电）等一维时序信号。优选地，本发明可根据从LNA或ADC传入的输入信号特点，采用不同的能量度量方式。

若输入信号符合高斯分布，在长度为W的输入样本组成的窗口上累积信号的平均能量可表示为：

（1）

若输入信号为离散信号，例如很少出现，但当出现时有一个较大的振幅，则其在长度为W的输入样本组成的窗口上累积信号的平均能量可采用如下表示，简化计算的同时提升了鲁棒性，具体表示如下：

（2）

其中，

为活动检测从LNA或ADC传入的输入信号

的绝对值。若活动检测的输入信号最高位MSB为0，则信号

为正，因此

。若活动检测的输入信号最高位MSB为1，则信号

为负，可通过对

的位进行翻转，在某些实施例中可以将所有位反转并在LSB处加1得到

，或者直接将MSB位翻转实现

，例如对于2位输入，若

，可将所有位翻转后在LSB处加1得到01，实现﹣1的绝对值﹢1，或者之间将MSB设置为1得到01。

为了进行活动检测，我们将

与第一阈值θ进行比较，当

大于或大于等于第一阈值，则激活多个并行通道对应频段通道中的带通滤波器及后续模块进行处理，否则，多个并行通道及后续处理器不运行。

为了保证识别精度，需要精确设置输入样本组成的窗口W的长度，以获得高检测率和低虚警率。其中，检测率指检测到信号存在的概率，为了避免错过有效输入，需要活动检测非常可靠以保证极高的检测率。虚警率指错误激活的概率，例如实际输入中不包含有效输入时，将噪声信号错误识别为有效信号，激活后续模块工作的概率。

本发明基于信噪比，使虚警率保持在一个非常低的水平，且虚警率恒定，称为恒定虚警率（constant false-alarm rate，CFAR）。为了保证在嘈杂的噪声环境中，活动检测具有较高的检测精度和稳定度，第一阈值θ需满足如下条件：

（3）

在某些实施例中，第一阈值θ为

的1.2、1.3、1.4、1.5…、2…、5…、10…（步长为0.1），直至200倍。

为了降低活动检测在感算一体芯片中的实现难度，本发明在某优选实施例中使用一阶马尔可夫滤波器（Markov filter）来估计平均能量。

图4 是在低频输入情况下，使用不同的窗口长度估算平均功率的测试结果。可以看出，使用不同的窗口长度对活动检测的性能产生较大的影响。

较小的窗口长度，能够更快地跟踪和反应瞬时平均功率，但平均功率估计不准确、波动幅度大，尤其是对于变化很快（频率较高）的输入，检测概率和虚警率不理想，活动检测性能较差。随着窗口长度增大，具有更好的平均功率估计和较低的波动，但由于需要搜集更多的输入信息，需要更多的时间稳定及响应输入变化，由此会导致错误的激活或者关闭（也称作非激活）。

图5是在高频输入情况下，使用不同的窗口长度估算平均功率的测试结果。与低频输入相比，在噪声环境中，本发明的活动检测对高频输入信号的平均功率估计更准确和稳定，具有更好的检测性能及虚警性能。

本发明涉及一种芯片，该芯片同时包括传感器与处理器，用于处理一维时序信号。该芯片包括预处理前端与处理器（也称为分类器），预处理前端与处理器耦接。特别地，本发明适于基于神经形态的感知与计算领域。

在某些情况下，该处理器为事件驱动型处理器。在某些情况下，该处理器为神经网络处理器，尤其是具有低功耗、低延迟能够处理稀疏时序信息的脉冲神经网络处理器，或者是存算一体处理器，或者决策树，优选地为脉冲循环神经网络处理器。

在某些实施例中，预处理器包括低功耗放大器与多个并行通道。低功耗放大器接收一维输入信号进行低功耗放大，多个并行通道与所述低功耗放大器耦接，多个并行通道分频段各自处理与该通道对应频率分量。

本发明的预处理器包括活动检测模块，所述活动检测模块耦接于低功耗放大器与多个并行通道之间，用于激活或关闭多个并行通道的运行，以最大限度的降低音频、振动别等一维信号识别的功耗。具体地，活动检测模块在窗口W上累积所述活动检测模块的输入信号能量，根据累积的所述输入信号的平均能量激活或关闭后续处理。

为了使虚警率保持在一个非常低的水平，使活动检测模块具有较高的精度和稳定度，本发明的活动检测基于信噪比设置平均能量阈值（也可称为第一阈值），并基于平均能量阈值确定与应用场景对应的输入样本累积能量的窗口长度，该方法确定的窗口长度，也称为最佳窗口长度。所述活动检测模块基于该最佳窗口长度进行激活检测，可有效避免虚警及误检，且保证低频及高频输入的检出率。

具体地，检测最佳窗口长度上累积活动检测模块输入信号的平均能量，判断该平均能量是否大于平均能量阈值，若大于则激活多个并行通道运行。

优选地，本发明的活动检测模块，可根据一维输入信号的特点选择不同的平均能量度量方式。优选地，本发明使用一阶马尔可夫滤波器来估计平均能量。

在某优选实施例中，同步或异步模数转换器ADC耦接于低噪声放大器LNA与活动检测模块之间，用于将低噪声放大后的一维信号转换为数字信号以供后续模块处理。

本发明涉及一种活动检测方法，该活动检测方法基于最佳窗口长度进行激活检测。具体地，检测最佳窗口长度内的活动检测模块输入信号的平均能量，基于该平均能量与阈值间的关系以控制是否激活后续多个并行通道的运行。其中，多个并行通道仅能处理与该通道对应的频率分量。

在某优选实施例中，被激活的多个并行通道产生脉冲序列，并由神经网络处理器（优选为脉冲神经网络处理器或存算一体处理器）进行推理，实现对一维信号的智能识别。

在某优选实施例中，基于信噪比设置前述阈值，并基于前述阈值确定与应用场景对应的输入样本累积能量的窗口长度，得到前述最佳窗口长度。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (11)

1.一种带活动检测的预处理器，其特征在于：

包括低功耗放大器、活动检测模块与多个并行通道；

低功耗放大器接收一维信号进行低功耗放大，活动检测模块耦接于低功耗放大器与多个并行通道之间，多个并行通道分频段各自处理与通道对应的频率分量；

所述活动检测模块在最佳窗口上累积其输入信号能量，根据累积的所述输入信号的平均能量激活或关闭后续多个并行通道的运行。

2.根据权利要求1所述的带活动检测的预处理器，其特征在于：

基于所述平均能量与第一阈值间的关系激活或关闭后续多个并行通道的运行。

3.根据权利要求2所述的带活动检测的预处理器，其特征在于：

当所述平均能量大于或大于等于所述第一阈值，则激活后续多个并行通道的运行。

4.根据权利要求2所述的带活动检测的预处理器，其特征在于：

基于信噪比设置所述第一阈值，基于所述第一阈值确定应用场景下的最佳窗口长度。

5.根据权利要求4所述的带活动检测的预处理器，其特征在于：

第一阈值θ为

的2倍或5倍或10倍，其中，SNR表示信噪比。

6.根据权利要求2至5任一项所述的带活动检测的预处理器，其特征在于：

利用一阶马尔可夫滤波器来估计所述平均能量。

7.根据权利要求2至5任一项所述的带活动检测的预处理器，其特征在于，所述预处理器包括同步或异步模数转换器；

所述模数转换器耦接于低噪声放大器与活动检测模块之间，用于将经低噪声放大后的一维信号转换为数字信号。

8.根据权利要求2至5任一项所述的带活动检测的预处理器，其特征在于：

所述预处理器为传感器。

9.一种芯片，其特征在于：

所述芯片包括如权利要求1至8任一项所述的带活动检测的预处理器，

以及处理器，所述处理器与所述预处理器耦接，用于进行推理。

10.根据权利要求9所述的芯片，其特征在于：

所述预处理器将一维信号转换为脉冲信号；

所述处理器为事件驱动型处理器。

11.一种电子设备，其特征在于：

该电子设备包括如权利要求9或10所述的芯片。

Images