CN115798491B - 音频特征提取装置、方法、芯片和电子设备 - Google Patents

音频特征提取装置、方法、芯片和电子设备 Download PDF

Info

Publication number
CN115798491B
CN115798491B CN202310044184.0A CN202310044184A CN115798491B CN 115798491 B CN115798491 B CN 115798491B CN 202310044184 A CN202310044184 A CN 202310044184A CN 115798491 B CN115798491 B CN 115798491B
Authority
CN
China
Prior art keywords
event
signal
feature extraction
threshold
audio feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310044184.0A
Other languages
English (en)
Other versions
CN115798491A (zh
Inventor
苏尼尔·希拉万特
赛义德·哈格哈特舒尔
图芭·代米尔吉
乔宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shizhi Technology Co ltd
Original Assignee
Shenzhen Shizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shizhi Technology Co ltd filed Critical Shenzhen Shizhi Technology Co ltd
Priority to CN202310044184.0A priority Critical patent/CN115798491B/zh
Publication of CN115798491A publication Critical patent/CN115798491A/zh
Application granted granted Critical
Publication of CN115798491B publication Critical patent/CN115798491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Amplifiers (AREA)

Abstract

本发明公开了一种音频特征提取装置、方法、芯片和电子设备。为解决现有模拟音频前端对工艺、制造敏感的技术问题,本发明的音频前端使用数模混合电路,包括低噪声放大器和异步delta调制器,异步delta调制器与所述低噪声放大器耦接,用于以异步的方式实现数字化,以在低噪声放大器之后最大限度的实现数字化。实现输入音频信号的稀疏数据表示,资源占用少,且具有与模拟音频前端差不多的功耗。本发明适于类脑感知或/和计算领域。

Description

音频特征提取装置、方法、芯片和电子设备
技术领域
本发明涉及一种音频特征提取装置、方法、芯片和电子设备,具体涉及一种基于事件驱动机制,且以异步方式实现数字化的音频特征提取装置、方法、芯片和电子设备。
背景技术
神经形态芯片(也称为类脑芯片),常使用音频前端(Audio Front End, AFE)处理原始音频信号,提取音频特征,将提取的音频特征编码为脉冲事件流,由神经网络处理器(如脉冲神经网络SNN)进行识别,如图1所示。音频前端包括低噪声放大器(Low NoiseAmplifier,LNA)、带通滤波器(Band Pass Filter,BPF)、整流器(Full-Wave Rectifier,FWR)、脉冲发生器(Leakyintegrate and fire,LIF或integrated-and-fire,IAF)等。
现有的音频前端AFE常使用模拟电路实现,具有较快的处理速度和超低功耗,然而音频前端AFE中的模拟带通滤波器BPF面积大(大量的电阻、电容),且对温度变化敏感,性能受工艺、制造等因素影响。
为了解决上述问题,本发明在低噪声放大器之后,探索以最大限度的数字方式实现模拟音频前端的替代方式,具备模拟AFE相当的功耗和速度。
发明内容
为了解决或缓解上述部分或全部技术问题,本发明是通过如下技术方案实现的:
一种音频特征提取装置,所述音频特征提取装置包括低噪声放大器和异步delta调制器;所述低噪声放大器,用于对麦克风采集的音频进行低噪声放大;所述异步delta调制器与所述低噪声放大器耦接,用于以异步的方式实现数字化。
在某实施例中,所述异步delta调制器采用非均匀时间步长和均匀幅值执行采样。
在某实施例中,基于所述均匀幅值得到至少一个阈值,所述至少一个阈值为均匀幅值的n倍,n=0,1,2……;所述异步delta调制器从所述低噪声放大器接收时间和幅值连续的信号,基于所述至少一个阈值对所述信号进行采样;所述信号与所述至少一个阈值在水平交叉处产生事件。
在某类实施例中,所述事件包括第一事件和第二事件;当所述信号斜率为正,所述信号上升达到或超过所述至少一个阈值时,产生第一事件;当所述信号斜率为负,所述信号下降达到或小于所述至少一个阈值时,产生第二事件。
在某类实施例中,利用高频数字时钟跟踪和定位与各阈值对应的第一事件或/和第二事件发生的时间戳。
在某类实施例中,所述高频时钟的频率大于等于
Figure SMS_1
,其中W为音频带宽,N为所述信号最大振幅的量化精度,所述最大振幅等于N乘以所述均匀幅值。
在某类实施例中,音频特征提取装置还包括:多个并行通道,每个并行通道包括具有不同中心频率的数字带通滤波器;每个并行通道中的所述数字带通滤波器与所述异步delta调制器耦接;利用差分编码计算所述数字带通滤波器的输出。
在某类实施例中,利用差分编码按阈值分别将与各阈值对应的第一事件的时间戳编码为﹢1,或/和将与各阈值对应的第二事件的时间戳编码为﹣1,其余时间戳编码为0。
在某类实施例中,移位寄存器,所述移位寄存器耦接于所述异步delta调制器和多个并行通道之间;所述移位寄存器按阈值存储所述异步delta调制器的采样结果;所述数字带通滤波器对移位寄存器中的值进行差分编码,得到与各阈值相对应的差分编码事件流。
在某类实施例中,所述异步delta调制器根据信号在正向或负向与所述至少一个阈值在水平上的交叉来复位多bit移位寄存器中的一个位。
一种音频特征提取方法,其特征在于:
利用低噪声放大器用于对麦克风采集的音频进行低噪声放大;
异步delta调制器与所述低噪声放大器耦接,从所述低噪声放大器接收时间和幅值连续的信号,并以异步的方式实现数字化。
在某类实施例中,基于均匀幅值得到至少一个阈值,所述异步delta调制器基于所述至少一个阈值对所述信号进行采样;所述至少一个阈值为均匀幅值的n倍,n=0,1,2……;所述信号在与所述至少一个阈值交叉处产生事件。
在某类实施例中,所述事件包括第一事件和第二事件;当信号斜率为正,信号上升达到或超过所述至少一个阈值时,产生第一事件;当信号斜率为负,信号下降达到或小于所述至少一个阈值时,产生第二事件。
在某类实施例中,音频特征提取方法还包括:多个并行通道,每个并行通道包括具有不同中心频率的数字带通滤波器;所述数字带通滤波器与所述异步delta调制器耦接;利用差分编码计算所述数字带通滤波器的输出。
一种芯片,包括如前所述的音频特征提取装置或如前所述的音频特征提取方法,以及处理器;所述处理器,与音频特征提取装置耦接,用于执行分类任务。
在某类实施例中,所述处理器为决策树或神经网络处理器。
在某类实施例中,所述芯片为类脑芯片。
一种电子设备,该电子设备包括如前所述的芯片。
本发明的部分或全部实施例,具有如下有益技术效果:
1)本发明的音频前端AFE采用数模混合电路实现,低噪声放大器后完全以数字方式实现,且以异步方式实现数字化,本发明的AFE具有与模拟AFE差不多的功耗。
2)本发明的音频前端AFE基于事件驱动(event-based)机制,包括异步delta调制器(AsyncΔ Modulator,简称异步ADM),异步delta调制器的输出数据流依赖于输入信号,只有当输入信号的振幅发生变化时才会生成数据。
3)不同与现有delta调制器使用连续时间采样,本发明的异步ADM基于异步方式实现,使用非均匀时间步长和均匀幅步长进行采样,从而实现输入音频信号的稀疏数据表示。
4)本发明使用脉冲差分编码以产生稀疏的事件流(也称为事件序列),事件稀疏性好,资源占用少,功耗低。
更多的有益效果将在优选实施例中作进一步的介绍。
以上披露的技术方案/特征,旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括,因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分,该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容,以相互合理组合的方式披露更多的技术方案。
本发明任意位置所披露的所有技术特征所组合出的技术方案,用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1是音频特征提取及处理原理图;
图2是本发明的音频特征提取原理框图;
图3是本发明某实施例的异步ADM执行采样的示意图;
图4是异步ADM的输入与不同阈值交叉时移位寄存器中的值;
图5展示了由差分编码产生的事件序列。
具体实施方式
由于不能穷尽描述各种替代方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节,一般均属于本领域通过常规手段即可实现的技术目标或技术特征,限于篇幅,本发明不对其详细介绍。
除非是除法的含义,本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记,并不暗示时间或空间上的绝对顺序,也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明会对各种用于组合成各种不同具体实施例的要点进行描述,这些要点将被组合至各种方法、产品中。在本发明中,即便仅在介绍方法/产品方案时所描述的要点,意味着对应的产品/方法方案也明确地包括该技术特征。
本发明中任意位置处描述存在或包括某步骤、模块、特征时,并不暗示这种存在是排它性地唯一存在,本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例,一般是出于披露优选实施例的目的,但这并不暗示该优选实施例的相反实施例,为本发明所排斥/排除,只要这种相反实施例至少解决了本发明的某个技术问题,都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点,本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段,获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
本发明的音频前端AFE(也称为音频特征提取器)基于事件驱动机制,其能效、功耗与音频信号的活动成正比。音频前端AFE对音频信号进行频率拓扑,依据频率将音频划分为多个并行通道进行处理。在某实施例中,任意通道内包括符合该通道频带范围的数字带通滤波器BPF、数字整流器和数字脉冲发生器,以实现该通道频率带宽内量化的数字音频信号到脉冲信号的转换。具体地,每个通道中的BPF仅保留频率与该通道BPF中心频率匹配的一小部分音频输入信号,并检测该部分音频输入信号随时间变化的信号活动。在任意通道内,经BPF滤波后的音频信号的幅度或能量变化强度超过阈值时,产生事件。
本发明在低噪声放大器LNA之后,最大限度的以数字方式实现音频前端AFE,低噪声放大器LNA后的信号以异步的方式实现数字化。图2是本发明的音频特征提取原理框图,包括低噪声放大器LNA、异步delta调制器(AsyncΔ-Mod,本文中也简称为异步ADM),以及并行的多个通道,每个通道包括数字带通滤波器BPF、数字整流器、数字脉冲发生器等,其中数字脉冲发生器可以是IAF(Leaky Integrated-and-Fire,LIF或Integrated-and-Fire),或者其他脉冲编码器。
现有的同步ADC中,一般按照固定时间间隔nT 0 对信号进行采样(其中T 0 为采样时间间隔,n=0,1,2……),并且由于信号是连续的实数,需要对采样信号的幅值x(nT 0 )进行量化,以便能存储在有限精度的存储器中,即同步ADC以均匀时间间隔和非均匀幅度执行采样。
本发明的异步ADM与常规的连续时间信号采样方法完全不同,采样振幅,利用非均匀时间步长和均匀幅值步长Δ执行采样,具体地按照固定振幅间隔nΔ对信号进行采样(n=0,1,2……或非负整数),固定振幅间隔的集合,称为阈值集合,如{Δ,2Δ,3Δ,4Δ……}。相比之下,与产生事件对应的采样时间则是需要量化的实数值。
设被采样信号最大幅值(也可称为最大振幅,或动态范围)为A,则A=NΔ,N越大,幅值量化精度越高、采样精度越高。
图3为本发明某实施例的异步ADM执行采样的示意图,异步ADM从低噪声放大器LNA接收时间和幅值连续的信号x(异步ADM的输入),并在与离散电压阶跃的电平(即固定振幅间隔)交叉处产生事件。具体地,按照固定振幅间隔nΔ对信号x进行采样,当信号上升达到(或超过)以及下降达到(或小于)阈值nΔ时,产生事件。
在某些实施例中,产生的事件进一步包括up事件(也称为开始事件或第一事件)、down事件(也称为结束事件或第二事件)。信号与离散振幅间隔nΔ在水平交叉处产生事件,设信号斜率为正或/和信号增大方向为正向,若信号在正向与离散振幅间隔nΔ水平交叉处产生的事件为up事件,即信号上升达到(或超过)阈值nΔ时,产生up事件。
反之,信号斜率为负或/和信号减小方向为负向,若信号在负向与离散振幅间隔nΔ水平交叉处产生的事件为down事件,即信号下降达到(或小于)阈值nΔ时,产生down事件。此外,区分异步ADM产生事件的技术手段,可以是任意合理方式,本发明对此不做限定。
图3中,将输入信号x与阈值集合,如Δ、2Δ、3Δ和4Δ,进行比较判断,当输入信号上升达到(或超过)该阈值,或者下降达到(或小于)该阈值时,均会产生事件,产生事件的时间戳为t1至t8。图3仅是示例性的举例,本发明对产生事件的时间戳及数量并不进行限制。
异步ADM记录有关不同阈值交叉的时间戳,数字逻辑将数据写入寄存器(例如移位寄存器具有210bit)。图4展示了与不同阈值交叉时移位寄存器中的值,对于每一个up事件,通过在最左边的位附加“1”右移一位;对于每一个down事件,通过在最右边的位附加“0”来执行左移操作。
如图3和如图4所示,在第一阈值Δ处对信号x进行采样,得到采样的量化脉冲e1,其中信号与离散振幅间隔Δ在t1处水平交叉产生up事件(也称为开始事件,表示量化脉冲e1的起始位置/时刻,在t8处水平交叉产生down事件(也称为结束事件),表示量化脉冲的结束位置/时刻,在t2-t7处,寄存器中的值维持不变。因此,对于第一阈值Δ,在t1时刻、t8时刻分别产生一个up事件、down事件,移位寄存器中的值为011111110。
在第二阈值2Δ处对信号x进行采样,得到采样的量化脉冲e2,其中信号与离散振幅间隔2Δ在t2处水平交叉产生up事件,表示量化脉冲e2开始,以及t7处水平交叉产生down事件,表示量化脉冲e2结束,在t3-t6处,寄存器中的值维持不变。因此,对于第二阈值2Δ,在t2时刻、t7时刻分别产生一个up事件、down事件,移位寄存器中的值为001111100。
对于第三阈值3Δ,在t3时刻、t6时刻分别产生一个up事件、down事件,移位寄存器中的值为000111000,依次类推。
本发明基于事件定时,对与阈值nΔ对应产生的up事件、down事件的时间戳进行量化以产生对信号x的脉冲分解。
为了对信号进行脉冲分解,利用高频数字时钟来定位和跟踪与阈值对应的开始事件(up事件)和结束事件(down事件)发生的时间。为了保证有良好的精度,相邻事件产生的时间戳不重叠,需要精确的时间量化,因此,该高频数字时钟的频率需要足够大。对于音频带宽为W且振幅量化为N(信号x的最大振幅为A=NΔ),高频数字时钟的采样频率f s 需满足:
Figure SMS_2
例如,对于8位振幅量化(N=28=256)且带宽W=16KHz的音频,需要保证高频数字时钟的最低采样率为f s =25.72MHz,以使其能够正确捕获及定位各事件的发生。
在某些实施例中,通过脉冲集合得到原始信号的近似
Figure SMS_3
Figure SMS_4
其中,E 表示对应于所有阈值水平的事件集合,pe(t) 表示与某一阈值对应的从事件的上升时间(up事件)开始到下降时间(down事件)结束的脉冲信号。
Figure SMS_5
进行脉冲量化得到/>
Figure SMS_6
Figure SMS_7
其中,
Figure SMS_8
为与某一阈值对应的从事件的上升时间(up事件对应的时间)开始到下降时间(down事件对应的时间)结束的量化脉冲信号。
本发明利用数字带通滤波器BPF组与异步ADM耦接。该数字BPF组高效且易实现,对基于事件的量化信号
Figure SMS_9
进行滤波。设数字BPF组的脉冲响应为/>
Figure SMS_10
,其中k=1,2……F,F为BPF数量。对于任意BPF,其输出为:
Figure SMS_11
其中,
Figure SMS_12
为数字BPF的脉冲响应,/>
Figure SMS_13
表示BPF的脉冲响应与异步ADM采样/量化后的信号进行卷积。对于任意/>
Figure SMS_14
具有相同的振幅,因此可直接对脉冲响应/>
Figure SMS_15
的/>
Figure SMS_16
个连续的样本求和,其中/>
Figure SMS_17
表示事件e的长度(事件开始和结束时间之间的距离/差值)。
本发明某优选实施例中,基于量化脉冲
Figure SMS_18
的差分编码计算滤波器的输出/>
Figure SMS_19
,上述公式可简化为:
Figure SMS_20
/>
Figure SMS_21
其中,
Figure SMS_22
为量化脉冲的差分编码,I( )表示累积操作。
量化脉冲
Figure SMS_23
的差分编码/>
Figure SMS_24
非常稀疏,在事件的整个持续时间内为0,在事件开始时为﹢1,在事件结束时为﹣1。因此,在本发明中,差分编码是关于{﹢1,0,﹣1}的数字流。
因此,我们只需进行两次操作(一次加法,一次减法,在实际中也可实现为两次加法或两次减法,本发明并不进行限制),就可以计算出每个时刻n处的
Figure SMS_25
。该方法忽略了计算过程中的瞬时值,计算简单、功耗低。
在某优选实施例中, ADM生成异步输出,根据信号在正向或负方向上的交叉来设置/复位10位移位寄存器上的一个位,然后通过连续两个时间步长中的差值进行差分编码。
基于对移位寄存器中的值进行差分编码,可得到与每个阈值相对应的一个差分编码事件流,如与阈值Δ对应的差分编码为…,﹢1,0,0,0,0,0,0,﹣1,0,0,…等,即只在up事件发生时(移位寄存器中值由0
Figure SMS_26
1)产生﹢1,在down事件发生时(移位寄存器中值由1/>
Figure SMS_27
0)产生﹣1,其余时间处均为0。图5展示了由差分编码产生的事件序列。
总的来说,本发明的音频前端基于事件驱动机制,以异步方式实现数字化,包括低噪声放大器和异步delta调制器;低噪声放大器LNA与音频传感器耦接,用于对麦克风采集的音频进行低噪声放大;异步delta调制器与LNA耦接,用于以异步的方式实现数字化。
其中,异步delta调制器采用非均匀时间步长和均匀幅值执行采样。具体地,基于均匀幅值Δ得到至少一个阈值nΔ(n=0,1,2……),异步delta调制器从LNA接收时间和幅值连续的信号x,基于阈值nΔ对所述信号进行采样;从LNA接收时间和幅值连续的信号在与阈值nΔ交叉处产生事件。
在某些优选实施例中,从LNA接收时间和幅值连续的信号x在与阈值nΔ交叉处产生的事件包括up事件和down事件;当信号x斜率为正,信号x上升达到或超过所述至少一个阈值时,产生up事件;当信号x斜率为负,信号x下降达到或小于所述至少一个阈值时,产生down事件。
在某些优选实施例中,利用高频数字时钟跟踪和定位与各阈值(如Δ,2Δ,3Δ,4Δ, ……)对应的up事件或/和down事件发生的时间戳。优选地,所述高频时钟的采样频率
Figure SMS_28
,其中,W为音频带宽,N为所述信号x最大振幅的量化精度(信号x的最大振幅为A=NΔ)。
本发明的音频前端对音频信号进行频率拓扑,包括多个并行通道,每个并行通道包括具有不同中心频率的数字BPF、数字FWR和数字IAF,以在LNA之后最大限度的实现数字化,以降低音频前端的对温度、工艺等的敏感性。其中,各通道的数字BPF与异步delta调制器耦接,并利用差分编码计算所述数字带通滤波器的输出,提升了各通道输出事件的稀疏性。测试表明,本发明实现的音频前端具备模拟AFE相当的功耗和速度。
优选地,本发明的数字BPF具体采用如专利申请号为CN202211373605.6的数字带通滤波器,本发明以全文引用的方式引入该专利的全部内容。
利用差分编码按阈值分别将与各阈值对应(如Δ,2Δ,3Δ,4Δ, ……)的up事件的时间戳编码为﹢1,或/和将与各阈值对应的down事件的时间戳编码为﹣1,并将各阈值对应的up事件与down事件中间的其余时间戳编码为0。
在某些优选实施例中,音频前端包括移位寄存器,其耦接于所述异步delta调制器和多个并行通道之间,按阈值存储所述异步delta调制器的采样结果;同时,数字BPF对移位寄存器中的值进行差分编码,得到与各阈值相对应的差分编码事件流。
本发明还涉及一种基于事件驱动机制进行音频特征提取方法,利用低噪声放大器用于对麦克风采集的音频进行低噪声放大,以及包括与低噪声放大器耦接异步delta调制器,所述异步delta调制器从所述低噪声放大器接收时间和幅值连续的信号x,并以异步的方式实现数字化。
具体地,基于均匀幅值Δ得到至少一个阈值nΔ(n=0,1,2……),所述异步delta调制器基于所述至少一个阈值nΔ对所述信号x进行采样;所述信号x在与所述至少一个阈值交叉处产生事件。
本发明还涉及一种芯片,所述芯片包括如前所述的音频前端或如前所述的音频特征提取方法,以及处理器,所述处理器与前端耦接,用于执行分类任务。
在某优选实施例,所述处理器为决策树或神经网络处理器。
优选地,所述芯片为类脑芯片。
优选地,所述神经网络处理器为脉冲神经网络处理器(SNN)。
本发明还涉及一种电子设备,该电子设备包括如前所述的芯片,用于进行音频处理,如环境音检测、始终在线关键字发现(keyword spotting,KWS)、话音激活检测(voiceactivity detect , VAD)、振动异常检测(Vibration anomaly detection)、智慧农业、智慧养殖、智能玩具、智能家居、辅助驾驶等。
尽管已经参考本发明的具体特征和实施例描述了本发明,但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例,并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
因此,说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍,因而应根据最大合理解释原则对所附权利要求解读,并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物,同时还应避免不合常理的解读方式。
为了实现更好的技术效果或出于某些应用的需求,本领域技术人员可能在本发明的基础之上,对技术方案做出进一步的改进。然而,即便该部分改进/设计具有创造性或/和进步性,只要依赖本发明的技术构思,覆盖了权利要求所限定的技术特征,该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征,或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后,容易想到该些替换手段,或者改变技术流程的顺序、物质组织顺序,然后采用了基本相同的手段,解决基本相同的技术问题,达到基本相同的技术效果,因此即便权利要求中明确限定了上述手段或/和顺序,然而该些修饰、改变、替换,均应依据等同原则而落入权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤或模块,能够以硬件、软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为在本发明所要求保护的范围之外。

Claims (15)

1.一种音频特征提取装置,其特征在于:
所述音频特征提取装置包括低噪声放大器和异步delta调制器;
所述低噪声放大器,用于对麦克风采集的音频进行低噪声放大;
所述异步delta调制器与所述低噪声放大器耦接;
所述异步delta调制器采用非均匀时间步长和均匀幅值执行采样,用于以异步的方式实现数字化。
2.根据权利要求1所述的音频特征提取装置,其特征在于:
基于所述均匀幅值得到至少一个阈值,所述至少一个阈值为均匀幅值的n倍,n为非负整数;
所述异步delta调制器从所述低噪声放大器接收时间和幅值连续的信号,基于所述至少一个阈值对所述信号进行采样;
所述信号与所述至少一个阈值在水平交叉处产生事件。
3.根据权利要求2所述的音频特征提取装置,其特征在于:
所述事件包括第一事件和第二事件;
当所述信号的斜率为正,所述信号上升达到或超过所述至少一个阈值时,产生第一事件;
当所述信号的斜率为负,所述信号下降达到或小于所述至少一个阈值时,产生第二事件。
4.根据权利要求3所述的音频特征提取装置,其特征在于:
利用高频数字时钟跟踪和定位与各阈值对应的第一事件或/和第二事件发生的时间戳,所述高频数字时钟的频率大于等于
Figure QLYQS_1
,其中W为音频带宽,N为所述信号最大振幅的量化精度,所述最大振幅等于N乘以所述均匀幅值。
5.根据权利要求1-4任一项所述的音频特征提取装置,其特征在于,包括:
多个并行通道,每个并行通道包括具有不同中心频率的数字带通滤波器;
每个并行通道中的所述数字带通滤波器与所述异步delta调制器耦接;
利用差分编码计算所述数字带通滤波器的输出。
6.根据权利要求5所述的音频特征提取装置,其特征在于:
利用差分编码按阈值分别将与各阈值对应的第一事件的时间戳编码为﹢1,或/和将与各阈值对应的第二事件的时间戳编码为﹣1,其余时间戳编码为0。
7.根据权利要求5所述的音频特征提取装置,其特征在于,包括:
移位寄存器,所述移位寄存器耦接于所述异步delta调制器和多个并行通道之间;
所述移位寄存器按阈值存储所述异步delta调制器的采样结果;
所述数字带通滤波器对移位寄存器中的值进行差分编码,得到与各阈值相对应的差分编码事件流。
8.根据权利要求7所述的音频特征提取装置,其特征在于:
所述异步delta调制器根据信号在正向或负向与至少一个阈值在水平上的交叉来复位多bit移位寄存器中的一个位。
9.一种音频特征提取方法,其特征在于:
利用低噪声放大器用于对麦克风采集的音频进行低噪声放大;
异步delta调制器与所述低噪声放大器耦接,从所述低噪声放大器接收时间和幅值连续的信号,基于非均匀时间步长和均匀幅值执行采样,以异步的方式实现数字化。
10.根据权利要求9所述的音频特征提取方法,其特征在于:
基于均匀幅值得到至少一个阈值,所述异步delta调制器基于所述至少一个阈值对所述信号进行采样;
所述至少一个阈值为均匀幅值的n倍,n为非负整数;
所述信号在与所述至少一个阈值交叉处产生事件。
11.根据权利要求10所述的音频特征提取方法,其特征在于:
所述事件包括第一事件和第二事件;
当信号斜率为正,信号上升达到或超过所述至少一个阈值时,产生第一事件;
当信号斜率为负,信号下降达到或小于所述至少一个阈值时,产生第二事件。
12.根据权利要求9至11任一项所述的音频特征提取方法,其特征在于,包括:
多个并行通道,每个并行通道包括具有不同中心频率的数字带通滤波器;
所述数字带通滤波器与所述异步delta调制器耦接;
利用差分编码计算所述数字带通滤波器的输出。
13.一种芯片,其特征在于:
包括如权利要求1-8任一项所述的音频特征提取装置以及处理器;
所述处理器与音频特征提取装置耦接,用于执行分类任务。
14.根据权利要求13所述的芯片,其特征在于:
所述处理器为决策树或神经网络处理器,或/和所述芯片为类脑芯片。
15.一种电子设备,其特征在于:
该电子设备包括如权利要求13至14任一项所述的芯片。
CN202310044184.0A 2023-01-29 2023-01-29 音频特征提取装置、方法、芯片和电子设备 Active CN115798491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310044184.0A CN115798491B (zh) 2023-01-29 2023-01-29 音频特征提取装置、方法、芯片和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310044184.0A CN115798491B (zh) 2023-01-29 2023-01-29 音频特征提取装置、方法、芯片和电子设备

Publications (2)

Publication Number Publication Date
CN115798491A CN115798491A (zh) 2023-03-14
CN115798491B true CN115798491B (zh) 2023-05-30

Family

ID=85429122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310044184.0A Active CN115798491B (zh) 2023-01-29 2023-01-29 音频特征提取装置、方法、芯片和电子设备

Country Status (1)

Country Link
CN (1) CN115798491B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2047602A1 (en) * 2006-08-01 2009-04-15 Verigy (Singapore) Pte. Ltd. Asynchronous sigma-delta digital-analog converter
US9203422B2 (en) * 2011-09-29 2015-12-01 Ecole Polytechique Federale De Lausanne (Epfl) Low distortion switched-capacitor event-driven analog to digital converter
WO2017053635A1 (en) * 2015-09-25 2017-03-30 Google Inc. Increased sampling in non-uniform sampling analog-to-digital converters
EP3547546A1 (en) * 2018-03-27 2019-10-02 Koninklijke Philips N.V. Systems and methods for performing analog-to-digital conversion across multiple, spatially separated stages
WO2019185633A1 (en) * 2018-03-27 2019-10-03 Koninklijke Philips N.V. Systems and methods for performing analog-to-digital conversion across multiple, spatially separated stages
EP3776862A1 (en) * 2018-03-27 2021-02-17 Koninklijke Philips N.V. Systems and methods for performing analog-to-digital conversion across multiple, spatially separated stages
US10665222B2 (en) * 2018-06-28 2020-05-26 Intel Corporation Method and system of temporal-domain feature extraction for automatic speech recognition
CN115514344A (zh) * 2022-11-04 2022-12-23 深圳时识科技有限公司 数字带通滤波器、滤波方法、音频特征提取器和芯片

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A 0.5 V 55 μW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing;Minhao Yang 等;《2016 IEEE ISSCC》;第2554-2569页 *
A 1μW Activity-Aware Asynchronous Delta Modulator with Automated Dual-Mode Operation,IEEE;Siyuan Yu 等;《2022 IEEE MWSCAS》;第1-4页 *

Also Published As

Publication number Publication date
CN115798491A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
US10547323B2 (en) Signal processing device and method
EP1255350A3 (en) Signal amplifying method, signal amplifier and devices related therewith
JPH0661789A (ja) サンプリング周波数変換器
CN110494828B (zh) 信号处理系统、芯片和主动笔
CN1050116A (zh) 利用数字信号分频带编码的数字传输系统
US4071903A (en) Autocorrelation function factor generating method and circuitry therefor
CN105356884A (zh) 基于Sigma-Delta模数转换器的传感器读出电路
CN205160504U (zh) 基于Sigma-Delta模数转换器的传感器读出电路
CN115798491B (zh) 音频特征提取装置、方法、芯片和电子设备
CN114093377A (zh) 分裂归一化方法、装置、音频特征提取器、芯片
Paulos et al. Improved signal-to-noise ratio using tri-level delta-sigma modulation
WO1990013122A1 (en) Multi-purpose circuit for decoding binary information
US5357248A (en) Sampling rate converter
CN101216993A (zh) 一种消除设备模拟量干扰的监测方法和装置
GB2177565A (en) Digital signal processing device working with continuous bit streams
Maloberti et al. Processing of signals in their oversampled delta-sigma domain
JP2810252B2 (ja) 音声再生装置
SU1501298A1 (ru) Устройство дл приема дискретной информации
CN1557077A (zh) 用于从失真模拟信号中重构以符号率计时纪录的数据的方法
JP3003198B2 (ja) パルス幅変調装置
JP3382695B2 (ja) 2値化雑音信号発生方法とその装置
SU1020961A1 (ru) Умножитель частоты
Dewdney Product transition correlator
WO2008022456A1 (en) Multi-signal digital data acquisition system
RU1803962C (ru) Цифровой рекурсивный фильтр

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant