CN108281147A - 基于lpcc和adtw的声纹识别系统 - Google Patents
基于lpcc和adtw的声纹识别系统 Download PDFInfo
- Publication number
- CN108281147A CN108281147A CN201810278395.XA CN201810278395A CN108281147A CN 108281147 A CN108281147 A CN 108281147A CN 201810278395 A CN201810278395 A CN 201810278395A CN 108281147 A CN108281147 A CN 108281147A
- Authority
- CN
- China
- Prior art keywords
- lpcc
- adtw
- submodule
- frame
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000009432 framing Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 abstract description 24
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toys (AREA)
Abstract
基于LPCC和ADTW的声纹识别系统，用于对动物进行声纹识别。它借鉴了人类声纹识别的技术，但又不完全一样。本系统在对声音数据进行简洁的预处理之后，求得LPC参数，进而求得LPCC倒谱系数。在之后的匹配过程中，根据动物单音为主的特点，采用了经过抽样之后的ADTW匹配。这个过程适于动物声音识别，同时大大减少了运算量，有利于在物联网终端尤其是野外环境中采取低功耗、低成本的解决方案。
Description
技术领域
本方案涉及声纹识别领域，尤其是对动物声音进行自动识别。
背景技术
目前，对声音的识别主要集中在人类的语言识别和声纹识别。而在一般动物的声音识别领域，一般是借鉴了人类声音识别的技术。但是一般动物的发声也有其自身的特点，需要量身定制处理系统。而且，近来动物声音识别应用也越来越多，尤其是在野生动物监控和研究领域、禽畜大规模饲养领域，声音识别是继视频监控之后的一种重要手段和有益补充。特别是，在这些领域，由于成本、功耗、计算、存储的限制，不能像在个人电脑或大型计算机上一样采取复杂的算法。
发明内容
本方案所述的基于LPCC和ADTW的声纹识别系统，包括预处理、LPCC参数计算、参数抽取、ADTW求距离、模板匹配与识别共五个模块，所述预处理模块的输出连接到LPCC参数计算模块的输入、LPCC参数计算模块的输出连接到参数抽取模块的输入、参数抽取模块的输出连接到ADTW求距离模块的输入、ADTW求距离模块的输出连接到模板匹配与识别的输入，其中：
（1）所述预处理模块包括端点检测、预加重、分帧、加窗四个子模块，其中端点检测子模块的输出连接到预加重子模块的输入、预加重子模块的输出连接到分帧子模块的输入、分帧子模块的输出连接到加窗子模块的输入，所述端点检测子模块用以短时平均能量和短时平均过零率两个参数为基础的双门限法端点检测算法来确定声音信号的首尾，所述预加重子模块对声音信号的高频部分进行预加重，所述分帧子模块将声音信号分成不同的帧，所述加窗子模块对每一帧信号进行加窗；
（2）所述LPCC参数计算模块是对每帧数据求取LPC系数，并根据LPC系数直接递推得到LPCC倒谱系数；
（3）所述参数抽取模块是对每帧的LPCC系数进行抽取，每隔N-1个系数取一个，N为大于1的正整数；
（4）所述ADTW求距离模块是用ADTW法求DTW距离；
（5）所述模板匹配与识别模块是利用所述ADTW求距离模块，计算声音信号与模板库中每个参考模板之间的累计距离，如果累计距离的最小值小于设定值则识别出相应模板对应的对象。
所述分帧子模块对声音信号进行分帧时，除首帧之外，其它帧的数据总是从其前一帧的最后一个数据的后面开始，即每相邻两帧的数据是从预加重后的数据中连续、无间隔、无重复地取得的。
所述参数抽取模块在对第k帧数据进行抽取时，从该帧的第k%N个元素开始取，其中k为正整数，k%N为k除以N所得的余数。
本方案主要针对动物声音的特点而提出。主要特点和有益效果是：
（1）预处理中端点处理部分放到了预加重、分帧等的前面，这种次序安排更适应动物发声的场景，即单音长、间隔长；
（2）预处理中，因为动物一般发音长且具备较长时间的平稳性，所以对声音进行分帧的时候，相邻两帧之间并没有像一般语音处理系统那样具有重叠部分（俗称“帧移”，一般占帧长的30%以上），这样也提高了处理效率，这一特点在权利要求2中有所体现；
（3）因为是用机器识别动物声音，所以没有采用与听觉相关的技术如MFCC，而采用LPCC；这样运算量大幅降低；
（4）根据统计，动物发出某个单音一般远比人类语言的一个单音要占据更长时间，所以先对LPCC参数进行了抽取，再进行ADTW匹配，从而大大减少运算量，但又不显著降低匹配成功率；如果像通常方法，把所有求得的LPCC参数用来做ADTW匹配，则参数较多，运算量大；
（5）动物发音一般比较单一，近似单音节，故用ADTW进行匹配，而不用HMM和GMM等复杂模式；这也降低了软件复杂度和运算量。
附图说明:
图1 为总流程图；
图2 为预处理流程图;
图3 为端点检测和分帧示意图；
图4 为计算LPCC系数的流程图；
图5 为参数抽取示意图；
图6 为用ADTW法求DTW距离的流程图；
图7 为模板匹配与识别流程图。
具体实施方式：
下面结合附图和具体实施方式对本发明进行详细说明。如图1所示，为本发明一种基于LPCC和ADTW的声纹识别办法框图。该基于LPCC和ADTW的声纹识别办法的具体步骤分别描述在如下1~5条。
1、对采集到的动物声音信号做预处理，如图2。
（1）端点检测
端点检测放在了预加重、分帧等的前面，这种次序安排更适应动物发声的场景，即单音长、间隔长。用以短时平均能量和短时平均过零率两个参数为基础的双门限法端点检测算法来确定声音信号的首尾，分离出真正的语音信号作为系统处理的对象。
（2）预加重
经过采样和量化后的声音信号的平均功率谱受到声门激励和辐射系统的作用,因此高频端大约在800Hz以上按6dB/倍频程跌落,所以要进行预加重,其目的就是提升高频部分,滤除低频干扰,使信号的频谱变的平坦,便于进行频谱分析和声道参数的分析。
对端点检测出的时间段内的声音信号做预加重，通常为一阶预加重滤波器，其形式为：
其中，H(z)为系统函数，a为预加重系数，根据实际情况可改变a的值，例如取0.9375。
（3）分帧
将声音信号进行分帧处理,将声音信号分成一段一段,其中的一段称为“一帧”,经过研究发现声音信号通常在10-30ms之内是保持相对平稳的,因此在处理时我们通常取10ms-30ms为帧长。
因为动物一般发音长且具备较长时间的平稳性，所以对声音进行分帧的时候，相邻两帧之间并没有像一般语音处理系统那样具有重叠部分（俗称“帧移”，一般占帧长的30%以上），这样也提高了处理效率，所以不用帧移。如图3。
（4）加窗
为了减少帧起始和结束处的信号不连续性,在得到短时的声音信号后,要对声音信号进行加窗的操作,为了使每帧在频谱上的能量更集中,最好能在分帧同时进行加窗处理。汉明窗则能有效地克服泄露现象,所以,在声音辨认系统中加窗的方法大致以汉明窗口为最常见。
汉明窗(Hamming Window)
2.特征参数计算
动物声音特征参数提取就是从动物声音信号中提取出反应动物特征的参数，因为是用机器识别动物声音，所以没有采用与听觉相关的技术如MFCC，而采用LPCC，这样运算量大幅降低。本系统采用12阶LPC分析，16阶倒谱分析（即Q值为16），采用 Levinson算法求解LPC系数，以及由LPC系数直接递推得到倒谱系数。
（1）Levinson算法求解LPC系数
（2）由系数直接递推得到倒谱系数(LPCCEP)的方法
由上面求得的LPC系数递推LPCC系数
第1.步和第2.步的处理过程可参照图4。
3.参数抽取
动物发出某个单音一般远比人类语言的一个单音要占据更长时间，所以截取声音信号的LPCC系数的部分参数，在不显著降低匹配成功率的前提下，又减少了运算量。将经过抽取过后的LPCC系数存入测试模板中。
参数抽取的过程是，对于每帧的LPCC系数，每隔N-1个点抽取一次参数。例如当N=5时，参数抽取效果如图5所示。其中，在对第k帧数据进行抽取时，从该帧的第k%N个元素开始取，其中k为正整数，k%N为k除以N所得的余数。
此后有两种可能的处理分支：一种是建立参考模板库，即对已知的动物声音信号，做上述的预处理，求LPCC系数以及系数的参数抽取，并将抽取的参数存入参考模板库。另一种是将抽取后的数据存入测试模板进行匹配与识别。其中第二种是本方案要描述的重点。
4.用ADTW法求DTW距离（参照图6）
更新累积距离的计算用下式实现的：
D(x,y)=d(x,y)+min[D(x-1,y),D(x-1,y-1),D(x-1,y-2)]
对于帧长度满足条件的测试模板和参考模板,利用ADTW算法将二者组成类似平行四边形,在平行四边形内从(1,1)开始进行路径搜索计算帧匹配距离,并利用式D(x,y)=d(x,y)+min[D(x-1,y),D(x-1,y-1),D(x-1,y-2)],更新累计距离,直到最后的D(n,m)。主要步骤如下:
(1)读取测试模板和参考模板的LPCC数据，求得俩模板各自的帧数n，m；
(3)判断n,m是否满足长度的限制条件（2m-n≥3, 2n-m≥2），根据n,m求出Xa和Xb，计算公式Xa=(2m-n)/3, Xb=2(2n-m)/3;
(4)判断Xa和Xb的大小确定匹配区域，根据平行四边形限制将动态规整范围划分成3段,对于平行四边形之外的格点,不需要再计算它们的帧匹配距离；
(5)根据更新累积距离公式，在步骤（4）中的三段范围中每向前搜索一帧都更新累积距离。根据当前列的所有帧匹配距离矢量以及前一列的累积距离D可以得到当前帧的累积距离，这样一直搜索到x轴上最后一列，矢量D的最后一个元素D(m)就是测试模板和参考模板通过动态时间规整的匹配距离；
(6)从终点开始向前回溯到起点（1，1），便可得出最佳路径。返回累积矩阵的值就是DTW距离。
5. 模板匹配与识别（参照图7）
用ADTW算法计算采集到的动物声音信号与模板库中每个参考模板之间的累计距离，累计距离的最小值如果小于设定R值（R是为检测最小DTW距离的值是否合理，具体值可根据实际情况设定），返回最小值对应的参考模板，即对应的对象或物种；如果大于设定R值，上报发现“新”对象或物种（其意义是参考模板库中没有的对象或物种）。
Claims (3)
1.基于LPCC和ADTW的声纹识别系统，其特征在于，包括预处理、LPCC参数计算、参数抽取、ADTW求距离、模板匹配与识别共五个模块，所述预处理模块的输出连接到LPCC参数计算模块的输入、LPCC参数计算模块的输出连接到参数抽取模块的输入、参数抽取模块的输出连接到ADTW求距离模块的输入、ADTW求距离模块的输出连接到模板匹配与识别的输入，其中：
（1）所述预处理模块包括端点检测、预加重、分帧、加窗四个子模块，其中端点检测子模块的输出连接到预加重子模块的输入、预加重子模块的输出连接到分帧子模块的输入、分帧子模块的输出连接到加窗子模块的输入，所述端点检测子模块用以短时平均能量和短时平均过零率两个参数为基础的双门限法端点检测算法来确定声音信号的首尾，所述预加重子模块对声音信号的高频部分进行预加重，所述分帧子模块将声音信号分成不同的帧，所述加窗子模块对每一帧信号进行加窗；
（2）所述LPCC参数计算模块是对每帧数据求取LPC系数，并根据LPC系数直接递推得到LPCC倒谱系数；
（3）所述参数抽取模块是对每帧的LPCC系数进行抽取，每隔N-1个系数取一个，N为大于1的正整数；
（4）所述ADTW求距离模块是用ADTW法求DTW距离；
（5）所述模板匹配与识别模块是利用所述ADTW求距离模块，计算声音信号与模板库中每个参考模板之间的累计距离，如果累计距离的最小值小于设定值则识别出相应模板对应的对象。
2.根据权利要求1所述的基于LPCC和ADTW的声纹识别系统,其特征在于，所述分帧子模块对声音信号进行分帧时，除首帧之外，其它帧的数据总是从其前一帧的最后一个数据的后面开始，即每相邻两帧的数据是从预加重后的数据中连续、无间隔、无重复地取得的。
3.根据权利要求1所述的基于LPCC和ADTW的声纹识别系统,其特征在于，所述参数抽取模块在对第k帧数据进行抽取时，从该帧的第k%N个元素开始取，其中k为正整数，k%N为k除以N所得的余数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810278395.XA CN108281147A (zh) | 2018-03-31 | 2018-03-31 | 基于lpcc和adtw的声纹识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810278395.XA CN108281147A (zh) | 2018-03-31 | 2018-03-31 | 基于lpcc和adtw的声纹识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108281147A true CN108281147A (zh) | 2018-07-13 |
Family
ID=62810673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810278395.XA Pending CN108281147A (zh) | 2018-03-31 | 2018-03-31 | 基于lpcc和adtw的声纹识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108281147A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1588535A (zh) * | 2004-09-29 | 2005-03-02 | 上海交通大学 | 嵌入式语音识别系统的自动语音识别处理方法 |
| US20100114345A1 (en) * | 2008-11-03 | 2010-05-06 | Telefonica, S.A. | Method and system of classification of audiovisual information |
| JP2011033879A (ja) * | 2009-08-03 | 2011-02-17 | Tze Fen Li | サンプルを用いずあらゆる言語を識別可能な識別方法 |
| TW201118858A (en) * | 2009-11-19 | 2011-06-01 | Univ Nat Cheng Kung | Robust SoC system of speech recognition |
| CN202190385U (zh) * | 2011-07-15 | 2012-04-11 | 江艳 | 声控耳麦 |
| CN103794207A (zh) * | 2012-10-29 | 2014-05-14 | 西安远声电子科技有限公司 | 一种双模语音身份识别方法 |
| CN106095764A (zh) * | 2016-03-31 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种动态图片处理方法及系统 |
-
2018
- 2018-03-31 CN CN201810278395.XA patent/CN108281147A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1588535A (zh) * | 2004-09-29 | 2005-03-02 | 上海交通大学 | 嵌入式语音识别系统的自动语音识别处理方法 |
| US20100114345A1 (en) * | 2008-11-03 | 2010-05-06 | Telefonica, S.A. | Method and system of classification of audiovisual information |
| JP2011033879A (ja) * | 2009-08-03 | 2011-02-17 | Tze Fen Li | サンプルを用いずあらゆる言語を識別可能な識別方法 |
| TW201118858A (en) * | 2009-11-19 | 2011-06-01 | Univ Nat Cheng Kung | Robust SoC system of speech recognition |
| CN202190385U (zh) * | 2011-07-15 | 2012-04-11 | 江艳 | 声控耳麦 |
| CN103794207A (zh) * | 2012-10-29 | 2014-05-14 | 西安远声电子科技有限公司 | 一种双模语音身份识别方法 |
| CN106095764A (zh) * | 2016-03-31 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种动态图片处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘金伟等: "基于SoC的孤立词语音识别算法的C语言仿真", 《系统仿真学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| McLaren et al. | Advances in deep neural network approaches to speaker recognition | |
| US20190005943A1 (en) | Speech recognition system using machine learning to classify phone posterior context information and estimate boundaries in speech from combined boundary posteriors | |
| EP2695160B1 (en) | Speech syllable/vowel/phone boundary detection using auditory attention cues | |
| CN108922541B (zh) | 基于dtw和gmm模型的多维特征参数声纹识别方法 | |
| CN102543073B (zh) | 一种沪语语音识别信息处理方法 | |
| WO2012064408A2 (en) | Method for tone/intonation recognition using auditory attention cues | |
| CN109785857A (zh) | 基于mfcc+mp融合特征的异常声事件识别方法 | |
| CN104658538A (zh) | 一种基于鸟鸣声的移动式鸟类识别方法 | |
| WO2018095167A1 (zh) | 声纹识别方法和声纹识别系统 | |
| Chuangsuwanich et al. | Robust Voice Activity Detector for Real World Applications Using Harmonicity and Modulation Frequency. | |
| CN110428853A (zh) | 语音活性检测方法、语音活性检测装置以及电子设备 | |
| CN108831463A (zh) | 唇语合成方法、装置、电子设备及存储介质 | |
| CN109215634A (zh) | 一种多词语音控制通断装置的方法及其系统 | |
| US20150348535A1 (en) | Method for forming the excitation signal for a glottal pulse model based parametric speech synthesis system | |
| CN106297769B (zh) | 一种应用于语种识别的鉴别性特征提取方法 | |
| CN111489763A (zh) | 一种基于gmm模型的复杂环境下说话人识别自适应方法 | |
| CN107039037A (zh) | 一种基于dtw的孤立词语音识别方法 | |
| CN109065026A (zh) | 一种录音控制方法及装置 | |
| CA3178027A1 (en) | Method for forming the excitation signal for a glottal pulse model based parametric speech synthesis system | |
| Rao et al. | Glottal excitation feature based gender identification system using ergodic HMM | |
| CN108281147A (zh) | 基于lpcc和adtw的声纹识别系统 | |
| Ruinskiy et al. | Spectral and textural feature-based system for automatic detection of fricatives and affricates | |
| Alvarez et al. | Learning intonation pattern embeddings for arabic dialect identification | |
| Kalinli | Automatic phoneme segmentation using auditory attention features | |
| Kanisha et al. | Speech recognition with advanced feature extraction methods using adaptive particle swarm optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180713 |
|
| WD01 | Invention patent application deemed withdrawn after publication |