CN111508504A - 基于听觉中枢感知机理的说话人识别方法 - Google Patents
基于听觉中枢感知机理的说话人识别方法 Download PDFInfo
- Publication number
- CN111508504A CN111508504A CN202010268019.XA CN202010268019A CN111508504A CN 111508504 A CN111508504 A CN 111508504A CN 202010268019 A CN202010268019 A CN 202010268019A CN 111508504 A CN111508504 A CN 111508504A
- Authority
- CN
- China
- Prior art keywords
- auditory
- time
- noise
- features
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008447 perception Effects 0.000 title claims abstract description 20
- 230000007246 mechanism Effects 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000012706 support-vector machine Methods 0.000 claims abstract description 9
- 101001120757 Streptococcus pyogenes serotype M49 (strain NZ131) Oleate hydratase Proteins 0.000 claims abstract 4
- 229940083712 aldosterone antagonist Drugs 0.000 claims abstract 4
- 238000012545 processing Methods 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 20
- 230000001052 transient effect Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 210000003952 cochlear nucleus Anatomy 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 210000002768 hair cell Anatomy 0.000 claims description 6
- 210000003618 cortical neuron Anatomy 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000023886 lateral inhibition Effects 0.000 claims description 3
- 230000008904 neural response Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 108091005054 serum thyroid hormone reducing factor Proteins 0.000 abstract 1
- 230000007613 environmental effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013432 robust analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/20—Pattern transformations or operations aimed at increasing system robustness, e.g. against channel noise or different working conditions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本发明公开了基于听觉中枢感知机理的说话人识别方法，步骤1：采用OM‑LSA算法与MCRA算法结合的方法对说话人语音信号进行降噪预处理；步骤2：利用STRF模型将预处理后的语音信号投射到特定的频谱‑时间空间，生成频域‑时间谱图，并进一步提取频域‑时间谱图的二次特征；步骤3：提取降噪预处理后语音信号中的MFCC系数特征；步骤4：将步骤2中的二次特征与步骤3中的MFCC系数进行组合；步骤5：采用常规的支持向量机对步骤4中二次特征与MFCC系数组合后的声纹特征进行分类与识别。本发明能够在强噪声环境下对说话人进行识别，具有较高的识别正确率，且对噪声具有较强的鲁棒性。
Description
技术领域
本发明涉及语音信号处理领域，具体涉及基于听觉中枢感知机理的说话人识别方法。
背景技术
生物识别技术在过去几十年得到了广泛研究与应用，说话人识别作为仅次于掌纹和指纹识别的第三大生物特征识别技术，目前世界市场占有率为15.8％，并有逐年上升的趋势。相较于指纹和掌纹这些生物特征识别技术，声纹识别技术发展较晚，但在应用上因具备语音提取方便、适合远程身份确认等特点而具有明显优势。该技术的实现原理主要为声纹特征的提取与匹配，即：首先，从与文本不相关的语音片段中提取出说话人的声纹特征；然后，建立对应的说话人模型即声纹数据库，最后，在测试时采用相同特征提取方法与说话人模型，获取被测试说话人的语音特征，并与声纹数据库中的特征进行匹配，根据匹配结果判决说话人的身份。总的来讲，说话人识别技术的研究可概括为声纹特征参数的提取与说话人模型构建。
在声纹特征参数的提取方面，MFCC即Mel频率倒谱系数(Mel-Frequency CeptralCoefficients)是较为常用的，操作简单、样本量小，但其主要描述了声道特征，在没有噪声时有很好的特征表达，但在高噪声存在下鲁棒性明显降低。针对噪声环境下语音识别系统的鲁棒性问题，目前已经有很多学者提出了不同的方法，典型的方法主要有：感知听觉场景分析、小波变换法、模型补偿法的鲁棒语音识别分析、信号空间的鲁棒语音识别分析、模拟生物听觉感知特性法，生物的听觉系统对噪声具有很强的鲁棒性，因此近些年来模拟生物听觉特性进行语音识别的方法越来越受到研究者的青睐，其典型代表是：Taishih Chi等人于2005年首次将生物听皮层神经元频谱-时间感受野(STRF)的概念引用到了简单的语音处理中，并提出了一套神经计算模型，解释了从外部输入的声音信号是如何转换为大脑传递的电信号。但是基于听皮层神经元频谱-时间感受野(STRF)提取的特征相较于传统MFCC系数，基于听皮层神经元频谱-时间感受野(STRF)模型声纹的特征对噪声鲁棒性较强，但识别准确率较低，所以提出一种基于听觉中枢感知机理的说话人识别方法，在低信噪比条件或强噪声环境下对说话人身份的确认与识别。
发明内容
本发明的目的在于：提供了基于听觉中枢感知机理的说话人识别方法，解决了现有单一声纹特征的缺陷，使得基于STRF的二次特征与MFCC系数特征组合，能够在强噪声环境下对说话人进行识别，具有较高的识别正确率，且对噪声具有较强的鲁棒性。
本发明采用的技术方案如下：
本发明是基于听觉中枢感知机理的说话人识别方法，该方法具体包括以下步骤：
步骤1：采用OM-LSA算法与MCRA算法结合的方法对说话人含噪声的语音信号进行降噪预处理；
步骤2：利用STRF模型将预处理后的语音信号投射到特定的频谱-时间空间，生成频域-时间谱图，并进一步提取频域-时间谱图的二次特征；
步骤3：提取降噪预处理后语音信号中的MFCC系数特征；
步骤4：将步骤2中的二次特征与步骤3中的MFCC系数进行组合；
步骤5：采用常规的支持向量机对步骤4中二次特征与MFCC系数组合后的声纹特征进行分类与识别。
进一步的，所述步骤1中含噪声语音信号的预处理方法具体步骤为：
步骤11：根据MCRA算法估计含噪语音的时变功率谱分布，然后根据估计的功率谱分布，结合OM-LSA算法来增强瞬态噪声和非瞬态噪声成分的差异，并估计瞬态噪声的功率谱分布；
步骤12：采用MCRA算法，从瞬态噪声和语音信号中估计背景噪声的功率谱分布；
步骤13：将估计的瞬态噪声和背景噪声功率谱分布进行合并，并在此运用OM-LSA算法，一起抑制瞬态噪声和背景噪声，得到增强后的语音信号。
进一步的，所述步骤2中二次特征的提取步骤为：
步骤21：模拟生物听觉系统外周模型耳蜗核的处理过程，将输入的语音信号转化为听觉外周的频谱图；
步骤22：模拟STRF模型的处理过程，将步骤21输出的频谱图转化为特定尺度的频域-时间谱图；
步骤23：对步骤22生成的频域-时间谱图进一步做二次特征提取。
进一步的，所述步骤21中听觉外周系统模型的处理过程包括以下步骤：
步骤211：将音频信号s(t)通过耳蜗滤波器组，耳蜗滤波器组的输出用yC表示，采用以下公式对信号s(t)进行仿射小波变换：
yC(t,f)＝s(t)*th(t,f)，
公式中h(t,f)为各滤波器的脉冲响应，*t为时域卷积运算；
步骤212：耳蜗输出yC经过毛细胞的处理转化成听觉神经响应，表示为yA，毛细胞的处理主要包括高通滤波、非线性压缩g(.)和低通滤波器w(t)，其数学式描述如下：
步骤213：根据耳蜗核的侧抑制网络作用，以模拟耳蜗核的频率选择性，表达式如下：
步骤214：利用短窗口函数μ(t,τ)与yLIN(t,f)求卷积，得到第一阶段的输出y(t,f)，
y(t,f)＝yLIN(t,f)*tμ(t,τ)，
其中，τ是微秒级别的时间常数。
进一步的，所述步骤22中STRF模型的处理过程通过一组具备不同时频域特征选择性的滤波器模拟，包括以下步骤：
步骤221：构造STRF滤波器，STRF滤波器为空间脉冲响应hS与时间脉冲响应hT的乘积，分别定义如下：
其中，Ω,ω分别表示滤波器的谱密度和速率参数，
表示特征相位，
表示希尔伯特变换，定义为：
步骤222：分别采用二阶高斯模型和伽马方程模拟hscale和hrate，对应的方程表示为：
hrate(t)＝t3e-4tcos(2πt)，
其不同频率和尺度的脉冲响应的扩展方式为：
hscale(x,Ω)＝Ωhscale(Ωx)，
hrate(t,ω)＝ωhrate(ωx)，
步骤223：计算出输出的响应，表示为：
其中*tf为时域和频域的卷积运算，输出的结果为听觉皮层神经元对特定频率和尺度能量选择后的结果。
进一步的，所述步骤23中二次特征的提取是从步骤22中生成的频域-时间谱图中提取了三种基于STRF的二次特征，包括每个尺度的能量S、对数尺度能量SL和对数尺度能量的DCT系数SDL；其中尺度的能量S是将第二阶段输出的频域-时间谱图中所有尺度和速率对应的结果直接叠加，其公式表示为：
其中Nω是比例数，等式中的相位特征φ和θ都设置为零；
第二个特征SL是对第一个特征S进行对数运算，其公式表示为：
SL(t,ω)＝log(S(t,ω))，ω＝1,2...Nω；
第三个特征SDL是在第二个特征的基础上进行了离散余弦变换，其公式表示为：
其中Nk是第三特征SDL(t,k)的特征指数，Nk小于等于Nω。
综上所述，由于采用了本技术方案，本发明的有益效果是：本发明针对说话人识别易受环境噪声影响的问题，提出了基于听觉中枢感知机理的说话人识别方法，根据生物听觉感知机理进行声纹特征提取，本发明主要包括语音信号的预处理、声纹信号的特征提取与特征分类三个部分，在声纹信号的特征提取过程中，采用基于STRF模型，并且提取听觉谱图的二次特征，该二次特征与传统的MFCC系数相组合，相对于单一特征，该方法在较低信噪比条件下仍然能够取到较高的识别正确率，且对噪声具有较强的鲁棒性，能够用于强噪声环境下的说话人识别，对于说话人身份确认具有实用性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，本说明书附图中的各个部件的比例关系不代表实际选材设计时的比例关系，其仅仅为结构或者位置的示意图，其中：
图1是本发明的流程框图；
图2a和图2b是含噪语音处理前后信号图；
图3听觉外周系统的模型框架；
图4a和图4b分别是干净语音信号和含噪语音经步骤21处理后的外周听觉谱图；
如图5是滤波器的时频选择谱图；
图6a和图6b是干净语音信号和含噪语音经过步骤22处理后的频域-时间谱图；
图7是MFCC系数的提取过程流程图；
图8a、图8b、图8c分别是三个基于STRF的特征与MFCC的特征组合后识别正确率线性函数图；
图9基于STRF的特征与MFCC的特征组合后识别率随信噪比的变化图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合附图对本发明作详细说明。
实施例一
如图1所示，本发明基于听觉中枢感知机理的说话人识别方法，本发明是基于听觉中枢感知机理的说话人识别方法，该方法具体包括以下步骤：
步骤1：采用OM-LSA算法与MCRA算法结合的方法对说话人语音信号进行降噪预处理；
步骤2：利用STRF模型将预处理后的语音信号投射到特定的频谱-时间空间，生成频域-时间谱图，并进一步提取频域-时间谱图的二次特征；
步骤3：提取降噪预处理后语音信号中的MFCC系数特征；
步骤4：将步骤2中的二次特征与步骤3中的MFCC系数进行组合；
步骤5：采用常规的支持向量机对步骤4中二次特征与MFCC系数组合后的声纹特征进行分类与识别。
进一步的，所述步骤1中含噪声语音信号的预处理方法具体步骤为：
步骤11：根据MCRA算法估计含噪语音的时变功率谱分布，然后根据估计的功率谱分布，结合OM-LSA算法来增强瞬态噪声和非瞬态噪声成分的差异，并估计瞬态噪声的功率谱分布；
步骤12：采用MCRA算法，从瞬态噪声和语音信号中估计背景噪声的功率谱分布；
步骤13：将估计的瞬态噪声和背景噪声功率谱分布进行合并，并在此运用OM-LSA算法，一起抑制瞬态噪声和背景噪声，得到增强后的语音信号。
通过对数频谱幅度(Optimally Modified Log-Spectral Amplitude Estimator，OM-LSA)语音估计与最小控制递归平均(Improved Minima Controlled RecursiveAveraging，MCRA)噪声估计结合的方法对说话人语音进行降噪等预处理，对于语音信号处理前后的对比如图2a和图2b所示。
进一步的，所述步骤2中二次特征的提取步骤为：
步骤21：模拟生物听觉系统外周模型耳蜗核的处理过程，将输入的语音信号转化为听觉外周的频谱图；
步骤22：模拟STRF模型的处理过程，将步骤21输出的频谱图转化为特定尺度的频域-时间谱图；
步骤23：对步骤22生成的频域-时间谱图进一步做二次特征提取。
进一步的，所述步骤21中听觉外周系统模型的处理过程包括以下步骤：
步骤211：将音频信号s(t)通过耳蜗滤波器组，耳蜗滤波器组的输出用yC表示，采用以下公式对信号s(t)进行仿射小波变换：
yC(t,f)＝s(t)*th(t,f)，
公式中h(t,f)为各滤波器的脉冲响应，*t为时域卷积运算；
步骤212：耳蜗输出yC经过毛细胞的处理转化成听觉神经响应，表示为yA，毛细胞的处理主要包括高通滤波、非线性压缩g(.)和低通滤波器w(t)，其数学式描述如下：
步骤213：根据耳蜗核的侧抑制网络作用，以模拟耳蜗核的频率选择性，表达式如下：
步骤214：利用短窗口函数μ(t,τ)与yLIN(t,f)求卷积，得到第一阶段的输出y(t,f)，
y(t,f)＝yLIN(t,f)*tμ(t,τ)，
其中，τ是微秒级别的时间常数。
听觉外周系统的模型框架如图3所示，本实施例任取一段语音信号，加入噪声，比如工厂车间噪声，图4a和图4b分别是干净语音信号和噪声环境的语音经步骤21处理后的外周听觉谱图。
进一步的，所述步骤22中中STRF模型的处理过程通过一组具备不同时频域特征选择性的滤波器模拟，包括以下步骤：
步骤221：步骤221：构造STRF滤波器，STRF滤波器为空间脉冲响应hS与时间脉冲响应hT的乘积，分别定义如下：
其中，Ω,ω分别表示滤波器的谱密度和速率参数，
表示特征相位，
表示希尔伯特变换，定义为：
步骤222：分别采用二阶高斯模型和伽马方程模拟hscale和hrate，对应的方程表示为：
hrate(t)＝t3e-4tcos(2πt)，
其不同频率和尺度的脉冲响应的扩展方式为：
hscale(x,Ω)＝Ωhscale(Ωx)，
hrate(t,ω)＝ωhrate(ωx)，
步骤223：计算出输出的响应，表示为：
其中*tf为时域和频域的卷积运算，输出的结果为听觉皮层神经元对特定频率和尺度能量选择后的结果。
本发明是通过模拟听皮层神经元频谱-时间感受野(STRF)特性来实现，主要采用一组具备不同时频域特征选择性的滤波器模拟，这些特征包括时域中从缓慢变化到快速骤变的节律(rate)，以及频率域从较窄到较宽泛的尺度，这些滤波器的时频域谱图通常集中在特定的节律和尺度范围内，一个典型滤波器的时频选择谱图如图5所示。滤波器的输出是预处理后的声音经过上述步骤21处理后得到的时频谱图与上述滤波器的卷积。因此，由步骤21输出的时频谱图如果与某个滤波器所选择的节律和尺度较为吻合，则会在相对应的特征点处输出较大的值，由此得出，步骤22的处理结果是经一系列滤波器特征选择后结果的组合，经过步骤22处理后生成频域-时间谱图。图6a和图6b是干净语音信号和含噪语音经过步骤22处理后的频域-时间谱图。
进一步的，所述步骤23中二次特征的提取是从步骤22中生成的频域-时间谱图中提取了三种基于STRF的二次特征，包括尺度能量总和S，对数域能量总和SL，对数域能量总和的离散余弦变换系数SDL；其中尺度的能量S是将第二阶段输出的频域-时间谱图中所有尺度和速率对应的结果直接叠加，其公式表示为：
其中Nω是比例数，等式中的相位特征φ和θ都设置为零；
第二个特征SL是对第一个特征S进行对数运算，其公式表示为：
SL(t,ω)＝log(S(t,ω))，ω＝1,2...Nω；
第三个特征SDL是在第二个特征的基础上进行了离散余弦变换，其公式表示为：
其中Nk是第三特征SDL(t,k)的特征指数，Nk小于等于Nω。
在本实施例中，MFCC系数是基于人耳听觉感知特性的倒谱参数，在频域人耳听到的声音高低与频率不成线性关系，但在Mel域，人耳感知与Mel频率成正比的。它与频率的换算关系公式采用：
公式中f是频率，单位是Hz。
在本发明中，MFCC系数的提取过程如图7所示，具体概括为：首先，对语音进行预加重、分帧和加窗；然后，对每一个短时分析窗，通过FFT得到对应的频谱；并将上述的频谱通过Mel滤波器组得到Mel频谱；最后，在Mel频谱上面进行倒谱分析，即进行取对数和DCT离散余弦变换运算；本发明取DCT后的第2个到第13个系数作为MFCC系数。
本发明的支持向量机采用带有径向基函数内核的多类支持向量机对说话人数据进行分类，本实施例径向基函数内核的gamma值设置为2，其它参数选择LIBSVM工具的默认设置，支持向量机的原理参考论文《支持向量机若干问题及应用研究》和《基于模糊支持向量机的多类分类算法研究》。
本发明的实验数据结果
本实验的数据来源是清华大学thchs30中文语料库，共选取了其中36个说话人每人40段语音片段做样本，共计1440个语音片段，将所有语音片段分为8组，随机选取1组，即180段语音片段，每个说话人5段语音片段，作训练集，余下7组语音数据分别加入信噪比(SNR)为-10dB、-5dB、5dB、10dB、15dB、20dB的Babble噪声作测试集，共交叉验证8次，最终的识别正确率以平均值±标准差的形式给出。
在实验中，所有语音片段分为16ms的帧，重叠8ms，并将汉明窗应用于每个帧，STRF的尺度参数设置为2n，n＝-5，-4，-3，-2，-1，1，2，3，4，5，共10个等级。
单一特征对分类结果的影响
本发明共提取了四个特征，包括MFCC系数特征和基于STRF的三个二次特征，包括尺度能量总和S，对数域能量总和SL，对数域能量总和的离散余弦变换系数SDL。首先，对比了基于单一特征的干净说话人语音识别结果，多次交叉验证的统计结果汇总在表1中。
表1：基于单一特征的说话人识别统计结果
从表1中可以看出，基于MFCC系数特征的识别率最高，平均识别正确率达到94.12％。而基于STRF的二次特征中，对数域能量总和的离散余弦变换系数SDL的识别率最高，但是都显著低于基于MFCC系数特征。由此可以看出，对于纯净说话人语音的识别，基于单一STRF的特征并不占优势。
组合特征对分类结果的影响：
接下来尝试将基于STRF的单一特征与MFCC系数特征进行组合，对比STRF的特征是否有助于提升对说话人的识别性能，基于不同组合特征的说话人识别正确率统计结果汇总在表2中。
表2：基于不同组合特征的说话人识别统计结果
| 不同组合声纹特征 | 识别正确率 |
| MFCC+S | 97.12±0.61 |
| MFCC+S<sub>L</sub> | 96.88±0.64 |
| MFCC+S<sub>DL</sub> | 97.85±0.53 |
通过对比表1和表2的结果可以看出，对于纯净说话人语音信号，所有基于组合特征的识别率均显著高于基于单一特征的识别率。其中，采用对数域能量总和的离散余弦变换系数SDL和MFCC系数特征的组合形式取得了最高的识别正确率，高达97.85％。
不同特征对环境噪声的鲁棒性分析：
本实验进一步地分析了单一声纹特征以及各种组合声纹特征对环境噪声的鲁棒性，统计结果汇总在表3中。
表3：
从表3可以看出，随着信噪比的下降，无论是单一特征亦或是组合特征，均影响了对说话人识别的性能，其正确率有了不同程度的下降。其中，对于单一特征而言，基于MFCC的相对识别准确率较高，但是对于噪声的容忍性较差，下降地较为迅速。从图9可以看出，基于组合特征与STRF的特征对噪声鲁棒性均优于MFCC，通过将基于STRF的特征与MFCC的特征进行组合，并结合图8a、图8b、图8c发现，基于STRF的特征与MFCC的特征组合后普遍高于相同信噪比条件下基于单一声纹特征的识别率，既提高了总体的识别准确率，同时也提升了对噪声的容忍性，在信噪比低至-10dB的情况下，仍然具有86.25％的平均正确率，从而证明了本发明提出方法在强环境噪声下的说话人识别上具有一定的优势。
综上，本发明针对说话人识别易受环境噪声影响的问题，提出了基于生物听觉感知机理的声纹特征提取方法，如图1所示，本发明主要包括语音信号的预处理、声纹信号的特征提取与特征分类三个部分，通过与传统的MFCC系数相组合，显著提升了对环境噪声的鲁棒性。本发明通过实验进行了两个方面的对比分析，一方面比较了单纯基于STRF的特征与MFCC系数的识别准确率，发现前者普遍低于后者，但是前者对噪声的鲁棒性明显优于后者；另一方面，通过将二者进行组合，并与每组单一特征的识别进行比较发现，组合特征的识别正确率普遍高于单一特征，且对噪声的鲁棒性也有显著提高。本发明提出方法能够用于强噪声环境下的说话人识别上，表现出了对环境噪声的强鲁棒性，对于说话人身份确认具有实用性。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (6)
1.基于听觉中枢感知机理的说话人识别方法，其特征在于，该方法具体包括以下步骤：
步骤1：采用OM-LSA算法与MCRA算法结合的方法对说话人语音信号进行降噪预处理；
步骤2：利用STRF模型将预处理后的语音信号投射到特定的频谱-时间空间，生成频域-时间谱图，并进一步提取频域-时间谱图的二次特征；
步骤3：提取降噪预处理后语音信号中的MFCC系数特征；
步骤4：将步骤2中的二次特征与步骤3中的MFCC系数进行组合；
步骤5：采用常规的支持向量机对步骤4中二次特征与MFCC系数组合后的声纹特征进行分类与识别。
2.根据权利要求1所述的基于听觉中枢感知机理的说话人识别方法，其特征在于，所述步骤1中含噪声语音信号的预处理方法具体步骤为：
步骤11：根据MCRA算法估计含噪语音的时变功率谱分布，然后根据估计的功率谱分布，结合OM-LSA算法来增强瞬态噪声和非瞬态噪声成分的差异，并估计瞬态噪声的功率谱分布；
步骤12：采用MCRA算法，从瞬态噪声和语音信号中估计背景噪声的功率谱分布；
步骤13：将估计的瞬态噪声和背景噪声功率谱分布进行合并，并在此运用OM-LSA算法，一起抑制瞬态噪声和背景噪声，得到增强后的语音信号。
3.根据权利要求1所述的基于听觉中枢感知机理的说话人识别方法，其特征在于，所述步骤2中二次特征的提取步骤为：
步骤21：模拟生物听觉系统外周模型耳蜗核的处理过程，将输入的语音信号转化为听觉外周的频谱图；
步骤22：模拟STRF模型的处理过程，将步骤21输出的频谱图转化为特定尺度的频域-时间谱图；
步骤23：对步骤22生成的频域-时间谱图进一步做二次特征提取。
4.根据权利要求3所述的基于听觉中枢感知机理的说话人识别方法，其特征在于，所述步骤21中听觉外周系统模型的处理过程包括以下步骤：
步骤211：将音频信号s(t)通过耳蜗滤波器组，耳蜗滤波器组的输出用yC表示，采用以下公式对信号s(t)进行仿射小波变换：
yC(t,f)＝s(t)*th(t,f)，
公式中h(t,f)为各滤波器的脉冲响应，*t为时域卷积运算；
步骤212：耳蜗输出yC经过毛细胞的处理转化成听觉神经响应，表示为yA，毛细胞的处理主要包括高通滤波、非线性压缩g(.)和低通滤波器w(t)，其数学式描述如下：
步骤213：根据耳蜗核的侧抑制网络作用，以模拟耳蜗核的频率选择性，表达式如下：
步骤214：利用短窗口函数μ(t,τ)与yLIN(t,f)求卷积，得到第一阶段的输出y(t,f)，
y(t,f)＝yLIN(t,f)*tμ(t,τ)，
其中，τ是微秒级别的时间常数。
5.根据权利要求3所述的基于听觉中枢感知机理的说话人识别方法，其特征在于，所述步骤22中STRF模型的处理过程通过一组具备不同时频域特征选择性的滤波器模拟，包括以下步骤：
步骤221：构造STRF滤波器，STRF滤波器为空间脉冲响应hS与时间脉冲响应hT的乘积，分别定义如下：
其中，Ω,ω分别表示滤波器的谱密度和速率参数，
θ表示特征相位，
表示希尔伯特变换，定义为：
步骤222：分别采用二阶高斯模型和伽马方程模拟hscale和hrate，对应的方程表示为：
hrate(t)＝t3e-4tcos(2πt)，
其不同频率和尺度的脉冲响应的扩展方式为：
hscale(x,Ω)＝Ωhscale(Ωx)，
hrate(t,ω)＝ωhrate(ωx)，
步骤223：计算出输出的响应，表示为：
其中*tf为时域和频域的卷积运算，输出的结果为听觉皮层神经元对特定频率和尺度能量选择后的结果。
6.根据权利要求3所述的基于听觉中枢感知机理的说话人识别方法，其特征在于，所述步骤23中二次特征的提取是从步骤22中生成的频域-时间谱图中提取了三种基于STRF的二次特征，包括每个尺度的能量S、对数尺度能量SL和对数尺度能量的DCT系数SDL；其中尺度的能量S是将第二阶段输出的频域-时间谱图中所有尺度和速率对应的结果直接叠加，其公式表示为：
其中Nω是比例数，等式中的相位特征φ和θ都设置为零；
第二个特征SL是对第一个特征S进行对数运算，其公式表示为：
SL(t,ω)＝log(S(t,ω))，ω＝1,2...Nω；
第三个特征SDL是在第二个特征的基础上进行了离散余弦变换，其公式表示为：
其中Nk是第三特征SDL(t,k)的特征指数，Nk小于等于Nω。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268019.XA CN111508504B (zh) | 2020-04-08 | 2020-04-08 | 基于听觉中枢感知机理的说话人识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268019.XA CN111508504B (zh) | 2020-04-08 | 2020-04-08 | 基于听觉中枢感知机理的说话人识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111508504A true CN111508504A (zh) | 2020-08-07 |
| CN111508504B CN111508504B (zh) | 2022-06-07 |
Family
ID=71877515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010268019.XA Active CN111508504B (zh) | 2020-04-08 | 2020-04-08 | 基于听觉中枢感知机理的说话人识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111508504B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077795A (zh) * | 2021-04-06 | 2021-07-06 | 重庆邮电大学 | 一种通道注意力传播与聚合下的声纹识别方法 |
| CN113129918A (zh) * | 2021-04-15 | 2021-07-16 | 浙江大学 | 联合波束形成和深度复数U-Net网络的语音去混响方法 |
| WO2023070874A1 (zh) * | 2021-10-28 | 2023-05-04 | 中国科学院深圳先进技术研究院 | 一种声纹识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130297299A1 (en) * | 2012-05-07 | 2013-11-07 | Board Of Trustees Of Michigan State University | Sparse Auditory Reproducing Kernel (SPARK) Features for Noise-Robust Speech and Speaker Recognition |
| CN104616664A (zh) * | 2015-02-02 | 2015-05-13 | 合肥工业大学 | 一种基于声谱图显著性检测的音频识别方法 |
| CN109886358A (zh) * | 2019-03-21 | 2019-06-14 | 上海理工大学 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
| US20200074989A1 (en) * | 2018-08-28 | 2020-03-05 | International Business Machines Corporation | Low energy deep-learning networks for generating auditory features for audio processing pipelines |
-
2020
- 2020-04-08 CN CN202010268019.XA patent/CN111508504B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130297299A1 (en) * | 2012-05-07 | 2013-11-07 | Board Of Trustees Of Michigan State University | Sparse Auditory Reproducing Kernel (SPARK) Features for Noise-Robust Speech and Speaker Recognition |
| CN104616664A (zh) * | 2015-02-02 | 2015-05-13 | 合肥工业大学 | 一种基于声谱图显著性检测的音频识别方法 |
| US20200074989A1 (en) * | 2018-08-28 | 2020-03-05 | International Business Machines Corporation | Low energy deep-learning networks for generating auditory features for audio processing pipelines |
| CN109886358A (zh) * | 2019-03-21 | 2019-06-14 | 上海理工大学 | 基于多时空信息融合卷积神经网络的人体行为识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴强等: "Robust Feature Extraction for Speaker Recognition Based on Constrained Nonnegative Tensor Factorization", 《JOURNAL OF COMPUTER SCIENCE & TECHNOLOGY》, no. 04, 24 January 2010 (2010-01-24) * |
| 王蕾等: "噪声环境下话者识别系统的特征提取", 《科技信息》, no. 33, 25 November 2010 (2010-11-25) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077795A (zh) * | 2021-04-06 | 2021-07-06 | 重庆邮电大学 | 一种通道注意力传播与聚合下的声纹识别方法 |
| CN113077795B (zh) * | 2021-04-06 | 2022-07-15 | 重庆邮电大学 | 一种通道注意力传播与聚合下的声纹识别方法 |
| CN113129918A (zh) * | 2021-04-15 | 2021-07-16 | 浙江大学 | 联合波束形成和深度复数U-Net网络的语音去混响方法 |
| CN113129918B (zh) * | 2021-04-15 | 2022-05-03 | 浙江大学 | 联合波束形成和深度复数U-Net网络的语音去混响方法 |
| WO2023070874A1 (zh) * | 2021-10-28 | 2023-05-04 | 中国科学院深圳先进技术研究院 | 一种声纹识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111508504B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106486131B (zh) | 一种语音去噪的方法及装置 | |
| CN111508504B (zh) | 基于听觉中枢感知机理的说话人识别方法 | |
| CN109256127B (zh) | 一种基于非线性幂变换Gammachirp滤波器的鲁棒语音特征提取方法 | |
| CN102968990B (zh) | 说话人识别方法和系统 | |
| Wang et al. | Robust harmonic features for classification-based pitch estimation | |
| Shi et al. | Robust speaker recognition based on improved GFCC | |
| Do et al. | Speech source separation using variational autoencoder and bandpass filter | |
| Sharma et al. | Study of robust feature extraction techniques for speech recognition system | |
| Ghitza | Robustness against noise: The role of timing-synchrony measurement | |
| Venturini et al. | On speech features fusion, α-integration Gaussian modeling and multi-style training for noise robust speaker classification | |
| CN106653004A (zh) | 感知语谱规整耳蜗滤波系数的说话人识别特征提取方法 | |
| CN116052689A (zh) | 一种声纹识别方法 | |
| Venkatesan et al. | Binaural classification-based speech segregation and robust speaker recognition system | |
| Rahman et al. | Dynamic time warping assisted svm classifier for bangla speech recognition | |
| CN111489763A (zh) | 一种基于gmm模型的复杂环境下说话人识别自适应方法 | |
| Saritha et al. | Enhancement in speaker recognition using sincnet through optimal window and frame shift | |
| Kumar et al. | Speaker identification system using Gaussian Mixture Model and Support Vector Machines (GMM-SVM) under noisy conditions | |
| Jeon et al. | Speech analysis in a model of the central auditory system | |
| CN116597853A (zh) | 一种音频消噪方法 | |
| Sailor et al. | Unsupervised Representation Learning Using Convolutional Restricted Boltzmann Machine for Spoof Speech Detection. | |
| Montalvão et al. | Is masking a relevant aspect lacking in MFCC? A speaker verification perspective | |
| Wang et al. | Robust Text-independent Speaker Identification in a Time-varying Noisy Environment. | |
| Chandra et al. | Spectral-subtraction based features for speaker identification | |
| Mallidi et al. | Robust speaker recognition using spectro-temporal autoregressive models. | |
| Dhineshkumar et al. | Speaker identification system using gaussian mixture model and support vector machines (GMM-SVM) under noisy conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |