CN104064189A - 一种声纹动态口令的建模和验证方法 - Google Patents

Abstract

一种声纹动态口令的建模和验证方法，涉及一种语音生物特征识别技术。提供只需要声纹登记时进行一次建模过程，验证时不再需要重新建模，方便高效，结合HMM和GMM(或i-vector)，把语音识别和声纹识别技术更好的融合在一起，使得身份认证系统更加可靠的一种声纹动态口令的建模和验证方法。1)声纹建模：声纹系统提示用户输入语音，接收到语音并检查合格后，进行声纹建模；2)声纹验证：声纹系统产生随机动态口令，生成相应的受限语法，然后根据用户输入的语音，进行语音识别和声纹确认；3)声纹系统根据融合分数，与事先设定的阈值比对，给出接受或拒绝的结果。可有效防止录音冒充，大大提升声纹识别系统的准确性和可靠性。

Description

一种声纹动态口令的建模和验证方法

技术领域

本发明涉及一种语音生物特征识别技术，尤其是涉及防录音冒充的一种声纹动态口令的建模和验证方法。

背景技术

如今，信息安全已发展成为一个全世界网民普遍关注的热点问题。就在2011年底，互联网上传出全球最大的中文IT社区CSDN.NET遭遇黑客攻击，600万用户账号及明文密码泄露，用户资料被大量传播，引起了网民的集体恐慌。由此看来，传统的身份安全认证手段已受到严重威胁。相比传统基于文本密码匹配的身份认证，生物特征识别技术具有无可替代的优势。生物特征识别技术包括指纹识别、人脸识别、掌静脉识别、声纹识别等。其中声纹识别尤其适用于远程身份认证，被誉为“远程DNA”。

声纹识别(又称说话人识别)是从说话人发出的语音信号中自动提取说话人信息，并对说话人进行身份识别的过程。声纹识别具有特征采集设备成本低廉、交互自然等优点，仅需要一个麦克风就能轻松获取我们的语音特征，并能实现电话声纹识别。近年来，声纹识别技术开始应用于司法社区矫正、银行身份认证等领域。

声纹识别技术包括文本无关和文本相关类型，其中文本无关类型允许用户随便说，但一般要采集足够长的有效语音，才能保证识别效果。文本相关类型要求用户验证时要说与登记时一样的语音内容，才能合法通过。但这两种类型均存在一个风险，就是录音冒充问题。如果冒充者拿高保真的录音设备，录下合法用户的语音，则很有可能冒充通过。

为规避录音冒充风险，可在每次验证时，产生随机动态口令(文本内容不一样)，并要求用户按照动态口令内容读出语音，否则不予通过。这种声纹识别方式，可称为文本提示型，或声纹动态口令。针对这种认证方式，已有发明专利提出申请，如基于动态密码语音的身份确认系统及方法(中国专利申请号：20131023555.0)。但该申请采用动态密码对应的整个字符串(如“438259”)做为HMM(隐马尔科夫模型)建模单元，不方便扩充(例如要更换字符，把数字换成非数字的汉字，则原有的字符发音都不能用)，而且每次验证时，均需要重新建模，也即重新训练对应的密码声学HMM，不仅实时性会降低，而且可靠性也会受到影响。

发明内容

本发明的目的在于提供只需要声纹登记时进行一次建模过程，验证时不再需要重新建模，方便高效，结合HMM和GMM(或i-vector)，把语音识别和声纹识别技术更好的融合在一起，使得身份认证系统更加可靠的一种声纹动态口令的建模和验证方法。

本发明包括如下步骤：

1)声纹建模：声纹系统提示用户输入语音，接收到语音并检查合格后，进行声纹建模；

2)声纹验证：声纹系统产生随机动态口令，生成相应的受限语法，然后根据用户输入的语音，进行语音识别和声纹确认；

3)声纹系统根据融合分数，与事先设定的阈值比对，给出接受或拒绝的结果。

在步骤1)中，所述声纹建模的方法可为：若基于HMM，则以声韵母为语音识别建模单元；若基于GMM或i‐vector，则对声纹特征进行建模。

在步骤2)中，所述生成相应的受限语法的方法可为：基于声韵母词典和动态口令内容，生成受限语法，对语音内容进行匹配，匹配越一致，则语音识别得分越高；同时，对声纹特征进行1∶1比对，得到声纹确认得分。

在步骤3)中，所述声纹系统根据融合分数，与事先设定的阈值比对的具体方法可为：将语音识别得分和声纹确认得分根据以下公式进行融合：

scoreFused＝1/(1+exp(-(scoreASR/2+α*scoreVPR)))

其中，scoreFused是系统融合得分，scoreASR是基于HMM的语音识别得分，scoreVPR是GMM(或i-vector)的声纹确认得分，α是调节系数，可根据实际应用调节；

最后，系统融合得分将与预设阈值比对，超过阈值则表示接受通过，未超过则予以拒绝。

所述预设阈值可根据实际应用做调整。

本发明将语音识别和声纹识别技术有效地融合在一起，并且在验证时不用重新建模。其中语音识别是基于隐马尔科夫模型(HMM)，采用声韵母建模单元，根据动态口令内容，实时生成受限语法，对语音内容进行有效识别，同时得到针对该受限语法的语音识别得分。声纹识别可基于高斯混合模型(GMM)或i‐vector，对说话人的身份进行有效确认，得出声纹识别得分。本发明最后根据语音识别和声纹识别融合后的得分，进行说话人身份和内容的双重验证，因此可有效防止录音冒充，大大提升声纹识别系统的准确性和可靠性。

附图说明

图1为声纹建模过程。

图2为HMM自适应训练过程。

图3为声纹验证过程。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

参见图1～3，本发明在声纹建模阶段，采用HMM模型来建立一个与目标说话人相对应的语音识别器(SA Recognizer)。为建立该特定的语音识别器，首先需要一个通用的语音识别器(SI Recognizer)。通用的语音识别器以声韵母(Initial-Final)作为HMM建模单元，由大量的语音数据训练而成。

本发明采用声韵母而不采用密码字符串，来做为HMM最小建模单元，是为了避免在每次验证时重新建模。因为密码字符串的排列组合非常多，如果针对每个密码字符串都重新建模，将耗费很多计算资源，特别是当用户量很多，而且需要实时处理，采用密码字符串就更难以应付。

本发明把密码字符串的每个数字拼音分拆成声韵母组合，具体如下：

其中，数字“1”有两种发音，包括“yi”和“yao”，为避免歧义，实际应用最好不要包含。对于每一个动态密码字符串，如“4382 5769”，最后都可分拆为对应的声韵母组合，也就只要针对少量的声韵母建模即可。这样，我们就不用为“4382 5769”单独训练一个HMM模型，大大减少了计算资源开销。

需要特别指出的是，在本发明里，基于声韵母的声纹建模不只局限于数字，还可拓展到所有汉字组合。只要该汉字能表示成声韵母，则均可采用声韵母建模。

一种声纹动态口令的建模和验证方法，主要包括：

一、声纹建模过程

如图1所示，系统依据采集的说话人语音，先进行预处理，提取说话人特征，并基于相应的建模算法，完成建模过程，生成声纹模型。声纹动态口令系统建模所需要的语音是N段文本内容不同的短语音，为保证可靠性，本发明要求N>10，即需采集10遍以上的说话人语音。

经过建模后，将产生与用户(目标说话人)相关的模型(包括说话人模型和语音模型)。

其中说话人模型可采用GMM或i-vector模型。GMM模型采用MAP(最大后验概率)方法，从UBM(全局背景模型)自适应而来。具体实现时，只需要自适应如下均值参数。

${\widehat{\mathrm{\μ}}}_i=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)o\left(t\right)+{\mathrm{\τ}}_i{m}_i}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)+{\mathrm{\τ}}_i}=\frac{{\stackrel{\‾}{o}}_i\left(t\right)+{\mathrm{\τ}}_i{m}_i/\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)}{1+{\mathrm{\τ}}_i/\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)}=\mathrm{\β}{\stackrel{\‾}{o}}_i\left(t\right)+(1-\mathrm{\β})m_i---\left(1\right)$

其中

${\stackrel{\‾}{o}}_i\left(t\right)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)o\left(t\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)},\mathrm{\β}=\frac{1}{1+{\mathrm{\τ}}_i/\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_i\left(t\right)}$

说话人模型也可采用i‐vector。i‐vector是基于单一空间的跨信道算法，该空间既包含了说话人空间的信息也包含了信道空间信息。对于给定的语音，高斯超向量表示如下：

M＝m+Tw (2)其中，m是话者无关且信道无关的超向量，通常由UBM的均值向量拼接而成；T是一个低秩的矩阵；而w则是服从标准正态分布的随机向量，简称i‐vector。

语音模型则采用HMM。基于HMM的通用语音识别器，可通过自适应训练(如图2所示)，变成与目标说话人相关的特定识别器。

经过以上建模过程，我们就获得与目标说话人相对应的GMM/i-vector和HMM模型，然后就可进行以下声纹验证过程。

二、声纹验证过程

在验证阶段，系统将根据说话人的语音，判决说话人是否是其所申明的身份(Identityclaimed)。判决将依据两个输入信息，即说话人的语音和其所申明的身份信息。同样，系统先对语音进行预处理，然后提取声纹特征，将其与对应的声纹模型进行模式匹配，最终判决这段语音是否属于该说话人。

如图3所示，在本发明里，声纹验证过程是个融合的过程。输入语音经特征提取后，分别进行基于HMM的语音识别和基于GMM(或i-vector)的声纹确认，得到相应的语音识别得分和声纹确认得分。

基于HMM的语音识别，是根据提示文本，产生相应的受限语法。如数字串“43825769”，其对应的受限语法(Grammar)如下：

$digit1＝si；

$digit2＝san；

$digit3＝ba；

$digit4＝er；

$digit5＝wu；

$digit6＝qi；

$digit7＝liu；

$digit8＝jiu；

(SENT‐START [$digit1] [$digit2] [$digit3] [$digit4] [$digit5] [$digit6] [$digit7] [$digit8]SENT‐END)

基于以上受限语法，采用Viterbi解码算法(可参看维基百科：维特比算法)，就可得到语音识别得分。由于受限语法是与提示文本关联的，也就是相当于为文本内容建立了对应的语言模型，如果用户故意说别的数字串，或用录音设备录制回放别的数字串，则识别得分就会很低，因此可起到内容鉴别的作用，有效避免录音冒充。

系统融合得分计算如下：

scoreFused＝1/(1+exp(-(scoreASR/2+α*scoreVPR))) (3)

其中，scoreFused是系统融合得分，scoreASR是基于HMM的语音识别得分，scoreVPR是GMM(或i-vector)的声纹确认得分。α是调节系数，可根据实际应用调节。

系统融合得分将与预设阈值比对，超过阈值则表示接受通过，未超过则予以拒绝。预设阈值可根据实际应用做调整。

以下给出具体实施例：

步骤1：语音采集

用户启动建模流程后，服务器端将随机产生数字串，共八个数字，示例如下：

23546758

用户根据提示，朗读该数字内容后，其录音及对应的文本内容由客户端传送到服务器端。针对声纹建模，此过程至少重复10遍，直至建模语音采集足够。

需要指出的是，采用8个数字只是本发明的一种建议方案，也可采用其他长度的数字串或文字。

步骤2：声纹建模

服务器端接收到录音和对应的文本内容后，并检查合格后，即可为该用户建模，并与用户的身份ID匹配。如建模成功，则提示用户登记成功。否则，可要求用户重新采集语音。

步骤3：声纹验证

用户启动验证流程后，服务器端将产生一组随机数字串做为动态口令，示例如下：

3189 8492

用户根据提示内容，朗读动态口令，其录音由客户端传送到服务器端。

如图3所示，服务器端接收到录音后，根据用户的身份ID，匹配其对应HMM模型，同时根据动态口令内容生成的受限语法，采用Viterbi解码算法，得到语音识别得分scoreASR。另外，服务器端也会根据用户的身份ID，匹配其对应GMM(或i-vector)模型，得到声纹识别得分scoreVPR。

按照公式(2)计算融合得分scoreFused，如融合得分超过预设阈值，则验证通过，否则验证失败。

Claims (5)

1.一种声纹动态口令的建模和验证方法，其特征在于包括如下步骤：

1)声纹建模：声纹系统提示用户输入语音，接收到语音并检查合格后，进行声纹建模；

2)声纹验证：声纹系统产生随机动态口令，生成相应的受限语法，然后根据用户输入的语音，进行语音识别和声纹确认；

3)声纹系统根据融合分数，与事先设定的阈值比对，给出接受或拒绝的结果。

2.如权利要求1所述一种声纹动态口令的建模和验证方法，其特征在于在步骤1)中，所述声纹建模的方法为：若基于HMM，则以声韵母为语音识别建模单元；若基于GMM或i‐vector，则对声纹特征进行建模。

3.如权利要求1所述一种声纹动态口令的建模和验证方法，其特征在于在步骤2)中，所述生成相应的受限语法的方法为：基于声韵母词典和动态口令内容，生成受限语法，对语音内容进行匹配，匹配越一致，则语音识别得分越高；同时，对声纹特征进行1∶1比对，得到声纹确认得分。

4.如权利要求1所述一种声纹动态口令的建模和验证方法，其特征在于在步骤3)中，所述声纹系统根据融合分数，与事先设定的阈值比对的具体方法为：将语音识别得分和声纹确认得分根据以下公式进行融合：

scoreFused＝1/(1+exp(-(scoreASR/2+α*scoreVPR)))

其中，scoreFused是系统融合得分，scoreASR是基于HMM的语音识别得分，scoreVPR是GMM(或i-vector)的声纹确认得分，α是调节系数，可根据实际应用调节；

最后，系统融合得分将与预设阈值比对，超过阈值则表示接受通过，未超过则予以拒绝。

5.如权利要求4所述一种声纹动态口令的建模和验证方法，其特征在于所述预设阈值根据实际应用做调整。