CN101997689B - 基于声纹识别的usb身份认证方法及其系统 - Google Patents

Abstract

本发明涉及一种基于声纹识别的USB身份认证方法及其系统，属于计算机信息安全技术领域。包括用户终端和基于USB的嵌入式声纹识别硬件系统，用户终端与基于USB的嵌入式声纹识别硬件系统通过USB总线相连，该基于USB的嵌入式声纹识别硬件系统包括用于完成认证的声纹识别运算的中央处理器，该中央处理器分别与语音采集单元、数据存储单元、电源管理模块、状态指示模块和用于连接用户终端的USB接口连接。优点在于，具有较高的安全性。本发明还可以提供第三方应用和服务声纹认证接口，可扩展到网络银行、电子商务、电子政务等领域。

Description

基于声纹识别的USB身份认证方法及其系统

技术领域

本发明涉及计算机信息安全技术领域，尤其是涉及基于声纹识别的USB身份认证方法及其系统。通过声纹识别的方式对用户的身份进行认证，提高计算机的安全性。

背景技术

通过查阅相关资料和有关专利，主要引证下列专利：

国名      公开号           公开日期

1.中国    CN 101340285A    2009.1.7

2.中国    CN 101819614A    2010.9.01

专利1(CN 101340285A)申请公开了利用指纹USBkey进行身份认证的方法及系统。预先将用户的指纹信息录入指纹USBkey保存，生成数字证书，每个数字证书与对应的私钥加密存储在指纹USBkey上，用户与处理平台通信时，用户端的指纹USBkey先认证指纹，再用对应的私钥对需要发送的数据进行数字签名后，传送至处理平台进行身份认证。专利2(CN101819614A)公开了一种利用语音核验USBKey增强网络交易安全性的系统和方法。CA和网上交易处理系统通过语音核验USBKey中的数字证书确认用户身份，用户进行网上交易时输入的交易数据被通过用户终端发送给语音核验USBKey进行数据签名，语音核验USBkey对接收到的操作指令及操作结果进行语音播报，提高用户使用语音核验USBKey的操作体验，协助用户判定交易数据是否与发送到语音核验USBKey进行数据签名的交易数据一致，提高网上交易的安全性。同时语音核验USBkey也增加了指纹识别模块，利用用户的指纹信息进行身份认证。

目前基于个人计算机和网络的身份认证手段，包括PKI(Public Key Infrastructure，公钥基础设施)/CA(Certificate Authority，认证中心)、智能卡和USB证书令牌等，最终摆脱不了对“物”的依赖，都普遍存在“认物、不认人、不能识别主观意识”的致命缺陷。生物识别技术利用人的生物特征认证用户身份，将用户物理身份和数字身份相对应，成为最可靠的身份认证手段。尽管上述专利将指纹识别技术与USBkey结合在一起，提高网络交易的安全性，但对于解决本申请的技术要求方面主要存在下面问题：上述专利主要应用于提高网络交易的安全性问题，需要与CA中心与网络交易平台相连。

发明内容

本发明提供一种基于声纹识别的USB身份认证方法及其系统。目的在于使用用户的声纹信息对用户进行身份认证，避免因密码遗忘或泄露引发的安全问题。本发明采取的技术方案是：

包括用户终端和基于USB的嵌入式声纹识别硬件系统，用户终端与基于USB的嵌入式声纹识别硬件系统通过USB总线相连，该基于USB的嵌入式声纹识别硬件系统包括用于完成认证的声纹识别运算的中央处理器，该中央处理器分别与语音采集单元、数据存储单元、电源管理模块、状态指示模块和用于连接用户终端的USB接口连接。

本发明一种实施方式是，基于USB的嵌入式声纹识别硬件系统的数据存储单元中包括，程序和声纹数据库存储空间模块、安全存储空间模块、公开存储空间模块；其中程序和声纹数据库存储空间模块存储程序代码、用户的声纹信息模板和语音答案，安全数据存储模块和公开存储空间模块采用大容量FLASH存储器实现，其中公开存储空间模块用户可以对其中的数据进行自由操作，而安全数据存储模块的操作则需要认证用户的声纹。

一种基于声纹识别的USB身份认证方法，包括下列步骤：

(1)用户将基于USB的嵌入式声纹识别硬件系统插入用户终端；

(2)用户将声纹信息录入到基于USB的嵌入式声纹识别硬件系统中，然后在用户终端上选定需要声纹身份认证的声纹加密数据，实现数据的声纹加密设置；

(3)用户对声纹加密的数据进行操作时，需要将基于USB的嵌入式声纹识别硬件系统插入到用户终端，并进行声纹认证，只有声纹认证通过后，用户才可以访问声纹加密的数据。

本发明一种实施方式是，，步骤(2)进行声纹信息录入时，包括下列步骤：

(a)用户终端提示用户声纹录入时需要语音回答的问题；

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件系统采集用户的语音，对这些语音答案进行特征参数提取，形成语音答案模板和说话人声纹信息模板，存储在基于USB的嵌入式声纹识别硬件系统的声纹数据库存储空间模块中。

(d)基于USB的嵌入式声纹识别硬件系统通过USB接口将用户声纹信息录入成功的信号传输到用户终端，由用户终端提示用户声纹信息录入成功。

本发明一种实施方式是，上述步骤(c)需要形成用户的语音答案模板和说话人的声纹信息模板，

(i)语音答案模板的形成

基于USB的嵌入式声纹识别硬件系统采集用户的语音答案，并对采集的语音答案进行预处理，包括信号的分帧、加窗、连续数字的分割、预加重；

对D个分割的数字O＝{O¹，O²，...O^D}，分别提取基于核PCA的Gammachip特征参数；

将每个数字所对应的特征参数分别与基于USB的嵌入式声纹识别硬件系统中存储的事先训练好的0-9数字的语音模型进行得分匹配，找到每个数字得分最大的模型所对应的数字，作为语音答案的模板存储在基于USB的嵌入式声纹识别硬件系统中；

(ii)用户声纹模板的形成

系统对基于USB的嵌入式声纹识别硬件系统采集的用户语音答案，进行预处理，包括信号的分帧、加窗、端点检测、预加重；

用户语音答案数字串被分割为D个数字，对每个数字分别提取基于核PCA的Gammachip特征参数。(提取过程同语音模板生成的步骤2)；

利用基于核PCA的Gammachip特征参数，生成GMM-UBM模型Λ_s＝{w_l，μ_l，∑_l}，l＝1，...，R，将每个混合度的均值向量μ_l连接在一起形成GMM-UBM超向量X＝[μ₁μ₂...μ_R]^T；

将X＝[μ₁μ₂...μ_R]^T作为输入，训练基于GMM-UBM超向量的支持向量机说话人模型，构造分类函数

使对样本X进行分类时的错误概率尽可能小；将求解得到的α_i ^*≠0所对应的样本向量x_j、类别标号y_j及参数b^*作为说话人的声纹模型，存储在基于USB的嵌入式声纹识别硬件系统中。

本发明一种实施方式是，步骤(3)进行声纹认证时，包括

(a)用户终端随机抽取一个声纹录入时用户语音回答的问题，提示用户输入声纹认证语音；

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件系统采集用户的认证语音，提取用户认证语音的特征参数；

(d)将特征参数分别与语音答案模板和说话人声纹信息模板进行比对，计算两个匹配值；

(e)如果用户的语音答案正确，且用户的声纹信息比对成功，则用户的声纹认证通过，否则，用户可以在规定的次数内重新进行声纹认证。如果超过规定的重试次数，则基于USB的嵌入式声纹识别硬件系统将被锁死。

其中上述步骤(c)包括语音答案模板比对和说话人声纹信息模板比对，

(i)语音答案模板比对

用户认证语音经预处理、特征提取后，用户认证语音数字串被分割为D_r个数字，对每个数字分别提取基于核PCA的Gammachip特征参数。如果用户认证语音包含的数字的个数不等于用户语音答案包含数字的个数，则认为用户的语音答案不正确。否则，根据语音答案模板找到该问题所对应的所有语音答案的模型，依次计算每个数字的特征参数与模型的匹配得分。如果每个数字的匹配得分都小于设定的阈值，则认为用户的语音答案正确，否则，用户的语音答案不正确。

(ii)说话人声纹信息模板比对

用户认证语音经预处理、特征提取后得到的基于核PCA的Gammachip特征参数，根据用户声纹信息录入时产生的模型参数α_i ^*、x_i、y_i及参数b^*，计算判别函数

的值。如果f(x)＞0，则认为是用户的认证语音是用户所说，用户的声纹信息比对成功。否则f(x)＜0，用户的声纹信息比对失败。

本专利是针对用户个人计算机信息安全管理的便携式产品，只需要用户终端和基于USB的嵌入式声纹识别硬件系统。与指纹识别技术相比，声纹识别技术使用方便，更易于接受。蕴含声纹特征的语音获取方便和自然，声纹提取可在不知不觉中完成，使用者的接受程度高。声纹的获取不需要很复杂的硬件，一个麦克风即可，在使用通信设备时更无需额外录音设备。声纹识别技术适合远程身份确认。只需要一个麦克风、电话或手机就可以通过网络(通信网络或互联网络)实现远程登录。除此之外，声纹识别算法的复杂度低，可以配合其他措施，如通过语音识别进行内容鉴别等，二者自然结合可以实现双重安全认证，进一步增强安全强度。

本发明的优点在于，使用用户的声纹信息对用户进行身份认证，避免因密码遗忘或泄露引发的安全问题。基于声纹识别的USB身份认证系统可以关联各项身份认证，结合语音识别的声纹识别算法，每次发音由随机提示问题控制，防止录音、模仿，声纹认证方法在基于USB的嵌入式声纹识别硬件系统中实现，识别准确、声纹对比速度快，完全能满足系统实时性的要求，且用户的声纹信息存储在基于USB的嵌入式声纹识别硬件系统中，更加安全、可靠。采用闪存介质，具有强大的防摔抗震性质。能作为声纹加密U盘使用，即使基于USB的嵌入式声纹识别硬件系统丢失，存储在其安全数据空间数据也不能被打开，具有较高的安全性。本发明还可以提供第三方应用和服务声纹认证接口，可扩展到网络银行、电子商务、电子政务等领域。

附图说明

图1是本发明的原理示意图。

图2是本发明的中央处理器DSP与AIC23的接口框图。

图3是用户终端为个人电脑时系统的电源管理模块电路图。

图4是本发明基于声纹识别的USB身份认证方法的流程图。

图5是本发明的用户的声纹信息录入的流程图。

图6是本发明的声纹认证过程的流程图。

图7是本发明取消用户终端数据声纹加密的流程图。

图8数据在基于USB的嵌入式声纹识别硬件系统的安全存储空间存储的流程图。

图9是基于声纹识别的USB身份认证的系统登录保护流程图。

图10是基于声纹识别的屏幕锁定功能的流程图。

图11是TMS320VC5509作为USB设备时数据传输的过程。

图12是AIC23电路原理图。

具体实施方式

本发明公开了一种基于声纹识别的USB身份认证方法及其系统。基于声纹识别的USB身份认证系统包括用户终端101和基于USB的嵌入式声纹识别硬件系统103，如图1所示。用户终端101与基于USB的嵌入式声纹识别硬件系统103通过USB总线102相连。用户终端101可以是个人计算机、手机、掌上电脑PDA(Personal Digital Assistant)等具有处理能力且设置由USB主接口的其他设备；基于USB的嵌入式声纹识别硬件系统103包括中央处理器201、语音信号采集模块202、系统数据存储模块203、电源管理模块204、状态指示模块205、USB接口206。USB接口206用于连接用户终端。上述系统以中央处理器201为核心，控制语音信号采集模块202、系统数据存储模块203、电源管理模块204、状态指示模块205、USB接口206。其中，中央处理器201采用TI公司的带有USB接口模块的TMS320VC5509DSP数字信号处理器，用于认证的声纹识别算法，控制外围芯片的接口操作。

语音信号采集模块202由麦克和可编程增益、采样率调节A/D转换器组成，由中央处理器201控制完成语音信号的增益控制和数字化处理。图2给出了TMS320VC5509DSP与AIC23的接口框图。

系统数据存储模块203包括程序和声纹数据库存储空间模块、安全存储空间模块、公开存储空间模块。其中程序和声纹数据库存储空间模块存储程序代码、用户的声纹信息模板和语音答案。安全数据存储模块和公开存储空间模块采用大容量FLASH存储器实现，其中公开存储空间模块用户可以对其中的数据进行自由操作，而安全数据存储模块的操作则需要认证用户的声纹。

系统的电源管理模块204通常由电源转换芯片电路实现，以提供中央处理器、FLASH存储器等器件的工作电压。系统无需外接电源，可以通过USB接口从用户终端的USB总线上获得电压。对于不同的用户终端，其USB总线所提供的电压也不同，可以使用可编程线性电压调节器，如美国MAXIM公司生产的MAX667，对USB总线电压进行电压转换，使电压满足电源转换芯片的电压要求。图3给出了用户终端为个人电脑时系统的电源管理模块电路图。当用户终端为个人电脑时，此时USB总线上的输出电压为5V，可以直接采用TI公司生产的专门为数字信号处理器供电的电源转换芯片TPS767D301实现电压的转换。该芯片其标准输入为5V，与USB总线输出电压相同，标准输出为+3.3V和+1.6V。其+3.3V输出不仅为中央处理器供电，还为系统中所有+3.3V器件提供电源。1.6V为TMS320VC5509DSP提供工作电压。

系统状态指示模块205由三个指示灯和一个蜂鸣器组成，指示系统当前的状态并在用户声纹信息录入的过程中，提示用户进行相应的操作。

DSP芯片TMS320VC5509集成了一个USB控制模块，可以完成和USB主机系统之间的读写操作，具有无需外加逻辑电路、使用方便等优点。这里USB接口206使用TMS320VC5509的片上USB模块实现，能够完成DSP与用户终端之间的数据通信。图11给出了TMS320VC5509作为USB设备时数据传输的过程。IN事务中，SIE(串行接口引擎)从UBM(缓冲管理器)接收数据，转换成串行数据流后送给用户终端(主机)。OUT事务中，SIE将主机的串行数据转换成UBM的并行格式。UBM在SIE和缓冲器RAM之间传输数据。在UBM将数据传输到SIE之前，CPU或USB的DMA控制器必须将数据存放在缓冲器RAM中。当CPU或DMA控制器已经准备好将数据移入DSP的存储器时，必须等待UBM把数据从SIE移到缓冲器RAM。

本发明基于声纹识别的USB身份认证方法的流程图如图4所示。对于初次使用基于声纹识别的USB身份认证系统的用户，首先要将基于USB的嵌入式声纹识别硬件系统插入用户终端，用户终端设置有控制程序，按照用户终端的提示录入用户的声纹信息，并对其进行存储。然后在用户终端上，选定需要声纹身份认证的声纹加密数据，实现声纹加密设置。用户在用户终端上访问数据时，用户终端系统首先会判断该数据是否被声纹加密，如果没有被声纹加密，则用户可以直接访问，并进行相应操作，如拷贝、删除等。如果数据被声纹加密，用户终端系统会提示用户插入声纹录入时使用的USB的嵌入式声纹识别硬件系统，并输入认证语音进行声纹认证。如果用户的声纹信息认证成功，则用户可以对声纹加密的数据进行访问和操作，否则，无法访问和操作。

基于声纹识别的USB身份认证方法主要包括数据的声纹加密和声纹认证两个过程。在数据的声纹加密过程中，用户的声纹信息录入的流程图如图5所示。用户在录入信息时，

(a)用户终端提示用户声纹录入时需要语音回答的问题，通常有4个或5个问题，这些问题通常是和用户有关的一些基本信息，如自己或父母的生日、电话等，且语音答案的形式通常为连续的数字串形式。

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案。

(c)基于USB的嵌入式声纹识别硬件系统采集用户的语音，并对这些语音答案进行特征参数提取，形成语音答案模板和说话人声纹信息模板，将形成的模板存储在基于USB的嵌入式声纹识别硬件系统的声纹数据库存储空间模块中。

(d)基于USB的嵌入式声纹识别硬件系统通过USB接口将用户声纹信息录入成功的信号传输到用户终端，由用户终端提示声纹信息录入成功。

用户在录入声纹信息时，其步骤(c)需要形成用户的语音答案模板和说话人的声纹信息模板，其具体实现算法如下：

(i)语音答案模板的形成

步骤1：基于USB的嵌入式声纹识别硬件系统采集用户的语音答案，并对采集的语音答案进行预处理，预处理包括信号的分帧、加窗、连续数字串的分割、预加重。

步骤2：用户语音答案数字串被分割为D个数字O＝{O¹，O²，...O^D}，对每个数字分别提取基于核PCA的Gammachip特征参数。提取过程如下：

设X_t(p)，p＝0...，N-1，t＝1，...T为经过预处理后的信号，N为每帧的点数，T为信号分帧的帧数。

首先对每帧语音信号X_t(p)进行离散FFT变换，取模的平方得到离散功率谱S_t(n)，n＝0，...，N/2。

Y_t(n)＝FFT(X_t(p))，S_t(n)＝|Y_t(n)|²                        (1)

然后计算S_t(n)通过各H_m(n)后得到的功率值，即计算S_t(n)和H_m(n)在各离散频率点上乘积之和，得到每帧信号的M个参数P_t(m)，m＝0，...，M-1，t＝1，...，T。

$P_t\left(m\right)=\underset{n=0}{\overset{N/2}{\mathrm{\Σ}}}{H}_m\left(n\right)S_t\left(n\right)---\left(2\right)$

其中H_m(n)是在语音的频谱范围内设置的若干个Gammachip滤波器组H_m(n)，m＝0，...，M-1；n＝0，...，N/2，M为滤波器个数，N为一帧语音信号的点数。H_m(n)可以由Gammachip滤波器组的冲激响应g_c(t)的功率谱得到。

g_c(t)＝at^n-1exp(-2πbERB(f_r)t)·exp(j2π·f_rt+jclnt+φ)

上式中时间t＞0，a为振幅，n与b为改变gamma函数分布情况的参数，ERB(f_r)是中心频率为f_r的听觉滤波器之ERB的值ERB(f_r)＝24.7+0.108f_r。

在得到所有帧信号的Gammachip特征参数P_t(m)，m＝0，...，M-1，t＝1，...，T以后，采用核PCA的多元统计分析，对P_m进行降维处理。过程如下：

1.对P_t(m)，m＝0，...，M-1，t＝1，...，T向量序列中心化。计算均值向量

得到中心化后的向量序列P′_t(m)＝P_t(m)-μ，t＝1，...，T。

2.计算P_t(m)的核矩阵

其中J为M*1的单位矢量，K为两个参数P_t(m)和P_i(m)之间的核矩阵为i＝1，...T，m＝1，...T。其中σ为高斯核函数的核宽度。

3.计算矩阵K的前k个最大特征值λ_i，i＝1...k和对应的特征向量v_i，i＝1...k。

4.计算变换后的特征参数

其中

经过核PCA变换后，新特征向量的维数为k维。

步骤3：将每个数字所对应的特征参数分别与基于USB的嵌入式声纹识别硬件系统中存储的事先训练好的0-9数字的语音模型进行得分匹配，找到每个数字得分最大的模型所对应的数字，作为语音答--案的模板存储在基于USB的嵌入式声纹识别硬件系统中。

设第d个数字O^d所对应的特征参数为

t＝1，...T，j＝1，...，k，分别计算

与基于USB的嵌入式声纹识别硬件系统中存储的事先训练好的0-9数字的语音模型Λ_i，i＝0，...，9的匹配，其中Λ_i，i＝0，...，9采用基于连续隐马尔科夫的模型训练方法。如果第d个数字O^d所对应的特征参数与第q个模型的得分最大，即

则该数字被识别为数字q，令s_b(j)＝q。此时，用户终端提示用户需要语音回答的第b个问题所对应的语音答案模板为{s_b(j)}，b＝1，...，Q，j＝1，...W_b，其中Q为用户终端提示用户声纹录入时需要语音回答的问题总数，W_b为第b个问题用户语音答案包含数字的个数。

(2)用户声纹模板的形成

步骤1：系统对基于USB的嵌入式声纹识别硬件系统采集的用户语音答案，进行预处理，包括信号的分帧、加窗、端点检测、预加重。

步骤2：对预处理后的数据，提取基于核PCA的Gammachip特征参数

(提取过程同语音模板生成的步骤2)。

步骤3：利用基于核PCA的Gammachip特征参数

生成GMM-UBM模型Λ_s＝{w_l，μ_l，∑_l}，l＝1，...，R，将每个混合度的均值向量μ_l连接在一起形成GMM-UBM超向量X＝[μ₁μ₂...μ_R]^T。

步骤4：将X＝[μ₁μ₂...μ_R]^T作为输入，训练基于GMM-UBM超向量的支持向量机说话人模型。构造分类函数

使对样本X进行分类时的错误概率尽可能小。这里求解对偶方程(1)和(2)，并根据Karush-Kuhn-Tucker(KKT)条件，得到α_i ^*和参数b^*。

$\max H\left(a\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i-\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{y}_j{a}_i{a}_{j}K\left(x_{i,}{x}_j\right)---\left(1\right)$

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i{a}_i=0,a_i\≥0,i=\mathrm{1,2},\·\·\·n---\left(2\right)$

其中K(x_i，x_j)为样本X中两个特征矢量的核函数。y_i是样本x_i所对应的类别标号，a_i≥0为Lagrange系数。

将α_i ^*≠0所对应的样本向量x_j、类别标号y_j及参数b^*作为说话人的声纹模型进行存储。

基于声纹识别的USB身份认证方法中声纹认证过程的流程图如图6所示。用户在进行身份认证时，

(a)用户终端随机抽取一个声纹录入时用户语音回答的问题，提示用户输入声纹认证语音；

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件系统采集用户的认证语音，提取用户认证语音的特征参数，然后将特征参数分别与语音答案模板和说话人声纹信息模板进行比对，计算两个匹配值；

(d)如果用户的语音答案正确，且用户的声纹信息比对成功，则用户的声纹认证通过，否则，用户的声纹认证失败，如果用户声纹认证的重试次数没有达到规定次数，则用户终端会重新从声纹录入时用户已经用语音回答的问题中随机抽取一个，等待用户进行语音回答，在规定的次数内对用户的声纹重新进行认证；否则，如果用户在规定的重试次数内仍然认证失败，则基于USB的嵌入式声纹识别硬件系统会被锁死。

用户在进行声纹认证时，其步骤(c)包括语音答案模板比对和说话人声纹信息模板比对。

(i)语音答案模板比对

设用户终端随机抽取第b个声纹录入时用户语音回答的问题，用户认证语音经预处理、特征提取后，用户认证语音数字串被分割为D_r个数字，设第d个数字的基于核PCA的Gammachip特征参数为

D_r为用户认证语音分割数字的个数，T_d为第d个被分割的数字特征参数的个数。如果用户认证语音包含的数字的个数D_r不等于第b个问题用户语音答案包含数字的个数W_b，则认为用户的语音答案不正确。否则，根据语音答案模板{s_b(d)}，d＝1，...W_b找到第b个问题所对应的所有语音答案的模型，依次计算每个分割数字的特征参数

与模型Λ(s_b(d))的匹配得分。如果每个分割数字的匹配得分都小于设定的阈值，则认为用户的语音答案正确，否则，用户的语音答案不正确。

(ii)说话人声纹信息模板比对

设

为认证语音经预处理、特征提取后得到的基于核PCA的Gammachip特征参数，根据用户声纹信息录入时产生的模型参数α_i ^*、x_i、y_i及参数b^*，计算判别函数

的值。

为两个向量之间的核函数。如果

则认为是用户的认证语音是用户所说，用户的声纹信息比对成功。否则

用户的声纹信息比对失败。

图7是取消用户终端数据声纹加密的流程图。如果要取消用户端系统数据的声纹加密，用户需要插入声纹录入时使用的USB的嵌入式声纹识别硬件系统，并将进行声纹认证。如果声纹认证通过，则在用户终端的控制程序中选择需要取消声纹加密的数据，然后重启用户终端，此时，该部分数据的声纹加密就取消了，用户可以不用声纹认证直接对数据进行访问。否则，用户可以重试，只要在规定的重试次数内声纹认证成功，用户可以取消数据的声纹加密，否则，基于USB的嵌入式声纹识别硬件系统将被锁死。

基于声纹识别的USB身份认证系统还具有以下功能：

1.声纹加密U盘功能

基于声纹识别的USB身份认证系统可以作为一个声纹加密U盘使用。当基于USB的嵌入式声纹识别硬件系统与用户终端连接后，用户终端可以通过USB接口对基于USB的嵌入式声纹识别硬件系统内部的公开存储空间进行访问，和正常U盘功能一样。对于需要声纹加密的重要数据，用户可以通过用户终端的控制程序，选择将数据存储在基于USB的嵌入式声纹识别硬件系统的安全存储空间。图8给出了数据在基于USB的嵌入式声纹识别硬件系统的安全存储空间存储的流程图。首先用户将基于USB的嵌入式声纹识别硬件系统与用户终端相连，在用户终端上选定需要存储到安全存储空间的数据，并通过控制程序选择发送到基于USB的嵌入式声纹识别硬件系统的安全存储空间中，如果基于USB的嵌入式声纹识别硬件系统中已经存有用户的声纹信息，则用户终端提示用户输入认证语音，进行声纹认证。否则，用户终端提示用户进行声纹信息录入，具体过程如图5所示。在声纹录入成功后，用户终端提示用户输入认证语音，进行声纹认证。如果用户的声纹认证通过，则用户终端就可以通过USB接口将需要声纹加密的重要数据，存储在基于USB的嵌入式声纹识别硬件系统的安全数据空间中，数据存储成功，否则，存储失败。

用户在访问基于USB的嵌入式声纹识别硬件系统的安全数据空间中的数据时，需要进行声纹认证，过程如图6所示。只有用户的声纹认证通过，才能对安全数据存储空间的数据进行访问和操作。

2.登录保护功能

图9是基于声纹识别的USB身份认证的系统登录保护流程图。用户通过用户终端的控制程序设定“声纹认证系统登录保护”，用户终端在系统每次启动后，出现登录界面之前检测有无插入正确的USB嵌入式声纹识别硬件系统(录入用户声纹信息时使用的硬件系统)，如果没有，系统提示插入正确的硬件系统。如果插入的硬件系统不合法(不是录入用户声纹信息时使用的硬件系统)，将不能登录，且登录失败事件将被写入专用日志文件。如果硬件系统正确，用户终端将提示用户输入认证语音，对持有硬件系统的用户进行声纹认证。只有用户的声纹认证通过，用户终端才能启动。声纹认证的过程如图6所示。如果声纹认证通过，用户可成功登录用户终端系统，否则，用户无法登录用户终端。但用户可以重试，如果在规定的重试次数内声纹认证成功，用户仍然可以登录系统，如果用户重试的次数超过规定次数，硬件系统将自动锁死。

如果用户要取消系统登录保护，只要在声纹认证通过的条件下，在用户终端的控制程序中将“声纹认证系统登录保护”的选项取消，然后重启用户终端，此时，声纹认证系统登录保护取消，用户正常登录用户终端系统。

为了防止用户从“安全模式”启动后对操作系统进行修改，从而绕过声纹认证系统的登录控制，在用户终端的控制程序中可以选择“禁止系统安全模式登录”的设置，这样有所企图的用户想要通过“安全模式”进入用户终端做一些非法操作是不可能的，从而保证了用户终端系统登录的安全性。

3.即时锁屏功能

基于声纹识别的屏幕锁定功能的流程图如图10所示。如果用户在使用用户终端过程中临时离开，并希望用户终端能够自动锁定操作系统，则用户可以通过用户终端的控制程序进行“即时锁屏”的设置。用户需要插上基于USB的嵌入式声纹识别硬件系统，进行声纹认证。声纹认证通过后，用户通过户终端的控制程序进行“即时锁屏”的设置。这样，只要拔下基于USB的嵌入式声纹识别硬件系统，操纵系统将立刻进入屏幕锁定状态，用户需要再次进入系统桌面时，必须插入正确的硬件系统并通过声纹认证。

4.用户信息管理功能

用户将基于USB的嵌入式声纹识别硬件系统与用户终端连接，用户的声纹得到认证后，在用户终端上，能够对基于USB的嵌入式声纹识别硬件系统中用户的声纹信息和语音答案信息进行创建、增加、删除、管理等操作。

5.日志管理功能

用户将基于USB的嵌入式声纹识别硬件系统与用户终端连接，在用户终端上可以建立安全系统日志，对登录事件、USB的插拔事件、受控文件的操作以及其他安全事件具有严格的日志记录，日志只有声纹认证后，才能打开查看或清除其中的内容。

Claims (1)

1.一种基于声纹识别的USB身份认证方法，其特征在于包括下列步骤：

(1)用户将基于USB的嵌入式声纹识别硬件系统插入用户终端；

(2)用户将声纹信息录入到基于USB的嵌入式声纹识别硬件系统中，然后在用户终端上选定需要声纹身份认证的声纹加密数据，实现数据的声纹加密设置；该声纹信息录入包括：

(a)用户终端提示用户声纹信息录入时需要语音回答的问题；

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件系统采集用户的语音答案，对这些语音答案进行特征参数提取，形成语音答案模板和说话人声纹信息模板，存储在基于USB的嵌入式声纹识别硬件系统的声纹数据库存储空间模块中；其中，形成语音答案模板和说话人声纹信息模板包括：

(i)语音答案模板的形成

基于USB的嵌入式声纹识别硬件系统采集用户的语音答案，并对采集的语音答案进行预处理，包括信号的分帧、加窗、连续数字的分割、预加重；

对D个分割的数字O＝{O¹，O²，...O^D}，分别提取基于核PCA的Gammachip特征参数；

将每个数字所对应的特征参数分别与基于USB的嵌入式声纹识别硬件系统中存储的事先训练好的0-9数字的语音模型进行得分匹配，找到每个数字得分最大的模型所对应的数字，作为语音答案的模板存储在基于USB的嵌入式声纹识别硬件系统中；

(ii)说话人声纹信息模板的形成

系统对基于USB的嵌入式声纹识别硬件系统采集的用户语音答案，进行预处理，包括信号的分帧、加窗、端点检测、预加重；

用户语音答案数字串被分割为D个数字，对每个数字分别提取基于核PCA的Gammachip特征参数，提取过程同语音答案模板形成的第二步操作；

利用基于核PCA的Gammachip特征参数，生成GMM-UBM模型Λ_s＝{w_l，μ_l，∑_l}，l＝1，...，R，将每个混合度的均值向量μ_l连接在一起形成GMM-UBM超向量X＝[μ₁μ₂...μ_R]^T；

将X＝[μ₁μ₂...μ_R]^T作为输入，训练基于GMM-UBM超向量的支持向量机说话人模型，构造分类函数使对样本x进行分类时的错误概率尽可能小；将求解得到的α_i ^*≠0所对应的样本向量x_i、类别标号y_i及参数b*作为说话人声纹信息模板，存储在基于USB的嵌入式声纹识别硬件系统中；

(d)基于USB的嵌入式声纹识别硬件系统通过USB接口将用户声纹信息录入成功的信号传输到用户终端，由用户终端提示用户声纹信息录入成功；

(3)用户对声纹加密的数据进行操作时，需要将基于USB的嵌入式声纹识别硬件系统插入到用户终端，并进行声纹认证，只有声纹认证通过后，用户才可以访问声纹加密的数据；该声纹认证包括：

(a)用户终端随机抽取一个声纹信息录入时用户语音回答的问题，提示用户输入声纹认证语音；

(b)用户在基于USB的嵌入式声纹识别硬件系统上输入语音答案；

(c)基于USB的嵌入式声纹识别硬件系统采集用户的认证语音，提取用户认证语音的特征参数；

(d)将特征参数分别与语音答案模板和说话人声纹信息模板进行比对，计算两个匹配值；语音答案模板比对和说话人声纹信息模板比对包括：

(i)语音答案模板比对

用户认证语音经预处理、特征提取后，用户认证语音数字串被分割为D_r个数字，对每个数字分别提取基于核PCA的Gammachip特征参数；如果用户认证语音包含的数字的个数不等于用户语音答案模板包含数字的个数，则认为用户的语音答案不正确；否则，根据语音答案模板找到该用户终端随机抽取的一个声纹信息录入时用户语音回答的问题所对应的所有语音答案的模型，依次计算每个数字的特征参数与模型的匹配得分；如果每个数字的匹配得分都小于设定的阈值，则认为用户的语音答案正确，否则，用户的语音答案不正确；

(ii)说话人声纹信息模板比对

用户认证语音经预处理、特征提取后得到基于核PCA的Gammachip特征参数，根据用户声纹信息录入时产生的模板参数α_i ^*、x_i、y_i及参数b*，计算判别函数

的值；如果

则认为认证语音是用户所说，用户的声纹信息比对成功；否则

用户的声纹信息比对失败；

(e)如果用户的语音答案正确，且用户的声纹信息比对成功，则用户的声纹认证通过，否则，用户可以在规定的次数内重新进行声纹认证，如果超过规定的重试次数，则基于USB的嵌入式声纹识别硬件系统将被锁死。

Images