CN103391201A - 基于声纹识别实现智能卡身份验证的系统及方法 - Google Patents

Abstract

本发明涉及一种基于声纹识别实现智能卡身份验证的系统，其中包括身份验证客户端和身份验证服务端，所述的身份验证客户端包括声纹样品采集模块、声纹特征提取模块和NFC通信模块，所述的身份验证服务端包括服务端通信模块和声纹特征匹配模块，所述的服务端通信模块用以接收所述的身份验证客户端发送的身份验证请求信息、判断身份验证请求的有效性并返回身份验证结果，本发明还涉及一种基于声纹识别实现智能卡身份验证的方法。采用该种结构的基于声纹识别实现智能卡身份验证的系统及方法，可以实现利用NFC功能读取智能卡上的相关信息，利用声纹特征的不可替代、不可盗用、不会遗失的特点，保证了身份验证的有效完成，具有更广泛的应用范围。

Description

基于声纹识别实现智能卡身份验证的系统及方法

技术领域

本发明涉及智能卡持卡人身份合法性验证领域，尤其涉及声纹识别技术领域，具体是指一种基于声纹识别实现智能卡身份验证的系统及方法。

背景技术

智能卡或带有电子芯片的各种证件及卡片作为个人信息的承载工具被广泛使用。随着移动设备的普及，越来越多的日常活动需要移动设备与智能卡通信。在传统技术中，一般需要为移动设备连接一个外置读卡器来实现与智能卡的通信，造成用户携带和操作的不方便。NFC（Near Field Communication，近距离无线通信）作为一种非接触式识别和互联技术，提供了一种简单、触控式的解决方案，只需要在移动设备上内置NFC芯片，为应用开发者提供相应接口库，即可实现与智能卡之间的通信。

在访问智能卡上的敏感数据或执行关键操作时，为了保护个人信息，通常要求持卡人输入PIN码（Personal Identification Number，个人识别码），通过校验才可操作。在移动设备上使用智能卡系统时，PIN码通过终端键盘输入，容易被第三方非法获取击键记录，从而被盗取PIN码。即使对PIN码进行加密后再传输，加密使用的密钥也存在于终端内存中，并不能保证PIN码不被盗取。

声纹识别是生物识别技术的一种，是对人的声音进行特征鉴别，自动识别说话人身份的技术。从声纹语音中提取声纹特征方便自然、成本低廉，且算法复杂度低、准确率高。用声纹特征信息来代替智能卡的PIN码，具有更高安全性。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现借助声纹特征信息进行身份验证、避免通过终端输入PIN码存在的安全风险、确保用户在移动设备上安全验证身份、具有更广泛应用范围的基于声纹识别实现智能卡身份验证的系统及方法。

为了实现上述目的，本发明的基于声纹识别实现智能卡身份验证的系统及方法具有如下构成：

该基于声纹识别实现智能卡身份验证的系统，其主要特点是，所述的系统包括身份验证客户端和身份验证服务端，所述的身份验证客户端包括：

声纹样本采集模块，用以采集声音样本信号；

声纹特征提取模块，用以对采集到的声音样本信号进行处理并提取声纹特征信息；

NFC通信模块，用以采集所述的智能卡上的相关信息；

所述的身份验证服务端包括：

服务端通信模块，用以接收所述的身份验证客户端发送的身份验证请求信息、判断身份验证请求的有效性并返回身份验证结果；

声纹特征匹配模块，用以对所述的声纹特征信息进行识别并得出相应的身份验证结果。

较佳地，所述的身份验证客户端还包括加密模块，所述的加密模块用以利用所述的智能卡中用于加密的密钥对所述的声纹特征信息进行加密，所述的身份验证服务端还包括解密模块，所述的解密模块用以对所述的加密后的声纹特征信息进行解密。

较佳地，所述的身份验证客户端还包括用户界面，所述的用户界面用以与用户进行交互并指引用户操作。

本发明还涉及一种基于声纹识别实现智能卡身份验证的方法，其主要特点是，所述的方法包括：

（1）所述的声纹样本采集模块采集待验证的声音样本信号；

（2）所述的声纹特征提取模块对所述的待验证的声音样本信号进行处理并提取待验证的声纹特征信息；

（3）所述的NFC通信模块采集待验证的智能卡相关信息；

（4）所述的身份验证客户端将身份验证请求信息发送至所述的身份验证服务端；

（5）所述的声纹特征匹配模块对所述的待验证的声纹特征信息进行识别并得出相应的身份验证结果；

（6）所述的服务端通信模块将所述的身份验证结果发送至所述的身份验证客户端。

较佳地，所述的步骤（1）之前，还包括以下步骤：

（0）所述的身份验证服务端对用户的初始声音样本信号进行模型训练并建立用户分类器。

更佳地，所述的身份验证服务端对用户的初始声纹特征信息进行模型训练并建立用户分类器，包括以下步骤：

（0-1）所述的声纹样本采集模块采集用户的初始声音样本信号；

（0-2）所述的声纹特征提取模块对所述的初始声音样本信号进行预处理并提取初始声纹特征信息；

（0-3）所述的身份验证服务端将所述的初始声纹特征信息用支持向量机算法进行模型训练，为用户建立声纹特征模型；

（0-4）所述的身份验证服务端将所述的声纹特征模型加入声纹特征模型库并产生对应于用户的分类器。

更进一步地，所述的对所述的初始声音样本信号进行预处理，包括以下步骤：

（0-21）对所述的初始声音样本信号进行预加重处理，使所述的初始声音样本信号具有平坦的频谱；

（0-22）对经预加重处理的声音样本信号进行加窗分帧处理，将所述的经预加重处理的声音样本信号分成短时的语音帧信号；

（0-23）对所述的语音帧信号进行静默音分离处理，保留有效的语音帧信号。

再进一步地，所述的对所述的初始声音样本信号进行预加重处理，具体为：

对所述的初始声音样本信号通过一阶数字滤波器来实现预加重处理，经预加重处理的声音样本信号满足以下公式：

$y\left(n\right)=\left\{\begin{array}{cc}x\left(0\right)& n=0\\ x\left(n\right)-{\mathrm{\μz}}^{-1}& n>0\end{array}\right.$

其中，x(n)为初始声音样本信号经A/D转换后输出的数字信号，y(n)为经预加重的声音样本信号，z为声音序列x(n)的z变换，μ为预加重系数，此处μ取值为0.95。

再进一步地，所述的对经预加重处理的声音样本信号进行加窗分帧处理，具体为：

对经预加重处理的声音样本信号采用汉明窗进行分帧，分帧后的短时语音帧信号满足以下公式：

$\stackrel{\‾}{y}\left(n\right)=y\left(n\right)\mathrm{\ω}\left(n\right)$

其中，

为短时语音帧信号，y(n)为经预加重处理的声音样本信号，ω(n)为汉明窗函数，n为加窗点，N为帧长，此处N取值为20ms。

再进一步地，所述的对所述的语音帧信号进行静默音分离处理，包括以下步骤：

（0-231）对各个所述的语音帧信号计算其累积能量，去除累积能量小于预设静音阈值的语音帧信号，所述的各个语音帧信号的累积能量满足以下公式：

$E=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\stackrel{\‾}{y}}^2\left(n\right),$   N＝256

其中，E为各个语音帧信号的累积能量，

为各个短时语音帧信号；

（0-232）如果所述的语音帧信号的累积能量全部小于预设静音阈值，则继续步骤（0-1），否则保留累计能量大于预设静音阈值的语音帧信号为经预处理的声音样本信号。

更进一步地，所述的提取初始声纹特征信息，包括以下步骤：

（0-24）从经预处理后的声音样本信号中提取线性预测系数，所述的线性预测系数满足以下公式：

$r\left(k\right)=\underset{n=0}{\overset{N-k-1}{\mathrm{\Σ}}}\stackrel{\‾}{y}\left(n\right)\stackrel{\‾}{y}(n+k),$   k＝0，1，2，…，p

其中，a_j,j＝1,…,p为线性预测系数，

为经预处理后的声音样本信号，p为线性预测的阶数，此处p取值为9，r(k)为a_j,j＝1,…，p与

的自相关函数；

（0-25）根据所述的线性预测系数计算线性预测倒频谱参数，所述的线性预测倒频谱参数满足以下公式：

$c_n=\left\{\begin{array}{cc}{a}_1& n=1\\ a_n+\underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& 1<n\&le;p\\ \underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& n>p\end{array}\right.$

其中，a_j,j＝1,…,p为线性预测系数，c_i,i＝1,…,n为线性预测倒频谱系数，此处，n取值为16；

（0-26）用所述的线性预测倒频谱参数组成初始声纹特征信息，所述的初始声纹特征信息满足以下公式：

Vol＝{c_i,i＝1,2,…,n}

其中，Vol为初始声纹特征信息，c_i,i＝1,…,n为线性预测倒频谱系数。

更佳地，所述的对所述的待验证的声音样本信号进行预处理并提取待验证的声纹特征信息，包括以下步骤：

（21）对所述的待验证的声音样本信号进行预加重处理，使所述的待验证的声音样本信号具有平坦的频谱；

（22）对经预加重处理的声音样本信号进行加窗分帧处理，将所述的经预加重处理的声音样本信号分成短时的语音帧信号；

（23）对所述的语音帧信号进行静默音分离处理，保留有效的语音帧信号；

（24）从所述的静默音分离处理后的声音样本信号中提取线性预测倒频谱参数并用所述的线性预测倒频谱参数组成待验证的声纹特征信息。

更进一步地，所述的对所述的待验证的声纹特征信息进行识别并得出相应的身份验证结果，具体为：

将接收到的待验证的声纹特征信息输入所述的用户分类器进行识别并判断识别结果是否与所述的智能卡的卡号一致，如果是，则身份验证成功，如果否，则身份验证失败。

较佳地，所述的身份验证客户端还包括加密模块，所述的步骤（3）与步骤（4）之间还包括步骤：

（31）所述的加密模块根据待验证的智能卡中用于加密的密钥对待验证的声纹特征信息进行加密处理。

更佳地，所述的身份验证服务端还包括解密模块，所述的步骤（4）与步骤（5）之间还包括步骤：

（41）所述的解密模块对所述的加密后的声纹特征信息进行解密处理。

较佳地，所述的步骤（4）和步骤（5）之间，还包括以下步骤：

（42）所述的服务端通信模块判断所述的身份验证请求信息的有效性。

更佳地，所述的判断所述的身份验证请求信息的有效性，包括以下步骤：

（421）检查所述的身份验证请求信息的格式是否正确，如果是，则继续步骤（422），如果否，则身份验证失败，然后继续步骤（6）；

（422）检查所述的身份验证请求信息中的智能卡号是否有效，如果是，则继续步骤（423），如果否，则身份验证失败，然后继续步骤（6）；

（423）检查所述的身份验证请求信息中的智能卡证书是否处于有效期内，如果是，则继续步骤（5），如果否，则身份验证失败，然后继续步骤（6）。

采用了该发明中的基于声纹识别实现智能卡身份验证的系统及方法，具有如下有益效果：

1、保护用户身份的安全：

本发明采取基于声纹特征信息的身份验证，利用声纹特征的不可替代、不可盗用、不会遗失的特点，保证了身份验证的有效完成。验证过程只需输入用户声音样本，用户不需要设置和保管密码，从而避免了密码遗失或泄露带来的身份窃取、身份冒用等安全威胁，也省去了密码找回、重置和修改等带来的操作复杂度。

2、验证过程的隐私性：

声纹特征信息由智能卡中的公钥加密，以密文形式发送，即使攻击者截获身份验证请求，没有相应的智能卡中的私钥，攻击者无法获得任何用户个人信息，保护了用户身份的安全，也保证了用户的个人隐私安全。

3、为移动设备身份验证提供便利：

本发明利用移动设备的NFC功能读取智能卡上的相关信息，具有非接触的特点，无需读卡器，为在移动设备上进行身份验证提供了极大的便利。

附图说明

图1为本发明的基于声纹识别实现智能卡身份验证的系统的结构示意图。

图2为本发明的基于声纹识别实现智能卡身份验证的方法中基于SVM的声纹识别原理示意图。

图3为本发明的基于声纹识别实现智能卡身份验证的方法中声纹SVM模型训练的流程图。

图4为本发明的基于声纹识别实现智能卡身份验证的方法中身份验证客户端的工作流程图。

图5为本发明的基于声纹识别实现智能卡身份验证的方法中身份验证服务端的工作流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明结合移动设备上的身份验证需求，利用声纹特征的唯一性，以声纹识别为验证手段，结合移动设备的NFC功能与智能卡通信，提出了一种移动设备上基于声纹识别和智能卡的身份验证方法。其原理是通过移动设备的NFC功能读取智能卡内的信息，对获取的声纹信息进行加密，与智能卡号一起发送到服务端，由服务端进行查询和匹配，从而解决在移动设备上进行身份验证的问题。

1、基于声纹识别实现智能卡身份验证的系统结构。

如图1所示为本发明的基于声纹识别实现智能卡身份验证的系统的结构示意图

本发明主要分为两大部分：一是安装在移动设备上的基于声纹识别与NFC的身份验证客户端（以下简称身份验证客户端），二是处于远程服务器端的身份验证服务端。下面将对这两大部分的结构进行详细描述。

基于声纹识别与NFC的身份验证客户端：

当用户需要在移动设备上进行身份验证时，可以借助智能卡和移动设备的麦克风，在身份验证客户端的辅助下，发送带有声纹信息的身份验证请求。身份验证客户端通过移动设备的麦克风采集用户的声纹样本，提取声纹特征，并调用移动设备的NFC功能读取智能卡信息。身份验证请求需满足身份验证服务端的格式要求，至少包含2个参数：声纹特征信息Vol和智能卡卡号CardNumber。其中声纹信息是由智能卡进行非对称算法加密过的，通信过程中以密文形式传输，这样既可以保护用户隐私，也保证了数据安全性，即使请求被攻击者截获，没有对应的智能卡也无法得到解密后的用户数据。

身份验证客户端的组成模块主要包括声纹样本采集模块、声纹特征提取模块、NFC通信模块、加密模块和用户界面，模块详细描述如下：

声纹样本采集模块，控制移动设备的声音输入设备进行声音样本采集。

声纹特征提取模块，对接收到的声音样本进行处理，提取声纹特征信息。

NFC通信模块，通过调用移动设备的NFC功能接口与智能卡进行通信，从而获取智能卡上的相关信息。当用户将智能卡靠近移动设备时，读取智能卡上的NFC标签信息，包含智能卡卡号和用于加密的公钥。

加密模块，使用智能卡对声纹特征信息进行加密。

用户界面，用于与用户进行交互，指引用户操作，并调用相关模块功能。

用户在用户界面启动声纹身份验证功能时，声纹样本采集模块通过移动设备的麦克风采集用户的声纹样本，将样本发送至声纹特征提取模块，进行声纹特征提取，并送到加密模块。NFC通信模块调用移动设备的NFC功能读取智能卡信息，并在加密模块用智能卡上的公钥对声纹特征信息进行加密。加密完成后，身份验证客户端发送身份验证请求到身份验证服务端。

身份验证服务端系统：

身份验证服务端主要负责处理接收到的身份验证请求，并将处理后的身份验证结果返回给身份验证客户端。身份验证服务端的组成模块主要包括：通信模块、解密模块和声纹特征匹配模块，模块功能如下：

通信模块，负责接收身份验证请求和返回身份验证结果，并判断身份验证请求的有效性，对无效的请求不进行任何处理。

解密模块，对身份验证请求中的声纹特征信息解密。

声纹特征匹配模块，利用声纹识别算法对声纹特征信息进行识别，从而得出相应的身份验证结果。

身份验证服务端收到身份验证请求后，首先确认该请求是否有效，包括了请求格式是否符合系统规定，以及智能卡的证书是否在有效期内，这样能有效地防止重放攻击，且提高系统效率。如果该身份验证请求有效，则对其中的声纹特征信息进行解密，并送入声纹信息匹配模块匹配识别。

2、基于声纹识别实现智能卡身份验证的方法的流程：

声纹识别的身份验证可分为两个流程：声纹建模流程和声纹验证流程。在将用户的声纹信息首次加入服务器端的数据库时，需要采集用户的声音样本，经过声纹特征提取和样本训练，生成相应的声纹模型。当用户需要进行身份验证时，采集用户的声音样本，提取声纹特征并发送请求，由身份验证服务端将其与声纹模型库中的模型进行匹配，得到验证结果。

声纹识别是生物识别技术的一种，是对人的声音进行特征鉴别，自动识别说话人身份的技术。其基本原理是预先录入声音样本，提取每个样本独一无二的特征，并建立声纹特征库，使用时将待识别的声音输入特征库的分类器进行识别，通过分析计算，实现说话人识别。如图2所示为基于声纹识别实现智能卡身份验证过程中基于SVM的声纹识别原理示意图，对声音样本进行预处理，提取声纹特征参数，训练并构建声纹特征模型；说话人识别时，用其声纹特征与模型进行匹配，得到识别结果。

下面给出发明中一些符号定义：

Vol：声纹特征信息，对声音样本提取的独一无二的、代表说话人特性的特征，本发明中Vol是提取的线性预测倒频谱系数LPCC参数序列。

CardNumber：智能卡卡号，智能卡发放时就带有的唯一的卡号，身份验证服务端凭该号码在数据库中查询用户的相关信息。如卡过期或作废，该号码也随之作废。

KPB：智能卡上存储的非对称公钥，与智能卡通信时可以读取该公钥，用其进行相关的加密操作。

x(n)：声音样本经A/D转换后输出的数字信号。

H(z)：一阶数字滤波器的传递函数。

ω(n)：窗函数，本发明使用汉明窗。

E：语音数据的累积能量。

a_j,j＝1,2,…,p：线性预测系数，p代表线性预测系数的阶数，本发明中p取9。

r(k)：自相关函数。

ρ：最佳预测误差。

{k_i},i＝1,2,…,p：偏相关系数。

c_i,i＝1,2,…,n：线性预测倒频谱系数。

f(x)：SVM的判决函数，输入序列x，输出f(x)的值，即可判决出x属于哪一类。

ξ：松弛变量，用于消除噪声，将非标准型线性规划问题转化为标准型。

C：惩罚因子。

K(x_i,x_j)：核函数

sgn：符号函数， $\mathrm{sgn}=\left\{\begin{array}{cc}1& x>0\\ 0& x=0\\ -1& x<0\end{array}\right..$

arg：arg max g(t)表示定义域的一个子集，该子集中任一元素都可使函数g(t)取最大值。

（0）在身份验证之前需要先进行声纹建模过程。

用户要进行声纹身份验证，需要将自己的声音样本提交给身份验证服务端，由身份验证服务端生成相应的分类器，即相当于对用户的声纹信息进行注册、通过智能卡卡号与用户身份绑定的过程。如图3所示为声纹建模流程，首先采集用户的声音样本，在经过预处理之后，对声音样本进行声纹特征提取，然后将提取出的声纹特征信息用SVM算法进行模型训练，并加入声纹特征模型库，从而产生对应于该用户的分类器。

（0-1）所述的声纹样本采集模块采集用户声音样本，要求用户读一段话，转换为数字信号x(n)。

（0-2）所述的声纹特征提取模块对声音样本x(n)进行预处理，包括预加重、加窗分帧和消除静音，如果检测出整个样本都是静音，则预处理失败，返回步骤（1）重新采集，否则继续；所述的声纹特征提取模块对经过预处理的样本

用线性预测倒频谱提取声纹特征信息Vol。

预处理过程：

经声音采集设备转换后的声音样本为数字信号x(n)，对样本进行分帧，去除静默语音信号，以便于后续处理，提高识别效果。一般的预处理过程为：

（0-21）预加重：

一般语言信号的大部分能量集中在低频范围内，高频端的信噪比较低，难以处理。预加重的目的是提升高频部分，使频谱平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱，便于分析。本发明中的预加重通过一阶的数字滤波器来实现，其传递函数为：

H(z)＝1-μz^-1

其中z为声音序列x(n)的z变换，μ为预加重系数，本发明中μ取0.95。

x(n)经过预加重之后变为：

$y\left(n\right)=\left\{\begin{array}{cc}x\left(0\right)& n=0\\ x\left(n\right)-0.95x\left(n\right)& n>0\end{array}\right.$

其中，x(n)为初始声音样本信号经A/D转换后输出的数字信号，y(n)为经预加重的声音样本信号，z为声音序列x(n)的z变换，μ为预加重系数，此处μ取值为0.95。

（0-22）加窗分帧：

将信号划分成短时的语音段，每个语音段称为一个语音帧。分帧一般采用交叠分段的方法，保持语音帧之间的平滑连续性，帧与帧之间的偏移通常取帧长的1/2或1/3，即每隔帧长的1/2或1/3进行分帧。为减轻语音段边缘的影响，一般采用汉明窗进行分帧（n为加窗点，N为帧长，本发明中N取20ms）：

乘上汉明窗后，所得到的值为：

$\stackrel{\&OverBar;}{y}\left(n\right)=y\left(n\right)\mathrm{\&omega;}\left(n\right)$

其中，为短时语音帧信号，y(n)为经预加重处理的声音样本信号，ω(n)为汉明窗函数，n为加窗点，N为帧长，此处N取值为20ms。

（0-23）去除静音：

为了提取包含语音的语音帧，要尽量将静默音分离掉，使一帧中含有更多的有效语音。计算各帧语音数据的累积能量E，如果连续语音帧累积能量E大于预设静音阈值（连续帧数N>100，本发明取256帧），则采纳该段连续语音，否则不保留。累积能量E的计算公式为：

$E=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{y}}^2\left(n\right),$   N＝256

其中，E为各个语音帧信号的累积能量，为各个短时语音帧信号。

（0-24）声纹特征提取：

本发明采用LPCC（Linear Predictive Cepstrum Coefficients，线性预测倒频谱系数）提取声纹特征参数，用提取的LPCC特征参数序列组成的数组代表声纹特征信息Vol。倒谱特征所含的信息比其他参数多，能较好地表征语音信号，语音质量好，识别正确率高。LPCC参数的提取基于语音的线性预测分析，线性预测分析从人的发声机理人手，利用相邻采样之间的相关性预测采样值，比较彻底地去掉了语音产生过程中的激励信息，主要反映声道特性，而且只需十几个倒谱系数就能较好地描述语音的共振峰特性，计算量小。LPCC提供的语音信号模型参数简洁而准确，减少识别时间，便于实时处理，且所含的信息比其他参数多，能较好地表征语音信号，语音质量好，识别正确率高。

LPCC的计算方法是依据全极点模型对LPC（线性预测编码）参数进行递推，形成LPC倒谱。线性预测是根据已有采样点按照线性函数来计算未来某一离散信号的数学方法。本发明使用Durbin算法计算LPC参数。在线性预测中，LPC参数a_j,j=1,…,p与样本信号

的自相关系数r(k)满足以下关系：

其中p为线性预测的阶数，本发明中p取9，自相关函数r(k)可以表示为：

$r\left(k\right)=\underset{n=0}{\overset{N-k-1}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{y}\left(n\right)\stackrel{\&OverBar;}{y}(n+k),$   k＝0，1，2，…，p

Durbin算法过程如下：

（a）ρ^（0）＝r(0)

（b） $k_i=\frac{r\left(i\right)-{\mathrm{\&Sigma;}}_{j=1}^{i-1}{\mathrm{\&alpha;}}_{j-1}^{(i-1)}r(i-j)}{{\mathrm{\&rho;}}^{(i-1)}},$   1≤i≤p

（c） ${\mathrm{\&alpha;}}_i^{\left(i\right)}=k_i$

（d） ${\mathrm{\&alpha;}}_j^{\left(i\right)}={\mathrm{\&alpha;}}_j^{(i-1)}-k_i{\mathrm{\&alpha;}}_{i-j}^{(i-1)},$   1≤j≤i-1

（e） ${\mathrm{\&rho;}}^{\left(i\right)}=(1-k_i^2){\mathrm{\&rho;}}^{(i-1)},$   i＞0，if(i＜p)goto(a)

（f） $a_j={\mathrm{\&alpha;}}_j^{\left(p\right)},$   1≤j≤p

其中上标(i)表示第i次迭代，

为参数a_j的中间值，即用每次迭代计算出的

更新a_j的值，直到i＝p时，结束迭代。ρ⁽ⁱ⁾表示最佳预测误差，{k_i}，i＝1,2,…,p为偏相关系数。

再用下面的式子把LPC参数a_j,j＝1,…，p转换为倒频谱参数，即LPCC参数c_i,i＝1,…，n（n为LPCC的阶数，本发明中n取16）：

$c_n=\left\{\begin{array}{cc}{a}_1& n=1\\ a_n+\underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& 1<n\&le;p\\ \underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& n>p\end{array}\right.$

声纹特征信息Vol可表示为：

Vol＝{c_i,i＝1,2,…,n}

（0-3）所述的身份验证服务端对提取出的声纹特征信息Vol进行SVM训练，并加入声纹特征库。

声纹识别实际上就是为每个说话人建立一个能够描述其声音特征的模型，其核心是分类问题。本发明采用SVM（Support Vector Machines，支持向量机）算法对声纹特征进行模型训练。SVM是一种基于结构风险最小化二元分类器，通过非线性变换将原始集合映射到高维空间，转换为某个高维中的线性问题，寻求最优分类面。由于SVM只能辨别两类数据，需要进行正反两类数据训练，从而解决多分类问题。本发明使用一对一支持向量机（1-vs-n SVM）解决SVM多分类问题，即为每个用户建立一个SVM子分类器，每个分类器有两组训练数据，一组是该用户的声纹特征参数，一组由其他所有非该用户的声纹特征参数组成。

对于任意用户的声纹特征Vol，训练数据可以表示为：{(x₁,y₁),…,(x_l,y_l)}，其中x∈Vol，y∈[-1,1]。训练的目的是寻找最优的判决函数f(x)，使得对任意的x，有f(x)＝y。在训练数据线性可分的情况下，存在矢量ω和标量b，满足约束条件：

$\left\{\begin{array}{cc}\mathrm{\&omega;}\&CenterDot;x_i+b\&GreaterEqual;+1& y_i=+1\\ \mathrm{\&omega;}\&CenterDot;x_1+b\&le;-1& y_i=-1\end{array}\right.$

SVM算法的主要思想是：构造一个能够使得间隔最大的超平面，这里的间隔是指该超平面到最近的样本的距离。要使分类间隔2/‖ω‖最大，即求‖ω‖²的最小值。引入松弛变量ξ_i减小误差后，问题转化为求的最小值，约束条件为d_i(ω^Tx_i+b)≥1-ξ_i且ξ_i≥0,i＝1,2,…,l，其中的C是惩罚因子，表示对分错的点加入多少的惩罚。

再利用拉格朗日乘子法对上述问题进行优化，问题转化为求

的最大值，约束条件为

且α_i∈[0，C]，i＝1，2，…,l，判决函数为 $f\left(x\right)=\mathrm{sgn}({\mathrm{\&Sigma;}}_{i=1}^l{\mathrm{\&alpha;}}_i{y}_i(x_i\&CenterDot;x)+b).$

为了支持非线性数据，引入核函数K(x_i,x_j)来代替线性向量机中的点积形式，从而可以将训练数据非线性映射到某一特征空间。问题最终转化为求 $W\left(\mathrm{\&alpha;}\right)={\mathrm{\&Sigma;}}_{i=1}^l{\mathrm{\&alpha;}}_i-\frac{1}{2}{\mathrm{\&Sigma;}}_{i,j=1}^l{\mathrm{\&alpha;}}_i{y}_i{\mathrm{\&alpha;}}_j{y}_{j}K(x_i,x_j)$ 的最大值，约束条件为 ${\mathrm{\&Sigma;}}_{i=1}^l{\mathrm{\&alpha;}}_i{y}_i=0$ 且α_i∈[0,C],i＝1,2,…,l，判决函数为

本发明采用的核函数为多项式核函数：K(x_i,x)＝[(x·x_i)+1]^d，其中d取6。

（0-4）所述的身份验证服务端用该声纹特征信息和其他用户的声纹特征信息分别建立出该用户的一对子分类器。

对声音样本进行识别时，将其声音样本输入到多类分类器中进行分类，最后统计所有分类器的输出，得到识别结果。具体是将声音样本分为N组，每组长度为s，按组分别提取LPCC参数，输入到子分类器中，对于子分类器j的输出结果由下式计算得到： $\arg {\max }_j\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N\{{\mathrm{\&Sigma;}}_s{\mathrm{\&alpha;}}_j{y}_{i}K(x_j,x_i)+b\}.$

如图4所示为本发明的身份验证客户端的工作流程示意图。

（1）用户打开移动设备上的身份验证客户端并启动声纹身份验证功能，客户端提示用户通过麦克风输入一段语音，通过移动设备的麦克风采集声音样本，转换为x(n)。

（2）对声音样本进行预处理，包括预加重、加窗分帧和消除静音，如果检测出整个样本都是静音，未检出声音或人的声音，则预处理失败，提示用户重新输入语音，返回步骤（2）重新采集，否则继续。

对经过预处理的样本

用线性预测倒频谱提取声纹特征信息Vol。

声纹特征提取的步骤同声纹建模阶段。

（3）身份验证客户端提示用户刷智能卡，调用移动终端的NFC功能读取智能卡上的标签信息，包括智能卡卡号CardNumber和用于加密的公钥KPB。

NFC技术允许电子设备之间进行非接触式点对点传输（在10厘米内）交换数据。支持NFC功能的移动终端通过内置NFC芯片以及相应的应用接口库来实现智能卡与移动终端之间的通信，读取智能卡上的标签信息，从而不需要外置读卡器就可以实现与智能卡的数据交互。

当身份验证客户端提示用户刷卡后，用户即可将智能卡靠近移动终端，读取智能卡信息。身份验证客户端读取NFC标签信息的过程如下：

（a）通过移动设备提供的API获取其NFC适配器；

（b）查询适配器，检查移动设备是否支持NFC功能；

（c）如果移动设备支持NFC功能，则申请接收NFC标签信号；

（d）通过解析智能卡的标签信号读取智能卡卡号及用于加密的密钥。

（31）用智能卡上的公钥KPB加密声纹特征信息Vol。

智能卡支持产生非对称密钥对、非对称密钥加解密和非对称密钥签名验签，以及对称算法的加解密。智能卡产生非对称公私钥对，可以实现私钥不出卡的安全特性、防止智能卡被复制的风险，具有智能卡作为个人身份唯一标识的特点。非对称密钥加解密功能可以对短消息进行加密，并只能由相应的私钥才能解密，可实现数据保密的安全特性。

本发明使用智能卡的非对称密钥对声纹特征信息进行加密，采用的加密算法选自国家密码局发布的加密算法，用户可自行选择。例如当用户选择用RSA算法，用智能卡的公钥KPB为声纹特征信息Vol提供保护时，受保护的声纹特征信息加密后的结果为 ${\left[\mathrm{Vol}\right]}_{K_{\mathrm{PB}}}=$ $\mathrm{RSA}(\mathrm{Vol},K_{\mathrm{PB}}).$

发送身份验证请求，包括加密后的声纹特征信息以及智能卡卡号，(

CardNumber)。

如图5所示为身份验证服务端的声纹验证流程示意图：

（4）身份验证服务端接收到身份验证请求，所述的服务端通信模块检查身份验证请求的格式是否正确，如果格式错误，则请求无效，验证结束，否则继续；所述的服务端通信模块检查身份验证请求的有效性，包括卡号是否有效、证书是否过期，如果卡号无效或证书过期，则该身份验证请求无效，身份验证结束，返回身份验证失败给身份验证客户端，否则继续。

格式检查和有效性检查可以有效地防止重放攻击，提高请求处理效率。

（41）用该卡持卡用户对应的私钥解密出声纹特征信息Vol。

（5）将解密出的声纹特征信息输入SVM分类器进行识别，如果识别出的结果与身份验证请求中提供的卡号一致，则身份验证成功，否则身份验证失败。

（6）返回身份验证结果给身份验证客户端。

采用了该发明中的基于声纹识别实现智能卡身份验证的系统及方法，具有如下有益效果：

1、保护用户身份的安全：

本发明采取基于声纹特征信息的身份验证，利用声纹特征的不可替代、不可盗用、不会遗失的特点，保证了身份验证的有效完成。验证过程只需输入用户声音样本，用户不需要设置和保管密码，从而避免了密码遗失或泄露带来的身份窃取、身份冒用等安全威胁，也省去了密码找回、重置和修改等带来的操作复杂度。

2、验证过程的隐私性：

声纹特征信息由智能卡中的公钥加密，以密文形式发送，即使攻击者截获身份验证请求，没有相应的智能卡中的私钥，攻击者无法获得任何用户个人信息，保护了用户身份的安全，也保证了用户的个人隐私安全。

3、为移动设备身份验证提供便利：

本发明利用移动设备的NFC功能读取智能卡上的相关信息，具有非接触的特点，无需读卡器，为在移动设备上进行身份验证提供了极大的便利。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (17)

1.一种基于声纹识别实现智能卡身份验证的系统，其特征在于，所述的系统包括身份验证客户端和身份验证服务端，所述的身份验证客户端包括：

声纹样本采集模块，用以采集声音样本信号；

声纹特征提取模块，用以对采集到的声音样本信号进行处理并提取声纹特征信息；

NFC通信模块，用以采集所述的智能卡上的相关信息；

所述的身份验证服务端包括：

服务端通信模块，用以接收所述的身份验证客户端发送的身份验证请求信息、判断身份验证请求的有效性并返回身份验证结果；

声纹特征匹配模块，用以对所述的声纹特征信息进行识别并得出相应的身份验证结果。

2.根据权利要求1所述的基于声纹识别实现智能卡身份验证的系统，其特征在于，所述的身份验证客户端还包括加密模块，所述的加密模块用以利用所述的智能卡中用于加密的密钥对所述的声纹特征信息进行加密，所述的身份验证服务端还包括解密模块，所述的解密模块用以对所述的加密后的声纹特征信息进行解密。

3.根据权利要求1所述的基于声纹识别实现智能卡身份验证的系统，其特征在于，所述的身份验证客户端还包括用户界面，所述的用户界面用以与用户进行交互并指引用户操作。

4.一种通过权利要求1至3中任一项所述的系统基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的方法包括：

（1）所述的声纹样本采集模块采集待验证的声音样本信号；

（2）所述的声纹特征提取模块对所述的待验证的声音样本信号进行处理并提取待验证的声纹特征信息；

（3）所述的NFC通信模块采集待验证的智能卡相关信息；

（4）所述的身份验证客户端将身份验证请求信息发送至所述的身份验证服务端；

（5）所述的声纹特征匹配模块对所述的待验证的声纹特征信息进行识别并得出相应的身份验证结果；

（6）所述的服务端通信模块将所述的身份验证结果发送至所述的身份验证客户端。

5.根据权利要求4所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的步骤（1）之前，还包括以下步骤：

（0）所述的身份验证服务端对用户的初始声音样本信号进行模型训练并建立用户分类器。

6.根据权利要求5所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的身份验证服务端对用户的初始声纹特征信息进行模型训练并建立用户分类器，包括以下步骤：

（0-1）所述的声纹样本采集模块采集用户的初始声音样本信号；

（0-2）所述的声纹特征提取模块对所述的初始声音样本信号进行预处理并提取初始声纹特征信息；

（0-3）所述的身份验证服务端将所述的初始声纹特征信息用支持向量机算法进行模型训练，为用户建立声纹特征模型；

（0-4）所述的身份验证服务端将所述的声纹特征模型加入声纹特征模型库并产生对应于用户的分类器。

7.根据权利要求6所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对所述的初始声音样本信号进行预处理，包括以下步骤：

（0-21）对所述的初始声音样本信号进行预加重处理，使所述的初始声音样本信号具有平坦的频谱；

（0-22）对经预加重处理的声音样本信号进行加窗分帧处理，将所述的经预加重处理的声音样本信号分成短时的语音帧信号；

（0-23）对所述的语音帧信号进行静默音分离处理，保留有效的语音帧信号。

8.根据权利要求7所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对所述的初始声音样本信号进行预加重处理，具体为：

对所述的初始声音样本信号通过一阶数字滤波器来实现预加重处理，经预加重处理的声音样本信号满足以下公式：

$y\left(n\right)=\left\{\begin{array}{cc}x\left(0\right)& n=0\\ x\left(n\right)-{\mathrm{\&mu;z}}^{-1}& n>0\end{array}\right.$

其中，x(n)为初始声音样本信号经A/D转换后输出的数字信号，y(n)为经预加重的声音样本信号，z为声音序列x(n)的z变换，μ为预加重系数，此处μ取值为0.95。

9.根据权利要求7所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对经预加重处理的声音样本信号进行加窗分帧处理，具体为：

对经预加重处理的声音样本信号采用汉明窗进行分帧，分帧后的短时语音帧信号满足以下公式：

$\stackrel{\&OverBar;}{y}\left(n\right)=y\left(n\right)\mathrm{\&omega;}\left(n\right)$

其中，

为短时语音帧信号，y(n)为经预加重处理的声音样本信号，ω(n)为汉明窗函数，n为加窗点，N为帧长，此处N取值为20ms。

10.根据权利要求7所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对所述的语音帧信号进行静默音分离处理，包括以下步骤：

（0-231）对各个所述的语音帧信号计算其累积能量，去除累积能量小于预设静音阈值的语音帧信号，所述的各个语音帧信号的累积能量满足以下公式：

$E=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{y}}^2\left(n\right),$   N＝256

其中，E为各个语音帧信号的累积能量，

为各个短时语音帧信号；

（0-232）如果所述的语音帧信号的累积能量全部小于预设静音阈值，则继续步骤（0-1），否则保留累计能量大于预设静音阈值的语音帧信号为经预处理的声音样本信号。

11.根据权利要求6所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的提取初始声纹特征信息，包括以下步骤：

（0-24）从经预处理后的声音样本信号中提取线性预测系数，所述的线性预测系数满足以下公式：

$r\left(k\right)=\underset{n=0}{\overset{N-k-1}{\mathrm{\&Sigma;}}}\stackrel{\&OverBar;}{y}\left(n\right)\stackrel{\&OverBar;}{y}(n+k),$   k＝0，1，2，…，p

其中，a_j,j＝1,…,p为线性预测系数，

为经预处理后的声音样本信号，p为线性预测的阶数，此处p取值为9，r(k)为a_j,j＝1,…,p与

的自相关函数；

（0-25）根据所述的线性预测系数计算线性预测倒频谱参数，所述的线性预测倒频谱参数满足以下公式：

$c_n=\left\{\begin{array}{cc}{a}_1& n=1\\ a_n+\underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& 1<n\&le;p\\ \underset{k=1}{\overset{n-1}{\mathrm{\&Sigma;}}}\frac{k}{n}{c}_k{a}_{n-k}& n>p\end{array}\right.$

其中，a_j,j＝1,…,p为线性预测系数，c_i,i＝1,…,n为线性预测倒频谱系数，此处，n取值为16；

（0-26）用所述的线性预测倒频谱参数组成初始声纹特征信息，所述的初始声纹特征信息满足以下公式：

Vol＝{c_i,i＝1,2,…,n}

其中，Vol为初始声纹特征信息，c_i,i＝1,…,n为线性预测倒频谱系数。

12.根据权利要求5所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对所述的待验证的声音样本信号进行预处理并提取待验证的声纹特征信息，包括以下步骤：

（21）对所述的待验证的声音样本信号进行预加重处理，使所述的待验证的声音样本信号具有平坦的频谱；

（22）对经预加重处理的声音样本信号进行加窗分帧处理，将所述的经预加重处理的声音样本信号分成短时的语音帧信号；

（23）对所述的语音帧信号进行静默音分离处理，保留有效的语音帧信号；

（24）从所述的静默音分离处理后的声音样本信号中提取线性预测倒频谱参数并用所述的线性预测倒频谱参数组成待验证的声纹特征信息。

13.根据权利要求12所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的对所述的待验证的声纹特征信息进行识别并得出相应的身份验证结果，具体为：

将接收到的待验证的声纹特征信息输入所述的用户分类器进行识别并判断识别结果是否与所述的智能卡的卡号一致，如果是，则身份验证成功，如果否，则身份验证失败。

14.根据权利要求4所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的身份验证客户端还包括加密模块，所述的步骤（3）与步骤（4）之间还包括步骤：

（31）所述的加密模块根据待验证的智能卡中用于加密的密钥对待验证的声纹特征信息进行加密处理。

15.根据权利要求14所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的身份验证服务端还包括解密模块，所述的步骤（4）与步骤（5）之间还包括步骤：

（41）所述的解密模块对所述的加密后的声纹特征信息进行解密处理。

16.根据权利要求4所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的步骤（4）和步骤（5）之间，还包括以下步骤：

（42）所述的服务端通信模块判断所述的身份验证请求信息的有效性。

17.根据权利要求16所述的基于声纹识别实现智能卡身份验证的方法，其特征在于，所述的判断所述的身份验证请求信息的有效性，包括以下步骤：

（421）检查所述的身份验证请求信息的格式是否正确，如果是，则继续步骤（422），如果否，则身份验证失败，然后继续步骤（6）；

（422）检查所述的身份验证请求信息中的智能卡号是否有效，如果是，则继续步骤（423），如果否，则身份验证失败，然后继续步骤（6）；

（423）检查所述的身份验证请求信息中的智能卡证书是否处于有效期内，如果是，则继续步骤（5），如果否，则身份验证失败，然后继续步骤（6）。

Images