CN108959866A - 一种基于高频声波频率的持续身份认证方法 - Google Patents

Abstract

本发明公开了一种基于高频声波频率的持续身份认证方法，该方法首先对合法用户构建身份模型，在构建模型时，利用电脑扬声器发射高频声波并采集麦克风录的声音信号提取频率段作为特征向量，通过支持向量机分类器得到合法用户的身份模型；在持续身份认证阶段，通过当前用户在使用键盘过程中采集的声音信号中对应的频率段作为检测向量，利用身份模型进行合法性判别。本发明方法是基于用户行为认证的，在用户使用电脑的时候，通过发射高频的声波，用户在击键的过程中对声波频率产生影响，由于不同的用户在击键过程中会对声波的频率产生不同的影响，因此可以使用该特征来对不同用户击键行为进行身份认证，防止攻击者进入系统后产生严重的影响。

Description

一种基于高频声波频率的持续身份认证方法

技术领域

本发明涉及身份认证技术领域，具体涉及一种基于高频声波频率的持续身份认证方法。

背景技术

随着互联网技术的发展，互联网与个人电脑的成本越来越低，人们的日常生活与工作都离不开电脑，无论工作还是生活所使用的电脑中都包含着非常重要的个人隐私信息，而现在普遍所使用的身份认证是基于一次性认证的，只有当用户进入系统时被要求进行相关身份认证，攻击者一旦破解密码进入系统则没有机会发现并阻止攻击者进行信息窃取或系统破环，因此需要一种持续认证的方法可以在用户使用电脑的时候持续性周期性的对使用者的身份进行认证，来保护用户隐私，防止用户信息被窃取，提高系统安全性。

现有的身份认证方式一般分为三种：(1)数字密码、图案密码、银行的电子密码器、U盾等，攻击者一般通过对用户的了解来猜测密码，有一定的可能会被攻击者拿到，还可以通过暴力搜索或者其他一些技术来一遍遍尝试，直到输入正确密码进入系统。(2)基于用户个人的生理特征的密码，比如指纹、声纹、虹膜、面部识别等技术。由于这些特征是基于用户个人生理特征的，使用起来简单方便，但是仍然存在一定的安全性问题，比如现在普遍使用的指纹识别技术，高级攻击者甚至可以通过一些技术来制作和用户指纹一样的指纹套来成功通过指纹识别，同时这些识别技术也有一定的缺陷，比如手指沾水或者有污渍时指纹识别则会认证失败，由于某些用户个人原因，手指蜕皮，也会产生无法使用指纹识别的问题。(3)基于用户个人的行为特征，如用户的一些反应等，但是目前还没有成熟的可以广泛使用的基于用户个人行为特征的认证技术。步态识别技术是一种较为成熟的个人行为认证技术，但是该技术一般应用于安保方面，没有办法应用于个人电脑的认证上面。

上述的这些身份认证都是一次性认证过程，如果攻击者破解或者跳过该认证过程就可以自由地使用系统而不会在使用过程中被发现是非法用户。

目前还没有比较成熟的持续身份认证方法应用在各种系统上，有人提出基于声纹的持续认证方法，但是基于声纹的持续认证方法只有在用户说话过程中才能进行认证，这不符合我们日常的工作与学习环境。

发明内容

本发明的目的是提供一种基于高频声波频率的持续身份认证方法，该方法使用户在日常工作或学习环境中使用计算机时能进行持续的身份认证。

为了实现上述任务，本发明采用以下技术方案：

一种基于高频声波频率的持续身份认证方法，包括以下步骤：

步骤1，构建合法用户身份模型

合法用户在使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号，从声波信号的频谱特征中提取对应的频率段作为构建合法用户身份模型的特征向量；

所述的对应的频率段是指在所述高频声波信号附近的频率段；

利用所述的特征向量，通过支持向量机分类器进行学习，将支持向量机分类器的输出作为合法用户身份模型并进行保存；

步骤2，持续身份认证

当有用户使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号；从声波信号的频谱特征中提取对应的频率段作为检测向量，将该检测向量输入所述合法用户身份模型中进行计算，根据计算结果判定当前使用计算机的用户是否合法用户。

进一步地，所述的高频声波信号是指频率在15000Hz以上的声音信号。

进一步地，所述的高频声波信号发射多路。

进一步地，步骤1和步骤2中发射的高频声波信号的频率相同。

进一步地，所述的频率段是指高频声波信号前后各10Hz范围的频率。

进一步地，步骤1中利用麦克风采集声波信号时，每10s采集的声波信号记为一帧，采集多帧声波信号，并将每帧声波信号分别进行快速傅里叶变换以得到频谱特征，然后分别从每一帧声波信号的频谱特征中提取的每一个高频声波信号对应的频率段作为一个特征向量，将所有特征向量构成特征矩阵；

将特征矩阵作为支持向量机分类器的输入并标记为正类，然后利用支持向量机分类器进行学习。

进一步地，步骤2中进行声波信号采集时，每10s采集的声波信号记为一帧，采集多帧声波信号，分别将每帧声波信号对应的检测向量输入到合法用户身份模型中进行计算，计算结果为一个阈值；如连续两帧声波信号计算出的阈值均小于设定值，则判定当前使用计算机的用户为非法用户。

一种基于高频声波频率的持续身份认证系统，包括相互连接的构建合法用户身份模型模块以及持续身份认证模块；

所述的构建合法用户身份模型模块用于实现以下功能：

合法用户在使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号，从声波信号的频谱特征中提取对应的频率段作为构建合法用户身份模型的特征向量；

所述的对应的频率段是指在所述高频声波信号附近的频率段；

所述的持续身份认证模块用于实现以下功能：

当有用户使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号；从声波信号的频谱特征中提取对应的频率段作为检测向量，将该检测向量输入所述合法用户身份模型中进行计算，根据计算结果判定当前使用计算机的用户是否合法用户。

本发明具有以下技术特点：

1.本发明方法是基于用户行为认证的，在用户使用电脑的时候，通过发射高频的声波，用户在击键的过程中对声波频率产生影响，发明人发现不同的用户在击键过程中会对声波的频率产生不同的影响，因此可以使用该特征来对不同用户击键行为进行身份认证，防止攻击者进入系统后产生严重的影响。

本发明只提取高频部分的声音信号，而日常生活中人说话声音以及其他一些环境噪音属于低频声音，因此环境噪音和说话声音不会对实验结果产生影响，同时也不会产生额外的隐私泄露问题，因为本发明不需要低频部分的声音数据来进行身份认证，不必担心通过环境噪音以及说话声音泄露自己的位置以及个人信息；高频信号一般不容易被人们听到，不会影响到人们的正常工作与学习。经试验验证，本发明方法的正确率达到95％以上。

2.现有的身份认证方法大多是一次性认证的，攻击者一旦破解用户进入系统的密码或者在用户进行认证之后攻击者才进入系统，这时系统无法识别出攻击者。本发明方法在用户使用电脑时通过收集用户按键对高频声音信号的频率产生的影响来持续性周期性地对当前操作机器的用户进行身份认证，从而提高系统安全性，防止用户信息被盗。

附图说明

图1为本发明中所利用实验装置结构示意图；

图2为实验示意图；

图3为本发明方法流程图；

图4为提取了17500Hz附近频率范围的两个不同的实验者的数据频谱图以及局部放大图，可以看出不同用户对声音频率产生不同的影响；

图5为两个不同实验者所收集的原始声音数据；

图6为两个不同实验者所收集数据的频谱图，低频部分主要来源于环境中的声音，高频部分包含我们发射的21路频率，因此我们只提取高频部分的频率范围作为特征来训练分类器，进行身份认证；

图7为使用SVM分类器所得到的交叉验证结果灰度图，X轴为身份模型识别的用户身份，Y轴为真实的用户身份，颜色越黑则说明数量越多，处于对角线上的则为识别正确的个数，可以看出，基本上识别正确的数目都很大，也就是识别的正确率较高；

图8为将每一个用户作为真实用户其他用户作为攻击者时使用SVM分类器识别的正确率。

具体实施方式

本发明提供了一种基于高频声波频率的持续身份认证方法，包括以下步骤：

步骤1，构建合法用户身份模型

步骤1.1，合法用户在使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号。

本发明中，所述的合法用户是指计算机的拥有者或真正的使用者，本发明的方法中，首先需要构建合法用户的身份模型。在构建身份模型阶段，合法用户在使用电脑时，当计算机检测到用户敲击键盘时，计算机启动扬声器发射高频声波信号，并利用麦克风采集声波信号，则麦克风采集到的声波信号中包含高频声波信号以及合法用户敲击键盘产生的声波信号。为了保证合法用户身份模型的准确性，所述的高频声波信号应同时发射多路；根据试验效果，本方案中所述的高频声波信号是指频率在15000Hz以上的声音信号。

本方案中，所发射的声音频率需要是高频声波信号才不容易被用户听到，发射的频率个数太少识别的正确率不够高，频率太多会导致频率间隔过小，相邻频率容易互相造成影响，经过发明人反复试验测试，本方案中利用扬声器发射21路高频声波信号，这21路高频声波信号的频率为15110Hz-21510Hz，相邻的高频声波信号的频率间隔为320Hz。利用麦克风采集声波信号时，每10s采集的声波信号记为一帧，采集多帧声波信号。声波信号采集时，如果连续10s没有检测到用户按键，则暂停通过扬声器、麦克风的数据采集过程，当下次检测到用户按键时重新启动扬声器、麦克风进行数据采集。为了保证合法用户身份模型的准确性，本方案中共采集60-120帧声波信号。

步骤1.2，从声波信号的频谱特征中提取对应的频率段作为构建合法用户身份模型的特征向量。

在本步骤中，将每帧声波信号分别进行快速傅里叶变换以得到声波信号的频谱特征，然后分别从每一帧声波信号的频谱特征中提取的频率段作为一个特征向量，将所有特征向量构成特征矩阵；所述的对应的频率段是指在所述高频声波信号附近的频率段。

例如，本实施例中，发射了21路高频声波信号，则对应地，在每一帧声波信号的频谱特征中提取21个频率段，将这21个频率段作为一个特征向量。所述的频率段是指高频声波信号前后各10Hz范围的频率。例如其中一路高频声波信号的频率为15110Hz，则对应的频率段为15100Hz-15120Hz。步骤1.1中共采集了60-120帧声波信号，则对应地，共得到60-120个特征向量，这些特征向量共同构成特征矩阵X：

上式中，x_i＝[fh₁,fh₂,...fh_m]表示第i帧声波信号的特征向量，fh₁,fh₂,...fh_m为m个频率段，本实施例中m＝21；i＝1,2,...n，n为采集到的声波信号的帧数。

步骤1.3，利用所述的特征向量，通过支持向量机分类器进行学习，将支持向量机分类器的输出作为合法用户身份模型并进行保存；

将特征矩阵作为支持向量机(SVM)分类器的输入并标记为正类，然后利用支持向量机分类器进行学习。所使用的支持向量机分类器是一个成熟的算法，已经在matlab和python中相应的包里面实现为一个函数。

将步骤1.2得到的特征矩阵X作为训练集，输入到支持向量机分类器中，并调节主要的三个参数C、gamma、kernel，其中C是惩罚系数，即对误差的宽容度。C越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合；kernel表示核函数，SVM中核函数有RBF核函数、sigmoid核函数及多项式核函数等；我们在分类时选择RBF函数作为kernel，该函数自带一个参数gamma，隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。使用网格搜索选取合适的参数值，当最后得到的准确率最高时即为合适的参数，支持向量机分类器通过训练集中的特征向量可以学习到用户的特征，其输出为一个模型，该模型即为合法用户的身份模型。

步骤2，持续身份认证

当有用户使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号；从声波信号的频谱特征中提取对应的频率段作为检测向量，将该检测向量输入所述合法用户身份模型中进行计算，根据计算结果判定当前使用计算机的用户是否合法用户。

具体地，进行声波信号采集时，每10s采集的声波信号记为一帧，采集多帧声波信号，分别将每帧声波信号对应的检测向量输入到合法用户身份模型中进行计算，计算结果为一个阈值；如连续两帧声波信号计算出的阈值均小于设定值，则判定当前使用计算机的用户为非法用户。

步骤2中所述的用户为需要进行身份认证的用户，该用户可能是合法用户，也可能是其他的非法用户。步骤1建立好合法用户身份模型并保存后，再有用户使用计算机时，即可开始持续身份认证。

同样地，本步骤中用户按键时，计算机利用扬声器发射高频声波信号，利用麦克风采集声波信号，经过快速傅里叶变换后，从频谱特征中提取对应的频率段作为检测向量Y：

Y＝[y₁,y₂,...,y_m]

上式中，y₁,y₂,...,y_m指m个频率段。本步骤发射的高频声波信号的路数、频率以及最终选取的频率段均与步骤1相同。

将检测向量Y输入到合法用户的身份模型中，输出是一个阈值，该阈值表示当前用户是合法用户的概率；本方案中设定值ε为0.5。

本方案中利用滑动窗口进行持续的身份认证，每次认证时，采集两帧声波信号，将这两帧声波信号对应的检测向量Y₁、Y₂分别输入到合法用户身份模型中，计算出两个阈值，如果两次输出的阈值均小于0.5，则计算机判定当前用户为非法用户，计算机此时可采取措施，例如禁止非法用户继续操作计算机或限制其操作权限；如每次认证过程计算的两个阈值不全小于0.5，则计算机不干预，而选择Y₂及下一帧声波信号对应的检测向量进行计算和判断。

实验部分：

1.实验背景

实验地点为西北大学物理信息大楼信息学院812实验室，实验室里中有桌子，椅子以及二十多名研究生及老师在正常办公，电脑、空调以及人员等会产生一定的噪声，实验中没有对实验室内的老师和学生的日常活动提出特别要求，也就是在日常的工作与学习的环境下进行数据收集工作。

2.实验场景

在812实验室里面，实验者坐在工位上，启动预先写好的声音信号采集程序开始实验，根据标准的按键手势结合自己的个人习惯使用键盘输入文字，如图2所示。

3.实验设备

实验所使用的设备为一台MacBook Air笔记本电脑，实验中使用的是笔记本内置的扬声器以及麦克风，电脑开合程度为适合用户使用的角度，该电脑有两个麦克风和两个扬声器，两个麦克风在电脑键盘最左端，两个扬声器分别位于键盘左边和右边，左侧扬声器位于键盘上字母S和字母D处，距麦克风约9.5cm。右侧扬声器位于键盘上字母K和字母L处，距麦克风约20cm。

高频声波信号的发射端是笔记本电脑内置的扬声器，声波信号接收端是笔记本电脑的麦克风，如图1所示。该笔记本安装数据采集软件，该软件检测用户是否按键，并且通过电脑内置的扬声器发射连续正弦波，共21路不同频率的高频声音，分别为15110Hz、15430Hz、15750Hz、16070Hz、16390Hz、16710Hz、17030Hz、17350Hz、17670Hz、17990Hz、18310Hz、18630Hz、18950Hz、19270Hz、19590Hz、19910Hz、20230Hz、20550Hz、20870Hz、21190Hz、21510Hz。为了能采样到22KHz以内的频率，根据奈奎斯特定理，采样率必须大于等于最高频率的2倍，因此实验中设置声音的采样率为44100Hz。

4.实验过程

为了验证该方法既可以应于个人电脑中，也可以应用于多用户操作的系统中，我们进行两种实验来验证该方法的可行性以及正确率。两种实验的数据采集以及特征提取过程是一致的，区别在于需要建立不同的用户身份模型。

实验一：用于个人电脑中进行合法用户与非法用户的身份认证

步骤1，在实验者使用电脑的过程中检测是否按键，如果检测到实验者按键，该身份认证系统则启动电脑内置扬声器麦克风，通过扬声器发射21路高频声波信号，麦克风采集声波数据，每隔10秒将这10秒内采集的声波数据存储为1帧数据，如果连续10秒没有检测到用户按键则暂停扬声器麦克风的数据采集工作，当下一次检测到用户按键时重新启动扬声器麦克风继续进行用户按键时的声波数据采集工作。

步骤2，提取采集到的用户按键时高频声波数据的特征。实验中我们采集了11位实验者使用电脑击键时的高频声波数据。分别提取每一位用户的21路频率段特征作为训练该用户模型的特征。使用收集的用户按键时的高频声波信号进行FFT后，提取该身份认证系统所发射的21路频率(15110Hz、15430Hz、15750Hz、16070Hz、16390Hz、16710Hz、17030Hz、17350Hz、17670Hz、17990Hz、18310Hz、18630Hz、18950Hz、19270Hz、19590Hz、19910Hz、20230Hz、20550Hz、20870Hz、21190Hz、21510Hz)附近的频率段作为特征，如图6所示，本次实验中我们提取发射的高频信号左右各10Hz范围的频率作为特征，提取的频率带宽为20Hz，即所提取的频率段为：15100Hz-15120Hz，15420Hz-15440Hz，15740Hz-15760Hz，16060Hz-16080Hz，16380Hz-16400Hz，16700Hz-16720Hz，17020Hz-17040Hz，17340Hz-17360Hz，17660Hz-17680Hz，17980Hz-18000Hz，18300Hz-18320Hz，18620Hz-18640Hz，18940Hz-18960Hz，19260Hz-19280Hz，19580Hz-19600Hz，19900Hz-19920Hz，20220Hz-20240Hz，20540Hz-20560Hz，20860Hz-20880Hz，21180Hz-21200Hz，21500Hz-21520Hz共21段频率间隔为300Hz，频率带宽为20Hz的频率段。频率段提取方法为：根据采样率以及所收集数据的时长可以计算出进行FFT变换后的频率间隔，然后提取出所需的那部分频率即可，其中频率间隔为df＝1/T，所提取的频率段为[fs₁:fs₂]＝fs₁/df:fs₂/df，df为频率间隔，T为所收集数据的时长，fs₁为起始频率，fs₂为终止频率，[fs₁:fs₂]则为我们所要提取的频率段。

步骤3，建立用户身份模型。将一位用户作为合法用户，使用前面步骤采集到的该用户数据通过进行特征提取后的特征数据建立该合法用户身份模型。在验证过程中将合法用户和其他用户的特征都通过合法用户模型得到一个阈值，通过该阈值判断每一次(10s)按键是合法用户还是非法用户。

通过滑动窗口检测连续2次判断的用户标签，如果连续两次都是非法用户则判定当前用户为非法用户，如果不是连续两次阈值都小于ε则重复步骤一到步骤五进行持续身份认证。通过连续两次来判断当前用户是否为真实用户的正确率为99.5％。

步骤4，重复步骤三到步骤五，对每一位用户建立身份模型并验证该模型的正确率。使用滑动窗口为2(帧)之后得到的正确率在99.5％以上。实验中使用支持向量机和动态时间规整来建立每一位合法用户的身份模型，在没有进行滑动窗口检测前用每一位用户模型进行合法用户与非法用户身份认证得到的正确率如下表所示：

表1不同用户识别正确率(支持向量机分类器)

表2不同用户识别正确率(动态时间规整)

合法用户ID	正确率
		User1	94.97％
User2	98.06％
		User3	97.88％
User4	95.39％
		User5	96.91％
User6	97.39％
		User7	96.00％
User8	94.61％
		User9	97.15％
User10	96.24％
		User11	97.58％

实验二：用于多用户使用的电脑中。比如Linux系统多用户登陆，可以使用该持续身份认证检测当前用户是哪一位用户，并对不同用户分配不同权限等。

步骤1，使用实验一中步骤1和步骤2处理后的多用户声波数据的特征，建立多用户身份模型。

步骤2，使用多用户特征数据来验证多分类身份模型的正确率，正确率为95.39％，如下表所示是使用多分类支持向量机模型对实验中的11个人身份进行认证的交叉验证结果：

表3支持向量机多分类交叉验证结果

实验结果

我们使用支持向量机分类器以及动态时间规整方法建立用户身份模型，并使用网格搜索方法来选择较优参数，在进行合法用户与非法用户的身份认证时支持向量机分类器的身份认证正确率在95％以上，当引入滑动窗口为2时，也就是耗时20s进行身份认证时正确率达到99.5％以上。使用模式匹配算法动态时间规整方法得到的正确率在94％以上。当进行多用户身份认证时，使用多分类支持向量机得到的正确率为95.39％。

Claims (8)

1.一种基于高频声波频率的持续身份认证方法，其特征在于，包括以下步骤：

步骤1，构建合法用户身份模型

合法用户在使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号，从声波信号的频谱特征中提取对应的频率段作为构建合法用户身份模型的特征向量；

所述的对应的频率段是指在所述高频声波信号附近的频率段；

利用所述的特征向量，通过支持向量机分类器进行学习，将支持向量机分类器的输出作为合法用户身份模型并进行保存；

步骤2，持续身份认证

当有用户使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号；从声波信号的频谱特征中提取对应的频率段作为检测向量，将该检测向量输入所述合法用户身份模型中进行计算，根据计算结果判定当前使用计算机的用户是否合法用户。

2.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，所述的高频声波信号是指频率在15000Hz以上的声音信号。

3.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，所述的高频声波信号发射多路。

4.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，步骤1和步骤2中发射的高频声波信号的频率相同。

5.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，所述的频率段是指高频声波信号前后各10Hz范围的频率。

6.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，步骤1中利用麦克风采集声波信号时，每10s采集的声波信号记为一帧，采集多帧声波信号，并将每帧声波信号分别进行快速傅里叶变换以得到频谱特征，然后分别从每一帧声波信号的频谱特征中提取的每一个高频声波信号对应的频率段作为一个特征向量，将所有特征向量构成特征矩阵；

将特征矩阵作为支持向量机分类器的输入并标记为正类，然后利用支持向量机分类器进行学习。

7.如权利要求1所述的基于高频声波频率的持续身份认证方法，其特征在于，步骤2中进行声波信号采集时，每10s采集的声波信号记为一帧，采集多帧声波信号，分别将每帧声波信号对应的检测向量输入到合法用户身份模型中进行计算，计算结果为一个阈值；如连续两帧声波信号计算出的阈值均小于设定值，则判定当前使用计算机的用户为非法用户。

8.一种基于高频声波频率的持续身份认证系统，其特征在于，包括构建合法用户身份模型模块以及持续身份认证模块；

所述的构建合法用户身份模型模块用于实现以下功能：

合法用户在使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号，从声波信号的频谱特征中提取对应的频率段作为构建合法用户身份模型的特征向量；

所述的对应的频率段是指在所述高频声波信号附近的频率段；

所述的持续身份认证模块用于实现以下功能：

当有用户使用计算机并敲击键盘时，计算机通过扬声器发射高频声波信号，并利用麦克风采集声波信号；从声波信号的频谱特征中提取对应的频率段作为检测向量，将该检测向量输入所述合法用户身份模型中进行计算，根据计算结果判定当前使用计算机的用户是否合法用户。