CN113591561A - 一种基于声谱图进行身份识别的方法及系统 - Google Patents

Abstract

本发明公开了一种基于声谱图进行身份识别的方法及系统，属于数据处理技术领域。本发明方法包括：使用加速度传感器以预设的采集频率采集用户的步态加速度数据；针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；使用卷积神经网络对图像数据，进行用户身份的识别。本发明经过实验验证，在算法效果和耗时方面，都获得了良好的表现。

Description

一种基于声谱图进行身份识别的方法及系统

技术领域

本发明涉及数据处理技术领域，并且更具体地，涉及一种基于声谱图进行身份识别的方法及系统。

背景技术

目前智能手机大都配备了摄像头、加速度传感器、陀螺仪等各种传感器，这些传感器能够记录下每个人所特有的生物特征，目前常见的生物特征有签名、指纹、声音、虹膜和步态等。由于生物特征是人本身固有的，具有不易丢失、盗取和遗忘的优点。

但这些生物特征识别方式也存在一些缺点，例如指纹、虹膜、人脸等生物特征识别需要用户近距离接触，而且也需要高分辨率的图像，应用范围有限。人类的步态包含非常独特的模式，可用于身份的识别和验证。加速度传感器以其低廉的价格、高的灵敏度和较小的体积被广泛应用于智能手机中。其具有的独特优势使研究人员逐渐认识到它在基于步态的身份识别领域的应用前景。基于步态的身份识别主要的难点和重点集中在特征提取和分类识别方法上，特征提取是为了从步态加速度传感器信号中提取可以表征人体身份的特征向量，是基于智能手机传感器的用户身份识别技术中的关键所在，其好坏会直接影响分类器的识别率。

步态识别的研究一般可分为三种情况：基于机器视觉，基于地板传感器，基于可穿戴式传感器。加速度计在越来越多的手机内集成。这就使得手机作为识别设备的获取更加的方便，识别方式更加为大众所用。基于手机的生物步态身份识别使得用户的识别过程更加随意，用户信息隐私安全也得到了保证。

目前基于加速度信号特征提取的方法可以分为：时域分析法、频域分析法和时频域法。时域阶段提取简单特征，虽然计算量小，但是所取得识别率并不是很高；针对上述问题，在此基础上添加了频域的特征，因为频域丢弃了时域的信号特征，所以一般需要融合这两类特征，融合后识别率得到了很大的提高，但是由于频域阶段提取的特征的维数较高，需要对特征进行降维或优化处理，这些处理的好坏将直接影响最终的结果。时-频方法能够在时间和频率两个空间内更好的观察信息特性，但冗余度较大。随着基于加速度传感器的步态身份识别研究的不断深入，研究人员不断尝试通过提取新的特征来提高身份识别率。

步态作为一种新的身份识别与验证方式越来越受国内外研究人员的关注。基于步态的身份识别技术能够在非侵入的情况下对用户的身份进行识别，避免用户重复进行身份认证如输入密码、录入指纹以及人脸扫描等，提高了身份识别的隐蔽性，同时也提高了安全性。通过图像进行步态分析的方法已经很成熟，但是由于受到图像步态信息数据采集条件的约束，该技术的推广使用受到了严格的限制。利用加速度传感器和/或陀螺仪采集到的数据进行步态分析是典型的非侵入式步态分析方法。这些类型的传感器设备通常作为基础设备内嵌在智能手机中，所以通过智能手机来进行步态分析的方法能很方便地进行推广普及。然而现有的基于智能手机的步态身份识别的准确度受手机位置和摆放方向等因素的影响，例如，需要将手机放在特定的位置(例如腰部)；手机的摆放方向也受到约束等。这样都极大限制了步态身份识别在手机风险控制上的应用与发展，因而，合理有效的利用手机内的设备进行步态分析的具有重大意义。

发明内容

本发明为了克服步态身份识别技术领域中的现有技术中存在的识别度不高等问题，提出了一种基于声谱图进行身份识别的方法，所述方法包括：

使用加速度传感器以预设的采集频率采集用户的步态加速度数据；

针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；

使用卷积神经网络对图像数据，进行用户身份的识别。

可选的，加速度传感器的预设的采集频率为45-55Hz，采集的步态加速度数据，包括左右，前后，上下三个方向的加速度数据。

可选的，数据图像化处理，具体包括：

将去噪及去掉基线漂移处理后的步态加速度数据的三维数据分别计算声谱图；

将声谱图的取值范围转换为图像的取值范围；

将三维数据对应的声谱图作为彩色图像的(R,G，B)三个通道，获取数数据图像化处理的图像数据。

可选的，声谱图的数据图像化处理，使用STFT声谱图，梅尔声谱图或梅尔频率的倒谱系数MFCC声谱图。

可选的，卷积神经网络使用深度学习模型Deep TEN。

本发明还提出了一种基于声谱图进行身份识别的系统，包括：

数据采集单元，使用加速度传感器以预设的采集频率采集用户的步态加速度数据；

数据处理单元，针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；

身份识别单元，使用卷积神经网络对图像数据，进行用户身份的识别。

可选的，加速度传感器的预设的采集频率为45-55Hz，采集的步态加速度数据，包括左右，前后，上下三个方向的加速度数据。

可选的，数据图像化处理，具体包括：

将去噪及去掉基线漂移处理后的步态加速度数据的三维数据分别计算声谱图；

将声谱图的取值范围转换为图像的取值范围；

将三维数据对应的声谱图作为彩色图像的(R,G,B)三个通道，获取数数据图像化处理的图像数据。

可选的，声谱图的数据图像化处理，使用STFT声谱图，梅尔声谱图或梅尔频率的倒谱系数MFCC声谱图。

可选的，卷积神经网络使用深度学习模型Deep TEN。

本发明经过实验验证，在算法效果和耗时方面，都获得了良好的表现。

附图说明

图1为本发明方法的流程图；

图2为本发明方法实施例STFT声谱图得到的图像数据图；

图3为本发明方法实施例梅尔声谱图得到的图像数据图；

图4为本发明方法实施例MFCC声谱图得到的图像数据；

图5为本发明系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

下面结合实施例对本发明进行进一步说明：

本发明提出了一种基于声谱图进行身份识别的方法，如图1所示，包括：

数据采集：使用加速度传感器采集用户的步态加速度数据，采集频率为50Hz，每秒采集50组数据，每组数据包括三个方向加速度，用(x,y，z)分别表示左右、前后、上下三个方向的加速度。

本发明采用加速度传感器简称G-sensor，获取的是(x,y,z)三轴的加速度数值。该数值包含地心引力的影响，单位是m/s²，将手机平放在桌面上，x轴默认为0，y轴默认0，z轴默认9.81，将手机朝下放在桌面上，z轴为-9.81。

加速度传感器可能是最为成熟的一种mems产品，市场上的加速度传感器种类很多，手机中常用的加速度传感器有BOSCH(博世)的BMA系列，AMK的897X系列，ST的LIS3X系列等，这些传感器一般提供±2G至±16G的加速度测量范围，采用I2C或SPI接口和MCU相连，数据精度小于16bit。

本发明中选择传感器测量范围为±8G(即±78.48m/s²)，但是根据实际试验的经验值，本发明采用的数据取值范围为±50m/s²，因为目前的测试样本中，或者说普通人正常走路时，加速度数值不会超过上述范围，用v表示加速度数值，则可以用以下公式表示：

数据预处理：主要是对采集到的原始步态加速度数据进行去掉基线漂移和去噪操作，滤除一些高频信息，包含设备自身的采集噪声和一些其他高频噪声，这样更有利于获取稳定的步态加速度数据，去掉基线漂移，低通滤波器去噪，具体方法比如去基线漂移可以用MATLAB内置系统函数detrend()，或者BEADS算法、小波算法、经验模态分解(EMD)算法等；低通滤波器去噪方面，可以用巴特沃斯低通滤波器、FIR低通滤波器、移动平均滤波、中值滤波、维纳滤波、自适应滤波、小波去噪算法等。

数据图像化：把步态加速度数据中的三维数据(x,y,z)分别计算出声谱图，分别作为彩色图像的(R,G,B)三个通道，本发明设定最终的图像是需要20.48s时长的步态加速度数据，即1024组数据。

数据图像化处理，具体包括：分别计算步态加速度数据(x,y,z)的声谱图，常用的声谱图都是STFT得到的，当然也可以使用梅尔声谱图、梅尔频率的倒谱系数MFCC等；

STFT声谱图的具体实现可以调用函数：

X＝librosa.stft(x,n_fft＝256,hop_length＝8,win_length＝256)

和librosa.amplitude_to_db(X,ref＝np.max)来实现，最终声谱图是129x129；

梅尔声谱图的具体实现可以调用函数：

X＝librosa.feature.melspectrogram(dx,sr＝1024,n_fft＝1024,hop_length＝8,n_mels＝128)和librosa.power_to_db(X,ref＝np.max)来实现，最终声谱图是129x128；

梅尔频率的倒谱系数MFCC声谱图的具体实现可以调用函数：

X＝librosa.feature.mfcc(x,sr＝1024,hop_length＝8,n_mfcc＝128)；

和librosa.amplitude_to_db(X,ref＝np.max)来实现，最终声谱图是129x128。

数据规范化：为了后续能够把声谱图数据转换成图像进行处理，需要把声谱图中数据的取值范围转换到图像的取值范围中，即0至255之间；观察到实际数据绝大多数处于-100至0之间，可以直接乘以-2.5：v＝-2.5*v。

然后，使用截取函数，用于截取数据中小于或者大于某值的部分，并使得被截取部分等于固定值；可以直接调用np.clip()函数来实现，即可以检查规范化的数据是否处于0到255之间。

把三维数据(x,y,z)分别对应的声谱图作为彩色图像的(R，G,B)三个通道。

使用STFT声谱图得到的4个人的彩色图像如图2所示；使用梅尔声谱图得到的4个人的彩色图像如图3所示；使用MFCC声谱图得到的4个人的彩色图像如图4所示；

步态身份识别：对于上述不同人的步态彩色图像，颜色和纹理各不相同，比较合适使用卷积神经网络进行分类识别。本发明中，我们使用一种深度学习模型Deep TEN，因为他基于深度纹理编码网络Texture Encoding Network实现了更优秀的纹理识别效果，非常适合用于上述步态彩色图像的分类识别。

对于上述三类声谱图是129x128或者129x129。所以，本发明先把上述彩色图像放大到128x128；可以使用opencv中的函数resize()实现。

上述resize之后的彩色图像作为训练样本，输入给Deep TEN，需要识别的人数作为输出分类数。将上述声谱图的图像输入Deep TEN进行训练，可以得到Deep TEN分类模型，形成最终的步态身份识别模型，可以用于后续的实时身份识别中，本发明中的Deep TEN网络结构如下：

本发明共采集了29个人，训练样本772，测试样本193；经过测试，三种声谱图的识别率都接近100％，已经能够更好地区分不同人，识别结果比较稳定。

本发明还提出了一种基于声谱图进行身份识别的系统200，如图5所示，包括：

数据采集单元201，使用加速度传感器以预设的采集频率采集用户的步态加速度数据；

数据处理单元202，针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；

身份识别单元203，使用卷积神经网络对图像数据，进行用户身份的识别。

其中，加速度传感器的预设的采集频率为45-55Hz，采集的步态加速度数据，包括左右，前后，上下三个方向的加速度数据。

其中，数据图像化处理，具体包括：

将去噪及去掉基线漂移处理后的步态加速度数据的三维数据分别计算声谱图；

将声谱图的取值范围转换为图像的取值范围；

将三维数据对应的声谱图作为彩色图像的(R,G，B)三个通道，获取数数据图像化处理的图像数据。

其中，声谱图的数据图像化处理，使用STFT声谱图，梅尔声谱图或梅尔频率的倒谱系数MFCC声谱图。

其中，卷积神经网络使用深度学习模型Deep TEN。

本发明经过实验验证，在算法效果和耗时方面，都获得了良好的表现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于声谱图进行身份识别的方法，所述方法包括：

使用加速度传感器以预设的采集频率采集用户的步态加速度数据；

针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；

使用卷积神经网络对图像数据，进行用户身份的识别。

2.根据权利要求1所述的方法，所述加速度传感器的预设的采集频率为45-55Hz，采集的步态加速度数据，包括左右，前后，上下三个方向的加速度数据。

3.根据权利要求1所述的方法，所述数据图像化处理，具体包括：

将去噪及去掉基线漂移处理后的步态加速度数据的三维数据分别计算声谱图；

将声谱图的取值范围转换为图像的取值范围；

将三维数据对应的声谱图作为彩色图像的(R,G,B)三个通道，获取数数据图像化处理的图像数据。

4.根据权利要求1所述的方法，所述声谱图的数据图像化处理，使用STFT声谱图，梅尔声谱图或梅尔频率的倒谱系数MFCC声谱图。

5.根据权利要求1所述的方法，所述卷积神经网络使用深度学习模型Deep TEN。

6.一种基于声谱图进行身份识别的系统，所述系统包括：

数据采集单元，使用加速度传感器以预设的采集频率采集用户的步态加速度数据；

数据处理单元，针对采集的用户的步态加速度数据，进行去噪及去掉基线漂移处理，并将去噪及去掉基线漂移处理后的步态加速度数据进行声谱图的数据图像化处理，获取图像数据；

身份识别单元，使用卷积神经网络对图像数据，进行用户身份的识别。

7.根据权利要求6所述的系统，所述加速度传感器的预设的采集频率为45-55Hz，采集的步态加速度数据，包括左右，前后，上下三个方向的加速度数据。

8.根据权利要求6所述的系统，所述数据图像化处理，具体包括：

将去噪及去掉基线漂移处理后的步态加速度数据的三维数据分别计算声谱图；

将声谱图的取值范围转换为图像的取值范围；

将三维数据对应的声谱图作为彩色图像的(R,G,B)三个通道，获取数数据图像化处理的图像数据。

9.根据权利要求6所述的系统，所述声谱图的数据图像化处理，使用STFT声谱图，梅尔声谱图或梅尔频率的倒谱系数MFCC声谱图。

10.根据权利要求6所述的系统，所述卷积神经网络使用深度学习模型Deep TEN。

Images