CN111666549A

CN111666549A - 一种智能耳机及其用户识别方法

Info

Publication number: CN111666549A
Application number: CN202010535561.7A
Authority: CN
Inventors: 邹永攀; 雷海波; 伍楷舜; 李铧滨; 戴嘉璐; 刘金源
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2020-09-15
Also published as: WO2021248942A1; US20220188392A1

Abstract

本发明公开了一种智能耳机及其用户识别方法。该智能耳机包括耳塞部和主机体，所述耳塞部设有第一麦克风和传感器，所述主机体的壳体内设置信号放大电路、通信模块、微控制器和第二麦克风，其中，所述传感器用于检测用户是否正常佩戴耳机，所述第二麦克风实现通话，所述第一麦克风用于获取耳道内的声音信号，该声音信号经过信号放大电路放大后输出至微控制器，由微控制器经由通信模块发送至外部的智能终端提取心音信号特征，并根据所述心音信号特征验证用户身份的合法性。本发明硬件成本低、使用方便，在无需用户主动参与的情况下能够实现用户身份的连续认证，并且认证准确率高、实时性好。

Description

一种智能耳机及其用户识别方法

技术领域

本发明涉及身份认证技术领域，更具体地，涉及一种智能耳机及其用户识别方法。

背景技术

随着智能可穿戴设备的发展，耳机被越来越多的人接受。然而，由于耳机同时具有通话、语音聊天等隐私功能，为了实现对用户个人信息的保护，基于耳机的身份认证功能引起了业内的广泛关注。目前，耳机主要存在两个方面的限制，一是要求积极的互动，二是容易被偷盗和窃取。因此，智能耳机在使用时可以进行用户认证，即判断这个耳机的使用者是否是注册用户(主人)，甚至更进一步在确认是主人后解锁与耳机配对的手机或电脑等设备，将会满足用户在产品隐私和使用权限保护方面的强烈需求，并且能显著提高产品的智能自主性。

现有技术中，实现身份认证的技术方案主要包括：

1)基于信息秘密的身份认证，即根据用户所知道的信息进行身份认证，例如静态密码等。这种方式使用和部署都非常简单，但安全度较低，认证信息容易被窃取。

2)基于信任物体的身份认证，即根据用户所拥有的信息或设备进行身份认证，例如智能卡、短信密码、动态口令、USB KEY、OCL、蓝牙锁等。这种方式网络安全性高于基于信息秘密的认证方式，但缺乏便捷性，要求用户随身携带信任物体，当意外丢失信任物体时，安全性也将失去保证。

3)基于生物特征的身份认证，即通过可测量且具有独特性的身体或行为等生物特征进行身份认证，如常见的视网膜识别、虹膜识别、指纹识别、掌型识别、脸型识别、语音识别、签名识别、血管纹理识别、人体气味识别、DNA识别、心电图仪(ECG)识别、脑电图仪(EEG)识别等。这种方式具有便捷性、唯一性、不可复制性且安全性最高，但认证设备往往十分庞大，不方便携带，同时认证设备的使用范围有所局限，无法在智能耳机上实现。

4)基于生理特征和行为特征用于可穿戴设备的认证方式。例如，存在一种基于耳内的脑电图生物特征进行身份认证的方法，其对耳机入耳部分增加了电极片以采集脑电图，并通过支持向量机分类器实现身份的判别。对于采集脑电图的方式，其最主要的问题是采集设备复杂，采集条件要求苛刻。例如，不仅要求使用者保证耳机入耳部分与耳道完美接触还需要在耳垂部分贴上一个额外的电极作为参考电极，这在实际使用中具有不便捷性。又如，还存在一种利用播放特定音频的回声得到耳道独特的物理和几何特征进行身份认证的方法，其在耳机的扬声器旁增加了一个麦克风用于采集播放音频时由耳道所产生的回声，这些回声中含有耳道独特的物理和几何特性，再进行特征提取后通过支持向量机分类器实现身份的判别。对于音频回声的方式，其主要问题是必须先播放一段特定的音频，这段音频可以是扫频信号、固定频率的正弦波或特定的音频，但无论哪种方式用户都会被所播放的声音干扰。

综上，现有技术中身份认证的设备主要存在如下缺点：设备不方便携带，很难做到自主认证；容易泄露用户的隐私、信息安全性差；鲁棒性差，不稳定性高，易受外界因素影响等。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种智能耳机及其用户识别方法，用户戴上耳机后能够实现自主地身份认证。

根据本发明的第一方面，提供一种智能耳机。该智能耳机包括耳塞部和主机体，所述耳塞部设有第一麦克风和佩戴检测传感器，所述主机体的壳体内设置信号放大电路、通信模块、微控制器和第二麦克风，其中，所述佩戴检测传感器用于检测用户是否正常佩戴耳机，所述第二麦克风实现通话，所述第一麦克风用于获取耳道内的声音信号，该声音信号经过信号放大电路放大后输出至微控制器，由微控制器经由通信模块发送至外部的智能终端提取心音信号特征，并根据所述心音信号特征验证用户身份的合法性。

在一个实施例中，所述主机体的壳体上设置用于启动所述第一麦克风采集耳道内声音的按键。

在一个实施例中，所述智能耳机是入耳式、耳挂式或颈挂式耳机。

在一个实施例中，所述佩戴检测传感器是光电式传感器，设置在入耳式耳塞部的斜下方。

在一个实施例中，所述主机体的壳体上设置调音键、开机键、播放键、暂停键中的一项或多项。

根据本发明的第二方面，提供一种智能耳机的用户识别方法。该方法包括以下步骤：

利用耳塞部设置的麦克风采集耳道中的原始声音信号；

对所述原始声音信号进行放大处理，获得放大的耳道内的声音信号；

对所述放大的耳道内的声音信号进行处理，并提取表征用户个体性的心音信号特征，将所述心音信号特征输入到预训练的身份识别模型进行身份认证；

根据身份认证结果确定是否解锁智能耳机，以及是否解锁与智能耳机配对的智能终端。

在一个实施例中，对所述放大的耳道内的声音信号进行处理，并提取表征用户个体性的心音信号特征包括：

使用汉明窗函数对所述放大的耳道内的声音信号进行分帧；

对每个窗口内的声音信号通过滤波进行去噪，获得心音信号；

对心音信号通过时频变换提取出表征用户个体性的时域特征和频域特征，组合为所述心音信号特征。

在一个实施例中，对每个窗口内的声音信号通过滤波进行去噪包括：基于用户心跳速率和所述第一麦克风的采样频率，利用带通滤波器进行去噪。

在一个实施例中，其中，所述身份识别模型的训练过程包括：

采集耳机使用者和非使用者的心音信号并从心音信号中提取心音特征，构建训练样本集；

以所述训练样本集的心音特征作为输入，以对应的使用者或非使用者类型作为输出，训练所述身份识别模型，以获得用于区分合法用户和未经授权用户的二分类器。

与现有技术相比，本发明的优点在于，所提供的智能耳机系统除了能够满足一般耳机功能外，还能够在用户佩戴耳机后自主地进行身份认证，既解决了需要用户积极参与的限制，也保障了用户的使用权限，并且硬件成本低，使用方便、应用时能够准确快速地进行身份认证。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的颈挂式耳机的整体结构示意图；

图2是根据本发明一个实施例的智能耳机的耳塞部分结构示意图；

图3是根据本发明一个实施例的用户注册的流程图；

图4是根据本发明一个实施例的身份认证的流程图；

图5是根据本发明一个实施例的身份认证算法的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供的智能耳机可以呈现入耳式、耳挂式、颈挂式等不同类型或形态。智能耳机整体上包括耳塞部和耳机体，其中耳塞部包括扬声器和麦克风等，耳机体包括壳体、设置在壳体上的按键或触控面板、封装在壳体内腔中的电路板等。

图1和图2以设有颈挂式线圈的入耳式耳机为例进行说明，其中，耳塞部100包括耳机扬声器1、隐藏在耳塞内的麦克风2、佩戴检测传感器3。在该实施例中，耳机体200是颈挂式项圈，其壳体上设置播放/暂停/开机键4、音量增加键5、音量减少键6、封装在壳体内的电路板7、电源指示灯8、Type-C接口9和通话麦克风10。其中控制按键可以是物理控制按键或可触摸操作的触控板。

本发明实施例的智能耳机至少包括两个麦克风，其中麦克风2用于获取耳道内的声音信号，麦克风10是耳机本身麦克风。耳机体200的壳体上可进一步设置用于启动耳道内声音检测麦克风的麦克风按钮键。

电路板7可集成声音信号放大电路、通信模块、微控制器(MCU)。这些模块可以以独立模块的形式存在或集成在同一电路板。本发明对此不进行限制。通信模块用于以有线或无线方式(如蓝牙)与外部的智能终端进行通信。外部智能终端包括但不限于手机、平板电脑、MP3等电子设备。

佩戴检测传感器3用于检测耳机是否正常佩戴，可采用接触检测传感器、电容式传感器或光电式传感器等多种类型。例如，设置电容式感应传感器，当耳塞部与耳朵靠近时，根据电容式感应传感器的电容变化，判断入耳式耳机是否已经佩戴好。又如，设置光电式传感器，根据光照强度变化导致的输出信号变化来检测入耳式耳机是否成功佩戴。优选地，本发明实施例将光电式传感器设置在入耳式耳塞部的斜下方。

简言之，本发明实施例提供的智能耳机的工作原理和工作过程是：用户将入耳式耳机塞入耳道内，耳机上的光电感传感器检测到用户戴上耳机，开始利用耳塞部设置的麦克风采集耳道中的声音信号，耳机在采集耳道声音的同时扬声器亦可正常播放音乐，麦克风获取的耳道内的声音信号经过放大电路放大后输出至微控制器，微控制器控制通信模块将获取的声音数据发送至外部的智能终端,智能终端对耳道内的声音信号进行处理(例如分帧、滤波等)，并提取出心音信号，获得个体心音信号特征，将个体心音信号特征输入预训练的身份识别模型进行分类，判断该个体心音信号特征是否属于已注册用户(即合法用户)，并将判断结果与先前获得的注册用户的结果比较，从而实现用户验证和设备解锁功能。

具体地，使用本发明提供的智能耳机进行身份认证的过程整体上包括用户初次使用的注册过程(为实现身份认证，要求使用者在使用前录入自己的心音数据进行用户注册)和实际使用中的身份认证过程。

参见图3所示，用户初次使用的注册过程包括：

步骤S310，启动耳机，打开app并在手机上执行与耳机的配对。

例如，使用者启动耳机开关，打开手机app并执行蓝牙设备配对。

步骤S320，根据提示佩戴耳机并等待心音信号特征录入和身份识别模型训练完成。

根据提示佩戴耳机并等待心音特征录入与识别模型训练完成。应理解是身份识别模型可在线进行训练或也可离线训练后集成到耳机中，以加速注册过程。

步骤S330，完成用户注册。

在完成注册后，即可供用户正常使用。

参见图4所示，实际使用中的身份认证过程包括：

步骤S410，耳机上的传感器检测到已佩戴好耳机后，耳机开始采集耳道内的心音信号。

在实际使用时，只需正常佩戴耳机，耳机将通过光电式传感器自动识别是否处于正常佩戴状态。

步骤S420，放大电路对心音信号进行放大处理后被MCU采集，并通过通信模块传输至智能手机。

将麦克风获取的心音信号通过放大电路放大后被MCU采集。然后，通过通信模块，例如，蓝牙模组传输到智能手机。

步骤S430，智能手机对接收的信号进行处理，提取心音信号特征并送入经训练的身份识别模型进行分类。

智能手机接受到数据后进行分帧、滤波、特征提取等处理后送入预训练身份识别模型进行分类。

步骤S440，判断是否为合法用户。

将得到的结果与储存的合法用户标签进行匹配，判断是否为合法用户。

若为已注册的合法用户，则解锁耳机并解锁手机(步骤S450)，若判断为非法用户，则可以播放错误提示音(步骤S460)。

在一个实施例中，参见图5所示，身份认证算法的过程包括：

步骤S510，将原始心音信号进行分帧。

例如，手机将接受到的数据使用汉明窗函数进行分帧。

步骤S520，对信号进行滤波处理并提取心音特征。

对每个窗口内的声音信号进行滤波处理，获取心音信号。由于用户可能同时在播放音乐，因此收集到的原始声音信号可能是心音与其他声音的混合声，为了提取出心音对应的信号需进行滤波处理。由于成年人的心跳速率在40-100BPM之间，且在运动时最高可达220BPM，而麦克风的采样率为44.1KHz，经验证设置一个合理的带通滤波器能够有效滤除噪声。此外，还可以结合使用小波滤波、均值滤波等提取出心音信号。

在本发明实施例中，通过使用汉明窗函数对声音数据进行分帧，然后对每个窗口内的声音信号进行滤波处理，能够精确地提取出心音对应的信号，进而增强了后续分类的准确性。

进一步地，对心音信号进行特征提取，例如采用时频变换技术提取出时域与频域特征，时频变换技术包括快速傅里叶变换、短时傅里叶变换、维格纳-威尔分布Wigner-Ville Distribution(WVD)、小波变换等。提取的心音信号特征包括但不限于时频图、梅尔频谱系数、梅尔频率倒谱系数、过零率、均方根、频谱熵等特征，及P波、R波、T波、S波、原始声音信号等时域波形特征。

步骤S530，使用预训练的身份识别模型对心音特征进行分类。

预训练的身份识别模型可以是实现二分类的分类器。具体地，将所提取的心音信号特征使用由注册用户数据训练好的分类器进行分类并获取输出标签，判断输出标签是否与注册用户相同，从而完成身份认证。

在本发明中，身份识别模型可采用SVM(支持向量机)或卷积神经网络CNN、循环神经网络RNN等深度学习模型，或使用其他的机器学习方法，例如随机森林，KNN(K近邻算法)等。本发明对身份识别模型的类型和具体结构不进行限制。

在本发明实施例中，通过机器学习训练分类器来区分合法用户和未经授权用户，能够准确快速地进行身份认证。需要说明的是，基于心音信号特征还可以进行用户的生理健康监测。

步骤S540，判断输出类别是否与录入用户的标签匹配。

根据身份识别模型的输出类别，确定身份认证结果，即返回合法用户(步骤S550)，或返回非法用户(步骤S560)。

应理解的是，本发明提供的智能耳机所具有的传统功能，即语音通话和音乐播放等，可以采取已公开的相关技术方案实现，在此不再赘述。

为进一步验证本发明的效果，发明人实现了原型机的设计，经过实验证明，对于50个注册用户，该身份认证方法能够达到95％的分类准确率，能充分满足日常应用。

综上所述，本发明提供的智能耳机具备通常耳机的功能和外形，但无须附加额外的电极即可实现基于心音信号的身份认证，不会在认证过程对用户造成任何干扰，硬件成本低，携带及使用方便且使用便携、鲁棒性强，用户只要像往常一样佩戴耳机，即能够在保护用户隐私的情况下，快速自主地进行身份认证，并予以解锁耳机设备，甚至进一步解锁与耳机配对的智能设备(如手机、电脑等)，适合日常使用。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims

1.一种智能耳机，包括耳塞部和主机体，其特征在于，所述耳塞部设有第一麦克风和佩戴检测传感器，所述主机体的壳体内设置信号放大电路、通信模块、微控制器和第二麦克风，其中，所述佩戴检测传感器用于检测用户是否正常佩戴耳机，所述第二麦克风实现通话，所述第一麦克风用于获取耳道内的声音信号，该声音信号经过信号放大电路放大后输出至微控制器，由微控制器经由通信模块发送至外部的智能终端提取心音信号特征，并根据所述心音信号特征验证用户身份的合法性。

2.根据权利要求1所述的智能耳机，其中，所述主机体的壳体上设置用于启动所述第一麦克风采集耳道内声音的按键。

3.根据权利要求1所述的智能耳机，其中，所述智能耳机是入耳式、耳挂式或颈挂式耳机。

4.根据权利要求3所述的智能耳机，其中，所述佩戴检测传感器是光电式传感器，设置在入耳式耳塞部的斜下方。

5.根据权利要求1所述的智能耳机，其中，所述主机体的壳体上设置调音键、开机键、播放键、暂停键中的一项或多项。

6.一种智能耳机的用户识别方法，包括以下步骤：

利用耳塞部设置的麦克风采集耳道中的原始声音信号；

7.根据权利要求6所述的方法，其中，对所述放大的耳道内的声音信号进行处理，并提取表征用户个体性的心音信号特征包括：

使用汉明窗函数对所述放大的耳道内的声音信号进行分帧；

8.根据权利要求7所述的方法，其中，对每个窗口内的声音信号通过滤波进行去噪包括：基于用户心跳速率和所述第一麦克风的采样频率，利用带通滤波器进行去噪。

9.根据权利要求6所述的方法，其中，所述身份识别模型的训练过程包括：

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求6所述的方法的步骤。