CN112130709A - 一种基于电容按键的人机交互方法和交互系统 - Google Patents

Abstract

本发明公开了一种基于电容按键的人机交互方法和交互系统。该方法包括：获取用户手指触摸电容按键产生的电容充电信号；对所述电容充电信号进行处理，以提取梅尔倒谱系数特征；将所述梅尔倒谱系数特征输入经训练的隐马尔可夫模型，识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。本发明利用不同手指触摸电容按键产生的电容充电信号来进行按键交互，解决了电容按键交互困难的问题，并且本发明以电容充电信号的梅尔倒谱系数作为特征训练隐马尔可夫链模型，提高了识别准确性。

Description

一种基于电容按键的人机交互方法和交互系统

技术领域

本发明涉及人机交互技术领域，更具体地，涉及一种基于电容按键的人机交互方法和交互系统。

背景技术

传统的电容式感应按键(或简称电容按键)输入是利用手指触摸按键来进行输入，但是这种输入方式只能检测手指是否触摸按键，而不能检测是用户的哪一根手指触摸了按键。

目前，有些研究人员通过在用户的手指上佩戴电磁铁来检测是用户的哪一根手指触摸了按键，但是这种实现方式需要用户在手指上佩戴电磁铁，导致使用成本增加，并降低了用户的使用体验。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于电容按键的人机交互方法和交互系统，能够准确识别用户触摸电容式感应按键的手指类型。

根据本发明的第一方面，提供了一种基于电容按键的人机交互方法。该方法包括以下步骤：

获取用户手指触摸电容按键产生的电容充电信号；

对所述电容充电信号进行处理，以提取梅尔倒谱系数特征；

将所述梅尔倒谱系数特征输入经训练的隐马尔可夫模型，识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。

根据本发明的第二方面，提供了一种基于电容按键的人机交互系统。该系统包括：

信号采集单元：用于获取用户手指触摸电容按键产生的电容充电信号；

信号处理单元：用于对所述电容充电信号进行处理，以提取梅尔倒谱系数特征；

分类识别单元：用于将所述梅尔倒谱系数特征输入经训练的隐马尔可夫模型，识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。

与现有技术相比，本发明的优点在于，利用不同手指触摸电容按键产生的电容充电信号来进行按键交互，解决了电容按键交互困难的问题；本发明提取了信号的梅尔倒谱系数作为特征，并利用训练的隐马尔可夫链模型，解决了同一个手指触摸按键持续时间的改变而导致电容充电信号发生改变的问题。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明的一个实施例的基于电容按键的人机交互方法的流程图；

图2是根据本发明的一个实施例的基于电容按键的人机交互方法的过程示意；

图3是根据本发明一个实施例的电容触摸按键工作原理示意图；

图4是根据本发明一个实施例的电容按键与STM32最小系统板的硬件连接图；

图5是根据本发明一个实施例的电容充电信号图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

结合图1和图2所示，本发明提供的基于电容按键的人机交互方法包括以下步骤：

步骤S110，获取手指触摸电容按键产生的电容充电信号。

具体地，可使用硬件开发板采集用户触摸电容按键所产生的电容充电信号，硬件开发板可以是一些家用电子产品中的嵌入式控制板、单片机等控制器。例如，硬件开发板可以是STM32硬件开发板、Arduino硬件开发板或其他类型。下文将以STM32硬件开发板为例进行介绍。

为便于理解本发明，图3示出了电容触摸按键的工作原理，其中R是外接的电容充放电电阻，Cs是没有触摸按下时TPAD与PCB之间的杂散电容。Cx是有手指触摸按下时，手指与TPAD之间形成的电容，因此，当有手指触摸按下时，相当于是Cs与Cx并联，电容总值是Cx+Cs。对于不同的电容，在其他因素都相同的情况下，充电电压到达同一临界值Vth时需要不同时间。电容越大，需要的时间越长。

在一个实施例中，采集手指触摸电容按键产生的电容充电信号包括：

步骤S101，将电容触摸按键的TPAD连接到STM32最小系统板PA1引脚，如图4所示；

步骤S102，计算电容触摸按键的充电时间；

具体地，首先，TPAD引脚设置为推挽输出，输出0，实现电容放电到0；TPAD引脚设置为浮空输入(IO复位后的状态)，电容开始充电；同时开启TPAD引脚的输入捕获开始进行捕获；等待充电完成(充电到Vx，检测到上升沿)；计算充电时间作为电容充电信号。如图5所示，通过这种方式能够获取多个样本点的充电时间(例如单位ms)。

该步骤计算的电容充电信号能够表征不同类型的手指触摸按键的特点，如持续时间、触摸力度等。

步骤S120，对电容充电信号进行处理，检测信号的有效部分。

在实际应用中，可将电容充电信号发送至信息处理设备(如电脑)进行处理。发送信号的方式可以是USB串口通信、Socket通信或其他类型的通信方式。

以使用USB串口通信为例，通信方式为全双工异步通信；初始化波特率为115200，字长为8的数据格式，有1个停止位，无奇偶校验位；

在一个实施例中，采用基于能量的双门限端点检测法来检测信号的有效部分，具体包括：

步骤S201，电脑接收到STM32最小系统板发送来的信号之后，使用巴特沃斯带通滤波器对其进行滤波，截止频率分别为10Hz和1000Hz。

步骤S202，计算出电容充电信号的短时能量，短时能量的计算公式如下：

其中，E是帧信号的短时能量，L是帧信号的长度，S(i)是电容充电信号的幅度，t表示帧信号的时间索引。

步骤S203，计算噪声的平均能量，记为u，计算信号能量的标准差，记为σ；设置切断时的低门限为TL＝u+σ，高门限为TH＝u+3σ。

步骤S204，根据经验设置两个参数：同一个信号的信号峰之间的最大间隔maxInter，信号的最小长度minLen。

步骤S205，找出信号中能量最大的一帧信号且该帧信号的能量需要高于所设置的高门限TH＝u+3σ。

步骤S206，从该帧信号分别向左和向右延伸，直到下一帧信号的能量低于所设置的低门限TL＝u+σ，记录此时的帧位置，可以得到左边的帧位置为该信号峰的起点，右边的帧位置为该信号峰的终点，同时把信号中该信号峰所在位置的帧能量置为零。

步骤S207，重复步骤S205和S206，直到找出整段信号中的所有信号峰；

步骤S208，若两个信号峰的间隔小于maxInter，则合并两个信号峰；

步骤S209，重复S208，直到所有信号峰之间的间隔都大于maxInter；

步骤S210，若信号峰的长度小于minLen，则直接舍弃该信号峰；

步骤S211，最后得到的信号峰的数量应该为1，且该信号峰即为信号的有效部分；

步骤S212，若S211得到的信号峰的数量大于1，则该信号应视为无效信号，直接舍弃。

通过检测信号的有效部分，能够滤除由于用户的无意触摸而产出的电容充电信号，从而提高后续识别的精确度。

需要说明的是，本领域技术人员可根据统计分析或经验设置不同的低门限、高门限或信号峰的间隔阈值。

步骤S130，从信号有效部分中提取梅尔倒谱系数特征。

在一个实施例中，从信号有效部分中提取梅尔倒谱系数具体包括：

步骤S301，首先对提取到的电容充电信号的有效部分进行预加重、分帧和加窗。

例如，预加重的系数为0.96，帧长为20ms，帧移为6ms，窗函数为Hamming窗。

步骤S302，对每一帧信号进行快速傅里叶变换(FFT)得到对应的频谱

步骤S303，将获得的频谱通过梅尔滤波器组得到梅尔频谱。

例如，梅尔滤波频率范围为10Hz到1000Hz，滤波器通道数为28。

步骤S304，对得到的梅尔频谱取对数，然后进行离散余弦变换(DCT)，最后例如取前14个系数作为梅尔倒谱系数(MFCCs)。

应理解的是，所提取的梅尔频率倒谱系数不限于14个，可根据训练模型的精确度和执行速度要求提取适当数量的梅尔频率倒谱系数。此外，本文对预加重、分帧、加窗、傅里叶变换等现有技术不作具体介绍。

步骤S140，以梅尔倒谱系数特征作为观察序列训练隐马尔可夫模型。

利用上述过程可构建训练样本，用于表征电容充电信号的梅尔倒谱系数特征和触摸按键的手指类型之间的对应关系。

进一步，利用训练样本，以电容充电信号的梅尔倒谱系数作为观察序列，使用鲍姆-韦尔奇算法训练隐马尔可夫模型，例如，隐马尔可夫模型的状态数为3，每个状态有2个混合高斯概率密度函数。具体训练过程包括：对隐马尔可夫模型的参数进行初始化；计算前、后向概率矩阵；计算转移概率矩阵；计算各个高斯概率密度函数的均值和方差；计算各个高斯概率密度函数的权重；计算所有观察序列的输出概率，并进行累加得到总和输出概率。

在训练过程中，对于每种类型的手指，可生成一个对应的隐马尔可夫模型，从而获得多个隐马尔可夫模型。并且训练过程的迭代次数可根据对计算资源和训练时间的要求进行设置。

在训练完成后，为了评估模型的有效性，利用测试数据进行分类识别，以实际使用时的电容充电信号作为测试数据，以处理训练数据的方法处理测试数据；基于隐马尔可夫模型计算测试数据的概率，从而识别电容按键的输入。例如，测试过程包括：利用维特比算法计算测试数据对于各个隐马尔可夫模型的输出概率，并给出最佳的状态路径；输出概率最大的隐马尔可夫模型所对应的类别即为该测试数据的分类结果。

在该步骤中，选择隐马尔可夫模型，并利用梅尔倒谱系数特征作为观察序列，对于同一个手指触摸按键持续时间改变而导致电容充电信号发生改变同样能够准确识别，并且对于不同手指类型能够准确区分。

步骤S150，利用经训练的隐马尔可夫模型识别待检测用户触摸电容按键的手指类型。

应理解的是，隐马尔可夫模型的训练过程也可在服务器、云端、电脑等信息处理设备离线进行。在实际应用中，可将经训练的隐马尔可夫模型集成到电子设备中，用于实现人机交互，即实时获取用户手指触摸电容按键产生的电容充电信号并提取梅尔倒谱系数特征，将梅尔倒谱系数特征输入经训练的隐马尔可夫模型，从而识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。

例如，设计用户用不同的手指触摸按键对应不同的功能，从而拓展按键的交互功能。如用食指按按键表示打开功能，中指表示保存，无名指表示删除。通过这种方式，用一个按键就可以实现五个按键实现的交互功能。

综上所述，本发明提供的基于电容按键的人机交互系统，利用不同手指触摸电容按键产生的电容充电信号来进行按键交互，能够准确地识别触摸按键的手指类型。利用本发明可设计较少的按键数目，实现电子产品的小型化。例如，可以实现到智能手表里面，智能手表屏幕很小，基本只能用一个手指来触摸屏幕，利用本发明可以极大地提高智能手表的交互功能。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于电容按键的人机交互方法，包括以下步骤：

获取用户手指触摸电容按键产生的电容充电信号；

对所述电容充电信号进行处理，以提取梅尔倒谱系数特征；

将所述梅尔倒谱系数特征输入经训练的隐马尔可夫模型，识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。

2.根据权利要求1所述的基于电容按键的人机交互方法，其中，所述电容充电信号经由硬件开发板采集和传递。

3.根据权利要求2所述的基于电容按键的人机交互方法，其中，所述硬件开发板是STM32最小系统板，电容触摸按键的TPAD连接到该STM32最小系统板的PA1引脚。

4.根据权利要求1所述的基于电容按键的人机交互方法，其中，提取梅尔倒谱系数特征包括：

对所述电容充电信号进行滤波；

计算滤波后信号的短时能量；

利用短时能量截取出信号的有效部分；

对截取的信号有效部分进行预加重、分帧和加窗；

对每一个短时分析窗，通过短时傅里叶变换得到对应的频谱；

将获得的频谱通过梅尔滤波器组得到梅尔频谱，并在梅尔频谱上进行倒谱分析，获得所述电容充电信号对应的梅尔倒谱系数。

5.根据权利要求4所述的方法，其中，截取信号的有效部分包括：

基于电容充电信号的短时能量标准差σ设置第一切断门限和第二切断门限，其中，第一切断门限是TL＝u+σ，第二切断门限是TH＝u+3σ，u是背景噪声的平均能量；

找出信号中短时能量最大的一帧信号且该帧信号的能量高于所述第二切断门限；

从该帧信号的前序帧和后序帧，分别找出能量低于所述第一切断门限并且在时序上与该帧信号最近的帧，将获得的前序帧位置作为起点，将获得的后续帧位置作为终点，截取起点和终点之间的部分作为信号的有效部分。

6.根据权利要求5所述的方法，其中，截取信号的有效部分还包括：

对于电容充电信号，设置信号峰之间的最大间隔门限maxInter和最小长度门限minLen；

若电容充电信号的两个信号峰之间的间隔小于所述最大间隔门限maxInter，则将该两个信号峰作为该电容充电信号的一个信号峰；

若电容充电信号的一个信号峰的长度小于所述最小长度门限minLen，则舍弃该信号峰。

7.根据权利要求1所述的基于电容按键的人机交互方法，其中，根据以下步骤训练隐马尔可夫模型：

构建训练样本，所述训练样本用于表征电容充电信号的梅尔倒谱系数和触摸按键的手指类型之间的对应关系；

以电容充电信号的梅尔倒谱系数作为观察序列，使用鲍姆-韦尔奇算法训练隐马尔可夫模型，其中对应于每种手指类型，各训练一个隐马尔可夫模型。

8.根据权利要求1所述的基于电容按键的人机交互方法，其中，该方法还包括：

利用维特比算法计算测试数据对于各个隐马尔可夫模型的输出概率，并给出最佳的状态路径；

输出概率最大的隐马尔可夫模型所对应的类别作为该测试数据的分类结果。

9.一种基于电容按键的人机交互系统，包括：

信号采集单元：用于获取用户手指触摸电容按键产生的电容充电信号；

信号处理单元：用于对所述电容充电信号进行处理，以提取梅尔倒谱系数特征；

分类识别单元：用于将所述梅尔倒谱系数特征输入经训练的隐马尔可夫模型，识别出用户触摸电容按键的手指类型，进而根据识别结果实现人机交互。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

Images