CN103412640A - 牙齿控制的字符或命令输入的装置及方法 - Google Patents

Abstract

本发明涉及一种牙齿控制的字符或命令输入装置及方法。包括牙齿动作状态的脑肌电信号的采集模块、无线发送模块、无线接收模块、信号处理模块以及字符或命令输入显示模块。本发明采集牙齿动作状态产生的脑肌电信号，将采集信号进行数据处理转换为控制命令。由于本发明的牙齿控制方便、简单、舒适、安静、实时、准确、抗干扰（不受自身或外部说话的影响、不受自身肢体动作的影响）、多任务、无损无创、不分散注意力、多数人适合等，可以作为手动输入和语音输入的有效补充和替代。

Description

牙齿控制的字符或命令输入的装置及方法

技术领域

  本发明属于认知与智能计算领域，特别涉及人机交互领域，具体是指一种使用牙齿动作产生的脑肌电信号,进行字符或命令输入的装置及方法。

背景技术

  目前，公知的人机交互领域，人机交互输入方式包括手工输入（包括手脚动作）、语音输入、意念输入等三种方式。手工输入方式是主流，应用广泛而且成熟；语音输入方式也在不断发展完善；意念输入方式，还处于实验室研究向实用转变的初级阶段。

  公知的，手工输入方式非常成熟，比如广泛使用手工触摸屏输入方式的智能手机，但在手脚被控制任务占用或手脚残疾等情形，就迫切需要补充其他输入手段。语音输入方式因个体差异、外界噪声等导致状态模糊、识别困难、准确度不高，虽然经过多年的研究与推广，仍无法满足实际应用需求。另外，有许多公共场合是禁止说话的，这时语音输入就被要求禁止使用。意念相比语音的识别研究，还处于非常初级的研究阶段。目前，意念输入方式，或者识别动作状态单一、准确度不高（比如运动想象），或者准确度高、识别时间较长（比如P300，即视觉刺激下300毫秒后脑电波信号加强）。在手工输入方式外，语音、意念输入方式不能实现关键场合的多种状态、可靠、实时控制。

   公知的，对意念输入方式的认识，具体请参阅以下文献：

Gerwin Schalk（美）、Jurgen.Mellinger（美）著，胡三清译，《BCI2000与脑机接口》，国防工业出版社 2011年6月。

   公知的，2014年即将上市的谷歌智能眼镜是继个人电脑、智能手机之后的又一革命性产品，是智能手机的替代和有效补充。它在具备智能手机功能的同时，还具有满足消费者便携性和大屏幕视觉体验需求等杀手锏。它通过语音、手势或头部动作控制视频通话、处理文字信息和电子邮件、上网、拍照和辨明方向等功能，显然它并没有彻底解放双手，只是让“无手化操作”更进一步而已。由于上述指出的语音输入或控制存在的技术屏障或缺陷，探索彻底解放双手的其它输入或控制方式显得极为必要。由于牙齿动作集便捷、简单、舒适、安静、实时、准确、抗干扰、多状态、无损无创、不分散注意力、多数人适合等众多优越性于一身，使得牙动输入或控制方式不仅成为可能，而且将会迅速发展为跟手工、语音方式并驾齐驱一种全新的输入或控制方式。牙动输入或控制方式与语音输入或控制方式的完美结合将会推进智能眼镜的大众普及化使其立即升级为几千亿美元级以上巨大的产业市场。 

发明内容

   本发明的目的是克服上述现有技术中的缺点，提供一种信号特征明显、实时性强、可靠性高、数据处理简便、低成本、便于广泛推广的牙动输入字符装置及方法。

   本发明解决其技术问题所采用的技术方案是：

    牙齿控制的字符或命令输入装置,包括采集模块(2)和显示模块(3),其特点是，所述的装置中还包括牙齿动作状态的传感模块(1)，所述的传感模块(1)的输出端与采集模块(2)的输入端连接；

    该装置的传感模块包括精简组合为参考电极、C3和C4电极；

     根据咬牙动作的脑肌电信号特征，按咬牙位置咬牙动作可分为三种位置状态，即，左边咬牙、右边咬牙、左右两边同时咬牙三种状态。按咬牙的轻重将咬牙分为轻咬牙和重咬牙二种方式。根据咬牙位置和轻重方式得到不同的脑肌电信号状态特征，从而快速产生多种可识别的直接命令和更多的组合命令。

   上述的牙动输入命令或字符装置的方法，其主要特点是，所述的方法包括以下步骤：

     步骤（1）采集牙齿动作产生的脑肌电信号。可采用几个相关的信号强度明显的采集电极（比如，根据国际10-20标准电极分布系统，咬牙采用3个电极：参考电极、C3和C4）的采集设备，从而降低数据处理量，提高数据实时处理算法的效率。

    步骤（2）牙齿动作的脑肌电信号分析。具体分析包括如下：

     a.首先对于采集的信号数据进行带通滤波处理，去除信号基线漂移；

     b.定位时序信号中牙齿动作产生信号的位置，并提取该信号；

     c.量化提取的信号，并利用神经网络进行适当分类，将咬牙动作按位置区分为左边咬牙、右边咬牙、左右两边同时咬牙三种状态；

     d.找出区分轻咬牙和重咬牙的基准线，大于基准线的为重咬牙，小于基准线的为轻咬牙；

     e.分析时域信号咬牙持续时间，若咬牙时长超过0.5秒，则表示长咬状态。长咬状态可分为左长咬、右长咬和左右同时长咬三种方式。

   步骤（3）整合上述分析c和d的分类结果，可以区分出6种不同的单次短咬牙动作状态。这样两两组合就可以得到36种不同的咬牙动作方式。左右两边同时轻咬简称为两轻，左右两边同时重咬简称为两重。咬牙动作具体可分为：左轻咬一次，接着再左轻咬一次，简称左轻左轻（s01），以此类推，左轻左重（s02）、左轻右轻（s03）、左轻右重（s04）、左轻两轻（s05）、左轻两重（s06）、左重左轻（s07）、左重左重（s08）、左重右轻（s09）、左重右重（s10）、左重两轻（s11）、左重两重（s12）、右轻左轻（s13）、右轻左重（s14）、右轻右轻（s15）、右轻右重（s16）、右轻两轻（s17）、右轻两重（s18）、右重左轻（s19）、右重左重（s20）、右重右轻（s21）、右重右重（s22）、右重两轻（s23）、右重两重（s24）、两轻左轻（s25）、两轻左重（s26）、两轻右轻（s27）、两轻右重（s28）、两轻两轻（s29）、两轻两重（s30）、两重左轻（s31）、两重左重（s32）、两重右轻（s33）、两重右重（s34）、两重两轻（s35）、两重（s36）。另外,左长咬记为s37、右长咬记为s38、左右同时长咬记为s39；

     顺序完成步骤(1)、步骤(2)、步骤(3)即可实现咬牙动作产生的脑肌电信号的多达39种状态的识别。

   步骤（4）设计字符或命令输入控制指令。通过步骤（3）识别出的咬牙动作设计如下字符或命令输入控制命令，s01~s26对应键盘中的从A~Z的英文字母，即：s01表示输入字符A、s02表示输入字符B、s03表示输入字符C、s04表示输入字符D、s05表示输入字符E、s06表示输入字符F、s07表示输入字符G、s08表示输入字符H、s09表示输入字符I、s10表示输入字符J、s11表示输入字符K、s12表示输入字符L、s13表示输入字符M、s14表示输入字符N、s15表示输入字符O、s16表示输入字符P、s17表示输入字符Q、s18表示输入字符R、s19表示输入字符S、s20表示输入字符T、s21表示输入字符U、s22表示输入字符V、s23表示输入字符W、s24表示输入字符X、s25表示输入字符Y、s26表示输入字符Z。s27~s36对应键盘的数字字符0~9，即：s27表示数字0、s28表示数字1、s29表示数字2、s30表示数字3、s31表示数字4、s32表示数字5、s33表示数字6、s34表示数字7、s35表示数字8、s36表示数字9。

   步骤（5）设计字符或命令输入辅助控制指令。即：s37表示输入空格字符、s38表示输入回车命令、s39表示删除字符或命令。同时对长呀进行进一步扩充，可以产生更为丰富的控制命令，即：第一次左右两边同时长咬牙时间超过2秒表示开启牙动输入装置，第二次左右两边同时长咬时间超过2秒表示关闭牙动输入装置，左长咬时间超过2秒钟设计为输入字符切换，即将字母输入切换为特殊字符或命令输入，如：逗号（，）、分号（；）、问号（？）、感叹号（！）、井号（#）、百分号（%）等，同时也包括特殊的控制键，如：shift、Ctrl、Tab、alt等功能键。右长咬时间超过2秒表示切换回原来字母输入界面，实现字母输入。

  采用本发明的字符牙动输入装置集方便、简单、舒适、安静、实时、准确、抗干扰、多任务、不分散注意力、多数人适合等众多特点于一身，作为一种全新的输入方式，可以作为手工和语音输入或控制方式替代和有效补充,具有极大的商业应用价值和前景。

附图说明

   图1 咬牙动作信号采集原理图

   图2 咬牙动作信号分析处理流程图

   图3字母与数字输入界面原理图

   图4特殊符号与控制键输入原理图

    图5 左边轻咬波形图

    图6 左边重咬波形图

    图7 右边轻咬波形图

    图8 右咬重咬波形图

    图9 左右两边同时轻咬波形图

    图10 左右两边同时重咬波形图

    图11 左长咬波形图

    图12 右长咬波形图

    图13左右两边同时长咬波形图。

具体实施方式

   为了使对本发明内容有进一步了解，下文中配合相关实施及附图作详细说明：

本发明牙齿动作信号采集装置如图1所示。该装置的主要信号电极包括：一个参考电极（11）、一个C3脑电极（12）、一个C4脑电极（13）以及起到固定作用且大小可调的支架（14）。电极C3和电极C4分布在大脑左右两侧，采集记录自主产生的大脑信号。参考电极11与人体的左耳相连，从而排除使用者身上的静电以及工频（50HZ）的干扰。支架14主要起到固定电极作用，由于每个人的头颅大小各异，采用可调节方式最大可能地使采集装置佩戴合理。根据采集分析结果，也可以筛选其他信号特征强的电极做主要电极。

   列举不同的牙齿动作控制方式，具体如下：

    B01表示左边轻咬牙，采集的脑肌电信号如附图5所示；

    B02表示左边重咬牙，采集的脑肌电信号如附图6所示；

    B03表示左右两边同时轻咬牙，采集的脑肌电信号如附图9所示；

    B04表示左右两边同时重咬牙，采集的脑肌电信号如附图10所示；

    B05表示右边轻咬牙，采集的脑肌电信号如附图7所示；

    B06表示右边重咬牙，采集的脑肌电信号如附图8所示；

    B07表示左边长咬牙，咬牙持续时间要求0.5秒以上，其信号如图11所示；

    B08表示右边长咬牙，咬牙持续时间要求0.5秒以上，其信号如图12所示；

    B09表示左右两边同时长咬牙，咬牙持续时间要求0.5秒以上，其信号如图13所示。

   如图2所示，为本发明的信号处理流程图，其基本流程如下：

步骤（1）利用图1所示的信号采集装置，采集一段时序信号。对信号进行预处理，该过程主要包括：信号滤波，保留感兴趣频段；去除信号漂移。这些方法可以固化到硬件中，从而提高数据处理的效率。 

  步骤（2）设定阈值T1，并且遍历时序信号，提取信号幅值大于阈值T1的信号段。那么该段信号就是咬牙产生的信号，为了确定该信号是属于哪一种咬牙信号，采用神经网络以及咬牙轻重判定方法来对信号进行分类。由于这两者分类算法相对独立，可以采用并行设计方法，加快算法处理效率。

   步骤（3）对提取的信号进行量化，将量化后的信号通过神经网络进行分类。神经网络需要先验知识进行训练，得到一个分类模型。其训练过程如下：

   a. 构建神经网络模型结构，并对结构参数进行初始化；

   b. 采集训练数据，训练数据有3类：左边咬牙、右边咬牙、左右两边同时咬牙；

   c. 利用训练数据来动态调整神经网络结构参数，并使误差低于预期值，利用训练数据检测分类结果的准确率在99%以上；

   最后，利用训练后的神经网络模型对咬牙信号进行分类，可以得到：左边咬牙、右边咬牙以及左右两边同时咬牙这些分类结果。同时神经网络模型还具有自适应学习能力，从而使分类结果更加准确。

  步骤（4）判断时序信号持续时间是否超过0.5秒，如果是，则该信号就是一个长咬信号。将该判断结果与神经网络模型的分类结果结合即可得到相应的分类信号。

否则利用咬牙轻重判定方法对信号进行分类，其过程如下：

   a. 分别提取训练样本中的轻重咬牙信号；

   b. 分别求取轻重咬牙信号的期望E1和E2，计算判别轻重咬牙的阈值T2为E1和E2的均值；

   c. 根据求出的轻重咬牙阈值T2对提取的信号进行分类。

   最后，将轻重咬牙分类结果与神经网络分类结果结合，即可得到相应的咬牙分类信号。

  综上所述，本发明提供一种字符牙动输入装置及方法，通过个性化设计的信号采集装置选取主要电极，降低信号的数据处理量，同时牙齿动作信号稳定、并满足实时性，适用于日常生活以及众多领域中。

  在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改、变换、替代、组合、简化而不背离本发明的精神和范围，都在本发明的保护范围之内。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种牙齿控制的字符或命令输入装置，包括采集模块(2)和显示模块(3)，其特征在于，所述的装置中还包括牙齿动作状态的传感模块(1)，所述的传感模块(1)的输出端与采集模块(2)的输入端连接。

2.根据权利要求1所述的牙齿控制的字符或命令输入装置，其特征在于，所述的传感模块(1)包括采集脑肌电信号的传感电极。

3.根据权利要求2所述的牙齿控制的字符或命令输入装置，其特征在于，所述的采集脑肌电信号的传感电极包括精简组合为参考电极、C3和C4电极。

4.根据权利要求1所述的牙齿控制的字符或命令输入装置，其特征在于，所述的传感模块(1)包括字符命令编码集(所有命令和字符与牙齿动作的关系对应集合)(4)。

5.根据权利要求4所述的牙齿控制的字符或命令输入装置，其特征在于，所述的命令字符编码集(4)包括各国家文字、标点符号、图形符号、数字及字符集。

6.根据权利要求4所述的牙齿控制的字符或命令输入装置，其特征在于，所述的命令字符编码集(4)包括所有的人机操作命令(5)。

7.根据权利要求6所述的牙齿控制的字符或命令输入装置，其特征在于，所述的所有的人机操作命令(5)包括启动输入、关闭输入、切换输入方式、启动显示、关闭显示、显示界面切换。

8.一种对权利要求1所述的牙齿控制的字符或命令输入装置进行字符或命令输入的方法，其特征在于，所述的方法包括以下步骤：

(1)采集牙齿动作状态产生的脑肌电信号；

(2)将采集信号进行处理转换为字符或命令输入。

9.根据权利要求8所述的牙齿控制的字符或命令输入装置进行字符或命令输入的方法，其特征在于，所述的采集牙齿动作状态产生的脑肌电信号，包括以下步骤：

(1)牙齿动作状态分为牙齿上下运动,简称为咬牙；

(2)咬牙按位置分为左边咬牙、右边咬牙、左右两边同时咬牙；

(3)咬牙按轻重分为轻咬和重咬；

(4)安装脑肌电信号采集电极，脑电极的安装位置采用国际10-20标准电极系统分布图；

(5)根据信号强度特征，选取相关采集电极，减少电极数目，最大程度地对系统进行简化；

(6)咬牙动作状态的相关脑电极为参考电极、C3和C4电极。

10.根据权利要求8所述的字符牙动输入装置和方法，其特征在于，所述的将采集信号进行处理转换为字符或命令输入，包括以下步骤：

(1)采用带通滤波保留40~100Hz频段的信号，去除基线漂移；

(2)分别利用神经网络和咬牙轻重判断来识别牙齿动作的不同状态；

(3)检索编码集识别命令或字符输入；

(4)响应命令或显示字符。

Images