CN109460144A - 一种基于发声神经电位的脑机接口控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于发声神经电位的脑机接口控制系统及方法，该系统通过采集发声神经电位信号，经过信号处理和机器学习算法，对使用者大脑中的意识和控制命令进行模式识别，完成对控制对象的控制作用。其包括电极阵列、信号采集模块、信号处理模块、编码模块和控制对象，电极阵列位于面部及面部周边发声肌肉表面，信号采集模块对电极阵列所采集的原始发声神经电位进行信号调理并作A/D转换，信号处理模块对发声神经电位进行降噪、分割、特征提取、模式识别处理，模式编码将模式识别结果进行指令编码和映射，作用到控制对象。

Description

一种基于发声神经电位的脑机接口控制系统及方法

技术领域

本发明涉及人机接口领域，尤其是涉及一种基于发声神经电位的脑机接口控制系统及方法。

背景技术

现有的人机控制系统，一般通过用户界面、鼠标、键盘或者语音等技术实现，在实际生产生活中应用十分广泛。随着设备及系统的复杂度和智能化程度和要求越来越高，传统的控制模式在一些特定领域不能适用，如嘈杂混乱的军事、刑侦领域，或者一些对人机控制的实时性和高效能具有较高要求的场景。脑机接口是在大脑和外部设备间创建的连接通路，可视为一种新兴的控制技术。由于其具有高效、直接、隐秘等优点，近年来获得广泛关注。

脑机接口技术尽管已取得一些成果，但由于大脑复杂度极高，通过脑电等手段获得的大脑信号包含的信息太杂，信噪比差，对脑电信号直接解析和编码还很困难，目前只能对极少模式进行识别，远远达不到实际应用要求。而人类大脑语言中枢产生的输出命令单一、清晰，通过语言中枢可以有效的凝练大脑中的意识和控制命令。

传统控制系统和方法，一般需要提供语音或手动操作，在特定场合无法使用。而从大脑直接获取脑电信号，解析复杂，识别正确率低、识别模式少，无法进行实际应用。

发明内容

本发明主要是解决现有技术所存在的对脑电信号解析的准确度较低、交互效率和精确度都不够理想、识别模式较为单一等的技术问题，提供一种解析过程简单、识别率高、识别模式多样化的基于发声神经电位的脑机接口控制系统及方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于发声神经电位的脑机接口控制系统，包括：

电极阵列，电极阵列包括至少2个电极，电极贴置于面部及面部周边，采集发声神经的电位信号；

信号采集模块，将采集到的电位信号进行放大和滤波以后转换为数字信号输出到信号处理模块；

信号处理模块，对数字电位信号进行特征提取以后进行识别，将识别后的结果发送到编码模块；

和编码模块，将识别结果转换为控制指令并输出。

本发明的基本思想是，利用电极采集发声器官表面的发声神经电位，经过信号处理、模式识别与编码等步骤，将控制指令发送至控制对象，完成指定控制任务。即为将大脑中的意识和控制命令，由人脑的语言中枢进行凝练和强化，通过发生神经传导，被电极阵列和后续模块进行采集和处理，产生计算机或电子系统可处理的控制命令。发声神经电位从面部及面部周边采集，采集点位为2个或多个，控制指令多样化，控制对象为1个或多个。

作为优选，一种基于发声神经电位的脑机接口控制系统还包括控制对象，所述控制对象为1个或多个，编码模块输出控制指令到控制对象。

电极阵列是一组发声神经电位传感器，位于人体面部以及面部周边，获取人体电信号。电极阵列通过信号线与信号采集模块连接。信号采集模块接收电极阵列发送的电信号，并对该电信号进行调理。信号处理模块对信号的进行一系列处理，提取出准确的语言信息。编码模块对信号处理模块输出的语言信息进行编码，输出控制指令至控制对象，完成控制作用。控制对象是外部设备，能够接受控制指令，可以是2个或者更多个，控制对象的控制结果反馈至控制人员。电极阵列通过信号线或以无线的方式将电信号传输至信号采集模块；信号采集模块对电信号进行信号调理并做A/D转换，将数字信号发送给信号处理模块；信号处理模块与信号采集模块集成于一体，或信号处理模块通过有线或无线方式与信号采集模块相连；编码模块将信号处理模块提取的语言信息编码为确定的控制指令，以有线或无线的方式传输给控制对象。控制命令包括但不限于：前、后、左、右、上、下、快、慢、停、数字编号、字母编号、开灯、关灯等。

作为优选，所述电极阵列包括参考电极和以下四类电极中的至少一类：第一区电极、第二区电极、第三区电极和第四区电极；

第一区电极和第二区电极为单电极，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域；

参考电极包括至少一个电极，参考电极贴置在耳后或额头部位。

一般电极数量为5-10个，其中参考电极为1-2个，采集信号电极为4-8个。

作为优选，所述电极阵列的电极为银/氯化银表面贴装电极。

作为优选，所述信号采集模块包括电源、电压调理单元、放大器、滤波器、A/D转换单元、处理器、有线通信单元和无线通信单元；电源为其他各模块供电，电压调理单元为放大器和滤波器提供正压和负压，放大器对原始发声神经电位放大，滤波器对放大后的发声神经信号进行带通滤波和陷波，A/D转换单元将模拟信号转化为数字信号，处理器将数字信号通过有线通信或无线通信发送出去。有线通信包括但不限于USB、串口、CAN，无线通信包括但不限于蓝牙、wifi。

一种基于发声神经电位的脑机接口控制方法，基于前述的基于发声神经电位的脑机接口控制系统，包括以下步骤：

S1、采集发声神经电位信号；

S2、将电位信号转换为数字电位信号；

S3、对数字电位信号进行识别；

S4、对识别结果进行编码或量化，得到控制指令，指令编码与控制对象的数量和控制方式一一对应；

S5、输出控制指令到控制对象。

本方法包括对语音和非语音、发声和不发声的模式识别。

作为优选，所述步骤S1中，采集发声神经电位信号的电极阵列包括参考电极和以下四类电极中的至少一类：第一区电极、第二区电极、第三区电极和第四区电极；

第一区电极和第二区电极为单电极，采用单电极测量方式，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，采用双电极测量方式，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域，每区的两个电极做减法运算后得到一路差分信号；

参考电极包括至少一个电极，参考电极贴置在耳后或额头部位。

作为优选，所述步骤S3具体包括以下步骤：

S301、预处理，对发声神经电位信号做数字滤波或近似处理，提高信噪比；预处理也可以包括降噪、滤波和加窗处理三个过程；

S302、信号分割，预先对电极采集到的信号加和，利用前导噪声信号平均值作为阈值，电极采集的信号超过阈值部分为有效信号，将含有语言信息的信号段截取出来；

S303、特征提取，对有效信号的每个通道提取特征，特征包括但不限于过零点、平均值、绝对平均值和方差；

S304、模式识别，根据特征提取所提供的特征进行多分类，识别出语言信息作为各个不同的模式，包括对语音和非语音、发声和不发声条件下的指令进行分类；

S305、模式输出，将所有识别出的模式发送至编码模块。

信号处理包括对语音和非语音、发声和不发声信号的处理。

作为优选，所述步骤S4具体包括以下步骤：

S401、控制指令映射，依据指令集合将模式识别结果映射为控制指令，指令集合为所有控制指令集合；

S402、指令输出，将控制对象可识别的指令输送至控制对象，完成控制作用。

本发明从发声肌肉表面提取充分的大脑信息，即从发声神经电位中实现脑机接口功能，完成对外部设备的控制作用。利用从发声肌肉表面获取的发声神经信号，能够实现对单个或多个目标的实时控制，且可进行多模式控制。对于一些无法发出声音的场合（例如军事或警方的潜伏、侦察）或人士（喉部受伤或哑人），只需要通过大脑意识发出指令，依照说话过程牵动或不牵动面部、喉部肌肉，声带均不振动，以一种默读的方式，即可让电极阵列正确获取到电位信号，完成指令下达或信息传递的过程。通过大脑意识发出指令时，语言中枢神经产生电信号，该信号最终会传导到发声相关肌肉上，这时可以测量肌电信号，即使不牵动肌肉也可以测得电信号。借助于编码模块，甚至可以达到以简单语句完成复杂命令下达的目的。本方案依照常规说话的方式实现信息表达，使用者的学习成本极低，佩戴以后稍加训练即可使用。

本发明带来的实质性效果是，表达、解析简单，识别正确率高，识别模式多样化，无论有声或无声都可以准确识别，可以较为容易的接入到实际应用中，并且可以实现一对多的控制模式。

附图说明

图1是本发明的一种基于发声神经电位的脑机接口控制系统框图；

图2是本发明的一种电极阵列分布示意图；

图3是本发明的一种信号采集模块框图；

图4是本发明的一种信号识别过程流程图；

图中：101、电极阵列；102、信号采集模块；103、信号处理模块；104、编码模块；105、控制对象；201、第一区电极；202、第二区电极；203、第三区电极；204、第四区电极；205、参考电极；301、电源；302、电压调理单元；303、放大器；304、滤波器；305、A/D转换单元；306、处理器；307、有线通信单元；308、无线通信单元。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：一种基于发声神经电位的脑机接口控制系统，如图1所示，包括：

电极阵列101，电极阵列包括至少2个电极，电极贴置于面部及面部周边，采集发声神经的电位信号；

信号采集模块102，将采集到的电位信号进行放大和滤波以后转换为数字信号输出到信号处理模块；

信号处理模块103，对数字电位信号进行特征提取以后进行识别，将识别后的结果发送到编码模块；

和编码模块104，将识别结果转换为控制指令并输出；

控制对象105，所述控制对象为1个或多个，编码模块输出控制指令到控制对象。

本发明的基本思想是，利用电极采集发声器官表面的发声神经电位，经过信号处理、模式识别与编码等步骤，将控制指令发送至控制对象，完成指定控制任务。发声神经电位从面部及面部周边采集，采集点位为2个或多个，控制指令多样化，控制对象为1个或多个。

电极阵列是一组发声神经电位传感器，位于人体面部以及面部周边，获取人体电信号。信号采集模块接收电极阵列发送的电信号，并对该电信号进行调理。信号处理模块对信号的进行一系列处理，提取出准确的语言信息。编码模块对信号处理模块输出的语言信息进行编码，输出控制指令至控制对象，完成控制作用。控制对象是外部设备，能够接受控制指令，可以是2个或者更多个，控制对象的控制结果反馈至控制人员。电极阵列通过信号线或以无线的方式将电信号传输至信号采集模块；信号采集模块对电信号进行信号调理并做A/D转换，将数字信号发送给信号处理模块；信号处理模块与信号采集模块集成于一体，或信号处理模块通过有线或无线方式与信号采集模块相连；编码模块将信号处理模块提取的语言信息编码为确定的控制指令，以有线或无线的方式传输给控制对象。

如图2所示，电极阵列共有7个电极，包括一个参考电极205和以下四类电极：第一区电极201、第二区电极202、第三区电极203和第四区电极204；

第一区电极和第二区电极为单电极，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域；

参考电极贴置在耳后或额头部位。

电极阵列的电极均为银/氯化银表面贴装电极。

如图3所示，信号采集模块包括电源301、电压调理单元302、放大器303、滤波器304、A/D转换单元305、处理器306、有线通信单元307和无线通信单元308；电源为其他各模块供电，电压调理单元为放大器和滤波器提供正压和负压，放大器对原始发声神经电位放大，滤波器对放大后的发声神经信号进行带通滤波和陷波，A/D转换单元将模拟信号转化为数字信号，处理器将数字信号通过有线通信或无线通信发送出去。有线通信包括但不限于USB、串口、CAN，无线通信包括但不限于蓝牙、wifi。

一种基于发声神经电位的脑机接口控制方法，基于前述的基于发声神经电位的脑机接口控制系统，包括以下步骤：

S1、采集发声神经电位信号；

S2、将电位信号转换为数字电位信号；

S3、对数字电位信号进行识别；

S4、对识别结果进行编码或量化，得到控制指令，指令编码与控制对象的数量和控制方式一一对应；

S5、输出控制指令到控制对象。

本方法包括对语音和非语音、发声和不发声的模式识别。

所述步骤S1中，采集发声神经电位信号的电极阵列包括参考电极和以下四类电极中的至少一类：第一区电极、第二区电极、第三区电极和第四区电极；

第一区电极和第二区电极为单电极，采用单电极测量方式，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，采用双电极测量方式，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域，每区的两个电极做减法运算后得到一路差分信号；

参考电极包括至少一个电极，参考电极贴置在耳后或额头部位。

如图4所示，所述步骤S3具体包括以下步骤：

S301、预处理，对发声神经电位信号做数字滤波或近似处理，提高信噪比；预处理也可以包括降噪、滤波和加窗处理三个过程；

S302、信号分割，预先对电极采集到的信号加和，利用前导噪声信号平均值作为阈值，电极采集的信号超过阈值部分为有效信号，将含有语言信息的信号段截取出来；

S303、特征提取，对有效信号的每个通道提取特征，包括但不限于过零点、平均值、绝对平均值和方差；

S304、模式识别，根据特征提取所提供的特征进行多分类，识别出语言信息作为各个不同的模式，包括对语音和非语音、发声和不发声条件下的指令进行分类；

S305、模式输出，将所有识别出的模式发送至编码模块。

信号处理包括对语音和非语音、发声和不发声信号的处理。

所述步骤S4具体包括以下步骤：

S401、控制指令映射，依据指令集合将模式识别结果映射为控制指令，指令集合为所有控制指令集合；

S402、指令输出，将控制对象可识别的指令输送至控制对象，完成控制作用。

本发明从发声肌肉表面提取充分的大脑信息，即从发声神经电位中实现脑机接口功能，完成对外部设备的控制作用。利用从发声肌肉表面获取的发声神经信号，能够实现对单个或多个目标的实时控制，且可进行多模式控制。对于一些无法发出声音的场合（例如军事或警方的潜伏、侦察）或人士（喉部受伤或哑人），只需要通过大脑意识发出指令，依照说话过程牵动或不牵动面部、喉部肌肉，声带均不振动，以一种默读的方式，即可让电极阵列正确获取到电位信号，完成指令下达或信息传递的过程。通过大脑意识发出指令时，语言中枢神经产生电信号，该信号最终会传导到发声相关肌肉上，这时可以测量肌电信号，即使不牵动肌肉也可以测得电信号。借助于编码模块，甚至可以达到以简单语句完成复杂命令下达的目的。本方案依照常规说话的方式实现信息表达，使用者的学习成本极低，佩戴以后稍加训练即可使用。

本方案基于大脑语言中枢神经电位作用机理和发声原理，可以从发声肌肉表面提取充分的大脑信息，即从发声神经电位中实现脑机接口功能，完成对外部设备的控制作用。利用从发生肌肉表面获取的发声神经信号，能够实现对单个或多个目标的实时控制，且可进行多模式控制。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了发声神经电位、电极阵列、信号采集模块、模式识别等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (9)

1.一种基于发声神经电位的脑机接口控制系统，其特征在于，包括：

电极阵列，电极阵列包括至少2个电极，电极贴置于面部及面部周边，采集发声神经的电位信号；

信号采集模块，将采集到的电位信号进行放大和滤波以后转换为数字信号输出到信号处理模块；

信号处理模块，对数字电位信号进行特征提取以后进行识别，将识别后的结果发送到编码模块；

和编码模块，将识别结果转换为控制指令并输出。

2.根据权利要求1所述的一种基于发声神经电位的脑机接口控制系统，其特征在于，还包括控制对象，所述控制对象为1个或多个，编码模块输出控制指令到控制对象。

3.根据权利要求1或2所述的一种基于发声神经电位的脑机接口控制系统，其特征在于，所述电极阵列包括参考电极和以下四类电极中的至少一类：第一区电极、第二区电极、第三区电极和第四区电极；

第一区电极和第二区电极为单电极，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域；

参考电极包括至少一个电极，参考电极贴置在耳后或额头部位。

4.根据权利要求3所述的一种基于发声神经电位的脑机接口控制系统，其特征在于，所述电极阵列的电极为银/氯化银表面贴装电极。

5.根据权利要求1或2所述的一种基于发声神经电位的脑机接口控制系统，其特征在于，所述信号采集模块包括电源、电压调理单元、放大器、滤波器、A/D转换单元、处理器、有线通信单元和无线通信单元；电源为其他各模块供电，电压调理单元为放大器和滤波器提供正压和负压，放大器对原始发声神经电位放大，滤波器对放大后的发声神经信号进行带通滤波和陷波，A/D转换单元将模拟信号转化为数字信号，处理器将数字信号通过有线通信或无线通信发送出去。

6.一种基于发声神经电位的脑机接口控制方法，基于权利要求1所述的基于发声神经电位的脑机接口控制系统，其特征在于，包括以下步骤：

S1、采集发声神经电位信号；

S2、将电位信号转换为数字电位信号；

S3、对数字电位信号进行识别；

S4、对识别结果进行编码或量化，得到控制指令；

S5、输出控制指令到控制对象。

7.根据权利要求6所述的一种基于发声神经电位的脑机接口控制方法，其特征在于，所述步骤S1中，采集发声神经电位信号的电极阵列包括参考电极和以下四类电极中的至少一类：第一区电极、第二区电极、第三区电极和第四区电极；

第一区电极和第二区电极为单电极，采用单电极测量方式，第一区电极贴置在口颊肌区域，第二区电极贴置在舌外肌区域；第三区电极和第四区电极为双电极，采用双电极测量方式，第三区电极的两个电极相邻贴置在一侧颧肌区域，第四区电极的两个电极贴置在左右两侧的喉外肌区域，每区的两个电极做减法运算后得到一路差分信号；

参考电极包括至少一个电极，参考电极贴置在耳后或额头部位。

8.根据权利要求6或7所述的一种基于发声神经电位的脑机接口控制方法，其特征在于，所述步骤S3具体包括以下步骤：

S301、预处理，对发声神经电位信号做数字滤波或近似处理，提高信噪比；

S302、信号分割，预先对电极采集到的信号加和，利用前导噪声信号平均值作为阈值，电极采集的信号超过阈值部分为有效信号，将含有语言信息的信号段截取出来；

S303、特征提取，对有效信号的每个通道提取特征，包括过零点、平均值、绝对平均值和方差；

S304、模式识别，根据特征提取所提供的特征进行多分类，识别出语言信息作为各个不同的模式；

S305、模式输出，将所有识别出的模式发送至编码模块。

9.根据权利要求8所述的一种基于发声神经电位的脑机接口控制方法，其特征在于，所述步骤S4具体包括以下步骤：

S401、控制指令映射，依据指令集合将模式识别结果映射为控制指令，指令集合为所有控制指令集合；

S402、指令输出，将控制对象可识别的指令输送至控制对象，完成控制作用。