CN101947152B - 仿人形义肢的脑电-语音控制系统及工作方法 - Google Patents

Abstract

本发明公开了一种仿人形义肢的脑电-语音控制系统及工作方法，它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置和控制装置四部分组成。由脑电信号采集与识别装置来实现脑电信号的采集与处理；由语音信号采集与识别装置来实现对语音信号的采集与处理；由随机目标实时定位装置来实现对随机目标的实时定位；由控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动按键的任务指令并执行之。本发明在仿人形义肢上引入了机器人控制原理，通过脑电信号、语音信号或手动按键多种方式来控制多自由度仿人形义肢。这样，佩戴者就可通过脑电、语言或按键方式发出任务指令，方便地使义肢执行不同的工作任务。

Description

仿人形义肢的脑电-语音控制系统及工作方法

技术领域

本发明涉及仿生机器人的控制技术领域，尤其是一种仿人形多自由度义肢(上肢)的控制系统及控制方法。

背景技术

目前，仿人形义肢(上肢)在市场上已有产品出售，纵观这些国内外产品，对用于“肩离断”肢体残疾人的义肢来说，多数只是起到弥补肢体残缺的装饰作用，没有肢体动作的功能。虽然现在有很少的可操控的少自由度义肢，但是对它们的控制大都是通过人体某部位的肌电信号进行控制。在采用肌电控制义肢的场合，往往不可避免地要采用串行作业控制方式，即：一个关节动过以后，另外一个关节才能动作。这样的控制方式完全不符合人们正常的操作习惯，这样控制的自由度数量越多，串行作业花费的时间越冗长，控制困难也越大。串行作业方法对多自由度义肢的控制显得力不从心，最终被佩戴试用者所摈弃，无推广应用价值。

目前尚没有用脑电-语音混合控制方式、借助机器人控制的原理来进行仿人形义肢(上肢)控制方法的先例。

发明内容

本发明的目的是克服仿人形义肢(上肢)用肌电信号控制的不足，发明一种仿人形义肢脑电-语音控制系统及工作方法。

一、一种仿人形义肢脑电-语音控制系统，它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置和控制装置四部分组成；

所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成；该装置由多个传感器探头构成的电极帽、放大滤波电路、模数转换电路、存储单元、通信接口、信息分析模块等组成。电极帽佩戴在使用者头部，采集大脑皮层脑电信号，信息分析模块接受通信接口传来的脑电信号经过分析与处理，输出义肢系统执行不同任务的脑电操作指令；

所述的语音信号采集与识别装置由拾音器、滤波放大电路、模数转换电路、存储单元、通信接口、信息分析模块及单片机等组成。用于采集、处理人的语音信号，输出义肢系统执行不同任务的语音操作指令；

所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传感器、激光测距传感器和规划机组成。在规划机中包含目标定位计算程序模块、义肢关节空间参数求解程序模块和一个轨迹规划程序模块，用于对佩戴者头部的空间姿态相对于义肢基础姿态的变化情况进行检测，对随机目标进行距离检测，给控制装置指定目标位置，求解义肢关节空间参数并提供义肢空间路径规划信息。

所述的控制装置由MCU系统单元、数据存储单元、控制信号放大输出驱动单元和关节反馈信号采集单元构成，用于采集按键信号、脑电信号、语音信号，并根据不同的控制指令模式，确定是否与随机目标实时定位装置进行通讯，实现相应的控制任务。

二、上述仿人形义肢脑电-语音控制系统的工作方法是：

第一、脑电信号的采集与处理

脑电信号的采集与处理工作主要由脑电信号采集与识别装置来实现。

脑电信号采集时，电极帽上的多个传感器探头分别从大脑的不同区域获得大脑皮层的脑电信号，经过放大滤波处理后输入到单片机的模数转换口，经过模数转换后存储到存储单元中，并通过通信接口发送到脑电信号处理部分；

脑电信号的参考电位可选择头顶、耳垂或额头等处的信号，同时，为了消除眨眼动作造成的眼部周围肌电信号的影响，使用双极导联法采集水平眼电与垂直眼电信号。

脑电信号处理时，采集脑电信号的单片机基于计算机的软件平台，通过对脑电信号采集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析，对窗口内数据首先进行拉普拉斯滤波和8-30Hz带通滤波，再利用小波分解和共同空间模式相结合的时空特征提取方法和径向基神经网络分别进行模式识别，得到各中间分类结果，将各中间分类结果进行加权平均，得到佩戴者所发出指令的最终识别模式，对仿人形义肢执行不同任务的控制模式编号，和脑电信号指令的输出。

第二、语音信号的采集与处理

对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现。

采集分两个阶段，在训练阶段，拾音器采集人的语音信号并传送到语音处理芯片，语音信号经反混叠滤波和预加重处理及AD转换后送到MPU，MPU将语音信号加窗分帧后通过双门限端点检测方法计算出语音信号的端点，并从端点处开始通过提取梅尔倒谱系数，从而获得其特征参数矢量并保存为样本模板；按照此方法，对一条指令进行多次训练，获得一个样本集合；通过对多自由度义肢(上肢)的多条不同语音指令信号的特征参数矢量进行提取构成一个样本模板库；在工作阶段，同样通过上述语音指令信号特征提取方法计算得到待识别语音的特征参数矢量；

在处理阶段，MPU处理器将语音采集部分计算得到的待识别语音的特征参数矢量，通过动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较，并计算出待识别语音特征参数矢量与模板库中各特征参数矢量之间的欧式距离，其中欧式距离较小者即为识别出的指令模式，对仿人形义肢执行不同任务的控制模式编号，输出该指令模式。

第三、随机目标的实时定位

对随机目标的实时定位功能主要由随机目标实时定位装置来实现。

安装在佩戴者头部和义肢上的两个三维姿态传感器，对佩戴者头部的空间姿态相对于义肢基础姿态的变化情况进行检测，并利用激光测距传感器对随机目标进行距离检测，再通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演，并计算出随机操作目标相对于多自由度义肢(上肢)操作空间的三维定位值；

多自由度义肢关节空间参数求解模型，利用人工神经网络对不完整信息独特的参数映射能力、快速并行信息处理能力和多输入多输出的非线性特性，经过“有监督训练法”训练而得到的一种人工神经网络模型；每当获得随机工作目标在操作空间的三维定位值时，将三维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入，得到网络输出的各关节的求解值；

轨迹规划模块，根据任务的不同，对不同的“示敎再现”任务或“随机目标”操作任务进行轨迹规划，并将完成的轨迹规划信息通过通讯接口发送给控制装置，在控制装置的输出控制作用下，义肢手部按所规划好的空间路径与时间，达到指定的目标位置。

第四、对义肢动作的控制

控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动按键的任务指令并执行之。这些任务包括工停止运动、对义肢进行单关节控制、示教再现控制以及对随机目标操作控制等。其中：

在单关节控制模式下，“控制装置”可以根据“语音命令”或手动按键方式来实现对义肢相应关节的单独控制；

在示教再现控制模式下，“控制装置”可以根据“脑电命令”、“语音命令”或手动按键方式控制义肢以要求的速度与姿态到达指定的各目标点，在这个过程中，控制装置根据已经保存的目标点信息，通过与“随机目标实时定位装置”通讯，采用轨迹规划算法获得示教轨迹的路径规划信息，控制各关节实现合成运动，在设计的时间内稳定可靠地移动义肢，再现示教结果；

在对随机目标操作控制模式下，控制装置根据脑电命令、语音命令或手动按键方式来实现对义肢的操作控制，首先通过随机目标实时定位装置获得随机目标相对义肢基础坐标系的三维空间位置，求解义肢关节空间参数，并对其作出轨迹规划；控制装置接收到来自随机目标实时定位装置的控制信息来执行输出控制，同时将实时采集到的各关节位置、速度等反馈信号发送给随机目标实时定位装置，以达到随时检测并控制义肢手部运动位置与速度的目的。

本发明的积极效果是，在多自由度义肢(上肢)控制上引入了机器人控制的原理，通过脑电信号、语音信号或手动按键多种方式来控制多自由度仿人形义肢(上肢)。这样，佩戴者就可以通过脑电、语言或按键方式发出任务指令，方便地使义肢执行不同的工作任务。

附图说明

图1为本发明的一种整体结构工作原理图；

图2为“脑电信号采集与识别装置”的工作流程图；

图3为“语音信号采集与识别装置”的工作流程图；

图4为“随机目标实时定位装置”的工作流程图。

具体实施方式

一种仿人形义肢脑电-语音控制系统，如图1中虚线框中的框图所示。它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置、控制装置四部分组成。

本控制系统的工作有以下内容：

(1)控制系统可任意选择采用脑电、语音或按键工作模式实现对义肢发出“指令”。

(2)对义肢的任务指令划分四类，第一类是停止运动指令，第二类为目标位置确定的示教再现动作指令，第三类为单关节动作指令，第四类为对随机目标的操作指令。

(3)对四类各种指令，我们可分别以不同的“控制模式编号”与之对应。

一种情况可如表1所示：

表1：指令与编号

这样，无论是采用脑电信号、语音信号或按键方式发出任务指令，其相应的信号识别部分都会将其识别出的“指令”按照表1中的对应关系转变为“控制模式编号”，并将该“控制模式编号”传送给“控制装置”。

当“控制模式编号”对应的是“示教再现”任务中的某一个时，如：示教位置1，“控制装置”将由“随机目标实时定位装置”中的轨迹规划程序模块获得该任务的轨迹规划信息，再由“控制装置”按照该任务的轨迹规划信息控制义肢系统执行要求的任务。

当“控制模式编号”对应的是“随机目标操作”以外的其它任务时，“控制装置”将直接控制义肢系统执行相应的任务，如，停止运动、驱动义肢各关节电机转动等。

(4)对第四类任务指令“随机目标操作”的执行过程是：当用脑电信号、语音信号或按键方式发出表1所列的“随机目标操作”指令时，“随机目标实时定位装置”中各工作元件与程序模块，如激光测距传感器、两个姿态传感器、目标定位计算程序、义肢关节空间求解程序、轨迹规划程序等便进入工作状态。义肢佩戴者调整头部姿态将激光传感器光束投射到目标上。由激光测距传感器检测出目标的距离值，由两个姿态传感器检测出头部姿态相对义肢基础坐标系的姿态变化。将所检测值代入“目标定位”程序模块，计算出目标在义肢基础坐标系中的三维空间位置。再进入义肢关节空间求解程序，反求出义肢各关节应该移动的量。然后由轨迹规划程序，完成对义肢运动轨迹的计算。最后将义肢轨迹规划信息传送给“控制装置”，由“控制装置”按照轨迹规划信息控制义肢系统执行要求的任务。“随机目标实时定位装置”的工作流程如图4所示。

(5)实际运动与想象运动都会产生脑电波同步活动的升高或降低(ERS/ERD)，特定运动产生的ERS/ERD在感觉运动皮层具有特定的空间分布。本发明的“脑电信号采集与识别装置”在“脑电”工作模式下根据这一现象来实现对不同任务“指令”的识别。

在此，我们将“左臂运动”、“右臂运动”、“左手开合”、“右手开合”、“左脚运动”、“右脚运动”等6个“想象动作”分别对应表1中的“停止运动”、“示教位置1”、“示教位置2”、“示教位置3”、“示教位置4”、“随机目标操作”等6种“指令”模式。每当需要义肢执行其中某种“指令”任务时，佩戴者脑中就自主呈现相应的“想象动作”，“脑电信号采集与识别装置”进行工作，将“想象动作”识别成相应的“控制模式编号”，输出给“控制装置”。“脑电信号采集与识别装置”的工作流程如图2所示。

通过实验证明，采用以6个“想象动作”与6种任务“指令”模式相匹配的方式，对任务“指令”模式进行识别，其识别正确率可达80％～92％。

(6)在“语音”工作模式下，佩戴者直接用语言发出任务指令，该语言“指令”与表1中的每个任务“指令”词句完全一致。当佩戴者需要执行某种任务时，可以口述任务“指令”，“语音信号采集与识别装置”进行工作，将该任务识别成相应的“控制模式编号”，输出给“控制装置”。“语言信号采集与识别装置”的工作流程如图3所示。

(7)“控制装置”接收来自“脑电信号采集与识别装置”、“语音信号采集与识别装置”或手动按键的“控制模式编号”信息，“控制装置”根据接收到的“控制模式编号”来区别四类不同的任务指令，执行相应的任务：或执行停止运动，或进行单关节单独控制，或进行示教再现控制，或对随机目标实现操作控制。

本发明说明书中未详细描述的内容属于本领域专业技术人员公知的现有技术或理论。

Claims (2)

1.一种仿人形义肢上肢脑电-语音控制系统，其特征在于，它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置和控制装置四部分组成；其中：

所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成；该装置由多个传感器探头构成的电极帽、放大滤波电路、模数转换电路、存储单元、通信接口和信息分析模块组成；电极帽佩戴在使用者头部，采集大脑皮层脑电信号，信息分析模块接受通信接口传来的脑电信号经过分析与处理，输出义肢系统执行不同任务的脑电操作指令；

所述的语音信号采集与识别装置由拾音器、滤波放大电路、模数转换电路、存储单元、通信接口、信息分析模块及单片机组成，用于采集、处理人的语音信号，输出义肢系统执行不同任务的语音操作指令；

所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传感器、安装于佩戴者头部的激光测距传感器和规划机组成；在规划机中包含目标定位计算程序模块、义肢关节空间参数求解程序模块和一个轨迹规划程序模块，用于对佩戴者头部的空间姿态相对于义肢基础姿态的变化情况进行检测，对随机目标进行距离检测，给控制装置指定目标位置，求解义肢关节空间参数并提供义肢空间路径规划信息；

所述的控制装置由MCU系统单元、数据存储单元、控制信号放大输出驱动单元和关节反馈信号采集单元构成，用于采集按键信号、脑电信号、语音信号；在单关节控制模式下，控制装置根据语音命令或手动按键方式来实现对义肢相应关节的单独控制；在示教再现控制模式下，控制装置根据脑电命令、语音命令或手动按键方式控制义肢；在对随机目标操作控制模式下，控制装置根据脑电命令、语音命令或手动按键方式来实现对义肢的操作控制。

2.如权利要求1所述的仿人形义肢上肢脑电-语音控制系统的工作方法，其特征在于，它包括以下工作步骤：

第一、脑电信号的采集与处理

脑电信号的采集与处理工作主要由脑电信号采集与识别装置来实现；

脑电信号采集时，电极帽上的多个传感器探头分别从大脑的不同区域获得大脑皮层的脑电信号，经过放大滤波处理后输入到单片机的模数转换口，经过模数转换后存储到存储单元中，并通过通信接口发送到脑电信号处理部分；

脑电信号的参考电位选择头顶、耳垂或额头处的信号，同时，为了消除眨眼动作造成的眼部周围肌电信号的影响，使用双极导联法采集水平眼电与垂直眼电信号；

脑电信号处理时，采集脑电信号的单片机基于计算机的软件平台，通过对脑电信号采集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析，对窗口内数据首先进行拉普拉斯滤波和8-30Hz带通滤波，再利用小波分解和共同空间模式相结合的时空特征提取方法和径向基神经网络分别进行模式识别，得到各中间分类结果，将各中间分类结果进行加权平均，得到佩戴者所发出指令的最终识别模式，对仿人形义肢执行不同任务的控制模式编号，和脑电信号指令的输出；

第二、语音信号的采集与处理

对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现；

采集分两个阶段，在训练阶段，拾音器采集人的语音信号并传送到语音处理芯片，语音信号经反混叠滤波和预加重处理及AD转换后送到MPU，MPU将语音信号加窗分帧后通过双门限端点检测方法计算出语音信号的端点，并从端点处开始通过提取梅尔倒谱系数，从而获得其特征参数矢量并保存为样本模板；按照此方法，对一条指令进行多次训练，获得一个样本集合；通过对多自由度义肢上肢的多条不同语音指令信号的特征参数矢量进行提取构成一个样本模板库；在工作阶段，同样通过上述语音指令信号特征提取方法计算得到待识别语音的特征参数矢量；

在处理阶段，MPU处理器将语音采集部分计算得到的待识别语音的特征参数矢量，通过动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较，并计算出待识别语音特征参数矢量与模板库中各特征参数矢量之间的欧式距离，其中欧式距离较小者即为识别出的指令模式，对仿人形义肢执行不同任务的控制模式编号，输出该指令模式；

第三、随机目标的实时定位

对随机目标的实时定位功能主要由随机目标实时定位装置来实现；

安装在佩戴者头部和义肢上的两个三维姿态传感器，对佩戴者头部的空间姿态相对于义肢基础姿态的变化情况进行检测，并利用激光测距传感器对随机目标进行距离检测，再通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演，并计算出随机操作目标相对于多自由度义肢上肢操作空间的三维定位值；

多自由度义肢关节空间参数求解模型，利用人工神经网络对不完整信息独特的参数映射能力、快速并行信息处理能力和多输入多输出的非线性特性，经过有监督训练法训练而得到的一种人工神经网络模型；每当获得随机工作目标在操作空间的三维定位值时，将三维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入，得到网络输出的各关节的求解值；

轨迹规划模块，根据任务的不同，对不同的示教再现任务或随机目标操作任务进行轨迹规划，并将完成的轨迹规划信息通过通讯接口发送给控制装置，在控制装置的输出控制作用下，义肢手部按所规划好的空间路径与时间，达到指定的目标位置；

第四、对义肢动作的控制

控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动按键的任务指令并执行之；这些任务包括停止运动、对义肢进行单关节控制、示教再现控制以及对随机目标操作控制；其中：

在单关节控制模式下，控制装置根据语音命令或手动按键方式来实现对义肢相应关节的单独控制；

在示教再现控制模式下，控制装置根据脑电命令、语音命令或手动按键方式控制义肢以要求的速度与姿态到达指定的各目标点，在这个过程中，控制装置根据已经保存的目标点信息，通过与随机目标实时定位装置通讯，采用轨迹规划算法获得示教轨迹的路径规划信息，控制各关节实现合成运动，在设计的时间内稳定可靠地移动义肢，再现示教结果；

在对随机目标操作控制模式下，控制装置根据脑电命令、语音命令或手动按键方式来实现对义肢的操作控制，首先通过随机目标实时定位装置获得随机目标相对义肢基础坐标系的三维空间位置，求解义肢关节空间参数，并对其作出轨迹规划；控制装置接收到来自随机目标实时定位装置的控制信息来执行输出控制，同时将实时采集到的各关节位置、速度反馈信号发送给随机目标实时定位装置，以达到随时检测并控制义肢手部运动位置与速度的目的。

Images