CN101332136A - 脑电肌电联合控制的电动假手以及控制方法 - Google Patents

Abstract

本发明涉及脑电肌电联合控制的电动假手以及控制方法。目前三自由度肌电假手的模式处理正确率不够。本发明的电动假手包括多个肌电拾电传感器和脑电拾电传感器。肌电拾电传感器和脑电拾电传感器中的二次处理电路输出端与A/D转换电路的输入端连接。三个电机分别与对应的驱动电路连接，微处理器分别与A/D转换电路的输出端、驱动电路的输入端信号连接。肌电拾电传感器和脑电拾电传感器分别采集来自人体残臂各点的表面肌电信号和来自人体头顶和耳部的脑电信号，经过放大、滤波、A/D转换处理后输入微处理器中；微处理器对处理后的表面肌电信号和脑电信号进一步处理，实现对三自由度电动假手的控制。本发明通过脑电和肌电信号融合、经模式识别后实现控制，识别的正确率高、动作控制可靠。

Description

脑电肌电联合控制的电动假手以及控制方法

技术领域

本发明属于信息和控制技术领域，涉及到一种将头皮脑电和表面肌电信息控制人工假手的技术，具体是将脑电/肌电信号融合后，识别得到假手动作的多个模式，实现多自由度实时控制的电动假手以及控制方法。

背景技术

肌电信号(Electromyogram，缩写EMG)是一种伴随肌肉活动的生物电信号，是肌肉活动的电信号根源，其中蕴涵了肌肉活动的各种信息，包括与肌肉活动相对应的肢体动作模式。表面肌电信号(Surface Electromyogram，缩写SEMG)则是浅层肌肉的EMG和神经干上电活动在皮肤表面的综合效应。由于SEMG在测量上具有非侵入特性，对被实施检测的个体具有无痛苦和便捷的特点，已经在临床医学、运动医学、电动假肢等诸多领域得到了广泛的应用。

脑电信号(electroencephalogram，缩写EEG)是大脑皮层神经细胞群突触传递信号而引起电位变化的反映，可以反映大脑自主或诱发的意识活动，与实际的动作行为密切相关。目前对脑电信号的采集有侵入式(invasive)和非侵入式(non-invasive)两种，侵入式脑电信号采集使用植入式电极，非侵入式则采用头皮电极。植入电极法是通过显微外科手术将微电极植入颅腔内测量脑电信号的一种方法，植入颅内的微电极具有较高的空间和频率分辨率，能检测到电极附近少数神经元的电活动信息，定位性好，信噪比高。非侵入式头皮脑电技术对人体完全无害，但由于不是在脑神经元上直接提取，而是从头皮上提取脑电信号，信号微弱，噪声大。对脑电信号的分析研究使之诞生了脑机交互(brain-computer interface，缩写BCI)，脑机交互的关键是对人的认知和思维活动所产生脑电信号进行采集、分析并提取特征，通过对特征的分类、优化等实现对机器的控制。脑机交互技术将大大扩展人对外界设备控制、信息交流的能力，从而引发对传统人脑与外界信息交流方式和控制手段的革命。

肌电假肢根据残肢上的肌肉活动检测其肌电信号，经处理后得到假肢的控制信号，达到操控的目的。由于肌电假肢具有动作自然，仿生性能好的特点，已成为仿生假肢理想的控制信号源。肌电信号发源于神经肌肉系统运动单位的生物电活动，它反映了神经、肌肉的功能状态，其中蕴涵了丰富的肢体动作模式信息。肌电假肢的控制原理是利用残疾人的“幻肢”感，当其像正常人一样去控制肢体时，残肢上对应的肌肉活动伴随肌电信号，经拾电传感采集得到活动肌肉皮肤表面的肌电信号，通过处理后可得到肢体的动作模式。由于表面肌电信号的微弱性、混叠性和低信噪比，导致从少通道表面肌电信号识别多模式动作变得非常困难。尽管从两路表面肌电信号得到两个动作模式的单自由度肌电假手已经实用化，但实时控制的多自由度肌电假手商用化并不理想，其关键问题是多自由度模式实时处理的准确性尚待进一步提高。目前，三自由度肌电假手的模式处理正确率85％是很难投入实际应用的，因为假手的任何一个不确定动作有可能对残疾人造成意想不到的伤害。因此，如何通过优化的人机控制信号来源、信号采集与处理方法，能够快速正确地识别出操作者(残疾人)所表达的含义，进而实现实时的思维(动作)行为识别是当前脑机交互研究(BCI)需要迫切解决的问题。

发明内容

本发明的目的就是针对现有技术的不足，提供一种准确率高、仿生性能好，可以实时控制三自由度控制的电动假手，同时提供该装置的控制方法。

本发明的电动假手包括N(2≤N≤4)个肌电拾电传感器和M(2≤M≤4)个脑电拾电传感器。每个肌电拾电传感器包括置于人体残臂上的三个肌电拾电电极和与肌电拾电电极信号连接的当地化的肌电初级放大电路；肌电初级放大电路的输出端分别与对应的肌电二次处理电路连接，肌电二次处理电路包括后级放大和滤波两个电路，肌电二次处理电路的输出端与A/D转换电路的输入端连接。每个脑电拾电传感器包括置于人体头顶的脑电拾电电极和置于人体耳部的参考电极、与脑电拾电电极和参考电极连接的脑电初级放大电路，脑电初级放大电路的输出端与脑电信号二次处理电路连接，脑电二次处理电路包括了后级放大和滤波两个电路，脑电二次处理电路输出端与A/D转换电路的输入端连接。三个电机分别与对应的驱动电路连接，微处理器分别与A/D转换电路的输出端、驱动电路的输入端信号连接。

本发明中的肌电拾电传感器、肌电二次处理电路(后级放大、滤波电路)、A/D转换电路、微处理器、电机的驱动电路均采用现有的单自由度肌电假手相应的器件；脑电拾电传感器、脑电二次处理电路(后级放大、滤波电路)则采用现有的头皮脑电信号采集系统相应的器件。

该电动假手的控制方法是：肌电拾电传感器分别采集来自人体残臂各点的表面肌电信号，经过放大、滤波、A/D转换处理后输入微处理器中；脑电拾电传感器分别采集来自人体头顶和耳部的脑电信号，经过放大、滤波、A/D转换处理后输入微处理器中；微处理器对处理后的表面肌电信号和脑电信号进一步处理，实现对三自由度电动假手的控制：首先计算定长信号序列的排列组合熵作为脑电和肌电信息的特征，并在归一化的基础上完成信息特征融合；其次，该融合结果作为输入值，通过二叉树结构的多值支持向量机方法实现手部运动模式识别，得到三自由度电动假手的六个动作模式和一个无动作模式；根据识别结果，微处理器输出三路控制信号，经驱动电路带动电动假手的三个电机完成三自由度电动假手的六个动作，其中无动作模式对应三自由度电动假手的静止。

所述的排列组合熵的具体方法是：对于采集得到的脑电和肌电信号定长的一维时间序列{x(t)，t＝1，2…T}，在序列中每隔一个样点取连续n个样点X_i＝[x(i)，x(i+1)，…，x(i+n-1)]构成子序列，随机的X_i进行升序排列有n！种排列组合的方式，其中X_i的某一种排列组合方式可表示为：

{(j₁，…，j_c，…，j_n)，[x(i+j₁-1)…，≤x(i+j_c-1)≤，…，≤x(i+j_n-1)]}(1)

其中，j_c表示排序后子序列中第c个样点在原信号子序列X_i中的位置值。

对整个序列中各种排列情况出现的次数进行统计，并计算各种排列情况出现的相对频率作为其概率P₁，P₂，…，P_k，k≤n！，计算出排列组合熵：

$H\left(n\right)=-\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{P}_i\lg P_i---\left(2\right)$

将排列组合熵进行归一化：

H′(n)＝H(n)/lg(n！)(3)

脑电信号和肌电信号排列组合熵直接反映了肢体运动时生理电活动的变化，作为对动作模式信息的描述。

所述的二叉树结构的多值支持向量机方法具体是：动作模式包含a₁，a₂，…，a_m共m个类，每个类中包含s(5≤s≤10)个样本，通过对所有类别的聚类和排序处理构建二叉树分类结构。

首先，计算每个类中的各个样本与其他类中的各个样本间的欧氏距离，将两个类中样本间欧氏距离的最小值作为这两个类的类间距离，对每个类相对于其他类的类间距离由小到大的顺序重新编号排列；

其次，按照每个类相对于其他类的最小类间距离，按由大到小的顺序将类进行排序；如果最小类间距离相等，则按次小类间距离由大到小的顺序将最小类间距离相等的类进行排序，依次下去；如果所有对应的类间距离相等，则按类的标号由小到大的顺序将类进行排序；最终得到一个对所有类的重新排列b₁，b₂，…，b_m，根据类的标号排序生成二叉树。

根据类的标号排序生成的二叉树，构造二叉树内各节点的最优超平面：首先以b₁类动作模式样本为正样本集，b₂，…，b_m类动作模式样本为负样本集，构造根节点处的二值支持向量机子分类器，支持向量机的内积函数采用径向基内积函数；然后以b₂类动作模式样本为正样本集，b₃，…，b_m类动作模式样本为负样本集，构造第二个内节点的二值子分类器；依次下去，得到基于二叉树的多类别支持向量机的分类结构。

利用上述方法，基于脑电/肌电的运动模式识别可以分为学习和识别两个阶段：首先计算脑电/肌电信号的排列组合熵，然后进行特征融合生成特征向量，在学习阶段使用已知动作模式类别的特征向量构成样本集来构造二叉树分类器。在识别阶段，则将提取融合后特征序列中的每个特征向量依次输入到分类器，从根节点开始逐级进行二值分类，直到确定每个时刻对应的动作模式类别。

本发明的特点是手部多运动模式识别是通过脑电/肌电信号融合、经模式识别后实现的，识别的正确率比使用单一脑电或肌电信号控制的假手都高，且动作控制可靠，避免了传统商用的多自由度肌电假手需要通过切换才能达到多自由度假手的控制的情况，实现了高可靠识别率下三自由度假手六个动作的实时控制，假手的仿生性能明显改善。

附图说明

图1为本发明装置的结构示意图；

图2为多值支持向量机分类器的二叉树结构示意图；

图3为基于脑电/肌电的多模式动作识别框图。

具体实施方式

如图1所示，脑电肌电联合控制的电动假手包括置于人体残臂尺侧腕伸肌、尺侧腕屈肌、指伸肌、旋前方肌所对应的皮肤表面的四个肌电拾电传感器1和置于人体头顶部中央根据10-20导联系统确定的C3、C4位置的两个脑电拾电传感器2。每个肌电拾电传感器1包括置于人体残臂上的三个肌电拾电电极和与肌电拾电电极信号连接的当地化的肌电初级放大电路；肌电初级放大电路的输出端分别与对应的肌电二次处理电路3连接，二次处理电路3包括10～500Hz的带通滤波和50Hz的陷波，获得有效频率的肌电信号，肌电二次处理电路3的输出端与A/D转换电路5的输入端连接。每个脑电拾电传感器2包括置于人体头顶的脑电拾电电极和置于人体耳部的参考电极、与脑电拾电电极和参考电极连接的脑电初级放大电路，脑电初级放大电路的输出端与脑电二次处理电路4连接，脑电二次处理电路4包括50Hz的陷波电路、后级放大电路、补偿电路(用于消除共模信号)，脑电二次处理电路4输出端与A/D转换电路5的输入端连接。三个电机8实现电动假手的三个自由度六个动作，每个电机8分别与对应的驱动电路7连接，微处理器6分别与A/D转换电路5的输出端、驱动电路7的输入端信号连接。

该电动假手的控制方法是：由脑电拾电传感器拾取的脑电信号和肌电拾电传感器拾取的肌电信号分别经初级放大电路、二次处理电路、A/D转换完成数据采集，进入微处理器，进行多种运动模式识别的信息处理。首先采用排列组合熵方法提取和融合脑电和肌电信息的特征，然后利用二叉树结构的多值支持向量机实现多种运动模式识别。算法的识别运算由微处理器完成，并根据识别结果输出三路控制信号，经驱动电路带动假手的三个电机，完成三自由度电动假手的六个动作控制。

所述的排列组合熵特征提取和融合的具体方法是：采集四路肌电信号和两路脑电信号，根据控制周期的设定，在每个周期内分别对每一路计算排列组合熵。首先对输入的数据通过加滑动Hamming窗选取一个周期内定长的信号，这里窗长取200ms，帧移为50ms(肌电与脑电的采样频率略有不同，分别为2KHz和1KHz)。记每一路定长的脑电/肌电信号为一维时间序列{x(t)，t＝1，2…T}，在序列中每隔一个样点取连续n个样点X_i＝[x(i)，x(i+1)，…，x(i+n-1)]构成子序列，这里n称为排列数，随机的X_i进行升序排列有n！种排列组合的方式，其中X_i的某一种排列组合方式可表示为：

{(j₁，…，j_c，…，j_n)，[x(i+j₁-1)…，≤x(i+j_c-1)≤，…，≤x(i+j_n-1)]}(4)

其中，j_c表示排序后子序列中第c个样点在原信号子序列X_i中的位置值。

对整个序列中各种排列情况出现的次数进行统计，并计算各种排列情况出现的相对频率作为其概率P₁，P₂，…，P_k，k≤n！，由熵的定义计算出排列组合熵：

$H\left(n\right)=-\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{P}_i\lg P_i---\left(5\right)$

由式(5)可以看出，如果整个序列是周期性的，那么它的排列组合熵就为0；如果是白噪声序列，那么各种排列组合情况都会以等概率出现，它的排列组合平均熵就为lg(n！)，由于一般的时间序列介于周期序列和随机序列之间，所以它们的排列组合熵范围满足0≤H(n)≤lg(n！)。因此，可以将排列组合熵进行归一化：

H′(n)＝H(n)/lg(n！)(6)

从排列组合熵的计算原理得出，脑电信号和肌电信号排列组合熵直接反映了肢体运动时生理电活动的变化，可以作为识别运动模式的有效特征，同时排列组合熵反映的是时间序列排列组合模式的概率的大小，而与信号的量级无关，实现了将信号幅值范围不同的脑电信号(0～100μV)和肌电信号(0～6000μV)归一化，可以方便地组合两种信号特征，完成特征层的信息融合，最后在每一帧得到以归一化后的排列组合熵为值的六维特征，以50ms为间隔构成连续时间序列，作为对动作模式的描述。在排列组合熵的计算中还需要确定参数排列数n，当n取5，在较少计算量的情况下得到较好的识别效果。

经典支持向量机是针对两类问题的分类，对于本发明的多种运动模式识别问题，必须重新构造多值分类器来求解。如果在经典支持向量机理论的基础上，重新构造多类别分类模型实现多值分类，选择的目标函数将十分复杂，实现困难，计算复杂度也非常高，因而较少使用。另一种构造方法是通过组合多个二值子分类器来实现多值分类，本发明就是通过构造二叉树结构的多值分类器来实现多种运动模式识别的。二叉树的构建采用先聚类后分类的思想，把与其他类相隔最远的类最先分割出来。

所述的多值支持向量机方法具体是：构建二叉树结构，首先要对假手佩戴者在各类运动模式下提取的六维排列组合熵特征样本集合进行聚类和排序处理。对于一个包含a₁，a₂，…，a_m共m类的分类问题，首先定义a_i和a_j两个类中最近的两个样本间的欧氏距离作为类间距离，即：

δ_i，j＝min{||x_a-x_b||，x_a∈a_i，x_b∈a_j}(6)

对每个类分别计算与其他类的距离值，并把这些值按由小到大的顺序重新编号排列，例如，对于a_i类可以得到m-1个与其他类的类间距离值δ_i，j(j＝1，2，…，m，j≠i)，按由小到大的顺序排列为： $d_i^1\≤d_i^2\≤\·\·\·\≤d_i^j\≤\·\·\·\≤d_i^{m-1};$ 其次比较 $d_i^1(i-\mathrm{1,2},...,m)$ 的值并按由大到小的顺序对相应的类进行排序，若相等，则继续比较d_i ²的大小，依次下去；如果所有的值都相等，则把类标号中小的类排前面，类标号大的排后面。最终得到一个对所有类的重新排列b₁，b₂，…，b_m，按类标号排序可生成如图2所示的二叉树，图中的m＝7。

将各类排序后，就可以构造二叉树内各节点的最优超平面，首先以b₁类动作模式样本为正样本集，b₂，…，b_m类动作模式样本为负样本集，构造根节点处的二值支持向量机子分类器，支持向量机的内积函数采用径向基内积函数。然后以b₂类动作模式样本为正样本集，b₃，…，b_m类动作模式样本为负样本集，构造第二个内节点的二值子分类器。依次下去，可得到基于二叉树的多类别支持向量机的分类结构。

利用上述方法，基于脑电/肌电的运动模式识别可以分为学习和识别两个阶段。如图3所示，图中带箭头实线为识别阶段，带箭头虚线为学习阶段。首先计算脑电/肌电信号的排列组合熵，然后进行特征融合生成特征向量，在学习阶段使用已知动作模式类别的特征向量构成样本集来构造二叉树分类器。在识别阶段，则将提取融合后特征序列中的每个特征向量依次输入到分类器，从根节点开始逐级进行二值分类，直到确定每个时刻对应的动作模式类别。

当佩戴三自由度肌电假手的残疾人需要控制假手动作时，由于残疾人所拥有的“幻肢”感，只需要像健康人所意图控制的那样做对应的动作，脑电/肌电假手将根据对应手部动作的两路脑电和四路肌电信号，在判断、识别的基础上，控制假手完成相应的动作：腕部上翻运动控制意识，假手同步完成伸腕动作；腕部下翻运动控制意识，假手同步完成屈腕动作；腕部外旋运动控制意识，假手同步完成手腕外旋；腕部内旋运动控制意识，假手同步完成手腕内旋；五指伸展运动控制意识，假手手部张开；握拳运动控制意识，假手手部合拢；手部放松意识，假手不做任何动作。避免传统商用的多自由度肌电假手需要通过多次切换才能达到多自由度假手的控制的情况，实现了三自由度假手六个动作的实时控制。

本发明通过接收四股肌肉(尺侧腕伸肌、尺侧腕屈肌、指伸肌和旋前方肌)对应的SEMG、以国际脑电图学会标准10-20导联系统确定的脑中C3、C4两路脑电信号通过融合处理来实现三自由度假手的六个动作、七种模式的识别。六个动作指的是假手的张开、合拢、腕伸、腕屈、腕外旋、腕内旋；七种模式是指六个动作对应的模式再加上无动作模式；无运动意识时，四股肌肉处于松弛状态，大脑也无动作意识，假手不动作。

Claims (2)

1、脑电肌电联合控制的电动假手，包括N个肌电拾电传感器和M个脑电拾电传感器，其中2≤N≤4、2≤M≤4，其特征在于：每个肌电拾电传感器包括置于人体残臂上的三个肌电拾电电极和与肌电拾电电极信号连接的当地化的肌电初级放大电路；肌电初级放大电路的输出端分别与对应的肌电二次处理电路连接，肌电二次处理电路包括后级放大和滤波两个电路，肌电二次处理电路的输出端与A/D转换电路的输入端连接；每个脑电拾电传感器包括置于人体头顶的脑电拾电电极和置于人体耳部的参考电极、与脑电拾电电极和参考电极连接的脑电初级放大电路，脑电初级放大电路的输出端与脑电信号二次处理电路连接，脑电二次处理电路包括了后级放大和滤波两个电路，脑电二次处理电路输出端与A/D转换电路的输入端连接；三个电机分别与对应的驱动电路连接，微处理器分别与A/D转换电路的输出端、驱动电路的输入端信号连接。

2、如权利要求1所述的电动假手的控制方法，其特征在于该控制方法具体是：肌电拾电传感器分别采集来自人体残臂各点的表面肌电信号，经过放大、滤波、A/D转换处理后输入微处理器中；脑电拾电传感器分别采集来自人体头顶和耳部的脑电信号，经过放大、滤波、A/D转换处理后输入微处理器中；微处理器对处理后的表面肌电信号和脑电信号进一步处理，实现对三自由度电动假手的控制：

首先计算定长信号序列的排列组合熵作为脑电和肌电信息的特征，并在归一化的基础上完成信息特征融合；其次，该融合结果作为输入值，通过二叉树结构的多值支持向量机方法实现手部运动模式识别，得到三自由度电动假手的六个动作模式和一个无动作模式；根据识别结果，微处理器输出三路控制信号，经驱动电路带动电动假手的三个电机完成三自由度电动假手的六个动作，其中无动作模式对应三自由度电动假手的静止；

所述的排列组合熵的具体方法是：对于采集得到的脑电和肌电信号定长的一维时间序列{x(t)，t＝1，2…T}，在序列中每隔一个样点取连续n个样点X_i＝[x(i)，x(i+1)，…，x(i+n-1)]构成子序列，随机的X_i进行升序排列有n！种排列组合的方式，其中X_i的某一种排列组合方式可表示为：

{(j₁，…，j_c，…，j_n)，[x(i+j₁-1)…，≤x(i+j_c-1)≤，…，≤x(i+j_n-1)]}  (1)

其中，j_c表示排序后子序列中第c个样点在原信号子序列X_i中的位置值；

对整个序列中各种排列情况出现的次数进行统计，并计算各种排列情况出现的相对频率作为其概率P₁，P₂，…，P_k，k≤n！，计算出排列组合熵：

$H\left(n\right)=-\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{P}_i\lg P_i$

将排列组合熵进行归一化：

H′(n)＝H(n)/1g(n！)      (3)

脑电信号和肌电信号排列组合熵直接反映了肢体运动时生理电活动的变化，作为对动作模式信息的描述；

所述的二叉树结构的多值支持向量机方法具体是：动作模式包含a₁，a₂，…，a_m共m个类，每个类中包含s个样本，通过对所有类别的聚类和排序处理构建二叉树分类结构，5≤s≤10；

首先，计算每个类中的各个样本与其他类中的各个样本间的欧氏距离，将两个类中样本间欧氏距离的最小值作为这两个类的类间距离，对每个类相对于其他类的类间距离由小到大的顺序重新编号排列；

其次，按照每个类相对于其他类的最小类间距离，按由大到小的顺序将类进行排序；如果最小类间距离相等，则按次小类间距离由大到小的顺序将最小类间距离相等的类进行排序，依次下去；如果所有对应的类间距离相等，则按类的标号由小到大的顺序将类进行排序；最终得到一个对所有类的重新排列b₁，b₂，…，b_m，根据类的标号排序生成二叉树；

根据类的标号排序生成的二叉树，构造二叉树内各节点的最优超平面：首先以b₁类动作模式样本为正样本集，b₂，…，b_m类动作模式样本为负样本集，构造根节点处的二值支持向量机子分类器，支持向量机的内积函数采用径向基内积函数；然后以b₂类动作模式样本为正样本集，b₃，…，b_m类动作模式样本为负样本集，构造第二个内节点的二值子分类器；依次下去，得到基于二叉树的多类别支持向量机的分类结构。

Images