CN102629156A - 一种基于Matlab和DSP的运动想象脑机接口实现方法 - Google Patents

Abstract

本发明涉及一种基于Matlab和DSP的运动想象脑机接口实现方法，包括进行Matlab仿真和DSP具体应用，其中Matlab仿真部分包括三个大步骤：首次训练—建立识别模型、模型更新—建立更新识别模型、在线仿真—建立最佳识别模型。DSP具体应用：将Matlab仿真部分得到的最佳识别模型，以C语言代码为基础进行具体实现，进而在线应用，具有速度快、效率高、体积小，面向脑机接口实际应用的特点。该实现方法具有功能全面、操作简单、可实现性强的特点。本发明能够为为脑机接口用户的训练和具体使用奠定基础。

Description

一种基于Matlab和DSP的运动想象脑机接口实现方法

技术领域

本发明涉及一种基于Matlab和DSP的运动想象脑机接口实现方法。可对人和计算机识别模型进行交互训练，训练后得到最佳识别模型，进而以C语言代码为基础在DSP上进行具体实现，达到脑机接口实际应用目的。

背景技术

脑机接口是指通过电极从头皮或颅内获得含有控制意图的脑电信号，经过特征提取与分类，识别出不同的用户意图，并将之转化为能够控制外部设备的命令。脑机接口不仅在残疾人康复、老年人护理方面具有显著的优势，而且在军事、人工智能、娱乐等方面也具有广阔的应用前景。在应用之前需要对人和计算机识别模型进行大量交互训练，然而现有的大部分训练软件与特定的硬件绑定，价格昂贵，缺乏通用性。少量训练软件尽管具有通用性，但这些开源软件系统结构复杂，只能在实验室使用，和实际应用还有相当的距离。目前并没有一种方便实用的交互训练软件及脑机接口面向应用的具体实现方法。

为了解决以上存在的问题，人们一直在寻求一种更为合理的方案。

发明内容

本发明的目的在于提供一种基于Matlab和DSP的运动想象脑机接口实现方法，针对现有脑机接口系统的不足，采用MATLAB编写了一套能够实现人机交互训练的仿真软件，该软件通过TCP/IP接收脑电数据，利用Matlab的强大数学计算能力，实现脑电信号的接收、保存、特征提取、分类识别等复杂算法，通过人机交互训练，获得更有效、稳定的分类识别模型。将MATLAB得到的模型最终在DSP平台上具体应用。该实现方法具有通用性强、速度快、效率高、面向实际应用的特点，为脑机接口走向实际应用奠定基础。

为了实现上述目的，本发明采用下述技术方案：

一种基于Matlab和DSP的运动想象脑机接口实现方法，包括进行Matlab仿真和DSP具体应用，其特征在于：所述Matlab仿真包括三个大步骤：首次训练模块----建立识别模型、模型更新----建立更新识别模型、在线仿真----建立最佳识别模型。所述首次训练----建立识别模型让实验者执行选择的运动想象任务，通过对采集到的脑电信号进行离线分析，建立首次识别模型。模型更新----建立更新识别模型：装载识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，通过调整自身以产生更易识别的脑电信号，再次进行离线分析，建立更新识别模型。在线仿真----建立最佳识别模型：装载不同的更新识别模型，对特定的控制对象进行实时在线仿真，通过仿真结果选择最佳识别模型，为DSP具体实际应用做好准备。DSP具体应用：将Matlab仿真部分得到的最佳识别模型，以C语言代码为基础进行具体实现，进而在线应用，具有速度快、效率高、体积小，面向脑机接口实际应用的特点。

上述首次训练----建立识别模型采用Matlab实现，可允许实验者设置训练次数及运动想象的时间长度，能够让实验者依据个人特点，选择要执行的运动想象任务种类，然后根据系统提示，执行对应的运动想象任务，实现特定运动想象任务脑电信号的采集与保存。可装载采集的脑电数据，选择指定的特征提取和分类方法，进行分析处理，建立首次识别模型，并给出该模型对应的识别精度。程序流程图如图2所示，具体实现步骤为：

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、训练次数、训练任务选择、特征提取方法选择、分类方法选择、交叉验证倍数和数据处理时间域。这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务。MATLAB界面提示向左箭头时执行左手运动想象任务、向右箭头时执行右手运动想象任务、向下箭头时执行右脚运动想象任务、向下双箭头时执行双脚运动想象任务。最终实验数据以.mat形式保存；

3)离线分析：对已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存首次识别模型。

预处理：对实验数据进行通道选择、提取时间处理窗口、降频。

特征提取：可选择不同的特征提取方法提取特征向量。包括共同空间模式（CSP）、小波包分解（WPD）与共同空间模式相结合的特征提取方法、功率谱密度（PSD）、自回归（AR）模型、基于希尔伯特变换（HHT）的特征提取方法。

分类识别：可选择不同的分类识别方法训练首次识别模型。包括线性判别分析（LDA）、二次判别分析(QDA)、K近邻(KNN)、贝叶斯（BAYES）、决策树（DT）、概率神经网络（PNN）、支持向量机(SVM)等分类识别方法。

交叉验证：对训练的首次识别模型进行交叉验证，并输出识别正确率。

上述模型更新----建立更新模型：采用Matlab实现，可装载首次识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，可选择滚动条、虚拟人等不同的反馈方式，通过不断调整自身，产生更易识别的脑电信号，使实验者适应计算机识别模型，进而提高识别精度。同时可比较不同反馈方式对改善识别精度的效果。通过对新采集到的脑电信号再次进行离线分析，建立更新识别模型。更新过程可反复进行，直到获得预定的识别正确率且稳定，使计算机模型适应实验者。程序流程图如图3所示，具体实现步骤为:

1)参数设置：在上述首次训练模块的参数设置部分基础上，增加了反馈方式选择、初始模型选择、滑动窗口长度、滑动窗口间隔。这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务。在执行想象任务的同时，通过预先选定的首次训练模型进行在线分类识别，以设置的反馈方式实时反馈给实验者。反馈方式包括进度条反馈、指示条反馈、虚拟人反馈。实验者依据反馈方式调整自身以产生更容易识别的脑电信号。

3)离线分析：对具有反馈情况下已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存更新识别模型。具体实现同上述首次训练模块的离线分析部分

4)循环往复：将1）、2）、3)反复进行，直到获得预定的正确率且稳定，最后将该正确率对应的识别模型保存.

上述在线仿真----建立最佳识别模型：采用Matlab实现，可装载更新识别模型，让实验者选择特定的控制对象完成控制任务，可以控制虚拟小车左传、右转、向前运动。通过控制任务的仿真操作，给出实验者控制速度和精度。对同一个控制任务选择不同的更新模型，比较控制效果，从而使实验者选择最为适合自身的识别模型。程序流程图如图4所示，具体实现步骤为:

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、控制对象选择、仿真系统IP及端口号、发送命令间隔、模型选择这些在MATLAB中通过对相应控件编程实现；

2)在线仿真：脑电信号通过模型更新模块获取的识别模型实时进行特征提取，分类。将分类结果通过TCP/IP传输给选择的控制对象，实现特定的运动。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著进步：

（1）实现交互训练：通过具有实时反馈功能的训练系统，实现了在对BCI系统进行训练的同时，让实验者可以不断调整自身状态产生更具特征的EEG信号，大大缩短了训练时间。

（2）提供多种特征提取与分类识别方法，可比较各种算法的优劣，在不断的交互训练过程中寻找一种适合实验者的模式识别方法，从而提高BCI系统的识别正确率。

（3）基于MATLAB的开放平台，随着BCI研究的不断深入可方便的加入各种算法和仿真应用，具有良好的可扩展性。

上述DSP具体应用采用TMS320C6747 DSP ，具有行业领先的高性能、低功效以及长期的 DSP 经验积累。该平台的处理和低功耗功能非常适合于医疗、测试和测量、高端计算等应用。能满足脑机接口对处理器的要求，为脑机接口面向于实际应用奠定基础。以C语言代码为基础进行具体实现，进行在线应用，对虚拟小车进行控制，可以比较MATLAB仿真控制和DSP控制的控制速度和精度，为面向脑机接口实际应用奠定基础。方法具有功能全面、操作简单、可实现性强的特点。

附图说明

图1是本发明总流程框图。

图2是本发明首次训练----建立识别模型的流程框图

图3是本发明模型更新----建立更新识别模型的流程框图

图4是本发明在线仿真----建立最佳识别模型的流程框图

图5是本发明具体实施例的主程序界面图

图6是本发明具体实施例的首次训练界面图

图7是本发明具体实施例的模型更新界面图

图8是本发明具体实施例的虚拟人反馈界面图

图9是本发明具体实施例的在线仿真界面图

图10是本发明具体实施例的虚拟车应用系统界面图。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

    参见图一，本基于Matlab和DSP的运动想象脑机接口实现方法，包括进行Matlab仿真和DSP具体应用，其特征在于：所述Matlab仿真包括三个大步骤：首次训练，建立识别模型（1）、模型更新，建立更新识别模型（2）和在线仿真，建立最佳识别模型（3）；所述首次训练，建立识别模型（1）：可以让实验者执行选择的运动想象任务，通过对采集到的脑电信号进行离线分析，建立首次识别模型；所述模型更新，建立更新识别模型（2）：装载识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，通过调整自身以产生更易识别的脑电信号，再次进行离线分析，建立更新识别模型；所述在线仿真，建立最佳识别模型（3）：装载更新识别模型，对特定的控制对象进行实时在线仿真，为DSP具体实际应用做好准备；所述DSP具体应用：将Matlab仿真部分建立的更新识别模型，以C语言代码为基础进行具体实现，进而在线应用，具有速度快、效率高、体积小，面向脑机接口实际应用的特点

实施例二：

    本实施例与实施例一基本相同，特别之处如下：

    所述Matlab仿真的首次训练，建立识别模型（1）允许实验者设置训练次数及运动想象的时间长度，能够让实验者依据个人特点，选择要执行的运动想象任务种类，然后根据系统提示，执行对应的运动想象任务，实现特定运动想象任务脑电信号的采集与保存；可装载采集的脑电数据，选择指定的特征提取和分类方法，进行分析处理，建立首次识别模型，并给出该模型对应的识别精度；具体实现步骤为：

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、训练次数、训练任务选择、特征提取方法选择、分类方法选择、交叉验证倍数和数据处理时间域。这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务。MATLAB界面提示向左箭头时执行左手运动想象任务、向右箭头时执行右手运动想象任务、向下箭头时执行右脚运动想象任务、向下双箭头时执行双脚运动想象任务。最终实验数据以.mat形式保存；

3)离线分析：对已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存首次识别模型。

预处理：对实验数据进行通道选择、提取时间处理窗口、降频。

特征提取：可选择不同的特征提取方法提取特征向量。包括共同空间模式（CSP）、小波包分解（WPD）与共同空间模式相结合的特征提取方法、功率谱密度（PSD）、自回归（AR）模型、基于希尔伯特变换（HHT）的特征提取方法。

分类识别：可选择不同的分类识别方法训练首次识别模型。包括线性判别分析（LDA）、二次判别分析(QDA)、K近邻(KNN)、贝叶斯（BAYES）、决策树（DT）、概率神经网络（PNN）、支持向量机(SVM)等分类识别方法。

交叉验证：对训练的首次识别模型进行交叉验证，并输出识别正确率。

所述Matlab仿真的模型更新，建立识别模型（2）：装载首次识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，可选择滚动条、虚拟人不同的反馈方式，通过不断调整自身，产生更易识别的脑电信号，使实验者适应计算机识别模型，进而提高识别精度。同时可比较不同反馈方式对改善识别精度的效果；通过对新采集到的脑电信号再次进行离线分析，建立更新识别模型；更新过程可反复进行，直到获得预定的识别正确率且稳定，使计算机模型适应实验者；具体实现步骤为：

1)参数设置：在上述首次训练模块的参数设置部分基础上，增加了反馈方式选择、初始模型选择、滑动窗口长度、滑动窗口间隔。这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务。在执行想象任务的同时，通过预先选定的首次训练模型进行在线分类识别，以设置的反馈方式实时反馈给实验者。反馈方式包括进度条反馈、指示条反馈、虚拟人反馈。实验者依据反馈方式调整自身以产生更容易识别的脑电信号。

3)离线分析：对具有反馈情况下已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存更新识别模型。具体实现同上述首次训练模块的离线分析部分，

4)循环往复：将1）、2）、3)反复进行，直到获得预定的正确率且稳定，最后将该正确率对应的识别模型保存。

所述Matlab仿真的在线仿真，建立最佳识别模型（3）：装载更新识别模型，让实验者选择特定的控制对象完成控制任务，控制虚拟小车左传、右转、向前运动；通过控制任务的仿真操作，给出实验者控制速度和精度；对同一个控制任务选择不同的更新模型，比较控制效果，从而使实验者选择最为适合自身的识别模型；具体实现步骤为：

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、控制对象选择、仿真系统IP及端口号、发送命令间隔、模型选择这些在MATLAB中通过对相应控件编程实现；

2)在线仿真：脑电信号通过模型更新模块获取的识别模型实时进行特征提取，分类。将分类结果通过TCP/IP传输给选择的控制对象，实现特定的运动。

实施例三：

本发明的一个优选实施例结合附图详述如下：

本实施例想象左手右手作为训练任务，以自回归（AR）模型作为特征提取方法，以线性判别分析（LDA）作为分类识别方法，以虚拟人反馈作为反馈方式，以虚拟车控制系统作为仿真应用，进行运动想象脑机接口实验。具体操作步骤如下：

1）实验者佩戴好脑电电极帽，注入导电膏，将电极帽和脑电放大器连接，进而接入计算机，准备好所有的硬件连接。打开本发明主程序。

2）参见图5主程序模块界面。点击“首次训练模块”按键，进入首次训练模块；

3）参见图6首次训练模块界面。

  a）设置训练参数：单次采样时长（必须为40的倍数），设置放大器：IP和端口，设置实验者ID，训练次数，选择“左手和右手”训练任务；

  b）点击“训练”即可开始相应的训练；当界面提示向左箭头时，执行左手运动想象任务，向右箭头时执行右手运动想象任务，达到设定的训练次数后，训练结束，保存相应的实验数据。

  c）设置离线分析参数：装载待分析的脑电数据(.mat)，设定待分析的时间长度，选择特征提取方法为以自回归（AR）模型，选择分类识别方法线性判别分析（LDA），设置交叉验证倍数；

  d) 点击“建立模型”即离线分析，按照选定的自回归（AR）模型和性判别分析（LDA），对脑电数据进行特征提取和分类，获取交叉验证的正确率和首次识别模型；

  e）点击“退出”即可返回图5主程序模块界面；在图5主程序模块界面中点击“更新系统模块”按键，进入更新系统模块。

4）参见图7 更新训练模块界面。

a）设置更新参数：与训练参数相比增加了反馈方式选择、首次识别模型选择、滑动窗口长度、滑动窗口间隔；

b）点击“训练”即可开始具有反馈功能的训练，当界面提示向左箭头时，执行左手运动想象任务，向右箭头时执行右手运动想象任务。在训练的同时实时采集EEG数据，依据选定的首次识别模型，对脑电信号进行特征提取和分类识别，将分类结果写入Access数据库，虚拟人反馈系统（如图8）每隔300ms顺序读取Access数据库中的指令，控制虚拟人的左臂或右臂运动，当识别结果为右手运动想象时控制右臂运动，为左手运动想象时控制左臂运动。虚拟人反馈方式则相对比较直观，虚拟人动作反馈与受试者的想象运动具有一致性且虚拟现实环境的沉浸感和实时交互性使受试者在逼真的训练环境中更容易及时调整自己，从而产生合适的脑电信号。达到设定的训练次数后，训练结束，保存相应的实验数据。

  c）设置离线分析参数：装载更新阶段的实验数据，其余设置与上述3）的c）设置相同；

d）点击“建立模型”即离线分析，上述3）的d）相同，获取交叉验证的正确率和更新识别模型；

e）反复进行上述4）的a）—d），直到获得预定的识别正确率且稳定为止，最后得到多个有效的更新识别模型；

f）点击“退出”即可返回图5主程序模块界面；在图5主程序模块界面中点击“在线仿真模块”按键，进入在线仿真模块；

5）参见图9在线仿真模块界面。

a）设置仿真参数：采样时长（必须为40的倍数），设置放大器：IP和端口，设置实验者ID，发送命令间隔，仿真系统选择，仿真系统IP和端口，选择更新模块得到更新识别模型；

b）点击“开始”即可对实时采集脑电信号进行特征提取和分类识别。将识别结果通过TCP/IP协议发送至虚拟车应用系统（如图10）。虚拟小车根据接收的EEG控制命令沿着路径运动，通过碰撞检测的结果，描述系统控制的准确率；

c）反复进行上述5）的a）—b），试验更新阶段不同模型的控制效果，直到实验者认为满意的效果为止，从多个更新识别模型中选出并保存控制效果最佳的最佳识别模型；

d）完成在线仿真后点击“退出”即可返回图5主程序模块界面。

6）DSP具体应用：实时采集EEG信号，依据仿真阶段得到的最佳识别模型，采用TMS320C6747DSP ，以C语言代码为基础进行具体实现，DSP的分析结果通过TCP/IP传输给虚拟小车，对小车运行进行控制，为具体应用奠定基础。

Claims (5)

1.一种基于Matlab和DSP的运动想象脑机接口实现方法，包括进行Matlab仿真和DSP具体应用，其特征在于：所述Matlab仿真包括三个大步骤：首次训练，建立识别模型（1）、模型更新，建立更新识别模型（2）和在线仿真，建立最佳识别模型（3）；所述首次训练，建立识别模型（1）：可以让实验者执行选择的运动想象任务，通过对采集到的脑电信号进行离线分析，建立首次识别模型；所述模型更新，建立更新识别模型（2）：装载识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，通过调整自身以产生更易识别的脑电信号，再次进行离线分析，建立更新识别模型；所述在线仿真，建立最佳识别模型（3）：装载更新识别模型，对特定的控制对象进行实时在线仿真，为DSP具体实际应用做好准备；所述DSP具体应用：将Matlab仿真部分建立的更新识别模型，以C语言代码为基础进行具体实现，进而在线应用，具有速度快、效率高、体积小，面向脑机接口实际应用的特点。

2.根据权利要求1所述的一种基于Matlab和DSP的运动想象脑机接口实现方法，其特征在于：所述Matlab仿真的首次训练，建立识别模型（1）允许实验者设置训练次数及运动想象的时间长度，能够让实验者依据个人特点，选择要执行的运动想象任务种类，然后根据系统提示，执行对应的运动想象任务，实现特定运动想象任务脑电信号的采集与保存；可装载采集的脑电数据，选择指定的特征提取和分类方法，进行分析处理，建立首次识别模型，并给出该模型对应的识别精度；具体实现步骤为：

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、训练次数、训练任务选择、特征提取方法选择、分类方法选择、交叉验证倍数和数据处理时间域；这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务；MATLAB界面提示向左箭头时执行左手运动想象任务、向右箭头时执行右手运动想象任务、向下箭头时执行右脚运动想象任务、向下双箭头时执行双脚运动想象任务；

最终实验数据以.mat形式保存；

3)离线分析：对已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存首次识别模型；

预处理：对实验数据进行通道选择、提取时间处理窗口、降频；

特征提取：可选择不同的特征提取方法提取特征向量；包括共同空间模式（CSP）、小波包分解（WPD）与共同空间模式相结合的特征提取方法、功率谱密度（PSD）、自回归（AR）模型、基于希尔伯特变换（HHT）的特征提取方法；

分类识别：可选择不同的分类识别方法训练首次识别模型；

包括线性判别分析（LDA）、二次判别分析(QDA)、K近邻(KNN)、贝叶斯（BAYES）、决策树（DT）、概率神经网络（PNN）、支持向量机(SVM)等分类识别方法；

交叉验证：对训练的首次识别模型进行交叉验证，并输出识别正确率。

3.根据权利要求1所述的一种基于Matlab和DSP的运动想象脑机接口实现方法，其特征在于：所述Matlab仿真的模型更新，建立识别模型（2）：装载首次识别模型，让实验者在执行运动想象任务的同时获取在线实时反馈，可选择滚动条、虚拟人不同的反馈方式，通过不断调整自身，产生更易识别的脑电信号，使实验者适应计算机识别模型，进而提高识别精度；

同时可比较不同反馈方式对改善识别精度的效果；通过对新采集到的脑电信号再次进行离线分析，建立更新识别模型；更新过程可反复进行，直到获得预定的识别正确率且稳定，使计算机模型适应实验者；具体实现步骤为：

1)参数设置：在上述首次训练模块的参数设置部分基础上，增加了反馈方式选择、初始模型选择、滑动窗口长度、滑动窗口间隔；

这些在MATLAB中通过对相应控件编程实现；

2)执行运动想象任务：实验者按系统提示进行运动想象任务；在执行想象任务的同时，通过预先选定的首次训练模型进行在线分类识别，以设置的反馈方式实时反馈给实验者；

反馈方式包括进度条反馈、指示条反馈、虚拟人反馈；

实验者依据反馈方式调整自身以产生更容易识别的脑电信号；

3)离线分析：对具有反馈情况下已保存的实验数据的预处理、特征提取、分类识别、交叉验证，最终输出正确率并保存更新识别模型；具体实现同上述首次训练模块的离线分析部分；

4)循环往复：将1）、2）、3)反复进行，直到获得预定的正确率且稳定，最后将该正确率对应的识别模型保存。

4.根据权利要求1所述的一种基于Matlab和DSP的运动想象脑机接口实现方法，其特征在于：所述Matlab仿真的在线仿真，建立最佳识别模型（3）：装载更新识别模型，让实验者选择特定的控制对象完成控制任务，控制虚拟小车左传、右转、向前运动；通过控制任务的仿真操作，给出实验者控制速度和精度；对同一个控制任务选择不同的更新模型，比较控制效果，从而使实验者选择最为适合自身的识别模型；具体实现步骤为：

1)参数设置：需要设置的信息包括单次采样时长、放大器IP及端口、通道选择、实验者ID、控制对象选择、仿真系统IP及端口号、发送命令间隔、模型选择这些在MATLAB中通过对相应控件编程实现；

2)在线仿真：脑电信号通过模型更新模块获取的识别模型实时进行特征提取，分类；将分类结果通过TCP/IP传输给选择的控制对象，实现特定的运动。

5.根据权利要求1所述的一种基于Matlab和DSP的运动想象脑机接口实现方法，其特征在于：所述DSP具体应用：将通过Matlab仿真筛选的最佳识别模型，以C语言代码为基础进行具体实现，进行在线应用，对虚拟小车进行控制，可以比较MATLAB仿真控制和DSP控制的控制速度和精度，为面向脑机接口实际应用奠定基础。

Images