CN106598243B - 一种多模态自适应光标控制方法及系统 - Google Patents

Abstract

本发明公开了一种多模态自适应光标控制方法及系统，该方法包括：分别采集舌部运动磁传感器信号和脑电信号；将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号利用融合后的光标控制信号控制显示器中的光标运动。该方法实现提升光标控制的准确性。

Description

一种多模态自适应光标控制方法及系统

技术领域

本发明涉及人工智能技术领域，特别是涉及一种多模态自适应光标控制方法及系统。

背景技术

目前，肌萎缩侧索硬化(amyotrophic lateral sclerosis，ALS)是一种累及上下运动神经元及其支配的躯干、四肢和头部肌肉的慢性进行性神经退化疾病。ALS一般临床表现为：患者在意识清醒的状态下，由下肢开始到上肢、躯干逐渐丧失运动能力，十分痛苦。ALS全球发病率为5-10人/10万，部分地区患病率更高。我国患者人数在7万以上,给家庭和社会带来沉重的负担。因此，研发有效的医疗辅助系统帮助ALS患者与外界沟通或实现运动控制有着重大的实用价值。

为帮助ALS患者与外界沟通，用一块小磁铁固定舌尖上，就可以通过布置在口腔周围的传感器检测到舌部运动时引起的磁场变化，上述小磁铁被简化为单点磁极子，通过求解磁极子模型获得舌部运动参数，如舌部运动的速度和轨迹，通过舌部运动的参数实现光标控制。另外也可以采用脑机接口(Brain-Computer Interface,BCI)，脑机接口是一种人工搭建的不依赖于大脑外周神经细胞与肌肉组织的独立信息传输通道，大脑可通过脑机接口直接与外部设备进行信息交互，目前大多数脑机接口基于脑电信号分类生成离散的控制信号，不便于光标的灵活控制。

在ALS发病前期，患者舌部运动正常，可以采用磁极子定位技术解码舌部运动参数，实现光标或机械臂控制，但是在ALS发病过程中，患者舌部运动能力逐渐丧失，磁极子定位方法对光标的控制精确度逐渐降低，直到ALS患者舌部运动丧失，失去对光标控制，光标控制的准确性较低。使用脑机接口技术实现光标控制虽然不受外围肌肉神经组织损伤的影响，但是它的局限在于：少数的脑机接口研究实现了基于脑电信号的上肢运动参数(包括轨迹和速度)的解码，但离实用还有一定距离。因为，这些研究的训练数据采集自健康人群，而对于ALS患者，肢体运动训练数据往往无法获得，并且现有脑机接口技术实现光标控制的准确性较低，在ALS患者运动系统没有彻底失效前，比如舌部和眼睛尚能运动时，仅依靠噪声多、不平稳的脑电信号来控制光标，并不是最好的选择。综上所述，基于磁定位技术的舌部运动跟踪技术和基于脑电信号的肢体运动参数解码技术各有利弊，但均不能兼顾不同阶段的ALS辅助控制需要，两者对光标控制的准确性均较低。

发明内容

本发明的目的是提供一种多模态自适应光标控制方法及系统，以实现提升光标控制的准确性。

为解决上述技术问题，本发明提供一种多模态自适应光标控制方法，该方法包括：

分别采集舌部运动磁传感器信号和脑电信号；

将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；

通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

利用融合后的光标控制信号控制显示器中的光标运动。

优选的，所述融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

优选的，所述方法还包括：

对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

优选的，所述方法还包括：

当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。

本发明还提供一种多模态自适应光标控制系统，该系统包括：

磁传感器信号采集模块，用于采集舌部运动磁传感器信号并传输至主控模块；

脑信号采集模块，用于采集脑电信号并传输至主控模块；

数字信号处理模块，用于从主控模块获取舌部运动磁传感器信号，将舌部运动磁传感器信号转换为第一光标控制信号x₁并发送至主控模块，从主控模块中获取脑电信号，将脑电信号转换为第二光标控制信号x₂并发送至主控模块；

主控模块，用于通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

终端显示及交互模块，用于利用融合后的光标控制信号控制显示器中的光标运动。

优选的，所述融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

优选的，所述系统还包括：

数据存储模块，用于对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

优选的，所述系统还包括：

校正模块，用于当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。

本发明所提供的一种多模态自适应光标控制方法及系统，分别采集舌部运动磁传感器信号和脑电信号；将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号利用融合后的光标控制信号控制显示器中的光标运动。可见，采用自适应加权融合算法得到融合后的光标控制信号，控制显示器中的光标运动，如此对磁定位和脑机接口两种模态的信号结果进行加权融合，满足ALS患者各阶段对光标控制的需要，通过融合磁定位和脑机接口两种模态，使用两种模态加权融合实现光标控制，提升光标控制的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种多模态自适应光标控制方法的流程图；

图2为信号融合原理示意图；

图3为本发明所提供的一种多模态自适应光标控制系统的结构示意图；

图4为多模态自适应光标控制系统原理框图。

具体实施方式

本发明的核心是提供一种多模态自适应光标控制方法及系统，以实现提升光标控制的准确性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种多模态自适应光标控制方法的流程图，该方法包括：

S11：分别采集舌部运动磁传感器信号和脑电信号；

S12：将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；

S13：通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

S14：利用融合后的光标控制信号控制显示器中的光标运动。

可见，该方法采用自适应加权融合算法得到融合后的光标控制信号，控制显示器中的光标运动，如此对磁定位和脑机接口两种模态的信号结果进行加权融合，满足ALS患者各阶段对光标控制的需要，通过融合磁定位和脑机接口两种模态，使用两种模态加权融合实现光标控制，提升光标控制的准确性。

基于上述方法，步骤S12中，通过求解磁极子模型将舌部运动磁传感器信号转换为舌部运动参数，然后通过转换算法将舌部运动参数转换为光标控制参数x₁。步骤S12中，从脑电信号中提取特征值，依据特征值建立用于由脑电信号转换为舌部运动参数的解码模型，利用解码模型对脑电信号进行解码得到舌部运动参数，通过转换算法将舌部运动参数转换为光标控制参数x₂。

其中，融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

具体的，自适应加权融合算法为：在使基于磁定位和脑机接口的两种光标控制信号x₁和x₂的总均方误差最小的原则下，根据各个模态所得到的光标控制信号以自适应的方式寻找各个模态所对应的最优加权值，使融合后的光标控制信号达到最优。参考图2，图2为信号融合原理示意图。假设使用磁定位和脑机接口两种模态分别跟踪给定光标控制信号x，得到两组计算出来的光标控制信号x₁和x₂，x₁和x₂是x的无偏估计，均方误差分别为δ₁ ²和δ₂ ²，并且相互独立，则融合后的值和加权值满足以下两式：

w₁+w₂＝1；

其中，w₁和w₂分别对应两种模态的加权值。

得到的总均方误差如下：

以总均方误差δ²为最小为目标，可推导最优权值w如下：

于是对光标控制信号的计算公式为：

进一步的，所述方法还包括：对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

进一步的，所述方法还包括：当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。

在实际测量时，磁定位和脑机接口两种模态计算出来的光标控制信号x₁和x₂均存在基线漂移，因此对基线漂移校正，由上式光标控制信号的计算公式可得：

从上式可以看出最优加权值是由各模态信号的均方误差δ₁ ²和δ₂ ²决定；上式中校正值b₁和b₂分别是光标控制信号x₁和x₂的基线漂移量，即x₁和x₂的误差均值。δ₁ ²、δ₂ ²、b₁和b₂的估计算法如下：

通过磁定位和脑机接口两种模态跟踪给定光标控制信号x，得到两种模态解码出来的光标控制信号x₁和x₂，假设所对应的观测误差分别为v₁和v₂，得到如下式子：

x₁＝x+v₁；x₂＝x+v₂；

两种光标控制信号x₁和x₂的平均误差：

b₁＝E[v₁]＝E[x₁-x]；b₂＝E[v₂]＝E[x₂-x]；

两种光标控制信号x₁和x₂的均方误差为：

δ₁ ²＝E[(x₁-x-b₁)²]；δ₂ ²＝E[(x₂-x-b₂)²]。

基于预定光标轨迹的δ₁ ²、δ₂ ²、b₁和b₂估计的触发条件如下：首先分别根据磁定位和脑机接口模态实现舌部运动参数解码，产生光标控制信号；然后，每隔一定时间计算一次磁定位和脑机接口模态所产生光标控制信号的相关系数r(t)。当相关系数的变化量：c(t)＝|r(t)-r(t-1)|超过设定门限时，说明至少一种模态信号的误差发生了明显变化(比如在ALS患者舌部运动功能丧失速度增大时，基于磁定位的光标控制信号与期望光标控制信号之间的偏差显著增大)，此时需要更新权值和校正值，即重新估计δ₁ ²、δ₂ ²、b₁和b₂。

本发明旨在自适应地帮助不同阶段的ALS患者与外界沟通。在本发明中，采用多模态加权融合策略，使用两种模态加权融合实现光标控制，控制显示器中的光标运动，实现ALS患者与外界的沟通。在本发明中，使用两种模态：第一种模态使用磁定位技术解码舌部运动，转换舌部运动参数为光标控制参数，实现对光标的控制；第二种模态使用脑机接口技术，通过脑电信号解码舌部运动参数，舌部运动参数转换为光标控制参数，实现对光标的控制。通过对两种模态加权融合，同时针对ALS患者不同阶段，自动检测更新权值，获取融合后的光标控制参数，实现对光标的最优控制。光标控制的良好实现，将帮助ALS患者通过计算机软件、轮椅或机械臂等实现与外界的交流。

本发明基于自适应滤波方法对磁定位和脑机接口两种模态的解码结果进行加权融合，满足ALS患者各阶段对光标控制的需要。通过在线自适应寻找各模态的最优加权值，自动获取ALS患者各阶段最优的光标控制方式。通过融合两种模态，提升光标控制系统的准确性。融合了基于磁定位的舌部运动跟踪和基于脑机接口的舌部运动参数解码两种光标控制模态，并在线调整它们的权重以减小控制误差。

已有的脑机接口研究依据触摸屏等设备记录健康被试者的手部运动参数，为解码模型提供训练信息，但是ALS患者往往已无法正常控制手部运动。本发明通过磁定位技术采集舌部运动参数为脑机接口解码模型提供训练信息。依据均方误差估计的多模态信号加权融合提升了光标控制系统的适应性，满足了ALS各病程的控制需求。

详细的，第一种模态基于磁定位技术实现光标控制。用一块小的永久磁铁固定在舌尖，借助头盔在口腔周围布置的三维磁传感器记录舌部运动所引起磁场变化。由于磁铁的尺寸远小于磁铁和传感器之间的距离，该小磁铁被简化为单点磁极子。通过求解磁极子模型将磁传感信号转换为舌部运动参数，然后通过转换算法将舌部运动参数转换为光标控制参数，从而实现光标控制。这种单极子磁源定位技术比较成熟，解码精度高成本低。

第二种模态基于脑机接口技术实现光标控制。因为与舌部运动相关的脑电节律主要集中在特定频段如α波段(8-14Hz)和β波段(18-26Hz)，而且舌部运动参数在时间上具有较强的前后承接连贯性，所以可以借助希尔伯特黄变换、小波变换等分析手段提取脑电信号的时频特征，然后采用隐马尔科夫链、递归神经网络等方法建立由脑电信号至舌部运动参数的解码模型。解码模型可以通过ALS患者前期相对健康时的数据训练出来，这样解码模型就是基于健康的数据得到。通过上述解码模型解码舌部运动的参数，如速度和轨迹，然后将舌部运动参数转换为光标控制参数，实现对光标的连续控制。

磁定位中的极子模型求解方法有多种，比如基于磁场偏导的线性方法，基于Nelder-Mead搜索的非线性方法，以及基于卡尔曼滤波，粒子滤波的贝叶斯概率模型等。脑电信号特征提取中的时频分析方法不仅可以由相关熵等方法替代，也可以与非负矩阵分解等方法结合。脑电信号解码中的隐马尔科夫链和递归神经网络方法可以由卡尔曼滤波，无迹卡尔曼滤波等方法替换。无论采用哪种舌部运动磁定位或舌部运动脑电解码技术，凡是采用本发明思想进行自适应多模态信号融合的光标控制技术方案，全部视为基于本发明实现。

请参考图3，图3为本发明所提供的一种多模态自适应光标控制系统的结构示意图，该系统包括：

磁传感器信号采集模块101，用于采集舌部运动磁传感器信号并传输至主控模块104；

脑信号采集模块102，用于采集脑电信号并传输至主控模块104；

数字信号处理模块103，用于从主控模块104获取舌部运动磁传感器信号，将舌部运动磁传感器信号转换为第一光标控制信号x₁并发送至主控模块104，从主控模块104中获取脑电信号，将脑电信号转换为第二光标控制信号x₂并发送至主控模块104；

主控模块104，用于通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

终端显示及交互模块105，用于利用融合后的光标控制信号控制显示器中的光标运动。

可见，该系统采用自适应加权融合算法得到融合后的光标控制信号，控制显示器中的光标运动，如此对磁定位和脑机接口两种模态的信号结果进行加权融合，满足ALS患者各阶段对光标控制的需要，通过融合磁定位和脑机接口两种模态，使用两种模态加权融合实现光标控制，提升光标控制的准确性。

基于上述系统，具体的，融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

进一步的，所述系统还包括：数据存储模块，用于对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

进一步的，所述系统还包括：校正模块，用于当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。

图4为多模态自适应光标控制系统原理框图。多模态自适应光标控制系统包含有数字信号处理模块、主控模块、终端显示及交互模块、数据存储模块、信号采集模块。数字信号处理模块为DSP模块，主控模块为现场可编程逻辑阵列FPGA模块，终端显示及交互模块为输入输出I/O模块，数据存储模块为IDE模块，FPGA模块同时与DSP模块、IDE模块、I/O模块以及信号采集模块相连接，DSP模块同时与IDE模块连接。

其中，DSP模块用于处理脑电信号和舌部运动的磁传感信号，包括DSP芯片及相应的DDR3内存、Flash芯片等外围器件，Flash芯片用于固化解码模型，DDR3用于实现数据的高速运算。IDE模块存储脑电信号、舌部运动的磁传感信号、特征向量、光标控制参数以及解码模型。信号采集模块包括一套脑电信号采集装置和一套舌部运动磁定位装置，用于采集脑电信号和舌部运动磁传感信号。I/O模块包括键盘输入接口、液晶显示输出接口、USB数据导入接口、JATG调试接口，提供人机交互机制以及系统管理、维护和升级。

上述DSP模块、信号采集模块、IDE模块和I/O模块，均通过FPGA实现接口适配。DSP芯片包括依次连接的预处理模块、分解模块、特征提取模块、运动参数解码模块、参数转换模块等。

基于本系统，具体实施流程包括：

步骤1.系统启动后，FPGA模块负责调度并完成IDE模块、DSP模块、信号采集模块和I/O模块的自检。

步骤2.FPGA模块调用信号采集模块，分别采集舌部运动磁传感信号和相应脑电信号，并将采集到的两种信号送到DSP模块做预处理。

步骤3.在DSP模块中，经处理的磁传感信号通过磁极子模型重构舌部运动参数，舌部运动参数通过转换算法转换为光标控制信号x₁。

步骤4.在DSP模块中，脑电信号提取特征值，特征值通过早期学习到的解码模型重构舌部运动参数，舌部运动参数通过转换算法转换为光标控制信号x₂。

步骤5.在FPGA模块中，通过自适应加权融合算法融合x₁和x₂，获得估计的光标控制信号FPGA模块通过光标控制信号控制显示器中光标运动。

步骤6.FPGA模块每间隔一段时间比较一次x₁和x₂的相关系数差值的变化量，当变化量超过设定门限，根据自适应加权融合算法中的权值更新方法更新权值，并重新校正基线漂移。

在本发明中，硬件系统的各功能模态可由其他智能硬件替代，比如采用ARM代替FPGA做主控模块，可用FPGA代替DSP实现信号处理。无论采用哪种不同于本发明的智能硬件，凡是采用本发明思想进行自适应多模态信号融合的光标控制技术方案，全部视为基于本发明实现。

以上对本发明所提供的一种多模态自适应光标控制方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种多模态自适应光标控制方法，其特征在于，包括：

分别采集舌部运动磁传感器信号和脑电信号；

将舌部运动磁传感器信号转换为第一光标控制信号x₁，将脑电信号转换为第二光标控制信号x₂；

通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

利用融合后的光标控制信号控制显示器中的光标运动；

其中，将脑电信号转换为第二光标控制信号x₂，包括：

从脑电信号中提取特征值，依据特征值建立用于由脑电信号转换为舌部运动参数的解码模型，利用解码模型对脑电信号进行解码得到舌部运动参数，通过转换算法将舌部运动参数转换为光标控制参数x₂。

2.如权利要求1所述的方法，其特征在于，所述融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

3.如权利要求2所述的方法，其特征在于，还包括：

对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

4.如权利要求3所述的方法，其特征在于，还包括：

当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。

5.一种多模态自适应光标控制系统，其特征在于，包括：

磁传感器信号采集模块，用于采集舌部运动磁传感器信号并传输至主控模块；

脑信号采集模块，用于采集脑电信号并传输至主控模块；

数字信号处理模块，用于从主控模块获取舌部运动磁传感器信号，将舌部运动磁传感器信号转换为第一光标控制信号x₁并发送至主控模块，从主控模块中获取脑电信号，将脑电信号转换为第二光标控制信号x₂并发送至主控模块；其中，将脑电信号转换为第二光标控制信号x₂，包括：从脑电信号中提取特征值，依据特征值建立用于由脑电信号转换为舌部运动参数的解码模型，利用解码模型对脑电信号进行解码得到舌部运动参数，通过转换算法将舌部运动参数转换为光标控制参数x₂；

主控模块，用于通过自适应加权融合算法对第一光标控制信号x₁和第二光标控制信号x₂进行计算，得到融合后的光标控制信号

终端显示及交互模块，用于利用融合后的光标控制信号控制显示器中的光标运动。

6.如权利要求5所述的系统，其特征在于，所述融合后的光标控制信号的计算公式为：

其中，δ₁ ²为第一光标控制信号x₁的均方误差，δ₂ ²为第二光标控制信号x₂的均方误差。

7.如权利要求6所述的系统，其特征在于，还包括：

数据存储模块，用于对第一光标控制信号x₁和第二光标控制信号x₂进行存储。

8.如权利要求7所述的系统，其特征在于，还包括：

校正模块，用于当第一光标控制信号x₁和第二光标控制信号x₂存在基线漂移时，对基线漂移进行校正。