CN116360598A - 基于脑电波的运动想象动作控制方法及系统 - Google Patents

基于脑电波的运动想象动作控制方法及系统 Download PDF

Info

Publication number
CN116360598A
CN116360598A CN202310327093.8A CN202310327093A CN116360598A CN 116360598 A CN116360598 A CN 116360598A CN 202310327093 A CN202310327093 A CN 202310327093A CN 116360598 A CN116360598 A CN 116360598A
Authority
CN
China
Prior art keywords
instruction
user
instruction execution
execution
total
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310327093.8A
Other languages
English (en)
Other versions
CN116360598B (zh
Inventor
吴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chaoti Life Technology Co ltd
Original Assignee
Wuxi Chaoti Life Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chaoti Life Technology Co ltd filed Critical Wuxi Chaoti Life Technology Co ltd
Priority to CN202310327093.8A priority Critical patent/CN116360598B/zh
Publication of CN116360598A publication Critical patent/CN116360598A/zh
Application granted granted Critical
Publication of CN116360598B publication Critical patent/CN116360598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及运动想象动作控制领域，具体为基于脑电波的运动想象动作控制方法及系统，包括控制系统构建模块、用户属性特征集提取模块、指令执行度计算模块、评价体系分析模块、指令执行数据对比库构建模块和预警分析单元；控制系统构建模块用于构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；用户属性特征集提取模块用于获取用户属性特征集；指令执行度计算模块用于对机械关节上对应产生的指令执行度进行计算；评价体系分析模块用于对不同用户的操控流程建立指令评价体系；预警分析单元用于当判断指令执行异常时，传输预警信号。

Description

基于脑电波的运动想象动作控制方法及系统
技术领域
本发明涉及运动想象动作控制领域，具体为基于脑电波的运动想象动作控制方法及系统。
背景技术
脑机接口是一种使用脑电信号采集系统建立起人脑和外部设备之间通信的人机交互技术。脑机接口技术使用脑电信号采集器和计算机等设备在特定训练方法下采集脑电信号，然后使用机器学习方法分析处理脑电数据，将大脑信息转换为控制命令，实现用户对外部设备之间的控制；
而MI运动想象技术不依赖外界刺激，是一种内源性自发脑电信号，只需要被试想象进行特定运动任务，而不需要被试进行实际运动即可在不同脑电区监测出特异性的波形，从而判别被试意图。当被试在想象身体某个肢体运动时，就会引起大脑感觉运动皮层不同节律的变化，不同的肢体部位的运动想象引起的SMRs具有不同的时空分布特性，其EEG具有较高的可区分性，因此可通过模式识别方法，解码EEG中的MI模式，并将其转化为控制指令，从而实现对外部设备的操控。但在利用相同设备对不同用户进行同一指令的执行时，由于个体的差异，外部设备的操控在实际完成过程中会存在差异化，那么如何高效且直观地评价通过运动想象动作控制设备的操作所对应的动作执行状态是否异常是在运动想象动作方面存在的一个技术问题。
发明内容
本发明的目的在于提供基于脑电波的运动想象动作控制方法及系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于脑电波的运动想象动作控制方法，包括以下分析步骤：
步骤S1：构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；脑电采集设备是指实时采集用户大脑运动区的脑电波信号的设备；脑电波解码装置是指对脑电波进行解码获取用户对于可识别肢体的运动意图的装置；
步骤S2：获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；以及对每一操控流程中传输操控设备进行的指令执行对应的参数信息进行采集提取；
步骤S3：对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算；
步骤S4：对不同用户的操控流程建立指令评价体系；并基于指令评价体系，构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
步骤S5：实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
进一步的，步骤S1中对脑电波进行解码获取用户对于可识别肢体的运动意图，包括以下分析步骤：
通过运动想象实现用户手部手持水杯功能，用户想象手部手持动作，通过解码运动区的脑电波信号，实现手持水杯功能；
当用户想要手持水杯喝水时，想象用手部进行抓握动作，通过脑电采集设备，实时采集用户大脑运动区的脑电波信号；
获取一段至少2000ms的脑电波信号；
采用滑窗的形式，连续采集100ms或200ms时长的脑电波信号数据，放入分类器；
采用BIC算法对所截取的脑电波信号进行处理，经过特征提算法及共同空间模式进行特征提取后，由逐步判别分析方法得到样本得分，并将分类器氛围左手MI和右手MI分类器、左手MI和空闲状态分类器以及右手MI和空闲状态分类器三种，通过三种分类器以投票的形式得到最终分类结果为左手、右手或空闲状态中的一种；
在得到分类结果后传输结果对应信号给传输操控设备。
进一步的，步骤S2包括以下分析步骤：
步骤S21：对用户连接控制系统后头部所处空间的位置高度x和用户座椅的初始倾斜角度y进行数据的提取和存储，构建控制系统中的用户属性特征集A，A{x,y}；倾斜角度为椅背与水平方向的夹角；
步骤S22：在用户完成属性特征集记录后，以控制系统接收用户脑电波数据输入为起始时间、传输操控设备输出分类结果为空闲状态时为结束时间对应的时段为监测周期；提取监测周期内传输操控设备生成的操控流程U，操控流程包含若干执行指令；
步骤S23：对操控流程中的每一执行指令产生的参数信息进行提取，参数信息包括指令执行时的时长和速率。
进一步的，步骤S3包括以下分析步骤：
对传输操控设备上各机械关节安装传感器，采集传输操控设备在指令操控流程中所有执行指令时对应机械关节所处的位置关系，位置关系包括每执行两个相邻指令时的机械关节的执行路径L和转折角度P；利用公式：
Q＝(1/t)*[a*(L/L0)+b*(P/P0)]
计算各机械关节在每执行相邻两个指令时对应的指令执行度Q；
其中L0表示操控流程中传输操控设备在监测周期内对应总执行路径；P0表示为360度的转折角度；t表示各机械关节在每执行两个相邻的执行指令时对应的间隔时长；a表示控制系统对执行路径设置的权重值，b表示控制系统对转折角度设置的权重值，且b>a；
获取传输操控设备上的机械关节总个数为M，计算监测周期内传输操控设备对应所有机械关节的总关节执行度W；
W＝Q1+Q2+......+QM
其中，Q1、Q2、......、QM表示第1、2、......、M个机械关节的指令执行度；
获取传输操控设备上监测周期内的总指令个数N，计算操控流程对应的总指令执行度G；
G＝W1+W2+......+WN
其中，W1、W2、......、WN表示第1、2、......、N个指令的总关节执行度。
进一步的，步骤S4包括以下分析步骤：
获取不同用户的用户属性特征集A与监测周期内的总指令执行度集进行匹配，构建匹配关系对A{x,y}→{G}，{G}表示在监测周期内从第1个指令到第N个指令对应的总指令执行度集；
提取第i种用户属性特征集对应的总指令执行度集的差值h，h＝Gi+1-Gi，定位第i种用户差值h为最大值时所处的指令序数，且指令序数前后监测周期内任意相邻总指令执行度差值均小于差值阈值时，输出第一指令到指令序数所属的监测周期为第i种用户的平稳区，以及指令序数到第N个指令所属的监测周期为第i种用户的校准区；以平稳区和校准区建立用户对应的指令评价体系；
以平稳区和校准区建立指令评价体系是为了更好的区分在实际机械臂操作过程中流程的特异性，通常机械臂在传送过程中会存在一段平稳的传送路径，且在此段路径中计算出不同指令时刻的总指令执行度变化差异也较小，而当机械臂出现大幅角度切换时往往是需要对当前用户的嘴部位置进行校准从而实现精准定位，那么在从平稳路径到开始校准时会存在一个数值上的变化从而体现出这两个阶段的区别点，有利于在后续分析中通过不同用户对应的执行区间可以快速判断执行状态。
提取第i种用户对应平稳区和校准区中监控系统历史记录的所有执行指令，得到传输操控设备在各区内进行指令执行的时长区间和速率区间，并将不同种类用户以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点进行数据汇集，构建指令执行数据对比库。
进一步的，步骤S5包括以下分析步骤：
实时获取监控系统输入用户的用户属性特征集A实、传输操控设备已经执行的指令集合U实以及计算实时状态下对应指令集合U实的总指令执行度G实，指令集合是指操控流程中已执行的指令；得到实时状态下用户的匹配关系对A实→G实，
提取指令执行数据对比库中第一对照点与实时用户相同的匹配关系对为目标种类用户，获取目标种类用户的指令评价体系；输出实时用户的总指令执行度所对应的指令序数为目标序数，并判断目标序数对应目标种类用户的总指令执行度，若目标种类用户的总指令执行度与G实差值大于等于第一差值阈值，则输出实时用户对应目标种类用户的指令评价体系状态异常；
若目标种类用户的总指令执行度与G实差值小于差值阈值，则进一步提取第二对照点与实时用户相同的目标指令集合，以及指令集合包含的时长区间和速率区间；
若实时用户指令集合对应的时长区间大于目标指令集合对应的时长区间且差值大于时长差值阈值，或速率区间小于目标指令集合对应的速率区间且差值大于速率差值阈值；则输出执行状态异常预警信号，反之输出执行状态正常。
运动想象动作控制系统，包括控制系统构建模块、用户属性特征集提取模块、指令执行度分析模块、评价体系分析模块、指令执行数据对比库构建模块和预警分析模块；
控制系统构建模块用于构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；
用户属性特征集提取模块用于获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；
指令执行度分析模块用于对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算分析；
评价体系分析模块用于对不同用户的操控流程建立指令评价体系；
指令执行数据对比库构建模块用于构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
预警分析单元用于实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
进一步的，指令执行度分析模块包括数据获取单元、指令执行度计算单元、总关节执行度计算单元和总指令执行度计算单元；
数据获取单元用于获取每执行两个相邻指令时的机械关节的执行路径和转折角度；
指令执行度计算单元用于基于执行路径和转折角度计算指令执行度；
总关节执行度计算单元用于监测周期内传输操控设备对应所有机械关节的总关节执行度；
总指令执行度计算单元用于操控流程对应的总指令执行度。
进一步的，评价体系分析模块包括匹配关系对构建单元、区域划分单元和指令评价体系输出单元；
匹配关系对构建单元用于获取不同用户的用户属性特征集与监测周期内的总指令执行度集进行匹配，构建匹配关系对；
区域划分单元用于提取用户属性特征集对应的总指令执行度集的差值，对监测周期划分为平稳区和校准区；
指令评价体系输出单元用于以平稳区和校准区建立用户对应的指令评价体系。
进一步的，预警分析模块包括实时数据获取单元、用户匹配单元和预警输出单元；
数据获取单元用于实时获取监控系统输入用户的用户属性特征集、传输操控设备已经执行的指令集合以及计算实时状态下对应指令集合的总指令执行度；
用户匹配单元用于基于指令执行数据对比库进行两次对比判断，一是区域判断二是参数判断，并传输对应判断结果；
预警输出单元基于用户匹配单元传输的判断结果，进行预警信号的输出响应。
与现有技术相比，本发明所达到的有益效果是：本发明通过对利用自发式脑机接口技术实现的机械辅助操作过程进行分析，提取了不同属性用户的数据特征来对整个脑电波解析到操控设备执行指令过程中的执行程度进行分析，使得在面对不同特征用户下可以有效的判断在脑电波解码装置传输指令进行执行状态下的完成度；与此同时，本发明还将所有用户在对同一完整控制流程下的指令进行体系分类为平稳区和校准区，使得系统对状态数据的判断可以从简单到复杂，降低了系统对数据处理的算力，提高了运动想象动作控制系统在实施操作流程的用户差异自适应性和异常监测的完整性、高效性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明基于脑电波的运动想象动作控制系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：基于脑电波的运动想象动作控制方法，包括以下分析步骤：
步骤S1：构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；脑电采集设备是指实时采集用户大脑运动区的脑电波信号的设备；脑电波解码装置是指对脑电波进行解码获取用户对于可识别肢体的运动意图的装置；
在本申请中分析的是自发式脑机接口技术，当被试者在想象身体某个肢体运动时，就会引起大脑感觉运动皮层不同节律的变化，不同的肢体部位的运动想象引起的SMRs具有不同的时空分布特性，其EEG具有较高的可区分性，因此可通过模式识别方法，解码EEG中的MI模式，并将其转化为控制指令，从而实现对外部设备的操控。且目前可以实现较好分类的有双手、双脚及舌头；故本申请中可识别肢体包括双手、双脚和舌头。
步骤S2：获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；以及对每一操控流程中传输操控设备进行的指令执行对应的参数信息进行采集提取；
步骤S3：对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算；
步骤S4：对不同用户的操控流程建立指令评价体系；并基于指令评价体系，构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
步骤S5：实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
步骤S1中对脑电波进行解码获取用户对于可识别肢体的运动意图，包括以下分析步骤：
通过运动想象实现用户手部手持水杯功能，用户想象手部手持动作，通过解码运动区的脑电波信号，实现手持水杯功能；
当用户想要手持水杯喝水时，想象用手部进行抓握动作，通过脑电采集设备，实时采集用户大脑运动区的脑电波信号；
获取一段至少2000ms的脑电波信号；
采用滑窗的形式，连续采集100ms或200ms时长的脑电波信号数据，放入分类器；
采用BIC算法对所截取的脑电波信号进行处理，经过特征提算法及共同空间模式进行特征提取后，由逐步判别分析方法得到样本得分，并将分类器氛围左手MI和右手MI分类器、左手MI和空闲状态分类器以及右手MI和空闲状态分类器三种，通过三种分类器以投票的形式得到最终分类结果为左手、右手或空闲状态中的一种；
在得到分类结果后传输结果对应信号给传输操控设备。
传输操控设备基于不同分类结果以及实时传输的脑电采集信号对用户进行动作指令的完成；且传输操控设备在针对不同状态的用户进行指令执行时会存在差异，如身高不同的用户坐在相同倾斜角度的智能座椅上，在保持座椅倾斜角度不变的前提下，传输操控设备如机械臂进行同一运送食物或水的指令下，会产生由于用户位置角度的差异造成的机械关节的角度和距离调控差异。在本申请中左手和右手的区别只是对应机械臂送入方向的略微差别，且指令执行的过程中对指令的识别处理在本发明中是相同的，当空闲时则表示机械臂不执行指令或停止执行指令。
步骤S2包括以下分析步骤：
步骤S21：对用户连接控制系统后头部所处空间的位置高度x和用户座椅的初始倾斜角度y进行数据的提取和存储，构建控制系统中的用户属性特征集A，A{x,y}；倾斜角度为椅背与水平方向的夹角；
步骤S22：在用户完成属性特征集记录后，以控制系统接收用户脑电波数据输入为起始时间、传输操控设备输出分类结果为空闲状态时为结束时间对应的时段为监测周期；提取监测周期内传输操控设备生成的操控流程U，操控流程包含若干执行指令；
步骤S23：对操控流程中的每一执行指令产生的参数信息进行提取，参数信息包括指令执行时的时长和速率。
步骤S3包括以下分析步骤：
对传输操控设备上各机械关节安装传感器，采集传输操控设备在指令操控流程中所有执行指令时对应机械关节所处的位置关系，位置关系包括每执行两个相邻指令时的机械关节的执行路径L和转折角度P；利用公式：
Q＝(1/t)*[a*(L/L0)+b*(P/P0)]
计算各机械关节在每执行相邻两个指令时对应的指令执行度Q；
其中L0表示操控流程中传输操控设备在监测周期内对应总执行路径；P0表示为360度的转折角度；t表示各机械关节在每执行两个相邻的执行指令时对应的间隔时长；a表示控制系统对执行路径设置的权重值，b表示控制系统对转折角度设置的权重值，且b>a；
获取传输操控设备上的机械关节总个数为M，计算监测周期内传输操控设备对应所有机械关节的总关节执行度W；
W＝Q1+Q2+......+QM
其中，Q1、Q2、......、QM表示第1、2、......、M个机械关节的指令执行度；
获取传输操控设备上监测周期内的总指令个数N，计算操控流程对应的总指令执行度G；
G＝W1+W2+......+WN
其中，W1、W2、......、WN表示第1、2、......、N个指令的总关节执行度。
在机械臂对用户进行送水动作时，机械臂以用户为目标对象，执行将机械臂手持水杯送入用户嘴边的指令；所以在完整操控流程中针对监测周期内不同时段内的整体机械关节的总指令执行度是存在可具体化的数据的；如在初始阶段可能存在机械关节的转折角度变化较小，执行路径变化较小的情况，而到后期进行精准定位用户时则出现与前期数据差异较大的情况。指令是随着时间的变化而增加关节则不会。在本申请中所有机械关节在指令同一指令时是同步进行的，所以在不同阶段可能会出现机械关节并不产生数值变化。
步骤S4包括以下分析步骤：
获取不同用户的用户属性特征集A与监测周期内的总指令执行度集进行匹配，构建匹配关系对A{x,y}→{G}，{G}表示在监测周期内从第1个指令到第N个指令对应的总指令执行度集；说明在监测周期内存在指令执行对应的时刻，若当前状态下已经执行3个指令，则{G}中记录的是{G1,G2,G3}，分别表示第1个指令的总指令执行度、第2个指令的总指令执行度和第3个指令的总指令执行度；且G1＝W1,G2＝W1+W2,G3＝W2+W2+W3；
提取第i种用户属性特征集对应的总指令执行度集的差值h，h＝Gi+1-Gi，定位第i种用户差值h为最大值时所处的指令序数，且指令序数前后监测周期内任意相邻总指令执行度差值均小于差值阈值时，输出第一指令到指令序数所属的监测周期为第i种用户的平稳区，以及指令序数到第N个指令所属的监测周期为第i种用户的校准区；以平稳区和校准区建立用户对应的指令评价体系；
以平稳区和校准区建立指令评价体系是为了更好的区分在实际机械臂操作过程中流程的特异性，通常机械臂在传送过程中会存在一段平稳的传送路径，且在此段路径中计算出不同指令时刻的总指令执行度变化差异也较小，而当机械臂出现大幅角度切换时往往是需要对当前用户的嘴部位置进行校准从而实现精准定位，那么在从平稳路径到开始校准时会存在一个数值上的变化从而体现出这两个阶段的区别点，有利于在后续分析中通过不同用户对应的执行区间可以快速判断执行状态。
提取第i种用户对应平稳区和校准区中监控系统历史记录的所有执行指令，得到传输操控设备在各区内进行指令执行的时长区间和速率区间，并将不同种类用户以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点进行数据汇集，构建指令执行数据对比库。指令执行数据对比库包含了不同用户对应各自的指令评价体系，以及指令评价体系下的时长区间和速率区间，故可以先进行指令评价体系的初步对比，在指令评价体系所处同一区间时进一步细化分析传输操控设备的执行状态。
步骤S5包括以下分析步骤：
实时获取监控系统输入用户的用户属性特征集A实、传输操控设备已经执行的指令集合U实以及计算实时状态下对应指令集合U实的总指令执行度G实，指令集合是指操控流程中已执行的指令；得到实时状态下用户的匹配关系对A实→G实，
提取指令执行数据对比库中第一对照点与实时用户相同的匹配关系对为目标种类用户，获取目标种类用户的指令评价体系；输出实时用户的总指令执行度所对应的指令序数为目标序数，并判断目标序数对应目标种类用户的总指令执行度，若目标种类用户的总指令执行度与G实差值大于等于第一差值阈值，则输出实时用户对应目标种类用户的指令评价体系状态异常；说明实时用户进行当前执行指令与对应历史用户所属平稳区或是校准区的执行度差异较大，即实时执行到第3指令时应属于平稳区但通过分析属于校准区，则属于异常操控区间；
若目标种类用户的总指令执行度与G实差值小于差值阈值，说明在数据上实时用户进行的步骤与历史同种类用户步骤所属的区域对应的执行度是相近的，但不能完全保证执行状态正常需进一步细化分析，则进一步提取第二对照点与实时用户相同的目标指令集合，以及指令集合包含的时长区间和速率区间；
若实时用户指令集合对应的时长区间大于目标指令集合对应的时长区间且差值大于时长差值阈值，或速率区间小于目标指令集合对应的速率区间且差值大于速率差值阈值；则输出执行状态异常预警信号，反之输出执行状态正常。
运动想象动作控制系统，包括控制系统构建模块、用户属性特征集提取模块、指令执行度分析模块、评价体系分析模块、指令执行数据对比库构建模块和预警分析模块；
控制系统构建模块用于构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；
用户属性特征集提取模块用于获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；
指令执行度分析模块用于对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算分析；
评价体系分析模块用于对不同用户的操控流程建立指令评价体系；
指令执行数据对比库构建模块用于构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
预警分析单元用于实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
指令执行度分析模块包括数据获取单元、指令执行度计算单元、总关节执行度计算单元和总指令执行度计算单元；
数据获取单元用于获取每执行两个相邻指令时的机械关节的执行路径和转折角度；
指令执行度计算单元用于基于执行路径和转折角度计算指令执行度；
总关节执行度计算单元用于监测周期内传输操控设备对应所有机械关节的总关节执行度；
总指令执行度计算单元用于操控流程对应的总指令执行度。
评价体系分析模块包括匹配关系对构建单元、区域划分单元和指令评价体系输出单元；
匹配关系对构建单元用于获取不同用户的用户属性特征集与监测周期内的总指令执行度集进行匹配，构建匹配关系对；
区域划分单元用于提取用户属性特征集对应的总指令执行度集的差值，对监测周期划分为平稳区和校准区；
指令评价体系输出单元用于以平稳区和校准区建立用户对应的指令评价体系。
预警分析模块包括实时数据获取单元、用户匹配单元和预警输出单元；
数据获取单元用于实时获取监控系统输入用户的用户属性特征集、传输操控设备已经执行的指令集合以及计算实时状态下对应指令集合的总指令执行度；
用户匹配单元用于基于指令执行数据对比库进行两次对比判断，一是区域判断二是参数判断，并传输对应判断结果；
预警输出单元基于用户匹配单元传输的判断结果，进行预警信号的输出响应。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于脑电波的运动想象动作控制方法，其特征在于，包括以下分析步骤：
步骤S1：构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；所述脑电采集设备是指实时采集用户大脑运动区的脑电波信号的设备；所述脑电波解码装置是指对脑电波进行解码获取用户对于可识别肢体的运动意图的装置；
步骤S2：获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；以及对每一操控流程中所述传输操控设备进行的指令执行对应的参数信息进行采集提取；
步骤S3：对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算；
步骤S4：对不同用户的操控流程建立指令评价体系；并基于指令评价体系，构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
步骤S5：实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
2.根据权利要求1所述的基于脑电波的运动想象动作控制方法，其特征在于：所述步骤S1中对脑电波进行解码获取用户对于可识别肢体的运动意图，包括以下分析步骤：
通过运动想象实现用户手部手持水杯功能，用户想象手部手持动作，通过解码运动区的脑电波信号，实现手持水杯功能；
当用户想要手持水杯喝水时，想象用手部进行抓握动作，通过脑电采集设备，实时采集用户大脑运动区的脑电波信号；
获取一段至少2000ms的脑电波信号；
采用滑窗的形式，连续采集100ms或200ms时长的脑电波信号数据，放入分类器；
采用BIC算法对所截取的脑电波信号进行处理，经过特征提算法及共同空间模式进行特征提取后，由逐步判别分析方法得到样本得分，并将分类器分为左手MI和右手MI分类器、左手MI和空闲状态分类器以及右手MI和空闲状态分类器三种，通过三种分类器以投票的形式得到最终分类结果为左手、右手或空闲状态中的一种；
在得到分类结果后传输结果对应信号给所述传输操控设备。
3.根据权利要求2所述的基于脑电波的运动想象动作控制方法，其特征在于：所述步骤S2包括以下分析步骤：
步骤S21：对用户连接控制系统后头部所处空间的位置高度x和用户座椅的初始倾斜角度y进行数据的提取和存储，构建所述控制系统中的用户属性特征集A，A{x,y}；所述倾斜角度为椅背与水平方向的夹角；
步骤S22：在用户完成属性特征集记录后，以控制系统接收用户脑电波数据输入为起始时间、传输操控设备输出分类结果为空闲状态时为结束时间对应的时段为监测周期；提取监测周期内传输操控设备生成的操控流程U，所述操控流程包含若干执行指令；
步骤S23：对操控流程中的每一执行指令产生的参数信息进行提取，所述参数信息包括指令执行时的时长和速率。
4.根据权利要求3所述的基于脑电波的运动想象动作控制方法，其特征在于：所述步骤S3包括以下分析步骤：
对传输操控设备上各机械关节安装传感器，采集传输操控设备在指令操控流程中所有执行指令时对应所述机械关节所处的位置关系，所述位置关系包括每执行两个相邻指令时的机械关节的执行路径L和转折角度P；利用公式：
Q＝(1/t)*[a*(L/L0)+b*(P/P0)]
计算各机械关节在每执行相邻两个指令时对应的指令执行度Q；
其中L0表示操控流程中传输操控设备在监测周期内对应总执行路径；P0表示为360度的转折角度；t表示各机械关节在每执行两个相邻的执行指令时对应的间隔时长；a表示控制系统对执行路径设置的权重值，b表示控制系统对转折角度设置的权重值，且b>a；
获取所述传输操控设备上的机械关节总个数为M，计算监测周期内传输操控设备对应所有机械关节的总关节执行度W；
W＝Q1+Q2+......+QM
其中，Q1、Q2、......、QM表示第1、2、......、M个机械关节的指令执行度；
获取所述传输操控设备上监测周期内的总指令个数N，计算操控流程对应的总指令执行度G；
G＝W1+W2+......+WN
其中，W1、W2、......、WN表示第1、2、......、N个指令的总关节执行度。
5.根据权利要求4所述的基于脑电波的运动想象动作控制方法，其特征在于：所述步骤S4包括以下分析步骤：
获取不同用户的用户属性特征集A与监测周期内的总指令执行度集进行匹配，构建匹配关系对A{x,y}→{G}，{G}表示在监测周期内从第1个指令到第N个指令对应的总指令执行度集；
提取第i种用户属性特征集对应的总指令执行度集的差值h，h＝Gi+1-Gi，定位第i种用户差值h为最大值时所处的指令序数，且指令序数前后监测周期内任意相邻总指令执行度差值均小于差值阈值时，输出第一指令到所述指令序数所属的监测周期为第i种用户的平稳区，以及所述指令序数到第N个指令所属的监测周期为第i种用户的校准区；以平稳区和校准区建立用户对应的指令评价体系；
提取第i种用户对应平稳区和校准区中监控系统历史记录的所有执行指令，得到传输操控设备在各区内进行指令执行的时长区间和速率区间，并将不同种类用户以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点进行数据汇集，构建指令执行数据对比库。
6.根据权利要求5所述的基于脑电波的运动想象动作控制方法，其特征在于：所述步骤S5包括以下分析步骤：
实时获取监控系统输入用户的用户属性特征集A实、传输操控设备已经执行的指令集合U实以及计算实时状态下对应指令集合U实的总指令执行度G实，所述指令集合是指操控流程中已执行的指令；得到实时状态下用户的匹配关系对A实→G实，
提取指令执行数据对比库中第一对照点与实时用户相同的匹配关系对为目标种类用户，获取目标种类用户的指令评价体系；输出实时用户的总指令执行度所对应的指令序数为目标序数，并判断目标序数对应目标种类用户的总指令执行度，若目标种类用户的总指令执行度与G实差值大于等于第一差值阈值，则输出实时用户对应目标种类用户的指令评价体系状态异常；
若目标种类用户的总指令执行度与G实差值小于差值阈值，则进一步提取第二对照点与实时用户相同的目标指令集合，以及指令集合包含的时长区间和速率区间；
若实时用户指令集合对应的时长区间大于目标指令集合对应的时长区间且差值大于时长差值阈值，或速率区间小于目标指令集合对应的速率区间且差值大于速率差值阈值；则输出执行状态异常预警信号，反之输出执行状态正常。
7.应用权利要求1-6中任一项所述的基于脑电波的运动想象动作控制方法的运动想象动作控制系统，其特征在于，包括控制系统构建模块、用户属性特征集提取模块、指令执行度分析模块、评价体系分析模块、指令执行数据对比库构建模块和预警分析模块；
所述控制系统构建模块用于构建以脑电采集设备为数据输入接口、脑电波解码装置为数据分析接口以及传输操控设备为指令执行端的控制系统；
所述用户属性特征集提取模块用于获取控制系统中不同用户从数据输入到实现指令执行完成的操控流程中记录的用户属性特征集；
所述指令执行度分析模块用于对传输操控设备完成每一次操控流程时在传输操控设备包含的所有机械关节上对应产生的指令执行度进行计算分析；
所述评价体系分析模块用于对不同用户的操控流程建立指令评价体系；
所述指令执行数据对比库构建模块用于构建以指令评价体系为区分点、用户属性特征集为第一对照点以及操控流程为第二对照点的指令执行数据对比库；
所述预警分析单元用于实时获取控制系统中捕捉到的实时执行指令以及对应的用户属性特征集，当判断指令执行异常时，传输预警信号。
8.根据权利要求7所述的运动想象动作控制系统，其特征在于：所述指令执行度分析模块包括数据获取单元、指令执行度计算单元、总关节执行度计算单元和总指令执行度计算单元；
所述数据获取单元用于获取每执行两个相邻指令时的机械关节的执行路径和转折角度；
所述指令执行度计算单元用于基于所述执行路径和转折角度计算指令执行度；
所述总关节执行度计算单元用于监测周期内传输操控设备对应所有机械关节的总关节执行度；
所述总指令执行度计算单元用于操控流程对应的总指令执行度。
9.根据权利要求8所述的运动想象动作控制系统，其特征在于：所述评价体系分析模块包括匹配关系对构建单元、区域划分单元和指令评价体系输出单元；
所述匹配关系对构建单元用于获取不同用户的用户属性特征集与监测周期内的总指令执行度集进行匹配，构建匹配关系对；
所述区域划分单元用于提取用户属性特征集对应的总指令执行度集的差值，对监测周期划分为平稳区和校准区；
所述指令评价体系输出单元用于以平稳区和校准区建立用户对应的指令评价体系。
10.根据权利要求9所述的运动想象动作控制系统，其特征在于：所述预警分析模块包括实时数据获取单元、用户匹配单元和预警输出单元；
所述数据获取单元用于实时获取监控系统输入用户的用户属性特征集、传输操控设备已经执行的指令集合以及计算实时状态下对应指令集合的总指令执行度；
所述用户匹配单元用于基于指令执行数据对比库进行两次对比判断，一是区域判断二是参数判断，并传输对应判断结果；
所述预警输出单元基于所述用户匹配单元传输的判断结果，进行预警信号的输出响应。
CN202310327093.8A 2023-03-30 2023-03-30 基于脑电波的运动想象动作控制方法及系统 Active CN116360598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310327093.8A CN116360598B (zh) 2023-03-30 2023-03-30 基于脑电波的运动想象动作控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310327093.8A CN116360598B (zh) 2023-03-30 2023-03-30 基于脑电波的运动想象动作控制方法及系统

Publications (2)

Publication Number Publication Date
CN116360598A true CN116360598A (zh) 2023-06-30
CN116360598B CN116360598B (zh) 2024-03-26

Family

ID=86919265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310327093.8A Active CN116360598B (zh) 2023-03-30 2023-03-30 基于脑电波的运动想象动作控制方法及系统

Country Status (1)

Country Link
CN (1) CN116360598B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093129A1 (en) * 2001-10-29 2003-05-15 Nicolelis Miguel A.L. Closed loop brain machine interface
CN109313645A (zh) * 2017-08-25 2019-02-05 深圳市得道健康管理有限公司 人工智能终端系统、服务器及其行为控制方法
CN109313635A (zh) * 2017-08-25 2019-02-05 深圳市得道健康管理有限公司 人工智能的行为控制数据库的建立方法及其设备、系统
KR20210062565A (ko) * 2019-11-21 2021-05-31 고려대학교 산학협력단 거리 학습을 이용한 사용자간 유사도 반영 특징 추출 기반의 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법
WO2021241676A1 (ja) * 2020-05-28 2021-12-02 学校法人慶應義塾 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム
CN115302506A (zh) * 2022-08-08 2022-11-08 科大讯飞股份有限公司 关节模组的测试方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093129A1 (en) * 2001-10-29 2003-05-15 Nicolelis Miguel A.L. Closed loop brain machine interface
CN109313645A (zh) * 2017-08-25 2019-02-05 深圳市得道健康管理有限公司 人工智能终端系统、服务器及其行为控制方法
CN109313635A (zh) * 2017-08-25 2019-02-05 深圳市得道健康管理有限公司 人工智能的行为控制数据库的建立方法及其设备、系统
KR20210062565A (ko) * 2019-11-21 2021-05-31 고려대학교 산학협력단 거리 학습을 이용한 사용자간 유사도 반영 특징 추출 기반의 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법
WO2021241676A1 (ja) * 2020-05-28 2021-12-02 学校法人慶應義塾 運動解析装置、システム及び記憶媒体、並びにリハビリテーションシステム
CN115302506A (zh) * 2022-08-08 2022-11-08 科大讯飞股份有限公司 关节模组的测试方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN116360598B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
Benalcázar et al. Hand gesture recognition using machine learning and the Myo armband
WO2021143353A1 (zh) 一种手势信息处理方法、装置、电子设备及存储介质
Mason et al. A brain-controlled switch for asynchronous control applications
CN101947152B (zh) 仿人形义肢的脑电-语音控制系统及工作方法
CN110151203B (zh) 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN108983973A (zh) 一种基于手势识别的仿人灵巧肌电假手控制方法
CN111544015B (zh) 基于认知力的操控工效分析方法、设备及系统
Lehtonen et al. Online classification of single EEG trials during finger movements
CN108703824B (zh) 一种基于肌电手环的仿生手控制系统及控制方法
CN111598453B (zh) 基于虚拟场景中执行力的操控工效分析方法、设备及系统
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
Wei et al. EMG and visual based HMI for hands-free control of an intelligent wheelchair
Krusienski et al. BCI signal processing: feature extraction
CN111553618A (zh) 操控工效分析方法、设备及系统
CN116269355B (zh) 一种基于人物姿态识别的安全监测系统
CN109375776A (zh) 基于多任务rnn模型的脑电信号动作意图识别方法
CN110298263A (zh) 基于rfid系统的实时精确且无接触的手势识别方法及系统
Devaraj et al. Hand gesture signal classification using machine learning
Milan et al. Adaptive brain interfaces for physically-disabled people
CN116360598B (zh) 基于脑电波的运动想象动作控制方法及系统
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN109901711B (zh) 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法
Saidani et al. An Efficient Human Activity Recognition using Hybrid Features and Transformer Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant