CN114400066A - 运动想象设备操控方法、装置及系统 - Google Patents

运动想象设备操控方法、装置及系统 Download PDF

Info

Publication number
CN114400066A
CN114400066A CN202210040818.0A CN202210040818A CN114400066A CN 114400066 A CN114400066 A CN 114400066A CN 202210040818 A CN202210040818 A CN 202210040818A CN 114400066 A CN114400066 A CN 114400066A
Authority
CN
China
Prior art keywords
model
motor imagery
data
feature extraction
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210040818.0A
Other languages
English (en)
Inventor
杨建磊
何啸林
林晓阳
赵巍胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210040818.0A priority Critical patent/CN114400066A/zh
Publication of CN114400066A publication Critical patent/CN114400066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提出的运动想象设备操控方法、装置及系统，其方法包括：将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；基于所有自由度判别结果生成运动想象设备的活动指令，本发明通过将模型分离，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。

Description

运动想象设备操控方法、装置及系统
技术领域
本发明属于人工智能领域，具体地讲，设计一种运动想象设备操控方法、装置及系统。
背景技术
人体生理数据如脑电、肌电等，作为一种特殊的输入信号，能更方便的控制外部设备和监测人体状态。随着机器学习和人工智能技术的发展，越来越多更先进的人机接口融入到社会中，广泛应用于医疗康复和工作生活中。
基于运动想象的BCI系统可以实现对外部设备的控制，以机械手辅助臂等替代躯干运动，不仅可以应用在医疗方面，为残疾人或运动障碍患者提供一种新的控制方式，帮助他们能够达到生活上自理甚至是疾病上完全康复的程度，同时也可以在日常工作辅助、娱乐游戏等场景发挥作用。对于BCI系统中采集大脑活动信息的方法有多种，信号按照接入方式分为“侵入式”和“非侵入式”，原则上均可为BCI系统提供输入，EEG是一种典型的非侵入式脑机接口技术，电极帽方便佩戴于人体。因具有良好的时间分辨率、易用性、便携性和相对低廉的价格，EEG技术被广泛应用于解码运动意图、控制机械臂或外骨骼等外部设施的运动，但是目前EEG存在诸多不足，EEG数据有着强烈的时间属性和用户特异性，同时因为健康状态、使用习惯、硬件设备差异等，EEG数据在不断变化的实际环境中存在随机性，采用神经网络模型在具体场景的使用中效果可能很差，存在诸多不足。
发明内容
本发明提供了一种运动想象设备操控方法、装置和系统，以至少解决现有技术中存在的至少一个问题。
根据本发明的一个方面，提供一种运动想象设备操控方法，包括：
将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
在优选的实施例中，所述分类识别模型的数量为多个，所述运动想象设备操控方法还包括：
将每个分类识别模型各自存储至一用户设备；
所述将所述特征信息输入至至少一个分类识别模型，包括：
将所述特征信息发送至所有用户设备，以使所述用户设备输出每个分类识别模型对应的自由度判别结果。
在优选的实施例中，还包括：
对所述脑电信号进行滤波操作；
对滤波后的所述脑电信号进行对齐操作，将所述脑电信号拆分为多个固定时间长度的数据片段；所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：
将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
在优选的实施例中，基于所有自由度判别结果生成运动想象设备的活动指令，包括：
若一分类识别模型输出自由度判别结果为是，则确定对应该分类识别模型的运动动作执行指令。
在优选的实施例中，还包括：
获取用户输入的预期动作信息；
比对所述预期动作信息与所述活动指令，若不一致，则以所述预期动作信息和对应的脑电信号作为更新训练数据，训练更新各分类识别模型。
在优选的实施例中，还包括：
存储一周期时长内产生的所述更新训练数据；
在一周期时长之后，使用该周期时长内的所有所述更新训练数据对所述特征提取模型进行训练，并在本地用训练后的所述特征提取模型替换当前存储的所述特征提取模型。
根据本发明的另一方面，提供一种运动想象设备操控装置，包括：
第一输入模块，将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
第一输入模块，将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
操控模块，基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
在优选的实施例中，所述分类识别模型的数量为多个，所述运动想象设备操控装置还包括：
分类识别模型分散存储模块，将每个分类识别模型各自存储至一用户设备；
所述第二输入模块具体用于将所述特征信息发送至所有用户设备，以使所述用户设备输出每个分类识别模型对应的自由度判别结果。
在优选的实施例中，所述预处理模块，包括：
滤波操作单元，对所述脑电信号进行滤波操作；
对齐操作单元，对滤波后的所述脑电信号进行对齐操作，将所述脑电信号拆分为多个固定时间长度的数据片段；所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：
片段输入单元，将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
在优选的实施例中，操控模块具体用于若一分类识别模型输出自由度判别结果为是，则确定对应该分类识别模型的运动动作执行指令。
在优选的实施例中，还包括：
预期动作信息获取模块，获取用户输入的预期动作信息；
分类识别模型更新模块，比对所述预期动作信息与所述活动指令，若不一致，则以所述预期动作信息和对应的脑电信号作为更新训练数据，训练更新各分类识别模型。
在优选的实施例中，还包括：
更新训练数据存储模块，存储一周期时长内产生的所述更新训练数据；
离线更新模块，在一周期时长之后，使用该周期时长内的所有所述更新训练数据对所述特征提取模型进行训练，并在本地用训练后的所述特征提取模型替换当前存储的所述特征提取模型。
根据本发明的另一个方面，一种运动想象设备操控系统，包括：
运动想象设备，其可采集佩戴者的脑电信号；以及
运动想象设备操控装置，其包括：
第一输入模块，将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息；
第一输入模块，将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
操控模块，基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
根据本发明的另一个方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述运动想象设备操控方法。
根据本发明的另一个方面，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述运动想象设备操控方法。
本发明提出的运动想象设备操控方法、装置及系统，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中EEG信号在时间上的变化示意图。
图2示出了本发明实施例中一种运动想象设备操控系统结构示意图；
图3示出了本发明实施例中一种运动想象设备操控方法流程示意图；
图4示出了本发明实施例中一种运动想象设备操控装置结构示意图；
图5示出了适用于本发明实施例的计算机设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本方面的部分名词释义：
BCI：Brain Computer Interface的缩写，即脑机接口技术。它是在人或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路。
神经网络：一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,下文中的模型指代神经网络模型
参数：指神经网络中神经元权重参数，表示单元之间连接的强度，决定了输入对输出的影响程度。
EEG：electroencephalogram的缩写，从头皮上将脑补的大脑皮层的自发性生物电位加以放大记录而获得的图形，是通过电极记录下来的脑细胞群的自发性、节律性电活动，通过放在头皮上的电极来记录大脑信号的非侵入式技术。
Ground truth：表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设，其中那些正确打标记的数据称为Ground truth。
在线学习：Online Learning或Online Machine Learning，机器学习算法的一类，特点是能够持续不断地接受数据，动态实时地更新模型，适合大规模和流式数据的处理。
目前基于运动想象的BCI系统可以实现对外部设备的控制，以机械手辅助臂等替代躯干运动，不仅可以应用在医疗方面，为残疾人或运动障碍患者提供一种新的控制方式，帮助他们能够达到生活上自理甚至是疾病上完全康复的程度，同时也可以在日常工作辅助、娱乐游戏等场景发挥作用。对于BCI系统中采集大脑活动信息的方法有多种，信号按照接入方式分为“侵入式”和“非侵入式”，原则上均可为BCI系统提供输入。EEG就是一种典型的非侵入式脑机接口技术，电极帽方便佩戴于人体。因具有良好的时间分辨率、易用性、便携性和相对低廉的价格，EEG技术被广泛应用于解码运动意图、控制机械臂或外骨骼等外部设施的运动。
对于EEG信号有这样的特点：1)信号是非平稳的，由皮质内大量神经元突触后电位同步总和形成，是很多神经元共同活动的结果，包含大量噪声。2)同一主观水平脑部活动对应的EEG信号在不同用户之间存在较大差异。3)EEG信号质量和分布在不同用户与不同时间上有很大差异。实际上EEG数据的产生是一个不断演化的随机过程。
如图1所示的EEG信号在时间上的变化图示，在机器学习中，一般假设训练数据和实际数据必须位于相同的特征空间中，同时有着相同的数据分布，而EEG数据有着强烈的时间属性和用户特异性。同时因为健康状态、使用习惯、硬件设备差异等，EEG数据在不断变化的实际环境中存在随机性，一个通用的神经网络模型在具体场景的使用中效果可能很差。事实上，阻止在实验室外采用运动想象解码的最大挑战之一就是解码模型的寿命有限，通常需要一些校准训练来收集数据并重新训练解码模型，在实际的日常使用中，经过训练的模型必须能够在很长一段时间内保持其性能。
为每个用户从头训练一个独特模型的代价太大且不现实，另一方面，这种特定模型在用户状态和使用环境的不断变换中性能也会有所下降。一种可行的解决方法是不断收集用户数据并通过机器学习的方法校正模型到当前的用户，使其随着时间的推移自适应更新地适应用户的特点，可以使模型在用户使用中变现的更稳健更准确。但是传统的机器学习方法，也被称为批量学习或离线学习，有着三个特征①需要保存大量数据并在训练中多次传递，对硬件使用和训练效率不友好②训练和推理的过程需要分别运行，在更新网络模型配置完成前无法实时使用模型③训练数据集假定为独立同分布的，对不断变化的动态环境适应较差。另一方面，运动想象存在在日常生活中的长时间持续使用的情况，因为其所需学习时间长且效率低，每当新数据加入需要重新训练全部数据，进行大批次的离线训练很不现实，不能有效的适应数据中的迁移变化。
在具体实施例中，发明人发现，针对脑机接口人机训练过程的相互适应问题提出了收集数据并通过机器学习的方法适应用户特点，而用户通过观察脑机接口系统的反馈主动调节大脑中的活动来适应脑机接口的工作方式。用户进行一定量的实验后，根据反馈结果，训练一个分类器，再使用分类器对实验数据进行识别和反馈，直到训练结束。该方法强调在脑机接口中注重用户本身的数据而不局限于使用静态的数据集，但需要用户多次参与训练来生成初始化的模型，并需要反复训练自身的运动想象能力，增加了不必要的工作。同时该方法用于系统的训练，不能在日常不断使用中自适应的在线更新模型，需要额外的离线训练代价。
此外，阻止在实验室外应用运动想象技术的最大挑战之一就是解码模型的寿命有限，在实际的日常使用中，模型必须能长时间保持其性能。
本发明基于此，针对背景中提到的EEG数据具有极强的时间属性和个人特性，以及通用单一模型不适于在日常运动想象中使用，考虑结合在连续推理使用的同时对模型进行微调更新，提出了一种自适应学习的运动想象系统。在线学习的流式计算模式非常适合利用连续到达的海量数据，对数据分布的变化做出及时的反应，能有效解决传统机器学习解决运动想象问题的不足。
下面结合附图对本发明进行详细说明。
本发明首先提供一种运动想象设备操控系统的具体实施例，参见图2所示，其包括运动想象设备操控装置、运动想象设备。运动想象设备可采集佩戴者的脑电信号；运动想象设备操控装置，具体可以用于：将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息；将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
在具体实施时，根据一实施例中该操控装置的功能进行单元划分，运动想象设备操控装置包括电脑主体、参数配置单元、更新单元、识别单元、存储单元、信号处理单元和交互单元，其中各个单元可以为一独立处理设备，例如本发明的运动想象设备操控装置可以是由服务器集群构成的多设备通信连接的装置主体。对于上述装置中的各个单元，下面逐一说明。
①数据采集单元：包含脑电头盔等硬件(即运动想象设备)，完成将脑部活动转换为可交由系统处理的数字信号。
②信号处理单元：包含预处理模块和基础特征提取模型。其中预处理模块对采集的数据完成滤波、对齐、分片等操作，将生理数据处理为标准数据格式，作为神经网络的输入；基础特征提取模型常见的实现方式为CNN、LSTM或两者并用，将脑电信号提取为特征表示作为中间量，降低数据维度和复杂度，作为后续模型的输入便于识别单元完成分类。
③识别单元：包含多个分类判别模型，接受处理单元提取的信号特征并发送到每个分类模型进行推理。每个分类模型对应运动想象中一个自由度的二分类任务。这样多个自由度分离提高整个识别单元的鲁棒性和设备的灵活性，同时多个自由度分离提高整个识别单元的鲁棒性和设备的灵活性。单一自由度的识别分类可以是简单二分类任务，分类模型的参数量更少复杂度更低，例如简单的特征矩阵计算，提高在线学习的效率，降低了损失计算和参数更新的代价。
④参数配置单元：接受外部数据输入的已经预训练的通用模型，以支持系统完成基本的推理分类功能，采集可靠度更高的数据和标签用于在线学习。亦可随时从外部配置整体模型。
⑤存储单元：保存少量的数据集-其内容为一段时间内或最近的有限个EEG信号数据样本、进行推理和反馈损失计算得到的标签，以数据对(x,y)的形式用于后续离线学习训练。
⑥更新单元：包括三个组成模块-模型参数配置模块：(1)接受初始参数配置单元中的模型参数，对系统的信号处理单元和识别单元中的神经网络模型参数进行配置。(2)特征提取更新模块：在一定的周期(如X小时)使用存储的带标签的离线数据集进行批量学习，和对应的分类模型组合学习，频次低准度高，更新基础特征提取模型的参数。(3)分类模型更新模块：在得到片段数据的ground truth后进行在线学习，根据反馈类型对所有识别单元或单一的分类模型进行参数更新。
⑦交互单元：实现与用户的人机交互，包括(1)运动想象的功能实现，如虚拟现实数据通信、硬件辅助设备动作等。(2)记录用户对整体功能实现或具体自由度部件的使用反馈信息，作为ground truth用于完成在线学习。
系统的数据信息传递分为三个部分：外部的用户数据集与本地设备之间、用户使用过程中产生数据与反馈、数据的存储与模型的学习更新。
通过已有的用户信息数据集，使用离线学习的方式训练一个具备足够的推理能力和识别精度的通用神经网络模型，即对于所有使用者都有着一般准确率。该模型可以分为特征提取部分和分类判别部分，通过参数配置单元部署到用户的本地设备中参与日常使用。
设备在使用中采集用户的EEG信号，并对信号的预处理生产标准数据集，其数据集格式为便于输入神经网络进行推理和训练。数据经过模型分类识别，由交互单元完成运动想象的功能实现，包括对硬件机械手的调用。用户可以对运动想象结果做出评价，设备记录了。
对于当前数据段，如果反馈结果为错误，因为识别任务为二分类任务则正确结果易得。将数据段和相应真实结果标签作为数据对，利用在线学习算法对分类识别模型进行参数更新。将每X小时内的带标签数据保存至设备存储单元，当设备未使用期间，或是周期性地使用最近存储的所有数据，通过离线批量训练的方式对特征提取模型进行参数更新。两部分模型的参数迭代使模型在当前用户的数据分布上拟合得更好，作为个性化模型有着更高的准确度。
用户对运动想象结果的整体或单一自由度做出正面或负面的反馈，若不进行反馈评价则默认为推理结果的标签为正确。
可以看出，本方面提供的运动想象设备操控系统，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
图3示出了本发明实施例中一种运动想象设备操控方法，包括：
S100：将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
S200：将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
S300：基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
本发明提出的运动想象设备操控方法，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
本发明中，使用已有的用户信息数据集，以离线学习的方式训练一个具备足够的推理能力和识别精度的通用神经网络模型W，模型可以分为基础特征提取模型We和分类判别模型Wc。
在优选的实施例中，为了避免设备处理负担，将每个运动动作对应的分类识别模型分别导入至一独立的计算机设备，所述分类识别模型的数量为多个，所述运动想象设备操控方法还包括：
将每个分类识别模型各自存储至一用户设备；所述将所述特征信息输入至至少一个分类识别模型，包括：
将所述特征信息发送至所有用户设备，以使所述用户设备输出每个分类识别模型对应的自由度判别结果。
该实施例中，将W分发部署到用户本地设备中，不同自由度分别对于为Wc1……Wcn，n为自由度数量。可以将多个分类识别模型搭载在多个计算机设备上，进而减小单个计算机的负担，提高整个计算速度。
在一些实施例中，还包括：对所述脑电信号进行预处理。
在本发明中，预处理可以规范脑电信号，当然可以理解，对于预处理并非必须，例如获取的脑电信号较为规范或者对精确度要求不高时则无需进行预处理操作。
在本发明实施例中，预处理操作可以通过如下方式进行：
对所述脑电信号进行滤波操作；
对滤波后的所述脑电信号进行对齐操作，将所述脑电信号拆分为多个固定时间长度的数据片段。
该实施例中，所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
由于每个脑电信号可以包含多个运动动作，也即每个数据片段对应至少一个运动动作，这样在进行分类判别时，无需遍历所有数据，在具体自由度判别时，只有确定脑电信息包含分类判别模型对应的动作信息时，才会生成该动作信息的自由度，进而对于整个脑电信号而言，其他未对应分类判别模型的动作信息即使输入到该分类判别模型，也无法输出该动作信息的自由度，经过数据分段的方式可以大大减小数据处理量。
举例而言，假设一运动动作对应的自由度为1和-1，其中1表示脑电信号中包含该运动动作，-1表示脑电信号中不包含该运动动作，也即将整个脑电信号输入到该动作所对应的分类识别模型，脑电信号中只有对应该运动动作的电波的输出对应1，其他运动动作输入到该特定的分类识别模型，输出-1，但是整个处理需要将完整脑电信号均输入到各个分类识别模型，以甄别出所有运动动作。
本发明进行数据切片之后，脑电信号被切分为多个子信号，此时的数据处理仅仅需要将每个子信号经过特征提取之后，根据特征输入到对应的分类判别模型，避免模型单次输入量过大。
进一步的，在某些实施例中，基于所有自由度判别结果生成运动想象设备的活动指令，包括：
若一分类识别模型输出自由度判别结果为是，则确定对应该分类识别模型的运动动作执行指令。
举例而言，原始数据D输入基础特征提取模型We中，得到相应数据段的特征表示F。特征表示F输入分类判别模型Wci中，得到相应自由度的判别结果Ti。二分类任务中结果T∈{-1,+1}，表示该自由度是否活动。根据判别结果T1……Tn，设备完成相应动作相应。
在其他实施例中，本发明还包括：获取用户输入的预期动作信息；比对所述预期动作信息与所述活动指令，若不一致，则以所述预期动作信息和对应的脑电信号作为更新训练数据，训练更新各分类识别模型。
该实施例中，用户可默认该次相应符合预期，即判别结果正确，或手动给出正确反馈，表示模型输出结果{D，F，T}为真实的三元组数据集，储存数据对{D，T}
用户也可给出该次相应不符合预期，即判别结果错误，表示模型输出结果{D，F，T}存在问题，以数据对{F，-T}为真实标签数据，对分类判别模型Wci使用在线机器学习算法，更新模型参数得到Wci′。储存数据对{D，-T}。这样继续多次循环s3～s9，多次更新Wc1……Wcn，使模型判别准确度提高。
此外，本发明一些实施例中，还包括：
存储一周期时长内产生的所述更新训练数据；
在一周期时长之后，使用该周期时长内的所有所述更新训练数据对所述特征提取模型进行训练，并在本地用训练后的所述特征提取模型替换当前存储的所述特征提取模型。
该实施例中，当收集数据并在线更新了一个周期后，例如固定X小时，或是设备处于未使用状态下，使用这个周期所有存储的数据对{D，T}或{D，-T}，对本地模型W进行离线批量机器学习，仅更新特征提取模型为We′。
更新后的We′和Wc′组成了新的个性化模型W′，增强了对用户数据分布的适应能力。
可以理解，针对EEG数据具有极强的时间属性和个人特性，以及通用单一神经网络模型不适于在持续的日常运动想象中使用，本发明提出了一种可以自适应学习用户特征变化的运动想象方法，在使用的同时实现高效率低代价的在线学习，使模型能及时反映出数据分布的迁移变化，不用对整体模型进行重新训练，无需对数据大量存储和离线学习。
此外，利用相关用户群体有限的数据集预先训练一个通用的神经网络模型，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练。
同时将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。每个自由度为简单二分类任务，便于用户更准确的反馈模型的标签错误。仅对分类模型应用在线学习的参数更新，提高了训练效率，减低训练的代价，更利于硬件设备的低功耗实现。
进一步的，仅存储一定周期内的有标签数据，减少了对存储空间和数据交换的要求，以较低的频次进行批量离线学习，使特征提取能力在不同自由度之间泛化提升准确度，更好地平衡准确度和训练代价的矛盾。
本方案的发明思路不仅可应用于运动想象的自适应学习，还可衍生在脑电信号或其他生理信号的应用上，非常适合处理连续到达的海量数据，对数据分布的变化能做出及时的反应，可以根据实际需求进行调整，具有很高的灵活性。
基于相同的发明构思，如图4所示，本发明另一方面实施例提供一种运动想象设备操控装置，包括：
第一输入模块10，将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
第一输入模块20，将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
操控模块30，基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
本发明提出的运动想象设备操控装置，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
具体的，本发明中，使用已有的用户信息数据集，以离线学习的方式训练一个具备足够的推理能力和识别精度的通用神经网络模型W，模型可以分为基础特征提取模型We和分类判别模型Wc。
在优选的实施例中，所述分类识别模型的数量为多个，所述运动想象设备操控装置还包括：
分类识别模型分散存储模块，将每个分类识别模型各自存储至一用户设备；所述第二输入模块具体用于将所述特征信息发送至所有用户设备，以使所述用户设备输出每个分类识别模型对应的自由度判别结果。
该实施例中，将W分发部署到用户本地设备中，不同自由度分别对于为Wc1……Wcn，n为自由度数量。可以将多个分类识别模型搭载在多个计算机设备上，进而减小单个计算机的负担，提高整个计算速度。
在优选的实施例中，还包括：
预处理模块，对所述脑电信号进行预处理。
在本发明中，预处理可以规范脑电信号，当然可以理解，对于预处理并非必须，例如获取的脑电信号较为规范或者对精确度要求不高时则无需进行预处理操作。
在优选的实施例中，所述预处理模块，包括：
滤波操作单元，对所述脑电信号进行滤波操作；
对齐操作单元，对滤波后的所述脑电信号进行对齐操作，将所述脑电信号拆分为多个固定时间长度的数据片段；所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：
片段输入单元，将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
该实施例中，所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
由于每个脑电信号可以包含多个运动动作，也即每个数据片段对应至少一个运动动作，这样在进行分类判别时，无需遍历所有数据，在具体自由度判别时，只有确定脑电信息包含分类判别模型对应的动作信息时，才会生成该动作信息的自由度，进而对于整个脑电信号而言，其他未对应分类判别模型的动作信息即使输入到该分类判别模型，也无法输出该动作信息的自由度，经过数据分段的方式可以大大减小数据处理量。
举例而言，假设一运动动作对应的自由度为1和-1，其中1表示脑电信号中包含该运动动作，-1表示脑电信号中不包含该运动动作，也即将整个脑电信号输入到该动作所对应的分类识别模型，脑电信号中只有对应该运动动作的电波的输出对应1，其他运动动作输入到该特定的分类识别模型，输出-1，但是整个处理需要将完整脑电信号均输入到各个分类识别模型，以甄别出所有运动动作。
本发明进行数据切片之后，脑电信号被切分为多个子信号，此时的数据处理仅仅需要将每个子信号经过特征提取之后，根据特征输入到对应的分类判别模型，避免模型单次输入量过大。
在优选的实施例中，操控模块具体用于若一分类识别模型输出自由度判别结果为是，则确定对应该分类识别模型的运动动作执行指令。
举例而言，原始数据D输入基础特征提取模型We中，得到相应数据段的特征表示F。特征表示F输入分类判别模型Wci中，得到相应自由度的判别结果Ti。二分类任务中结果T∈{-1,+1}，表示该自由度是否活动。根据判别结果T1……Tn，设备完成相应动作相应。
在优选的实施例中，还包括：
预期动作信息获取模块，获取用户输入的预期动作信息；
分类识别模型更新模块，比对所述预期动作信息与所述活动指令，若不一致，则以所述预期动作信息和对应的脑电信号作为更新训练数据，训练更新各分类识别模型。
该实施例中，用户可默认该次相应符合预期，即判别结果正确，或手动给出正确反馈，表示模型输出结果{D，F，T}为真实的三元组数据集，储存数据对{D，T}
用户也可给出该次相应不符合预期，即判别结果错误，表示模型输出结果{D，F，T}存在问题，以数据对{F，-T}为真实标签数据，对分类判别模型Wci使用在线机器学习算法，更新模型参数得到Wci′。储存数据对{D，-T}。这样继续多次循环s3～s9，多次更新Wc1……Wcn，使模型判别准确度提高。
在优选的实施例中，还包括：
更新训练数据存储模块，存储一周期时长内产生的所述更新训练数据；
离线更新模块，在一周期时长之后，使用该周期时长内的所有所述更新训练数据对所述特征提取模型进行训练，并在本地用训练后的所述特征提取模型替换当前存储的所述特征提取模型。
该实施例中，当收集数据并在线更新了一个周期后，例如固定X小时，或是设备处于未使用状态下，使用这个周期所有存储的数据对{D，T}或{D，-T}，对本地模型W进行离线批量机器学习，仅更新特征提取模型为We′。
更新后的We′和Wc′组成了新的个性化模型W′，增强了对用户数据分布的适应能力。
可以理解，针对EEG数据具有极强的时间属性和个人特性，以及通用单一神经网络模型不适于在持续的日常运动想象中使用，本发明提出了一种可以自适应学习用户特征变化的运动想象方法，在使用的同时实现高效率低代价的在线学习，使模型能及时反映出数据分布的迁移变化，不用对整体模型进行重新训练，无需对数据大量存储和离线学习。
此外，利用相关用户群体有限的数据集预先训练一个通用的神经网络模型，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练。
同时将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。每个自由度为简单二分类任务，便于用户更准确的反馈模型的标签错误。仅对分类模型应用在线学习的参数更新，提高了训练效率，减低训练的代价，更利于硬件设备的低功耗实现。
进一步的，仅存储一定周期内的有标签数据，减少了对存储空间和数据交换的要求，以较低的频次进行批量离线学习，使特征提取能力在不同自由度之间泛化提升准确度，更好地平衡准确度和训练代价的矛盾。
本方案的发明思路不仅可应用于运动想象的自适应学习，还可衍生在脑电信号或其他生理信号的应用上，非常适合处理连续到达的海量数据，对数据分布的变化能做出及时的反应，可以根据实际需求进行调整，具有很高的灵活性。
从硬件层面来说，本发明提供一种用于实现所述运动想象设备操控方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现各设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。
图5为本发明实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，运动想象设备操控功能可以被集成到中央处理器9100中。例如，中央处理器9100可以被配置为进行如下控制：
S100：将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
S200：将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
S300：基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
从上述描述可知，本发明的实施例提供的电子设备，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
在另一个实施方式中，运动想象设备操控装置可以与中央处理器9100分开配置，例如可以将运动想象设备操控配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现运动想象设备操控功能。
如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。
如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的运动想象设备操控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中运动想象设备操控方法的全部步骤。
从上述描述可知，本发明的实施例提供的计算机可读存储介质，通过将模型分离，首先将佩戴者的脑电信号输入至基础特征提取模型得到特征信息，然后将特征信息输入到分类识别模型，基础特征提取模型和分类识别模型都是本地离线训练，充分利用已有数据实现基本的运动想象识别功能，无需使用随机初始模型并专门对用户进行训练，将设备上的神经网络模型分为基础特征提取和分类判别两个部分，可以使模型的鲁棒性更强。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种运动想象设备操控方法，其特征在于，包括：
将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
2.根据权利要求1所述的运动想象设备操控方法，其特征在于，所述分类识别模型的数量为多个，所述运动想象设备操控方法还包括：将每个分类识别模型各自存储至一用户设备。
3.根据权利要求1所述的运动想象设备操控方法，其特征在于，还包括：
对所述脑电信号进行滤波操作；
对滤波后的所述脑电信号进行对齐操作，将所述脑电信号拆分为多个固定时间长度的数据片段；所述将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息，包括：
将每个数据片段输入至所述基础特征提取模型，得到对应每个数据片段的特征片段。
4.根据权利要求2所述的运动想象设备操控方法，其特征在于，基于所有自由度判别结果生成运动想象设备的活动指令，包括：
若一分类识别模型输出自由度判别结果为是，则确定对应该分类识别模型的运动动作执行指令。
5.根据权利要求1所述的运动想象设备操控方法，其特征在于，还包括：
获取用户输入的预期动作信息；
比对所述预期动作信息与所述活动指令，若不一致，则以所述预期动作信息和对应的脑电信号作为更新训练数据，训练更新各分类识别模型。
6.根据权利要求5所述的运动想象设备操控方法，其特征在于，还包括：
存储一周期时长内产生的所述更新训练数据；
在一周期时长之后，使用该周期时长内的所有所述更新训练数据对所述特征提取模型进行训练，并在本地用训练后的所述特征提取模型替换当前存储的所述特征提取模型。
7.一种运动想象设备操控装置，其特征在于，包括：
第一输入模块，将运动想象设备采集的佩戴者的脑电信号输入至一基础特征提取模型，得到对应的特征信息；
第一输入模块，将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
操控模块，基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
8.一种运动想象设备操控系统，其特征在于，包括：
运动想象设备，其可采集佩戴者的脑电信号；以及
运动想象设备操控装置，其包括：
第一输入模块，将所述脑电信号输入至一基础特征提取模型，得到对应的特征信息；
第一输入模块，将所述特征信息输入至至少一个与一运动动作对应的分类识别模型，得到每个动作的自由度判别结果；
操控模块，基于所有自由度判别结果生成运动想象设备的活动指令，以操控所述运动想象设备；其中，所述基础特征提取模型和所述分类识别模型基于用户信息数据离线训练得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任意一项所述运动想象设备操控方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述运动想象设备操控方法。
CN202210040818.0A 2022-01-14 2022-01-14 运动想象设备操控方法、装置及系统 Pending CN114400066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210040818.0A CN114400066A (zh) 2022-01-14 2022-01-14 运动想象设备操控方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040818.0A CN114400066A (zh) 2022-01-14 2022-01-14 运动想象设备操控方法、装置及系统

Publications (1)

Publication Number Publication Date
CN114400066A true CN114400066A (zh) 2022-04-26

Family

ID=81231175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040818.0A Pending CN114400066A (zh) 2022-01-14 2022-01-14 运动想象设备操控方法、装置及系统

Country Status (1)

Country Link
CN (1) CN114400066A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520755A (zh) * 2024-01-08 2024-02-06 北京智冉医疗科技有限公司 运动想象时的高通量神经信号的处理方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520755A (zh) * 2024-01-08 2024-02-06 北京智冉医疗科技有限公司 运动想象时的高通量神经信号的处理方法及相关设备
CN117520755B (zh) * 2024-01-08 2024-03-12 北京智冉医疗科技有限公司 运动想象时的高通量神经信号的处理方法及相关设备

Similar Documents

Publication Publication Date Title
CN112353402B (zh) 心电信号分类模型的训练方法、心电信号分类方法及装置
Saeed et al. Sense and learn: Self-supervision for omnipresent sensors
CN105598972A (zh) 一种机器人系统及交互方法
WO2024016608A1 (zh) 类脑助听方法、装置、助听设备、计算机设备和存储介质
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
CN114400066A (zh) 运动想象设备操控方法、装置及系统
Kramer et al. Reconstructing nonlinear dynamical systems from multi-modal time series
Bollens et al. Learning subject-invariant representations from speech-evoked eeg using variational autoencoders
KR20200010061A (ko) 전자 장치 및 전자 장치의 학습 방법
Fatourechi et al. A hybrid genetic algorithm approach for improving the performance of the LF-ASD brain computer interface
CN116115240A (zh) 基于多分支图卷积网络的脑电情绪识别方法
CN114816076A (zh) 脑机接口的计算处理以及反馈系统及方法
CN115527543A (zh) 婴儿啼哭识别的大数据算法、系统、装置及存储介质
CN114201041A (zh) 一种基于脑机接口的人机交互指挥方法和装置
Zhu et al. Improving EEG-based Emotion Recognition by Fusing Time-Frequency and Spatial Representations
Kuebert et al. Improving daily routine recognition in hearing aids using sequence learning
US20210063972A1 (en) Collaborative human edge node devices and related systems and methods
Saraswat et al. EBi-LSTM: an enhanced bi-directional LSTM for time-series data classification by heuristic development of optimal feature integration in brain computer interface
Amer et al. Affective Communication of Sensorimotor Emotion Synthesis over URLLC
CN114398930B (zh) 基于振荡神经网络的信息内容确认方法及系统
Strypsteen et al. Bandwidth-efficient distributed neural network architectures with application to body sensor networks
CN118228129B (zh) 一种基于深度迁移学习的运动想象脑电信号分类方法
Hadiuzzaman et al. BAUST Lipi: A BdSL Dataset with Deep Learning Based Bangla Sign Language Recognition
CN116415112A (zh) 一种默念口令配置方法及装置、可穿戴设备
Krausse et al. Extreme Sparsity in Hodgkin-Huxley Spiking Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination