CN114115546B - 面向多机器人控制的脑电数据元学习和人本智能交互系统 - Google Patents
面向多机器人控制的脑电数据元学习和人本智能交互系统 Download PDFInfo
- Publication number
- CN114115546B CN114115546B CN202210097196.5A CN202210097196A CN114115546B CN 114115546 B CN114115546 B CN 114115546B CN 202210097196 A CN202210097196 A CN 202210097196A CN 114115546 B CN114115546 B CN 114115546B
- Authority
- CN
- China
- Prior art keywords
- robot
- data
- electroencephalogram
- brain
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 40
- 210000004556 brain Anatomy 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 229910002056 binary alloy Inorganic materials 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000000537 electroencephalography Methods 0.000 description 29
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块。通过神经网络对低成本设备采集的信号进行处理，产生出符合用户想象的高精度的控制；通过读取用户脑电信号，实现多机器人协同控制，且只需要少量的某个用户数据集进行训练，就可以产生一个高精度的、针对用户个人的脑电意图分类预测结果。
Description
技术领域
本发明涉及脑电数据技术领域，特别涉及面向多机器人控制的脑电数据元学习和人本智能交互系统。
背景技术
利用信息技术实现意图识别是实现高级人机交互的关键手段，脑机接口(BCI)的发展具有重要意义，它在人脑与外部设备之间建立了一座桥梁，有潜力提高人机交互的响应速度。但现有的脑机接口技术仍集中在利用脑电图对某一特定机器人进行控制或交互，无法解决大脑与多机器人之间的交互，此外，低成本的设备采集的脑电信号精度很差，而高昂的硬件成本也导致BCI无法在日常使用场景中被广泛采用。
本发明中所提到的名词缩写解释有：EEG-脑电图；BiLSTM-双向长短期记忆；BPTT-时间反向传播。
发明内容
为解决以上技术问题，本发明公开面向多机器人控制的脑电数据元学习和人本智能交互系统，通过神经网络对低成本设备采集的信号进行处理，产生出符合用户想象的高精度的控制；通过读取用户脑电信号，实现多机器人协同控制，且只需要少量的某个用户数据集进行训练，就可以产生一个高精度的、针对用户个人的脑电意图分类预测结果。
本发明公开面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块；
所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；
所述EGG信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；
所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作。
进一步地，所述将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：
S1：根据EEG信号值的阶段的变化将本地数据集的标签划分为四类：relaxed、focused to focused、relaxed to focused和focused to relax；
S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据向量[st 1, st 2, ...,st i,... , st n]T，其中st i是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；
S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj=[S1, S2, ... , S180]，j代表第j个样本；
S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt=[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X=[X1,X2,X3,...,X180] （4*180维矩阵）。
进一步地，所述EGG信号分类模块包括元学习模型，所述元学习模型用于对不可知跨主体的快速适应；所述元学习模型中还包含BiLSTM网络，所述BiLSTM网络用于脑电图特征学习。
进一步地，所述BiLSTM网络包含一个输入层、两个隐藏层和一个输出层；所述输入层用于将四维向量Xt输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习，得到输出向量ot；所述输出层用于将输出向量ot输出。
进一步地，所述元学习模型包括若干个多任务数据集p(j)和与多任务数据集p(j)相对应的BiLSTM模型，所述多任务数据集p(j)中的每个任务都是对大脑信号的分类；从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p（J）输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数的更新；所述元学习模型如下式所示：
其中，
为原始参数，
为梯度更新后的参数，
为BiLSTM模型的学习率，L是损失函数，
为该Ti任务的数据集的损失函数。
进一步地，所述大脑到多机器人协作模块包括EEG采集系统，脑-机器人交互框架，蓝牙通信模块和机器人，所述脑-机器人交互框架将分类结果编码为控制指令和操作指令，所述控制指令为3位编码机制，用于实现多机器人的控制指令；所述操作指令为2位编码机制，用于机器人的操作指导。
进一步地，所述大脑到多机器人协作模块利用位填充算法来实现EGG信号的编码机制，所述EGG信号的编码机制用于控制单个机器人或多个机器人的特定行为。
进一步地，所述大脑到多机器人协作模块采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。
进一步地，面向多机器人控制的脑电数据元学习和人本智能交互系统的使用方法包括以下步骤：
S1：通过脑信号采集设备采集原始EEG信号，并将原始EEG信号输入面向多机器人控制的脑电数据元学习和人本智能交互系统中；
S2：EGG信号分类模块将分类结果编码成特定的指令；
S3：通过通讯设备将特定的指令发送给多个机器人；
S4：多个机器人对特定的指令进行解码，获得各自的交互指令并进行相应的操作。
进一步地，所述EGG信号分类模块通过以下方法得到：
S1：将原始EEG信号转换为高维特征向量；
S2：结合元学习模型和BiLSTM对输入特征进行处理；通过学习在BiLSTM中添加一个初始化的隐藏层参数，以提高神经网络的学习收敛速度和最终训练效果；
S3：利用时间反向传播算法在BiLSTM对新的少样本数据任务进行学习，训练设计的模型进行最终的预测结果。
本发明有益效果为：
1、相比起现有技术，本发明将原始EEG信号转换为高维特征向量，具有更快的训练迭代速度和更好的训练效果。
2、本发明结合元学习和双向长短期记忆网络(BiLSTM)对输入特征进行处理，提高了泛化性能。
3、本发明提出了一种用于多机器人交互的脑电信号编解码机制，能够在小型脑电图数据集的情况下实现个性化大脑与多机器人交互的工作。
附图说明
附图1为本发明实施例中面向多机器人控制的脑电数据元学习和人本智能交互系统示意图；
附图2为本发明实施例中EEG分类编码方案示意图；
附图3为本发明实施例中向量维度影响训练效果示意图。
附图4为本发明实施例中的一段指令符示例。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步描述。需要说明的是，实施例并不对本发明要求保护的范围构成限制。
实施例1
面向多机器人控制的脑电数据元学习和人本智能交互系统，包括EEG信号采集与预处理模块、脑电图信号分类模块以及大脑到多机器人协作模块；
所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；
所述脑电图信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；
所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作。
将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：
S1：使用低成本的EEG设备可以很容易地区分两种静态状态：集中状态和放松状态，在命令的设计中增加两种动态切换状态识别，即从放松到集中和集中到放松，因此，根据EEG信号值的阶段的变化将将本地数据集的标签划分为四类：relaxed、focused tofocused、relaxed to focused和focused to relax；如图1所示，将放松状态编码为“00”，聚焦状态编码为“11”，从放松到专注被编码为“01”，从专注到放松被编码为“10；将设备默认的两个命令扩展为四个命令，以满足移动困难人群的多命令需求。
S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据向量[st 1, st 2, ...,st i,... , st n]T，其中st i是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；
S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj=[S1, S2, ... , S180]；
S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt=[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X=[X1,X2,X3,...,X180] （4*180维矩阵），以更好地获得特征之间的相关性，扩展了数据的维数。
如图3所示，四维向量Xt形成的输入特征向量X比其他维向量具有更快的训练迭代速度和更好的训练效果。
脑电图信号分类模块分为BiLSTM网络和元学习模型；所述BiLSTM网络用于脑电图特征学习，所述元学习模型用于对不可知跨主体的快速适应。
所述BiLSTM网络结构包含一个输入层、两个隐藏层和一个输出层。将180s的输入特征向量X输入到BiLSTM网络中进行时间特征学习，得到学习后的隐藏层时间状态ht。
输入层用于将输入特征向量X的每时刻四维向量Xt输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习；所述输出层用于将输出向量ot输出。
所述两个隐藏层计算公式如下：
其中，将脑电图信号输入特征作为模型的输入特征，假设一批输入脑电图数据包含n（BatchSize）脑电图样本，输入特征xt的形状为[n, 4, 180]。ht-1为上一个时间序列时刻隐藏层计算得到的值，ht+1为下一个序列步骤的值。
表示正向LSTM单元的输出，
表示反向LSTM单元的输出，g（）函数为将双向信号输出的处理函数，将
和
与预设初始化权值wi（i=1-6中任一自然数）相乘而后相加，得到输出向量ot。
对ot进行sofmax函数的处理，选取输出向量ot中最大值对应的列，作为分类预测结果。
为了能够从少量的新数据中快速学习新任务，将BiLSTM网络与元学习模型相结合作为系统的分类算法。
考虑到用户脑电图的特殊性，利用元学习模型将独立用户划分为一个新的学习任务，以少量的新用户数据实现对用户脑电图意图的准确识别。
建立一个多任务数据集p(j)和一个BiLSTM模型。多任务数据集p(j)中的每个任务都是对大脑信号的分类。
然后从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p（J）输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数
的更新。元学习模型如下式所示：
其中，
为原始参数，
为梯度更新后的参数，
为BiLSTM模型的学习率，L是损失函数，
为该Ti任务的数据集的损失函数。
大脑到多机器人协作模块包括EEG采集系统，脑-机器人交互框架，蓝牙通信模块和机器人，脑-机器人交互框架将分类结果编码为控制指令和操作指令。在三个机器人的协同控制任务中，可以利用位填充算法来实现脑电图信号的编码机制，它可以控制单个机器人或多个机器人的特定行为。
在准确识别脑电图信号后，利用无线蓝牙串口直接采集所需的脑电图数据，然后通过外部蓝牙通信模块实现信号传输到多个机器人。例如，在一个家庭环境中，通过大脑信号控制一个车轮机器人，将货物运送到附近的一个机械臂机器人的位置。同时，可以控制机器人的机械臂，通过大脑信号抓住物体，并将货物放在四足动物机器人身上，送到楼下的地下室。在边缘边缘系统的帮助下，可以通过机器人协作控制和协调不同类型的机器人完成各种任务。
在脑-机器人交互框架中，将分类结果编码为控制指令和操作指令。一种包括000,001,010,011,100,101,110,111编码的3位编码机制，以实现多机器人的控制指令。并将2位编码机制用于机器人的操作指导。然后，就可以发送这些个性化的指令来与各种机器人进行交互。在三个机器人的协同控制任务中，可以利用位填充算法来实现脑电图信号的编码机制，它可以控制单个机器人或多个机器人的特定行为。
将编码分为三个主要部分：操作指令字符、控制指令字符、空白填充字符。
所述操作指令字符为通过多标签分类分类的三位代码，用于自动跳转进入操作指令符的识别；所述控制指令字符为按二进制分类分类的二位代码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间。将机器人索引和机器人动作定义为两位代码。第一个两位代码表示要被激活的机器人的索引，第二个两位代码表示机器人输出的动作。在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节0，以给用户少量的休息时间。控制更多的机器人也采用了这种方法，通过发送更多相似的脑电图信号来编码成更多的两字节。
如图4所示，首尾的000和111是控制指令符，系统一直读取用户脑电信号（为到开始），并不断进行分类，当用户进行了两次持续放松（00 00），就会形成一个000的编码进入程序，启示程序可以开始记录后续的编码，将其用于机器人控制。当程序识别到一个000的控制指令符时，会自动跳转进入操作指令符的识别。具有下划线的都是操作指令符，程序读取的时候会将其进行计数（变量为count），count为1的时候，编码代表的是activationmode（选择要控制的机器人或选择退出控制读取）；count为2时，编码代表的是各自对应机器人的动作；count为2时，下一次count变为1。较为特殊的是count为1时的00指令，代表着用户已经将期望运动的机器人和机器人的动作都输入完毕了，希望程序从控制指令符的识别跳转为对操作指令符的识别；接下来，用户产生两个连续专注的信号11 11，程序会自动识别到111作为结束的控制指令符，至此，完成一条由服务器发送到各机器人的控制指令。空白填充字符是用于防止数据丢包产生的机器人操控指令误读的现象出现，插入一个空白位0，来提高鲁棒性。
其中，指令符的全分类及含义如下表所示：
表1 指令符分类及含义表
该面向多机器人控制的脑电数据元学习和人本智能交互系统采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。
进一步地，面向多机器人控制的脑电数据元学习和人本智能交互系统的使用方法包括以下步骤：
S1：通过脑信号采集设备采集原始EEG信号，并将原始EEG信号输入面向多机器人控制的脑电数据元学习和人本智能交互系统中；
S2：EGG信号分类模块将分类结果编码成特定的指令；
S3：通过通讯设备将特定的指令发送给多个机器人；
S4：多个机器人对特定的指令进行解码，获得各自的交互指令并进行相应的操作。
上述EGG信号分类模块通过以下方法得到：
S1：将原始EEG信号转换为高维特征向量；
S2：结合元学习和双向长短期记忆网络(BiLSTM)对输入特征进行处理；通过学习在BiLSTM中添加一个初始化的隐藏层参数，以提高神经网络的学习收敛速度和最终训练效果；
S3：利用时间反向传播算法在BiLSTM对新的少样本数据任务进行学习，训练设计的模型进行最终的预测结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，包括EEG信号采集与预处理模块、EGG信号分类模块以及大脑到多机器人协作模块；
所述EEG信号采集与预处理模块用于获取脑信号数据，并将采集的EEG信号时间点前后的关系引入到数据特征中，得到高维特征向量；
所述EGG信号分类模块用于对高维特征向量进行处理，得到EEG信号的分类结果；所述EGG信号分类模块包括元学习模型，所述元学习模型用于对不可知跨主体的快速适应；所述元学习模型中还包含BiLSTM网络，所述BiLSTM网络用于脑电图特征学习；
所述大脑到多机器人协作模块，对分类结果进行脑电信号编解码机制处理，控制机器人根据解码得到各自的交互指令并进行相应的操作；
所述元学习模型包括若干个多任务数据集p(j)和与多任务数据集p(j)相对应的BiLSTM模型，所述多任务数据集p(j)中的每个任务都是对大脑信号的分类；从多任务数据集p(j)中提取任务Ti，将多任务数据集p(j)中的一个数据集p(J)输入到[batch，seq_len，input_size]形式的BiLSTM模型中进行训练，利用梯度下降法来进行参数的更新；所述元学习模型如下式所示：
其中，θ为原始参数，θ'i为梯度更新后的参数，α为BiLSTM模型的学习率，L是损失函数，LTi(f(θ'i))为该Ti任务的数据集的损失函数；
所述将采集的EEG信号时间点前后的关系引入到数据特征中的方法如下：
S1：根据EEG信号值的阶段的变化将本地数据集的标签划分为四类：relaxed、focusedto focused、relaxed to focused和focused to relax；
S2：使用滑动窗口方法将采集的EEG信号划分为单个片段，得到的数据为一维数据向量[st 1,st 2,...,st i,...,st n]T，其中st i是脑电信号采集装置的读取数据t时间戳处的第i个电极通道，脑电信号采集总共有n个通道；
S3：将一维数据向量合成t时刻下的专注强度数据St，经过180秒的时间的读取后，形成向量Xj＝[S1,S2,...,S180]，j代表第j个样本；
S4：将向量Xj中的专注强度数据St的前斜率值、后斜率值、值本身以及相邻的最大值连接起来，得到四维向量Xt＝[St的前斜率值，St后斜率值，St值本身以，St相邻的最大值]，即高维特征向量，将Xt连接起来形成输入特征向量X＝[X1,X2,X3,...,X180]。
2.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述BiLSTM网络包含一个输入层、两个隐藏层和一个输出层；所述输入层用于将输入特征向量X输入；所述两个隐藏层包括正向LSTM单元和反向LSTM单元，用于对数据进行双向的时间特征学习，得到输出向量ot；所述输出层用于将输出向量ot输出。
3.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块包括EEG采集系统，脑-机器人交互框架，蓝牙通信模块和机器人，所述脑-机器人交互框架将分类结果编码为控制指令和操作指令，所述控制指令为3位编码机制，用于实现多机器人的控制指令；所述操作指令为2位编码机制，用于机器人的操作指导。
4.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块利用位填充算法来实现EGG信号的编码机制，所述EGG信号的编码机制用于控制单个机器人或多个机器人的特定行为。
5.如权利要求1所述的面向多机器人控制的脑电数据元学习和人本智能交互系统，其特征在于，所述大脑到多机器人协作模块采用多机器人交互的脑电信号编解码机制，所述多机器人交互的脑电信号编解码机制分为三个主要部分：操作指令字符、控制指令字符和空白填充字符；所述操作指令字符为通过多标签分类的形成的三位码，用于启示中央服务器程序是否开始控制编码行为；所述控制指令字符为按二进制分类分类的二位码，用于定义机器人索引和机器人动作；所述空白填充字符为0，用于在用户通过脑电波发送双字节代码之间的间隙中，填充一个字节，以给用户少量的休息时间和提高信号接法系统的鲁棒性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210097196.5A CN114115546B (zh) | 2022-01-27 | 2022-01-27 | 面向多机器人控制的脑电数据元学习和人本智能交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210097196.5A CN114115546B (zh) | 2022-01-27 | 2022-01-27 | 面向多机器人控制的脑电数据元学习和人本智能交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114115546A CN114115546A (zh) | 2022-03-01 |
| CN114115546B true CN114115546B (zh) | 2022-06-17 |
Family
ID=80362022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210097196.5A Active CN114115546B (zh) | 2022-01-27 | 2022-01-27 | 面向多机器人控制的脑电数据元学习和人本智能交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114115546B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114847973A (zh) * | 2022-03-21 | 2022-08-05 | 同济大学 | 一种基于脑机接口中的少样本识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389059B (zh) * | 2018-09-26 | 2021-09-21 | 华南理工大学 | 一种基于cnn-lstm网络的p300检测方法 |
| CN110338786B (zh) * | 2019-06-28 | 2020-10-02 | 北京师范大学 | 一种癫痫样放电的识别与分类方法、系统、装置和介质 |
| CN110244854A (zh) * | 2019-07-16 | 2019-09-17 | 湖南大学 | 一种多类别脑电数据识别的人工智能方法 |
| CN111805546B (zh) * | 2020-07-20 | 2021-11-26 | 中国人民解放军国防科技大学 | 一种基于脑机接口的人-多机器人共享控制的方法及系统 |
| CN112975982B (zh) * | 2021-03-16 | 2021-11-09 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人系统 |
| CN113662558B (zh) * | 2021-08-19 | 2024-01-30 | 杭州电子科技大学 | 一种区分脑电眨眼伪迹与额极痫样放电的智能分类方法 |
-
2022
- 2022-01-27 CN CN202210097196.5A patent/CN114115546B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114115546A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220004875A1 (en) | Automated Construction of Neural Network Architecture with Bayesian Graph Exploration | |
| Saha et al. | Hierarchical deep feature learning for decoding imagined speech from EEG | |
| CN116932723B (zh) | 基于自然语言处理的人机交互系统及其方法 | |
| CN110209789A (zh) | 一种用户注意力引导的多模态对话系统及方法 | |
| CN114115546B (zh) | 面向多机器人控制的脑电数据元学习和人本智能交互系统 | |
| CN113537024B (zh) | 多层时序注意力融合机制的弱监督神经网络手语识别方法 | |
| CN111522936B (zh) | 一种包含情感的智能客服对话回复生成方法、装置及电子设备 | |
| Saridis et al. | Linguistic decision schemata for intelligent robots | |
| CN117234341B (zh) | 基于人工智能的虚拟现实人机交互方法及系统 | |
| Godoy et al. | Electromyography-based, robust hand motion classification employing temporal multi-channel vision transformers | |
| CN110211573A (zh) | 一种基于神经网络模型的任务驱动型对话决策方法 | |
| CN117158923A (zh) | 基于元宇宙的居家养老远程监控方法 | |
| CN109308316B (zh) | 一种基于主题聚类的自适应对话生成系统 | |
| CN113971837A (zh) | 一种基于知识的多模态特征融合的动态图神经手语翻译方法 | |
| CN117292146A (zh) | 一种面向工业场景的构建多模态大语言模型的方法、系统和应用方法 | |
| CN111522923A (zh) | 一种多轮任务式对话状态追踪方法 | |
| CN113986251A (zh) | 基于卷积和循环神经网络的gui原型图转代码方法 | |
| Kim et al. | Mitigating dataset bias in image captioning through clip confounder-free captioning network | |
| CN116434742A (zh) | 基于无监督学习和迁移学习的低资源语音关键词检测方法 | |
| CN113869255B (zh) | 一种基于四元数的空中笔势识别方法 | |
| CN116339655A (zh) | 一种基于语音识别的文本打印方法及系统 | |
| CN114548273B (zh) | 模型训练方法、装置、设备与存储介质 | |
| KR20240100864A (ko) | 멀티모달 데이터 융합 기반의 감정인식 시스템 및 방법 | |
| CN114579728A (zh) | 应用于多轮对话系统的对话生成方法、装置、设备及介质 | |
| Lee et al. | Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wu Di Inventor after: OuYang Jinhui Inventor after: Yu Zhiwang Inventor after: Guan Qing Hua Inventor before: Wu Di |
|
| CB03 | Change of inventor or designer information |