CN116841386A - 结合深度学习与运动想象脑机接口的意念观影系统及方法 - Google Patents
结合深度学习与运动想象脑机接口的意念观影系统及方法 Download PDFInfo
- Publication number
- CN116841386A CN116841386A CN202310204027.1A CN202310204027A CN116841386A CN 116841386 A CN116841386 A CN 116841386A CN 202310204027 A CN202310204027 A CN 202310204027A CN 116841386 A CN116841386 A CN 116841386A
- Authority
- CN
- China
- Prior art keywords
- instruction
- module
- tag
- video
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000012549 training Methods 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012790 confirmation Methods 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 24
- 238000011112 process operation Methods 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 abstract description 26
- 238000005516 engineering process Methods 0.000 abstract description 17
- 230000009286 beneficial effect Effects 0.000 abstract description 15
- 230000001771 impaired effect Effects 0.000 abstract description 14
- 230000033001 locomotion Effects 0.000 abstract description 11
- 238000013461 design Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 6
- 230000006698 induction Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Neurosurgery (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及数据处理领域，尤其涉及一种结合深度学习与运动想象脑机接口的意念观影系统及方法，该系统包括：感知模块感知用户与观影设备的实际距离；信号采集模块在观影设备启后采集用户的脑电信号数据；信号处理模块将脑电信号数据进行切片后依次输入网络模型进行处理，并匹配控制指令；控制模块根据控制指令控制观影设备进行对应操作；网络模型由模型训练模块训练得到，在训练过程中接收历史脑电信号数据并进行模型训练以得到网络模型。本发明结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少预处理过程并提高模型分类的准确性，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种结合深度学习与运动想象脑机接口的意念观影系统及方法。
背景技术
在脑机接口(Brain Computer Interface,BCI)技术的发展呈现出日新月异的趋势。人类可以通过该技术实现建立大脑与外部世界之间的联系，从而达到控制外部设备的目的。脑机接口的直接目的是对失去正常肢体运动能力的人群提供一种与外界交互的新方式，能够帮助他们恢复或部分恢复肢体运动功能，提高他们的生活的品质，让他们能够更加乐观，自信地生活。
脑电信号数据(Electroencephalogram,EEG)是神经元之间活动所产生的电信号，其具有时空特性，易于采集且包含丰富的生物信息等特点。可以通过信号识别技术将其解码为外部设备操作指令。运动想象(Motor Imagery,MI)是脑机接口中的一种能够自发产生脑电信号数据的一种范式，在想象不同MI任务时，大脑对应运动感受区中的节律会发生改变，通过检测这种变化就能推测受试者的意图。
“看电影”已经成为当代人们生活中不可或缺的一部分了，而目前所有的观影平台都需进行鼠标、键盘、遥控器等设备的操作才能实现，这对于不能正常肢体运动的人群来说，他们将无法正常使用这些设备，因此独自观看一部电影对他们来说都是一种奢求。针对这一问题，有必要建立一种意念观影系统，通过识别大脑意图自动实现看电影时各种功能需求。
发明内容
为此，本发明提供一种结合深度学习与运动想象脑机接口的意念观影系统及方法，可以自动实现看电影时功能需求，改善特殊人群生活质量。
为实现上述目的，本发明提供一种结合深度学习与运动想象脑机接口的意念观影系统，该系统包括：
感知模块，用以感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
信号采集模块，其与所述感知模块连接，用以在观影设备启后采集用户的脑电信号数据；
信号处理模块，其与所述信号采集模块连接，用以将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
控制模块，其与所述信号处理模块连接，用以根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
进一步地，所述感知模块感知用户与观影设备的距离，并在预设距离时生成开启指令，包括：
识别用户设备的电子标签到观影设备的实际距离，并根据预设距离判定是否生成开启指令的两类判断方式；
第一类判断方式包括，当所述实际距离符合第一预设判断条件时，所述感知模块判定生成所述开启指令；
第二类判断方式包括，当所述实际距离符合第二预设判断条件时，所述感知模块判定不生成所述开启指令；
其中，所述第一预设判断条件为所述实际距离小于等于所述预设距离，所述第二预设判断条件为实际距离大于预设距离。
进一步地，所述模型训练模块根据所述历史脑电信号数据进行模型训练，包括：
将所述历史脑电信号数据根据采集时间进行随机调序；
将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集；
将所述训练集输入至网络结构中进行训练，将所述测试集输入至训练的网络结构进行测试，并根据用Adam优化方法调节网络结构中的网络参数，以得到网络模型。
进一步地，所述模型训练模块将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集，根据第一预设百分比将所述调序后的所述历史脑电信号数据划分为所述训练集，根据第二预设百分比将所述调序后的所述历史脑电信号数据划分为所述测试集；
所述模型训练模块根据预设脑电信号数据参数范围为所述训练集中的脑电信号数据进行打标签以得到四个类型的脑电信号数据标签。
进一步地，所述模型训练模块将所述训练集输入至网络结构中进行训练，其中，构建所述网络结构包括：
网络结构包括WT-CNN模块和WT-Trans模块，所述WT-CNN模块包括第一模块、第二模块和第三模块组成；
其中，所述第一模块包括5个作用在时间维度上不同长度的一维卷积核，分别用于捕获0.1s、0.2s、0.3s、0.4s和0.5s为一个时间窗的脑电信号数据特征；
所述第二模块包括5个作用在空间维度上的一维卷积核，分别作用在所述第一模块时间卷积的结果上进行脑电信号数据通道空间特征提取，并将脑电信号数据由8个通道压缩成1个通道；
所述第三模块将所述第二模块中输出的结果在时间维度上进行融合后输入WT-Trans模块；
所述WT-Trans模块将所述WT-CNN模块中所述Block3得到的时间序列进行分片，分成i个大小为d个采样点的时间片，每个时间片形状为1×d，将时间序列分为n个部分，并将n个部分执行注意力计算，该过程可以表示为：
MHA(XQ,XK,XV)＝[head0；head1；……；headn-1]W0 (2)
其中，所述Attention(Q,K,V)为加权表示，Q、K和V是由向量组成的矩阵，用于并行计算，上标T为矩阵转置符号；dK表示的是K的维度，dK为常数；W表示线性变换，用来获得每个head的Q、K和V，i＝0,1,2…n-1。
进一步地，所述模型训练模块将所述测试集输入至训练的网络结构进行测试，并用Adam优化方法调节网络结构中的网络参数，以得到网络模型，包括：
用交叉熵损失函数计算误差值，调整网络结构中的网络参数；
所述交叉熵损失函数计算公式为：
其中，x是预测结果，是一个向量，其元素个数和类别数一样多；class表示这个样本的实际标签，其中class＝0，1，2，3，4；x[class]表示当class＝1时，取测试结果向量中的第二个元素，即取其真实分类对应的预测值；j为当前样本编号，先通过exp运算转为非负数，再通过计算出当前样本被分到class类的概率。
进一步地，所述信号处理模块将所述脑电信号数据进行切片时，将一个连续的时间序列切分为特定形状后再输入到训练好的网络模型中去分类以得到处理结果。
进一步地，所述信号处理模块根据所述处理结果中脑电信号数据标签类型匹配对应的控制指令，包括：
接收所述网络模型的处理结果，根据所述处理结果匹配对应的控制指令，所述处理结果包括四个类型的脑电信号数据标签，分别为舌头标签、双腿标签、右手标签和左手标签，其分别用于三个模式，其中，
准备模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为左移指令，若所述处理结果为右手标签，则匹配的控制指令为右移指令，若所述处理结果为双腿标签，则匹配的控制指令为确认指令，所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和确认切换返回指令，在接收的处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为上移指令、下移指令和第一返回指令；
播放模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为后退指令，所述处理结果为右手标签，则匹配的控制指令为快进指令，所述奇数次接收处理结果为双腿标签，则匹配的控制指令为播放指令，所述偶数次接收处理结果为双腿标签，则匹配的控制指令为暂停指令，若所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和播放切换返回指令，在接收的问处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为音量增加指令、音量减少指令和第二返回指令；
观看模式为接收到连续两次的处理结果为舌头标签，当首次接收到连续两次的处理结果为舌头标签时处于观看模式，不对接收到的处理结果中的左手标签、右手标签和双腿标签进行控制指令匹配，当再次接收到连续两次的处理结果为舌头标签时，其接收的处理结果中的左手标签、右手标签和双腿标签匹配的控制指令与播放模式相同。
进一步地，所述控制模块根据所述控制指令控制所述观影设备，包括：
所述控制模块接收所述控制指令即为准备模式，若所述控制指令为所述左移指令、右移指令、上移指令或下移指令，则控制观影设备上主界面的控制框分别进行左移、右移、上移或下移以选择视频，若首次接收的所述控制指令为所述确认指令或第一返回指令时，则控制观影设备分别对选择的视频进行播放或返回上一控制框选择的视频；
所述控制模块在执行确认指令播放视频后即为播放模式，接收所述控制指令，若所述控制指令为所述后退指令、快进指令、音量增加指令或音量减少指令，则控制观影设备上视频分别进行后退播放、快进播放、音量增加或音量减少，若接收的所述控制指令为所述播放指令、暂停指令或第二返回指令时，则控制观影设备分别对视频进行播放、暂停或返回主界面。
本发明还提供另一种结合深度学习与运动想象脑机接口的意念观影方法，该方法包括：
感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
在观影设备启后采集用户的脑电信号数据；
将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
与现有技术相比，本发明的有益效果在于，通过感知模块感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备，实现了观影设备的智能自动开启；信号采集模块在观影设备开启后采集用户的脑电信号数据；信号处理模块获取网络模型，将所述脑电信号数据进行切片后依次输入所述网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令，实现对脑电信号数据的翻译处理；控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，利用运动想象脑机接口技术实现意念观影系统，不同于P300、稳态视觉诱发等需要依靠视觉刺激来实现的方式；本发明可以直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；使用RFID技术实现自动开启观影平台功能；结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少脑电信号数据的预处理过程并提高模型对脑电信号数据分类的准确性，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
尤其，通过感知模块感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备，实现了观影设备的智能自动开启，利用运动想象脑机接口技术实现意念观影系统，不同于P300、稳态视觉诱发等需要依靠视觉刺激来实现的方式；本发明可以直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；使用RFID技术实现自动开启观影平台功能；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
尤其，通过结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少脑电信号数据的预处理过程并提高模型脑电信号数据分类的准确性；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
尤其，例通过所述模型训练模块根据所述误差值动态调整网络结构中的网络参数，提高模型对脑电信号数据分类的准确性；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
尤其，通过控制模块接收网络模型对脑电信号数据的处理结果中脑电信号数据标签类型，并匹配对应的控制指令使控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，直接实现意念操控，不同类型的脑电信号数据标签对应不同的控制指令，通过精确匹配控制指令，使对观影设备的操作和视频的控制更加精确，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
尤其，通过控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
附图说明
图1为本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影系统的结构示意图；
图2为本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影系统的操作流程示意图；
图3为本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影系统中控制模块执行控制指令的流程示意图；
图4为本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影系统中控制模块执行控制指令示意图；
图5为本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影方法的流程示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影系统包括：
感知模块110，用以感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
信号采集模块120，其与所述感知模块连接，用以在观影设备启后采集用户的脑电信号数据；
信号处理模块130，其与所述信号采集模块连接，用以将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
控制模块140，其与所述信号处理模块连接，用以根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块150训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
具体而言，用户戴好脑电帽，靠近RFID读写器，系统自动启动观影软件，如启动爱奇艺app，并连接脑电信号数据采集模块，实时采集用户的脑电信号数据，并通过WIFI、蓝牙或有线等方式传输至信号处理模块；所述感知模块感知时，贴在脑电头盔上的用户已注册的电子标签将与RFID读写器进行通信，最后RFID读写器可以通过WIFI或有线的方式将信号传输到信号处理模块中。
所述脑电信号数据采集模块，用户需要佩戴脑电帽，在实施例中，脑电帽采用OpenBCI公司的8通道WIFI版脑电帽，该脑电帽包含8个脑电信号数据记录电极，用于采集脑电信号数据，其采样频率设置为250Hz，并通过WIFI、蓝牙等方式发送给信号处理模块。
具体而言，本发明实施例通过感知模块感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备，实现了观影设备的智能自动开启；信号采集模块在观影设备开启后采集用户的脑电信号数据；信号处理模块获取网络模型，将所述脑电信号数据进行切片后依次输入所述网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令，实现对脑电信号数据的翻译处理；控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，利用运动想象脑机接口技术实现意念观影系统，不同于P300、稳态视觉诱发等需要依靠视觉刺激来实现的方式；本发明可以直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；使用RFID技术实现自动开启观影平台功能；结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少脑电信号数据的预处理过程并提高模型脑电信号数据分类的准确性，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
具体而言，所述感知模块感知用户与观影设备的距离，并在预设距离时生成开启指令，包括：
识别用户设备的电子标签到观影设备的实际距离，并根据预设距离判定是否生成开启指令的两类判断方式；
第一类判断方式包括，当所述实际距离符合第一预设判断条件时，所述感知模块判定生成所述开启指令；
第二类判断方式包括，当所述实际距离符合第二预设判断条件时，所述感知模块判定不生成所述开启指令；
其中，所述第一预设判断条件为所述实际距离小于等于所述预设距离，所述第二预设判断条件为实际距离大于预设距离。
具体而言，所述感知子模块是利用射频识别(Radio Frequency Identification,RFID)技术实现，用户将注册好的电子标签贴到脑电头盔上，将阅读器安装在投影机旁，当用户接近阅读器如1米左右范围时，阅读器检测到目标后会生成开启指令发送到控制模块，控制器控制将自动开启观影软件。
具体而言，本发明实施例通过感知模块感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备，实现了观影设备的智能自动开启，利用运动想象脑机接口技术实现意念观影系统，不同于P300、稳态视觉诱发等需要依靠视觉刺激来实现的方式；本发明可以直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；使用RFID技术实现自动开启观影平台功能；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
具体而言，所述模型训练模块根据所述历史脑电信号数据进行模型训练，包括：
将所述历史脑电信号数据根据采集时间进行随机调序；
将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集；
将所述训练集输入至网络结构中进行训练，将所述测试集输入至训练的网络结构进行测试，并根据用Adam优化方法调节网络结构中的网络参数，以得到网络模型。
具体而言，在采集用户脑电信号数据时，观影设备屏幕上会出现采集开始提示符和提示音，告知用户做好准备即将开始运动想象任务。然后随机出现n张不同肢体动作的提示图片，用户看到提示后需要在接下来的4s内完成对应肢体运动的想象任务并保存；最后选取提示图片出现后1s后的数据片段作为原始脑电信号数据样本EC×T，其中C为脑电信号数据通道数，T为脑电信号数据的采样点数，在该实例中脑电信号数据样本EC×T中，C为8，T为3s×250Hz个采样点，将此脑电信号数据不做任何预处理直接作为输入送进网络结构中。
具体而言，所述模型训练模块将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集，根据第一预设百分比将所述调序后的所述历史脑电信号数据划分为所述训练集，根据第二预设百分比将所述调序后的所述历史脑电信号数据划分为所述测试集；
所述模型训练模块根据预设脑电信号数据参数范围为所述训练集中的脑电信号数据进行打标签以得到四个类型的脑电信号数据标签。
具体而言，所述第一预设百分比可以为80％，所述第二预设百分比可以为20％。
具体而言，本发明实施例通过结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少预处理过程并提高模型分类的准确性；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
请参阅2所示，所述模型训练模块将所述训练集输入至网络结构中进行训练，其中，构建所述网络结构包括：
网络结构包括WT-CNN模块和WT-Trans模块，所述WT-CNN模块包括第一模块、第二模块和第三模块组成；
其中，所述第一模块包括5个作用在时间维度上不同长度的一维卷积核，分别用于捕获0.1s、0.2s、0.3s、0.4s和0.5s为一个时间窗的脑电信号数据特征；
所述第二模块包括5个作用在空间维度上的一维卷积核，分别作用在所述第一模块时间卷积的结果上进行脑电信号数据通道空间特征提取，并将脑电信号数据由8个通道压缩成1个通道；
所述第三模块将所述第二模块中输出的结果在时间维度上进行融合，得到一个新的时间序列并输入WT-Trans模块；
所述WT-Trans模块将所述WT-CNN模块中所述第三模块得到的时间序列进行分片，分成i个大小为d个采样点的时间片，每个时间片形状为1×d，将时间序列线性映射分为n个部分，并将n个部分执行注意力计算，该过程可以表示为：
MHA(XQ,XK,XV)＝[head0；head1；……；headn-1]W0 (2)
其中，所述Attention(Q,K,V)为加权表示，Q、K和V是由向量组成的矩阵，用于并行计算；上标T为矩阵转置符号(图2中的T表示的是采样点数)；dK表示的是K的维度，这是一个常数；W表示线性变换，用来获得每个head的Q、K和V，i＝0,1,2…n-1。
具体而言，所述第一模块、第二模块和第三模块在图2中表示为block1、biock2和block3，应用多头注意力机制(multi-head attention,MHA)使网络模型能够从不同的角度学习依赖关系，所述n个部分即为n个头(head)，dK表示一个常数，由于QK的值能很大，在网络层次较深时，传播时容易造成梯度消失，除以dK让值变小，缓解梯度消失。
具体而言，本发明实施例通过结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少脑电信号数据的预处理过程并提高模型分类的准确性；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
具体而言，所述模型训练模块将所述测试集输入至训练的网络结构进行测试，并用Adam优化方法调节网络结构中的网络参数，以得到网络模型，包括：
用交叉熵损失函数计算误差值，调整网络结构中的网络参数，这是一种自动获取最优权重参数的过程(例如卷积核参数的优化)，adam会根据学习率与梯度方向一步步调整神经网络中不同节点之间的权重，以此来减少预测值和真实值之间的误差。
所述交叉熵损失函数计算公式为：
其中，x是预测结果，是一个向量，其元素个数和类别数一样多；class表示这个样本的实际标签(class＝0，1，2，3，4)；x[class]，当class＝1时，就是取测试结果向量中的第二个元素，也就是取其真实分类对应的那个预测值；j为当前样本编号，先通过exp运算转为非负数，再通过计算出当前样本被分到class类的概率。
具体而言，所述模型训练模块根据所述误差值调整网络结构中的网络参数，根据误差值调整数据权重从而减少误差，这个调整过程有Adam优化器自动完成。
具体而言，本发明实施例通过所述模型训练模块根据所述误差值动态调整网络结构中的网络参数，提高模型对脑电信号数据分类的准确性；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
具体而言，所述信号处理模块将所述脑电信号数据进行切片，将一个连续的时间序列切分为特定形状后再输入到训练好的网络模型中去分类以得到处理结果。
具体而言，由于训练好的模型接收的输入信号数据是特定形状的，因此需要将一个连续的时间序列一步一步切分为特定形状后再输入到训练好的网络模型中，所述特定形状是根据模型训练时使用的数据shape来决定的，例如：8×751。
请参阅图3所示，所述信号处理模块根据所述处理结果中脑电信号数据标签类型匹配对应的控制指令，包括：
接收所述网络模型的处理结果，根据所述处理结果匹配对应的控制指令，所述处理结果包括四个类型的脑电信号数据标签，分别为舌头标签、双腿标签、右手标签和左手标签，其分别用于三个模式，其中，
准备模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为左移指令，若所述处理结果为右手标签，则匹配的控制指令为右移指令，若所述处理结果为双腿标签，则匹配的控制指令为确认指令，所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和确认切换返回指令，在接收的问处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为上移指令、下移指令和第一返回指令；
播放模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为后退指令，所述处理结果为右手标签，则匹配的控制指令为快进指令，所述奇数次接收处理结果为双腿标签，则匹配的控制指令为播放指令，所述偶数次接收处理结果为双腿标签，则匹配的控制指令为暂停指令，若所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和播放切换返回指令，在接收的处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为音量增加指令、音量减少指令和第二返回指令；
观看模式为接收到连续两次的处理结果为舌头标签，当首次接收到连续两次的处理结果为舌头标签时处于观看模式，不对接收到的处理结果中的左手标签、右手标签和双腿标签进行控制指令匹配，当再次接收到连续两次的处理结果为舌头标签时，其接收的处理结果中的左手标签、右手标签和双腿标签匹配的控制指令与播放模式相同。
具体而言，在采集用户的脑电信号数据时，观影设备屏幕上会出现采集开始提示符和提示音，告知用户做好准备即将开始运动想象任务，然后随机出现n张不同肢体动作的提示图片，使用者看到提示后需要在接下来的4s内完成对应肢体运动的想象任务并保存，最后选取提示图片出现后1s后的数据片段作为原始脑电信号数据样本，所述信号处理模块将所述脑电信号数据进行切片。
具体而言，本发明实施例通过控制模块接收网络模型对脑电信号数据的处理结果中脑电信号数据标签类型，并匹配对应的控制指令使控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，直接实现意念操控，不同类型的脑电信号数据标签对应不同的控制指令，通过精确匹配控制指令，使对观影设备的操作和视频的控制更加精确，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
具体而言，如图4所示，所述控制模块根据所述控制指令控制所述观影设备，包括：
所述控制模块接收所述控制指令即为准备模式，若所述控制指令为所述左移指令、右移指令、上移指令或下移指令，则控制观影设备上主界面的控制框分别进行左移、右移、上移或下移以选择视频，若首次接收的所述控制指令为所述确认指令或第一返回指令时，则控制观影设备分别对选择的视频进行播放或返回上一控制框选择的视频；
所述控制模块在执行确认指令播放视频后即为播放模式，接收所述控制指令，若所述控制指令为所述后退指令、快进指令、音量增加指令或音量减少指令，则控制观影设备上视频分别进行后退播放、快进播放、音量增加或音量减少，若接收的所述控制指令为所述播放指令、暂停指令或第二返回指令时，则控制观影设备分别对视频进行播放、暂停或返回主界面。
具体而言，控制模块实现“上、下、左、右、确认、返回、快进15s、后退15s、暂停(播放)、音量调节”功能；请参阅图4所示，以爱奇艺app为例，进入爱奇艺app并初始化后会出现一个白色高亮的“选中框”，根据所述操作手册，用户想象不同的肢体动作，“选中框会上、下、左、右”移动，当“选中框”移动到目标位置时就可以执行“确认”功能，确认之后也可以通过运动想象执行“返回”功能回到主界面。
当用户连续想象两次舌头转动则进入观影模式，此时除想象“舌头转动”外其余肢体动作的控制功能都会暂停，除非用户再次连续想象两次“舌头转动”切换至控制模式；在执行确认功能后会正式开始观看影片，在控制模式下使用者可以根据所述操作手册上的指令实现“快进15s、后退15s、播放、暂停、音量增加、音量减少以及返回”功能。
具体而言，本发明实施例通过控制模块根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作，直接实现意念操控，消除了视觉刺激所导致的大脑疲劳，同时也增加了使用时间以及使用体验；有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。
请参阅图5所示，本发明实施例提供的结合深度学习与运动想象脑机接口的意念观影方法包括：
步骤S210，感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
步骤S220，在观影设备启动后采集用户的脑电信号数据；
步骤S230，将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
步骤S240，根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，包括：
感知模块，用以感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
信号采集模块，其与所述感知模块连接，用以在观影设备启后采集用户的脑电信号数据；
信号处理模块，其与所述信号采集模块连接，用以将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
控制模块，其与所述信号处理模块连接，用以根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
2.根据权利要求1所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述感知模块感知用户与观影设备的距离，并在预设距离时生成开启指令，包括：
识别用户设备的电子标签到观影设备的实际距离，并根据预设距离判定是否生成开启指令的两类判断方式；
第一类判断方式包括，当所述实际距离符合第一预设判断条件时，所述感知模块判定生成所述开启指令；
第二类判断方式包括，当所述实际距离符合第二预设判断条件时，所述感知模块判定不生成所述开启指令；
其中，所述第一预设判断条件为所述实际距离小于等于所述预设距离，所述第二预设判断条件为实际距离大于预设距离。
3.根据权利要求2所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述模型训练模块根据所述历史脑电信号数据进行模型训练，包括：
将所述历史脑电信号数据根据采集时间进行随机调序；
将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集；
将所述训练集输入至网络结构中进行训练，将所述测试集输入至训练的网络结构进行测试，并根据用Adam优化方法调节网络结构中的网络参数，以得到网络模型。
4.根据权利要求3所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述模型训练模块将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集，根据第一预设百分比将所述调序后的所述历史脑电信号数据划分为所述训练集，根据第二预设百分比将所述调序后的所述历史脑电信号数据划分为所述测试集；
所述模型训练模块根据预设脑电信号数据参数范围为所述训练集中的脑电信号数据进行打标签以得到四个类型的脑电信号数据标签。
5.根据权利要求4所述的结合深度学习与运动想象脑机接口的意念观影系统及方法，其特征在于，所述模型训练模块将所述训练集输入至网络结构中进行训练，其中，构建所述网络结构包括：
网络结构包括WT-CNN模块和WT-Trans模块，所述WT-CNN模块包括第一模块、第二模块和第三模块组成；
其中，所述第一模块包括5个作用在时间维度上不同长度的一维卷积核，分别用于捕获0.1s、0.2s、0.3s、0.4s和0.5s为一个时间窗的脑电信号数据特征；
所述第二模块包括5个作用在空间维度上的一维卷积核，分别作用在所述第一模块时间卷积的结果上进行脑电信号数据通道空间特征提取，并将脑电信号数据由8个通道压缩成1个通道；
所述第三模块将所述第二模块中输出的结果在时间维度上进行融合后输入WT-Trans模块；
所述WT-Trans模块将所述WT-CNN模块中所述Block3得到的时间序列进行分片，分成i个大小为d个采样点的时间片，每个时间片形状为1×d，将时间序列分为n个部分，并将n个部分执行注意力计算，该过程可以表示为：
MHA(xQ，XK，XV)＝[head0；head1；......；headn-1]W0 (2)
其中，所述Attention(Q，K，V)为加权表示，Q、K和V是由向量组成的矩阵，用于并行计算，上标T为矩阵转置符号，dk表示的是K的维度，dk为常数，W表示线性变换，用来获得每个head的Q、K和V，i＝0，1，2...n-1。
6.根据权利要求5所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述模型训练模块将所述测试集输入至训练的网络结构进行测试，并用Adam优化方法调节网络结构中的网络参数，以得到网络模型，包括：
用交叉熵损失函数计算误差值，调整网络结构中的网络参数；
所述交叉熵损失函数计算公式为：
其中，x是预测结果，是一个向量，其元素个数和类别数一样多；class表示这个样本的实际标签，其中class＝0，1，2，3，4；x[class]表示当class＝1时，取测试结果向量中的第二个元素，即取其真实分类对应的预测值；j为当前样本编号，先通过exp运算转为非负数，再通过计算出当前样本被分到class类的概率。
7.根据权利要求6所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述信号处理模块将所述脑电信号数据进行切片时，将一个连续的时间序列切分为特定形状后再输入到训练好的网络模型中去分类以得到处理结果。
8.根据权利要求7所述的结合深度学习与运动想象脑机接口的意念观影系统及方法，其特征在于，所述信号处理模块根据所述处理结果中脑电信号数据标签类型匹配对应的控制指令，包括：
接收所述网络模型的处理结果，根据所述处理结果匹配对应的控制指令，所述处理结果包括四个类型的脑电信号数据标签，分别为舌头标签、双腿标签、右手标签和左手标签，其分别用于三个模式，其中，
准备模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为左移指令，若所述处理结果为右手标签，则匹配的控制指令为右移指令，若所述处理结果为双腿标签，则匹配的控制指令为确认指令，所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和确认切换返回指令，在接收的处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为上移指令、下移指令和第一返回指令；
播放模式包括所述左手标签、右手标签、双腿标签和舌头标签，若所述处理结果为左手标签，则匹配的控制指令为后退指令，所述处理结果为右手标签，则匹配的控制指令为快进指令，所述奇数次接收处理结果为双腿标签，则匹配的控制指令为播放指令，所述偶数次接收处理结果为双腿标签，则匹配的控制指令为暂停指令，若所述处理结果为舌头标签，则匹配的控制指令为切换移动方向指令和播放切换返回指令，在接收的问处理结果为舌头标签后，接收的处理结果中左手标签、右手标签和双腿标签匹配的控制指令将进行切换，所述左手标签、右手标签和双腿标签匹配的控制指令分别为音量增加指令、音量减少指令和第二返回指令；
观看模式为接收到连续两次的处理结果为舌头标签，当首次接收到连续两次的处理结果为舌头标签时处于观看模式，不对接收到的处理结果中的左手标签、右手标签和双腿标签进行控制指令匹配，当再次接收到连续两次的处理结果为舌头标签时，其接收的处理结果中的左手标签、右手标签和双腿标签匹配的控制指令与播放模式相同。
9.根据权利要求8所述的结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，所述控制模块根据所述控制指令控制所述观影设备，包括：
所述控制模块接收所述控制指令即为准备模式，若所述控制指令为所述左移指令、右移指令、上移指令或下移指令，则控制观影设备上主界面的控制框分别进行左移、右移、上移或下移以选择视频，若首次接收的所述控制指令为所述确认指令或第一返回指令时，则控制观影设备分别对选择的视频进行播放或返回上一控制框选择的视频；
所述控制模块在执行确认指令播放视频后即为播放模式，接收所述控制指令，若所述控制指令为所述后退指令、快进指令、音量增加指令或音量减少指令，则控制观影设备上视频分别进行后退播放、快进播放、音量增加或音量减少，若接收的所述控制指令为所述播放指令、暂停指令或第二返回指令时，则控制观影设备分别对视频进行播放、暂停或返回主界面。
10.一种应用如权利要求1-9任一项所述的结合深度学习与运动想象脑机接口的意念观影系统的结合深度学习与运动想象脑机接口的意念观影方法，其特征在于，包括：
感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；
在观影设备启后采集用户的脑电信号数据；
将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；
根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；
其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310204027.1A CN116841386B (zh) | 2023-03-06 | 2023-03-06 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310204027.1A CN116841386B (zh) | 2023-03-06 | 2023-03-06 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116841386A true CN116841386A (zh) | 2023-10-03 |
| CN116841386B CN116841386B (zh) | 2024-05-24 |
Family
ID=88160552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310204027.1A Active CN116841386B (zh) | 2023-03-06 | 2023-03-06 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116841386B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160210552A1 (en) * | 2013-08-26 | 2016-07-21 | Auckland University Of Technology | Improved Method And System For Predicting Outcomes Based On Spatio/Spectro-Temporal Data |
| CN106534565A (zh) * | 2016-11-28 | 2017-03-22 | 努比亚技术有限公司 | 电视控制装置、移动终端及方法 |
| CN107300969A (zh) * | 2017-05-02 | 2017-10-27 | 昆明理工大学 | 一种基于运动想象的mp4播放器装置及其控制方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN109917913A (zh) * | 2019-03-01 | 2019-06-21 | 南京云家物联网研究院有限公司 | 虚拟投影开关及工作方法 |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| CN113887513A (zh) * | 2021-10-28 | 2022-01-04 | 重庆邮电大学 | 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 |
| CN114129129A (zh) * | 2021-10-28 | 2022-03-04 | 山东师范大学 | 一种基于CNN与Transformer的癫痫检测系统 |
| CN114564991A (zh) * | 2022-02-28 | 2022-05-31 | 合肥工业大学 | 基于Transformer引导卷积神经网络的脑电信号分类方法 |
-
2023
- 2023-03-06 CN CN202310204027.1A patent/CN116841386B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160210552A1 (en) * | 2013-08-26 | 2016-07-21 | Auckland University Of Technology | Improved Method And System For Predicting Outcomes Based On Spatio/Spectro-Temporal Data |
| CN106534565A (zh) * | 2016-11-28 | 2017-03-22 | 努比亚技术有限公司 | 电视控制装置、移动终端及方法 |
| CN107300969A (zh) * | 2017-05-02 | 2017-10-27 | 昆明理工大学 | 一种基于运动想象的mp4播放器装置及其控制方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN109917913A (zh) * | 2019-03-01 | 2019-06-21 | 南京云家物联网研究院有限公司 | 虚拟投影开关及工作方法 |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与系统 |
| CN113887513A (zh) * | 2021-10-28 | 2022-01-04 | 重庆邮电大学 | 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 |
| CN114129129A (zh) * | 2021-10-28 | 2022-03-04 | 山东师范大学 | 一种基于CNN与Transformer的癫痫检测系统 |
| CN114564991A (zh) * | 2022-02-28 | 2022-05-31 | 合肥工业大学 | 基于Transformer引导卷积神经网络的脑电信号分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘宝锺: "《大数据分类模型和算法研究》", 31 January 2020, 云南大学出版社, pages: 225 - 235 * |
| 尹晶海;蒋德荣;穆振东;胡剑锋;: "基于运动想象的脑机接口残疾人游戏辅助平台的设计与应用", 中国组织工程研究与临床康复, no. 35 * |
| 郜峰利;陶敏;李雪妍;何昕;杨帆;王卓;宋俊峰;佟丹;: "基于深度学习的CT影像脑卒中精准分割", 吉林大学学报(工学版), no. 02, 15 March 2020 (2020-03-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116841386B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113532B2 (en) | Artificial intelligence apparatus for recognizing object and method therefor | |
| Parra et al. | Spatiotemporal linear decoding of brain state | |
| US11868582B2 (en) | Apparatus for controlling device based on augmented reality and method thereof | |
| US20170086712A1 (en) | System and Method for Motion Capture | |
| EP3785581A1 (en) | Artificial intelligence cooking apparatus | |
| CN108703824B (zh) | 一种基于肌电手环的仿生手控制系统及控制方法 | |
| KR102246659B1 (ko) | 지능형 디바이스 및 지능형 디바이스의 영상 보정 방법 | |
| CN110235169B (zh) | 化妆评价系统及其动作方法 | |
| CN110084192B (zh) | 基于目标检测的快速动态手势识别系统及方法 | |
| CN104395856A (zh) | 用于辨识示意动作的计算机实施方法及系统 | |
| CN109255366A (zh) | 一种针对在线学习的情感状态调节系统 | |
| KR20190106946A (ko) | 지능형 디바이스 및 그 제어 방법 | |
| WO2020069976A1 (en) | Concepts for improved head motion prediction and efficient encoding of immersive video | |
| CN111881763A (zh) | 确定用户注视位置的方法、装置、存储介质和电子设备 | |
| US11517500B2 (en) | Massage apparatus | |
| CN115100563A (zh) | 一种基于视频分析的生产过程交互与监测智能场景 | |
| US20210405758A1 (en) | Method of controlling augmented reality electronic device | |
| CN116841386B (zh) | 结合深度学习与运动想象脑机接口的意念观影系统及方法 | |
| KR20210077977A (ko) | 지능형 전자 디바이스 및 이를 이용한 얼굴 인식 방법 | |
| US11223729B2 (en) | Information processing apparatus and non-transitory computer readable medium for instructing an object to perform a specific function | |
| CN111339878A (zh) | 一种基于眼动数据的修正型实时情感识别方法及系统 | |
| CN115509355A (zh) | 一种整合视觉下的mi-bci交互控制系统及方法 | |
| KR20190031829A (ko) | 전자 장치 및 그 제어 방법 | |
| CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
| Harini et al. | A novel static and dynamic hand gesture recognition using self organizing map with deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |