CN111026267B - Vr脑电意念控制接口系统 - Google Patents
Vr脑电意念控制接口系统 Download PDFInfo
- Publication number
- CN111026267B CN111026267B CN201911201592.2A CN201911201592A CN111026267B CN 111026267 B CN111026267 B CN 111026267B CN 201911201592 A CN201911201592 A CN 201911201592A CN 111026267 B CN111026267 B CN 111026267B
- Authority
- CN
- China
- Prior art keywords
- data
- electroencephalogram
- training
- virtual reality
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 27
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000005611 electricity Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 20
- 238000003066 decision tree Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000638 stimulation Effects 0.000 abstract description 5
- 210000003710 cerebral cortex Anatomy 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 230000000763 evoking effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000008188 pellet Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供了一种VR脑电意念控制接口系统，包括：脑电采集模块，用于采集测试者大脑皮层主动产生的运动想象脑电信号；脑电特征提取模块，用于对采集到的脑电信号进行滤波处理，并提取脑电特征；机器学习分类模块，用于将滤波处理过后的脑电信号及提取到的脑电特征通过预先训练好的的机器学习模型进行分类；虚拟现实模块，用于获取脑电信号的分类结果对虚拟现实场景进行控制。本发明对测试者来说操控更加主动，不依赖于虚拟现实场景的刺激，控制方法更加多样化，提高了该系统的灵活性和实用价值。
Description
技术领域
本发明属于脑机接口技术领域，具体涉及一种VR脑电意念控制接口系统。
背景技术
脑机接口技术(Brain-Computer Interface,BCI)的实现是通过采集脑皮质活动的电信号，利用电信号数据作为对计算机输入，再将其转换为输出信息以及命令传给特定应用或是外设进行进一步操作。
虚拟现实(Virtual Reality,VR)是一种在模拟和沉浸式虚拟环境中进行的体验，可以类似于现实世界，也可以完全不同于现实世界。虚拟现实的应用可以包括娱乐(即游戏)和教育目的(即医疗或军事训练)。另外，不同类型的虚拟现实技术包括增强现实(Augmented Reality,AR)和混合现实(Mixed Reality,MR)。
目前，标准的虚拟现实系统使用虚拟现实头戴眼镜或多投影环境来生成真实的图像、声音和其他感觉，以模拟用户在虚拟环境中的物理存在。使用虚拟现实设备的人能够环顾人造世界，在其中移动，并与虚拟功能或项目交互。这种效果通常是由一个头戴式显示器组成的虚拟现实设备产生的，在眼睛前面有一个小屏幕，但也可以通过专门设计的多个大屏幕房间产生。虚拟现实通常包括听觉和视频反馈，但也可能允许通过触觉技术进行其他类型的感官和力反馈。
现有技术中，采用诱发电位实现脑机接口技术与虚拟现实技术的结合，用户进行控制时相对被动，需要虚拟现实提供特定的场景与动作进行刺激，从而产生诱发电位再进行场景控制，控制模式相对单一，一般是判断是否产生诱发电位，进而进行相关控制。
发明内容
本发明的目的是提供一种VR脑电意念控制接口系统，使脑机接口技术与虚拟现实技术结合应用时，更加灵活，摆脱对于场景刺激的依赖，控制模式多样，可完成更复杂的任务。
本发明提供了一种VR脑电意念控制接口系统，包括：
脑电采集模块，用于采集测试者大脑皮层主动产生的运动想象脑电信号；
脑电特征提取模块，用于对采集到的脑电信号进行滤波处理，并提取脑电特征；
机器学习分类模块，用于将滤波处理过后的脑电信号及提取到的脑电特征通过预先训练好的的机器学习模型进行分类；
虚拟现实模块，用于获取脑电信号的分类结果对虚拟现实场景进行控制。
进一步地，所述脑电采集模块采集测试者想象左侧肢体运动、右侧肢体运动、既不想左侧肢体运动，又不想右侧肢体运动的脑电信号。
进一步地，所述脑电特征提取模块提取脑电信号的偏度特征及峰度特征，作为脑电特征。
进一步地，所述机器学习分类模块采用梯度增强决策树对机器学习模型进行训练。
与现有技术相比本发明的有益效果是：
本发明对测试者来说操控更加主动，不依赖于虚拟现实场景的刺激，控制方法更加多样化，提高了该系统的灵活性和实用价值。
附图说明
图1是本发明VR脑电意念控制接口系统的结构框图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
参图1所示，本实施例提供了一种VR脑电意念控制接口系统，包括：
脑电采集模块10，用于采集测试者大脑皮层主动产生的运动想象脑电信号；
脑电特征提取模块20，用于对采集到的脑电信号进行滤波处理，并提取脑电特征；
机器学习分类模块30，用于将滤波处理过后的脑电信号及提取到的脑电特征通过预先训练好的的机器学习模型进行分类；
虚拟现实模块40，用于获取脑电信号的分类结果对虚拟现实场景进行控制。
该VR脑电意念控制接口系统，采用测试者可主动产生的运动想象脑电信号进行机器学习多分类(例如左肢运动想象、右肢运动想象以及不进行运动想象)，之后将不同的分类结果赋予不同的含义，从而实现对虚拟现实场景的控制。该系统对测试者来说操控更加主动，不依赖于虚拟现实场景的刺激，控制方法更加多样化，提高了系统的灵活性和实用价值。
在本实施例中，脑电采集模块10采集测试者想象左侧肢体运动、右侧肢体运动、既不想左侧肢体运动，又不想右侧肢体运动的脑电信号。
在本实施例中，脑电特征提取模块20提取脑电信号的偏度特征及峰度特征，作为脑电特征。
在本实施例中，机器学习分类模块30采用梯度增强决策树对机器学习模型进行训练。
下面通过具体实例对本发明作进一步详细说明。
本部分旨在通过实验说明本发明的主要过程，包括从数据的采集与处理到机器学习的训练分类，再到对脑电数据的实时读取与分析，最后建立虚拟现实环境，并实现脑电波对虚拟现实环境中三维小球的控制。
1、训练数据采集与预处理
采用OpenBCI的脑电采集设备，采集16个点位的脑电信号。
测试者头戴采集设备，打开OpenBCI官方开发的GUI，进行数据采集。首先，测试者想象左侧肢体运动，维持一分钟，GUI会将脑电原始数据实时保存到指定路径下的指定txt文件，这里我将其命名为left.txt，数据中包含数据编号、十六个通道的脑电数据以及保存时间。接下来测试者想象右侧肢体运动，维持一分钟，将这一分钟的脑电数据保存到另一个txt文件，命名为right.txt。最后以同样的方式记录测试者既不想左侧肢体运动，又不想右侧肢体运动的一分钟脑电信号，保存到第三个txt文件，命名为base.txt。
通过Python脚本代码，将十六通道的脑电数据提取出来，通过Python自带的滤波库进行带通滤波，得到α波(7-13Hz)，并计算每组十六维数据的偏度(偏度是对数据分布不对称性的度量，表征数据分布的偏斜方向，例如负偏度通常表示样本数据中小于均值的比大于均值的数据少，正偏度则反之)、峰度(峰度反映了数据分布的尖度，通常来讲峰度越大，数据中就有越多的极端值)等，作为补充特征。同时，对处理好的数据打标签，以便后期监督学习。Left.txt文件中的数据统一加一列标签，标为1，right.txt文件中的数据标为2，base.txt文件中的数据标为0。
最后将这三个txt文件中的所有数据打乱顺序后，按九比一的比例分开保存到两个csv文件，一个作为训练集，一个作为测试集，以便之后机器学习调用。
2、机器学习训练与测试
在本次实验中，采取了梯度增强决策树对机器学习模型进行训练。
梯度增强(Gradient Boosting)算法是机器学习中常用的一种处理分类和回归问题的算法。基于梯度增强分类算法的预测模型是基于弱分类器的。通过训练，不断迭代优化弱分类器的残差损失函数，生成每次迭代的结果——一个新的弱分类器。新分类器在负梯度方向上优化前一弱分类器的残差损失，减少了最后一次迭代结果产生的近似残差，最后对每一次迭代的弱分类器的结果进行加权，得到了总分类器，形成了一个理想的预测模型。在实际应用中，弱分类器的选择通常会选择分类回归决策树(Classification andRegression Tree，CART)。决策树(Decision Tree，DT)是一种决策支持工具，它使用树状的决策模型，预测出其可能的后果，包括概率事件结果，资源成本和效用。通常将其用于运营研究，特别是决策分析，以帮助确定最有可能达到目标的策略，但也是机器学习中的流行工具。决策树是类似流程图的结构，其中每个内部节点表示对属性的“测试”(例如，硬币翻转是否出现在正面或反面)，每个分支代表测试的结果，并且每个叶节点表示分类标签(在计算所有属性后做出的决定)。从根到叶的路径表示分类规则。决策树通常作为计算条件概率的描述性手段。
本实施例中使用的算法就是梯度增强决策树(Gradient Boosting DecisionTree，GBDT)，其算法如下：
(1)有m个输入训练集样本残差损失函数为L(y,F(x))，迭代次数为N。其中xi是训练数据的特征向量，而yi是训练数据的特征标签，以便监督学习训练。
(2)初始模型的初始值Fo(x)。
通过最小化残差的方式求得参数γ的值。
(3)将初始值带入模型，之后对模型进行N次迭代，令n为迭代次数变量(n＝1,2,3,…,N)。再有下面公式计算得到第n次沿负梯度方向的近似残差。
其中，i＝1,2,3,…,m。
(4)如此可得m个数据样本的近似残差值，同时生成得到以训练数据输入
向量为输入，以第n次沿负梯度方向的近似残差值为输出标签的新训练集再用新训练集训练经过n次迭代而生成的新分类器hn(x)。
(5)通过下式计算得出hn(x)分类器的权重。
(6)迭代生成最新的训练模型，由此可得出输出函数Fn(x)，迭代N次之后，得出最终的分类预测模型FN(x)。
Fn(x)＝Fn-1(x)+γnhn(x) (4)
完成训练后，得到每个分类器在不同迭代次数时的权重。用梯度增强决策树的分类器FN(x)对测试集的输入数据进行测试，测试预测结果为不同分类器在不同权重下最为接近测试数据原始标签的结果。
训练出模型后，需要进行测试结果的分析，来评判模型质量的好坏。测试度量标准如下：
对于分类问题，可将测试集依据其真实标签与预测结果分为以下几类，若输入数据的真实标签为正例，模型预测结果为正例，则该组数据为真正例(True Positive,TP)；若输入数据的真实标签为负例，模型预测结果为正例，则该组数据为假正例(FalsePositive,FP)；若输入数据的真实标签为正例，模型预测结果为负例，则该组数据为假负例(False Negative,FN)；若输入数据的真实标签为负例，模型预测结果为负例，则该组数据为真负例(True Negative,TN)。
进而可以计算其精确率(Precision,P)：
准确率(Accuracy,A)：
召回率(Recall,R)：
以上三个度量标准的值同为，0为最差，1为最好。但有时精确率与召回率的值不统一，即有些模型精确率较高，而召回率较低，有些模型反之。为更好地评判模型质量，研究人员引入了另一个值，以统一精确率与召回率，即
F1-score，其计算方法如下：
本实施例通过Python中的sklearn工具包搭建出GBDT模型，模型设置为多分类模型。将之前生成的csv文件导入进行训练。同时，将训练集分成5份，训练过程中实现交叉验证，充分利用训练集中的数据，并达到提升模型泛化能力的目的。
本次测试结果如表1所示：
表1机器学习测试结果
最后将模型保存，以便后续调用。
3、脑电数据的读取与处理
通过Python脚本对实时更新的txt日志文件直接进行读取。由于txt文件在实时保存的过程中可能导致文件最后一行残缺不全的问题，本实施例解决方法是直接读取倒数第二行数据。
从读取到的txt倒数第二行文本中，提取出十六个通道的脑电信号数据，并通过带通滤波器滤出α波，计算出其他特征(如峰度，偏度)。
读取之前训练好的梯度增强决策树模型，将实时处理好的数据导入模型，使其对脑电信号进行实时分类，识别出脑电信号类别，以便后续控制使用。
4、虚拟现实环境控制
使用Unity3D，建立虚拟现实环境，在C#脚本中进行场景中三维小球的运动控制。
将上一步的机器学习分类结果，实时写入另一个txt文件，分类结果为左侧运动想象表示为“1”，右侧运动想象表示为“2”，两者皆非表示为“0”，此时只进行写操作，不进行追加，以此减少后续步骤中读取该文件时的内存占用过大问题。
下一步通过控制虚拟现实场景中三维小球的C#脚本对上一步中实时更新的txt文件进行实时读取。若读取到的数据为“0”，则不做任何操作；读取到的数据为“1”，则小球向左滚动；读取到的数据为“2”，则小球向右滚动。
5、试验结果与分析
通过上文所述步骤的操作，最后实现了本实验的目的。在相对简单的网络环境下，即电子干扰较少的情况下，测试者放松时进行了100次测试，其中有83次成功通过脑电波控制了三维小球的运动。
本发明采用运动想象电位进行虚拟现实场景的控制。该电位可由测试者自身主动产生，不依赖于特定的刺激，且可进行多分类(例如左肢运动想象、右肢运动想象以及不进行运动想象)。应用更加灵活，控制模式多样，可完成更复杂的任务。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (1)
1.一种VR脑电意念控制接口系统，其特征在于，包括脑电采集模块、脑电特征提取模块、机器学习分类模块及虚拟现实模块；
所述脑电采集模块及脑电特征提取模块具有用于：
采用脑电采集设备，采集16个点位的脑电信号，包括：
测试者头戴采集设备，打开GUI，进行数据采集；首先，测试者想象左侧肢体运动，维持一分钟，通过GUI将脑电原始数据实时保存到指定路径下的指定txt文件，将其命名为left.txt，数据中包含数据编号、十六个通道的脑电数据以及保存时间；接下来测试者想象右侧肢体运动，维持一分钟，将这一分钟的脑电数据保存到另一个txt文件，命名为right.txt；最后以同样的方式记录测试者既不想左侧肢体运动，又不想右侧肢体运动的一分钟脑电信号，保存到第三个txt文件，命名为base.txt；
通过Python脚本代码，将十六通道的脑电数据提取出来，通过Python自带的滤波库进行带通滤波，得到α波，并计算每组十六维数据的偏度、峰度，作为补充特征；对处理好的数据打标签，以便后期监督学习；对Left.txt文件中的数据统一加一列标签，标为1，right.txt文件中的数据标为2，base.txt文件中的数据标为0；将这三个txt文件中的所有数据打乱顺序后，按九比一的比例分开保存到两个csv文件，一个作为训练集，一个作为测试集，用于机器学习调用；
所述机器学习分类模块具体用于：
采用梯度增强决策树对机器学习模型进行训练，其算法如下：
(1)有m个输入训练集样本残差损失函数为L(y,F(x))，迭代次数为N；其中xi是训练数据的特征向量，yi是训练数据的特征标签，以便监督学习训练；
(2)初始模型的初始值Fo(x)
通过最小化残差的方式求得参数γ的值；
(3)将初始值带入模型，之后对模型进行N次迭代，令n为迭代次数变量(n＝1,2,3,…,N)；通过下述公式计算得到第n次沿负梯度方向的近似残差；
其中，i＝1,2,3,…,m；
(4)得m个数据样本的近似残差值，同时生成得到以训练数据输入向量为输入，以第n次沿负梯度方向的近似残差值为输出标签的新训练集再用新训练集训练经过n次迭代而生成的新分类器hn(x)；
(5)通过下式计算得出hn(x)分类器的权重；
(6)迭代生成最新的训练模型，由此可得出输出函数Fn(x)，迭代N次之后，得出最终的分类预测模型FN(x)；
Fn(x)＝Fn-1(x)+γnhn(x) (4)
完成训练后，得到每个分类器在不同迭代次数时的权重；用梯度增强决策树的分类器FN(x)对测试集的输入数据进行测试，测试预测结果为不同分类器在不同权重下最为接近测试数据原始标签的结果；
读取训练好的梯度增强决策树模型，将实时处理好的数据导入模型，使其对脑电信号进行实时分类，识别出脑电信号类别；
所述虚拟现实模块具体用于：
建立虚拟现实环境，在C#脚本中进行场景中三维小球的运动控制，包括：
将机器学习分类结果，实时写入另一个txt文件，分类结果为左侧运动想象表示为1，右侧运动想象表示为2，两者皆非表示为0，此时只进行写操作，不进行追加；
通过控制虚拟现实场景中三维小球的C#脚本对实时更新的txt文件进行实时读取；若读取到的数据为0，则不做任何操作；读取到的数据为1，则小球向左滚动；读取到的数据为2，则小球向右滚动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201592.2A CN111026267B (zh) | 2019-11-29 | 2019-11-29 | Vr脑电意念控制接口系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911201592.2A CN111026267B (zh) | 2019-11-29 | 2019-11-29 | Vr脑电意念控制接口系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111026267A CN111026267A (zh) | 2020-04-17 |
| CN111026267B true CN111026267B (zh) | 2023-11-24 |
Family
ID=70203477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911201592.2A Active CN111026267B (zh) | 2019-11-29 | 2019-11-29 | Vr脑电意念控制接口系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111026267B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112545533B (zh) * | 2020-12-03 | 2023-03-21 | 中国船舶工业系统工程研究院 | 基于多传感器与脑电磁波复合信号的人体域网通信方法 |
| CN113111697B (zh) * | 2020-12-17 | 2023-07-28 | 西安电子科技大学 | 虚拟现实环境中三维静态图像的脑电信号识别系统及方法 |
| CN113208628A (zh) * | 2021-04-06 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于eeg信号的抑郁状态检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
| CN107544675A (zh) * | 2017-09-08 | 2018-01-05 | 天津大学 | 脑控式虚拟现实方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11199904B2 (en) * | 2017-10-06 | 2021-12-14 | Holland Bloorview Kids Rehabilitation Hospital | Brain-computer interface platform and process for classification of covert speech |
-
2019
- 2019-11-29 CN CN201911201592.2A patent/CN111026267B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
| CN107544675A (zh) * | 2017-09-08 | 2018-01-05 | 天津大学 | 脑控式虚拟现实方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111026267A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117731B (zh) | 一种课堂教学认知负荷测量系统 | |
| CN111026267B (zh) | Vr脑电意念控制接口系统 | |
| US9875445B2 (en) | Dynamic hybrid models for multimodal analysis | |
| CN108780519A (zh) | 卷积神经网络中的结构学习 | |
| CN108229478A (zh) | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| CN111656373A (zh) | 训练神经网络模型 | |
| CN111222486B (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN107766577B (zh) | 一种舆情监测方法、装置、设备及存储介质 | |
| CN111325664A (zh) | 风格迁移方法、装置、存储介质及电子设备 | |
| CN110531849A (zh) | 一种基于5g通信的增强现实的智能教学系统 | |
| CN110210540A (zh) | 基于注意力机制的跨社交媒体用户身份识别方法及系统 | |
| CN113143295A (zh) | 基于运动想象脑电信号的设备控制方法及终端 | |
| Kasparova et al. | Inferring student engagement in collaborative problem solving from visual cues | |
| Araya et al. | Automatic detection of gaze and body orientation in elementary school classrooms | |
| Rodríguez et al. | Image Classification Methods Applied in Immersive Environments for Fine Motor Skills Training in Early Education. | |
| CN110210380A (zh) | 基于表情识别与心理学测试生成性格的分析方法 | |
| CN117251057A (zh) | 一种基于aigc构建ai数智人的方法及系统 | |
| Gu et al. | Generating sequence of eye fixations using decision-theoretic attention model | |
| CN114882580A (zh) | 一种基于深度学习的运动动作一致性的度量方法 | |
| Song et al. | Deep learning-based assessment of facial periodic affect in work-like settings | |
| CN113762324A (zh) | 虚拟对象检测方法、装置、设备及计算机可读存储介质 | |
| CN112138396B (zh) | 一种面向无人系统模拟对抗的智能体训练方法及系统 | |
| Shen | Analysis and Research on the Characteristics of Modern English Classroom Learners’ Concentration Based on Deep Learning | |
| Gonçalves et al. | Design of Socioenactive Systems Based on Physiological Sensors and Robot Behavior in Educational Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |