CN113143273A - 一种在线视频学习中学习者注意状态智能检测系统及方法 - Google Patents
一种在线视频学习中学习者注意状态智能检测系统及方法 Download PDFInfo
- Publication number
- CN113143273A CN113143273A CN202110305497.8A CN202110305497A CN113143273A CN 113143273 A CN113143273 A CN 113143273A CN 202110305497 A CN202110305497 A CN 202110305497A CN 113143273 A CN113143273 A CN 113143273A
- Authority
- CN
- China
- Prior art keywords
- learner
- online video
- main controller
- video learning
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 27
- 230000006399 behavior Effects 0.000 claims description 21
- 230000004424 eye movement Effects 0.000 claims description 20
- 210000004556 brain Anatomy 0.000 claims description 16
- 230000005611 electricity Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000007787 long-term memory Effects 0.000 claims description 11
- 230000006403 short-term memory Effects 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000010223 real-time analysis Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000007786 learning performance Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Abstract
本发明公开了在线视频学习注意状态智能检测技术领域的一种在线视频学习中学习者注意状态智能检测系统及方法，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了整个在线的教学质量，减轻了教育者的工作负担和教育平台的人力成本。
Description
技术领域
本发明涉及在线视频学习注意状态智能检测技术领域，具体为一种在线视频学习中学习者注意状态智能检测系统及方法。
背景技术
随着科技的进步，“互联网+教育”打破了传统课堂教学的时空限制，可以随时随地的学习。视频以多通道展示教学内容的特征，成为广大学习者偏爱的一种形式，在在线教育中占据重要地位。然而视频教学会存在一些弊端，即相比于传统课堂教学，学习者观看视频过程中，与老师同学之间缺乏实时互动，一方面导致他们常常容易分心，另外一方面导致教师无法根据学习者的表现（如抬头、记笔记和眼神等）监测与评估他们的注意状态，最终导致他们的学习成绩往往不如传统课堂教学的效果。然而，传统的视频音频监控方法耗费人力财力，也容易侵犯学习者隐私，为此，我们提出一种在线视频学习中学习者注意状态智能检测系统及方法。
发明内容
本发明的目的在于提供一种在线视频学习中学习者注意状态智能检测系统及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种在线视频学习中学习者注意状态智能检测系统，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接。
优选的，在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；
所述摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；
所述脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；
所述主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；
所述云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。
优选的，所述学习者的操作行为包括暂停、播放、快进和快退。
优选的，所述学习者眼动信息A包括瞳孔直径和眼动轨迹。
优选的，所述脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；
所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；
所述高精度模数转换器将模拟信号转换为数字信号；
所述单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4。
优选的，所述主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且所述主控制器4是基于嵌入式处理器的最小系统，所述控制系统将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5。
优选的，所述云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。
优选的，运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者对整体在线视频学习进行评估。
优选的，数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；
所述注意神经网络层对学习者突发操作行为进行采集与特征提取；
所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；
所述二维卷积层对眼动轨迹进行识别。
优选的，所述数据融合深度人工神经网络后端由三个全连接层和softmax层组成。
优选的，所述长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。
与现有技术相比，本发明的有益效果是：
本发明针对在线视频教学所出现的弊端，提出了基于人工智能的在线视频学习中学习者注意状态检测系统，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了教学质量，该系统无需人为参与，减轻了教育者的工作负担和教育平台的人力成本，此外，此系统为低成本方案，可大规模部署于偏远山区学校，充分利用在线资源弥补国内教育资源不均衡的问题。
附图说明
图1为本发明整体系统框图；
图2为本发明数据融合深度人工神经网络图；
图3为本发明预测学习成绩的长短期记忆网络图；
图4为本发明集中组和分心组的平均注意力指数表；
图5为本发明集中组和分心组的学习成绩；
图6为本发明数据融合深度神经网络的训练与交叉验证的分类准确度。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：一种在线视频学习中学习者注意状态智能检测系统，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接；
在线视频学习中学习者注意状态智能检测系统的检测方法为：人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；
摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；
脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；
主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；
云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。
学习者的操作行为包括暂停、播放、快进和快退；
学习者眼动信息A包括瞳孔直径和眼动轨迹，本实施例中，摄像头2实时记录学习者眼球信息，并把图像传回主控制器4，由其提取眼动特征（如瞳孔直径和眼动轨迹等）；
脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；
信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；
高精度模数转换器将模拟信号转换为数字信号；
单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4；
高精度模数转换器（如ADS1299）将模拟信号转换为数字信号，单片机（如STM32F409）收集这些数字信号并控制无线收发器（如ESP32），通过wifi和蓝牙等无线信号或通过有线连接（如USB、RS484和CAN）把脑电信号传给后端主控制器4；
主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且主控制器4是基于嵌入式处理器（如Arm®Cortex®-A72CPU）的最小系统，主控制器4运行基于OPENCV开发的运用程序，分析摄像头2传回的学习者面部图像，并提取其瞳孔直径和眼动轨迹等眼部信息,4控制器同时收集学习者操作行为和脑电信号，将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5；
云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习成绩预测的长短期记忆网络；
云端服务器5收集学习者在整个在线视频学习过程中的注意力指数曲线（时序序列），运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者整体在线视频进行评估；
数据融合深度人工神经网络前端由注意神经网络层、一维卷积层和二维卷积层组成，最后，三种网络所提取学习者特征由深度全连接层进行多模态数据融合，并预测学习者的实时注意力指数；
注意神经网络层对学习者突发操作行为进行采集与特征提取；
一维卷积层对脑电信号及实时瞳孔直径信息进行处理；
二维卷积层对眼动轨迹进行识别；
数据融合深度人工神经网络后端由三个全连接层和softmax层组成，且数据融合深度人工神经网络有三种不同的输入端口；
如图2所示，端口1主要处理5秒内学习者的眼动轨迹图，轨迹图首先经由3层二维卷积层进行特征提取，每个卷积层由卷积函数、Relu激活函数，以及最大池化层组成，第一个卷积层采用16个5×5的卷积核和激活函数对图片进行粗扫描提取眼动轨迹图片浅层信息，并由3×3的最大池化层降维；第二层采用32个3×3的卷积核与激活函数提取图片较深层信息，并由3×3的最大池化层降维；第三层采用64个2×2的卷积核和激活函数进一步提取视觉域提取深层信息降维得到二维特征图，最后将该二维特征图展开为一维数组传递给后端全连接层；
如图2所示，端口2对学习者脑电的原始数据直接进行处理，脑电曲线由两层一维卷积层进行特征提取，再由最大池化层进行将维处理，第一层卷积层由10组1×5的卷积核组成，粗略地对脑电波信号进行滤波，第二层由20组1×32的卷积核和步长512的池化层组成，等效地提取脑电信号不同频率段的能量信息，所得脑电特征数据最后被展开传入全连接层，端口3运用和端口2相同的一维卷积层对学习者瞳孔大小随时间变化曲线进行特征提取，并将特征向量传给后端的全连接层；
如图2所示，端口4对学习者突发操作行为进行捕捉，首先量化这些操作行为（如暂停、播发、快进和快退等）形成时间幅度曲线，注意网络层再对这些曲线进行特征提取，并通过全连接层把所提取特征并入后端网络，后端网络由三层全连接和softmax层组成，其完成对三种不同数据进行融合并再一次提取特征，最后根据这些特征预测学习者在当前（5秒内）注意力指数，注意力指数为0到1的一个任意小数；
算法框架6内的数据融合深度人工神经网络特点如下：
第一：运用一维卷积层对原始脑电信号处理，与传统处理方法相比，该网络省去了对脑电的预处理环节，如滤波和小波变换等，节约了计算资源，降低了脑电预处理难度，实现了端到端的数据处理。
第二：运用一维卷积层对原始瞳孔直径随时间变化序列进行直接处理，减小了预处理难度。
第三：运用注意网络对学习者突发的操作行为进行特征提取，与传统神经网络相比，减少了神经元数，提高了分辨精度；
长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。
被试所有注意力指数在视频学习结束之后被转化为时序序列，序列最后加入End标识，作为结束标志。该序列传入如图3所示的长短期记忆网络，该网络由输入层，LSTM单元及全连接层组成，长短期记忆网络在输入时序序列后，会输出一个0到100的正数，预测学习者的学习成绩。
深度学习网络训练集的建立步骤：通过指导语干预被试的注意状态，以获得被试在视频学习过程中不同注意状态下的注意力指数、操作行为数据、眼动数据、脑电数据，以及其学习成绩，以建构深度神经网络的训练集数据，在该实验中，被试被随机至两种实验条件中：集中条件vs分心条件，集中组：在视频学习前被试被告知，在完成视频之后会有相关的测试，他们所获得报酬与测试成绩成正比；分心组在进行视频学习时同时需要完成加减运算，两组被试观看相同视频，在视频学习时，会定时报告自己的注意力指数，并在视频学习结束之后，完成相应的学习测验。
为验证上述步骤，本专利开展了如下实验。实验中有60名被试，随机分配到两种实验组：分心组为30人，集中组为30人，两组人分别按上述步骤参加完实验流程，其平均注意力指数如图4所示，结合说明书附图图4，两组测试所得结果均值为0.43和0.62。该结果说明了分心组得到的注意力指数较低，同时说明书附图图5描述了两组被试最终测试成绩的分布情况。如图所示，集中组的学习成绩（平均学习成绩为65分）显著高于分心组的学习成绩（平均学习成绩为40分）。注意力指数与测试成绩的结果均说明了上述实验的有效性，请参阅图4和图5，两组被试的操作行为、眼动信息和脑电信号作为数据融合深度神经网络的输入数据，其实时报告的注意力指数将作为该输入数据的标签，以实现对该深度神经网络的训练，被试在整个视频学习时的注意力指数的时序信号，作为长短期记忆网络输入数据，其学习成绩作为对应标签以实现对网络的训练，为了验证数据融合深度神经网络的工作性能，我们把上述实验数据分为训练组数据集、交叉验证数据集和测试数据集，它们各占数据量的比重为70%、15%和15%，数据融合深度神经网络对学习者注意状态分类结果（注意力指数大于0.5为集中状态，注意力指数小于0.5为分心状态）如说明书附图图6所示，其在训练集和交叉验证集的准确度为97.3%和95.4%，其在测试数据集的准确率可以到91.2%，而长短期记忆网络在测试集上对学习成绩预测的均方误差根可低于8.2（百分制）。
本系统针对在线视频教学所出现的弊端，提出了基于人工智能的在线视频学习中学习者注意状态检测系统，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了整个在线的教学质量，该系统无需人为参与，减轻了教育者的工作负担和教育平台的人力成本，此外，此系统为低成本方案，可大规模部署于偏远山区学校，充分利用在线资源弥补国内教育资源不均衡的问题。
尽管已经展示和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种在线视频学习中学习者注意状态智能检测系统，其特征在于：包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接。
2.根据权利要求1所述的一种在线视频学习中学习者注意状态智能检测系统，其特征在于：在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；
所述摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；
所述脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；
所述主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；
所述云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。
3.根据权利要求2所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者的操作行为包括暂停、播放、快进和快退。
4.根据权利要求3所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者眼动信息A包括瞳孔直径和眼动轨迹。
5.根据权利要求4所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；
所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；
所述高精度模数转换器将模拟信号转换为数字信号；
所述单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4。
6.根据权利要求5所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且所述主控制器4是基于嵌入式处理器的最小系统，所述控制系统将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5。
7.根据权利要求6所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。
8.根据权利要求7所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者对整体在线视频学习进行评估。
9.根据权利要求8所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；
所述注意神经网络层对学习者突发操作行为进行采集与特征提取；
所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；
所述二维卷积层对眼动轨迹进行识别。
10.根据权利要求9所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述数据融合深度人工神经网络后端由三个全连接层和softmax层组成；所述长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305497.8A CN113143273A (zh) | 2021-03-23 | 2021-03-23 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110305497.8A CN113143273A (zh) | 2021-03-23 | 2021-03-23 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113143273A true CN113143273A (zh) | 2021-07-23 |
Family
ID=76888004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110305497.8A Pending CN113143273A (zh) | 2021-03-23 | 2021-03-23 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113143273A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460467A (zh) * | 2022-08-23 | 2022-12-09 | 北京予洋注册安全工程师事务所有限公司 | 一种防挂机检测方法、系统及终端设备 |
| CN115470986A (zh) * | 2022-09-14 | 2022-12-13 | 北京工业大学 | 一种行为监测预防系统及方法 |
| CN117670612A (zh) * | 2023-11-29 | 2024-03-08 | 广东省教育研究院 | 基于虚拟现实设备的学习者状态评估方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107224291A (zh) * | 2017-05-27 | 2017-10-03 | 西南交通大学 | 调度员能力测试系统 |
| CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
| CN107495929A (zh) * | 2017-09-28 | 2017-12-22 | 武汉久乐科技有限公司 | 可穿戴设备和状态检测方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
-
2021
- 2021-03-23 CN CN202110305497.8A patent/CN113143273A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107224291A (zh) * | 2017-05-27 | 2017-10-03 | 西南交通大学 | 调度员能力测试系统 |
| CN107239895A (zh) * | 2017-05-27 | 2017-10-10 | 西南交通大学 | 用于持续性注意力考核的方法及系统 |
| CN107495929A (zh) * | 2017-09-28 | 2017-12-22 | 武汉久乐科技有限公司 | 可穿戴设备和状态检测方法 |
| CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460467A (zh) * | 2022-08-23 | 2022-12-09 | 北京予洋注册安全工程师事务所有限公司 | 一种防挂机检测方法、系统及终端设备 |
| CN115470986A (zh) * | 2022-09-14 | 2022-12-13 | 北京工业大学 | 一种行为监测预防系统及方法 |
| CN117670612A (zh) * | 2023-11-29 | 2024-03-08 | 广东省教育研究院 | 基于虚拟现实设备的学习者状态评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113143273A (zh) | 一种在线视频学习中学习者注意状态智能检测系统及方法 | |
| CN110070944B (zh) | 基于虚拟环境和虚拟角色的社会功能评估训练系统 | |
| CN107224291B (zh) | 调度员能力测试系统 | |
| CN111544015B (zh) | 基于认知力的操控工效分析方法、设备及系统 | |
| CN108836323B (zh) | 一种基于脑电波分析的学习状态监测系统及其使用方法 | |
| CN111598451B (zh) | 基于任务执行能力的操控工效分析方法、设备及系统 | |
| CN111553617B (zh) | 基于虚拟场景中认知力的操控工效分析方法、设备及系统 | |
| CN111598453B (zh) | 基于虚拟场景中执行力的操控工效分析方法、设备及系统 | |
| CN106292705A (zh) | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法 | |
| CN111553618B (zh) | 操控工效分析方法、设备及系统 | |
| CN102542849A (zh) | 形成性评测系统 | |
| CN108670276A (zh) | 基于脑电信号的学习注意力评价系统 | |
| CN105280044A (zh) | 一种面向孤独症谱系障碍儿童的智能教学系统 | |
| CN111012367A (zh) | 一种精神疾病的智能识别系统 | |
| CN105147304B (zh) | 一种人格特质值测验的刺激信息编制方法 | |
| CN202486999U (zh) | 形成性评测系统 | |
| CN108983966B (zh) | 基于虚拟现实和眼动技术的罪犯改造评估系统和方法 | |
| CN111930238B (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| CN113288147A (zh) | 基于eeg与神经反馈技术的轻度认知障碍康复评估系统 | |
| CN110534180A (zh) | 深度学习人机互适应运动想象脑机接口系统和训练方法 | |
| CN112008725B (zh) | 一种人机融合脑控机器人系统 | |
| CN111317469B (zh) | 一种脑电波监测设备、系统及监测方法 | |
| CN113694343A (zh) | 一种基于vr技术的沉浸式抗压力心理训练系统及方法 | |
| CN113688710A (zh) | 儿童孤独症训练系统及其方法 | |
| CN113313168A (zh) | 无人监考的智能防作弊自助考试系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |