CN113143273B - 一种在线视频学习中学习者注意状态智能检测系统及方法 - Google Patents

Abstract

本发明公开了在线视频学习注意状态智能检测技术领域的一种在线视频学习中学习者注意状态智能检测系统及方法，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了整个在线的教学质量，减轻了教育者的工作负担和教育平台的人力成本。

Description

一种在线视频学习中学习者注意状态智能检测系统及方法

技术领域

本发明涉及在线视频学习注意状态智能检测技术领域，具体为一种在线视频学习中学习者注意状态智能检测系统及方法。

背景技术

随着科技的进步，“互联网+教育”打破了传统课堂教学的时空限制，可以随时随地的学习。视频以多通道展示教学内容的特征，成为广大学习者偏爱的一种形式，在在线教育中占据重要地位。然而视频教学会存在一些弊端，即相比于传统课堂教学，学习者观看视频过程中，与老师同学之间缺乏实时互动，一方面导致他们常常容易分心，另外一方面导致教师无法根据学习者的表现（如抬头、记笔记和眼神等）监测与评估他们的注意状态，最终导致他们的学习成绩往往不如传统课堂教学的效果。然而，传统的视频音频监控方法耗费人力财力，也容易侵犯学习者隐私，为此，我们提出一种在线视频学习中学习者注意状态智能检测系统及方法。

发明内容

本发明的目的在于提供一种在线视频学习中学习者注意状态智能检测系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种在线视频学习中学习者注意状态智能检测系统，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，所述人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接。

优选的，在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；

所述摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；

所述脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；

所述主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；

所述云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。

优选的，所述学习者的操作行为包括暂停、播放、快进和快退。

优选的，所述学习者眼动信息A包括瞳孔直径和眼动轨迹。

优选的，所述脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；

所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；

所述高精度模数转换器将模拟信号转换为数字信号；

所述单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4。

优选的，所述主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且所述主控制器4是基于嵌入式处理器的最小系统，所述控制系统将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5。

优选的，所述云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。

优选的，运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者对整体在线视频学习进行评估。

优选的，数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；

所述注意神经网络层对学习者突发操作行为进行采集与特征提取；

所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；

所述二维卷积层对眼动轨迹进行识别。

优选的，所述数据融合深度人工神经网络后端由三个全连接层和softmax层组成。

优选的，所述长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。

与现有技术相比，本发明的有益效果是：

本发明针对在线视频教学所出现的弊端，提出了基于人工智能的在线视频学习中学习者注意状态检测系统，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了教学质量，该系统无需人为参与，减轻了教育者的工作负担和教育平台的人力成本，此外，此系统为低成本方案，可大规模部署于偏远山区学校，充分利用在线资源弥补国内教育资源不均衡的问题。

附图说明

图1为本发明整体系统框图；

图2为本发明数据融合深度人工神经网络图；

图3为本发明预测学习成绩的长短期记忆网络图；

图4为本发明集中组和分心组的平均注意力指数表；

图5为本发明集中组和分心组的学习成绩；

图6为本发明数据融合深度神经网络的训练与交叉验证的分类准确度。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：一种在线视频学习中学习者注意状态智能检测系统，包括人机交互平台1、摄像头2、脑电采集模块3、主控制器4和云端服务器5，人机交互平台1通过无线或有线连接和主控制器4电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块3电性连接，脑电采集模块3和主控制器4电性连接，主控制器4通过以太网和云端服务器5电性连接；

在线视频学习中学习者注意状态智能检测系统的检测方法为：人机交互平台1负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器4；

摄像头2用于捕捉学习者眼动信息A，并将信息传回主控制器4；

脑电信号采集模块3实时采集学习者的脑电信号，并将该信号传回主控制器4；

主控制器4将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器5；

云端服务器5运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络。

学习者的操作行为包括暂停、播放、快进和快退；

学习者眼动信息A包括瞳孔直径和眼动轨迹，本实施例中，摄像头2实时记录学习者眼球信息，并把图像传回主控制器4，由其提取眼动特征（如瞳孔直径和眼动轨迹等）；

脑电采集模块3由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器4；

信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；

高精度模数转换器将模拟信号转换为数字信号；

单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器4；

高精度模数转换器（如ADS1299）将模拟信号转换为数字信号，单片机（如STM32F409）收集这些数字信号并控制无线收发器（如ESP32），通过wifi和蓝牙等无线信号或通过有线连接（如USB、RS484和CAN）把脑电信号传给后端主控制器4；

主控制器4由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且主控制器4是基于嵌入式处理器（如Arm®Cortex®-A72CPU）的最小系统，主控制器4运行基于OPENCV开发的运用程序，分析摄像头2传回的学习者面部图像，并提取其瞳孔直径和眼动轨迹等眼部信息,4控制器同时收集学习者操作行为和脑电信号，将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器5；

云端服务器5包括服务器数据输入端，服务器数据输入端将数据传递给算法框架6，算法框架6运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习成绩预测的长短期记忆网络；

云端服务器5收集学习者在整个在线视频学习过程中的注意力指数曲线（时序序列），运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器4同时存入数据库，方便使用者整体在线视频进行评估；

数据融合深度人工神经网络前端由注意神经网络层、一维卷积层和二维卷积层组成，最后，三种网络所提取学习者特征由深度全连接层进行多模态数据融合，并预测学习者的实时注意力指数；

注意神经网络层对学习者突发操作行为进行采集与特征提取；

一维卷积层对脑电信号及实时瞳孔直径信息进行处理；

二维卷积层对眼动轨迹进行识别；

数据融合深度人工神经网络后端由三个全连接层和softmax层组成，且数据融合深度人工神经网络有三种不同的输入端口；

如图2所示，端口1主要处理5秒内学习者的眼动轨迹图，轨迹图首先经由3层二维卷积层进行特征提取，每个卷积层由卷积函数、Relu激活函数，以及最大池化层组成，第一个卷积层采用16个5×5的卷积核和激活函数对图片进行粗扫描提取眼动轨迹图片浅层信息，并由3×3的最大池化层降维；第二层采用32个3×3的卷积核与激活函数提取图片较深层信息，并由3×3的最大池化层降维；第三层采用64个2×2的卷积核和激活函数进一步提取视觉域提取深层信息降维得到二维特征图，最后将该二维特征图展开为一维数组传递给后端全连接层；

如图2所示，端口2对学习者脑电的原始数据直接进行处理，脑电曲线由两层一维卷积层进行特征提取，再由最大池化层进行将维处理，第一层卷积层由10组1×5的卷积核组成，粗略地对脑电波信号进行滤波，第二层由20组1×32的卷积核和步长512的池化层组成，等效地提取脑电信号不同频率段的能量信息，所得脑电特征数据最后被展开传入全连接层，端口3运用和端口2相同的一维卷积层对学习者瞳孔大小随时间变化曲线进行特征提取，并将特征向量传给后端的全连接层；

如图2所示，端口4对学习者突发操作行为进行捕捉，首先量化这些操作行为（如暂停、播发、快进和快退等）形成时间幅度曲线，注意网络层再对这些曲线进行特征提取，并通过全连接层把所提取特征并入后端网络，后端网络由三层全连接和softmax层组成，其完成对三种不同数据进行融合并再一次提取特征，最后根据这些特征预测学习者在当前（5秒内）注意力指数，注意力指数为0到1的一个任意小数；

算法框架6内的数据融合深度人工神经网络特点如下：

第一：运用一维卷积层对原始脑电信号处理，与传统处理方法相比，该网络省去了对脑电的预处理环节，如滤波和小波变换等，节约了计算资源，降低了脑电预处理难度，实现了端到端的数据处理。

第二：运用一维卷积层对原始瞳孔直径随时间变化序列进行直接处理，减小了预处理难度。

第三：运用注意网络对学习者突发的操作行为进行特征提取，与传统神经网络相比，减少了神经元数，提高了分辨精度；

长短期记忆网络由输入层、长短期记忆（LSTM）单元及全连接层组成。

被试所有注意力指数在视频学习结束之后被转化为时序序列，序列最后加入End标识，作为结束标志。该序列传入如图3所示的长短期记忆网络，该网络由输入层，LSTM单元及全连接层组成，长短期记忆网络在输入时序序列后，会输出一个0到100的正数，预测学习者的学习成绩。

深度学习网络训练集的建立步骤：通过指导语干预被试的注意状态，以获得被试在视频学习过程中不同注意状态下的注意力指数、操作行为数据、眼动数据、脑电数据，以及其学习成绩，以建构深度神经网络的训练集数据，在该实验中，被试被随机至两种实验条件中：集中条件vs分心条件，集中组：在视频学习前被试被告知，在完成视频之后会有相关的测试，他们所获得报酬与测试成绩成正比；分心组在进行视频学习时同时需要完成加减运算，两组被试观看相同视频，在视频学习时，会定时报告自己的注意力指数，并在视频学习结束之后，完成相应的学习测验。

为验证上述步骤，本专利开展了如下实验。实验中有60名被试，随机分配到两种实验组：分心组为30人，集中组为30人，两组人分别按上述步骤参加完实验流程，其平均注意力指数如图4所示，结合说明书附图图4，两组测试所得结果均值为0.43和0.62。该结果说明了分心组得到的注意力指数较低，同时说明书附图图5描述了两组被试最终测试成绩的分布情况。如图所示，集中组的学习成绩（平均学习成绩为65分）显著高于分心组的学习成绩（平均学习成绩为40分）。注意力指数与测试成绩的结果均说明了上述实验的有效性，请参阅图4和图5，两组被试的操作行为、眼动信息和脑电信号作为数据融合深度神经网络的输入数据，其实时报告的注意力指数将作为该输入数据的标签，以实现对该深度神经网络的训练，被试在整个视频学习时的注意力指数的时序信号，作为长短期记忆网络输入数据，其学习成绩作为对应标签以实现对网络的训练，为了验证数据融合深度神经网络的工作性能，我们把上述实验数据分为训练组数据集、交叉验证数据集和测试数据集，它们各占数据量的比重为70%、15%和15%，数据融合深度神经网络对学习者注意状态分类结果（注意力指数大于0.5为集中状态，注意力指数小于0.5为分心状态）如说明书附图图6所示，其在训练集和交叉验证集的准确度为97.3%和95.4%，其在测试数据集的准确率可以到91.2%，而长短期记忆网络在测试集上对学习成绩预测的均方误差根可低于8.2（百分制）。

本系统针对在线视频教学所出现的弊端，提出了基于人工智能的在线视频学习中学习者注意状态检测系统，该系统自动提取学习者注意状态表征指标进行实时分析及预测，并把相关预测结果反馈给教育者或平台，从而实现了从学习者到教育者的闭环系统，提高了整个在线的教学质量，该系统无需人为参与，减轻了教育者的工作负担和教育平台的人力成本，此外，此系统为低成本方案，可大规模部署于偏远山区学校，充分利用在线资源弥补国内教育资源不均衡的问题。

尽管已经展示和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种在线视频学习中学习者注意状态智能检测系统，其特征在于：包括人机交互平台（1）、摄像头（2）、脑电采集模块（3）、主控制器（4）和云端服务器（5），所述人机交互平台（1）通过无线或有线连接和主控制器（4）电性连接，学习者头戴脑电帽，脑电帽通过导线和脑电采集模块（3）电性连接，脑电采集模块（3）和主控制器（4）电性连接，主控制器（4）通过以太网和云端服务器（5）电性连接；

在线视频学习中学习者注意状态智能检测系统的检测方法为：所述人机交互平台（1）负责播放教学视频，收集学习者的操作行为数据并把操作行为数据传回主控制器（4）；

所述摄像头（2）用于捕捉学习者眼动信息A，并将信息传回主控制器（4）；

所述脑电采集模块（3）实时采集学习者的脑电信号，并将该信号传回主控制器（4）；

所述主控制器（4）将学习者操作行为数据、所提取的学习者眼动信息A和实时脑电信号通过以太网传递至云端服务器（5）；

所述云端服务器（5）运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络；

所述脑电采集模块（3）由信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口组成，且信号处理电路、高精度模数转换器、单片机和无线收发器/有线接口依次电性输出连接，且无线收发器/有线接口电性输出连接主控制器（4）；

所述信号处理电路对脑电帽传回的电信号进行放大滤波得到模拟脑电信号；

所述高精度模数转换器将模拟信号转换为数字信号；

所述单片机收集数字信号并控制无线收发器/有线接口通过无线信号或通过有线连接把脑电信号传给主控制器（4）；

云端服务器（5）包括服务器数据输入端，服务器数据输入端将数据传递给算法框架（6），算法框架（6）运行用于多模态数据融合的数据融合深度人工神经网络和用于对学习者成绩预测的长短期记忆网络；

数据融合深度人工神经网络的前端由注意神经网络层、一维卷积层和二维卷积层组成；

所述注意神经网络层对学习者突发操作行为进行采集与特征提取；

所述一维卷积层对脑电信号及实时瞳孔直径信息进行处理；

所述二维卷积层对眼动轨迹进行识别；

数据融合深度人工神经网络后端由三个全连接层和softmax层组成，且数据融合深度人工神经网络有三种不同的输入端口；

端口1处理学习者的眼动轨迹图，轨迹图经由3层二维卷积层进行特征提取，每层卷积层由卷积函数、Relu激活函数，以及最大池化层组成，第一层卷积层对图片进行粗扫描提取眼动轨迹图片浅层信息，并由最大池化层降维；第二层卷积层提取图片信息，并由最大池化层降维；第三层卷积层提取视觉域提取深层信息降维得到二维特征图，将该二维特征图展开为一维数组传递给后端全连接层；

端口2对学习者脑电的原始数据直接进行处理，由两层一维卷积层进行脑电特征提取，再由最大池化层进行降维处理，第一层卷积层对脑电波信号进行滤波，第二层卷积层提取脑电信号不同频率段的能量信息，所得脑电特征数据展开传递给后端全连接层；

端口3运用和端口2相同的一维卷积层对学习者瞳孔大小随时间变化曲线进行特征提取，并将特征向量传递给后端全连接层；

端口4对学习者突发操作行为进行捕捉，形成时间幅度曲线，注意神经网络层再对时间幅度曲线进行特征提取，并传递给后端全连接层；

数据融合深度人工神经网络后端对四种不同数据进行融合并再一次提取特征，根据再一次提取的特征预测学习者在当前的注意力指数。

2.根据权利要求1所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者的操作行为包括暂停、播放、快进和快退。

3.根据权利要求2所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述学习者眼动信息A包括瞳孔直径和眼动轨迹。

4.根据权利要求3所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述主控制器（4）由电源模块、网口模块、无线收发器/有线接口、嵌入式处理器、显示器和控制系统组成，且所述主控制器（4）是基于嵌入式处理器的最小系统，所述控制系统将收集到的信息加时间戳、打包和加密，通过以太网发送至云端服务器（5）。

5.根据权利要求4所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：运用长短期记忆网络对学习者成绩进行预测，并将预测结果反馈给主控制器（4）同时存入数据库，方便使用者对整体在线视频学习进行评估。

6.根据权利要求5所述的一种在线视频学习中学习者注意状态智能检测系统的检测方法，其特征在于：所述长短期记忆网络由输入层、长短期记忆LSTM单元及全连接层组成。