CN116383618A - 一种基于多模态数据的学习专注度评估方法及装置 - Google Patents
一种基于多模态数据的学习专注度评估方法及装置 Download PDFInfo
- Publication number
- CN116383618A CN116383618A CN202310215955.8A CN202310215955A CN116383618A CN 116383618 A CN116383618 A CN 116383618A CN 202310215955 A CN202310215955 A CN 202310215955A CN 116383618 A CN116383618 A CN 116383618A
- Authority
- CN
- China
- Prior art keywords
- data
- learning
- modal
- learning concentration
- concentration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000013016 learning Effects 0.000 title claims abstract description 302
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013210 evaluation model Methods 0.000 claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000006399 behavior Effects 0.000 claims description 58
- 239000012634 fragment Substances 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012407 engineering method Methods 0.000 claims description 9
- 239000008280 blood Substances 0.000 claims description 8
- 210000004369 blood Anatomy 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 17
- 238000013461 design Methods 0.000 description 16
- 238000011160 research Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000546 chi-square test Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000008846 dynamic interplay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010831 paired-sample T-test Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010254 physiological adaptation Effects 0.000 description 1
- 230000009914 physiological arousal Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开一种基于多模态数据的学习专注度评估方法及装置，其方法包括：获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；利用所述多模态学习专注度数据集，构建最优多模态指标集合；建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
Description
技术领域
本发明涉及机器学习技术领域，特别涉及一种基于多模态数据的学习专注度评估方法及装置。
背景技术
随着可穿戴设备、物联网、智能感知等数据采集技术的不断进步以及计算机视觉识别、语音识别、生理信号识别等人工智能技术的持续发展，无感式、伴随式采集的学习数据表现出全方位、细粒度、多模态的特性，基于过程性数据的学习评价获得了普遍关注，许多研究人员开始使用多模态学习分析对学习者的学习情绪、学习专注度等多元微观特征进行及时分析与评估，试图理解学习过程，提升学习者的学习质量。其中，学习专注度反映学习者的学习状态，与学习表现密切相关，是影响学习质量的重要因素，因此，学习专注度识别研究是过程性学习评价的核心内容之一。已有大量研究基于面部表情、眼部视线、头部姿态、坐姿等单一模态或单一来源的数据进行学习专注度评估，虽然体现出一定的信效度，但是难以对学习专注度进行全面而深入的表征。目前，还存在以下问题：
首先，在学习专注度的数据来源上，目前研究多局限于日志数据、视觉数据等外部行为表现，这些数据很可能存在伪装性，给学习专注度的准确评估带来困难，相对而言，生理数据具有很强的真实性和客观性，未经培训的学习者通常无法控制其生理数据的波动，但目前的研究对生理信号相关的数据关注不够。同时，采集多来源多模态数据的研究也相对稀少，仅依靠单一来源数据或单模态数据对学习专注度的刻画容易陷入机械和僵化，且无法全面表征学习专注度。更重要的是，大多数研究使用来自于实验室场景的数据，缺少使用真实学习过程的数据，故缺乏真实性。此外，学习专注度标签的标注质量也存在问题，例如自我报告法容易造成学习者的刻意美化，脑电检测法无法避免学习者的“白日梦”，专家观察法可能存在主观偏见，所以缺少使用多种标注方式的互相检验会导致标签的科学性与有效性不足。进一步地，缺乏相应的数据集限制了人工智能技术在学习专注度分析与识别方面的研究和应用。
其次，在学习专注度的测量方法上，传统研究中的自我报告存在霍桑效应，专家报告对观察者要求太高，机器报告脱离了实际学习过程，这些评估方式已经不能适应教育信息化2.0时代的应用需求，故许多研究基本已转向学习专注度的智能化自动分析，但是其中的大部分只从原始数据中提取具体的特征预测学习专注度，很少将其转化为容易理解的抽象指标，即忽视了对指标的教育意义解读；对于学习分析的目的方面，很多研究为了追求高的学习专注度预测性能，选择了具有“黑盒”特性的深度学习模型，从而放弃了模型的可解释性，也忽略了对学习分析利益主体(学习者、教师等)的解释力。此外，学习专注度是一种在微观层面上动态变化的属性，对其预测的时间粒度需要符合及时性，现有的大量研究以逐帧、逐秒的方式预测学习专注度，虽然解决了实时性问题，但并未探讨所选择时间尺度的科学性，也未对一线教师的实际时间尺度反馈需求做进一步的合理性验证，存在过分重视人工智能技术带来的效益而选择性忽视教育本身需求的问题，导致了技术意识垄断。
最后，在学习专注度的预警设计上，现有研究很少刻画学习专注度画像，以及缺少能支持教学服务的预警设计并将其应用于实践，导致了学习专注度识别结果及其支撑服务的有效性检验不足，也未能发挥技术赋能教育的真正作用，即没有达到改进教学和提升教学质量的目的。而且，有关学习专注度的教学仪表盘信息设计还属于“真空地带”，仪表盘作为以可视化为核心的学习分析工具，如何进行有效的信息设计至关重要。简言之，需要挖掘表征学习专注度的信息的价值、发挥媒体的整合优化作用，以准确、生动传达预警信息内容。信息设计关注界面信息与媒体元素的有效传达，例如，雷达图、散点图、簇状条形图以及同种类型的折线图组合，可以降低认知负荷并提升使用意向；线索或数据可视化的叠加会产生强化效应。然而，传统的测试问卷很难考察人类教师对不同信息设计的过程性理解，也无法精确判断教师对各设计要素的反应。
发明内容
为解决上述技术问题，本发明提供一种基于多模态数据的学习专注度评估方法及装置。
本发明实施例提供了一种基于多模态数据的学习专注度评估方法，包括：
获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；
利用所述多模态学习专注度数据集，构建最优多模态指标集合；
建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；
获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
优选地，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
优选地，所述利用所述多模态数据构建多模态学习专注度数据集包括：
从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；
通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；
通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
优选地，所述从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段包括：
通过对所述学习视频数据进行序列切割，得到多个学习视频行为片段，并判断每个学习视频行为片段中是否包含具有特异性计算机视觉行为连续表达；
当判断学习视频行为片段中包含具有特异性计算机视觉行为连续表达时，则将该学习视频行为片段作为具有连续时间序列的学习视频行为片段。
优选地，所述利用所述多模态学习专注度数据集，构建最优多模态指标集合包括：
通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；
通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
优选地，还包括：
将所述当前学习者的学习专注度评估结果通过教学仪表盘进行可视化呈现。
本发明实施例提供了一种基于多模态数据的学习专注度评估装置，包括：
构建模块，用于获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；以及利用所述多模态学习专注度数据集，构建最优多模态指标集合；
建立及训练模块，用于建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；
评估模块，用于获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
优选地，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
优选地，所述构建模块具体用于从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
优选地，所述构建模块还具体用于通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
本发明的有益效果是，能够精准地评估学习者的学习专注度并将其及时地通过教学仪表盘进行可视化呈现，有助于教师在微观层面掌握学习者的专注情况，为教师相应地调整课堂教学或针对特定学习者给予更有针对性的辅导提供了依据，进而有效地促进学习者学习和改善教学，推动导向智慧教育的实践进程。
附图说明
图1是本发明提供的一种基于多模态数据的学习专注度评估方法的流程图；
图2是本发明提供的一种基于多模态数据的学习专注度评估装置的示意图；
图3是本发明提供的基于视频数据与手环数据的学习专注度评估方法的整体示意图；
图4是本发明提供的行为的动态变化过程示意图；
图5是本发明提供的视频计算的配置示意图；
图6是本发明提供的学习专注度评估模型构建流程示意图；
图7是本发明提供的标签类别转换示意图；
图8是本发明提供的“特征-指标-因子”三层量化模型示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
本发明通过外部行为和生理信号来提高评估结果的精准性，其外部行为表现是表层的且具有伪装性，与学习者的内部真实专注状态可能存在矛盾。相较于外部行为表现，自主神经系统活动在学习专注度表达上的客观性表明，生理信号能够更加客观地反映学习者内心的真实专注状态，更重要的是，未经训练的学习者通常无法控制其生理信号的波动，所以生理信号具有难以伪造的优势，因此，联合多来源多模态数据(尤其是生理信号)评估学习专注度能发挥它们之间互补的优势，提高预测结果的精准性。然而，在自动评估学习专注度的研究中，关注如何构建有意义指标的研究还很稀少，而且大多研究存在过分追求预测高精准的误区，忽略了对不同利益主体的可解释性，从根本上来说，深度学习方法固有的“黑箱”特性难以解释其所建模型可能学习到的有教育意义的信息，减少了对模型识别结果的增值利用或信任程度。在智能教育时代，为了适应教学质量提升日益广泛的社会诉求，需要推动学习专注度评估的科学化发展，持续推进量化研究的深化以及评估模型决策过程的可解释分析。
图1是本发明提供的一种基于多模态数据的学习专注度评估方法的流程图，如图1所示，所述方法可以包括：步骤S101：获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；步骤S102：利用所述多模态学习专注度数据集，构建最优多模态指标集合；步骤S103：建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；步骤S104：获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
其中，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
具体地说，所述利用所述多模态数据构建多模态学习专注度数据集包括：从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
进一步地，所述从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段包括：通过对所述学习视频数据进行序列切割，得到多个学习视频行为片段，并判断每个学习视频行为片段中是否包含具有特异性计算机视觉行为连续表达；当判断学习视频行为片段中包含具有特异性计算机视觉行为连续表达时，则将该学习视频行为片段作为具有连续时间序列的学习视频行为片段。
具体地说，所述利用所述多模态学习专注度数据集，构建最优多模态指标集合包括：通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
本发明实施例还包括：将所述当前学习者的学习专注度评估结果通过教学仪表盘进行可视化呈现。
图2是本发明提供的一种基于多模态数据的学习专注度评估装置的示意图，如图2所示，包括：构建模块201，用于获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；以及利用所述多模态学习专注度数据集，构建最优多模态指标集合；建立及训练模块202，用于建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；评估模块203，用于获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
其中，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
具体地说，所述构建模块201具体用于从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
具体地说，所述构建模块201还具体用于通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
图3是本发明提供的基于视频数据与手环数据的学习专注度评估方法的整体示意图，如图3所示，以学习场景为入口，将学习者的学习视频数据与手环数据作为数据来源并按照一定时间间隔分割为大量片段，通过脑电检测法、自我报告法和专家观察法联合标注学习专注度标签，构建多模态学习专注度数据库；采用深度学习技术从多模态数据中提取特征并将其转换为有意义的可解释指标，通过特征工程法筛选出具有显著区分性的重要指标，形成最优多模态指标集合；将指标集作为具有解释力的传统机器学习方法的输入，建立可计算、可验证、可解释的学习专注度识别模型，通过分析与比较，获得预测力最优的识别模型；依据可视化相关理论，结合一线教师的需求，设计即时、直观、可理解的学习专注度教学仪表盘，并通过眼动追踪技术进行优化。
本申请围绕“数据基础—测评体系—信息设计”的分析逻辑，具体而言，以学习场景为单元，构建了一个学习者的多模态学习专注度数据集，该数据集兼顾外在行为数据与内在生理数据，这种多来源多模态数据更加全面、立体地刻画了学习专注度，使得更加精准地评估学习专注度成为可能；使用原标注、自标注和他标注三种方式提供学习专注度标签，兼顾主观性与客观性的标注标签通过相互检验保证了标签的可靠性，使得数据集具有良好的质量，为学习专注度的自动分析提供了数据基准。采用特征工程方法，构建了基于多模态数据的可解释学习专注度识别模型，通过挖掘饱含教育意义且具有显著区分性的多模态指标增强了评估模型的可解释性。从具体的特征中构建具有教育意义的指标有助于教师理解背后的含义，同时也可以作为评估模型的输入，兼顾了指标的实用性与科学性；使用特征选择技术筛选具有显著区分性的多模态指标，并使用传统机器学习模型建立学习专注度评估模型，兼顾了模型的解释力与预测力，实现有意义证据收集和解释以及学习专注度精准评估的自动化，为教师的教育教学决策提供有效支持，促进以深度学习为导向的教学变革。结合学习者画像与学习专注度识别模型输出的结果，基于领域知识设计包含预警重要程度、预警触发、预警等级、预警信号等决策内容的学习专注度预警决策规则表；为保障警示信息在动态交互过程中直观地可视化以及可操作性与易理解性，基于预警内容的固有类型与教师的共性需求匹配适切的可视化呈现方式并设计针对性的教学仪表盘，运用眼动追踪、教师访谈等方法，验证教学仪表盘的可用性与有效性，从而形成精准教学的服务链路，促进教与学质量的提升。
如图3所示，本发明提供的一种基于视频数据与手环数据的学习专注度评估方法的整体示意图，包括如下步骤：
1.基于三角互证的多模态学习专注度数据集构建
(11)在学习场景中，通过高清摄像头和智能手环采集学习者自发产生的视频数据和手环数据，从原始的群体视频录像中通过Format Factory 4.1.0工具分离出个体的视频数据(学习者的头肩范围需要被最大化，同时前景和后景需要被最小化以避免遮挡或运动干扰问题)，并将对应的手环数据统一缩放到同一时间模板中(误差在60毫秒内)，保证原始数据的时间同步。为了减少接触式数据感知设备在采集阶段记录的伪影和干扰，最大程度地减小残留效应，需要对已同步的各模态的生理信号数据进行单独滤波。例如，针对内置ThinkGear AM芯片的头带采集的脑电数据，使用512赫兹的陷波器去除头带设备的工频干扰；针对Empatica E4智能手环采集的生理数据，包括四类生理信号：心跳间期(Inter-BeatIntervals,IBI)、血液容积脉搏波(Blood Volume Pulse,BVP)、皮肤电活动(Electrodermal Activity,EDA)与皮肤温度(Skin Temperature,SKT)。其中，对于IBI数据，运用基于时间序列的伪影校正方法将缺失的节拍替换为数据间隔前后的平均值；对于EDA数据，选择窗口为40、Sigma为400毫秒的高斯低通滤波器减少可归因于手腕运动和皮肤表层生理特性的伪影和噪声；对于BVP数据和SKT数据，它们在设置的学习条件下变化轻微且缓慢，没有显示出明显的噪声或与运动有关的伪影，为了避免潜在的信号失真，正如采集协议定义的那样，不应用任何滤波器。
(12)针对个人的视频数据，按照自定义的动作单元进行序列切割。首先，当发现具有显著性与区分性的特异性计算机视觉行为连续表达时(让其尽可能包含行为的动态变化过程，即稳态、开始、峰值、结束与稳态五个阶段，如图4所示)，标记时间起点与时间终点；然后，计算该行为片段的时间长度并判断其是否大于10秒钟，若满足条件，则按照标记的两个时间点通过Leawo Video Converter V5.1工具截取该段视频，并保存为具有连续时间序列的学习行为视频片段，同时也被标记了特异性计算机视觉行为表达标签，例如做笔记、打哈欠、手撑头、揉眼睛、向后靠、趴桌子、基于标准坐姿的注视方向(看屏幕、看笔记与看其他)等，其中，看屏幕是被视为学习者正常的听课或学习状态；最后，通过时间阶段检测对其它数据的各个时间阶段进行识别与分割，再使用时间归一化方法将每个时间阶段的每一种模态数据均与已切分的视频片段进行一一对应，保证了多模态学习数据的相位同步与对齐，据此获得大量以计算机视觉行为作为单元的待标注样本数据。
(13)采用脑电检测法(原标注)、自我报告法(自标注)与专家观察法(他标注)分别对样本数据提供学习专注度标签。其中，①原标注指内置ThinkGear AM芯片的头带输出的基于脑电波表征的专注度数值(范围为0-100)，根据eSense的相关参数，[0,40)、[40,60]、(60,100]分别对应低、中、高标签；②自标注指学习者观看自己在本次学习中录制的某些视频片段(为了帮助被试更加准确地判断自己学习时所流露的学习专注度，同时呈现学习视频及其对应的材料视频)，可利用播放工具的暂停、播放、快进、快退等功能更加高效地回忆当时具有的学习状态，基于五点李克特量表通过自我报告的方式标记专注度数值(范围为1-5)，[1,2.33)、[2.33,3.66]、(3.66,5]分别对应三类标签；③他标注指训练有素的第三方观察人员通过观看学习录像视频并基于五点李克特量表依据自身经验标记学习者的专注度数值，由于无法对五名观察人员的标注值做出价值判断，故该研究去掉了最小和最大的标注值，使用剩下三个标注值的平均数来表征，三类标签的划分与自标注相同。为了确保标签具有良好的质量，以三角互证的方式检验学习专注度标签，具体而言，采用Kappa检验评价标签的信效度，结果如表1所示。可知，在第一次三角检验中，原标注、自标注与他标注之间的一致性程度在可接受范围内，但还没有达到预期，这可能是每一种标注方式固有的缺陷导致的。于是，该研究以人工观察的方式剔除一些明显带有歧义或差异过大的学习专注度标签，在第二次三角检验中，三种标注方式之间的一致性程度均有增强，例如FleissKappa系数从0.588提高到0.705，该结果明显达到了预期，这表明过滤后的学习专注度标签具有较高的可靠性。
表1标签的一致性检验结果
(14)根据样本数据和其一一对应的学习专注度标签建立自发的多模态学习专注度数据集，并存入数据库中。为了避免数据泄露对学习者造成危害，学习者或其监护人需要知晓以下信息：第一，所使用的便携式穿戴设备属于轻量级安全设备，不会对学习者造成任何生理影响；第二，学习者的姓名、年龄、电话、联系地址等重要个人隐私信息会被匿名处理；第三，学习者的多模态学习数据会被用于学习分析的研究，故在录制的学习视频中学习者肖像有可能会在学术论文、学术报告中出现，但会被做一定的遮挡处理，绝不会以任何形式加以利用和向第三方扩散。此外，学习者也有义务对涉及的所有学习资料进行保密，参与标注的人员对视频录像中的学习者录像不可以进行收集，留存，加工，利用，以图片、视频或其它任何形式传播等。
2.基于特征工程的多模态学习专注度评估模型构建
(21)从数据集中提取特征。手环数据主要通过信号处理技术提取时域特征、频域特征、非线性特征、基于信息论的参数等；视频数据包括眼部视线角度、头部位置、头部姿态、面部运动单元的出现与否及其强度、手势等，这些特征会从视频片段的每一帧中被检测，通过开源工具箱OpenFace和OpenPose提取出来，丢弃置信度低于95％的输出特征并通过Python的Interp1d软件包对丢弃的部分进行线性插值。此外，为了消除特征中的噪音和异常值，使用了窗口大小为61的中值滤波器输出进行平滑。总之，对于输入的视频流数据，相关特征的提取包括，第一步是关键点检测，使用16×16像素模板将视频中的每一帧图像分成多个小方块，计算小方块每个方向上的梯度并筛选出指向性最强的梯度方向，随后替代原小方块，依次使用这种方向梯度直方图(Histogram of Oriented Gradients,HOG)将原始图像转换成简单的表达形式，即使用HOG特征捕获人脸与人体的基本结构；第二步是特征点估计，使用集成回归树定位面部轮廓、眼睛外部轮廓、眉毛内部轮廓、嘴巴外部轮廓等位置的68个特征点以及关节点特征，通过Python的dlib对象跟踪对一帧图像进行旋转、缩放、错切等处理或OpenCV的仿射变换操作，使得面部的眼睛、嘴巴、鼻子等尽可能靠近图像中心位置即对齐；第三步是特征输出，使用深度神经网络对人脸、关节等特征进行联合表示，通过一系列复杂运算与降维后输出成百上千维的球体特征向量(包含视线方向、头部姿态、面部的大小、AU面部动作单元等)，并同时对它们统一进行归一化处理，形成学习专注度的多模态特征空间。以上视频计算架构在已搭建的开发环境下实现，具体的配置条件与参数如图5所示。
(22)结合文献调研与专家访谈，从提取的特征中分别构建有意义的度量指标，即基于可操作的量化方式从特征空间中抽象出来，例如抬头时长、抬头数量、正脸时长、正脸数量、记笔记数量、记笔记时长、积极情绪时长、积极情绪强度、消极情绪时长、消极情绪强度、皮肤电导水平标准差、皮肤电导反应数量、皮肤电导反应率、皮肤温度曲线拟合直线的斜率、皮肤温度标准差、心跳间期的标准差、连续心跳间期之间差值的均方根、心率低频信号功率、心率高频信号功率、心率低频信号与高频信号的功率比值等视觉指标和生理指标。针对所有多模态指标，统一进行基于个体的Z-score标准化处理，目的是为了取消由于量纲不同、自身变异或者数值相差较大所引起的误差。虽然更多的指标意味着机器学习算法可以获得更多的信息，但使用冗余和不相关的指标可能会导致学习专注度分类性能不佳。因此，为了减少多余和不相关的指标，使用相关分析、卡方检验和信息增益三种方法来进行指标选择，其中，①相关分析是通过衡量指标与学习专注度之间的关系大小来评估指标的价值，相关系数绝对值越大，指标的重要性越大；②卡方检验是检验指标与学习专注度之间是否独立无关，卡方值越大，指标的重要程度越高；③信息增益是通过衡量指标存在与否所携带的信息量差值(信息增益值)来检验指标重要性，信息增益值越大，指标越重要。根据关系值的大小进行指标重要性排序，剔除关系值低于阈值的共性指标，即通过减少信息冗余来获得与学习专注度高度相关的指标子集，它们将作为潜在的最优指标子集成为学习专注度评估模型的输入。
(23)为了评估学习专注度，需要选择合适的可解释性方法进行分析。一般而言，可解释性是指对人类提供可以理解的说明，对于方法的应用部署具有重要意义，有助于改善方法的公平性。传统机器学习方法能学习到比较具象的信息，通常都有具体的物理含义，而深度学习能学习到特别抽象的信息，通常无法描述，这导致了它们在可解释性上的巨大差异。因此，选择了六种常用且有效的传统机器学习方法，包括单一规则、逻辑回归、支持向量机、贝叶斯网络、决策树与随机森林。为了评估和比较以上六种方法所建模型的预测性能以及避免样本数据可能存在的类别不平衡问题，使用通过混淆矩阵计算得出的准确率、精确率、召回率和F1分数作为性能参数。此外，为了减少有监督机器学习方法中常见的过度拟合问题，利用交叉验证来提高最终预测模型的鲁棒性。这里，采用五折交叉验证配置来训练和测试分类模型，即将整个特征数据集被随机分为5份子样本，其中，4份子样本作为训练数据，1份子样本作为验证数据，在使用可用的子样本作为验证数据后，得出的性能指标数值是5次迭代的平均值。对于特定的分类任务，分类性能更好的方法由于具有更强大的预测能力，通常会被优先选择，任何比基线分类器性能更好的模型实际上都是有用的，故选择单一规则作为基线分类器。对每个基线分类模型进行详细评估和分析，从而为评估学习专注度的机器学习方法提供多维比较，据此获得表现最好的学习专注度评估模型。具体的建模流程如图6所示，其中，①定义模型是指从众多的机器学习方法中选择一种或几种合适的方法，该过程依赖于给定样本的特征类型和问题本身(学习专注度分类)需要达到的学习目标，值得注意的是，本发明侧重选择易于理解且结果可解释的机器学习方法；②训练模型是指针对训练样本，使用所选择的机器学习方法对学习专注度进行分类，并通过各种优化算法或策略调整训练模型的参数，在不断迭代适时能够使训练模型达到最佳性能；③测试模型是指使用训练模型对测试样本进行学习专注度分类，通过比较真实值与预测值之间的误差来评估训练模型的性能，也就是测试训练模型的泛化能力。通过以上三个步骤的迭代循环，最终的目标是希望得到的最优学习专注度评估模型不仅可以很好地拟合训练样本，而且具有较好的泛化能力，即训练误差与泛化误差都尽可能的低或者达到设置的阈值，使得该模型输出的学习专注度分类结果符合人们的预期。
(24)六种学习专注度评估模型的预测效果如表2所示。可见，所有多模态融合模型的学习专注度评估性能都优于基于单个模态的模型，所有性能参数值平均高出6.7％到29.4％，这表明多模态融合可以将各个模态中的互补信息结合起来，有效地提高学习专注度预测的性能。在多模态融合模型中，随机森林方法的表现最佳，具体地，准确率为0.840，精确率为0.841，召回率为0.840，F1分数为0.839，其次是决策树和贝叶斯网络，它们所有的性能参数均大于0.700，这是一个很有应用前景的结果，而单一规则基线分类器的表现最差(准确率为0.629，精确率为0.631，召回率为0.629，F1分数为0.618)，但这也是一个尚且可接受的结果，基本证实了采用多模态数据评估学习专注度的有效性。在基于手环数据的单模态模型中，随机森林方法的评估效果虽然是最好的(准确率为0.634，精确率为0.638，召回率为0.634，F1分数为0.633)，但仅比单一规则基线分类器的结果高约2.4％，同时其它方法的性能表现也一般，与单一规则的评估效果接近，而决策树的性能表现甚至低于单一规则。而在基于视频数据的单模态模型中，虽然支持向量机实现了最优的评估效果(准确率为0.593，精确率为0.636，召回率为0.593，F1分数为0.572)，但是所有方法的评估效果都不太令人满意，它们的性能参数数值几乎都小于0.600，特别地，单一规则基线分类器的性能表现还不如猜测，这种糟糕表现的一个可能原因是视频数据中的特征分布过于稀疏或者区分性不太显著。
表2学习专注度预测效果
(25)通过比较学习专注度的评估结果，能够发现视频指标与生理指标具有重要的互补特性，正如所期望的那样，它们的融合可以显著提高预测效果。图7的学习专注度类别概率转换揭示了视觉指标和生理指标各自的预测贡献度，具体来说，对于视觉指标，高专注度类别被混淆为中专注度类别的概率是41.2％，反之则为22.6％，而中专注度类别被混淆为低专注度类别的概率是15.5％，反之则为28.6％；对于生理指标，高专注度类别被混淆为中专注度类别的概率是36.7％，反之则为22.6％。高专注度类别和中专注度类别在生理模态下比在视频模态下的识别精度更高。总得来说，与视频模态相比较，生理模态能更有效地识别学习专注度。为了进一步挖掘生理指标的有效性，使用配对样本T检验测试了有无生理指标的F1分数的差异，如表3所示。实验结果显示，所有方法的结果在0.05水平上具有统计学意义，一个潜在原因是，生理指标在提高学习专注度预测性能方面具有更显著的效果。
表3生理指标的有效性检验
3.基于眼动追踪的学习专注度仪表盘可视化设计
(31)为了凝练出更贴合教师教学实践的参考依据，需要考察多模态指标的内在结构，采用探索性因子分析考察体系的最佳因素结构，以保证各因子之间的显著差异，以及包含的指标所代表的潜在特质具备相似性。具体而言，使用主成分分析法对指标进行探索，抽取特征值大于1的因子，并利用正交转轴的最大方差法观察各因子的位置是否相对不变，若不变，则因子能够很好地解释指标变量的作用，确定框架的结构之后，采用验证性因子分析检验维度之间及层级之间的结构效度。综合运用德尔菲、问卷访谈等方法，建立“特征-指标-因子”三层量化模型(如图8所示)，从具体到抽象多尺度深刻刻画学习者的学习专注度画像。其中，特征层中的特征可从信息交互(学生与教师交互、学生与学生交互、学生与学习资源交互)、概念交互等教学交互中进行获取，直接反映出学习者客观的计算机视觉行为、生理信号等多模态学习数据；按照可操作的方式，通过一定的计算，从特征中提取出多个满足条件的指标，这些指标能够对学习者的学习特点进行表征；进一步地，通过探索性因子分析，从众多最优指标子集中提取出四个因子(学习跟随、学习情绪、生理唤醒与生理适应)，作为学习者特质的表征，这四个因子更加贴合教师经验，可直接对教学实践进行辅助。三个层次均可按照层级顺序(特征层→指标层→因子层)进行逐级量化，从特征层到因子层越来越抽象，层级越来越高，蕴含的教学含义也越来越多。
(32)学习专注度预警决策通过计算预警重要度与学习专注度并依据决策规则实现，其中，预警重要度代表当前情境中在分钟级时间尺度下学习的专注状态，被划分为高、低两个层次。依据基于随机森林的学习专注度评估模型输出结果，把学习者划分为危机、警戒与正常三种状态，对于警戒和危机状态学习者，结合预警重要度确定预警触发、预警等级与预警信号输出。在学习专注度和预警重要度分析的基础上，借鉴相关理论成果并调研学习者实际应用情境，基于领域知识设计包含预警重要程度、预警触发、预警等级、预警信号等决策内容的学习专注度预警决策规则表，如表4所示，形成了三状态、五等级的学习专注度预警决策规则，在实际应用中教学者可根据学习者具体情况对规则进行相应调整。
表4学习专注度预警决策规则表
(33)为保障以上基于学习专注度的警示信息在动态交互过程中直观地可视化以及可操作性与易理解性，基于内容的固有类型与教师的认知差异或偏好匹配适切的可视化呈现方式并设计个性化的教学仪表盘。基于视觉传达设计理论，从视觉设计及信息设计两方面，设计出符合教师视觉规律的学习专注度可视化仪表盘，使用AXURE、Visio等软件，从视觉查询、特征识别、图像处理及数据可视化呈现等方面，设计不同的界面呈现及数据可视化形式的学习专注度仪表盘；采取准实验研究，选取若干名教师分组，分别配置不同设计版本的仪表盘，利用Tobii X60眼动仪针对于每版学习专注度仪表盘进行视觉分析，包括注视时间、注视次数、注视轨迹及眼动热力图，并整合被试在体验过仪表盘后的认知负荷情况、信息留存度以及使用体验感等数据，结合不同认知风格，并围绕“线索”与“数据可视化”得出被试对不同设计的理解与反应，归纳出个性化学习专注度仪表盘的设计规律及相关注意事项，优化迭代学习专注度仪表盘界面，使得仪表盘更具可用性与有效性。
综上所述，本发明具有以下优点：
1)使用原标注、自标注和他标注三种方式提供学习专注度标签，这种兼顾主观性与客观性的联合标注方式在一定程度上具有互补性，克服了单一标注方式存在的局限性，使得标注的标签更具有效性、可靠性与科学性。其次，三角印证的结果从理论上来说应该越来越逼近学习者真实的学习专注度数值，从而使得所构建的学习专注度数据集具有代表性且拥有良好的质量，为学习专注度的自动分析与识别提供了数据基准。
2)多模态数据具有互补优越性，促使学习专注度的测评走出数据类型单一与数量不足的桎梏，并能够从中获得更丰富的证据类型，从而能够更真实、更精准地评估学习专注度；通过连接原始数据和教师的教学经验，遵循特征工程方法的系统化工作流程基于多模态指标建立“白盒”学习专注度评估模型，使得基学习专注度评估模型具有可解释、可计算、可验证的特点，能够兼顾指标的实用性与科学性以及模型的解释力与预测力，从而使得所构建的测评模型在统计意义和教学意义上具有最佳平衡性，避免了“黑盒”的不透明性与低信任度，从而有利于促进技术意识垄断逐步回归教育价值本位。
3)具备教学意义的“特征-指标-因子”三层量化模型能够帮助教师在不同尺度上了解学习者的状态，且有利于提升学习者画像的精准度。根据学习专注度评估模型的结果描绘学习者画像并设计相应的预警机制与教学仪表盘，能够将学习者的学习过程数据以可视化的形式直观地展现出来，其提供的教学支持服务可作为教师规模个性化干预的参考依据，不仅减轻了教师负担，还使得教师可将这部分解放的精力投注于教学以提高教学质量，从而在常态化教学中促进“减负增质”的真正实现。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
Claims (10)
1.一种基于多模态数据的学习专注度评估方法，其特征在于，包括：
获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；
利用所述多模态学习专注度数据集，构建最优多模态指标集合；
建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；
获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
2.根据权利要求1所述的方法，其特征在于，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
3.根据权利要求2所述的方法，其特征在于，所述利用所述多模态数据构建多模态学习专注度数据集包括：
从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；
通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；
通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
4.根据权利要求3所述的方法，其特征在于，所述从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段包括：
通过对所述学习视频数据进行序列切割，得到多个学习视频行为片段，并判断每个学习视频行为片段中是否包含具有特异性计算机视觉行为连续表达；
当判断学习视频行为片段中包含具有特异性计算机视觉行为连续表达时，则将该学习视频行为片段作为具有连续时间序列的学习视频行为片段。
5.根据权利要求3所述的方法，其特征在于，所述利用所述多模态学习专注度数据集，构建最优多模态指标集合包括：
通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；
通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
6.根据权利要求1所述的方法，其特征在于，还包括：
将所述当前学习者的学习专注度评估结果通过教学仪表盘进行可视化呈现。
7.一种基于多模态数据的学习专注度评估装置，其特征在于，包括：
构建模块，用于获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；以及利用所述多模态学习专注度数据集，构建最优多模态指标集合；
建立及训练模块，用于建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；
评估模块，用于获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。
8.根据权利要求7所述的装置，其特征在于，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。
9.根据权利要求8所述的装置，其特征在于，所述构建模块具体用于从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。
10.根据权利要求9所述的装置，其特征在于，所述构建模块还具体用于通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310215955.8A CN116383618A (zh) | 2023-03-01 | 2023-03-01 | 一种基于多模态数据的学习专注度评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310215955.8A CN116383618A (zh) | 2023-03-01 | 2023-03-01 | 一种基于多模态数据的学习专注度评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116383618A true CN116383618A (zh) | 2023-07-04 |
Family
ID=86962478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310215955.8A Pending CN116383618A (zh) | 2023-03-01 | 2023-03-01 | 一种基于多模态数据的学习专注度评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383618A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
| CN118395331A (zh) * | 2024-06-28 | 2024-07-26 | 北京师范大学 | 一种融合信息熵的学习注意力识别方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160239A (zh) * | 2019-12-27 | 2020-05-15 | 中国联合网络通信集团有限公司 | 专注度评估方法和装置 |
| CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
| CN113706099A (zh) * | 2021-08-23 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 一种数据标注、深度学习模型训练和服务发布系统 |
-
2023
- 2023-03-01 CN CN202310215955.8A patent/CN116383618A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160239A (zh) * | 2019-12-27 | 2020-05-15 | 中国联合网络通信集团有限公司 | 专注度评估方法和装置 |
| CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
| CN113706099A (zh) * | 2021-08-23 | 2021-11-26 | 中国电子科技集团公司第二十八研究所 | 一种数据标注、深度学习模型训练和服务发布系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
| CN118395331A (zh) * | 2024-06-28 | 2024-07-26 | 北京师范大学 | 一种融合信息熵的学习注意力识别方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khare et al. | Emotion recognition and artificial intelligence: A systematic review (2014–2023) and research recommendations | |
| De Melo et al. | A deep multiscale spatiotemporal network for assessing depression from facial dynamics | |
| Chen et al. | EEG-based biometric identification with convolutional neural network | |
| CN116383618A (zh) | 一种基于多模态数据的学习专注度评估方法及装置 | |
| WO2022067524A1 (zh) | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 | |
| Yildirim | A review of deep learning approaches to EEG-based classification of cybersickness in virtual reality | |
| de Barbaro et al. | Methodological considerations for investigating the microdynamics of social interaction development | |
| Panetta et al. | Software architecture for automating cognitive science eye-tracking data analysis and object annotation | |
| Helaly et al. | DTL-I-ResNet18: facial emotion recognition based on deep transfer learning and improved ResNet18 | |
| Chen et al. | DCTNet: hybrid deep neural network-based EEG signal for detecting depression | |
| Xu et al. | Spontaneous visual database for detecting learning-centered emotions during online learning | |
| Ribeiro et al. | Stimming behavior dataset-unifying stereotype behavior dataset in the wild | |
| Tawhid et al. | Textural feature based intelligent approach for neurological abnormality detection from brain signal data | |
| Adebiyi et al. | Affective e-learning approaches, technology and implementation model: a systematic review. | |
| Zhang et al. | Auxiliary diagnostic system for ADHD in children based on AI technology | |
| Vogel et al. | Agreement and disagreement between major emotion recognition systems | |
| Yeye et al. | Predicting personality based on self-introduction video | |
| Liu et al. | Machine to brain: facial expression recognition using brain machine generative adversarial networks | |
| Regin et al. | Use of a Fatigue Framework to Adopt a New Normalization Strategy for Deep Learning-Based Augmentation | |
| Rumahorbo et al. | Exploring recurrent neural network models for depression detection through facial expressions: A systematic literature review | |
| Yao | RETRACTED ARTICLE: Assistive Technology-Based Analysis of Students’ Foreign Language Anxiety Using Distributed Machine Learning and Intelligent Affective Computing | |
| Zhang et al. | Smart classrooms: How sensors and ai are shaping educational paradigms | |
| Ndiaye et al. | Eye tracking and artificial intelligence for competency assessment in engineering education: a review | |
| Dragoi | Facial Coding as a Neuromarketing Technique: An Overview | |
| Chen | Construction of a learning engagement evaluation model based on multi-modal data fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230704 |
|
| RJ01 | Rejection of invention patent application after publication |