CN115906002A - 一种基于多粒度数据融合的学习投入状态评估方法 - Google Patents
一种基于多粒度数据融合的学习投入状态评估方法 Download PDFInfo
- Publication number
- CN115906002A CN115906002A CN202211519389.1A CN202211519389A CN115906002A CN 115906002 A CN115906002 A CN 115906002A CN 202211519389 A CN202211519389 A CN 202211519389A CN 115906002 A CN115906002 A CN 115906002A
- Authority
- CN
- China
- Prior art keywords
- data
- learning
- fusion
- model
- learning state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000013210 evaluation model Methods 0.000 claims abstract description 33
- 238000012795 verification Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 235000019580 granularity Nutrition 0.000 claims abstract description 22
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000006698 induction Effects 0.000 claims 1
- 238000004883 computer application Methods 0.000 abstract description 2
- 230000001149 cognitive effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006998 cognitive state Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于计算机应用技术领域，公开了一种基于多粒度数据融合的学习投入状态评估方法，通过构建学习多模态数据采集系统，采集线上或线下学习过程中的多模态数据，再对不同模态数据进行预处理和特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；对预处理和特征抽取后的数据集进行划分，形成训练集和验证集；构建基于异步融合方法的学习状态评估模型。本发明的多模态学习数据多粒度处理方法，在融合多粒度的多模态数据时采用异步处理的方式，考虑不同模态数据间相互关系的同时保留所有粒度数据的时序信息，从而提升学习状态识别模型的准确率和稳定性，通过构建多模态数据采集系统实现学习状态的实时自动评估。
Description
技术领域
本发明属于计算机应用技术领域，尤其涉及一种基于多粒度数据融合的学习投入状态的评估方法。
背景技术
学生的课堂学习状态一直以来是教师关注和教学评价的重点，传统方法中，研究者常通过观察或问卷的方法来分析学生的学习状态，但是两者在实际应用中都存在着问题。观察法难以在同一时间观察多名研究对象，且获取的信息局限于外在的行为表现，而问卷法则缺乏时效性，并容易受到学生主观因素的影响。因此，大量研究和系统致力于对学生的课堂学习状态进行自动化评估。目前在自动化评估中，最为常用的是基于计算机视觉和生理数据的方法。计算机视觉是最常用的评估方式，因为这种方法具有隐蔽、易于使用和与教师观察场景类似等优点，对学习过程的影响较小。基于计算机视觉的方式是仿照教师的课堂观察，通过学生的面部表情、肢体动作等对学习状态进行识别。Gupta等提出了一种基于最大边缘面部检测的方法，用于基于面部表情识别学习投入程度，最终在训练集和验证集上分别达到了90.67％和87.65％的准确率。Ashwin等提出了一种混合卷积神经网络，基于面部表情、手部动作和身体姿态识别学生情感状态，并在特意做出的表情和自发表情数据集上分别达到86％和70％的准确率。Ngoc等构建了基于动作的学习状态自动识别系统，为课堂评价提供支持。基于计算机视觉的学习状态识别技术已经较为成熟，然而这种基于外在可观察特征的学习状态识别难以顾及学习者内在的认知与心理特征，因而在识别学习状态时仍有所局限。基于生理数据的方法得益于传感技术的发展，通过学生的皮肤电、心率、脑电波等生理特征判断学生的学习状态。而与其他生理数据相比，脑电数据更能准确反映学生的认知状态。脑电数据提供了与认知密切相关的脑神经突触活动的大规模测量结果，因此被认为是真正的“心灵之窗”，在认知与专注相关研究中被大量应用。Mazher等通过脑电评测多媒体学习任务中的认知负荷，发现认知负荷与脑电不同波段和不同区域的强度有关，可以通过脑电评测多媒体任务中的认知负荷。Lee研究脑电、问卷和成绩与学生的认知负荷间的关系，发现认知负荷与问卷和脑电beta波段的强度正相关。Chen等和Kuo等分别开发了基于脑电的注意力监测系统，帮助教师了解学生的注意情况。Lin等通过脑电监测学生的注意力，并将学生处于低注意力时学习的内容提供给学生进行复习，从而提高了学习效果。通过生理数据可以识别学习者的心理与认知状态，但如果仅从内在的心理状态出发，不考虑学生外在的行为表现，仍难以准确的评估学习状态信息。同时，外在的行为表现与生理信息反映的内在心理特征并不是割裂的，两者之间相互影响，共同决定最终的学习效果。因此在识别学习状态信息时应融合外在与内在模态的信息，在有效融合的基础上进行评估。
然而大多数数据采集方法仍然是在实验环境下使用，少有研究在真实教学场景下同时采集多个模态的数据。不同模态的数据需要不同的数据采集方式，进而需要不同的数据处理方法与特征抽取方法，如何在真实教学场景下大规模采集与处理多模态数据，是将多模态数据应用于教学支持亟待解决的问题。
此外，这些方法仅考虑了单一模态数据的信息，不同模态的数据从不同的侧面描绘了学习过程，蕴含不同的信息。因此，将多模态数据融合，可以实现信息互补，从而进一步提升学习状态识别的准确率和稳定性。然而，多模态数据具有粒度不同的特性，如何有效融合多模态数据，在融合过程中充分考虑不同粒度数据的信息是基于多模态识别学习状态需要解决的重要问题。传统的数据融合方法中，通常将不同粒度的数据按照最大粒度为单位进行对齐，或者对不同粒度的数据分别构建模型，然后融合不同模型的结果。这两种方法存在各自的缺陷，数据对齐的方法在融合多模态数据时没有考虑细粒度数据的序列信息，而分别构建模型的方法没有考虑不同模态数据间的相互关系。
同时，传统的观察与问卷法难以满足实时大规模评估学习状态的需要，单一模态数据也难以全方位的描绘学习过程，而目前缺乏在真实课堂环境中大规模采集与处理多模态数据的方法与系统。
传统的多模态数据融合方法在保留不同粒度数据序列信息方面存在局限性。传统方法中，数据按照最大粒度进行排序，会丢失部分细粒度数据的序列信息；而采用集成模型的思路，不同模态数据分别建立模型，训练时没有充分考虑各模态之间的影响。因此，如何有效融合多模态数据是有待研究的问题。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的观察与问卷法难以满足实时大规模评估学习状态的需要，而目前缺乏在真实课堂环境中大规模采集与处理多模态数据的方法与系统。
(2)大多数数据采集方法在实验环境下使用，少有技术在真实教学场景下同时采集多个模态数据，且单一模态数据也难以全方位描绘学习过程。
(3)现有数据对齐的方法在融合多模态数据时没有考虑细粒度数据的序列信息，而分别构建模型的方法没有考虑不同模态数据间的相互关系。
发明内容
针对现有技术存在的问题，本发明提供了一种学习状态信息评估方法、系统、介质、设备及终端，尤其涉及一种基于多模态多粒度学习数据融合的学习状态信息评估方法及系统。
本发明是这样实现的，一种学习状态信息评估方法，学习状态信息评估方法包括：通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据，再对不同模态数据进行预处理与特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法，并形成最终的学习状态评估模型。
进一步，学习状态信息评估方法包括以下步骤：
步骤一，数据获取：实时采集线上或线下学习过程中的多模态数据；
步骤二，数据预处理：进行数据清洗、数据归一化操作；
步骤三，数据特征抽取：针对不同模态数据采用针对性方法提取特征；
步骤四，数据集划分：对预处理和特征抽取后的数据集进行划分；
步骤五，多模态数据融合：采用异步处理思路提出多模态数据融合方法；
步骤六，学习状态评估：构建基于异步融合方法的学习状态评估模型。
进一步，步骤一中的数据获取中，构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据；其中，多模态数据包括EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应以及行为日志的序列数据。
采集系统采用云-边-端的模式，单一地感应采集设备为端，用于采集某一模态的数据并上传到边；边为独立的采集单元，用于对采集对象进行数据汇总与预处理并上传到云，其中采集对象为学生个体或学习小组；云为系统的中心服务器，用于对采集到的多模态数据进行分析与处理。
进一步，步骤二中的数据预处理包括：进行数据清洗，去除因为设备问题或场景特性造成的无效数据；对清洗后的数据以学习者个体为单位进行归一化处理，排除学生个体差异对评估模型产生的影响。
进一步，步骤三中的数据特征抽取过程中，针对不同模态的数据采用针对性的方法提取特征，以学生的专注状态作为下游任务训练数据特征抽取模块。
其中，对视频中的身体姿态信息采用卷积神经网络提取特征，对序列类型数据EEG采用长短期记忆网络提取特征。
进一步，步骤四中的数据集划分包括：根据交叉验证和分层抽样的原则，对预处理和特征抽取后的数据集进行划分，形成训练集和验证集，分别用于评估模型的训练和模型的评估效果验证；其中，基于专注状态为专注的样本进行分层抽样，划分70％的数据为训练集，30％为验证集。
进一步，步骤五中的多模态数据融合包括：针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法。多模态数据融合过程中，对不同粒度的数据按不同频率进行处理，通过异步处理的方式可以在融合时保留不同粒度数据的时序信息。其中，EEG特征每处理5次，身体姿态特征处理1次，两种不同模态的数据采用双通道的输入方式，以不同的频率处理后再将不同模态的数据进行融合。异步融合方法不局限于EEG与身体姿态特征数据，也不局限于两种模态，异步融合方法用于更多类型更多模态数量的数据融合。
进一步，步骤六中的学习状态评估包括：将通过异步融合方法融合处理后的多模态数据作为多层感知机的输入，将学生的学习状态作为输出，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果。其中，基于异步融合方法的学习状态评估模型的构建方法包括：
(1)构建数据特征抽取与异步融合模块；
(2)模型训练的输入和输出，当训练集为输入为D ＝ {( x 1,y1),(x2,y2),…,(xm,ym)}，其中每一个样本的输入x i表征为
xi为包含多模态数据的集合，每一个样本的输出y i为学习状态类型，且m表示训练集中样本数，n表示每一个样本的输入特征维度；
(3)模型训练：将模型所有参数作为一个整体共同训练，训练过程中不同模态数据的通道有不同的处理频率，但每一次处理的误差会累积，并在一次训练结束后更新权重；
(4)模型的优化目标函数：采用交叉熵作为算法模型的损失函数；
式中，n是学习投入状态类型，α和β分别是EEG和姿态特征，θ和μ分别是两种模态的权重，而b和c是偏置；
(5)模型的参数优化：均通过反向传播算法和随机梯度下降算法进行参数的调整；前向的计算过程得真实值与预测值的误差，再将目标优化函数的负梯度方向更新量进行反向传播，进行参数更新，多次迭代轮回；当目标优化函数达到最优解时，则获得最优模型参数；同时使用随机梯度下降算法，在每一轮迭代中，随机选取当前批次的一个点进行参数的更新；
(6)模型的验证：训练好的学习状态评估模型在验证集上进行预测结果的验证，通过模型在验证集上预测结果的confusion matrix，对模型效果进行评价。
本发明的另一目的在于提供一种应用所述的学习状态信息评估方法的学习状态信息评估系统，学习状态信息评估系统包括：
数据获取模块，用于在数据获取阶段构建智慧学习环境，实时采集线上或线下学习过程中的多模态数据；
数据预处理模块，用于进行数据清洗、数据归一化操作；
数据特征抽取模块，用于针对不同模态数据采用针对性方法提取特征；
数据集划分模块，用于根据交叉验证的思想将预处理和特征抽取后的数据集划分为训练集和验证集，分别用于评估模型的训练和评估效果验证；
多模态数据融合模块，用于采用异步处理思路提出多模态数据融合方法；
学习状态评估模块，用于将多模态数据作为输入，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果。
本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的学习状态信息评估方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的学习状态信息评估方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的学习状态信息评估系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
(1)本发明提供的基于多模态多粒度学习数据融合的学习状态信息评估方法，通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据；再对不同模态数据进行处理与特征提取；再针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；再形成最终的学习状态评估模型。本发明创造性的以异步处理的方法解决了多模态多粒度数据融合时细粒度数据时序信息丢失的问题，通过在融合过程中保留细粒度数据的时序信息实现了更为有效的信息互补，进而有效提高了学习状态评估模型的准确率。
(2)本发明提出了一种多模态学习数据多粒度处理方法，在融合多粒度的多模态数据时采用异步处理的方式，考虑不同模态数据间相互关系的同时保留所有粒度数据的时序信息，从而提升学习状态识别模型的准确率和稳定性。同时，本发明还通过构建多模态数据采集系统实现学习状态的实时自动评估。可以为教学过程中的学习者感知和过程性评价提供有效支持。
(3)本发明的技术方案转化后的预期收益和商业价值为：
本发明可以应用于教学规律研究，通过准确追踪学生学习状态信息结合多模态数据，探究教学过程中学习状态的演化规律与影响机理。另一方面，本发明在课堂教学中可以帮助教师掌握学生学习状态，进行过程性评价，从而改善课堂教学设计，提高教学质量，并为有需要的学生提供针对性的指导。本发明在在线学习过程中可以反馈学生的学习状态，作为为学习者提供个性化的学习服务的依据，弥补在线学习中的情感缺失。本发明也可以为学习者提供学习过程的总结性评价与过程性评估，帮助学习者掌握自身学习状态，自我调节学习步调。
(4)本发明的技术方案填补了国内外业内技术空白：
本发明结合外在与内在的信息，通过多模态数据融合的方法提升学习状态信息识别模型的准确率，弥补了国内外研究在基于多模态数据融合的学习状态识别领域的空白。而在融合多模态数据时结合外在与内在的信息从而更高效的实现信息互补也是本发明的突破之一。
(5)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：
本发明通过异步处理的方式解决多模态多粒度数据融合过程中，细粒度数据时序信息丢失的问题，从而通过增加信息量，提高信息互补效率的方式提升下有任务准确率，解决了多模态数据融合过程中的一个技术难题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的学习状态信息评估方法流程图；
图2是本发明实施例提供的多模态学习数据采集环境示意；
图3是本发明实施例提供的数据特征抽取示意图；
图4是本发明实施例提供的基于多模态数据异步融合的学习状态评估模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种学习状态信息评估方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的学习状态信息评估方法包括以下步骤：
S101，数据获取：实时采集线上或线下学习过程中的多模态数据；
S102，数据预处理：进行数据清洗、数据归一化操作；
S103，数据特征抽取：针对不同模态数据采用针对性方法提取特征；
S104，数据集划分：对预处理和特征抽取后的数据集进行划分；
S105，多模态数据融合：采用异步处理思路提出多模态数据融合方法；
S106，学习状态评估：构建基于异步融合方法的学习状态评估模型。
作为优选实施例，本发明实施例提供的基于多模态多粒度学习数据融合的学习状态信息评估方法具体包括以下步骤：
步骤1：数据获取：在数据获取的阶段，需要构建智慧学习环境，实时采集线上或线下学习过程中的多模态数据。
本发明实施例提供的数据获取阶段中，可以构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据，如图2所示，包括但不限于EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应、行为日志等序列数据。图中每一名学生均配备用于学习的计算机，以及用于采集多模态数据的摄像头、智能手环、智能头环、智能坐垫、眼动仪等设备。计算机除用于学习外还搭载有本发明的采集系统客户端，承担数据的收集、上传与预处理任务。采集系统采用“云-边-端”的模式，单一地感应采集设备为“端”，主要功能为采集某一模态的数据并上传到“边”；“边”为独立的采集单元，主要功能为对某一个采集对象，可以是学生个体，也可以是一个学习小组，进行数据汇总与预处理，并上传到“云”；“云”为系统的中心服务器，主要功能为对采集到的多模态数据进行分析与处理。
步骤2，数据预处理：进行数据清洗，数据归一化等操作。
本发明实施例提供的数据预处理过程中，首先进行数据清洗，去除因为设备问题或场景特性造成的无效数据，减少噪声对模型效果的影响；然后对清洗后的数据以学习者个体为单位进行归一化处理，排除学生个体差异对评估模型产生的影响。
步骤3，数据特征抽取：针对不同模态的数据采用针对性的方法提取特征。
本发明实施例提供的数据特征抽取过程中，针对不同模态的数据采用针对性的方法提取特征，比如对视频中的身体姿态信息采用卷积神经网络(Convolutional NeuralNetwork，CNN)提取特征，对序列类型数据EEG采用长短期记忆网络(Long Short-TermMemory，LSTM)提取特征等，以学生的专注状态作为下游任务训练数据特征抽取模块，如图3所示。
步骤4，数据集划分：根据交叉验证的思想(大数据分析领域的现有思想和技术)对预处理和特征抽取后的数据集进行划分，形成训练集和验证集，分别用于评估模型的训练和评估效果验证。
本发明实施例提供的数据集划分过程中，基于交叉验证和分层抽样的原则，将预处理和特征抽取后的数据集划分为两个子集，一个用于模型的训练和另一个用于模型的验证。如：基于专注状态为专注的样本进行分层抽样，划分70％的数据为训练集，30％为验证集。后续的模型建立和验证都是基于本阶段划分好的数据集，从而保证不同模态数据模型预测结果的可比性。
步骤5，多模态数据融合：针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法。
本发明实施例提供的多模态数据融合过程中，对不同粒度的数据按不同频率进行处理，通过异步处理的方式可以在融合时保留不同粒度数据的时序信息。在本例中为EEG特征每处理5次，身体姿态特征处理1次，两种不同模态的数据采用双通道的输入方式，以不同的频率处理后再将不同模态的数据进行融合。异步融合方法不局限于EEG与身体姿态特征数据，也不局限于两种模态，这一结构可以用于更多类型更多模态数量的数据融合。
步骤6，学习状态评估：使用采集到的多模态数据作为输入，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果。
本发明实施例提供的学习状态评估过程中，将通过异步融合方法融合处理后的数据作为多层感知机(Multilayer Perceptron，MLP)的输入，将学生的学习状态作为输出，构建学习状态评估模型，模型结构如图4所示。模型结构图所示案例中，双通道的输入分别为摄像采集的学生课堂视频数据和便携式脑电设备采集的脑电信号数据，两种类型的数据分别进行针对数据类型特性的特征抽取，然后将抽取到的特征以不同的频率进入融合模块，融合后的特征作为多层感知机的输入。学习状态评估模型的构建具体包括：
(a)构建数据特征抽取与异步融合模块。
(b)模型训练的输入和输出，假定训练集为输入为D＝{(x1,y1),(x2,y2),…,(xm,ym)}，其中每一个样本的输入x i表征为
xi为包含多模态数据的集合，每一个样本的输出y i为学习状态类型，且m表示训练集中样本数，n表示每一个样本的输入特征维度。
(c)模型训练：将模型所有参数作为一个整体共同训练，训练过程中，虽然不同模态数据的通道有不同的处理频率，但每一次处理的误差会累积，并在一次训练结束后一起更新权重，避免因为权重更新次数不同造成模型在训练次数多的模态数据上更偏重的情况。
(d)模型的优化目标函数：采用交叉熵作为算法模型的损失函数(如公式1所示)。公式中n是学习投入状态类型，α和β分别是EEG和姿态特征，θ和μ分别是两种模态的权重，而b和c是偏置。
(e)模型的参数优化：均通过反向传播算法和随机梯度下降算法进行参数的调整；前向的计算过程得真实值与预测值的误差，再将目标优化函数的负梯度方向更新量进行反向传播，进行参数更新，多次迭代轮回，当目标优化函数达到最优解时，则获得最优模型参数；同时使用随机梯度下降算法，在每一轮迭代中，随机选取当前批次的一个点进行参数的更新。
(f)模型的验证：训练好的学习状态评估模型在事先划分好的验证集上进行预测结果的验证，通过模型在验证集上预测结果的confusion matrix，对模型效果进行评价，发现在学习状态评估任务上，异步融合方法可以更有效融合多模态数据，提升模型的准确率与稳定性。
本发明实施例提供的学习状态信息评估系统包括：
数据获取模块，用于在数据获取阶段构建智慧学习环境，实时采集线上或线下学习过程中的多模态数据；
数据预处理模块，用于进行数据清洗、数据归一化操作；
数据特征抽取模块，用于针对不同模态数据采用针对性方法提取特征；
数据集划分模块，用于根据交叉验证的思想将预处理和特征抽取后的数据集划分为训练集和验证集，分别用于评估模型的训练和评估效果验证；
多模态数据融合模块，用于采用异步处理思路提出多模态数据融合方法；
学习状态评估模块，用于将多模态数据作为输入，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果。
为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
本发明可以应用于教学规律研究，通过准确追踪学生学习状态信息结合多模态数据，探究教学过程中学习状态的演化规律与影响机理。另一方面，本发明在课堂教学中可以帮助教师掌握学生学习状态，进行过程性评价，从而改善课堂教学设计，提高教学质量，并为有需要的学生提供针对性的指导。本发明在在线学习过程中可以反馈学生的学习状态，作为为学习者提供个性化的学习服务的依据，弥补在线学习中的情感缺失。本发明也可以为学习者提供学习过程的总结性评价与过程性评估，帮助学习者掌握自身学习状态，自我调节学习步调。
本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
表1异步融合与传统融合方法比较
| 方法 | 查准率 | 召回率 | F1值 | 准确率 |
| 基于多模态数据的早期融合方法 | 0.967 | 0.969 | 0.966 | 0.966 |
| 基于多模态数据的混合融合方法 | 0.965 | 0.967 | 0.965 | 0.965 |
| 基于多模态数据的晚期融合方法 | 0.790 | 0.890 | 0.890 | 0.891 |
| 基于多模态数据的异步融合方法 | 0.975 | 0.975 | 0.980 | 0.974 |
见表1，将基于传统融合方法的学习状态评估模型作为基线，将本发明提出的基于异步融合的学习状态评估模型与基线进行比较，可以发现本发明提出的数据融合方法和学习状态评估模型相比传统方法有显著提升。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种学习状态信息评估方法，其特征在于，学习状态信息评估方法包括：通过构建学习多模态数据采集系统，实时采集教学过程中的多模态数据，再对不同模态数据进行预处理与特征提取；针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法，并形成最终的学习状态评估模型。
2.如权利要求1所述学习状态信息评估方法，其特征在于，学习状态信息评估方法包括以下步骤：
步骤一，数据获取：实时采集线上或线下学习过程中的多模态数据；
步骤二，数据预处理：进行数据清洗、数据归一化操作；
步骤三，数据特征抽取：针对不同模态数据采用针对性方法提取特征；
步骤四，数据集划分：对预处理和特征抽取后的数据集进行划分；
步骤五，多模态数据融合：采用异步处理思路提出多模态数据融合方法；
步骤六，学习状态评估：构建基于异步融合方法的学习状态评估模型。
3.如权利要求2所述学习状态信息评估方法，其特征在于，步骤一中的数据获取中，构建智慧学习环境在线下或线上学习过程中采集学生的多模态数据；其中，多模态数据包括EEG、心率、皮肤电、视线追踪、姿态检测、面部表情、压力感应以及行为日志的序列数据；
采集系统采用云-边-端的模式，单一地感应采集设备为端，用于采集某一模态的数据并上传到边；边为独立的采集单元，用于对采集对象进行数据汇总与预处理并上传到云，其中采集对象为学生个体或学习小组；云为系统的中心服务器，用于对采集到的多模态数据进行分析与处理；
步骤二中的数据预处理包括：进行数据清洗，去除因为设备问题或场景特性造成的无效数据；对清洗后的数据以学习者个体为单位进行归一化处理，排除学生个体差异对评估模型产生的影响。
4.如权利要求2所述学习状态信息评估方法，其特征在于，步骤三中的数据特征抽取过程中，针对不同模态的数据采用针对性的方法提取特征，以学生的专注状态作为下游任务训练数据特征抽取模块；其中，对视频中的身体姿态信息采用卷积神经网络提取特征，对序列类型数据EEG采用长短期记忆网络提取特征；
步骤四中的数据集划分包括：根据交叉验证和分层抽样的原则，对预处理和特征抽取后的数据集进行划分，形成训练集和验证集，分别用于评估模型的训练和模型的评估效果验证；其中，基于专注状态为专注的样本进行分层抽样，划分70％的数据为训练集，30％为验证集。
5.如权利要求2所述学习状态信息评估方法，其特征在于，步骤五中的多模态数据融合包括：针对不同粒度数据融合的问题，采用异步处理的思路，提出多模态数据融合方法；多模态数据融合过程中，对不同粒度的数据按不同频率进行处理，通过异步处理的方式可以在融合时保留不同粒度数据的时序信息；其中，EEG特征每处理5次，身体姿态特征处理1次，两种不同模态的数据采用双通道的输入方式，以不同的频率处理后再将不同模态的数据进行融合；异步融合方法不局限于EEG与身体姿态特征数据，也不局限于两种模态，异步融合方法用于更多类型更多模态数量的数据融合。
6.如权利要求2所述学习状态信息评估方法，其特征在于，步骤六中的学习状态评估包括：将通过异步融合方法融合处理后的多模态数据作为多层感知机的输入，将学生的学习状态作为输出，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果；其中，基于异步融合方法的学习状态评估模型的构建方法包括：
(1)构建数据特征抽取与异步融合模块；
(2)模型训练的输入和输出，当训练集为输入为D ＝ {( x 1,y1),(x2,y2),…,(xm,ym)}，其中每一个样本的输入x i表征为
x i为包含多模态数据的集合，每一个样本的输出y i为学习状态类型，且m表示训练集中样本数，n表示每一个样本的输入特征维度；
(3)模型训练：将模型所有参数作为一个整体共同训练，训练过程中，虽然不同模态数据的通道有不同的处理频率，但每一次处理的误差会累积，并在一次训练结束后更新权重；
(4)模型的优化目标函数：采用交叉熵作为算法模型的损失函数；
式中，n是学习投入状态类型，α和β分别是EEG和姿态特征，θ和μ分别是两种模态的权重，而b和c是偏置；
(5)模型的参数优化：均通过反向传播算法和随机梯度下降算法进行参数的调整；前向的计算过程得真实值与预测值的误差，再将目标优化函数的负梯度方向更新量进行反向传播，进行参数更新，多次迭代轮回；当目标优化函数达到最优解时，则获得最优模型参数；同时使用随机梯度下降算法，在每一轮迭代中，随机选取当前批次的一个点进行参数的更新；
(6)模型的验证：训练好的学习状态评估模型在验证集上进行预测结果的验证，通过模型在验证集上预测结果的confusion matrix，对模型效果进行评价。
7.一种应用如权利要求1～6任意一项所述学习状态信息评估方法的学习状态信息评估系统，其特征在于，学习状态信息评估系统包括：
数据获取模块，用于在数据获取阶段构建智慧学习环境，实时采集线上或线下学习过程中的多模态数据；
数据预处理模块，用于进行数据清洗、数据归一化操作；
数据特征抽取模块，用于针对不同模态数据采用针对性方法提取特征；
数据集划分模块，用于根据交叉验证的思想将预处理和特征抽取后的数据集划分为训练集和验证集，分别用于评估模型的训练和评估效果验证；
多模态数据融合模块，用于采用异步处理方法实现多模态数据融合；
学习状态评估模块，用于将多模态数据作为输入，构建基于异步融合方法的学习状态评估模型，在训练集上训练模型，并在验证集上验证模型效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519389.1A CN115906002B (zh) | 2022-11-30 | 2022-11-30 | 一种基于多粒度数据融合的学习投入状态评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519389.1A CN115906002B (zh) | 2022-11-30 | 2022-11-30 | 一种基于多粒度数据融合的学习投入状态评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115906002A true CN115906002A (zh) | 2023-04-04 |
| CN115906002B CN115906002B (zh) | 2024-01-16 |
Family
ID=86479198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211519389.1A Active CN115906002B (zh) | 2022-11-30 | 2022-11-30 | 一种基于多粒度数据融合的学习投入状态评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115906002B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496133A (zh) * | 2024-01-03 | 2024-02-02 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280443A (zh) * | 2018-02-23 | 2018-07-13 | 深圳市唯特视科技有限公司 | 一种基于深特征提取异步融合网络的动作识别方法 |
| KR20220045541A (ko) * | 2020-10-05 | 2022-04-12 | 서울대학교산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| CN114694076A (zh) * | 2022-04-08 | 2022-07-01 | 浙江理工大学 | 基于多任务学习与层叠跨模态融合的多模态情感分析方法 |
| US20220327652A1 (en) * | 2021-04-08 | 2022-10-13 | Hitachi, Ltd. | Multi-modal mobility management solutions framework |
| CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
| CN115329818A (zh) * | 2022-08-22 | 2022-11-11 | 深圳市云长数字医疗有限公司 | 基于vr的多模态融合注意力评估方法、系统及存储介质 |
-
2022
- 2022-11-30 CN CN202211519389.1A patent/CN115906002B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280443A (zh) * | 2018-02-23 | 2018-07-13 | 深圳市唯特视科技有限公司 | 一种基于深特征提取异步融合网络的动作识别方法 |
| KR20220045541A (ko) * | 2020-10-05 | 2022-04-12 | 서울대학교산학협력단 | 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| US20220327652A1 (en) * | 2021-04-08 | 2022-10-13 | Hitachi, Ltd. | Multi-modal mobility management solutions framework |
| CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
| CN114694076A (zh) * | 2022-04-08 | 2022-07-01 | 浙江理工大学 | 基于多任务学习与层叠跨模态融合的多模态情感分析方法 |
| CN115329818A (zh) * | 2022-08-22 | 2022-11-11 | 深圳市云长数字医疗有限公司 | 基于vr的多模态融合注意力评估方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JIANHUA ZHANG ET AL.: "Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review", 《ELSEVIER》 * |
| 张利钊等: "基于多模态数据的学习投入评估方法分析", 《电化教育研究》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636488A (zh) * | 2023-11-17 | 2024-03-01 | 中国科学院自动化研究所 | 多模态融合的学习能力评估方法、装置及电子设备 |
| CN117496133A (zh) * | 2024-01-03 | 2024-02-02 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
| CN117496133B (zh) * | 2024-01-03 | 2024-03-22 | 山东工商学院 | 基于多模态数据的封闭母线r-cnn温度故障监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115906002B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mulaik et al. | There is a time and a place for significance testing | |
| CN115906002B (zh) | 一种基于多粒度数据融合的学习投入状态评估方法 | |
| CN107292330A (zh) | 一种基于监督学习和半监督学习双重信息的迭代式标签噪声识别算法 | |
| Olesen et al. | Deep residual networks for automatic sleep stage classification of raw polysomnographic waveforms | |
| CN112133407A (zh) | 一种基于语音与表情的快速智能情绪测评分析方法 | |
| CN113392894A (zh) | 一种多组学数据的聚类分析方法和系统 | |
| Yildirim | A review of deep learning approaches to EEG-based classification of cybersickness in virtual reality | |
| CN114847958A (zh) | 一种基于心电信号的应激和疲劳监测方法及系统 | |
| CN113705715B (zh) | 一种基于lstm和多尺度fcn的时间序列分类方法 | |
| CN115919330A (zh) | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 | |
| Endo et al. | A convolutional neural network for estimating synaptic connectivity from spike trains | |
| CN114366103A (zh) | 注意力评估方法、装置及电子设备 | |
| CN117334337A (zh) | 基于图像识别技术的癌症患者疼痛智能化评估及预警系统 | |
| Zhang et al. | Efficient and generalizable cross-patient epileptic seizure detection through a spiking neural network | |
| CN106055875A (zh) | 一种基于大数据的皮纹分析处理装置 | |
| Zheng et al. | A data-driven emotion model for english learners based on machine learning | |
| CN110908919A (zh) | 一种基于人工智能的应答测试系统及其应用 | |
| Kumar et al. | Students' academic performance prediction using regression: a case study | |
| Nissimagoudar et al. | AlertNet: Deep convolutional-recurrent neural network model for driving alertness detection | |
| CN116484290A (zh) | 一种基于Stacking集成的抑郁症识别模型构建方法 | |
| Cajic et al. | Neuro-Fuzzy Disease Detection Using Interpolation in Matlab: Unveiling the Hidden Patterns | |
| Jayawickrama et al. | Ensemble Learning Approach to Human Stress Detection Based on Behaviours During the Sleep | |
| Kawanishi et al. | A study on dementia detection method with stroke data using anomaly detection | |
| CN116010840A (zh) | 一种多源域样本重加权的eeg信号跨设备解码方法 | |
| CN112370039B (zh) | 一种基于智慧课堂的课堂质量检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |