CN116186250A - 小样本条件下的多模态学习水平挖掘方法、系统及介质 - Google Patents
小样本条件下的多模态学习水平挖掘方法、系统及介质 Download PDFInfo
- Publication number
- CN116186250A CN116186250A CN202211578977.2A CN202211578977A CN116186250A CN 116186250 A CN116186250 A CN 116186250A CN 202211578977 A CN202211578977 A CN 202211578977A CN 116186250 A CN116186250 A CN 116186250A
- Authority
- CN
- China
- Prior art keywords
- learning
- test question
- features
- student
- students
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000013016 learning Effects 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000005065 mining Methods 0.000 title claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 196
- 239000013598 vector Substances 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002902 bimodal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于个性化学习技术领域，公开了一种小样本条件下的多模态学习水平挖掘方法、系统及介质，方法包括：提取试题的内容特征、属性特征和学生的试题表现特征，引入BERT和VGG‑16预训练模型对图文特征加以表示，并基于张量对图文特征进行融合得到试题异质融合语义特征；结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络以及题目间的注意力权值对学习状态向量的估算；利用试题异质融合语义特征与历史加权学习状态向量对学生的试题表现进行预测以及对学生知识掌握矩阵的分析预测。本发明公开的方法有利于提高模型在学生试题表现和学习掌握情况的预测准确度性能，优化了模型的收敛速率和训练速率，从技术层面助力智慧教育的落地。
Description
技术领域
本发明属于个性化学习技术领域，尤其涉及一种小样本条件下的多模态学习水平挖掘方法、系统及介质。
背景技术
随着人工智能、云计算等技术的发展，智慧教育逐渐成为现代技术环境下的教育信息化新范式，为实现“因材施教”提供了契机。《中国教育现代化2035》指出，要将“实现规模化教育与个性化培养有机结合”作为重要战略任务，因此如何实现学习者的个性化学习需求和发展需求已然成为新一代教育领域的新课题。由于学生的学习水平受到当前学习阶段的影响，会随着学习过程的进行逐渐变化，动态追踪学生的知识状态变化对于开展个性化在线教育具有重要的意义。
学习水平挖掘任务以根据学生在过去某一学习任务中的学习行为建立知识状态随时序变化的模型为目标，并对学生在下一次的作答试题表现展开预测。学生使用线上学习平台时将持续留下其个性化的学习轨迹，通过学习水平挖掘方法能够转化成对于学生学习情况的分析，甚至利用已有的学习数据，实现小样本条件下学生在其他未答试题上的表现预估，从而为学生和教师提供更具个性和信度的教学方案。
目前，较为主流的学习水平挖掘方法从技术上可分为基于概率的学习水平挖掘方法、基于逻辑函数的学习水平挖掘方法与基于深度学习的学习水平挖掘方法三类。其中，前两种学习水平挖掘方法分别以基于贝叶斯的学习水平挖掘和基于表现因子分析的学习水平挖掘方法为代表，在大部分数据集中预测效果有待提高。而基于深度学习的学习水平挖掘方法以深度学习算法为基础，在此基础上引入循环神经网络来动态追踪状态的变化过程，从而能够得到更准确的结果，但由于基于深度学习的学习水平挖掘方法仅仅对试题的单一知识点进行建模，忽略了试题的其他内容特征以及注意力的影响，对学生知识掌握状态的建模也不够完善，其预测结果的稳定性和准确性虽然优于其他两种学习水平挖掘方法，但仍有一定的问题。
由于基于深度学习的学习水平挖掘方法在大部分问题处理时在准确性等方面的性能表现优于其他两类学习水平挖掘方法，因此下面对现有技术的讨论以分析基于深度学习的学习水平挖掘方法为主，并称其为传统学习水平挖掘方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统学习水平挖掘方法仅从知识概念角度对题目进行建模，却忽视了题目间蕴含的来自于文本和图像的语义信息，在性能方面仍有待提高；
(2)传统学习水平挖掘方法忽略了历史题目对于当前学习状态构建的影响，对学生知识掌握状态的建模粗略且缺乏解释性；
(3)传统学习水平挖掘方法中的深度算法依赖于大量的训练数据，但很难实现小样本条件下的预测准测。
发明内容
针对现有技术存在的问题，本发明提供了一种小样本条件下的多模态学习水平挖掘方法、系统及介质。
本发明是这样实现的，一种小样本条件下的多模态学习水平挖掘方法，所述小样本条件下的多模态学习水平挖掘方法包括：
提取试题的内容特征、属性特征以及学生的试题表现特征，引入BERT和VGG-16预训练模型对试题文本和图像的语义特征加以表示，并基于张量的融合方法对图文特征进行融合得到试题异质融合语义特征；结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络以及题目间的注意力权值对学习状态向量的估算；利用试题异质融合语义特征与历史加权学习状态向量对学生的试题表现进行预测，并利用训练参数对学生知识掌握矩阵的分析预测。
进一步，所述试题的内容特征、属性特征与学生的试题表现特征，按时序整理以作为模型输入；所述试题的内容特征包括试题的文本语义特征与图像语义特征，所述属性特征为试题所考察的知识点，所述试题表现特征为学生作答试题所对应的得分向量；
利用所述BERT预训练模型对所述内容特征中的文本部分进行训练，得到试题的文本语义特征向量表示；
利用所述VGG-16预训练模型对所述内容特征中的图像部分进行训练，得到试题的图像语义特征向量表示。
进一步，所述基于张量的融合方法首先对试题的文本语义特征和图像语义特征分别用1扩充维度后，计算两者的笛卡尔积，得到试题异质融合语义特征zt：
式中，zvt为学生在t时刻所作答的试题的文本语义特征，zlt为学生在t时刻所作答的试题的图像语义特征。
进一步，所述试题的文本语义特征向量表示的具体过程包括：
对试题的内容特征中的文本部分进行预处理，使用分词工具将每道试题的文本部分拆解成单词序列后，在头部加上[CLS]标签作为题干语句的开始，在每句话的末尾添加[SEP]标志语句的结束或序列间的间隔；将所述单词序列转化成对应的索引序列，并以最大的试题单词序列长度作为标准，为长度不足的序列后面补[0]以保持输入序列长度的统一；对所述BERT预训练模型的网络结构进行微调，保留原先的前十层encoder网络，在其后添加全连接层与Tanh激活层，只训练最后两层encoder层、池化层，以及新添加的全连接层与Tanh激活层；
将长度统一的单词索引序列作为微调后的BERT预训练模型的输入，完成对试题的文本语义特征的向量表示；
所述试题的图像语义特征向量表示的具体过程包括：
对试题的内容特征中的图像部分进行预处理，统一图像尺寸为128*128；对所述VGG-16预训练模型的架构进行微调，保留原先的十三层卷积核为3*3的卷积层与五层滤波器核为2*2的最大池化层，并在训练过程中冻结其参数，将最后三层全连接层修改为两层全连接层与一层softmax激活层；最后，将试题图像输入进微调后的VGG-16预训练模型。
进一步，所述对学习状态向量的估算的具体过程包括：
根据学生的试题表现特征，使用试题-响应对(zt，rt)对学生的学习行为加以表征，分别针对答对或答错两种情况，按不同的顺序拼接学生作答试题的异质融合语义特征与学生的试题表现特征，拼接得到的学生行为向量xt的计算公式为：
式中，rt表示学生的试题表现特征；0为与zt维度相同的全零向量；
表示向量拼接的操作；
基于双向的门控循环单元网络构建学生学习状态追踪模型，以所述学生行为向量xt作为输入，所述学生学习状态追踪模型具体表示为：
式中，Zt与Rt分别为更新门与重置门的门值，WZ,WR,WH为权重矩阵，bZ,bR,bH为对应的偏置项，σ(x)和Tanh(x)分别表示激活函数；
表示t时刻门控循环单元网络的候选隐藏状态，Ht表示t时刻学生的学习知识状态向量；
构建一个静态内存矩阵M用来存储K个知识概念i的信息；
将采集的每道题的试题属性特征表示为one-hot向量vt，通过线性层对所述试题属性特征进行嵌入表示，并计算每个知识概念的影响权重：
式中，Wk表示权重矩阵，kt为嵌入表示后的低维向量，
表示t时刻知识权重矩阵中知识概念i的影响权重；
基于注意力机制利用试题内容上的余弦相似度衡量历史时刻的知识状态对于当前T时刻知识状态的影响，T时刻所答的试题与历史作答试题的相似权重β的计算公式为：
式中，zT表示T时刻学生作答试题的异质融合语义特征，Hi′是学生蕴含历史作答信息的在自由概念i上的知识状态向量；
联合所述知识状态向量与所述影响权重，获得历史加权学习状态向量sT：
式中，K表示所有知识概念的数量。
进一步，所述利用训练参数对学生知识掌握矩阵的分析预测的具体过程包括：
(1)联合学生作答下一道试题的异质融合语义特征与学生历史加权的学习状态向量，对学生的试题表现进行预测；
(2)以学生学习序列上的试题表现的负对数似然函数为目标函数：
式中，对于t时刻，
为经过模型预测的试题表现；
(3)使用Adam优化方法最小化所述目标函数，并对模型进行训练；
(4)利用所述知识状态向量，预测学生对于每个知识点的知识掌握程度。
进一步，所述(1)的具体过程包括：
拼接T+1时刻学生作答试题的异质融合语义特征向量和学生历史加权的学习状态向量，获得将作答试题上的聚合学习向量：
构建线性层与激活层，以下一时刻学生的聚合学习向量为输入，预测学生在对应试题上的表现：
式中，W1,W2为权重矩阵，b1,b2为对应的偏置参数，Relu(x)与σ(x)均为激活函数，yT+1表示下一时刻的表现预测中间变量，
表示下一时刻经过模型预测的学生试题表现；
所述(4)的具体过程为：
构建与学生的知识状态向量相同维度且内容全为0的mask向量，与基于注意力机制的学生知识状态向量进行拼接：
将拼接后的向量按序输入到所述线性层和激活层中，保持原参数不变，输出学生对第i个知识点的知识掌握程度向量：
其中，
表示T时刻的掌握预测中间变量，{W1，W2，W1，W2}与(1)中的参数保持相同，无需训练。
本发明的另一目的在于提供一种小样本条件下的多模态学习水平挖掘系统，所述小样本条件下的多模态学习水平挖掘系统包括：
基于迁移学习的试题融合语义表征模块：用于从学生试题交互序列中采集试题的内容特征、属性特征与学生的试题表现特征，在训练样本有限的条件下，利用迁移学习的策略，对BERT和VGG-16预训练模型结构进行冻结与微调，分别以试题在文本和图像两通道上经过预处理的内容特征作输入，并基于张量的方法对深度学习表示得到的双模态语义特征进行融合，从而获得试题的异质融合语义表征；
智能知识状态动态追踪模型构建模块：用于结合学生的试题表现和试题的融合语义对学生不同作答的学习行为加以表征，并以此为输入，引入双向的门控循环单元网络，构建面向学生的智能知识状态动态追踪模型；
基于注意力机制的学生学习情况预测模块：用于利用余弦相似度计算历史试题对于当前状态构建的影响，并联合历史加权的学习状态向量和试题融合特征对学生的试题表现和对知识概念的掌握情况进行预测。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述小样本条件下的多模态学习水平挖掘方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述小样本条件下的多模态学习水平挖掘方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述小样本条件下的多模态学习水平挖掘系统。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
(1)传统学习水平挖掘方法仅从知识概念角度对题目进行建模，却忽视了题目间蕴含的来自于文本和图像的语义信息，在性能方面仍有待提高。本发明充分利用了学生所交互试题的文本信息和图像信息，设计了特征提取表示和融合的方法，更好地表征了学习资源；
(2)传统学习水平挖掘方法忽略了历史题目对于当前学习状态构建的影响，对学生知识掌握状态的建模粗略且缺乏解释性。本发明利用注意力机制，通过计算试题语义特征间的余弦相似度，考虑过往学习试题对于当前知识状态构建的影响，增强学生历史状态信息，提高预测效果；
(3)传统学习水平挖掘方法中的深度算法依赖于大量的训练数据，但很难实现小样本条件下的预测准测，因此如何在小样本条件下运用有限的训练数据保证较好的预测性能称为亟需解决的问题。本发明引入了迁移学习的思想和微调的策略，借助预训练模型BERT和VGG-16解决了小样本的条件下学习水平挖掘的实现问题，在目前线上教育平台上得到更广泛的应用。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明提出的小样本条件下的多模态学习水平挖掘方法在学生作答反应预测方面明显优于传统学习水平挖掘方法，实验表明在AUC、Loss等方面，本发明提出的方法比其他传统学习水平挖掘方法更有效，另外本发明对学生的学习状态矩阵进行深度表示学习，对学生的知识掌握情况加以量化，有利于可视化的学习分析。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案转化后的预期收益和商业价值为：
本发明提出的小样本条件下的多模态学习水平挖掘方法能更好地量化和预测学生的学习知识状态，助力了智慧教育的落地，具有巨大的商业价值。
(2)本发明的技术方案填补了国内外业内技术空白：
针对如何在小样本条件下运用有限的训练数据保证较好的预测性能，本发明分别使用BERT预训练语言模型和VGG-16预训练卷积神经网络对试题的文本和图像信息进行特征提取，再基于张量的方法融合构建试题的异质融合语义特征，结合学生的试题表现追踪学生知识状态的变化，从而在小样本条件下实现对于未来的试题作答结果的准确预测。
(3)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：
传统学习水平挖掘方法对学生知识掌握状态的捕捉较为粗粒度，并且无法解决长序列的长时依赖问题，本发明充分考虑不同题目间知识点的联系以及历史试题对于当前知识状态构建的影响，使用Bi-GRU对学生在学习过程中的学习状态进行动态建模，同时引入注意力机制，完成对于学生知识掌握的预测，提高分析结果的可靠性，帮助学生更有针对性地制定下一步学习计划
(4)本发明的技术方案是否克服了技术偏见：
传统学习水平挖掘方法仅从知识概念角度对题目进行建模，却忽视了题目间蕴含的来自于文本和图像的语义信息，本发明将试题文本和图像通道的语义信息表示成特征并加以融合，从而完善对于预测模型的结构构建，得到更准确的分析结果。
附图说明
图1是本发明实施例提供的小样本条件下的多模态学习水平挖掘方法流程图；
图2是本发明实施例提供的小样本条件下的多模态学习水平挖掘方法原理图；
图3是本发明实施例提供的小样本条件下的多模态学习水平挖掘系统结构示意图：
图中，1、基于迁移学习的试题融合语义表征模块，2、智能知识状态动态追踪模型构建模块，3、基于注意力机制的学生学习情况预测模块；
图4是本发明实施例提供的数据集TIMSS2007在AUC的实验结果对比示意图；
图5是本发明实施例提供的数据集TIMSS2007在Loss的实验结果对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的小样本条件下的多模态学习水平挖掘方法包括以下步骤：
S101，提取学生试题交互序列中的试题的内容特征、试题的属性特征与学生的试题表现特征，针对试题的内容特征，基于迁移学习策略和微调的思想，分别引入BERT和VGG-16预训练模型对试题文本和图像两个模态的语义特征加以表示，并采用基于张量的融合方法对图文特征进行融合，得到试题异质融合语义特征；
S102，结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络，追踪学生的学习状态变化过程，并通过引入题目间的注意力权值，完成对于学习状态向量的估算；
S103，利用当前试题的融合语义特征与学生的历史加权学习状态向量，对学生的作答成绩进行预测，并利用训练参数展开对学生知识掌握矩阵的分析预测。
本发明实施例提供的小样本条件下的多模态学习水平挖掘方法原理图如图2所示。
如图3所示，本发明实施例提供的小样本条件下的多模态学习水平挖掘系统包括：
基于迁移学习的试题融合语义表征模块1，用于从学生试题交互序列中采集试题的内容特征、属性特征与学生的试题表现特征，在训练样本有限的条件下，利用迁移学习的策略，对BERT和VGG-16预训练模型结构进行冻结与微调，分别以试题在文本和图像两通道上经过预处理的内容特征作输入，并基于张量的方法对深度学习表示得到的双模态语义特征进行融合，从而获得试题的异质融合语义表征；
智能知识状态动态追踪模型构建模块2，用于结合学生的试题表现和试题的融合语义对学生不同作答的学习行为加以表征，并以此为输入，引入双向的门控循环单元网络，构建面向学生的智能知识状态动态追踪模型；
基于注意力机制的学生学习情况预测模块3，用于利用余弦相似度计算历史试题对于当前状态构建的影响，并联合历史加权的学习状态向量和试题融合特征对学生的试题表现和对知识概念的掌握情况进行预测。
本发明实施例涉及的符号如表2所示。
表2本发明实施例涉及的符号
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
实施例1
本发明实施例提供的小样本条件下的多模态学习水平挖掘方法具体包括：
(1)提取学生试题交互序列中的试题的内容特征、试题的属性特征与学生的试题表现特征，针对试题的内容特征，基于迁移学习策略和微调的思想，分别引入BERT和VGG-16预训练模型对试题文本和图像两个模态的语义特征加以表示，并采用基于张量的融合方法对图文特征进行融合，得到试题异质融合语义特征；
(2)结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络，追踪学生的学习状态变化过程，并通过引入题目间的注意力权值，完成对于学习状态向量的估算；
(3)利用当前试题的融合语义特征与学生的历史加权学习状态向量，对学生的作答成绩进行预测，并利用训练参数展开对学生知识掌握矩阵的分析预测。
本发明实施例提供的步骤一，具体包括：
(1.1)从学生试题交互序列中采集试题的内容特征、试题的属性特征与学生的试题表现特征：
选取IEA在2007年的数学与科学学科能力测试TIMSS中面向英国四年级小学生对于数学学科试题的交互数据，组成数据集TIMSS2007，其中包含的交互数、知识点数、试题数、学生数如下表3所示；
表3数据集TIMSS2007的相关信息
| 相关信息 | 数据集具体数量 |
| 学生与练习的交互条数量 | 6334 |
| 知识点数量 | 9 |
| 试题数量 | 58 |
| 学生数量 | 779 |
从数据集TIMSS2007中选择学生的试题表现特征与试题的内容特征与属性特征，选择的学生相关特征以及试题相关特征如下表4所示。
表4数据集TIMSS2007中选择的特征
(1.2)针对试题内容特征中的文本部分，使用BERT预训练模型，获取试题的文本语义特征向量表示：
对试题文本内容进行预处理，使用分词工具将每道试题的文本内容拆解成单词序列后，在头部加上[CLS]标签作为题干语句的开始，在每句话的末尾添加[SEP]标志语句的结束或序列间的间隔；
将单词序列转化成对应的索引序列，并以最大的试题单词序列长度作为标准，为长度不足的序列后面补[0]以保持输入序列长度的统一；
微调原有的BERT网络结构，保留原先的前十层encoder网络，在其后添加相应维度的全连接层与Tanh激活层。在深度学习表示时，基于微调思想，冻结BERT模型在1-10层网络中的参数，只训练最后两层编码层、池化层，以及新添加层，使得源数据集能更好地适配较为稀疏的个性化数据集，提高模型的泛化能力；
将长度统一的单词索引序列作为输入通过网络，从而实现对试题的文本语义特征的深度学习表示。
(1.3)VGG-16预训练模型，获取试题的图像语义特征向量表示：
对试题图像进行预处理，统一图像尺寸为128*128；
对VGG-16架构进行微调，其中保留原先的十三层3*3卷积核的卷积层与五层滤波器核为2*2的最大池化层，并在训练过程中冻结其参数，对最后三层全连接层重新定义，修改为两层全连接层与一层softmax激活层，以获取图像的特征信息；
将试题图像输入进微调后的VGG-16架构，从而实现对试题的图像语义特征的深度学习表示。
(1.4)基于张量的方法，首先对试题双模态的语义特征分别用1扩充维度后计算两者的外积以实现语义特征的融合，从而得到平方数量级的试题异质融合语义特征向量：
其中，对于学生在t时刻所作答的试题，zvt为该试题在文本通道上的语义特征，zlt为该试题在图像通道上的语义特征，对其取笛卡尔积得到学生所作答试题的异质融合语义特征向量zt。
本发明实施例提供的步骤二，具体包括：
(2.1)根据学生的试题表现特征，使用试题-响应对(zt，rt)对学生的学习行为加以表征，为了区分学生不同的作答表现对其知识状态影响的程度，分别针对答对或答错两种情况，按不同的顺序拼接学生作答试题的异质融合语义特征与学生的试题表现特征：
zt是t时刻学生作答试题的异质融合语义特征；rt则是学生的实际试题表现；0是一个与zt维度相同的全零向量；
表示向量拼接的操作；拼接得到的学生行为向量xt同时包含试题语义与作答表现两方面信息；
(2.2)基于双向的门控循环单元网络构建学生学习状态追踪模型，以学生行为向量xt作为输入，对于知识概念i，用每一时刻的隐状态来表征学生就这一概念上动态变化的学习知识状态，模型具体可以表现为：
其中，Zt与Rt分别为更新门与重置门的门值，WZ,WR,WH为权重矩阵，bZ,bR,bH为对应的偏置项，σ(x)和Tanh为激活函数，
表示t时刻门控循环单元网络的候选隐藏状态，Ht表示t时刻学生的学习知识状态向量；
(2.3)构建一个静态内存矩阵M用来存储K个知识概念的信息；
(2.4)将步骤一中采集的每道题的试题属性特征表示为one-hot向量vt，通过线性层对其进行嵌入表示，并计算每个知识概念的影响权重：
其中，Wk是相应的权重矩阵，kt是嵌入表示后的低维向量，
是t时刻知识权重矩阵中概念i的影响权重；
(2.5)基于注意力机制，用试题内容上的相似度度量历史时刻的知识状态对于当前时刻知识状态的影响：
其中，βt使用余弦相似度衡量T时刻所答的试题与历史作答试题的相似权重，zT表示T时刻学生作答试题的异质融合语义特征，Hi′是学生蕴含历史作答信息的在概念i上的知识状态；
(2.6)联合蕴含历史作答信息的知识状态向量与概念影响权重，获得在所有概念上结合历史作答信息的历史加权学习状态向量：
本发明实施例提供的步骤三，具体包括：
(3.1)联合学生作答下一道试题的异质融合语义特征与学生历史加权的学习状态向量，对学生的试题表现进行预测：
拼接T+1时刻学生作答试题的异质融合语义特征向量和学生历史加权的学习状态向量，获得将作答试题上的聚合学习向量：
构建线性层与激活层，以下一时刻学生的聚合学习向量为输入，预测学生在对应试题上的表现：
其中W1,W2为权重矩阵，b1,b2为对应的偏置参数。Relu(x)与σ(x)均为激活函数。yT+1表示下一时刻的表现预测中间变量。
即下一时刻经过模型预测的学生试题表现。
(3.2)以学生学习序列上的试题表现的负对数似然函数为目标函数：
对于t时刻，rt为学生真实的试题表现，
为经过模型预测的试题表现；
(3.3)使用Adam优化方式最小化所定义的目标函数，对模型进行训练；
(3.4)利用学生蕴含历史作答信息的知识状态向量，预测学生对于每个知识点的知识掌握程度：
构建与学生的知识状态向量相同维度且内容全为0的mask向量，与基于注意力机制的学生知识状态向量进行拼接：
将拼接后的向量按序输入到步骤(1)所构建的线性层和激活层中，保持原参数不变，输出学生对第i个知识点的知识掌握程度向量：
其中，
表示T时刻的掌握预测中间变量，{W1，W2，W1，W2}与步骤(1)中的参数保持相同，无需训练。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
本发明实施例中，主要开发环境包括：Windows 10，GTX 1080Ti，Pytorch1.6.0，Python3.7，模型具体的超参数设置如下表4所示。
表4实验模型超参数设置情况
本发明将小样本条件下的多模态学习水平挖掘方法与传统学习水平挖掘方法进行对比，对比指标曲线下面积AUC和二分类交叉熵损失Loss。评价指标AUC是衡量二分类模型优劣的一种评价指标，能在样本内部正负样本的不平衡的前提下依然准确地描述模型整体性能的优劣，AUC值在0.5代表随机可获得的得分，分数越接近1则代表预测结果越准确。Loss值能在一定程度上衡量测量值与真实值之间的偏差，数值越小则表示预测结果越准确。
本发明将小样本条件下的多模态学习水平挖掘方法与传统学习水平挖掘方法进行对比，为了实现比较的公平，两个模型中涉及相同模块的相应超参数都设置相同的，一种小样本条件下的多模态学习水平挖掘方法与传统学习水平挖掘方法在数据集TIMSS2007下的AUC、Loss对比结果如表1所示，模型在数据集TIMSS2007上训练过程示意图如图4、图5所示。
表1不同方法的实验结果对比
由实验结果可知：本发明提出的小样本条件下的多模态学习水平挖掘方法在数据集TIMSS2007上，最优的epoch对应的AUC提升了15.2％，Loss下降了0.027。说明本发明考虑融入关于试题多模态语义内容的特征，并采用迁移学习的策略和微调方法，在训练样本有限的条件下利用预训练模型对特征分别进行提取与基于张量的融合，以更好地完成试题语义表征构建；再者，结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络构建模型，追踪学生的学习状态变化过程，通过引入题目间的注意力权值估算学习状态向量；最后，利用当前试题的融合语义特征与学生的历史加权学习状态向量，预测学生的作答成绩和学生知识掌握向量，提高了模型在预测学生作答反应的精度，结果优于其他传统学习水平挖掘方法。实验表明，在AUC和Loss方面，本发明提出的小样本条件下的多模态学习水平挖掘方法比传统学习水平挖掘方法更有效，总之，本发明具有最佳的实验效果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种小样本条件下的多模态学习水平挖掘方法，其特征在于，所述小样本条件下的多模态学习水平挖掘方法包括：
提取试题的内容特征、属性特征以及学生的试题表现特征，引入BERT和VGG-16预训练模型对试题文本和图像的语义特征加以表示，并基于张量的融合方法对图文特征进行融合得到试题异质融合语义特征；结合试题异质融合语义特征与学生试题表现特征，基于双向循环神经网络以及题目间的注意力权值对学习状态向量的估算；利用试题异质融合语义特征与历史加权学习状态向量对学生的试题表现进行预测，并利用训练参数对学生知识掌握矩阵的分析预测。
2.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述试题的内容特征、属性特征与学生的试题表现特征，按时序整理以作为模型输入；所述试题的内容特征包括试题的文本语义特征与图像语义特征，所述属性特征为试题所考察的知识点，所述试题表现特征为学生作答试题所对应的得分向量；
利用所述BERT预训练模型对所述内容特征中的文本部分进行训练，得到试题的文本语义特征向量表示；
利用所述VGG-16预训练模型对所述内容特征中的图像部分进行训练，得到试题的图像语义特征向量表示。
3.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述基于张量的融合方法首先对试题的文本语义特征和图像语义特征分别用1扩充维度后，计算两者的笛卡尔积，得到试题异质融合语义特征zt：
式中，zvt为学生在t时刻所作答的试题的文本语义特征，zlt为学生在t时刻所作答的试题的图像语义特征。
4.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述试题的文本语义特征向量表示的具体过程包括：
对试题的内容特征中的文本部分进行预处理，使用分词工具将每道试题的文本部分拆解成单词序列后，在头部加上[CLS]标签作为题干语句的开始，在每句话的末尾添加[SEP]标志语句的结束或序列间的间隔；将所述单词序列转化成对应的索引序列，并以最大的试题单词序列长度作为标准，为长度不足的序列后面补[0]以保持输入序列长度的统一；对所述BERT预训练模型的网络结构进行微调，保留原先的前十层encoder网络，在其后添加全连接层与Tanh激活层，只训练最后两层encoder层、池化层，以及新添加的全连接层与Tanh激活层；
将长度统一的单词索引序列作为微调后的BERT预训练模型的输入，完成对试题的文本语义特征的向量表示；
所述试题的图像语义特征向量表示的具体过程包括：
对试题的内容特征中的图像部分进行预处理，统一图像尺寸为128*128；对所述VGG-16预训练模型的架构进行微调，保留原先的十三层卷积核为3*3的卷积层与五层滤波器核为2*2的最大池化层，并在训练过程中冻结其参数，将最后三层全连接层修改为两层全连接层与一层softmax激活层；最后，将试题图像输入进微调后的VGG-16预训练模型。
5.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述对学习状态向量的估算的具体过程包括：
根据学生的试题表现特征，使用试题-响应对(zt，rt)对学生的学习行为加以表征，分别针对答对或答错两种情况，按不同的顺序拼接学生作答试题的异质融合语义特征与学生的试题表现特征，拼接得到的学生行为向量xt的计算公式为：
式中，rt表示学生的试题表现特征；0为与zt维度相同的全零向量；
表示向量拼接的操作；
基于双向的门控循环单元网络构建学生学习状态追踪模型，以所述学生行为向量xt作为输入，所述学生学习状态追踪模型具体表示为：
式中，Zt与Rt分别为更新门与重置门的门值，WZ,WR,WH为权重矩阵，bZ,bR,bH为对应的偏置项，σ(x)和Tanh(x)分别表示激活函数；
表示t时刻门控循环单元网络的候选隐藏状态，Ht表示t时刻学生的学习知识状态向量；
构建一个静态内存矩阵M用来存储K个知识概念i的信息；
将采集的每道题的试题属性特征表示为one-hot向量vt，通过线性层对所述试题属性特征进行嵌入表示，并计算每个知识概念的影响权重：
式中，Wk表示权重矩阵，kt为嵌入表示后的低维向量，
表示t时刻知识权重矩阵中知识概念i的影响权重；
基于注意力机制利用试题内容上的余弦相似度计算T时刻所答的试题与历史作答试题的相似权重βt，公式为：
式中，zT表示T时刻学生作答试题的异质融合语义特征，Hi′是学生蕴含历史作答信息的在自由概念i上的知识状态向量；
联合所述知识状态向量与所述影响权重，获得历史加权学习状态向量sT：
式中，K表示所有知识概念的数量。
6.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述利用训练参数对学生知识掌握矩阵的分析预测的具体过程包括：
(1)联合学生作答下一道试题的异质融合语义特征与学生历史加权的学习状态向量，对学生的试题表现进行预测；
(2)以学生学习序列上的试题表现的负对数似然函数为目标函数：
式中，对于t时刻，
为经过模型预测的试题表现；
(3)使用Adam优化方法最小化所述目标函数，并对模型进行训练；
(4)利用所述知识状态向量，预测学生对于每个知识点的知识掌握程度。
7.根据权利要求1所述小样本条件下的多模态学习水平挖掘方法，其特征在于，所述(1)的具体过程包括：
拼接T+1时刻学生作答试题的异质融合语义特征向量和学生历史加权的学习状态向量，获得将作答试题上的聚合学习向量：
构建线性层与激活层，以下一时刻学生的聚合学习向量为输入，预测学生在对应试题上的表现：
式中，W1,W2为权重矩阵，b1,b2为对应的偏置参数，Relu(x)与σ(x)均为激活函数，yT+1表示下一时刻的表现预测中间变量，
表示下一时刻经过模型预测的学生试题表现；
所述(4)的具体过程为：
构建与学生的知识状态向量相同维度且内容全为0的mask向量，与基于注意力机制的学生知识状态向量进行拼接：
将拼接后的向量按序输入到所述线性层和激活层中，保持原参数不变，输出学生对第i个知识点的知识掌握程度向量：
其中，
表示T时刻的掌握预测中间变量，{W1，W2，W1，W2}与(1)中的参数保持相同，无需训练。
8.一种实施如权利要求1-7任意一项所述小样本条件下的多模态学习水平挖掘方法的小样本条件下的多模态学习水平挖掘系统，其特征在于，所述小样本条件下的多模态学习水平挖掘系统包括：
基于迁移学习的试题融合语义表征模块，用于从学生试题交互序列中采集试题的内容特征、属性特征与学生的试题表现特征，在训练样本有限的条件下，利用迁移学习的策略，对BERT和VGG-16预训练模型结构进行冻结与微调，分别以试题在文本和图像两通道上经过预处理的内容特征作输入，并基于张量的方法对深度学习表示得到的双模态语义特征进行融合，从而获得试题的异质融合语义表征；
智能知识状态动态追踪模型构建模块，用于结合学生的试题表现和试题的融合语义对学生不同作答的学习行为加以表征，并以此为输入，引入双向的门控循环单元网络，构建面向学生的智能知识状态动态追踪模型；
基于注意力机制的学生学习情况预测模块，用于利用余弦相似度计算历史试题对于当前状态构建的影响，并联合历史加权的学习状态向量和试题融合特征对学生的试题表现和对知识概念的掌握情况进行预测。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述小样本条件下的多模态学习水平挖掘方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求8所述小样本条件下的多模态学习水平挖掘系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211578977.2A CN116186250A (zh) | 2022-12-07 | 2022-12-07 | 小样本条件下的多模态学习水平挖掘方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211578977.2A CN116186250A (zh) | 2022-12-07 | 2022-12-07 | 小样本条件下的多模态学习水平挖掘方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116186250A true CN116186250A (zh) | 2023-05-30 |
Family
ID=86431571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211578977.2A Pending CN116186250A (zh) | 2022-12-07 | 2022-12-07 | 小样本条件下的多模态学习水平挖掘方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116186250A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452895A (zh) * | 2023-06-13 | 2023-07-18 | 中国科学技术大学 | 基于多模态对称增强的小样本图像分类方法、装置及介质 |
| CN117556381A (zh) * | 2024-01-04 | 2024-02-13 | 华中师范大学 | 一种面向跨学科主观试题的知识水平深度挖掘方法及系统 |
| CN118154381A (zh) * | 2024-05-09 | 2024-06-07 | 广东汉佳信息技术有限公司 | 基于aigc的图表自动生成方法、装置和电子设备 |
-
2022
- 2022-12-07 CN CN202211578977.2A patent/CN116186250A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452895A (zh) * | 2023-06-13 | 2023-07-18 | 中国科学技术大学 | 基于多模态对称增强的小样本图像分类方法、装置及介质 |
| CN116452895B (zh) * | 2023-06-13 | 2023-10-20 | 中国科学技术大学 | 基于多模态对称增强的小样本图像分类方法、装置及介质 |
| CN117556381A (zh) * | 2024-01-04 | 2024-02-13 | 华中师范大学 | 一种面向跨学科主观试题的知识水平深度挖掘方法及系统 |
| CN117556381B (zh) * | 2024-01-04 | 2024-04-02 | 华中师范大学 | 一种面向跨学科主观试题的知识水平深度挖掘方法及系统 |
| CN118154381A (zh) * | 2024-05-09 | 2024-06-07 | 广东汉佳信息技术有限公司 | 基于aigc的图表自动生成方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241243B (zh) | 面向知识测量的试题、知识、能力张量构建与标注方法 | |
| CN111339255B (zh) | 目标情感分析的方法、模型训练方法、介质和设备 | |
| CN116186250A (zh) | 小样本条件下的多模态学习水平挖掘方法、系统及介质 | |
| CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
| CN116909532B (zh) | 一种代码生成与缺陷修复方法和装置 | |
| CN107590127A (zh) | 一种题库知识点自动标注方法及系统 | |
| CN112883714B (zh) | 基于依赖图卷积和迁移学习的absc任务句法约束方法 | |
| CN109214006A (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN116258056A (zh) | 多模态知识水平评估与学习表现预测方法、系统及介质 | |
| CN112906398B (zh) | 句子语义匹配方法、系统、存储介质和电子设备 | |
| CN114722805B (zh) | 基于大小导师知识蒸馏的少样本情感分类方法 | |
| CN112687374A (zh) | 一种基于文本和图像信息联合计算的心理危机预警方法 | |
| CN117591870A (zh) | 一种基于深度强化学习的情感感知智能教学方法及系统 | |
| CN113486645A (zh) | 一种基于深度学习的文本相似度检测方法 | |
| CN115545155A (zh) | 一种多层级智能认知追踪方法、系统、可存储介质及终端 | |
| CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
| CN113378581B (zh) | 一种基于多元概念注意力模型的知识追踪方法及系统 | |
| Liu | Text complexity analysis of Chinese and foreign academic English writing via mobile devices based on neural network and deep learning | |
| CN117349362A (zh) | 一种动态知识认知层级挖掘方法、系统、设备及终端 | |
| CN114692615B (zh) | 一种针对小语种的小样本意图识别方法 | |
| CN117235347A (zh) | 一种基于大语言模型的青少年算法代码辅助学习系统及方法 | |
| CN116757493A (zh) | 虚拟对象服务评价方法及相关装置 | |
| Wang et al. | [Retracted] Design of Sports Training Simulation System for Children Based on Improved Deep Neural Network | |
| CN114925610A (zh) | 一种学习者知识结构与水平建模方法、系统、设备及终端 | |
| CN115269844B (zh) | 模型的处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |