CN118171231A - 一种融合多维特征的动态图神经认知诊断方法 - Google Patents

一种融合多维特征的动态图神经认知诊断方法 Download PDF

Info

Publication number
CN118171231A
CN118171231A CN202410262273.7A CN202410262273A CN118171231A CN 118171231 A CN118171231 A CN 118171231A CN 202410262273 A CN202410262273 A CN 202410262273A CN 118171231 A CN118171231 A CN 118171231A
Authority
CN
China
Prior art keywords
matrix
knowledge point
test task
knowledge
learner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410262273.7A
Other languages
English (en)
Inventor
朱莎
杨洒
秦威
李嘉源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202410262273.7A priority Critical patent/CN118171231A/zh
Publication of CN118171231A publication Critical patent/CN118171231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种融合多维特征的动态图神经认知诊断方法，所述方法包括：采集在线学习平台的多模态数据，基于多模态数据得到多维特征拼接向量；基于多维特征拼接向量并利用图神经网络将当前知识点的嵌入矩阵、当前知识点的隐藏状态矩阵、相邻知识点的嵌入矩阵、以及相邻知识点的隐藏状态矩阵，得到聚合矩阵；通过遗忘向量对知识点的嵌入矩阵进行遗忘处理，将聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵；基于时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵，得到学习者下一时刻更新后的知识点掌握程度。本发明全面地对学习者的学习效果进行诊断并更新学习者的知识掌握状态，很大程度上提高了诊断结果的准确性。

Description

一种融合多维特征的动态图神经认知诊断方法
技术领域
本发明涉及智能教育技术领域，尤其涉及一种融合多维特征的动态图神经认知诊断方法。
背景技术
认知诊断(Cognitive Diagnose，CD)是一项基础和关键的任务，在教育技术领域，通过利用学习者在在线教育网站上的行为数据分析学习者在不同知识点或技能上的掌握程度，并预测学习者在学习任务上的表现，是解决线上教育个性化试题推荐、学习路径规划等应用的关键技术之一。
目前，主要存在的认知诊断方法包括基于心理测量的认知诊断方法和基于深度学习的认知诊断方法，这些方法可以提高教育领域的教学效果和学习者的学习成果。
基于心理测量的认知诊断方法通常是从特定的认知角度描述学习者的特征、以及练习或测试任务的特征，并使用经验反应函数来获得学习者的测试成绩与知识点掌握程度之间的关系。例如，经验反应模型包括项目反应理论(Item Response Theory，IRT)、多维项目反应理论(Multidimensional IRT，MIRT)以及确定性输入、噪声与门模型(Deterministic Inputs,Noisy-And gate model，DINA)等。虽然这种基于心理测量的认知诊断方法易于理解，便于实施，但主要针对的是学习者在单个时刻的知识点掌握程度，不仅准确性不高，而且无法预测学习者在下一时刻的知识点掌握程度，从而无法得知学习者在哪些知识退步了需要加强，而哪些知识已足够熟练，不需要额外增加训练，导致在实际应用中存在一定的局限性。
基于深度学习的认知诊断方法是通过采集学习资源相关信息和学习者的学习数据，基于深度神经网络对学习者的学习过程和知识点掌握程度进行建模，从而从采集的数据中挖掘隐藏信息，并可以预测学习者下一时刻的知识点掌握程度，从而获取学习者的能力变化。例如，长短期记忆网络(Long-Short Term Memory，LSTM)、神经认知诊断模型(Neural Cognitive Diagnosis Model，NeuralCDM)或动态键值对记忆网络(Dynamic Key-Value Memory Network，DKVMN)等。
基于LSTM或基于NeuralCDM的认知诊断方法是采用注意力机制识别学习者历史测试交互数据对每一时刻知识状态的影响，并使用时间卷积网络提取学习者动态变化的知识点掌握程度。基于DKVMN的认知诊断方法是通过计算试题和知识点之间的相关权重来预测学习者在新试题上的答题表现，以获取学习者的动态知识点掌握程度。这些认知诊断方法虽然可以对学习者的答题过程进行认知诊断和动态预测，然而，这些方法在诊断学习者的知识点掌握程度时，不仅未充分挖掘不同知识点之间的并列、上下位或顺序等空间关系，导致这些方法是静态的，无法适用于学习者长时间学习的动态评估；而且没有利用学习者在某一测试任务中的语义信息、难度和区分度等信息，还忽略了不同情境下单一测试任务对应多个知识点的情况，从而降低了学习者在长时间动态学习过程中对各个知识点掌握程度的诊断和预测的准确率。
发明内容
本发明提供一种融合多维特征的动态图神经认知诊断方法用以解决目前认知诊断方法准确率低的问题。
本发明提供了一种融合多维特征的动态图神经认知诊断方法所述方法包括：
采集在线学习平台的多模态数据，基于所述多模态数据得到多维特征拼接向量；
基于所述多维特征拼接向量并利用图神经网络将将当前知识点的嵌入矩阵、当前知识点的隐藏状态矩阵、相邻知识点的嵌入矩阵、以及相邻知识点的隐藏状态矩阵进行聚合，得到聚合矩阵；
通过遗忘向量对知识点的嵌入矩阵进行遗忘处理，将所述聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵；
基于所述时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵，得到学习者在下一时刻更新后的知识点掌握程度。
进一步的，基于所述多模态数据得到多维特征拼接向量包括：
基于所述多模态数据提取第一类数据和第二类数据；
将所述第一类数据进行分解，并融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征；
基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量。
进一步的，
第一类数据包括：学习者集、测试任务集、知识点集和学习者回答测试任务的记录数据集；
第二类数据包括：测试任务难度数据、学习者的得分值、学习者距离上一时刻学习相同知识点的时间间隔、学习者距离上一时刻学习的时间间隔以及学习者重复学习知识点的次数。
进一步的，所述方法还包括：基于所述知识点掌握程度、知识点关系、测试任务难度数据、测试任务区分度数据和测试任务语义特征，利用项目反应理论模型或神经认知诊断模型预测学习者在下一时刻正确完成测试任务的概率。
进一步的，所述测试任务语义特征的得到包括：
使用d维可训练矩阵和分别对测试任务和知识点进行初始化；
分别从共现视角、答案一致性视角对学习者、测试任务、知识点之间的交互信息进行分解，得到关系矩阵；
在损失函数的约束下，基于节点级注意力聚合和语义级注意力聚合将所述关系矩阵输入到测试任务嵌入中，以融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征。
进一步的，基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量的方法包括：
基于所述第二类数据得到测试任务难度矩阵和学习者完成测试任务情况的测试任务表征矩阵；
将所述测试任务语义特征和所述测试任务难度矩阵进行组合，得到任务特征向量；
根据测试任务与知识点的关系将测试任务分解成多个知识点向量；
将所述任务特征向量、所述测试任务表征矩阵和多个知识点向量进行拼接，得到当前时刻每个知识点的多维特征拼接向量。
进一步的，所述聚合包括：
将当前知识点的隐藏状态矩阵和第一嵌入矩阵进行聚合，得到当前知识点的第一矩阵；
将相邻知识点的隐藏状态矩阵和第二嵌入矩阵进行聚合，得到相邻知识点的第二矩阵；
基于所述第一矩阵和所述第二矩阵，计算得到所述聚合矩阵。
进一步的，
所述聚合矩阵的计算方式为：
其中，所述表示知识点k的隐藏状态矩阵；xt表示所述多维特征拼接向量；wx∈RN*e，表示知识点的索引和每个测试任务完成情况的第一嵌入矩阵；wc∈RN*e表示知识点的第二嵌入矩阵，wc(v)表示第二嵌入矩阵wc的第v行，e是嵌入值。
进一步的，将所述聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵，包括：
其中，fneighbor表示定义信息向相邻节点传播的函数；和均为多层感知机，[]为拼接操作；Ai,k表示知识点i到知识点k之间的关系；Ak,i表示知识点k到知识点i之间的关系；表示知识点i的遗忘向量；W1∈Re*4e、W2∈Re*4e、W3∈Re*5e、W4∈Re*2e，均表示权重矩阵；b1∈Re、b2∈Re、b3∈Re、b4∈Re，均表示偏移量；表示知识点i的时序特征嵌入矩阵；表示时刻t的知识点i的聚合矩阵；表示知识点k的聚合矩阵；表示时刻t-1的知识点i的聚合矩阵。
进一步的，基于所述时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵为：
其中，表示更新后的隐藏状态矩阵；fself表示定义信息向自身节点传播的函数；为多层感知机，表示权重矩阵；b5∈Re，表示偏移量；fneighbor表示定义信息向相邻节点传播的函数；表示知识点i的时序特征嵌入矩阵。
总体而言，本发明提供一种融合多维特征的动态图神经认知诊断方法通过本发明所构思的技术方案，与现有技术相比能够取得下列有益效果：
第一方面，综合利用大数据技术、深度学习以及自然语言处理技术，从时间与空间维度上进行语义增强的多维交互特征学习，并结合图神经网络与遗忘记忆门结构的优势，动态更新学习者的知识点掌握状态，以此来获取学习者的知识点掌握情况并预测学习者的未来表现；此外，利用图神经网络分析学习者在不同知识点上的表现，较好的兼容了多维交互数据，且图神经网络处理图结构，在节点分类、边信息传播和图聚类等任务上均取得了显著效果；在很大提高了对知识点掌握程度的预测精度，实现了对学习成效低的学习者进行学习建议与资源的个性化推荐以及对未来表现不好的进行针对性教学。
第二方面，通过采集、处理学习者与学习平台交互的全过程数据，不仅考虑了知识点之间的空间关系和单一知识点对应多个测试任务的特征，还融合测试任务的情境语义特征、难度、区分度、完成用时、时空特征与遗忘因素等各种行为特征，在很大程度上提高了对学习者学习成效诊断重要性，改善了传统评价方法在在内容和工具上不足，以及当前智能化诊断的不足，加强了对学习者的知识掌握状态的伴随性、自动化、智能化程度，促进了掌握状态结果的及时反馈与应用，具有重要的教育实践意义和应用前景。
第三方面，利用项目反应理论模型或神经认知诊断模型预测学习者在下一时刻正确完成测试任务的概率，从而预测学习者的未来表现，为教师和学习者提供全面、个性化的学习诊断和辅导服务，不仅提高了教学效率，也促进了学习者的个性化学习与成长，在融合学习者纵向多维特征的动态诊断与和预测领域中具有巨大的潜力和用途。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种融合多维特征的动态图神经认知诊断方法的方法原理示意图；
图2是本发明提供的一种融合多维特征的动态图神经认知诊断方法的测试任务语义特征示意图；
图3是本发明提供的一种融合多维特征的动态图神经认知诊断方法的图神经网络原理示意图；
图4是本发明提供的一种融合多维特征的动态图神经认知诊断方法的记忆门结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图以及实施例，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法、步骤或系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种方法、步骤或系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的方法、步骤或系统还存在另外的相同要素。
本发明提出了基于图神经网络(Graph Neural Network，GNN)的认知诊断模型。需要说明的是，GNN对于多维交互数据有较强的兼容性，尤其擅长处理图结构数据。
如图1所示，为本发明提供了一种融合多维特征的动态图神经认知诊断方法的方法示意图。所述方法包括：
S101：采集在线学习平台的多模态数据，基于多模态数据得到多维特征拼接向量。
需要说明的是，多模态数据是在在线学习平台上实时获取的学习者完成测试任务(也即是测试题或题目)时所产生的有效数据。例如，包括测试题、学习者的答题正确率、答题时间等多维数据。
作为本发明的一个实施例，利用API接口从在线学习平台的数据库中实时采集并进行数据预处理后，得到多模态数据。
优选的，数据预处理包括去除无效数据、数据标准化等。
作为本发明的一个实施例，基于多模态数据得到多维特征拼接向量包括：
S201：基于多模态数据提取第一类数据和第二类数据。
优选的，第一类数据包括：学习者集、测试任务集、知识点集和学习者回答测试任务的记录数据集。
优选的，第二类数据包括：测试任务难度数据、学习者的得分值、学习者距离上一时刻学习相同知识点的时间间隔、学习者距离上一时刻学习的时间间隔以及学习者重复学习知识点的次数。
需要说明的是，采用BERT模型(BidirectionalEncoder Representations fromTransformer，预训练的语言表征模型)、IRT模型、统计分析等方法从多模态数据中提取第二类数据。这些数据反映了学习者在不同方面的表现，为后续的知识点掌握情况的诊断提供了丰富的信息。
采用BERT模型将学习者的测试任务作答文本数据与答案要点进行匹配，计算两者间相似度，得到学习者的得分值。其中，得分值包括客观任务得分值和主观任务得分值，客观任务包括选择题、判断题、连线题等；主观任务包括简答题、应用题等。
采用IRT模型分析学习者的客观任务得分值和主观任务得分值，计算测试任务和学习者的得分值之间的分布函数，得到测试任务难度数据。
更具体的，根据多模态数据构建任务-知识图结构，得到学习者、测试任务、知识点之间的关系。也即是基于测试任务-知识点-素养、测试任务学习者任务作答结果间的关系构建任务-知识图结构和可训练矩阵Q。
采用统计分析方法，基于t-1(任务开始)和t(任务结束)时刻的时间戳、重复完成任务的次数(包括学习者查看帮助的次数、学习者查看视频的次数)，计算得到学习者距离上一时刻学习相同知识点的时间间隔、学习者距离上一时刻学习的时间间隔以及学习者重复学习知识点的次数。
S202：将第一类数据进行分解，并融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征；
具体而言，通过分析学习者集、测试任务集、知识点集以及学习者回答测试任务的记录数据集，分解交互中的底层关系信息，并在损失函数的约束下，融合不同分解语义视角下的测试任务信息和知识点信息，以得到测试任务语义特征。
优选的，如图2所示，测试任务语义特征的得到包括：
S301：使用d维可训练矩阵和分别对测试任务和知识点进行初始化。
优选的，将独热表示向量xi的转置与可训练矩阵Q相乘，进行测试任务的初始化，得到初始测试任务qi；知识点ck的初始化嵌入为可训练矩阵C的第k行的转置。
具体而言，输入层的建模为：其中，qi,ck∈Rd,xi∈{0,1}M,xk∈{0,1}K。
S302：分别从共现视角、答案一致性视角对学习者、测试任务、知识点之间的交互信息进行分解，得到关系矩阵。
共现视角主要是对测试任务和知识点之间的交互进行分解，用于寻找测试任务和知识点的同质邻居。
测试任务事务矩阵可表示为且该矩阵的每一行都可以视为一个测试任务事务。因此，共现视角下的测试任务的关系矩阵表示为其中，关系强度则表示qi和qj之间的关系。
需要说明的是，任意两个测试任务之间的关系强度可以计算为：其中，表示矩阵Tq的第i和第j列，‖‖1表示向量的1-范数，K表示知识点个数。
在获得目标测试任务的齐次邻域qi之后，共现视角下的归一化测试任务关系矩阵定义为具体为： 其中，λq表示用来控制的超参数。
答案一致性视角主要用于挖掘学习者-测试任务之间的交互关系和学习者-知识点之间的交互关系中的关系信息。
作为本发明的一个实施例，提取学习者对测试任务的交互序列(qi,qj)，计算得到变量交互关系中的关系强度，从而得到答案一致性视角下的归一化测试任务关系矩阵。
优选的，变量交互关系中的关系强度的计算为： 其中，p(ai＝m,aj＝n)表示联合概率分布，αi和αj分别表示答案的第i和j列；m和n分别表示学生答案的不同取值。
答案一致性视角下的归一化测试任务关系矩阵的计算方式为：
S303：在损失函数的约束下，基于节点级注意力聚合和语义级注意力聚合将关系矩阵输入到测试任务嵌入中，以融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征。
也即是通过节点级注意力聚合、语义级注意力聚合这两个方面将上述关系信息共同输入到测试任务嵌入。
节点级注意力聚合用于学习目标测试任务qi的节点对(i,j)的权重。作为本发明的一个实施例，对于目标测试任务节点i，同质节点对(i,j)的权重可计算为：
其中，表示答案一致性和共现视角两种视角下同质节点对(i,j)的权重；表示从注意力机制得到的同质节点对(i,j)权重；表示从先验计算得到的同质节点对(i,j)分数；γ表示用于控制两个权重平衡的超参数；表示针对特定视角ψ的节点级注意力向量；表示衡量了在视角ψ下，节点i和节点j之间的相关性或者重要性；qj和qj’分别表示节点j和节点j’的嵌入向量。
优选的，通过考虑节点特征和统计信息来确定节点对之间的权重，从而在聚合层中有效地整合同质邻居和异质邻居的信息，以提高问题和概念嵌入的质量和全面性。
作为本发明的一个实施例，特定角度ψ，测试任务qi的节点级嵌入通过同质邻居的映射特征和相应的注意力权重进行聚合。
作为一个优选实施例，节点级嵌入聚合公式为： 其中，σ()表示sigmoid激活函数；表示表示与目标学习任务qi相关的邻域。
优选的，将节点特征注入到节点级注意力中，聚合出两组具体测试任务节点嵌入和知识点节点嵌入从而有效地整合特定问题节点和概念节点的信息，从而提高问题节点和概念节点的嵌入质量和全面性。
语义级的注意力聚合用于计算目标测试任务节点i的两个语义视角的权重，学习更加全面的节点嵌入。
具体而言，先通过非线性变换来转换特定语义的嵌入，然后将节点i的每种邻居的所有贡献取平均值。
作为本发明的一个实施例，每个语义对节点i的归一化重要性为：
其中，表示节点i在给定上下文φ下的特征向量；表示节点i在另一个上下文φ’下的特征向量；ρT表示向量ρ的转置；W表示一个可学习的权重矩阵，用于学习节点表示的线性变换；表示节点i的查询向量；b表示偏置项，用于引入偏移量；
作为本发明的一个实施例，对于目标测试任务节点i，通过融合嵌入得到更新的测试任务嵌入
具体的，其中， 分别表示不同视角下的可学习的权重系数，加权不同上下文类型下的查询向量；分别表示节点i在不同视角下的查询向量；表示与节点i在直接上下文中相关的节点集合；ck表示知识点。
对于某个知识点，同样利用上述方法得到更新的知识点嵌入此处不再一一赘述。
为了提升特征学习的质量，本发明利用特征约束和结构约束进行约束。
在特征约束部分，测试任务的特征包括测试任务的文本特征、测试任务类型等。优选的，测试任务qi的特征向量表示为： 其中，Wf表示一个权重矩阵，bf表示偏置向量，F表示特征数，表示qi的特征向量。
此外，优选的，对于测试任务qi，将与其相关的知识点集合定义为例如，并使用中所有知识点嵌入的平均表示作为的qi嵌入。
具体的，用公式表示为：
作为本发明的一个实施例，使用具有三层的多层感知器(MLP，MultilayerPerceptron)将合并到最后的特征并利用非线性层将进行映射，得到其中和bd是可训练参数。
优选的，特征约束的损失函数为：
在结构约束部分，使用嵌入空间中估计测试任务和知识点顶点之间的局部接近性来建模问题和概念之间的显式关系，测试任务qi和知识点ck之间的局部接近度的建模为：
为确保在嵌入空间中的测试任务和知识点之间的局部接近性与它们在知识图谱中的关系保持一致，作为本发明的一个优选实施例，结构约束的损失函数公式为：
优选的，损失函数(联合优化函数)包括：将特征约束部分的损失函数和结构约束部分的损失函数进行结合。
具体的，损失函数为minL＝min(Lf+Ls)。需要说明的是，当函数优化收敛时，即可得到最优的测试任务语义特征qtext。
S203：基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量。
作为本发明的一个实施例，如图3所示，基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量的方法包括：
基于第二类数据得到测试任务难度矩阵qdifficulty和学习者完成测试任务情况的测试任务表征矩阵at；其中，测试任务表征矩阵at用0～1的小数表示。
将测试任务语义特征qtext和测试任务难度矩阵进行组合qdifficulty，得到任务特征向量
根据测试任务与知识点的关系将测试任务分解成多个知识点向量；也即是，按照任务-知识图结构中的测试任务与知识点之间的关系，将一个测试任务分解成几个知识点向量(i,j,k)；
将任务特征向量测试任务表征矩阵at和多个知识点向量(i,j,k)进行拼接，得到当前时刻每个知识点的多维特征拼接向量。
优选的，多维特征拼接向量的得到公式为：
其中，ω1和b1是学习参数，qrs是测试任务r中第s个知识点进行特征增强之后的表示，向量O＝(O,O,...,O)的维度与qrs一致。
S102：基于多维特征拼接向量并利用图神经网络将将当前知识点的嵌入矩阵、当前知识点的隐藏状态矩阵、相邻知识点的嵌入矩阵、以及相邻知识点的隐藏状态矩阵进行聚合，得到聚合矩阵。
作为本发明的一个实施例，聚合包括：
将当前知识点的隐藏状态矩阵和第一嵌入矩阵进行聚合，得到当前知识点的第一矩阵；
将相邻知识点的隐藏状态矩阵和第二嵌入矩阵进行聚合，得到相邻知识点的第二矩阵；
基于第一矩阵和第二矩阵，计算得到聚合矩阵。
需要说明的是，每个知识点都用一个长度为dh的向量表示其知识状态，N个知识点就有N个向量，组成一个N×dh的矩阵，以表示每个学习者的知识状态H；其中，矩阵内元素值的范围为0～1，越接近1表示掌握程度越高。
优选的，聚合矩阵的计算方式为：
其中，表示知识点k的隐藏状态矩阵；Xt表示多维特征拼接向量；Wx∈RN*e，表示知识点的索引和每个测试任务完成情况的第一嵌入矩阵；Wc∈RN*e表示知识点的第二嵌入矩阵，Wc(V)表示第二嵌入矩阵wc的第v行，e是嵌入值。
S103：通过遗忘向量对知识点的嵌入矩阵进行遗忘处理，将聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵。
优选的，在知识点k向知识点i传递消息时，通过遗忘向量对知识点i的知识点嵌入矩阵进行遗忘处理，将聚合矩阵输入记忆门结构模型中。
作为本发明的一个实施例，如图4所示，将聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵，包括：
其中，fneighbor表示定义信息向相邻节点传播的函数；和均为多层感知机，[]为拼接操作；Ai,k表示知识点i到知识点k之间的关系；Ak,i表示知识点k到知识点i之间的关系；表示知识点i的遗忘向量；W1∈Re*4e、W2∈Re*4e、W3∈Re*5e、W4∈Re*2e，均表示权重矩阵；b1∈Re、b2∈Re、b3∈Re、b4∈Re，均表示偏移量；表示知识点i的时序特征嵌入矩阵；表示时刻t的知识点i的聚合矩阵；表示知识点k的聚合矩阵；表示时刻t-1的知识点i的聚合矩阵。
需要说明的是，其中，Pt(i)＝[CRt(i),FAt(i)]为t时刻学习者对已有知识的掌握程度，CRt(i)为t时刻学习者查看帮助次数，FAt(i)是学习者查看视频的次数；RTt(i)为t时刻学习者距离上次学习相同知识点的时间间隔；LTt(i)为t时刻学习者重复学习知识点的次数；STt(i)代表学习者t时刻距离上次学习的时间间隔；OMt-1(i)代表t-1时刻学习者的知识点原始掌握程度。
S104：基于时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵，得到学习者在下一时刻更新后的知识点掌握程度。
作为本发明的一个实施例，基于时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵为：
其中，表示更新后的隐藏状态矩阵；fself表示定义信息向自身节点传播的函数；为多层感知机，表示权重矩阵；b5∈Re，表示偏移量；fneighbor表示定义信息向相邻节点传播的函数；表示知识点i的时序特征嵌入矩阵。
作为本发明的一个实施例，下一时刻t+1更新后的知识点掌握程度为：其中，Whθ权重矩阵(可学习参数)；表示更新后的知识点i的隐藏状态矩阵；bhθ表示偏移量(可学习参数)。
作为本发明的一个实施例，所述方法还包括：
S105：基于知识点掌握程度、知识点关系、测试任务难度数据、测试任务区分度数据和测试任务语义特征，利用项目反应理论模型或神经认知诊断模型预测学习者在下一时刻正确完成测试任务的概率。
作为一个实施例，将知识点掌握程度、知识点关系、测试任务难度数据、测试任务区分度数据和测试任务语义特征输入项目反应理论模型中，具体包括：其中，和分别是t+1时刻的测试任务区分度与测试任务难度。
作为另一个实施例，将知识点掌握程度、知识点关系、测试任务难度数据、测试任务区分度数据和测试任务语义特征输入神经认知诊断模型中，具体包括：
其中，是Q矩阵的第m行，也是输入变量，而是激活函数tanh。表示学生n对知识点的掌握程度，并根据学生任务响应向量进行估计。
需要说明的是，在训练阶段，模型参数是通过最小化预测的t+1时刻学生正确完成任务的概率和真实的t+1时刻学生正确完成任务的概率的标准交叉熵损失来学习的。
优选的，标准交叉熵损失为： 其中，是学生真实的知识掌握概率，是通过测试任务qt的正确完成情况的表征向量αt计算而来的。
总之，本发明通过环节的设计与实现，能够充分利用多维交互特征提取与融合技术，结合基于知识点图结构的诊断方法，为教师和学习者提供全面、个性化的学习诊断和辅导服务。这种技术方案不仅提高了教学效率，也促进了学习者的个性化学习与成长。
需要说明的是，对于前述的各个实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法或系统，可通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各个电路中的全部或部分可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合多维特征的动态图神经认知诊断方法其特征在于，所述方法包括：
采集在线学习平台的多模态数据，基于所述多模态数据得到多维特征拼接向量；
基于所述多维特征拼接向量并利用图神经网络将当前知识点的嵌入矩阵、当前知识点的隐藏状态矩阵、相邻知识点的嵌入矩阵、以及相邻知识点的隐藏状态矩阵，得到聚合矩阵；
通过遗忘向量对知识点的嵌入矩阵进行遗忘处理，将所述聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵；
基于所述时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵，得到学习者下一时刻更新后的知识点掌握程度。
2.如权利要求1所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，基于所述多模态数据得到多维特征拼接向量包括：
基于所述多模态数据提取第一类数据和第二类数据；
将所述第一类数据进行分解，并融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征；
基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量。
3.如权利要求2所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，
第一类数据包括：学习者集、测试任务集、知识点集和学习者回答测试任务的记录数据集；
第二类数据包括：测试任务难度数据、学习者的得分值、学习者距离上一时刻学习相同知识点的时间间隔、学习者距离上一时刻学习的时间间隔以及学习者重复学习知识点的次数。
4.如权利要求1所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，所述方法还包括：基于所述知识点掌握程度、知识点关系、测试任务难度数据、测试任务区分度数据和测试任务语义特征，利用项目反应理论模型或神经认知诊断模型预测学习者在下一时刻正确完成测试任务的概率。
5.如权利要求2所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，所述测试任务语义特征的得到包括：
使用d维可训练矩阵和分别对测试任务和知识点进行初始化；
分别从共现视角、答案一致性视角对学习者、测试任务、知识点之间的交互信息进行分解，得到关系矩阵；
在损失函数的约束下，基于节点级注意力聚合和语义级注意力聚合将所述关系矩阵输入到测试任务嵌入中，以融合不同分解语义视角下的测试任务信息和知识点信息，得到测试任务语义特征。
6.如权利要求2所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，基于第一类数据、第二类数据和测试任务语义特征，得到多维特征拼接向量的方法包括：
基于所述第二类数据得到测试任务难度矩阵和学习者完成测试任务情况的测试任务表征矩阵；
将所述测试任务语义特征和所述测试任务难度矩阵进行组合，得到任务特征向量；
根据测试任务与知识点的关系将测试任务分解成多个知识点向量；
将所述任务特征向量、所述测试任务表征矩阵和多个知识点向量进行拼接，得到当前时刻每个知识点的多维特征拼接向量。
7.如权利要求1所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，所述聚合包括：
将当前知识点的隐藏状态矩阵和第一嵌入矩阵进行聚合，得到当前知识点的第一矩阵；
将相邻知识点的隐藏状态矩阵和第二嵌入矩阵进行聚合，得到相邻知识点的第二矩阵；
基于所述第一矩阵和所述第二矩阵，计算得到所述聚合矩阵。
8.如权利要求7所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，
所述聚合矩阵的计算方式为：
其中，所述表示知识点k的隐藏状态矩阵；xt表示所述多维特征拼接向量；wx∈RN*e，表示知识点的索引和每个测试任务完成情况的第一嵌入矩阵；wc∈RN*e表示知识点的第二嵌入矩阵，wc(v)表示第二嵌入矩阵wc的第v行，e是嵌入值。
9.如权利要求1所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，将所述聚合矩阵输入记忆门结构模型中，捕获知识点的时序特征嵌入矩阵，包括：
其中，fneighbor表示定义信息向相邻节点传播的函数；和均为多层感知机，[]为拼接操作；Ai,k表示知识点i到知识点k之间的关系；Ak,i表示知识点k到知识点i之间的关系；表示知识点i的遗忘向量；W1∈Re*4e、W2∈Re*4e、W3∈Re*5e、W4∈Re*2e，均表示权重矩阵；b1∈Re、b2∈Re、b3∈Re、b4∈Re，均表示偏移量；表示知识点i的时序特征嵌入矩阵；表示时刻t的知识点i的聚合矩阵；表示知识点k的聚合矩阵；表示时刻t-1的知识点i的聚合矩阵。
10.如权利要求1所述的一种融合多维特征的动态图神经认知诊断方法其特征在于，基于所述时序特征嵌入矩阵并利用图神经网络不断更新知识点的隐藏状态矩阵为：
其中，表示更新后的隐藏状态矩阵；fself表示定义信息向自身节点传播的函数；为多层感知机，+b5；W5∈Re *2e，表示权重矩阵；b5∈Re，表示偏移量；fneighbor表示定义信息向相邻节点传播的函数；表示知识点i的时序特征嵌入矩阵。
CN202410262273.7A 2024-03-07 2024-03-07 一种融合多维特征的动态图神经认知诊断方法 Pending CN118171231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410262273.7A CN118171231A (zh) 2024-03-07 2024-03-07 一种融合多维特征的动态图神经认知诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410262273.7A CN118171231A (zh) 2024-03-07 2024-03-07 一种融合多维特征的动态图神经认知诊断方法

Publications (1)

Publication Number Publication Date
CN118171231A true CN118171231A (zh) 2024-06-11

Family

ID=91355540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410262273.7A Pending CN118171231A (zh) 2024-03-07 2024-03-07 一种融合多维特征的动态图神经认知诊断方法

Country Status (1)

Country Link
CN (1) CN118171231A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118395246A (zh) * 2024-07-01 2024-07-26 北京华品博睿网络技术有限公司 一种智能诊断系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118395246A (zh) * 2024-07-01 2024-07-26 北京华品博睿网络技术有限公司 一种智能诊断系统及方法

Similar Documents

Publication Publication Date Title
CN104882040B (zh) 应用于汉语言教学的智能系统
US20210390873A1 (en) Deep knowledge tracing with transformers
Al-Hmouz et al. Modeling and simulation of an adaptive neuro-fuzzy inference system (ANFIS) for mobile learning
CN108376132A (zh) 相似试题的判定方法及系统
CN112508334A (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN114254208A (zh) 薄弱知识点的识别方法、学习路径的规划方法与装置
CN118171231A (zh) 一种融合多维特征的动态图神经认知诊断方法
CN114021722A (zh) 一种融合认知刻画的注意力知识追踪方法
CN114254127A (zh) 学生能力画像方法、学习资源推荐方法及装置
CN113283488A (zh) 一种基于学习行为的认知诊断方法及系统
CN115455186A (zh) 一种基于多模型的学情分析方法
CN114580388A (zh) 数据处理方法、对象预测方法、相关设备及存储介质
CN116385937A (zh) 一种基于多粒度的跨模态交互框架解决视频问答的方法及系统
Song et al. A deep cross-modal neural cognitive diagnosis framework for modeling student performance
CN115238036A (zh) 一种基于图注意力网络和文本信息的认知诊断方法及装置
He et al. Analysis of concentration in English education learning based on CNN model
CN114037571A (zh) 试题扩充方法及相关装置、电子设备和存储介质
Fen Efficiency improvement of English online teaching system based on bagging learning flow feature selection
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及系统
WO2024098282A1 (zh) 一种几何解题方法、装置、设备及存储介质
Zhou Research on teaching resource recommendation algorithm based on deep learning and cognitive diagnosis
CN115984053A (zh) 试题推荐方法、装置、电子设备和存储介质
CN112785039B (zh) 一种试题作答得分率的预测方法及相关装置
CN113010712B (zh) 一种基于多图融合的视觉问答方法
CN114117033A (zh) 知识追踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination