CN116257659A - 一种智能导学系统的动态图嵌入方法及系统 - Google Patents
一种智能导学系统的动态图嵌入方法及系统 Download PDFInfo
- Publication number
- CN116257659A CN116257659A CN202310342163.7A CN202310342163A CN116257659A CN 116257659 A CN116257659 A CN 116257659A CN 202310342163 A CN202310342163 A CN 202310342163A CN 116257659 A CN116257659 A CN 116257659A
- Authority
- CN
- China
- Prior art keywords
- nodes
- matrix
- dynamic
- embedding
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000010586 diagram Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 102
- 230000003068 static effect Effects 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Algebra (AREA)
- Educational Technology (AREA)
- Computing Systems (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及智能导学技术领域,尤其涉及一种智能导学系统的动态图嵌入方法及系统,包括:对动态节点进行时序拓展,生成动态节点的时序序列;基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;通过变换矩阵对第一嵌入矩阵进行池化处理,输出第二嵌入矩阵;对第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;基于最终嵌入矩阵中的节点,构建目标函数,通过目标函数预测学习者完成练习的结果。本发明在保证模型预测准确度的基础上,降低了模型的计算规模,通过随机时序池化有效地模拟实际情况中学习者的持续变化,可以随着时间的推移使学习者的表现更加稳定。
Description
技术领域
本发明涉及智能导学技术领域,尤其涉及一种智能导学系统的动态图嵌入方法及系统。
背景技术
近年来,随着人工智能与在线教育的不断融合,推动智能导学系统(ITS)快速发展。ITS扮演着虚拟导师的角色为学习者设计个性化的学习路径。每天都有大量的学习行为数据从ITS中产生,基于这些数据,开发者建立许多智能学习服务,包括认知诊断、知识追踪,以及资源推荐服务,以帮助学习者提高学习效率。
对教育数据的图建模可以在很大程度上提升教育服务的性能。图作为一个常见的数据结构,被广泛的应用与许多真实的场景,例如生物蛋白质网络、信息网络、知识图谱等。基于图视角对实时问题进行建模,然后利用图形嵌入(GE)来学习图中节点的表示向量,以反馈给下游的机器学习任务,从而提高最终的效率和性能。
现有技术中,这种由ITS数据构建的图模型称为智能导学图(ITG)。值得注意的是,ITG是一个异质图,因为它包含各种实体,如资源、练习、学习者、班级和知识概念,以及它们之间的各种关系。因此,通过一般使用适用于异质图的相关方法来处理ITG。
然而,随着学习的进行,学习者的知识状态也在不断变化,并影响着他们的交互决策,即ITG是动态的,由此不能使用传统的动态图嵌入(DGE)方法来建模。现有技术通常将动态图建模为静态快照图的序列或邻域形成的序列,在时序上进行随机游走进行取样,这些方法只是简单地捕捉了整个快照图序列中静态结构的顺序演变,而ITG的演化与这些过程不同,因为它具有局部性、独立性和平滑性的特点。
其中,局部性为:一个ITG不仅包含动态节点,如学习者等动态节点,还包括许多静态节点,这些节点不会随着时间的推移而改变;为了应对不断变化的动态知识状态,需要考虑如何协调静态节点的不变性和动态节点的局部演化,而这一点在传统的动态图嵌入方法中并没有体现。独立性为:ITG中节点的演化过程是相互独立的;也就是说,每个演化的学习者都有一个独特的时间线,描述了从开始到完成的整个学习过程。平滑性为:ITG中每个学习者的演化是稳定和平滑的,而不是急剧变化的,这与学习者对知识的渐进式的认知是一致的;而用于传统动态图建模的对象可能是各种类型的节点,这些节点不会导致随时间的平滑变化。
综合上述问题,传统的动态图嵌入方法无法适应动态异质图的局部性、独立性和平滑性的特点,现有方法均无法对教育场景下的ITG进行建模。
发明内容
本发明提供一种智能导学系统的动态图嵌入方法及系统,用以解决上述现有技术的缺陷。
本发明提供一种智能导学系统的动态图数据嵌入方法,包括:
对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,包括:
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵,包括:
当s1的大小被确定,所有区间的总数为:
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,输出第二嵌入矩阵包括:
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,对所述第二嵌入矩阵中的每个节点,分别计算节点级注意力特征和关系级注意力特征,获取所有节点的汇聚特征生成最终嵌入矩阵,包括:
ρ是带泄漏的线性整流单元,符号||表示向量之间的连接,ar,l为属于模型参数的注意向量;
Hl=AlHl-1;
将所有层的聚合特征串联起来,导出获取最终嵌入矩阵Z:
Z=[H0,H1,…,HL];
其中,H0=D,zi为Z的第i行。
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果,包括:
Pn(v)是噪声分布,Me是负例采样率;
进行边的权重回归,通过三元组oij=<vi,vj,yij>来描述节点与预测结果的关系:
vi表示学习者,vj表示练习,yij表示预测结果,若yij=1表示学习者回答正确,若yij=0表示学习者回答错误;
其中,pij为学习者正确完成练习的概率。
根据本发明提供的一种智能导学系统的动态图数据嵌入方法,基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果,计算预测概率pij,包括:
pij=sigmoid(W2·σ(W1·[zi||zj]+b1)+b2);
其中,W1、W2、b1、b2均为模型的参数,σ是非线性激活函数,获取最终目标函数为:
其中,λ为平衡系数。
另一方面,本发明还提供一种智能导学系统的动态图嵌入系统,包括:
时序拓展模块,用于对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
所述时序拓展模块还用于对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
随机时序池化模块,用于将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
异质汇聚网络模块,用于对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
损失计算模块,用于基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述智能导学系统的动态图嵌入方法的步骤。
本发明提供的一种智能导学系统的动态图嵌入方法及系统,至少具有如下的技术效果:
(1)通过本发明提出的嵌入方法所得到的表示向量在进行试题的自动知识点标注的任务在召回率与准确率上远优于其他方法,基于对节点的时序拓展能更好的适应学习者随时间的动态演化,可以随着时间平滑变化,更有效地获取各个节点之间的动态联系。
(2)在学习者表现预测的任务上,通过本发明所提出的方法可以得到预测能力更强的表示,时序拓展,可以通过时序拓展有效地改进每个阶段学习者的表现;通过异质汇聚网络考虑了不同节点之间的联系,考虑了这些联系对节点的影响。
(3)在保证模型预测准确度的基础上,很大程度的降低模型的计算规模,通过随机时序池化可以有效地模拟实际情况中学习者的持续变化,可以随着时间的推移使学习者的表现更加稳定。并且有效减少了节点数量,节约了时间和内存开销,能为用户提供更好的体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的智能导学系统的动态图嵌入方法的流程示意图之一;
图2是本发明提供的智能导学系统的动态图嵌入方法的流程示意图之二。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本领域技术人员应知晓,当前针对图数据的嵌入方法,根据图的类型可以大致分为三类,传统图嵌入、异质图嵌入、动态图嵌入。
传统图嵌入的方法中最直观的是矩阵分解。矩阵分解通过使用邻接矩阵以明确的方式将图转化为一个矢量空间。它能够推导出一个确定性的解决方案,但它很难应用于大规模的图形,因为其复杂性与节点数的三次方成正比。基于随机游走的方法在某些情况下取得了良好的性能,路径是根据一定的准则在给定的图上进行抽样的,如Deepwalk和Node2vec;随着深度学习和图模型的进一步融合,图神经网络(GNN)已经逐渐成为图嵌入的一些重要手段,它可以通过聚合邻居的信息来生成更高层次的特征,如图卷积网络(GCN)、图注意网络(GAT)和GraphSAGE;
异质图也称为异构信息网络(HIN),HIN包含许多类型的节点,由于不同的维度或不同的表示等问题,这些节点的特征可能不匹配。因此,同质图的GE方法不能在HIN中广泛使用。为了解决这个问题,研究人员提出利用MP2vec的一种基于元路径的方法。
由于动态图的顺序特性,DGE着重于保留网络中的结构和时间语义信息,为动态数据分析提供了一个新的视角,使图嵌入在现实世界中更加实用。早期的方法通常依赖于递归神经网络(RNN)来嵌入,忽视了结构属性。基于因子化的方法可以寻找随时间变化的相似性措施的低秩分解来生成随时间变化的节点嵌入;基于GNN的方法通过采用RNN来捕捉图序列的动态变化来优化GCN参数。
上述现有技术的这些方法均无法对教育场景下的智能导学图(ITG)建模,因为教育场景下的ITG具备局部性、独立性和平滑性,传统的异质方法与动态方法无法有效的学习出ITG中学习者的动态演进过程。
在一个实施例中,如图1所示,本发明提供了一种智能导学系统的动态图嵌入方法,包括步骤:
对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
本发明所提供的一种智能导学系统的动态图嵌入方法本质上为一种时序拓展图神经网络,主要包括时序拓展,随机时序池化、异质聚合三大步骤;
在一个实施例中,对原图数据节后进行时序拓展,从而对原图数据结构的节点和边进行扩充,包括:
为每个动态边创建扩展节点,表示演化中的过渡状态,动态边的连接需要从动态节点更改为其扩展节点,需要构建扩展边以将相邻扩展节点彼此连接,从而表明节点和边随时间演化过程的连续性,即满足以下条件:
由于经过时序拓展后创建了大量的新节点,每个节点都需要由唯一的向量表示,这会导致大量的模型参数,而对大规模的参数进行训练会导致过度计算,增加额外的时间开销来训练模型,且对硬件设备提出了更高的要求,需要额外的内存来存储异质汇聚网络中的大量变量;
在一个实施例中,为了减少节点的数量,减少计算次数,避免过度拟合,并扩大感知,进一步包括基于随机池化的下采样方法:
通过随机时序池化操作大幅缩小训练过程的规模并平滑序列,使其连续,同时保留主要信息,包括:
D=PE
优选的,由于不能保证m/s为整数,则可能存在节点个数小于s的区间;预设首区间的大小为s1,s1为一个服从均与分布的离散型随机变量,s1∈{1,…,s};
当s1的大小被确定,所有区间的总数都将得到确定;
由于s1是随机变量,在训练的过程中的每次梯度下降前每个时序序列的s1都将被重新生成;因此不同的s1的取值将会被取到,使得最终每个节点可以学习到一个唯一的表示;相反,若s1一直被固定成一个特定的值,时序拓展将会显得没有意义,每个区间的节点将会趋同;
上述的随机时序池化操作仅用于动态节点中的扩展节点,而静态节点保持不变,由于扩展节点通常比静态节点多得多,因此通过随机时序池化可以以指数规模削减节点总数;
在一个实施例中,在进行随机时序池化操作后,进行异质聚合操作,包括:
需要说明的是,由于节点的属性包含两个部分,节点的特征和节点所在环境的特征,后者可以通过特征聚合来构建;在异构图中,节点和边的多样性使得聚合过程具有挑战性,任何节点都可能连接到几种不同类型的边,从而产生各种关系,
因此,如果一个关系不属于这个集合,则认为对应的注意力是0。bk,l只对应于一个关系,而不是一个具体的节点,并且关系是定向的,例如,知识对锻炼的关注可能不同于锻炼对知识的关注;
进一步:
ρ是带泄漏的线性整流单元,即LeakyReLU;符号||表示向量之间的连接,而ar,l是属于模型参数的注意向量。
Hl=AlHl-1;
将所有层的聚合特征串联起来,以导出最终的表示矩阵,即最终嵌入矩阵Z,以包含每个级别上的信息:
Z=[H0,H1,…,HL];
在一个实施例中,在进行了异质聚合后,输出目标函数包括:
其中,Pn(v)是噪声分布,Me是负例采样率。
通过三元组oij=<vi,vj,yij>来描述节点与预测结果的关系:vi表示学习者,vj表示练习,yij表示预测结果,若yij=1表示学习者回答正确,若yij=0表示学习者回答错误;是由给定数据集中的所有三元组oij组成的集合,获取第二目标函数:
其中,pij为学习者正确完成练习的概率;
上式第二交叉损失为二值预测问题的交叉熵损失;
优选的,生成预测概率pij的一种直观方法为:
连接节点的向量,使用多层感知器(MLP)预测器直接推导预测概率,如下所示:
pij=sigmoid(W2·σ(E1·[zi||zj]+b1)+b2);
W1,W2,b1,b2均为模型的参数。σ是非线性激活函数(我们采用tanh);
获取最终目标函数如下所示:
λ是一个平衡系数;
为了最小化参数更新的方差,使收敛过程稳定,同时减少存储开销,进行分批训练,通过绘制指定数量的边和三元组来构建目标,从而确保在几轮梯度下降后,令所有边和三元组都参与到训练过程中。
另一方面,本发明还提供一种智能导学系统的动态图嵌入系统,下文描述的动态图嵌入系统与上文描述的动态图嵌入方法可相互对应参照,具体包括时序拓展模块,随机时序池化模块,异质汇聚网络模块,以及损失计算模块:
其中,时序拓展模块用于对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
所述时序拓展模块还用于对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
随机时序池化模块用于将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
异质汇聚网络模块用于对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
损失计算模块用于基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的智能导学系统的动态图嵌入方法的步骤。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的智能导学系统的动态图嵌入方法的步骤。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种智能导学系统的动态图数据嵌入方法,其特征在于,包括:
对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
6.根据权利要求5所述的一种智能导学系统的动态图数据嵌入方法,其特征在于,对所述第二嵌入矩阵中的每个节点,分别计算节点级注意力特征和关系级注意力特征,获取所有节点的汇聚特征生成最终嵌入矩阵,包括:
ρ是带泄漏的线性整流单元,符号||表示向量之间的连接,ar,l为属于模型参数的注意向量;
Hl=AlHl-1;
将所有层的聚合特征串联起来,导出获取最终嵌入矩阵Z:
Z=[H0,H1,…,HL];
其中,H0=D,zi为Z的第i行。
7.根据权利要求6所述的一种智能导学系统的动态图数据嵌入方法,其特征在于,基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果,包括:
Pn(v)是噪声分布,Me是负例采样率;
进行边的权重回归,通过三元组oij=<vi,vj,yij>来描述节点与预测结果的关系:
vi表示学习者,vj表示练习,yij表示预测结果,若yij=1表示学习者回答正确,若yij=0表示学习者回答错误;
其中,pij为学习者正确完成练习的概率。
9.一种智能导学系统的动态图嵌入系统,其特征在于,包括:
时序拓展模块,用于对所述智能导学系统的异质演进网络中的动态节点进行时序拓展,获取拓展后的图数据结构,包括拓展节点的集合和拓展边的集合,生成动态节点的时序序列;
所述时序拓展模块还用于对所有节点进行随机投影,基于静态节点的序列和动态节点的时序序列生成第一嵌入矩阵;
随机时序池化模块,用于将所述时序序列划分为多个等长的连续区间,并将每个区间中节点的平均值作为区间的嵌入,生成变换矩阵;通过所述变换矩阵对所述第一嵌入矩阵进行池化处理减少节点数量,输出第二嵌入矩阵;
异质汇聚网络模块,用于对所述第二嵌入矩阵中的每个节点,基于节点级注意力特征和关系级注意力特征获取所有节点的汇聚特征并生成最终嵌入矩阵;
损失计算模块,用于基于所述最终嵌入矩阵中的节点,进行边重构与权重回归,构建目标函数,通过所述目标函数预测学习者完成练习的结果。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述智能导学系统的动态图数据嵌入方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310342163.7A CN116257659A (zh) | 2023-03-31 | 2023-03-31 | 一种智能导学系统的动态图嵌入方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310342163.7A CN116257659A (zh) | 2023-03-31 | 2023-03-31 | 一种智能导学系统的动态图嵌入方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116257659A true CN116257659A (zh) | 2023-06-13 |
Family
ID=86682639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310342163.7A Pending CN116257659A (zh) | 2023-03-31 | 2023-03-31 | 一种智能导学系统的动态图嵌入方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116257659A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
CN112395466A (zh) * | 2020-11-27 | 2021-02-23 | 上海交通大学 | 一种基于图嵌入表示和循环神经网络的欺诈节点识别方法 |
CN112732932A (zh) * | 2021-01-08 | 2021-04-30 | 西安烽火软件科技有限公司 | 一种基于知识图谱嵌入的用户实体群组推荐方法 |
CN112801355A (zh) * | 2021-01-20 | 2021-05-14 | 南京航空航天大学 | 基于长短期时空数据多图融合时空注意力的数据预测方法 |
CN113095439A (zh) * | 2021-04-30 | 2021-07-09 | 东南大学 | 基于注意力机制的异构图嵌入学习方法 |
CN113312498A (zh) * | 2021-06-09 | 2021-08-27 | 上海交通大学 | 用无向图嵌入知识图谱的文本信息抽取方法 |
US20220038341A1 (en) * | 2015-09-11 | 2022-02-03 | Ayasdi Ai Llc | Network representation for evolution of clusters and groups |
US20220058221A1 (en) * | 2015-11-25 | 2022-02-24 | Steven Ganz | Methods to Support Version Control and Conflict Resolution in a Database using a Hierarchical Log |
CN114553718A (zh) * | 2022-02-20 | 2022-05-27 | 武汉大学 | 一种基于自注意力机制的网络流量矩阵预测方法 |
CN114626618A (zh) * | 2022-03-17 | 2022-06-14 | 南开大学 | 基于自注意力机制的学生退课行为可解释预测方法 |
CN115082896A (zh) * | 2022-06-28 | 2022-09-20 | 东南大学 | 基于拓扑图结构和深度自注意力网络的行人轨迹预测方法 |
CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
CN115329959A (zh) * | 2022-07-19 | 2022-11-11 | 华中师范大学 | 一种基于双流知识嵌入网络的学习目标推荐方法 |
CN115545155A (zh) * | 2022-09-21 | 2022-12-30 | 华中师范大学 | 一种多层级智能认知追踪方法、系统、可存储介质及终端 |
-
2023
- 2023-03-31 CN CN202310342163.7A patent/CN116257659A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220038341A1 (en) * | 2015-09-11 | 2022-02-03 | Ayasdi Ai Llc | Network representation for evolution of clusters and groups |
US20220058221A1 (en) * | 2015-11-25 | 2022-02-24 | Steven Ganz | Methods to Support Version Control and Conflict Resolution in a Database using a Hierarchical Log |
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
CN112395466A (zh) * | 2020-11-27 | 2021-02-23 | 上海交通大学 | 一种基于图嵌入表示和循环神经网络的欺诈节点识别方法 |
CN112732932A (zh) * | 2021-01-08 | 2021-04-30 | 西安烽火软件科技有限公司 | 一种基于知识图谱嵌入的用户实体群组推荐方法 |
CN112801355A (zh) * | 2021-01-20 | 2021-05-14 | 南京航空航天大学 | 基于长短期时空数据多图融合时空注意力的数据预测方法 |
CN113095439A (zh) * | 2021-04-30 | 2021-07-09 | 东南大学 | 基于注意力机制的异构图嵌入学习方法 |
CN113312498A (zh) * | 2021-06-09 | 2021-08-27 | 上海交通大学 | 用无向图嵌入知识图谱的文本信息抽取方法 |
CN114553718A (zh) * | 2022-02-20 | 2022-05-27 | 武汉大学 | 一种基于自注意力机制的网络流量矩阵预测方法 |
CN114626618A (zh) * | 2022-03-17 | 2022-06-14 | 南开大学 | 基于自注意力机制的学生退课行为可解释预测方法 |
CN115082147A (zh) * | 2022-06-14 | 2022-09-20 | 华南理工大学 | 一种基于超图神经网络的序列推荐方法及装置 |
CN115082896A (zh) * | 2022-06-28 | 2022-09-20 | 东南大学 | 基于拓扑图结构和深度自注意力网络的行人轨迹预测方法 |
CN115329959A (zh) * | 2022-07-19 | 2022-11-11 | 华中师范大学 | 一种基于双流知识嵌入网络的学习目标推荐方法 |
CN115545155A (zh) * | 2022-09-21 | 2022-12-30 | 华中师范大学 | 一种多层级智能认知追踪方法、系统、可存储介质及终端 |
Non-Patent Citations (2)
Title |
---|
孙建文等: "基于多阶拟合机制的深度认知追踪方法", 《现代教育技术》, pages 103 - 109 * |
李智杰等: "面向图嵌入的改进图注意机制模型", 《计算机工程与应用》, pages 152 - 158 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230153622A1 (en) | Method, Apparatus, and Computing Device for Updating AI Model, and Storage Medium | |
CN109120462B (zh) | 机会网络链路的预测方法、装置及可读存储介质 | |
CN112116090B (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
KR102234850B1 (ko) | 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치 | |
CN111104595A (zh) | 一种基于文本信息的深度强化学习交互式推荐方法及系统 | |
CN112967088A (zh) | 基于知识蒸馏的营销活动预测模型结构和预测方法 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN114639483A (zh) | 一种基于图神经网络的电子病历检索方法及装置 | |
CN110889450A (zh) | 超参数调优、模型构建方法和装置 | |
CN111967271A (zh) | 分析结果的生成方法、装置、设备及可读存储介质 | |
CN111695046A (zh) | 基于时空移动数据表征学习的用户画像推断方法及装置 | |
CN114358250A (zh) | 数据处理方法、装置、计算机设备、介质及程序产品 | |
CN114637911A (zh) | 一种注意力融合感知网络的下一个兴趣点推荐方法 | |
CN114861917B (zh) | 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 | |
US20230206054A1 (en) | Expedited Assessment and Ranking of Model Quality in Machine Learning | |
CN113065321B (zh) | 基于lstm模型和超图的用户行为预测方法及系统 | |
CN114493674A (zh) | 一种广告点击率预测模型及方法 | |
CN110866866B (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
CN116975686A (zh) | 训练学生模型的方法、行为预测方法和装置 | |
CN117834852A (zh) | 基于跨注意力多尺度视觉变压器的时空视频质量评价方法 | |
CN116257659A (zh) | 一种智能导学系统的动态图嵌入方法及系统 | |
WO2022127603A1 (zh) | 一种模型处理方法及相关装置 | |
CN116976402A (zh) | 超图卷积神经网络的训练方法、装置、设备及存储介质 | |
CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |