CN115564027A

CN115564027A - 多模态学习行为分析方法、系统及存储介质

Info

Publication number: CN115564027A
Application number: CN202211323486.3A
Authority: CN
Inventors: 梅晓勇; 周友根; 黄昌勤
Original assignee: Zhejiang Normal University CJNU
Current assignee: Zhejiang Normal University CJNU
Priority date: 2022-10-27
Filing date: 2022-10-27
Publication date: 2023-01-03

Abstract

本发明公开一种多模态学习行为分析方法、系统及存储介质，应用于人工智能技术领域，能够实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。该方法包括：获取待分析对象学习过程的多模态行为数据并进行预处理得到多模态序列数据；根据多模态序列数据进行协同嵌入表示得到初始特征表示；根据初始特征表示构建学习行为数据关联图；通过图解耦神经网络对学习行为数据关联图进行解耦得到多模态解耦图；根据多模态解耦图各节点间的关系构建属性路由机制；通过属性路由机制更新节点嵌入表示和图结构得到目标特征表示和目标图结构；根据目标特征表示进行学习行为分析并对目标图结构进行可视化得到可视化学习行为分析结果。

Description

多模态学习行为分析方法、系统及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多模态学习行为分析方法、系统及存储介质。

背景技术

随着教育大数据增强和人工智能技术兴起的浪潮，人工智能技术与教育融合应用成为智能教育实践过程中的重要手段。智能教育也从互联网化向基于学生全过程行为数据分析的精准助教等实际应用场景转变。相关技术中，随着学生学习行为数据的增加，高维度特征难以被常人理解，且缺失了与元数据之间的实际意义关联，如何在实现高性能和高解释性的基础上为教育决策过程提供可靠的分析解释没有很好的方法。

发明内容

为了解决上述技术问题的至少之一，本发明提出一种多模态学习行为分析方法、系统及存储介质，能够实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。

一方面，本发明实施例提供了一种多模态学习行为分析方法，包括以下步骤：

获取待分析对象学习过程的多模态行为数据；

将所述多模态行为数据进行预处理得到相应的多模态序列数据；

根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示；

根据所述初始特征表示构建学习行为数据关联图；

通过图解耦神经网络对所述学习行为数据关联图进行解耦，得到多模态解耦图；

根据所述多模态解耦图中各个节点之间的关系构建属性路由机制；

通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构；

根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果。

根据本发明实施例的一种多模态学习行为分析方法，至少具有如下有益效果：本实施例首先获取待分析对象在学习过程中的多模态行为数据，并将获取的多模态行为数据进行预处理得到相应的多模态序列数据，以便于进行深层次的特征学习。接着，本实施例根据多模态序列数据进行协同嵌入表示，得到初始特征表示，以通过协同嵌入的方式将多个模态信息映射到同一个嵌入空间中，增强模态间的互补性。然后，根据得到的初始特征表示构建学习行为数据关联图，以通过构建关联图的方式提高数据的表示能力。同时，通过图解耦神经网络对学习行为关联图进行解耦，得到多模态解耦图。另外，本实施例根据多模态解耦图中各个节点之间的关系构建属性路由机制，并通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，以得到目标特征表示和目标图结构，以通过构建的属性路由机制有效控制信息在模型内的传递，提高学习行为分析结果的准确性和透明度。进一步地，本实施例根据目标特征表示进行学习行为分析并对目标图结构进行可视化，从而得到可视化学习行为分析结果，实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。

根据本发明的一些实施例，所述将所述多模态行为数据进行预处理得到相应的多模态序列数据，包括：

根据所述多模态行为数据的数据形式进行相应的数据清洗，得到多模态清洗数据；

对所述多模态清洗数据进行数据序列化得到所述多模态序列数据。

根据本发明的一些实施例，所述根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示，包括：

将所述多模态序列数据中不同模态序列数据通过卷积神经网络和长短期记忆网络进行所述协同嵌入表示，得到所述初始特征表示。

根据本发明的一些实施例，所述根据所述初始特征表示构建学习行为数据关联图，包括：

根据所述初始特征表示得到时间切片节点之间的关联关系；其中，所述时间切片节点为所述多模态序列数据中的时间切片；

根据所述关联关系构建邻接矩阵；

根据所述邻接矩阵和所述时间切片节点构建所述学习行为数据关联图。

根据本发明的一些实施例，所述根据所述多模态解耦图中各个节点之间的关系构建属性路由机制，包括：

计算所述多模态解耦图中各个模态解耦图的所述节点之间的第一差异分数矩阵；其中，所述第一差异分数矩阵为模态内信息传递的掩码矩阵；

计算所述多模态解耦图中相同的所述节点在不同模态中的第二差异分数矩阵；其中，所述第二差异分数矩阵为跨模态信息传递的掩码矩阵。

根据本发明的一些实施例，所述通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，包括：

根据所述第一差异分数矩阵控制信息在所述多模态解耦图中各个模态解耦图内的时间维度上的传递，得到时间维度表示更新；

根据所述第二差异分数矩阵控制信息在所述多模态解耦图中各个模态解耦图之间的模态维度上的传递，得到模态维度表示更新；

根据所述时间维度表示更新和所述模态维度表示更新对所述节点嵌入表示进行更新，得到所述目标特征表示；

根据所述目标特征表示更新所述图结构，得到所述目标图结构。

根据本发明的一些实施例，所述根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果，包括：

将所述目标特征表示输入预设图解耦学习行为分析模型进行学习行为分析，得到学习行为分析结果；

根据所述掩码矩阵对所述目标图结构进行可视化，得到预设可视化图像；其中，所述预设可视化图像包括热度图和结构可视化图；

根据所述学习行为分析结果和所述预设可视化图像得到所述可视化学习行为分析结果。

另一方面，本发明实施例还提供了一种多模态学习行为分析系统，包括：

数据获取模块，用于获取待分析对象学习过程的多模态行为数据；

预处理模块，用于将所述多模态行为数据进行预处理得到相应的多模态序列数据；

嵌入表示模块，用于根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示；

关联图构建模块，用于根据所述初始特征表示构建学习行为数据关联图；

解耦模块，用于通过图解耦神经网络对所述学习行为数据关联图进行解耦，得到多模态解耦图；

路由构建模块，根据所述多模态解耦图中各个节点之间的关系构建属性路由机制；

路由更新模块，用于通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构；

结果分析模块，用于根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果。

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如上述实施例所述的多模态学习行为分析方法。

另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如上述实施例所述的多模态学习行为分析方法。

附图说明

图1是本发明实施例提供的多模态学习行为分析方法流程图；

图2是本发明实施例提供的多模态学习行为分析系统原理框图。

具体实施方式

本申请实施例所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

随着教育大数据增强和人工智能技术兴起的浪潮，人工智能技术与教育学融合语义成为了智能教育实践过程中的重要手段。智能教育也从互联网化向基于学生全过程行为数据分析的精准助教等实际应用场景转变。学生个体行为表现多样，能够在一定程度上反应出学生的学习风格、心理特征和情感特征。借助基于深度学习的行为分析模型挖掘学生学习全过程的行为数据，包括声音、视频、表情等多模态行为数据，能够更加全面高效地了解学生的学习过程，挖掘学生学习规律，拓展学习分析研究的深度与广度，为学习过程提供服务。目前多模态学习行为分析模型大多通过各种智能识别技术感知各种行为信息，采集多模态数据进行统一表征以准确判定学情。这类方法多结合机器学习方法，围绕算法模型建模，忽视了数据可解释问题。而随着学生学习行为数据的增加，高维度特征难以被常人理解，且缺失了与元数据之间的实际意义关联。这些基于深度学习构建的模型包含不确定性，且大多数结果与教育教学规律关联薄弱，缺乏一定的可解释性，给实际的教育教学，尤其是学业预警和知识追踪等结果敏感任务中的技术应用带来了严重的威胁。

本发明的一个实施例提供了一种多模态学习行为分析方法、系统及存储介质，能够实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。参照图1，本发明实施例的方法包括但不限于步骤S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160、步骤S170和步骤S180。

具体地，本发明实施例的方法应用过程包括但不限于以下步骤：

S110：获取待分析对象学习过程的多模态行为数据。

S120：将多模态行为数据进行预处理得到相应的多模态序列数据。

S130：根据多模态序列数据进行协同嵌入表示，得到初始特征表示。

S140：根据初始特征表示构建学习行为数据关联图。

S150：通过图解耦神经网络对学习行为数据关联图进行解耦，得到多模态解耦图。

S160：根据多模态解耦图中各个节点之间的关系构建属性路由机制。

S170：通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构。

S180：根据目标特征表示进行学习行为分析并对目标图结构进行可视化，得到可视化学习行为分析结果。

在本具体实施例工作过程中，本实施例首先获取待分析对象学习过程的多模态行为数据。数据是驱动模型分析的基础，相较于单模态数据，多模态数据来源多样化，能够实现数据互补，有效增强分析效果。本实施例通过获取待分析对象在学习过程中的多模态行为数据，以增强数据间的互补。示例性地，本实施例获取的多模态行为数据包括生理层面数据、心理层面数据、行为层面数据以及混合型数据。对于生理层面数据a_t，本实施例通过生物数据采集技术采集学生的眼动频率、脑电波、心电、皮肤电反应等神经生物层面的数据，这些数据能反应学生的情绪及身体健康状况。同时，本实施例通过物联网感知技术和可穿戴设备采集与待分析对象专注度和活跃度相关的体温、血压、心率等人体体征数据。对于心理层面数据b_t，通过网络爬虫技术获取学习平台中的非结构化数据，如待分析对象的评论数据，并通过情感识别技术获取面部表情等情感信息，用自动识别等语音技术采集待分析对象的话语内容。接着，对于行为层面数据c_t，本实施例通过一卡通记录在校园内的各类活动情况，比如进出图书馆次数、检索电子资源内容、借书频率等。而对于混合型数据d_t，本实施例通过对教学管理平台存储的数据使用日志搜索技术采集学习者点击流、测验等数据，以及浏览课件次数、互动频率等数据。进一步地，本实施例将多模态行为数据分别进行预处理得到相应的多模态序列数据。由于获取的数据为多模态行为数据，不同模态数据的表示方式不相同，因此需要对多模态行为数据分别进行预处理，即对不同模态的行为数据进行相应的预处理操作，以得到相应的多模态序列数据，以便于进行深层次的特征学习。

进一步地，本实施例根据多模态序列数据进行协同嵌入表示，得到初始特征表示。由于不同模态的行为数据之间存在一定的语义壁垒，本实施例通过将预处理后得到的多模态序列数据进行协同嵌入表示，以将多个模态的信息映射到同一个嵌入空间中，从而打破模态间的语义壁垒，增强模态间的互补性。接着，本实施例根据初始特征表示构建学习行为数据关联图。图结构数据相较于序列数据，不但能保留时序信息，还能保留结构信息。同时，不同教育决策任务需要数据不同方面的属性信息，如学习风格和学习时间等，这可以通过不同的图结构给出决策解释而体现出来。本实施例通过得到的初始特征表示构建学习行为数据关联图，以增强数据的表示能力。然后，本实施例通过图解耦神经网络对学习行为数据关联图进行解耦，得到多模态解耦图。本实施例通过对学习行为数据关联图进行图解耦的方式，以缓解基于注意力机制的解释方法中语义缺失问题，将抽取到的抽象特征与具体的模态属性关联起来，丰富和细化节点表示，减少后续特征提取过程中的消息丢失问题，增强学习行为分析效果和提高可解释性。其中，多模态解耦图包括具有具体语义的高维特征。进一步地，本实施例根据多模态解耦图中各个节点之间的关系构建属性路由机制，对学习行为数据关联图进行图解耦后，每个节点的嵌入表示分块为特定的模态属性表示，为其提供单独的通道来引导信号流，从学习行为关联图节点中提取有价值的消息用于学习行为分析。本实施例通过在嵌入传播过程中引入构建的属性路由机制以引导信号流，从而提取有价值的信息用于学习行为分析。接着，本实施例通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，以通过构建的属性路由机制有效控制信息在模型内的传递，提高学习行为分析结果的准确性和透明度。进一步地，本实施例根据目标特征表示进行学习行为分析并对目标图结构进行可视化，从而得到可视化学习行为分析结果，实现高性能和高可解释性的多模态学习行为分析，为教育决策过程提供可靠的分析解释。

在本发明的一些实施例中，将多模态行为数据进行预处理得到相应的多模态序列数据，包括但不限于：

根据多模态行为数据的数据形式进行相应的数据清洗，得到多模态清洗数据。

对多模态清洗数据进行数据序列化得到多模态序列数据。

在本具体实施例中，本实施例对多模态行为数据进行的预处理包括数据清洗和数据序列化。具体地，本实施例针对不同的模态行为数据进行相应的预处理。本实施例首先根据多模态行为数据的数据形式进行相应的数据清洗得到多模态清洗数据。然后，对多模态清洗数据进行序列化得到多模态序列数据。示例性地，本实施例对文本数据进行去停用词、空格和符号操作，同时，对词干进行变换增强。接着，本实施例通过分词(token)将增强变换后的数据变成序列数据。例如，句子级别的文本数据采用word piece tokenizer，文档级别的文本数据采用sentence piece tokenizer。另外，对于图像数据，本实施例首先根据图片质量和噪声等进行图像增强处理，例如超分和去雾等。接着，本实施例通过分块(patch)，并按照自上而下的顺序变成序列数据。同时，本实施例对语音、生理和心理等数据进行高通滤波和低通滤波等信号增强操作后，按照一定的时间间隔切片划分为具体的序列。经过上述操作后，多模态行为数据便可统一成多模态序列数据。其中，多模态序列数据表示如下式(1)所示：

S_k＝{w_k,1,w_k,2,…,w_k,i,…,w_k,t} (1)

其中，式中w_k,i表示k模态下该序列中的一个时间切片。

在本发明的一些实施例中，根据多模态序列数据进行协同嵌入表示，得到初始特征表示，包括但不限于：

将多模态序列数据中不同模态序列数据通过卷积神经网络和长短期记忆网络进行协同嵌入表示，得到初始特征表示。

在本具体实施例中，本实施例通过卷积神经网络(CNNs)和长短期记忆网络(LSTMs)进行协同嵌入表示。具体地，本实施例将转换后的不同模态序列数据，如图片模态数据和文本模态数据，通过卷积神经网络以及长短期记忆网络进行协同嵌入表示，以将多个模态信息映射到同一个嵌入空间中，增强模态间的互补性，便于后续基于相似性构图和结构化操作，得到相应的嵌入表示如下式(2)所示：

X_k＝{x_k,1,x_k,2,…,x_k,i,…,x_k,t} (2)

其中，式中

表示k模态中时间切片i时刻对应数据的嵌入表示。

进一步地，本实施例对上式得到的嵌入表示在模态维度上采用特征池化进行下采样操作，以融合各个模态的局部特征，得到每个时间切片位移的初始嵌入表示，作为初始特征表示，如下式(3)和(4)所示：

其中，式中

表示t时刻学生的学习行为状态特征表示，即初始特征表示。

在本发明的一些实施例中，根据初始特征表示构建学习行为数据关联图，包括但不限于：

根据初始特征表示得到时间切片节点之间的关联关系。其中，时间切片节点为多模态序列数据中的时间切片。

根据关联关系构建邻接矩阵。

根据邻接矩阵和时间切片节点构建学习行为数据关联图。

在本具体实施例中，本实施例首先根据初始特征表示得到时间切片节点之间的关联关系。其中，将多模态序列数据中的每个时间切片w_i作为学习行为数据关联图中的节点，即时间切片节点。然后，本实施例根据关联关系构建邻接矩阵，从而根据邻接矩阵和时间切片节点构建学习行为数据关联图。具体地，关联图一般由节点以及节点之间的连接边构成。本实施例将多模态序列数据中的每个时间切片w_i作为学习行为数据关联图中的节点v_i。而连接边表示节点之间存在的关联关系，通常用邻接矩阵表示。同时，邻接矩阵还可以表示节点之间的依赖程度。例如，v_i与v_j之间存在关联关系，则A_ij＝1，否则A_ij＝0。进一步地，为了得到初始的图结构，本实施例基于节点的初始特征表示

的相似矩阵，在嵌入空间中计算节点对之间的余弦相似度得到一个加权的邻接矩阵，如下式(5)所示：

其中，式中w_p是可学习的权重参数，h_i和h_j代表节点v_i与v_j的初始嵌入表示，cos(·)代表余弦相似度。

进一步地，为了保留时序数据的序列信息，对图中的节点按照多模态序列数据中的序列顺序进行连接，从而根据邻接矩阵和时间切片节点构建得到学习行为数据关联图。同时，基于相似度的图构造方法是动态和启发式的，根据节点信息的更新而更新，从而使得最终学习到的图结构也可以进行可视化作为结构信息的呈现，给予一定的可解释性。通过上述操作后，将多模态序列数据S_k转换为一张由时间切片节点和连接边构成的学习行为数据关联图

其中

代表图中出现的节点，n表示该样本中出现的节点个数，而且这些节点之间存在的关联关系，可以描述为

用邻接矩阵

表示，同时得到的初始嵌入表示H⁰可以作为图节点的特征矩阵

其中c表示特征向量的维度。

需要说明的是，不同于注意力机制直接使用节点的原始嵌入来计算每个节点对学习行为分析的贡献，本实施例通过图解耦神经网络对学习行为数据关联图进行解耦的方式，得到多模态解耦图。具体地，本实施例首先将节点的初始嵌入表示的单个维度作为神经元的输入信号编码到隐藏神经元中，节点的初始嵌入表示可以分解表示如下式(6)所示：

h_i＝{h_i,1,h_i,2,…,h_i,m,…h_i,c} (6)

其中，式中

表示节点的初始嵌入表示，h_i,m表示节点v_i的第m个输入信号。

进一步地，本实施例根据线性模型作为神经元将每个节点的初始嵌入表示划分为块。为了将神经元的输出信号与具体语义联系起来，本实施例通过监督任务将神经元输出信号与具体的模态属性特征关联起来。其中，具体的模态属性对应原始模态数据时间节点的嵌入表示x_k,i，并利用原始模态数据时间切片上的特征表示作为监督标签与特定的模态属性关联起来。因此，特定模态的神经元表示如下式(7)所示：

h_i,k＝W_kh_i+b_i,k (7)

其中，k是模态属性信息指示符，W_k是一个可训练的权重矩阵，b_i,k是可学习的偏置向量，且线性模型能够根据权重矩阵得出各输入信号的贡献值，因此具有良好的可解释性。

进一步地，由于没有监督任务的信号抽取无法保证抽取到的属性信息与期望的特定属性一致。因此，本实施例在神经元的信号抽取过程中引入多标签分类损失，利用原始的模态属性标签来约束属性特征抽取过程，具体公式表示如下式(8)和(9)所示：

其中，上式中K是属性信息的个数，P_i,k是真实的属性标签，

是预测为该属性的概率。容易理解的是，在本具体实施例中的图解耦操作可以理解为对学习行为数据关联图

进行分解，得到多个模态解耦图G_k＝{V,E}，虽然节点和边的连接结构保持不变，但是每个模态解耦图上节点的初始嵌入表示h_i,k已经代表特定的模态属性，存在模态间的差异性。因此，图解耦能够克服基于注意力机制的解释方法中的语义缺失问题，将抽取到的抽象特征与具体的模态属性关联起来，丰富和细化节点表示，缓解后续特征提取过程中的信息丢失问题，增强学习行为分析效果和提高可解释性。

在本发明的一些实施例中，根据多模态解耦图中各个节点之间的关系构建属性路由机制，包括但不限于：

计算多模态解耦图中各个模态解耦图的节点之间的第一差异分数矩阵。其中，第一差异分数矩阵为模态内信息传递的掩码矩阵。

计算多模态解耦图中相同的节点在不同模态中的第二差异分数矩阵。其中，第二差异分数矩阵为跨模态信息传递的掩码矩阵。

在本具体实施例中，本实施例首先根据多模态解耦图中各个节点之间的关系构建属性路由机制。具体地，本实施例首先计算多模态解耦图中各个模态解耦图中节点之间的第一差异分数矩阵，并将第一差异分数矩阵作为模态内信息传递的掩码矩阵。另外，本实施例通过计算多模态解耦图中相同的节点在不同模态中的第二差异分数矩阵，以将第二差异分数矩阵作为跨模态信息传递的掩码矩阵。在待分析对象的学习过程中学习行为会受到之前学习行为的影响，为了实现学习行为信息的时间前后关联性，本实施例构建第一差异分数矩阵以实现待分析对象学习行为信息在时间维度的传递。在单个解耦后的模态解耦图上计算每个节点交互之间的差异分数矩阵，即第一差异分数矩阵，作为模态内信息传递的掩码矩阵，计算公式如下式(10)所示：

其中，式中h_i,k和h_j,k代表给定模态解耦图上的初始嵌入表示，k是模态指示符。

进一步地，在待分析对象的学习行为数据在不同的模态之间会呈现出互补性和差异性，本实施例通过计算第二差异分数矩阵以实现对待分析对象的学习行为在模态维度上的传递。本实施例在各个模态解耦图上计算相同节点在不同模态上的差异分数矩阵，即第二差异分数矩阵，作为跨模态信息传递的掩码矩阵，计算公式如下式(11)所示：

其中，式中h_i,k和h_j,k代表给定模态解耦图上的初始嵌入表示，k是模态指示符，K代表不同模态解耦图的个数。

在本发明的一些实施例中，通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，包括但不限于：

根据第一差异分数矩阵控制信息在多模态解耦图中各个模态解耦图内的时间维度上的传递，得到时间维度表示更新。

根据第二差异分数矩阵控制信息在多模态解耦图中各个模态解耦图之间的模态维度上的传递，得到模态维度表示更新。

根据时间维度表示更新和模态维度表示更新对节点嵌入表示进行更新，得到目标特征表示。

根据目标特征表示更新图结构，得到目标图结构。

在本具体实施例中，本实施例首先根据第一差异分数矩阵控制信息在多模态解耦图中各个模态解耦图的内部进行时间维度上的传递，得到时间维度表示更新。接着，本实施例根据第二差异分数矩阵控制信息在多模态解耦图中各个模态解耦图之间的模态维度上的传递，得到模态维度表示更新。然后，根据时间维度表示更新和模态维度表示更新分别对节点嵌入表示和图结构进行更新，得到相应的目标特征表示和目标图结构。具体地，在计算得到模态内信息传递的掩码矩阵后，即第一差异分数矩阵，本实施例根据该掩码矩阵控制信息在模态解耦图中传递，以进行节点表示更新，模态内在时间维度上的节点表示更新公式如下式(12)所示：

其中，式中

代表节点在时间维度上更新的节点嵌入表示，

表示节点v_i的邻居节点集合。

进一步地，在计算得到跨模态信息传递的掩码矩阵后，即第二差异分数矩阵，本实施例根据该掩码矩阵控制信息在不同模态的解耦图之间传递，以进行节点表示更新，在模态维度上的节点表示更新如下式(13)所示：

其中，式中

代表节点在模态维度上更新的节点嵌入表示，

表示节点v_i的邻居节点集合。

进一步地，本实施例根据得到的时间维度表示更新和模态维度表示更新得到迭代更新后的节点嵌入表示，即目标特征表示。其中，更新得到的目标特征表示如下式(14)所示：

其中，式中μ代表可学习的偏置向量，

表示该节点的临时特征嵌入表示。

进一步地，在计算得到目标节点的临时特征更新嵌入表示后，本实施例根据图上的信息更新原则，以进行最终的节点嵌入表示更新，在全图上更新迭代后的节点嵌入表示如下式(15)所示：

其中，式中

代表图结构中上一层的节点特征表示，

表示当前网络层的节点特征表示。

进一步地，本实施例根据得到的更新后的当前网络层的目标节点特征表示，再次根据式(5)计算更新当前状态下的图结构，即目标图结构。

在本发明的一些实施例中，根据目标特征表示进行学习行为分析并对目标图结构进行可视化，得到可视化学习行为分析结果，包括但不限于：

将目标特征表示输入预设图解耦学习行为分析模型进行学习行为分析，得到学习行为分析结果。

根据掩码矩阵对目标图结构进行可视化，得到预设可视化图像。其中，所述预设可视化图像包括热度图和结构可视化图。

根据学习行为分析结果和预设可视化图像得到可视化学习行为分析结果。

在本具体实施例中，本实施例首先将目标特征表示输入预设图解耦学习行为分析模型信息学习行为分析。具体地，不同的教育决策需求需要不同的学习行为分析任务，从而要求不同的图结构输入，整体的教育决策任务可以分为节点分类任务，如成绩预测，知识追踪等，图分类任务，如情感分析，学情预测等。同时，这也对应不同级别的解释。为了在统一框架中实现多种任务的决策和解释生成，将图上任务转化为索引生成任务，生成总体的分类索引和节点的序列索引用于决策，如下式(16)所示：

其中，式中softmax用于生成索引，图分类任务对节点特征矩阵进行了agg的聚合操作，得到唯一的向量表示用于整体分类索引的生成。进一步地，本实施例采用交叉熵损失函数约束分类器，如下式(17)所示：

其中，式中D_train是划定的训练集，S是训练集中的训练样本。经过上述构建得到的学习行为分析模型，即预设图解耦学习行为分析模型，可以实现多种教育决策任务。

进一步地，为了实现预设图解耦学习行为分析模型的训练，本实施例在多模态学习行为深度学习建模中，对收集的多模态行为数据划分为训练集和测试集，对按照上述步骤设计的预设图解耦学习行为分析模型进行训练和验证。在训练过程中，学习行为分析模型采用动态关联图结构，在训练过程中会根据学习到的节点特征对图结构进行迭代更新，同时为了进一步增强图解耦和路由机制的效果，迭代U次设计的属性路由机制更新节点表示。进一步地，为了实现端到端的统一训练，采用统一的多模态学习行为分析模型的目标函数和优化途径，最终学习行为分析模型的目标函数如下式(18)所示：

其中，式中α和β分别为分类损失

和解耦损失

的权重系数，在本实施例中属性路由机制的迭代次数U＝3。

进一步地，为了生成学习分析结果的结构化解释，给定训练好的预设图解耦学习行为分析模型Φ以及学习行为分析预测结果Y，通过识别样本本图的子图G_s和对预设图解耦学习行为分析模型Φ的预测最有影响的节点特征X_s的子集来生成解释，用互信息(MI)的形式化的优化整体的解释过程如下式(19)所示：

其中，式中f(·)表示熵计算函数。需要说明的是，f(Y)是固定的，因为训练好的预设图解耦学习行为分析模型的决策参数是固定的。因此，整体的优化函数变成了最小化f(Y|G＝G_s,X＝X_s)，如下式(20)所示：

进一步地，本实施例根据掩码矩阵对目标图结构进行可视化，得到预设可视化图像。其中，所述预设可视化图像包括热度图和结构可视化图。具体地，本实施例通过构建的属性路由机制来实现信息流的传递和图结构的更新。因此，本实施通过对属性路由机制的掩码矩阵进行可视化以得到预设可视化图像。本实施例拓展了传统的基于特征重要性思想利用注意力机制来刻画节点和边权重的方法，给特征赋予了具体的语义，克服了注意力权重语义缺失导致的解释不准确和不唯一的问题，同时从细粒度地刻画了图的结构。示例性地，本实施例随机选择一个待分析对象，对其学习行为数据进行采集。对学生的多模态学习行为数据进行预处理和初始嵌入表示，按照特征相似度构建初始图结构进行信息传递。进一步地，图构建完成后，对融合特征表示利用监督任务进行图解耦，更新节点的特征表示，生成H_k＝{h_1,k,…,h_i,k}。然后，本实施例将特征表示输入到训练模型，经过属性路由机制的处理，输出特定模态下各个节点和区域的掩码值q和多种模态间的掩码值c。接着，在预设图解耦学习行为分析模型训练完成后，输入到解释生成优化过程能够得到对结果影响最大的子图G_s和最有影响的节点特征子集X_s。然后，本实施例通过matplotlib画出得到的属性路由机制的掩码值所对应的热度图和对应的图结构，并按照数值权重的大小给出不同的颜色标识，从而实现对目标图结构进行可视化，得到预设可视化图像。需要说明的是，在本实施例中得到的预设可视化图像分为热度图和结构可视化图。其中，颜色越深代表权重越大，对学习分析结果的影响更大。一方面，这种可视化表示可以直观地反映出不同节点和区域的重要性，有利于指导信息传递，体现出具体信息的重要性。另一方面，不同模态间也具有不同的权重，能够从热度图中体现出模态间的重要性，从而实现具体到某个模态某个节点信息的重要性。进一步地，本实施例通过结合学习行为分析结果和预设可视化图像得到可视化学习行为分析结果。

需要说明的是，在本发明的一些实施例中，本实施例通过预设图解耦学习行为分析模型进行多模态学习行为分析支持，并根据模型决策过程的消息流生成可视化和自然语言交互的解释。示例性地，设现在某待分析对象Z进行课程学习，系统后台记录了学生学习过程相关的变量，现在需要预测该对象Z的期末考试成绩(分为不及格，及格，中等，良好，优秀，五个等级)。现需要对不同模态的数据进行浅层特征分析，然后把浅层特征进行归一化与解耦表示学习，并根据路由机制进行融合获得全局特征表示作为分析依据。本实施例首先针对不同模态的数据，首先进行数据清洗，采用不同的深度学习算法得到节点初始向量表示X，构造成图结构G。然后，本实施例对图结构中的节点按照已有的多模态数据属性进行解耦，得到解耦表示h_i,k，并根据解耦后的特征按照路由机制更新节点表示，并对节点特征进行融合得到h_i。进一步地，根据特征h_i进行整体和部分的决策，计算(G_s,X_s)并根据更新后的图结构通过可视化方法给出解释。

本发明的一个实施例还提供了一种多模态学习行为分析系统，包括：

数据获取模块，用于获取待分析对象学习过程的多模态行为数据。

预处理模块，用于将多模态行为数据进行预处理得到相应的多模态序列数据。

嵌入表示模块，用于根据多模态序列数据进行协同嵌入表示，得到初始特征表示。

关联图构建模块，用于根据初始特征表示构建学习行为数据关联图。

解耦模块，用于通过图解耦神经网络对学习行为数据关联图进行解耦，得到多模态解耦图。

路由构建模块，根据多模态解耦图中各个节点之间的关系构建属性路由机制。

路由更新模块，用于通过属性路由机制更新迭代多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构。

结果分析模块，用于根据目标特征表示进行学习行为分析并对目标图结构进行可视化，得到可视化学习行为分析结果。

参照图2，本发明的一个实施例还提供了一种多模态学习行为分析系统，包括：

至少一个处理器210。

至少一个存储器220，用于存储至少一个程序。

当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如上述实施例描述的多模态学习行为分析方法。

本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行以上实施例描述的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims

1.一种多模态学习行为分析方法，其特征在于，包括以下步骤：

获取待分析对象学习过程的多模态行为数据；

根据所述初始特征表示构建学习行为数据关联图；

2.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述将所述多模态行为数据进行预处理得到相应的多模态序列数据，包括：

3.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述多模态序列数据进行协同嵌入表示，得到初始特征表示，包括：

4.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述初始特征表示构建学习行为数据关联图，包括：

根据所述关联关系构建邻接矩阵；

5.根据权利要求1所述的多模态学习行为分析方法，其特征在于，所述根据所述多模态解耦图中各个节点之间的关系构建属性路由机制，包括：

6.根据权利要求5所述的多模态学习行为分析方法，其特征在于，所述通过所述属性路由机制更新迭代所述多模态解耦图的节点嵌入表示和图结构，得到目标特征表示和目标图结构，包括：

7.根据权利要求5所述的多模态学习行为分析方法，其特征在于，所述根据所述目标特征表示进行学习行为分析并对所述目标图结构进行可视化，得到可视化学习行为分析结果，包括：

8.一种多模态学习行为分析系统，其特征在于，包括：

9.一种多模态学习行为分析系统，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的多模态学习行为分析方法。

10.一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1至7任一项所述的多模态学习行为分析方法。