CN113191154B - 基于多模态图神经网络的语义分析方法、系统和存储介质 - Google Patents

基于多模态图神经网络的语义分析方法、系统和存储介质 Download PDF

Info

Publication number
CN113191154B
CN113191154B CN202110239109.0A CN202110239109A CN113191154B CN 113191154 B CN113191154 B CN 113191154B CN 202110239109 A CN202110239109 A CN 202110239109A CN 113191154 B CN113191154 B CN 113191154B
Authority
CN
China
Prior art keywords
data
semantic analysis
modal
resource
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110239109.0A
Other languages
English (en)
Other versions
CN113191154A (zh
Inventor
李明
陈逸璇
黄昌勤
梁吉业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202110239109.0A priority Critical patent/CN113191154B/zh
Publication of CN113191154A publication Critical patent/CN113191154A/zh
Application granted granted Critical
Publication of CN113191154B publication Critical patent/CN113191154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多模态图神经网络的语义分析方法、系统和存储介质，方法包括：采集社交数据，社交数据包括用户数据和资源数据；根据社交数据构建多模态交互图；构建语义分析模型，语义分析模型包括门控注意力机制；采用语义分析模型分析多模态交互图的语义信息，并根据语义信息计算用户数据与资源数据交互的可能性。本发明通过先根据采集的社交数据构建多模态交互图，接着采用包括门控注意力机制的语义分析模型分析多模态交互图的语义信息，根据语义信息计算用户数据与资源数据交互的可能性，从而实现模态粒度的用户偏好识别，促进信息在不同模态交互图间的传递，提升语义分析结果的准确性和预测精度。本发明可应用于图神经网络技术领域。

Description

基于多模态图神经网络的语义分析方法、系统和存储介质
技术领域
本发明涉及图神经网络技术领域，尤其是一种基于多模态图神经网络的语义分析方法、系统和存储介质。
背景技术
在社交网络平台上，每天都会产生海量的社交数据，其中包含极有价值的信息。然而，一方面这些社交数据缺少语义内容描述，另一方面跨平台背景下的社交数据往往不局限于一种形式，涉及文本、图像、视频等多种模态，从而导致用户在浏览、搜索和管理资源的过程中面临巨大挑战。当前社交大数据深度语义分析的手段大多是依托大数据技术来收集社交网络数据，全面分析语义内容并进行语义关联。目前的研究方向主要分为两类，第一类使用外部知识库来丰富语义信息，这类方法通常要消耗大量的时间和成本，且分析对象多为静态数据；第二类则是基于深度学习的语义映射学习方法，研究内容主要包括多模态数据的统一特征表示和语义相似度计算，这类方法只适用于线性表示的数据，过于关注跨模态数据的相关性，忽视了高级的语义信息，如数据的类别标签，弱化特征间关联的问题，且每次最多只能表示两种模态的数据。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于多模态图神经网络的语义分析方法、系统和存储介质，能够提升语义分析结果的准确性和预测精度。
根据本发明第一方面实施例的一种基于多模态图神经网络的语义分析方法，包括以下步骤：
采集社交数据，所述社交数据包括用户数据和资源数据；
根据所述社交数据构建多模态交互图；
构建语义分析模型，所述语义分析模型包括门控注意力机制；
采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性。
根据本发明实施例的一种基于多模态图神经网络的语义分析方法，至少具有如下有益效果：
本实施例通过先根据采集的社交数据构建多模态交互图，同时构建包括门控注意力机制的语义分析模型，接着采用语义分析模型分析多模态交互图的语义信息，并根据语义信息计算用户数据与资源数据交互的可能性，从而实现模态粒度的用户偏好识别，促进信息在不同模态交互图间的传递，提升语义分析结果的准确性和预测精度。
根据本发明的一些实施例，所述根据所述社交数据构建多模态交互图，包括：
根据模态类型对所述资源数据进行分类，所述模态类型包括文本模态、图像模态和视频模态；
根据用户数据和分类后的资源数据构建多模态交互图。
根据本发明的一些实施例，所述用户数据包括用户偏好数据和用户ID数据；所述资源数据包括资源特征数据和资源ID数据；将所述用户偏好数据和所述资源特征数据作为单模态交互图中的节点特征。
根据本发明的一些实施例，所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性，包括嵌入步骤、信息传递步骤和预测步骤；
所述嵌入步骤包括：
嵌入所述用户ID数据和所述资源ID数据；
所述信息传递步骤包括：
根据聚合的特征和单模态交互图更新多模态交互图节点；
根据语义分析模型中各层间的高阶连通性更新多模态交互图的节点表示；
在确定更新完每个模态的节点表示后，合并不同模态的表达式；
所述预测步骤包括：
根据合并后的表达式计算用户数据与资源数据交互的可能性。
根据本发明的一些实施例，在所述信息传递步骤中通过门控注意力机制控制信息流，所述门控注意力机制包括传递门和注意力机制。
根据本发明的一些实施例，所述传递门包括内积门、拼接门和双向交互门；其中，
所述内积门为：
Figure GDA0003095255530000021
fgi(h,t)为内积门函数，δ(·)为sigmoid函数，d为节点t的出度，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作；
所述拼接门为：
Figure GDA0003095255530000031
fgc(h,t)为拼接门函数，δ(·)为sigmoid函数，d为节点t的出度，Wc为一个可训练的权重矩阵，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作；
所述双向交互门为：
Figure GDA0003095255530000032
fgb(h,t)为双向交互门函数，δ(·)为sigmoid函数，d为节点t的出度，⊙为元素的乘法运算符，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作。
根据本发明的一些实施例，所述根据合并后的表达式计算用户数据与资源数据交互的可能性，其具体为：
将用户数据和资源数据的表达式进行内积，得到用户数据与资源数据交互的可能性。
根据本发明第二方面实施例的一种基于多模态图神经网络的语义分析系统，包括：
采集模块，用于采集社交数据，所述社交数据包括用户数据和资源数据；
图构建模块，用于根据所述社交数据构建多模态交互图；
模型构建模块，用于构建语义分析模型，所述语义分析模型包括门控注意力机制；
分析模块，用于采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性。
根据本发明第三方面实施例的一种基于多模态图神经网络的语义分析系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行第一方面实施例所述的基于多模态图神经网络的语义分析方法。
根据本发明第四方面实施例的一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例所述的基于多模态图神经网络的语义分析方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种基于多模态图神经网络的语义分析方法的流程图；
图2为一种具体实施例的多模态交互图；
图3为一种具体实施例的门控注意力图神经网络结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
CCA：Canonical Correlation Analysis，典型相关分析法，其为社交大数据深度语义分析的方式之一。
SCM：Aemantic Correlation Matching，语义相关匹配法，其为社交大数据深度语义分析的方式之一。
UCCG：Uniform Cross-media Correlation Graph，跨媒体相关图。
GNN：Graph Neural Networks，图神经网络。
随着互联网和新媒体的飞速发展，在线社交网络的用户数量与影响力也在不断扩大，成为人们维系社交生活和娱乐生活的重要方式。以Facebook、Twitter、Sina Weibo等为代表的社交媒体平台，每天都会产生海量社交数据，其中包含极有价值的信息。然而，一方面这些数据缺少精确的语义内容描述，另一方面跨平台背景下的社交数据往往不局限于一种形式，涉及文本、图像、视频等多种模态，导致用户在浏览、搜索、管理资源的过程中面临巨大挑战。对此，一种能对社交网络中不同模态的数据进行深度语义分析的系统可以切实解决上述问题，在提高用户检索信息效率、优化整合社交平台资源、根据语义分析结果推荐资源等方面提供指导和帮助。
目前社交大数据深度语义分析的手段大多是依托大数据技术来收集社交网络数据，全面分析语义内容并进行语义关联。目前的研究方向主要分为两类，一类使用外部知识库来丰富语义信息，从而提高语义学习的正确性，例如将Twitter上的主题标签进行分割并链接到Wikipedia，但这通常要消耗大量的时间和成本，且分析对象多为静态数据；另一类是基于深度学习的语义映射学习方法，研究内容主要包括多模态数据的统一特征表示和语义相似度计算。对于特征融合，较为流行的方法有CCA和SCM。CCA通过子空间的映射来匹配图像和文本模态，以度量两种模态数据的相似性，然而这种方法只适用于线性表示的数据，并且过于关注跨模态数据的相关性，忽视了高级的语义信息，如数据的类别标签。SCM在CCA学习子空间的基础上，又利用逻辑回归算法学习语义空间，使用深度特征和深度体系结构进行映射有效地提高了学习效果，改进了CCA的缺陷。但这种特征表示也带来了弱化特征间关联的问题，且每次最多只能表示两种模态的数据。对于基于语义特征计算相似性，目前以基于图模型的方法为代表。通过构建统一的UCCG，每个图节点表示跨媒体文档，训练图模型来学习多媒体数据的关联，实践证实有很好的语义关系学习效果。然而这种方法建立在共生性假设的基础上，即含有相同媒体对象的多媒体文档，拥有的语义信息也相同，受制于这种假设，且模型训练过程中如何设置参数也是难点。
基于上述问题，本发明实施例通过采集的社交数据，在多模态太交互图上使用图神经网络，根据社交数据丰富用户数据和资源数据的表示，以弥补不同模态间的语义鸿沟，提高语义信息建模的合理性，同时在模型中引入门控注意力机制，以通过注意力来合理指导信息的传递，提升语义分析结果的准确性和预测精度。
具体地，参照图1，本发明实施例提供了一种基于多模态图神经网络的语义分析方法，包括以下步骤：
S11、采集社交数据，其中社交数据包括用户数据和资源数据；用户数据包括用户偏好数据和用户ID数据；所述资源数据包括资源特征数据和资源ID数据。
S12、根据社交数据构建多模态交互图。
S13、构建语义分析模型，其中，语义分析模型包括门控注意力机制。
S14、采用语义分析模型分析多模态交互图的语义信息，并根据语义信息计算用户数据与资源数据交互的可能性。
在本实施例中，假设在线社交网络中，用户和资源之间存在历史互动，如浏览、搜索、点击等，这些交互数据可以描述为由用户和资源两部分组成的图G＝(V,E)，其中V＝U∪I代表用户和资源的集合，U＝(u1,u2,…,uN)和I＝(i1,i2,…,iM)分别表示社交网络中的用户和资源，N表示用户数，M表示资源数。另外，这些用户和资源间的交互关系可以描述为E＝{(u,i)|u∈U,i∈I}，每条边代表用户u和资源i之间的交互行为。
为了捕捉模态间的差异性，多模态交互图针对每个特定模态都设计了一个仅包含该模态特征的二部图，相应地描绘为一组{Gm}，其中m∈{1,2,3}分别表示文本、听觉、视觉三种模态，如图2所示。
在语义分析模型工作过程中，包括嵌入步骤、信息传递步骤和预测步骤。其中，嵌入步骤为：将用户ID数据和资源ID数据嵌入模型。并在每个特定模态的交互图中，分别将用户和资源特征嵌入为矢量化表示。所有的嵌入如公式1所示：
E＝(eu,ei,em,u,em,i|u∈U,i∈I,m∈M) 公式1
Figure GDA0003095255530000061
eu表示用户ID嵌入，em,u表示模态m下的用户ID嵌入；
Figure GDA0003095255530000062
ei表示资源ID嵌入，em,i表示模态m下的资源ID嵌入。ei、eu和em,u是在优化过程中通过随机初始化和训练得到的，em,i则由可训练的神经网络从固定特征中得到。
信息传递步骤包括：
根据聚合的特征和单模态交互图更新多模态交互图节点，如公式3、公式4和公式5所示：
Figure GDA0003095255530000063
Figure GDA0003095255530000064
Figure GDA0003095255530000065
M为模态指示符，Nh＝(t|(h,t)∈E)表示节点h的相邻节点集合，Wm,1、Wm,2和Wm,3均为可训练的权重矩阵；fa(h,t)是一种决定是否将信息从邻节点t传播到节点h的传播门；fg(h,t)是一种反映邻节点t贡献度的注意力门，在它们的共同作用下，实现了以模态的细粒度考虑用户偏好因素；eh表示节点h的ID嵌入；em,t表示模态m中相邻节点t的嵌入；
Figure GDA0003095255530000071
表示编码一阶连通性后的节点h的嵌入。
模型堆叠更多的信息传递层，利用各层间的高阶连通性来进一步丰富节点表示。以利用模态m中从l跳邻居传递来的信息，探索用户的交互过程，从而分析用户的偏好。在这个过程中，节点被递归地定义如公式5所示：
Figure GDA0003095255530000072
Figure GDA0003095255530000073
是在初始
Figure GDA0003095255530000074
经过(l-1)轮递归后，收集来自(l-1)跳邻节点信息的表示。
在确定更新完每个模态的节点表示后，通过公式6合并不同模态的表达式：
Figure GDA0003095255530000075
Figure GDA0003095255530000076
表示经过l轮递归后，合并了所有模态表达式的节点h的最终嵌入。
预测步骤为：
通过公式7、公式8和公式9经过L轮信息传递层的处理，模型将用户和资源的最终表达式进行内积，输出一个匹配值，以通过该匹配值在考虑社交大数据的多模态特征和模态粒度下用户偏好差异的情况下，用户和资源之间发生交互的可能性：
Figure GDA0003095255530000077
Figure GDA0003095255530000078
Figure GDA0003095255530000079
Figure GDA00030952555300000710
表示经过L轮信息传递后，生成的用户节点的最终嵌入表示；
Figure GDA00030952555300000711
表示经过L轮信息传递后，生成的资源节点的最终嵌入表示；
Figure GDA00030952555300000712
表示对用户节点和资源节点的最终表达式进行内积的结果。
在上述实施过程中，基于GNN的方法能够利用交互图来丰富表示，然而，目前对社交网络多模态交互图的研究仍停留在单模态内部，未能从模态的细粒度来考虑用户偏好。基于此，在模型处理过程中，引入门控注意力机制控制信息流，其结构如图3所示。其中，门控注意力机制包括传递门和注意力机制。传递门fg(h,t)包括内积门、拼接门和双向交互门。
具体地，内积门如公式10所示：
Figure GDA00030952555300000713
fgi(h,t)为内积门函数，δ(·)为sigmoid函数，d为节点t的出度，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作。
拼接门人如公式11所示：
Figure GDA0003095255530000081
fgc(h,t)为拼接门函数，δ(·)为sigmoid函数，d为节点t的出度，Wc为一个可训练的权重矩阵，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作。
双向交互门如公式12所示：
Figure GDA0003095255530000082
fgb(h,t)为双向交互门函数，δ(·)为sigmoid函数，d为节点t的出度，⊙为元素的乘法运算符，em,h表示在模态m中自我节点h的嵌入；em,t表示在模态m中自我节点h的相邻节点t的嵌入；T表示内积操作。
注意力机制如公式13所示，用于学习不同节点的重要性：
fa(h,t)＝(Wm,hem,h)Ttanh(Wm,tem,t) 公式13
在本实施中，将其简化为使用内积来计算注意力权重，它反映了两个节点间的亲和力，接着使用softmax函数归一化所有邻节点的注意力权重。改进后的fa(h,t)函数如公式14所示：
Figure GDA0003095255530000083
在获得门得分和注意力得分之后，对fg(h,t)fa(h,t)进行求积，以模态的粒度传播用户兴趣偏好的信息。具体地，fg(h,t)来决定是否将各模态的资源信息传递给目标用户，fa(h,t)用来学习这些资源对用户表示的不同贡献度。
语义分析模型采用门控注意力机制来实现信息流的加权和传递，这部分主要是可视化节点的门控注意力机制值。本实施例拓展了传统的基于注意力机制来刻画邻节点权重的方法，融合了社交大数据的多模态特征，考虑了节点和模态两个方面的差异性，更加细致全面地刻画了注意力机制值。改进的主要步骤如下：
步骤一、随机选择一个用户节点，对其十个相邻资源节点进行采样。再根据是否包含文本模态、听觉模态、视觉模态的特征，将邻节点分为三类；
步骤二、分类完成后，对单模态数据进行嵌入表示，生成E＝{ei,em,i}；
步骤三、把嵌入E输入到训练模型，经过门控注意力机制的处理，输出特定模态下各个节点的注意力机制值ym,i；
步骤四、将输出的值进行归一化处理到0和1的数值范围内。
本实施通过可视化的表示以直观地反映不同节点的重要性，有利于指导信息传递，并能从交互记录中分析出用户偏好；另一方面，一个节点在不同模态中的特征也具有不同的重要性，这可以为资源推荐系统提供参考。
将上述实施过程应用于实际情况时，假设某个社交网络中参与的用户为U＝(u1,u2,...,uN)，相关资源为I＝(i1,i2,...,iM)，目的是想要预测学生un和资源im之间的交互关系。由于涉及多种模态m，该多模态m包括文本、听觉和视觉等模态。模态间的差异性会对建模造成影响，因此首先对社交数据根据模态分类，构造多模态交互图，再将深度语义分析的结果eh作为输入进行预测，整体流程如下：
找到社交网络中与学生un和资源im存在交互记录的所有用户和资源，获取这些用户和资源的ID信息，特征数据，以及他们各自的交互记录；
把以上信息输入到平台，平台会构造社交网络图G，进一步根据不同模态的特征进行分类，最终输出一张多模态交互图Gm；
把多模态交互图Gm输入深度语义分析模型，得到融合了多模态特征的语义信息eh；
根据eh计算并输出交互可能性
Figure GDA0003095255530000091
综上可知，上述实施例能实现模态粒度的用户偏好识别，促进信息在不同模态交互图间的传递，提升语义分析结果的准确性和预测精度。
本发明实施例提供了一种基于多模态图神经网络的语义分析系统，包括：
采集模块，用于采集社交数据，所述社交数据包括用户数据和资源数据；
图构建模块，用于根据所述社交数据构建多模态交互图；
模型构建模块，用于构建语义分析模型，所述语义分析模型包括门控注意力机制；
分析模块，用于采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种基于多模态图神经网络的语义分析系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行图1所示的基于多模态图神经网络的语义分析方法。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行图1所示的基于多模态图神经网络的语义分析方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (8)

1.一种基于多模态图神经网络的语义分析方法，其特征在于，包括以下步骤：
采集社交数据，所述社交数据包括用户数据和资源数据；
根据所述社交数据构建多模态交互图；
构建语义分析模型，所述语义分析模型包括门控注意力机制；
采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态；
其中，所述用户数据包括用户ID数据，所述资源数据包括资源ID数据；所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态，包括嵌入步骤、信息传递步骤和预测步骤；
所述嵌入步骤包括：
将所述用户ID数据和所述资源ID数据嵌入所述语义分析模型；
所述信息传递步骤包括：
根据聚合的特征和单模态交互图更新多模态交互图节点；
根据语义分析模型中各层间的高阶连通性更新多模态交互图的节点表示；
在确定更新完每个模态的节点表示后，合并不同模态的表达式；
所述预测步骤包括：
根据合并后的表达式判断用户数据与资源数据的交互状态。
2.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述根据所述社交数据构建多模态交互图，包括：
根据模态类型对所述资源数据进行分类，所述模态类型包括文本模态、图像模态和视频模态；
根据用户数据和分类后的资源数据构建多模态交互图。
3.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述用户数据还包括用户偏好数据；所述资源数据还包括资源特征数据；将所述用户偏好数据和所述资源特征数据作为单模态交互图中的节点特征。
4.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，在所述信息传递步骤中通过门控注意力机制控制信息流，所述门控注意力机制包括传递门和注意力机制。
5.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述根据合并后的表达式判断用户数据与资源数据的交互状态，其具体为：
将用户数据和资源数据的表达式进行内积，得到用户数据与资源数据的交互状态。
6.一种基于多模态图神经网络的语义分析系统，其特征在于，包括：
采集模块，用于采集社交数据，所述社交数据包括用户数据和资源数据；
图构建模块，用于根据所述社交数据构建多模态交互图；
模型构建模块，用于构建语义分析模型，所述语义分析模型包括门控注意力机制；
分析模块，用于采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态；
其中，所述用户数据包括用户ID数据，所述资源数据包括资源ID数据；所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态，包括嵌入步骤、信息传递步骤和预测步骤；
所述嵌入步骤包括：
将所述用户ID数据和所述资源ID数据嵌入所述语义分析模型；
所述信息传递步骤包括：
根据聚合的特征和单模态交互图更新多模态交互图节点；
根据语义分析模型中各层间的高阶连通性更新多模态交互图的节点表示；
在确定更新完每个模态的节点表示后，合并不同模态的表达式；
所述预测步骤包括：
根据合并后的表达式判断用户数据与资源数据的交互状态。
7.一种基于多模态图神经网络的语义分析系统，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-5任一项所述的基于多模态图神经网络的语义分析方法。
8.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述的基于多模态图神经网络的语义分析方法。
CN202110239109.0A 2021-03-04 2021-03-04 基于多模态图神经网络的语义分析方法、系统和存储介质 Active CN113191154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110239109.0A CN113191154B (zh) 2021-03-04 2021-03-04 基于多模态图神经网络的语义分析方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110239109.0A CN113191154B (zh) 2021-03-04 2021-03-04 基于多模态图神经网络的语义分析方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN113191154A CN113191154A (zh) 2021-07-30
CN113191154B true CN113191154B (zh) 2022-02-15

Family

ID=76973070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110239109.0A Active CN113191154B (zh) 2021-03-04 2021-03-04 基于多模态图神经网络的语义分析方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113191154B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642332B (zh) * 2021-08-11 2023-11-14 福州大学 一种融合多级语义信息的多模态讽刺识别系统方法
CN115545960B (zh) * 2022-12-01 2023-06-30 江苏联弘信科技发展有限公司 一种电子信息数据交互系统及方法
CN116561446B (zh) * 2023-07-10 2023-10-20 中国传媒大学 多模态项目推荐方法、系统及设备和存储介质
CN116883608B (zh) * 2023-09-05 2023-12-12 武汉纺织大学 一种多模态数字人社交属性控制方法及相关装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094232A1 (en) * 2016-11-17 2018-05-24 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
CN111046668B (zh) * 2019-12-04 2023-09-22 北京信息科技大学 多模态文物数据的命名实体识别方法与装置
CN111400591B (zh) * 2020-03-11 2023-04-07 深圳市雅阅科技有限公司 资讯信息推荐方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113191154A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113191154B (zh) 基于多模态图神经网络的语义分析方法、系统和存储介质
Li et al. Image sentiment prediction based on textual descriptions with adjective noun pairs
Sang et al. Context-dependent propagating-based video recommendation in multimodal heterogeneous information networks
Liu et al. Sentiment recognition for short annotated GIFs using visual-textual fusion
CN104484815A (zh) 基于模糊本体面向产品方面的情感分析方法及系统
CN112966091B (zh) 一种融合实体信息与热度的知识图谱推荐系统
Chen et al. Label-free node classification on graphs with large language models (llms)
CN110245310B (zh) 一种对象的行为分析方法、装置及存储介质
CN113392651A (zh) 训练词权重模型及提取核心词的方法、装置、设备和介质
Eberhard et al. Evaluating narrative-driven movie recommendations on reddit
Amara et al. Cross-network representation learning for anchor users on multiplex heterogeneous social network
Khan et al. Comparative analysis on Facebook post interaction using DNN, ELM and LSTM
Mirtalaie et al. Sentiment analysis of specific product’s features using product tree for application in new product development
CN112819024A (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
Shen et al. Opinion evolution and dynamic trust-driven consensus model in large-scale group decision-making under incomplete information
Clarizia et al. A sentiment analysis approach for evaluation of events in field of cultural heritage
CN117391497A (zh) 一种新闻稿件质量主客观评分一致性评价方法及系统
CN111382232A (zh) 问答信息处理方法、装置及计算机设备
Lou et al. The diversity of canonical and ubiquitous progress in computer vision: A dynamic topic modeling approach
Hao et al. Deep collaborative online learning resource recommendation based on attention mechanism
Haymaker et al. Inference-assisted choosing by advantages
Zeng Application of conditional random field model based on machine learning in online and offline integrated educational resource recommendation
CN111177493B (zh) 数据处理方法、装置、服务器和存储介质
Liu Usability of Computer‐Aided Translation Software Based on Deep Learning Algorithms
CN111444338A (zh) 文本处理、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant