CN115759183B - 一种多结构文本图神经网络的相关方法和相关装置 - Google Patents

一种多结构文本图神经网络的相关方法和相关装置 Download PDF

Info

Publication number
CN115759183B
CN115759183B CN202310016212.8A CN202310016212A CN115759183B CN 115759183 B CN115759183 B CN 115759183B CN 202310016212 A CN202310016212 A CN 202310016212A CN 115759183 B CN115759183 B CN 115759183B
Authority
CN
China
Prior art keywords
node
nodes
layer
neural network
structure text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310016212.8A
Other languages
English (en)
Other versions
CN115759183A (zh
Inventor
赵坤
王立
李仁刚
赵雅倩
范宝余
鲁璐
郭振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202310016212.8A priority Critical patent/CN115759183B/zh
Publication of CN115759183A publication Critical patent/CN115759183A/zh
Application granted granted Critical
Publication of CN115759183B publication Critical patent/CN115759183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)
  • Character Discrimination (AREA)

Abstract

本申请公开了一种多结构文本图神经网络的相关方法和相关装置，该方法包括：基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；将正负样本之间的距离越来越远为目标构造对比损失函数；基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络。以提高对多结构文本进行处理的效果，提高推理准确度。

Description

一种多结构文本图神经网络的相关方法和相关装置
技术领域
本申请涉及，特别涉及一种多结构文本图神经网络的训练方法、推理方法、另一种多结构文本图神经网络的训练方法、另两种多结构文本图神经网络的推理方法、多结构文本图神经网络的训练装置、多结构文本图神经网络的推理装置、服务器以及计算机可读存储介质。
背景技术
随着信息技术的不断发展，在越来越多的领域中可以应用人工智能技术，以提高对数据进行处理的效率和效果。其中，在文本数据和图像数据的识别领域中，可以采用对应的模型进行识别，得到回归结果或分类结果。
相关技术中，在多模态领域中需要对多结构文本进行处理。其中多结构文本指的是文本可以按照其语义不同，划分为多种结构类别。一般采用的推理网络无法对多结构文本进行有效的处理，降低了对多结构文本进行处理的效果，存在推理准确度较低的问题。
因此，如何提高对多结构文本进行处理的效果，提高推理准确度是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种多结构文本图神经网络的训练方法、推理方法、另一种多结构文本图神经网络的训练方法、另两种多结构文本图神经网络的推理方法、多结构文本图神经网络的训练装置、多结构文本图神经网络的推理装置、服务器以及计算机可读存储介质，以提高对多结构文本进行处理的效果，提高推理准确度。
为解决上述技术问题，本申请提供一种多结构文本图神经网络的训练方法，包括：
基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；
将正负样本之间的距离越来越远为目标构造对比损失函数；
基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络。
可选的，所述提取节点特征层，用于对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
所述构建连接关系层，用于将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
所述构建图层，用于基于每个节点之间的连接关系构建出所述节点对应的图神经网络；
所述构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
可选的，所述提取节点特征层，具体用于对所述多结构文本的文本信息进行特征编码，得到每个文字的特征向量，通过注意力网络对所述文本信息的所有特征向量进行处理，得到所述多结构文本的文本信息的特征编码。
可选的，将正负样本之间的距离越来越远为目标构造对比损失函数，包括：
建立对应节点的正样本组，并基于所述正样本组建立对应的负样本组；
将所述正样本组与所述负样本组之间的距离越来越远作为目标构造所述对比损失函数。
可选的，基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络，包括：
基于所述训练数据和所述对比损失函数对所述初始多结构文本图神经网络进行迭代训练，直至所述对比损失函数收敛，得到所述多结构文本图神经网络。
可选的，将正负样本之间的距离越来越远为目标构造对比损失函数，包括：
将与目标节点相连的邻居节点构成正样本组，将除正样本组之外的样本及其邻居节点组成负样本组；
以所述正样本组和所述负样本组之间的距离越来越大作为目标构造第一对比损失函数；
对每个节点构建均方差损失函数；
将所述第一对比损失函数与所述均方差损失函数的和作为所述对比损失函数。
可选的，将与目标节点相连的邻居节点构成正样本组，包括：
基于所述目标节点与其他节点之间的连接关系，确定所述目标节点的邻居节点；
将所有所述邻居节点作为所述正样本组。
可选的，将除正样本组之外的样本及其邻居节点组成负样本组，包括：
确定参与推理计算的所有节点的集合；
将所有节点的集合减去所述正样本组的节点，得到所述夫样本组。
可选的，以所述正样本组和所述负样本组之间的距离越来越大作为目标构造第一对比损失函数，包括：
遍历每个节点，得到每个节点的正样本组和负样本组；
针对每个节点以所述正样本组和所述负样本组之间的距离越来越大作为目标构造所述第一对比损失函数。
可选的，对每个节点构建均方差损失函数，包括：
基于网络的任务类型对每个节点构建均方差损失函数；其中，任务类型包括分类任务和回归任务。
本申请还提供一种多结构文本图神经网络的推理方法，包括：
基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
可选的，基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征，包括：
对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
基于每个节点之间的连接关系构建出所述节点对应的图神经网络；
基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
可选的，对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码，包括：
对所述多结构文本的文本信息进行特征编码，得到每个文字的特征向量；
通过注意力网络对所述文本信息的所有特征向量进行处理，得到所述多结构文本的文本信息的特征编码。
本申请还提供一种多结构文本图神经网络的训练方法，包括：
客户端向服务器发送网络训练指令，以便所述服务器基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；将正负样本之间的距离越来越远为目标构造对比损失函数；基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络；发送所述多结构文本图神经网络；
客户端接收到所述多结构文本图神经网络，并显示训练完成消息。
本申请还提供一种多结构文本图神经网络的推理方法，包括：
客户端向服务器输入待检索数据，以便所述服务器基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到并发送推理结果；其中，推理结果为分类结果或预测结果；
客户端接收到所述推理结果，并显示所述推理结果。
本申请还提供一种多结构文本图神经网络的推理方法，包括：
服务器接收到客户端输入的多结构文本；
基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果；
向所述客户端发送所述推理结果，以便所述客户端显示所述推理结果。
本申请还提供一种多结构文本图神经网络的训练装置，包括：
图网络构建模块，用于基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；
损失函数构建模块，用于将正负样本之间的距离越来越远为目标构造对比损失函数；
网络训练模块，用于基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络。
本申请还提供一种多结构文本图神经网络的推理装置，包括：
特征提取模块，用于基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
推理模块，用于基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的多结构文本图神经网络的训练方法的步骤和/或多结构文本图神经网络的推理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的多结构文本图神经网络的训练方法的步骤和/或多结构文本图神经网络的推理方法的步骤。
本申请所提供的一种多结构文本图神经网络的训练方法，包括：基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；将正负样本之间的距离越来越远为目标构造对比损失函数；基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络。
通过构建的初始多结构文本图神经网络，包括了提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，然后再将正负样本之间的距离越来越远为目标构造对比损失函数，最后进行训练，得到可以处理多结构文本数据的多结构文本图神经网络，实现了对多结构文本数据进行高效处理，提高了多结构文本的推理准确性。
本申请还提供一种多结构文本图神经网络的推理方法、另一种多结构文本图神经网络的训练方法、另两种多结构文本图神经网络的推理方法、多结构文本图神经网络的训练装置、多结构文本图神经网络的推理装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不作赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种多结构文本图神经网络的训练方法的流程图；
图2为本申请实施例所提供的一种多节点路径的示意图；
图3为本申请实施例所提供的一种注意力网络的结构示意图；
图4为本申请实施例所提供的一种节点连接的结构示意图；
图5为本申请实施例所提供的一种多结构文本图神经网络的训练装置的结构示意图；
图6为本申请实施例所提供的一种多结构文本图神经网络的推理装置的结构示意图；
图7本申请实施例所提供的一种服务器的结构示意图。
具体实施方式
本申请的核心是提供一种多结构文本图神经网络的训练方法、推理方法、另一种多结构文本图神经网络的训练方法、另两种多结构文本图神经网络的推理方法、多结构文本图神经网络的训练装置、多结构文本图神经网络的推理装置、服务器以及计算机可读存储介质，以提高对多结构文本进行处理的效果，提高推理准确度。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，在多模态领域中需要对多结构文本进行处理。其中多结构文本指的是文本可以按照其语义不同，划分为多种结构类别。一般采用的推理网络无法对多结构文本进行有效的处理，降低了对多结构文本进行处理的效果，存在推理准确度较低的问题。
因此，本申请提供一种多结构文本图神经网络的训练方法，通过构建的初始多结构文本图神经网络，包括了提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，然后再将正负样本之间的距离越来越远为目标构造对比损失函数，最后进行训练，得到可以处理多结构文本数据的多结构文本图神经网络，实现了对多结构文本数据进行高效处理，提高了多结构文本的推理准确性。
以下通过一个实施例，对本申请提供的一种多结构文本图神经网络的训练方法进行说明。
请参考图1，图1为本申请实施例所提供的一种多结构文本图神经网络的训练方法的流程图。
本实施例中，该方法可以包括：
S101，基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；
本步骤旨在基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层。
其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层。提高了对多结构文本数据进行处理的准确性和精度，进一步的，提高了多媒体数据进行处理的效果。
进一步的，提取节点特征层，用于对多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
构建连接关系层，用于将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
构建图层，用于基于每个节点之间的连接关系构建出节点对应的图神经网络；
构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
可见，通过上各个层之间的操作实现了对多结构文本的处理，提高了处理的效果，可以有效的从多结构文本中提取出文本的特征。
进一步的，该提取节点特征层，具体用于对多结构文本的文本信息进行特征编码，得到每个文字的特征向量，通过注意力网络对文本信息的所有特征向量进行处理，得到多结构文本的文本信息的特征编码。
S102，将正负样本之间的距离越来越远为目标构造对比损失函数；
在S101的基础上，本步骤旨在将正负样本之间的距离越来越远为目标构造对比损失函数。也就是，在构建了网络的基础上构造训练采用的目标函数。
进一步的，本步骤可以包括：
步骤1，建立对应节点的正样本组，并基于正样本组建立对应的负样本组；
步骤2，将正样本组与负样本组之间的距离越来越远作为目标构造对比损失函数。
可见，本可选方案中主要是说明如何构造目标函数。本可选方案中，建立对应节点的正样本组，并基于正样本组建立对应的负样本组，然后将正样本组与负样本组之间的距离越来越远作为目标构造对比损失函数。
进一步的，本步骤也可以包括：
步骤1，将与目标节点相连的邻居节点构成正样本组，将除正样本组之外的样本及其邻居节点组成负样本组；
步骤2，以所述正样本组和所述负样本组之间的距离越来越大作为目标构造第一对比损失函数；
步骤3，对每个节点构建均方差损失函数；
步骤4，将所述第一对比损失函数与所述均方差损失函数的和作为所述对比损失函数。
可见，本可选方案中主要是说明如何构造损失函数。其中，该对比损失函数包括第一对比损失函数与均方差损失函数，有效的提高了进行训练的效果。
S103，基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络。
在S102的基础上，本步骤旨在基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络。
其中，多结构文本图神经网络的推理结果并不做限定，可以是对多结构文本进行分类后得到的分类结果，也可以是对多结构文本进行预测得到的预测结果。
进一步的，本步骤可以包括：
基于训练数据和对比损失函数对初始多结构文本图神经网络进行迭代训练，直至对比损失函数收敛，得到多结构文本图神经网络。
综上，本实施例通过构建的初始多结构文本图神经网络，包括了提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，然后再将正负样本之间的距离越来越远为目标构造对比损失函数，最后进行训练，得到可以处理多结构文本数据的多结构文本图神经网络，实现了对多结构文本数据进行高效处理，提高了多结构文本的推理准确性。
以下通过另一实施例，对本申请提供的一种多结构文本图神经网络的推理方法做进一步说明。
本实施例中，该方法可以包括：
S201，基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
本步骤旨在对多结构文本进行特征提取。本步骤中，基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征。其中，特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层。通过对多结构文本建立对应的图结构，实现了对多结构文本的有效处理，可以提高进行推理的准确性。
进一步的，本步骤可以包括：
步骤1，对多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
步骤2，将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
步骤3，基于每个节点之间的连接关系构建出节点对应的图神经网络；
步骤4，基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
可见，本申请技术方案所解决的技术问题位如何对多结构文本进行特征提取。本可选方案中，对多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；基于每个节点之间的连接关系构建出节点对应的图神经网络；基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
其中，对多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码，可以包括：
对多结构文本的文本信息进行特征编码，得到每个文字的特征向量；通过注意力网络对文本信息的所有特征向量进行处理，得到多结构文本的文本信息的特征编码。
S202，基于多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
在S201的基础上，本步骤旨在基于多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
可见，本实施例中通过构建的初始多结构文本图神经网络，包括了提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，然后再将正负样本之间的距离越来越远为目标构造对比损失函数，最后进行训练，得到可以处理多结构文本数据的多结构文本图神经网络，实现了对多结构文本数据进行高效处理，提高了多结构文本的推理准确性。
以下通过另一实施例，对本申请提供的一种多结构文本图神经网络的训练方法做进一步说明。
本实施例中，该方法可以包括：
S301，客户端向服务器发送网络训练指令，以便服务器基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；将正负样本之间的距离越来越远为目标构造对比损失函数；基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络；发送多结构文本图神经网络；
S302，客户端接收到多结构文本图神经网络，并显示训练完成消息。
可见，本实施例中客户端通过发送网络训练指令，服务器基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征。其中，特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层。通过对多结构文本建立对应的图结构，实现了对多结构文本的有效处理，可以提高进行推理的准确性。
以下通过另一实施例，对本申请提供的一种多结构文本图神经网络的推理方法做进一步说明。
本实施例中，该方法可以包括：
S401，客户端向服务器输入待检索数据，以便服务器基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；基于多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到并发送推理结果；其中，推理结果为分类结果或预测结果；
S402，客户端接收到推理结果，并显示推理结果。
可见，本实施例从客户端的一侧说明了如何进行推理，提高了多结构文本的推理效果。
以下通过另一实施例，对本申请提供的一种多结构文本图神经网络的推理方法做进一步说明。
本实施例中，该方法可以包括：
S501，服务器接收到客户端输入的多结构文本；
S502，基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
S503，基于多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果；
S504，向客户端发送推理结果，以便客户端显示推理结果。
可见，本实施例从服务器的一侧说明了如何进行推理，提高了多结构文本的推理效果。
以下通过另一具体的实施例，对本申请提供的一种多结构文本图神经网络的训练方法做进一步说明。
第一部分，多结构文本图神经网络构建。
本实施例中，以菜谱的多结构文本举例，但是其它文本应用领域也适用。
1）对数据及其多结构语义信息进行选择。
针对每道菜，有多种类型数据构成，在本实施例中应用三种：主料、工艺、做菜步骤文本。本实施例采用的多结构文本中的每道菜都包含这三项信息。
2）根据筛选处的语义信息建立合理的多节点路径，至少包含2条。
请参考图2，图2为本申请实施例所提供的一种多节点路径的示意图。
请参考图2中，图2中构建2种类型的路径，菜名—主材—菜名、菜名—工艺—菜名。其中，构建方式，只要该菜名或做菜步骤文本中出现主材信息，则该道菜就与该主材节点相连接。
只要该菜名或做菜步骤文本中出现某一个烹饪方式的关键字，如煎、炒、煮、炸等，则该道菜就与该工艺节点相连接。遍历所有样本，完成如图2多节点路径的建立。
3）构建图神经网络。
构建图神经网络包括：A）构建图神经网络节点及其特征。B）构建各个节点之间的连接关系。
其中，构建图神经网络节点及其特征的步骤中，首先提取文本特征，获取每个菜谱的文本信息，在本实施例中包括菜名和步骤文本信息。
在本实施例中每一个道菜称为一个样本，包含菜名和步骤文本信息。获得每个样本的文本信息以后，使用word2vector方法将每个文字转换成特征向量。将所有文本的特征向量输入到注意力网络中，获取所有文字的最终特征表达，在本实施例中称为节点特征。一个节点的特征即一个样本所有文字的特征编码。
请参考图3，图3为本申请实施例所提供的一种注意力网络的结构示意图。
请参考图3，如图3中文本1代表菜名，文本2代表步骤文本，文本3在本实施例中未用。
对每一个文字用word2vector方法将每个文字转换成特征向量Emb。获取文本类型，在本实施例中，菜名代表文本类型1，如图3中的[1]。步骤文本代表文本类型2，如图3中的[2]所示。
获取文本位置信息，对于每种类型文本，获取每个文字在其所处的文本中的位置，如文本1“西红柿炒鸡蛋”，西的位置信息为1，红的位置信息为2，蛋的位置信息为6。依次获得所有文本（文本1、文本2）的及其文本中文字在文本中的对应位置信息。
文本的Emb特征与文本的位置信息特征、文本的类型信息特征3项相加，得到文本的最终的输入特征向量，将其输入到transformer网络中。
其中，注意力网络可以获得所有文字的输出特征向量，每个文字都对应自己输出的特征向量。
本实施例求取所有文字的输出特征向量的均值作为一个样本的节点特征。遍历所有样本，分别求取每个样本的节点特征。
B）构建各个节点之间的连接关系。
上述过程以每道菜为一个节点的图神经网络，下述过程对各个节点的近邻关系进行表示。
首先，建立路径节点。在本实施例中为主材节点、工艺节点。
例如，主材节点包括：西红柿、黄瓜、鱼、肉等等。
工艺节点包括：煎、炒、煮、炸。
可以构建2种类型的路径，菜名—主材—菜名、菜名—工艺—菜名。
其中，菜名即为1道菜、1个样本、1个节点。
进一步的，遍历每个菜（每个节点），对每个节点建立与路径节点的连接，即每个节点与其主材节点和工艺节点连接。
请参考图4，图4为本申请实施例所提供的一种节点连接的结构示意图。
如图4中，所有有西红柿的菜与主材西红柿连接，所有炒的节点与工艺节点炒连接。
根据如图4建立的图神经网络及其近邻关系进行图神经网络计算。
如图4所示，中间的节点为样本节点，需要确定样本节点相互之间的近邻关系，用连接关系数来表示。如果任意两个节点之间有路径连接（任意路径），则称为这2个节点之间是近邻的。任意两个节点之间通过任意连接关系相连接的数量称为连接数。例如：西红柿炒鸡蛋和西红柿鸡蛋汤是近邻的，且连接数为2（西红柿、鸡蛋）。有些样本主材有很多，连接关系常常大于2。
然后，进行图神经网络的计算：
在上面已经构建的图结构，基本的图结构定义为：
Figure 156591DEST_PATH_IMAGE001
，其中，V代表图神经神经网络节点集合
Figure 123410DEST_PATH_IMAGE002
，其中
Figure 363898DEST_PATH_IMAGE003
代表节点特征=
Figure 284843DEST_PATH_IMAGE004
；E代表图神经神经网络连接关系
Figure 636190DEST_PATH_IMAGE005
（即节点之间有连接关系，且连接数代表连接强度，即近邻程度），
Figure 457515DEST_PATH_IMAGE006
代表连接强度，即第i节点和第j节点之间的连接数。
Figure 868905DEST_PATH_IMAGE007
代表邻接矩阵，其中每个元素代表
Figure 775681DEST_PATH_IMAGE008
表示节点
Figure 665140DEST_PATH_IMAGE009
之间的连接关系。
依次遍历每个节点。对节点
Figure 606551DEST_PATH_IMAGE010
与其他所有节点之间根据连接数降序排序，截取
Figure 188842DEST_PATH_IMAGE010
节点前K个最相似的（连接数最大）的节点集合S，称为该节点的邻居。考虑到不同邻居节点的重要性不同，对该节点各个相连的边赋予权重信息，计算公式如下：
Figure 347029DEST_PATH_IMAGE011
。
其中，构造的图可以用一个邻接矩阵A反映任意两个节点之间的关系。若
Figure 774599DEST_PATH_IMAGE012
=0则表示节点
Figure 570517DEST_PATH_IMAGE013
和
Figure 323709DEST_PATH_IMAGE014
之间没有连接。
最后，图神经网络的计算：
本部分讲解如何使用图神经网络获取邻居节点间的互补信息，得到更鲁棒性的节点特征表示。
图结构数据的计算是对某一个顶点和其邻居节点加权求和的过程。图神经网络计算过程可被定义为：
Figure 205077DEST_PATH_IMAGE015
V代表图神经神经网络节点集合
Figure 701918DEST_PATH_IMAGE016
，其中
Figure 352342DEST_PATH_IMAGE017
代表节点特征=
Figure 10857DEST_PATH_IMAGE018
。
其中，A是邻接矩阵，代表两个节点之间是否有边及其连接强调。Z代表图神经网络计算后的新特征。
进一步的，对于每一层图神经网络
Figure 880986DEST_PATH_IMAGE019
，其中上标l代表第l层。
其计算公式如下：
Figure 119200DEST_PATH_IMAGE020
，
Figure 889710DEST_PATH_IMAGE021
，
Figure 719126DEST_PATH_IMAGE022
。
其中，
Figure 575086DEST_PATH_IMAGE023
代表第l层图神经网络节点的特征，在第一层图神经网络，该值为V。
Figure 413729DEST_PATH_IMAGE024
矩阵是对角阵，对角元素计算如对应公式所示。
Figure 773167DEST_PATH_IMAGE025
代表本层需要训练的网络参数。
Figure 803177DEST_PATH_IMAGE026
是本层图神经网络更新完毕后的节点特征。
最后，进行损失函数设计，新型对比损失函数构建。
因此，经过多层的图神经网络计算，更新了所有节点的特征。下面构建一种新型对比损失函数。
步骤如下：
步骤1，输入一批数据进行计算，即选取X个节点特征。
步骤2，建立每个节点对应的正样本组和负样本组。
步骤3，正样本组的建立方法是遍历X个节点，获取与该节点相连的邻居节点（根据连接关系），所有与该节点相连的邻居节点特征构成正样本组。这个实施例点在于，通过路径不同建立了多邻居节点，不同路径可以建立多个邻居节点，构成正样本组P。每个样本都有自己的正样本组。
步骤4，负样本组的建立方法是将该次计算所有的X个节点及其邻居节点集中，构成所有节点特征集合M。对于第x节点来说，其负样本组为M-P=N,即所有节点特征集合减去该节点的正样本组节点特征。
步骤5，依次遍历每个节点特征，共遍历X次，获取每个节点的正样本组
Figure 880855DEST_PATH_IMAGE027
和负样本组
Figure 523189DEST_PATH_IMAGE028
。
步骤6，使用以下函数计算损失：
Figure 2711DEST_PATH_IMAGE029
。
步骤7，计算每个样本的均方误差损失函数MSE。
由于本实施例可应用于分类任务和回归任务，例如，对于菜肴类，可以对菜肴卡路里含量进行回归预测，建立了如下损失。
对于每个节点特征，本实施例将其输入到一个全连接层中：
Figure 439509DEST_PATH_IMAGE030
。
其中，fc代表全连接层，本实施例通过全连接层将特征映射成为一个标量数字，
Figure 738903DEST_PATH_IMAGE031
为其输出，其取值范围为[0,1]。该数值代表该菜肴的卡路里含量。
下面对该数值进行回归，对应的公式为：
Figure 919349DEST_PATH_IMAGE032
其中，
Figure 567892DEST_PATH_IMAGE033
代表第x样本的真实的卡路里含量。
步骤8，对于本实施例最终的损失函数为：
Figure 175591DEST_PATH_IMAGE034
最后，用以上loss函数在训练中，进行梯度反传，对图神经网络进行参数更新。
其中，训练过程可以包括：
构建基于图神经网络，包括提取节点特征、构建图、构建邻居、构建连接关系。
建立损失函数
Figure 477129DEST_PATH_IMAGE035
。
根据如上损失函数对网络进行训练，使其收敛。
具体的，该网络训练过程如下：图神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。训练过程为：
1、所有网络层权值进行初始化，一般采用随机初始化；
2、输入文本数据经过图神经网络、全连接层等各层的前向传播得到输出值；
3、求出网络的输出值，根据损失函数公式求取网络的损失值。
4、将误差反向传回网络中，依次求得网络各层：图神经网络层，全连接层等各层的反向传播误差。
5、网络各层根据各层的反向传播误差对网络中的所有权重系数进行调整，即进行权重的更新。
6、重新随机选取新的batch的图像文本数据，然后进入到第二步，获得网络前向传播得到输出值。
7、无限往复迭代，当求出网络的输出值与目标值（标签）之间的误差小于某个阈值，或者迭代次数超过某个阈值时，结束训练。
8、保存训练好的所有层的网络参数。
可见，本实施例通过构建的初始多结构文本图神经网络，包括了提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，然后再将正负样本之间的距离越来越远为目标构造对比损失函数，最后进行训练，得到可以处理多结构文本数据的多结构文本图神经网络，实现了对多结构文本数据进行高效处理，提高了多结构文本的推理准确性。
下面对本申请实施例提供的多结构文本图神经网络的训练装置进行介绍，下文描述的多结构文本图神经网络的训练装置与上文描述的多结构文本图神经网络的训练方法可相互对应参照。
请参考图5，图5为本申请实施例所提供的一种多结构文本图神经网络的训练装置的结构示意图。
本实施例中，该装置可以包括：
图网络构建模块110，用于基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；
损失函数构建模块120，用于将正负样本之间的距离越来越远为目标构造对比损失函数；
网络训练模块130，用于基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络。
下面对本申请实施例提供的多结构文本图神经网络的推理装置进行介绍，下文描述的多结构文本图神经网络的推理装置与上文描述的多结构文本图神经网络的推理方法可相互对应参照。
请参考图6，图6为本申请实施例所提供的一种多结构文本图神经网络的推理装置的结构示意图。
本实施例中，该装置可以包括：
特征提取模块210，用于基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；
推理模块220，用于基于多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
本申请还提供了一种服务器，请参考图7，图7本申请实施例所提供的一种服务器的结构示意图，该服务器可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时可实现如上述任意一种多结构文本图神经网络的训练方法的步骤。
如图7所示，为服务器的组成结构示意图，服务器可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器（Central Processing Unit，CPU）、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行异常IP识别方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；
将正负样本之间的距离越来越远为目标构造对比损失函数；
基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练，得到多结构文本图神经网络。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图7所示的结构并不构成对本申请实施例中服务器的限定，在实际应用中服务器可以包括比图7所示的更多或更少的部件，或者组合某些部件。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种多结构文本图神经网络的训练方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种多结构文本图神经网络的训练方法、推理方法、另一种多结构文本图神经网络的训练方法、另两种多结构文本图神经网络的推理方法、多结构文本图神经网络的训练装置、多结构文本图神经网络的推理装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (20)

1.一种多结构文本图神经网络的训练方法，其特征在于，包括：
基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；
将正负样本之间的距离越来越远为目标构造对比损失函数；
基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络；
所述加权计算的过程包括：
根据与节点
Figure QLYQS_1
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_2
的邻居，并依照如下公式对所述节点
Figure QLYQS_3
和所述前K个节点间的边进行加权计算：
Figure QLYQS_4
；
其中，
Figure QLYQS_5
表示节点
Figure QLYQS_6
之间的连接关系，并表征节点
Figure QLYQS_7
之间的边的权重信息；
Figure QLYQS_8
表示
Figure QLYQS_9
之间的连接数。
2.根据权利要求1所述的训练方法，其特征在于，所述提取节点特征层，用于对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
所述构建连接关系层，用于将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
所述构建图层，用于基于每个节点之间的连接关系构建出所述节点对应的图神经网络；
所述构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
3.根据权利要求1所述的训练方法，其特征在于，所述提取节点特征层，具体用于对所述多结构文本的文本信息进行特征编码，得到每个文字的特征向量，通过注意力网络对所述文本信息的所有特征向量进行处理，得到所述多结构文本的文本信息的特征编码。
4.根据权利要求1所述的训练方法，其特征在于，将正负样本之间的距离越来越远为目标构造对比损失函数，包括：
建立对应节点的正样本组，并基于所述正样本组建立对应的负样本组；
将所述正样本组与所述负样本组之间的距离越来越远作为目标构造所述对比损失函数。
5.根据权利要求1所述的训练方法，其特征在于，基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络，包括：
基于所述训练数据和所述对比损失函数对所述初始多结构文本图神经网络进行迭代训练，直至所述对比损失函数收敛，得到所述多结构文本图神经网络。
6.根据权利要求1所述的训练方法，其特征在于，将正负样本之间的距离越来越远为目标构造对比损失函数，包括：
将与目标节点相连的邻居节点构成正样本组，将除正样本组之外的样本及其邻居节点组成负样本组；
以所述正样本组和所述负样本组之间的距离越来越大作为目标构造第一对比损失函数；
对每个节点构建均方差损失函数；
将所述第一对比损失函数与所述均方差损失函数的和作为所述对比损失函数。
7.根据权利要求6所述的训练方法，其特征在于，将与目标节点相连的邻居节点构成正样本组，包括：
基于所述目标节点与其他节点之间的连接关系，确定所述目标节点的邻居节点；
将所有所述邻居节点作为所述正样本组。
8.根据权利要求6所述的训练方法，其特征在于，将除正样本组之外的样本及其邻居节点组成负样本组，包括：
确定参与推理计算的所有节点的集合；
将所有节点的集合减去所述正样本组的节点，得到所述负样本组。
9.根据权利要求6所述的训练方法，其特征在于，以所述正样本组和所述负样本组之间的距离越来越大作为目标构造第一对比损失函数，包括：
遍历每个节点，得到每个节点的正样本组和负样本组；
针对每个节点以所述正样本组和所述负样本组之间的距离越来越大作为目标构造所述第一对比损失函数。
10.根据权利要求6所述的训练方法，其特征在于，对每个节点构建均方差损失函数，包括：
基于网络的任务类型对每个节点构建均方差损失函数；其中，任务类型包括分类任务和回归任务。
11.一种多结构文本图神经网络的推理方法，其特征在于，包括：
基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，所述构建近邻关系层用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；
基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果；
所述加权计算的过程包括：
根据与节点
Figure QLYQS_10
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_11
的邻居，并依照如下公式对所述节点
Figure QLYQS_12
和所述前K个节点间的边进行加权计算：
Figure QLYQS_13
；
其中，
Figure QLYQS_14
表示节点
Figure QLYQS_15
之间的连接关系，并表征节点
Figure QLYQS_16
之间的边的权重信息，
Figure QLYQS_17
表示
Figure QLYQS_18
之间的连接数。
12.根据权利要求11所述的推理方法，其特征在于，基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征，包括：
对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码；
将每个样本作为节点，并基于每个节点的语义信息构建每个节点之间的连接关系；
基于每个节点之间的连接关系构建出所述节点对应的图神经网络；
基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征。
13.根据权利要求11所述的推理方法，其特征在于，对所述多结构文本的文本信息进行特征编码，得到每个样本对应的特征编码，包括：
对所述多结构文本的文本信息进行特征编码，得到每个文字的特征向量；
通过注意力网络对所述文本信息的所有特征向量进行处理，得到所述多结构文本的文本信息的特征编码。
14.一种多结构文本图神经网络的训练方法，其特征在于，包括：
客户端向服务器发送网络训练指令，以便所述服务器基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；将正负样本之间的距离越来越远为目标构造对比损失函数；基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络；发送所述多结构文本图神经网络；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；所述加权计算的过程包括：
根据与节点
Figure QLYQS_19
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_20
的邻居，并依照如下公式对所述节点
Figure QLYQS_21
和所述前K个节点间的边进行加权计算：
Figure QLYQS_22
；
其中，
Figure QLYQS_23
表示节点
Figure QLYQS_24
之间的连接关系，并表征节点
Figure QLYQS_25
之间的边的权重信息；
Figure QLYQS_26
表示
Figure QLYQS_27
之间的连接数；
客户端接收到所述多结构文本图神经网络，并显示训练完成消息。
15.一种多结构文本图神经网络的推理方法，其特征在于，包括：
客户端向服务器输入待检索数据，以便所述服务器基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到并发送推理结果；其中，推理结果为分类结果或预测结果；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，所述构建近邻关系层用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；所述加权计算的过程包括：
根据与节点
Figure QLYQS_28
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_29
的邻居，并依照如下公式对所述节点
Figure QLYQS_30
和所述前K个节点间的边进行加权计算：
Figure QLYQS_31
；
其中，
Figure QLYQS_32
表示节点
Figure QLYQS_33
之间的连接关系，并表征节点
Figure QLYQS_34
之间的边的权重信息；
Figure QLYQS_35
表示
Figure QLYQS_36
之间的连接数；
客户端接收到所述推理结果，并显示所述推理结果。
16.一种多结构文本图神经网络的推理方法，其特征在于，包括：
服务器接收到客户端输入的多结构文本；
基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，所述构建近邻关系层用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；所述加权计算的过程包括：
根据与节点
Figure QLYQS_37
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_38
的邻居，并依照如下公式对所述节点
Figure QLYQS_39
和所述前K个节点间的边进行加权计算：
Figure QLYQS_40
；
其中，
Figure QLYQS_41
表示节点
Figure QLYQS_42
之间的连接关系，并表征节点
Figure QLYQS_43
之间的边的权重信息；
Figure QLYQS_44
表示
Figure QLYQS_45
之间的连接数；
基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果；
向所述客户端发送所述推理结果，以便所述客户端显示所述推理结果。
17.一种多结构文本图神经网络的训练装置，其特征在于，包括：
图网络构建模块，用于基于多结构文本的不同语义信息进行图网络构建，得到初始多结构文本图神经网络；其中，所述初始多结构文本图神经网络包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述构建近邻关系层，用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；所述加权计算的过程包括：
根据与节点
Figure QLYQS_46
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_47
的邻居，并依照如下公式对所述节点
Figure QLYQS_48
和所述前K个节点间的边进行加权计算：
Figure QLYQS_49
；
其中，
Figure QLYQS_50
表示节点
Figure QLYQS_51
之间的连接关系，并表征节点
Figure QLYQS_52
之间的边的权重信息；
Figure QLYQS_53
表示
Figure QLYQS_54
之间的连接数；
损失函数构建模块，用于将正负样本之间的距离越来越远为目标构造对比损失函数；
网络训练模块，用于基于所述对比损失函数和训练数据对所述初始多结构文本图神经网络进行训练，得到所述多结构文本图神经网络。
18.一种多结构文本图神经网络的推理装置，其特征在于，包括：
特征提取模块，用于基于多结构文本图神经网络的特征处理层对多结构文本进行处理，得到多个节点的节点特征；其中，所述多结构文本为按照其语义不同划分为多种结构类别的文本；其中，所述特征处理层包括提取节点特征层、构建连接关系层、构建图层以及构建近邻关系层，所述构建近邻关系层用于基于节点与节点之间的连接数对对应节点的图神经网络的边进行加权计算，得到对应的节点特征；所述连接数为节点与节点之间的路径数量；所述加权计算的过程包括：
根据与节点
Figure QLYQS_55
间的连接数对所有其他节点进行降序排序，截取排序结果中的前K个节点，将所述前K个节点作为所述节点
Figure QLYQS_56
的邻居，并依照如下公式对所述节点
Figure QLYQS_57
和所述前K个节点间的边进行加权计算：
Figure QLYQS_58
；
其中，
Figure QLYQS_59
表示节点
Figure QLYQS_60
之间的连接关系，并表征节点
Figure QLYQS_61
之间的边的权重信息；
Figure QLYQS_62
表示
Figure QLYQS_63
之间的连接数；
推理模块，用于基于所述多结构文本图神经网络的输出层对每个节点的节点特征进行推理，得到推理结果；其中，推理结果为分类结果或预测结果。
19.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至10、14任一项所述的多结构文本图神经网络的训练方法的步骤和/或11至13、15、16任一项所述的多结构文本图神经网络的推理方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10、14任一项所述的多结构文本图神经网络的训练方法的步骤和/或11至13、15、16任一项所述的多结构文本图神经网络的推理方法的步骤。
CN202310016212.8A 2023-01-06 2023-01-06 一种多结构文本图神经网络的相关方法和相关装置 Active CN115759183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310016212.8A CN115759183B (zh) 2023-01-06 2023-01-06 一种多结构文本图神经网络的相关方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310016212.8A CN115759183B (zh) 2023-01-06 2023-01-06 一种多结构文本图神经网络的相关方法和相关装置

Publications (2)

Publication Number Publication Date
CN115759183A CN115759183A (zh) 2023-03-07
CN115759183B true CN115759183B (zh) 2023-05-16

Family

ID=85348380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310016212.8A Active CN115759183B (zh) 2023-01-06 2023-01-06 一种多结构文本图神经网络的相关方法和相关装置

Country Status (1)

Country Link
CN (1) CN115759183B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116049459B (zh) * 2023-03-30 2023-07-14 浪潮电子信息产业股份有限公司 跨模态互检索的方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949713A (zh) * 2021-03-01 2021-06-11 武汉工程大学 一种基于复杂网络的集成学习的文本情感分类方法
CN113139654A (zh) * 2021-03-18 2021-07-20 北京三快在线科技有限公司 图神经网络模型的训练方法及装置
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
CN115238134A (zh) * 2022-07-11 2022-10-25 支付宝实验室(新加坡)有限公司 用于生成图数据结构的图向量表示的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263227B (zh) * 2019-05-15 2023-07-18 创新先进技术有限公司 基于图神经网络的团伙发现方法和系统
CN110705260B (zh) * 2019-09-24 2023-04-18 北京工商大学 一种基于无监督图神经网络结构的文本向量生成方法
CN111681059B (zh) * 2020-08-14 2020-11-13 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022074643A1 (en) * 2020-10-08 2022-04-14 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
CN112949713A (zh) * 2021-03-01 2021-06-11 武汉工程大学 一种基于复杂网络的集成学习的文本情感分类方法
CN113139654A (zh) * 2021-03-18 2021-07-20 北京三快在线科技有限公司 图神经网络模型的训练方法及装置
CN115238134A (zh) * 2022-07-11 2022-10-25 支付宝实验室(新加坡)有限公司 用于生成图数据结构的图向量表示的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multiview feature augmented neural network for knowledge graph embedding.《Knowledge-Based Systems Volume 》.2022,全文. *
基于神经网络的知识推理研究综述;张仲伟;曹雷;陈希亮;寇大磊;宋天挺;;计算机工程与应用(12);全文 *

Also Published As

Publication number Publication date
CN115759183A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN115858848B (zh) 图文互检方法及装置、训练方法及装置、服务器、介质
CN110263227A (zh) 基于图神经网络的团伙发现方法和系统
CN112508085A (zh) 基于感知神经网络的社交网络链路预测方法
US20200143243A1 (en) Multiobjective Coevolution of Deep Neural Network Architectures
Sun et al. Automatically evolving cnn architectures based on blocks
CN109120462A (zh) 机会网络链路的预测方法、装置及可读存储介质
CN116049459B (zh) 跨模态互检索的方法、装置、服务器及存储介质
JP2002230514A (ja) 進化的最適化方法
CN115759183B (zh) 一种多结构文本图神经网络的相关方法和相关装置
CN108228728A (zh) 一种参数化的论文网络节点表示学习方法
CN115775026B (zh) 一种基于组织相似度的联邦学习方法
Nannan et al. Adaptive online time series prediction based on a novel dynamic fuzzy cognitive map
CN112667920A (zh) 基于文本感知的社交影响力预测方法、装置及设备
CN115034379A (zh) 一种因果关系确定方法及相关设备
Xue et al. Hybrid resampling and weighted majority voting for multi-class anomaly detection on imbalanced malware and network traffic data
CN114579852A (zh) 一种基于图卷积网络与注意力机制的推荐方法
CN104035978A (zh) 社团发现方法及系统
CN115718869A (zh) 模型训练方法、系统、集群及介质
CN108304568A (zh) 一种房地产公众预期大数据处理方法及系统
Allias et al. A hybrid gini pso-svm feature selection based on taguchi method: an evaluation on email filtering
CN116306834A (zh) 一种基于全局路径感知图神经网络模型的链路预测方法
CN116543259A (zh) 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质
US11676050B2 (en) Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes
Ganesan et al. Hopfield differential evolution for multi-objective optimization of a cement-bonded sand mould system
Chen et al. Accelerating Gaussian bare-bones differential evolution using neighbourhood mutation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant