CN114692780A - 实体信息分类方法、分类模型训练方法、装置、电子设备 - Google Patents

实体信息分类方法、分类模型训练方法、装置、电子设备 Download PDF

Info

Publication number
CN114692780A
CN114692780A CN202210411335.7A CN202210411335A CN114692780A CN 114692780 A CN114692780 A CN 114692780A CN 202210411335 A CN202210411335 A CN 202210411335A CN 114692780 A CN114692780 A CN 114692780A
Authority
CN
China
Prior art keywords
determining
feature matrix
characterization
attention
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210411335.7A
Other languages
English (en)
Inventor
刘吉
冯博豪
李宇
周景博
许林丰
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210411335.7A priority Critical patent/CN114692780A/zh
Publication of CN114692780A publication Critical patent/CN114692780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种实体信息的分类方法、实体信息的分类模型的训练方法、装置、电子设备和介质，涉及数据处理领域，尤其涉及人工智能与图神经网络领域。一种实体信息的分类方法，包括：确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及至少基于所述注意力表征确定分类结果。

Description

实体信息分类方法、分类模型训练方法、装置、电子设备
技术领域
本公开涉及数据处理技术领域，尤其涉及人工智能与图神经网络，具体涉及一种实体信息的分类方法、实体信息的分类模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术：人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
在数据处理领域，经常需要对各种数据信息进行分类。例如，经常会面临对术语、专有名词、人员、公司或其他注册组织名称、地理位置信息、知识图谱信息等等数据信息按照其标签或者其他特征进行处理和分类的需求。希望获得一种有效地对实体信息进行分类的方法。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种实体信息的分类方法、实体信息的分类模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种实体信息的分类方法，包括：确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及至少基于所述注意力表征确定分类结果。
根据本公开的另一方面，提供了一种实体信息的分类模型的训练方法，包括：确定样本数据，所述样本数据包括图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；至少基于所述注意力表征确定预测分类结果；基于所述预测分类结果和所述真实分类结果确定损失值；以及基于所述损失值调节所述第一权重集合。
根据本公开的另一方面，提供了一种实体信息的分类装置，包括：矩阵确定单元，用于确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；线性变换单元，用于对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；注意力单元，用于基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及分类单元，用于至少基于所述注意力表征确定分类结果。
根据本公开的另一方面，提供了一种实体信息的分类模型的训练装置，包括：样本数据确定单元，用于确定样本数据，所述样本数据包括样本图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；线性变换单元，用于基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；注意力单元，用于基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；分类单元，用于至少基于所述注意力表征确定预测分类结果；损失确定单元，用于基于所述预测分类结果和所述真实分类结果确定损失值；以及权重调节单元，用于基于所述损失值调节所述第一权重集合。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的一个或多个实施例的实体信息的分类方法或实体信息的分类模型的训练方法。
根据本公开的一个或多个实施例，可以有效地对实体信息进行分类或获得一种能够有效地对实体信息进行分类的模型。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
图2示出了根据本公开的实施例的实体信息的分类方法的流程图；
图3示出了根据本公开的实施例的实体信息的分类模型的训练方法的流程图；
图4示出了根据本公开的实施例的实体信息的分类模型的训练方法可以适用于的模型的示意图；
图5示出了根据本公开的实施例的实体信息的分类装置的结构框图；
图6示出了根据本公开的实施例的实体信息的分类模型的训练装置的结构框图；
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
在本公开的实施例中，服务器120可以运行使得能够执行根据本公开的实体信息的分类方法或实体信息的分类模型的训练方法的一个或多个服务或软件应用。
在某些实施例中，服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。
用户可以使用客户端设备101、102、103、104、105和/或106来选择输入数据、控制对实体信息的分类、控制对分类模型的训练、查看分类结果、查看训练结果等。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备，但是本领域技术人员将能够理解，本公开可以支持任何数量的客户端设备。
客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、智能屏设备、自助服务终端设备、服务机器人、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作系统，例如MICROSOFT Windows、APPLE iOS、类UNIX操作系统、Linux或类Linux操作系统(例如GOOGLE Chrome OS)；或包括各种移动操作系统，例如MICROSOFT WindowsMobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序，例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序，并且可以使用各种通信协议。
网络110可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例，一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中，服务器120可以包括一个或多个应用程序，以分析和合并从客户端设备101、102、103、104、105和106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序，以经由客户端设备101、102、103、104、105和106的一个或多个显示设备来显示数据馈送和/或实时事件。
在一些实施方式中，服务器120可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器120也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大、业务扩展性弱的缺陷。
系统100还可以包括一个或多个数据库130。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据库130可以驻留在各种位置。例如，由服务器120使用的数据库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据库130可以是不同的类型。在某些实施例中，由服务器120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中，数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。
图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。
下面参考图2描述根据本公开的示例性实施例的实体信息的分类方法200。
在步骤S201处，确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的。
在步骤S202处，对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
在步骤S203处，基于所述经线性变换的特征矩阵确定所述图数据的注意力表征。
在步骤S204处，至少基于所述注意力表征确定分类结果。
根据本公开的实施例所述的方法，能够有效地对实体信息进行分类。
根据本公开的方法，通过将待分类的信息构建为图数据，节点表示实体信息，而实体之间的边能够反应实体信息之间的关系，继而构建嵌入向量来表征图节点，用邻接矩阵来构建邻居节点的特征信息。一方面，通过图数据的线性变换去除网络的非线性部分，能够限制过度平滑，保证了模型有效性。另一方面，结合注意力机制，用注意力机制来处理大小不一的输入数据，能够有效地提升对节点特征的提取，从而提升分类效果。
作为示例，定义用G＝(V，E)来表示一个图，V代表图的节点，E代表图的边。图的邻接矩阵用A∈RN×N来表示，特征矩阵用X∈RN×d来表示，其中N表示样本量，d表示输入的维度，例如特征数量。
对节点进行线性变换可以包括
Figure BDA0003603839690000071
其中W表示权重，并且l表示层数。可以理解，模型可以只有一层，或者模型可以包括多层。在模型包括多层的情况下，这样的线性变换尤其可以保证网络的深度特性而不至于过度平滑，但是这仅为示例，并且本公开并不限于模型(例如，神经网络)的层数。
由此，能够获得经线性变换的特征矩阵
Figure BDA0003603839690000081
随后，可以对经线性变换的特征矩阵
Figure BDA0003603839690000082
进行注意力机制的处理，例如如本领域技术人员所能够理解的各种注意力公式、策略或模型，并且获得图数据的注意力表征。
随后，可以将由此获得的图数据的注意力表征进行分类，例如采用如本领域技术人员所能够理解的各种分类模型或分类网络、识别模型或识别网络，以判断节点(实体信息)的类型。如本领域技术人员可以理解的，分类网络可以是GNN，也可以是其他分类器，并且本公开不限于此。
在各种领域中都会用到实体信息的分类，例如对人员的分类、对公司或者其他注册组织的分类、对地理信息的分类、对文档的分类、对术语和专用名词的分类等，并且在这里人员、公司或者其他注册组织、地理信息、文档、术语和专用名词等都可以被视为实体信息，并且可以基于实体信息之间的关系构建图数据。作为一个具体的非限制性示例，对于金融领域的反欺诈场景，可以构建金融数据节点图，用户作为节点，用户之间的关系(朋友、亲戚)等作为节点之间的边，并且还可以可选地包括用户的其他特征等，之后，通过将这样的图数据提取为矩阵，应用本公开的方法(例如，输入到预训练的模型中)，可以确定每个用户的类型(例如，风险等级)。可以理解的是，本公开不限于此。
在对实体信息进行分类时，可能会存在过拟合或者过度平滑的问题，尤其在数据分布不均衡的场景中，例如某些类别的实体信息很少，或者不同类别的实体信息数量差异很大，这样的缺点格外明显。根据本公开的实施例，通过利用注意力机制，并且结合模型的线性变换特征，能够有效地解决过拟合和过度平滑问题。
根据一些实施例，基于所述经线性变换的特征矩阵确定所述图数据的注意力表征可以包括：基于所述邻接矩阵确定转移矩阵；基于所述转移矩阵和所述经线性变换的特征矩阵生成所述图数据的节点表征；以及基于所述节点表征确定注意力表征。
在这样的实施例中，可以进一步确定转移矩阵，并且通过转移矩阵和特征矩阵进行聚合而生成节点的表征，再利用这样的节点表征结合注意力机制来计算注意力表征，能够有效聚焦在可预测推断任务中的最相关部分也即对分类任务来说最关键的节点特征。
转移矩阵
Figure BDA0003603839690000091
其中A是邻接矩阵，In是n阶单位矩阵，表示是一个n*n的方形矩阵，其主对角线元素为1，其余元素为0。D是度数矩阵，如本领域技术人员能够理解的，度数矩阵表示对角矩阵，其中包含的信息为的每一个顶点的度数，也就是说，每个顶点相邻的边数。它可以和邻接矩阵一起使用以构造图的拉普拉斯算子矩阵。具体地，给定图G＝(V，E)与|V|＝n，G的度数矩阵D是一个n*n的对角线矩阵，其定义为：
Figure BDA0003603839690000092
其中度数deg(vi)为这个顶点上的边的条数。在存在聚合步骤的情况下，节点的表征(也可以称为节点的中间表征)可以记为H^(k，l)∈RN×d(l)，其中k代表聚合步骤。
根据一些实施例，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征可以包括：基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
根据这样的实施例，构建了具有图扩散卷积特性的深度图神经网络，有助于网络的收敛，进而提升模型的有效性。
例如，确定至少一个经扩散的特征矩阵可以包括利用多跳邻居聚合在单层内执行图扩散过程。作为一个示例实施例，节点的表征
Figure BDA0003603839690000093
可以根据如下公式计算：
Figure BDA0003603839690000101
其中，l是层数，k表示聚合步骤，T(l)表示l层的转移矩阵，
Figure BDA0003603839690000102
Figure BDA0003603839690000103
并且
Figure BDA0003603839690000104
α可以是[0，1]中的数值，例如预先训练好的值。
根据一些实施例，所述注意力表征可以包括所述节点表征与邻居节点的隐含表征的加权和。
注意力表征结合节点本身的表征(并且根据一些可选实施例，可以是扩散表征)与邻居节点的隐含表征，能够更好地反映节点特征，从而使得分类结果更加准确。根据这样的实施例，注意力表征Hl可以被表示为：
Figure BDA0003603839690000105
其中，
Figure BDA0003603839690000106
是节点本身的表征，
Figure BDA0003603839690000107
是邻居节点的隐含表征，wa和wd是权重。
根据一些实施例，基于所述节点表征确定注意力表征可以包括利用多头注意力机制确定所述隐含表征。多头(multi-head)注意力机制将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，在图模型表现的效果更好。
根据一些示例实施例，可以利用下方公式根据自注意力策略来对邻居节点的隐含表征进行计算。
Figure BDA0003603839690000108
其中，M表示头(head)的数目，W表示权重，例如可以是根据预训练过程而获取的权重。αi，j表示节点j对节点i的归一化的注意力分值，并且可以被计算为：
Figure BDA0003603839690000111
其中，σ表示激活函数，Θ表示加权系数。
根据这样的示例实施例，最终层L的节点表示可以如下式所示，
Figure BDA0003603839690000112
其中各个表达式的含义如上文所述，并且在此不再赘述。可以理解的是，在节点本身的表征是扩散表征的可选实施例中，wa可以被称为注意力权重系数，并且wd可以被称为扩散权重系数。可以理解的是，本公开不限于此。
根据一些实施例，至少基于所述注意力表征确定分类结果可以包括基于所述节点表征与所述注意力表征的拼接确定分类结果。在这样的可选实施例中，可以将注意力机制的首尾进行连接，拼接未经过注意力机制表达的表征和经过注意力机制的表征作为节点的整体特征。这样的设计可以进一步防止模型的过度平滑，提高分类性能。
下面参考图3描述根据本公开的示例性实施例的实体信息的分类模型的训练方法300。
在步骤S301处，确定样本数据，所述样本数据包括图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果。
在步骤S302处，基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
在步骤S303处，基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征。
在步骤S304处，至少基于所述注意力表征确定预测分类结果。
在步骤S305处，基于所述预测分类结果和所述真实分类结果确定损失值。
在步骤S306处，基于所述损失值调节所述第一权重集合。
根据本公开的实施例所述的方法，能够获得一种能够有效地对实体信息进行分类的模型。尤其是，通过利用注意力机制，并且结合线性变换的网络结构，可以减少模型的训练时间，并且有效地解决过拟合和过度平滑问题。
参考前文中描述的其他实施例已经记载了对于图数据的特征矩阵、邻接矩阵和线性变换，并且在此不再赘述。可以理解的是，第一权重集合可以是如公式
Figure BDA0003603839690000121
中所述的权重W(l)，并且更具体地，第一权重集合可以包括一层或者多层(例如，所有层)的权重，并且本公开不限于此。
根据一些实施例，基于所述预测分类结果和所述真实分类结果确定损失值可以包括通过交叉熵损失与Dice损失的加权和来确定损失值，并且其中，所述Dice损失的权重可以是根据样本数据的不平衡程度而确定的。
交叉熵与Dice损失函数的结合可以有效的提高节点的分类效果，尤其是提升对非平衡数据训练的鲁棒性，并且可以解决样本不平衡和训练难以收敛的问题。相较于关注数据样本均匀分布的场景的传统方法，根据本公开的交叉Dice损失函数训练方法可以有效提高在训练数据分布不平衡情况下的模型准确率。
作为一个示例，可以采用如下所示的损失函数：
LCDL＝wDice Exp(LDice)+wCrossLCross
其中LDice和LCross分别代表Dice损失和交叉熵损失，并且wDice和wCross分别是对应的权重。作为可选的实施例，wDice和wCross可以根据样本数据的不平衡或不对称程度来确定，以用来反映样本数据的不平衡程度。样本数据的不平衡或不对称可以包括某个类别的数据数量很少甚至缺失类别等。在样本数据不对称越严重的情况下，wCross可以越大。作为一个非限制性示例，wCross可以是0.8。可以理解的是，可以在模型训练过程中结合模型的收敛情况、训练速度、训练效果来不断调整权重，而不必要求这里的权重严格与不对称程度成确定的关系(例如，比例关系)，等等。
本领域技术人员将熟知交叉熵损失的计算公式，并且在此不再赘述。Dice损失函数的公式可以如下所示：
Figure BDA0003603839690000131
其中N代表所有样本的集合，L是所有标签的集合，y(l)是样本i的标签，
Figure BDA0003603839690000132
是样本i的预测概率，∈是用来防止分母为0的一个很小的值，wl表示第l层的权重，可以通过
Figure BDA0003603839690000133
来计算。
根据本公开的一个或多个实施例，能够实现基于交叉Dice损失函数的图神经网络(GNN)训练方法。
传统的解决样本不平衡问题是用采样的方法来增加少数类特征或者减少多数类特征，但是这类方法会导致预测结果的假阳性情况发生。损失函数可以用来增加模型在不平衡数据训练时模型的鲁棒性，但会影响模型的收敛情况。根据本公开的实施例的交叉Dice损失函数能够通过结合Dice损失和交叉熵损失用来解决样本不平衡和训练难以收敛的问题。
作为一个说明性的示例，训练过程可以使用Adam算法进行模型训练，并且在连续的几轮(例如，10轮)中如果验证损失不增加就停止训练，得到最终的模型参数。通过实验证明，此方法可以有效的提高在样本不平衡情况下模型的准确率。
根据一些实施例，基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征可以包括：基于所述邻接矩阵确定转移矩阵；基于所述转移矩阵和所述经线性变换的特征矩阵生成所述样本数据的节点表征；以及基于所述节点表征确定注意力表征。
在这样的实施例中，可以进一步确定转移矩阵，并且通过转移矩阵和特征矩阵进行聚合而生成节点的表征，再利用这样的节点表征结合注意力机制来计算注意力表征，能够有效聚焦在可预测推断任务中的最相关部分也即对分类任务来说最关键的节点特征。
根据一些实施例，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征可以包括：基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
根据这样的实施例，构建了具有图扩散卷积特性的深度图神经网络，有助于网络的收敛，进而提升模型的有效性。
根据一些实施例，基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征可以包括：基于所述经线性变换的特征矩阵、所述至少一个经扩散的特征矩阵以及第二权重集合确定所述节点表征，并且其中，方法300还可以包括基于所述损失函数来调节所述第二权重集合。
例如，在节点的表征
Figure BDA0003603839690000141
可以根据如下公式计算的可选实施例中，第二权重集合可以包括α1和α2。
Figure BDA0003603839690000142
可以理解的是，本公开不限于此，在采用其他网络结构计算节点表征(例如，采用多层网络模型计算节点表征)的实施例中，第二权重集合可以包括更多的或者不同的权重。
根据一些实施例，所述注意力表征可以包括所述节点表征与邻居节点的隐含表征的加权和。注意力表征结合节点本身的表征(并且根据一些可选实施例，可以是扩散表征)与邻居节点的隐含表征，能够更好地反映节点特征，从而使得分类结果更加准确。
根据一些实施例，基于所述节点表征确定注意力表征可以包括利用多头注意力机制确定所述邻居节点的隐含表征。多头注意力机制将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，在图模型表现的效果更好。
根据一些实施例，基于所述节点表征确定注意力表征包括基于第三权重集合和所述节点表征确定注意力表征，并且其中，所述方法300还可以包括基于所述损失函数来调节所述第三权重集合。
例如，如前文的一个或多个实施例所述的，第三权重集合可以包括自身节点表征与邻居节点隐含表征之间的权重系数(例如注意力权重系数和扩散权重系数)、注意力机制本身中的一个或多个权重系数(例如，在采用公式
Figure BDA0003603839690000151
的情况下，其中的W)，等等，并且本领域技术人员将理解，本公开不限于此。
根据一些实施例，至少基于所述注意力表征确定分类结果可以包括：基于所述节点表征与所述注意力表征的拼接确定分类结果。
根据一些实施例，至少基于所述注意力表征确定预测分类结果可以包括基于第四权重集合确定预测分类结果，并且其中，所述方法300还可以包括基于所述损失函数来调节所述第四权重集合。可以理解的是，第四权重集合可以表示分类模型的权重，并且分类模型可以采用本领域技术人员可以理解的任何分类模型或者分类器。
可以理解，根据本公开的一个或多个实施例，可以基于共享的损失函数对模型的特征提取部分(包括线性变换部分和注意力部分)以及分类部分进行整体训练。但是可以理解的是，本公开不限于此。根据一些实施例，可以只训练线性变化部分、注意力部分、分类部分中的一个或多个，而其余的网络部分可以是预训练的(例如，在其他任务中预训练的，现成的分类器模型，等等)。甚至，可以只对这些网络部分中的每个的仅一部分进行训练。例如，可以使用已经预训练了一个或多个层的线性变换部分，并且训练过程仅对其余的一个或多个层的参数进行修改，等等。
下面结合图4描述根据本公开的一个或多个实施例的实体信息分类方法或者实体信息的分类模型的训练方法可以适用于的模型的示意图。如图4所示，其中在获得待分类的实体信息的图数据之后，将其处理为输入410，其可以包括特征矩阵X和邻接矩阵A。输入410被输入到线性变换模块420，并且可以经过转移矩阵生成模块430确定转移矩阵T。经线性变换的特征可以被输出到聚合模块440，聚合模块440可以是0跳聚合(0-hop aggregation)模块。
经线性变换的特征也可以与转移矩阵T一起输入到扩散模块450。扩散模块450可选地可以包括多个多跳聚合子模块，例如1跳(1-hop)聚合模块450-1、2跳(2-hop)聚合模块450-2、……k跳(k-hop)聚合模块450-k等等。例如，可以利用多跳邻居聚合在单层内执行图扩散过程。
之后，通过将数据进行组合，生成节点表征
Figure BDA0003603839690000161
(或者在本文的某些示例中，被称为节点的中间表征
Figure BDA0003603839690000162
)。节点表征460可以被输入到注意力模块470以生成注意力表征Hl，或者在本文中也可以被称为最终层表征Hl。如图所示，注意力模块470可以是多头注意力模块，但是可以理解，本公开不限于此。例如，在传播过程中，可以在输入和输出层之间建立一个短连接用来减小过度平滑的影响。经注意力模块所生成的注意力表征Hl可以与节点表征
Figure BDA0003603839690000163
进行合并(例如，拼接)，生成输出表示480。输出表示进而可以经过分类模块490进行分类，并且由此可以获得节点的分类结果，也即所需的实体信息的分类结果。作为一个示例，输出层可以使用softmax函数进行模型的输出，并且本公开不限于此。
根据本公开的一个或多个实施例，能够获得一种具有图扩散卷积特性的深度图神经网络。传统的深度神经网络大量的模型参数会导致模型的过拟合问题，同时样本的不平衡问题会导致模型在多数类样本中表现为过拟合，在少数类样本中表现为过度平滑。在模型的过度平滑的情况下，限制了模型的深度仅能表现为浅层模型。
表1给出了用算法语言描述的根据本公开的一个或多个实施例的分类模型的逻辑示例。可以理解的是，以下算法语言与其中所使用的公式仅为示例，并且本公开不限于此。
表1
Figure BDA0003603839690000171
可以理解，输入是特征矩阵X和邻接矩阵A，并且输出是节点的类别概率。由此，能够实现对实体信息的分类。
本公开的一个或多个实施例公开了基于交叉Dice损失的非平衡数据分布场景下谱图注意力网络及其训练方法，并且这样的网络可以进而用于实体信息的分类。在实际应用场景中，数据经常以非平衡的方式分布在不同的网络拓扑结构下，通过构建嵌入向量来表征一个图节点，用邻接矩阵来构建邻居节点的特征信息。可以用注意力机制来处理大小不一的输入数据，聚焦在可预测推断任务中的最相关部分，从而提升模型性能。并且根据可选实施例，这样的网络可以基于交叉Dice损失函数而训练，从而可以有效的提高节点的分类效果，提升对非平衡数据训练的鲁棒性。
此外，可以理解的是，贯穿本文中多次使用字母符号“W”表示权重或系数，但是这样的表述的使用仅用来表示存在一组权重或者系数(例如，一个或多个模型参数)，而每次出现的“W”并不表示相似或者相同的权重值，甚至不需要包括相同数量的权重。例如，结合第一模型部分描述的W可以具有与第一模型部分的结构或层数适配的一个或多个权重或系数，而结合第二模型部分描述的W可以具有与第二模型部分的结构或层数适配的一个或多个权重或系数，等等，并且本公开不限于此。
现在参考图5描述根据本公开的实施例的实体信息的分类装置500。实体信息的分类装置500可以包括矩阵确定单元501、线性变换单元502、注意力单元503和分类单元504。矩阵确定单元501可以用于确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的。线性变换单元502可以用于对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。注意力单元503可以用于基于所述经线性变换的特征矩阵确定所述图数据的注意力表征。分类单元504可以用于至少基于所述注意力表征确定分类结果。
根据本公开的实施例所述的装置，能够有效地对实体信息进行分类。
现在参考图6描述根据本公开的实施例的实体信息的分类模型的训练装置600。实体信息的分类模型的训练装置600可以包括样本数据确定单元601、线性变换单元602、注意力单元603、分类单元604、损失确定单元605和权重调节单元606。
样本数据确定单元601可以用于确定样本数据，所述样本数据包括样本图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果。
线性变换单元602可以用于基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵。
注意力单元603可以用于基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征。
分类单元604可以用于至少基于所述注意力表征确定预测分类结果。
损失确定单元605可以用于基于所述预测分类结果和所述真实分类结果确定损失值。
权重调节单元606可以用于基于所述损失值调节所述第一权重集合
根据本公开的实施例所述的装置，能够获得一种能够有效地对实体信息进行分类的模型。
本公开的技术方案中，所涉及的用户个人信息的收集、获取，存储、使用、加工、传输、提供和公开应用等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法200和/或300及其变型例等。例如，在一些实施例中，方法200和/或300及其变型例等可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的方法200和/或300及其变型例等的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和/或300及其变型例等。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (21)

1.一种实体信息的分类方法，包括：
确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；
对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；
基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及
至少基于所述注意力表征确定分类结果。
2.根据权利要求1所述的方法，其中，基于所述经线性变换的特征矩阵确定所述图数据的注意力表征包括：
基于所述邻接矩阵确定转移矩阵；
基于所述转移矩阵和所述经线性变换的特征矩阵生成所述图数据的节点表征；以及
基于所述节点表征确定注意力表征。
3.根据权利要求2所述的方法，其中，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征包括：
基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及
基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
4.根据权利要求3所述的方法，其中，所述注意力表征包括所述节点表征与邻居节点的隐含表征的加权和。
5.根据权利要求4所述的方法，其中，基于所述节点表征确定注意力表征包括利用多头注意力机制确定所述隐含表征。
6.根据权利要求3-5中任一项所述的方法，其中，至少基于所述注意力表征确定分类结果包括：
基于所述节点表征与所述注意力表征的拼接确定分类结果。
7.一种实体信息的分类模型的训练方法，包括：
确定样本数据，所述样本数据包括图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；
基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；
基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；
至少基于所述注意力表征确定预测分类结果；
基于所述预测分类结果和所述真实分类结果确定损失值；以及
基于所述损失值调节所述第一权重集合。
8.根据权利要求7所述的方法，其中，基于所述预测分类结果和所述真实分类结果确定损失值包括通过交叉熵损失与Dice损失的加权和来确定损失值，并且其中，所述Dice损失的权重是根据样本数据的不平衡程度而确定的。
9.根据权利要求7或8所述的方法，其中，基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征包括：
基于所述邻接矩阵确定转移矩阵；
基于所述转移矩阵和所述经线性变换的特征矩阵生成所述样本数据的节点表征；以及
基于所述节点表征确定注意力表征。
10.根据权利要求9所述的方法，其中，基于所述至少一个转移矩阵和所述至少一个经线性变换的特征矩阵生成图节点的节点表征包括：
基于所述经线性变换的特征矩阵和所述转移矩阵确定至少一个经扩散的特征矩阵；以及
基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征。
11.根据权利要求10所述的方法，其中，基于所述经线性变换的特征矩阵和所述至少一个经扩散的特征矩阵确定所述节点表征包括：基于所述经线性变换的特征矩阵、所述至少一个经扩散的特征矩阵以及第二权重集合确定所述节点表征，并且其中，所述方法还包括基于所述损失函数来调节所述第二权重集合。
12.根据权利要求9-11中任一项所述的方法，其中，基于所述节点表征确定注意力表征包括基于第三权重集合和所述节点表征确定注意力表征，并且其中，所述方法还包括基于所述损失函数来调节所述第三权重集合。
13.根据权利要求11或12所述的方法，其中，所述注意力表征包括所述节点表征与邻居节点的隐含表征的加权和。
14.根据权利要求13所述的方法，其中，基于所述节点表征确定注意力表征包括利用多头注意力机制确定所述邻居节点的隐含表征。
15.根据权利要求11-14中任一项所述的方法，其中，至少基于所述注意力表征确定分类结果包括：
基于所述节点表征与所述注意力表征的拼接确定分类结果。
16.根据权利要求7-15中任一项所述的方法，其中，至少基于所述注意力表征确定预测分类结果包括基于第四权重集合确定预测分类结果，并且其中，所述方法还包括基于所述损失函数来调节所述第四权重集合。
17.一种实体信息的分类装置，包括：
矩阵确定单元，用于确定图数据的邻接矩阵和特征矩阵，所述图数据是通过将至少两个待分类的实体信息分别作为节点而构建的；
线性变换单元，用于对所述图数据的特征矩阵进行线性变换以获得经线性变换的特征矩阵；
注意力单元，用于基于所述经线性变换的特征矩阵确定所述图数据的注意力表征；以及
分类单元，用于至少基于所述注意力表征确定分类结果。
18.一种实体信息的分类模型的训练装置，包括：
样本数据确定单元，用于确定样本数据，所述样本数据包括样本图数据的特征矩阵、邻接矩阵以及所述图数据的节点的真实分类结果；
线性变换单元，用于基于第一权重集合对所述特征矩阵进行线性变换以获得经线性变换的特征矩阵；
注意力单元，用于基于所述经线性变换的特征矩阵确定所述样本数据的注意力表征；
分类单元，用于至少基于所述注意力表征确定预测分类结果；
损失确定单元，用于基于所述预测分类结果和所述真实分类结果确定损失值；以及
权重调节单元，用于基于所述损失值调节所述第一权重集合。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6或7-16中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6或7-16中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-6或7-16中任一项所述的方法。
CN202210411335.7A 2022-04-19 2022-04-19 实体信息分类方法、分类模型训练方法、装置、电子设备 Pending CN114692780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210411335.7A CN114692780A (zh) 2022-04-19 2022-04-19 实体信息分类方法、分类模型训练方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210411335.7A CN114692780A (zh) 2022-04-19 2022-04-19 实体信息分类方法、分类模型训练方法、装置、电子设备

Publications (1)

Publication Number Publication Date
CN114692780A true CN114692780A (zh) 2022-07-01

Family

ID=82143653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210411335.7A Pending CN114692780A (zh) 2022-04-19 2022-04-19 实体信息分类方法、分类模型训练方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN114692780A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
US20200334566A1 (en) * 2019-04-16 2020-10-22 Spreemo Health Inc. Computer-implemented detection and statistical analysis of errors by healthcare providers
CN112884045A (zh) * 2021-02-25 2021-06-01 河北工业大学 基于多视角的随机删边嵌入模型的分类方法
CN112925908A (zh) * 2021-02-19 2021-06-08 东北林业大学 一种基于Attention的图注意力网络的文本分类方法及系统
CN113220886A (zh) * 2021-05-31 2021-08-06 马上消费金融股份有限公司 文本分类方法、文本分类模型训练方法及相关设备
CN113407784A (zh) * 2021-05-28 2021-09-17 桂林电子科技大学 一种基于社交网络的社团划分方法、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
US20200334566A1 (en) * 2019-04-16 2020-10-22 Spreemo Health Inc. Computer-implemented detection and statistical analysis of errors by healthcare providers
CN112925908A (zh) * 2021-02-19 2021-06-08 东北林业大学 一种基于Attention的图注意力网络的文本分类方法及系统
CN112884045A (zh) * 2021-02-25 2021-06-01 河北工业大学 基于多视角的随机删边嵌入模型的分类方法
CN113407784A (zh) * 2021-05-28 2021-09-17 桂林电子科技大学 一种基于社交网络的社团划分方法、系统及存储介质
CN113220886A (zh) * 2021-05-31 2021-08-06 马上消费金融股份有限公司 文本分类方法、文本分类模型训练方法及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUXIONG SUN等: "Adaptive Graph Diffusion Networks With HOP-WISE Attention", 《ARXIV》 *
PEILIANG GONG等: "Neighborhood Adaptive Graph Convolutional Network for Node Classification", 《IEEE ACCESS》 *
汪雷领: "基于近邻优化与注意力扩散模型的图神经网络方法研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Similar Documents

Publication Publication Date Title
US20220335711A1 (en) Method for generating pre-trained model, electronic device and storage medium
US20170185904A1 (en) Method and apparatus for facilitating on-demand building of predictive models
JP7316453B2 (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
CN112561060B (zh) 神经网络训练方法及装置、图像识别方法及装置和设备
US20220114497A1 (en) Smart copy optimization in customer acquisition and customer management platforms
CN113656587B (zh) 文本分类方法、装置、电子设备及存储介质
US20230112576A1 (en) Techniques for data processing predictions
US11803793B2 (en) Automated data forecasting using machine learning
CN114494784A (zh) 深度学习模型的训练方法、图像处理方法和对象识别方法
CN115082740B (zh) 目标检测模型训练方法、目标检测方法、装置、电子设备
CN114445667A (zh) 图像检测方法和用于训练图像检测模型的方法
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
JP2023088281A (ja) 倫理的視点に基づいたイメージ生成
CN114550313A (zh) 图像处理方法、神经网络及其训练方法、设备和介质
WO2023142408A1 (zh) 数据处理方法和用于训练预测模型的方法
CN116450944A (zh) 基于推荐模型的资源推荐方法、装置、电子设备和介质
CN114692780A (zh) 实体信息分类方法、分类模型训练方法、装置、电子设备
CN114281990A (zh) 文档分类方法及装置、电子设备和介质
CN114118379B (zh) 神经网络的训练方法、图像处理方法、装置、设备和介质
CN115033782B (zh) 推荐对象的方法、机器学习模型的训练方法、装置和设备
CN115713071B (zh) 用于处理文本的神经网络的训练方法和处理文本的方法
CN114844889B (zh) 视频处理模型的更新方法、装置、电子设备及存储介质
US20230004774A1 (en) Method and apparatus for generating node representation, electronic device and readable storage medium
CN117474669A (zh) 一种贷款逾期预测方法、装置、设备及存储介质
CN115829653A (zh) 广告文本的相关度确定方法及装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination