CN114492648A - 对象分类方法、装置、计算机设备、存储介质及程序产品 - Google Patents

对象分类方法、装置、计算机设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114492648A
CN114492648A CN202210107241.0A CN202210107241A CN114492648A CN 114492648 A CN114492648 A CN 114492648A CN 202210107241 A CN202210107241 A CN 202210107241A CN 114492648 A CN114492648 A CN 114492648A
Authority
CN
China
Prior art keywords
sample
target
hypergraph
classification
weight matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210107241.0A
Other languages
English (en)
Inventor
张吉应
卞亚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210107241.0A priority Critical patent/CN114492648A/zh
Publication of CN114492648A publication Critical patent/CN114492648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种对象分类方法、装置、计算机设备、存储介质及程序产品，涉及人工智能技术领域。该方法包括：获取目标超图，目标超图由n条目标超边构成，目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；基于目标超图，生成目标对象权重矩阵；基于目标对象权重矩阵对目标超图进行特征提取，得到各个目标对象分别对应的目标对象特征表示；基于目标对象特征表示进行对象类别预测，得到目标对象对应的目标对象类别。提高了对目标超图中对象的特征信息抽取能力，有利于更好的构建出高层次的对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。

Description

对象分类方法、装置、计算机设备、存储介质及程序产品
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种对象分类方法、装置、计算机设备、存储介质及程序产品。
背景技术
超图(Hypergraph)用于描述存在多元关联的对象之间的关系，通过在计算机视觉和机器学习中引入超图，可以更加准确描述各个对象之间的关联关系。
相关技术中，通过图神经网络对超图进行特征提取，以得到各个对象的对象特征表示，进而基于该对象特征表示进行下游的对象分类任务等。
显然，从超图中提取出的对象特征表示的准确性，会影响后续分类任务的预测准确性。
发明内容
本申请实施例提供了一种对象分类方法、装置、计算机设备、存储介质及程序产品。所述技术方案如下方面。
一方面，提供了一种对象分类方法，所述方法包括：
获取目标超图，所述目标超图由n条目标超边构成，所述目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；
基于所述目标超图，生成目标对象权重矩阵，所述目标对象权重矩阵包含所述目标超图中各个所述目标对象的目标对象权重，所述目标对象权重是指所述目标对象与各个目标超边对应所述目标实体之间的关系权重；
基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示；
基于所述目标对象特征表示进行对象类别预测，得到所述目标对象对应的目标对象类别。
另一方面，提供了一种对象分类方法，所述方法包括：
获取样本超图，所述样本超图由n条样本超边构成，所述样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数；
基于所述样本超图，生成样本对象权重矩阵，所述样本对象权重矩阵包含所述样本超图中各个所述样本对象的样本对象权重，所述样本对象权重是指所述样本对象与各个所述样本超边对应所述样本实体之间的关系权重；
将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示；
将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别；
基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络。
另一方面，提供了一种对象分类装置，所述装置包括：
第一获取模块，用于获取目标超图，所述目标超图由n条目标超边构成，所述目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；
第一生成模块，用于基于所述目标超图，生成目标对象权重矩阵，所述目标对象权重矩阵包含所述目标超图中各个所述目标对象的目标对象权重，所述目标对象权重是指所述目标对象与各个目标超边对应所述目标实体之间的关系权重；
第一特征提取模块，用于基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示；
第一分类预测模块，用于基于所述目标对象特征表示进行对象类别预测，得到所述目标对象对应的目标对象类别。
另一方面，提供了一种对象分类装置，所述装置包括：
第二获取模块，用于获取样本超图，所述样本超图由n条样本超边构成，所述样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数；
第二生成模块，用于基于所述样本超图，生成样本对象权重矩阵，所述样本对象权重矩阵包含所述样本超图中各个所述样本对象的样本对象权重，所述样本对象权重是指所述样本对象与各个所述样本超边对应所述样本实体之间的关系权重；
第二特征提取模块，用于将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示；
第二分类预测模块，用于将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别；
训练模块，用于基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的对象分类方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的对象分类方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的对象分类方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过在特征提取过程中引入目标超图中各个目标对象对应的目标对象权重，由于目标对象权重可以表征目标对象与各个目标超边(对应目标实体)之间的关系权重，使得在特征提取过程中可以提取到目标对象在超边这一高维度上的特征信息，提高了对目标超图中对象特征的信息抽取能力，有利于更好的构建出高层次的对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的对象分类方法的流程图；
图2示出了本申请一个示例性实施例示出的对象类别预测的过程示意图；
图3示出了本申请另一个示例性实施例提供的对象分类方法的流程图；
图4示出了本申请一个示例性实施例示出的对象分类的原理示意图；
图5示出了本申请一个示例性实施例示出的图像处理方法的流程图；
图6示出了本申请一个示例性实施例示出的模型训练的过程示意图；
图7示出了本申请另一个示例性实施例示出的图像处理方法的流程图；
图8是本申请一个示例性实施例提供的对象分类装置的结构框图；
图9是本申请另一个示例性实施例提供的对象分类装置的结构框图；
图10示出了本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例涉及的名词进行简介。
1)超图(Hypergraph)：在数学上，超图泛指边可以关联任意数量点的图；一般的，超图H可以表示为顶点-边对H＝(X，E)，其中，X是所有顶点元素的集合，E是X的非空子集，超图的的边(超边)可以连接两个以上的顶点，因此，对于可连接两个顶点的普通图可以认为是超图的一个特例；可选的，在计算机视觉和机器学习领域中，使用超图可以更加准确的描述存在多元关联的对象之间的关系。
2)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，本申请实施例主要涉及到人工智能技术领域中的机器学习技术领域。
需要说明的是，本申请实施例提供的对象分类方法可以由计算机设备执行，该计算机设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
请参考图1，其示出了本申请一个示例性实施例提供的对象分类方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括如下步骤。
步骤101，获取目标超图，目标超图由n条目标超边构成，目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数。
在实际应用过程中，为了更准确的描述对象之间的多元关系，比如，论文引用关系，一篇论文可能引用了多篇论文，论文作者关系，同一论文可能有多个作者，或者同一作者可能是多篇论文的作者等，通过超图的形式构建对象关系，在一种可能的实施方式中，为了描述一类目标对象之间的关系，将与同一目标实体具备关联关系的多个目标对象构成超边，且同一目标对象可以位于多条目标超边上，进而通过目标超图的形式表示若干目标对象之间的关系。
示意性的，若目标对象为若干待分类的作者对象，而目标超边对应的目标实体为论文，则每条目标超边即为属于同一论文作者的作者对象的集合，而同一作者对象可能是多篇论文的论文作者，对应同一作者对象可能位于多条目标超边上；若目标对象所发表的论文个数为n个，则对应生成的目标超图中包含n条目标超边，每条目标超边由发表同一论文的m个目标对象构成。
在一个示例性的例子中，目标超图可以表示为G(V，E)，其中，V表示目标超图中所包含的若干目标对象的集合，目标对象也称为目标超图的顶点或节点，E表示目标超图的目标超边的集合，由于目标超边本质上是与同一目标实体具备关联关系的目标对象的集合，则E也为V的非空子集。
在一种可能的实施方式中，若需要分析目标对象在某一维度上的对象类别，可以通过获取目标对象在该维度上的对象信息，进而基于该对象信息构建出目标超图，以便后续基于该目标超图分析目标对象的对象特征。比如，若需要分析作者对象所属的作者类别，则可以获取若干作者对象所发表的论文信息，基于该信息构建目标超图，用于后续分析作者对象的作者类别。
步骤102，基于目标超图，生成目标对象权重矩阵，目标对象权重矩阵包含目标超图中各个目标对象的目标对象权重，目标对象权重是指目标对象与各个目标超边对应目标实体之间的关系权重。
目标超图虽然可以描述各个目标对象之间的多元关联关系，在实际应用过程中，为了分析各个目标对象的目标对象特征，往往需要对目标超图进行对象特征提取，进而将提取到的目标对象特征用于下游任务，比如，目标对象分类任务；对应如何从目标超图中准确提取目标对象的目标对象特征表示，对于后续的对象分类任务有重要意义；而目标对象在目标超图中可能位于多条目标超边上，且目标对象与不同超边之间的连接强度(关系权重)也并不相同，因此，在一种可能的实施方式中，为了更好的从目标超图中提取出各个目标对象对应的目标对象特征表示，首先需要基于目标超图生成各个目标对象对应的目标对象权重，生成目标对象权重矩阵，以明确目标对象与各个目标超边对应目标实体之间的关系权重，从而在后续特征提取过程中引入该目标对象权重矩阵，从而有利于提取目标对象在超边维度上的对象特征。
示意性的，以论文作者为例，若论文A对应的作者包含作者对象A、作者对象B、作者对象C，其中，作者对象A为论文A的第一作者，作者对象B为论文A的第二作者，作者对象C为论文A的第三作者，则论文A对应的超边中包含三个目标对象(作者对象A，作者对象B，作者对象C)，但由于不同作者对象与论文A之间的关联关系存在差异，则不同作者对象与论文A之间的关系权重不同，也就是说，作者对象A和作者对象B与论文A所对应的超边之间的连接强度存在差异。
步骤103，基于目标对象权重矩阵对目标超图进行特征提取，得到各个目标对象分别对应的目标对象特征表示。
在一种可能的实施方式中，通过目标对象权重矩阵对目标超图进行特征提取的过程中，可以明确各个顶点(目标对象)与各个目标超边之间的连接强度(关系权重)，从而有利于在特征提取过程中提取更高层次的特征信息。
可选的，特征提取过程由特征提取网络执行，也就是说，将目标超图和目标对象权重矩阵输入特征提取网络中，经过多层卷积操作，可以得到各个目标对象对应的目标对象特征表示。特征提取网络可以为图神经网络(Graph Neural Network，GNN)、图卷积网络(Graph Convolutional Network，GCN)等。特征提取网络的训练过程可以参考下文实施例，本实施例在此不做赘述。
步骤104，基于目标对象特征表示进行对象类别预测，得到目标对象对应的目标对象类别。
在一种可能的实施方式中，当获取到各个目标对象的目标对象特征表示后，可以基于目标对象特征表示所表征的目标对象的对象特征，进行对象类别预测，从而得到目标对象对应的目标对象类别。
可选的，对象类别预测由分类网络(分类层)执行，将目标对象特征表示输入分类网络中，可以得到分类网络输出的目标对象属于各个候选类别的概率，进而将概率最大的候选类别确定为目标对象对应的目标对象类别。
示意性的，若目标对象为作者对象，目标实体为论文，候选类别为：K1＝生物学家，K2＝计算机学家，通过对若干目标对象基于论文所构成的目标超图进行特征提取，得到各个作者对象对应的对象特征表示，进而基于该对象特征表示预测该作者对象所属作者类别的概率，进而将概率最高的作者类别确定为目标对象的对象类别，比如，类别预测结果为：PA1＝0.3(表示作者对象A属于类别K1的概率为0.3)，PA2＝0.7(表示作者对象A属于类别K2的概率为0.7)，则表示作者对象A对应的目标对象类别为计算机学家。
如图2所示，其示出了本申请一个示例性实施例示出的对象类别预测的过程示意图。在对象分类过程中，首先根据超图210生成超图210对应的对象权重矩阵，进而将对象权重矩阵和超图210输入特征提取网络220，由特征提取网络220提取到超图210中各个对象对应的对象特征表示，进而由分类网络230对对象特征表示进行类别预测，输出各个对象对应的对象类别。
综上所述，本申请实施例中，通过在特征提取过程中引入目标超图中各个目标对象对应的目标对象权重，由于目标对象权重可以表征目标对象与各个目标超边(对应目标实体)之间的关系权重，使得在特征提取过程中可以提取到目标对象在超边这一高维度上的特征信息，提高了对目标超图中对象特征的信息抽取能力，有利于更好的构建出高层次的对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。
对于位于同一超边的对象，各个对象与超边对应实体之间的关系权重并不相同，同理，对于连接有不同超边的同一对象，该对象与不同超边之间的连接强度也存在差异，因此，为了更好的刻画出超图中超边与对象之间的关系，在一种可能的实施方式中，基于对象与超边之间的关联关系，抽象出对象与超边之间的对象权重，进而基于该对象权重进行特征提取过程。
在一个示例性的例子中，如图3所示，其示出了本申请另一个示例性实施例提供的对象分类方法的流程图。以该方法的执行主体计算机设备为例进行示例性说明，该方法包括如下步骤。
步骤301，获取目标超图，目标超图由n条目标超边构成，目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数。
步骤301的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤302，基于目标超图，确定目标对象与各个目标超边对应目标实体之间的目标关联关系。
由于目标对象权重可以指示目标对象与各个目标超边对应目标实体之间的关系权重，而关系权重需要分析目标对象与目标实体之间的关联关系确定，因此，在一种可能的实施方式中，可以基于目标超图确定出目标对象与各个目标超边对应目标实体之间的目标关联关系，进而基于该目标关联关系确定目标对象权重。
可选的，目标关联关系至少包括两种：目标对象属于目标超边或目标对象不属于目标超边；进一步的，当目标对象属于多个目标超边时，目标对象与不同目标超边对应目标实体之间的目标关联关系也存在关系强弱之分。
步骤303，基于目标对象对应的目标关联关系，确定目标对象权重。
在一个示例性的例子中，目标对象权重的确定方式可以表示为：
Figure BDA0003494351600000081
其中，Q(u，e)表示目标对象权重矩阵，q(u，e)表示目标对象u与目标超边e之间的目标对象权重，由公式(1)可知，若目标对象u属于目标超边e时，目标对象权重由目标对象u和目标超边e之间的连接强度确定；若目标对象u不属于目标超边e，则目标对象与目标超边e之间的目标对象权重为0。
由公式(1)可知，目标对象权重与目标对象与目标超边之间的目标关联关系有关，在一种可能的实施方式中，可以基于目标关联关系，确定目标对象权重。
在一个示例性的例子中，步骤303可以包括步骤303A和步骤303B。
步骤303A，在目标关联关系指示目标对象属于目标超边的情况下，基于目标关联关系对应的目标关联强度确定目标对象权重，目标对象权重与目标关联强度呈正相关关系。
在目标超图中，同一目标对象可能属于不同目标超边，而由于目标对象与不同目标实体之间目标关联关系的目标关联强度存在差异，对应目标对象与不同目标超边之间的连接强度可以存在差异，因此，为了更准确刻画出目标超图对应的拓扑结构，在一种可能的实施方式中，对于目标关联关系指示目标对象属于目标超边的情况下，可以基于目标关联关系对应的目标关联强度确定目标对象权重，且目标关联强度越高，则目标对象权重越大。
可选的，计算机设备中预先针对不同关联强度设置有对应的对象权重，也即设置有指示候选关联强度和候选对象权重之间对应关系的目标对应关系；使得在确定目标对象权重的过程中，可以根据目标关联关系所指示的目标关联强度，从候选关联强度和候选对象权重之间的对应关系中进行查找，以查找到与目标关联强度匹配的候选关联强度，进而将候选关联强度对应的候选对象权重确定为目标对象权重。
在一个示例性的例子中，以目标实体为论文，目标关联关系为论文作者，候选关联强度和候选对象权重之间的目标对象关系可以如表一所示。
表一
Figure BDA0003494351600000091
Figure BDA0003494351600000101
由表一可知，虽然目标关联关系指示各个目标对象均为目标论文的作者，但是由于目标关联关系所指示的目标关联强度的差异，则目标对象所对应的目标对象权重也存在差异，比如，若对象A为论文A的第一作者，则基于表一所示的对应关系，可知，对象A与论文A之间的对象权重为5，若对象A为论文A的第二作者，则基于表一所示的对应关系，可知，对象A与论文A之间的对象权重为3。
步骤303B，在目标关联关系指示目标对象不属于目标超边的情况下，确定目标对象权重为0。
在一种可能的实施方式中，当目标关联关系指示目标对象不属于目标超边，则表示目标对象与目标实体(目标超边)不存在连接关系，则确定目标对象与该目标超边之间的目标对象权重为0。
步骤304，基于各个目标对象对应的目标对象权重，生成目标对象权重矩阵。
在一种可能的实施方式中，对于目标超图中的各个目标对象，分别确定每个目标对象与各个目标超边之间的目标对象权重，得到每个目标对象对应的目标对象权重集合，进而将各个目标对象对应的目标对象权重集合确定为目标对象权重矩阵。
在一个示例性的例子中，目标对权重矩阵可以表示为：
Figure BDA0003494351600000102
其中，qij表示第i目标对象与第j目标超边之间的目标对象权重。
步骤305，基于目标对象权重矩阵和目标超边权重矩阵，生成目标顶点度矩阵，目标顶点度矩阵中包含各个目标对象对应的目标对象的度，目标对象的度用于表征与目标对象相连的目标超边的数目。
在一种可能的实施方式中，通过特征提取网络提取目标超图中各个目标对象对应的目标对象特征表示，特征提取网络的提取原理为：对初始对象特征表示进行拉普拉斯操作，从而得到汇集邻接节点信息后的每个目标对象的更新特征表示；在一个示例性的例子中，特征提取网络中每层卷积的特征提取过程可以表示为：
Figure BDA0003494351600000103
其中，X{t}表示经过第t次迭代后的对象特征表示，L2表示拉普拉斯矩阵，Θ{t}表示第t层卷积层对应的学习参数矩阵，σ表示激活函数，Dv表示顶点度矩阵，De表示超边度矩阵，Q表示对象权重矩阵，W表示超边权重矩阵。
由公式(2)可知，在特征提取过程中，不仅需要目标对象权重矩阵的参与，还需要超边度矩阵、顶点度矩阵、超边权重矩阵等参数，因此，在一种可能的实施方式中，首先需要基于目标对象权重矩阵与目标顶点度矩阵，以及目标超边度矩阵之间的关系，生成对应的目标超边度矩阵以及目标顶点度矩阵。
其中，顶点度矩阵为各个目标对象对应顶点(目标对象)的度的集合，目标对象的度用于表征与目标对象相连的目标超边的数目，对应首先需要确定各个目标对象对应的顶点的度；在一个示例性的例子中，顶点的度与对象权重之间的关系可以表示为：
Dv(u,u)＝d(u)＝∑ew(e)Q(u,e) (3)
其中，Dv(u,u)表示顶点的度，w(e)表示超边权重，Q(u,e)表示对象权重。基于公式(3)，在一种可能的实施方式中，可以根据目标对象权重矩阵和目标超边权重矩阵，生成目标顶点度矩阵。
可选的，目标超边的超边权重可以由目标超边对应目标实体的属性信息确定，示意性的，若目标超边对应目标论文，则目标超边的超边权重可以由目标论文的被引用的次数确定，被引用的次数越高，则超边权重越大。
可选的，目标超边权重矩阵也可以设置为单位矩阵。
步骤306，基于目标对象权重矩阵，生成目标超边度矩阵，目标超边度矩阵中包含n个目标超边的度，目标超边的度用于表征目标超边上包含的目标对象的数目。
由于目标超边的度用于表征目标超边上包含的目标对象的数目，因此，在一个示例性的例子中，超边的度与对象权重之间的关系可以表示为：
De(e,e)＝δ(e)＝∑uQ(u,e) (4)
其中，De(e,e)表示超边e的度，Q(u,e)表示目标对象与超边e之间的对象权重矩阵；由公式(4)可知，在一种可能的实施方式中，首先获取到每条目标超边与各个目标对象之间的目标对象权重，通过对该目标对象权重求和，得到每条目标超边对应的超边的度，依次类推，获取到各条目标超边对应的超边的度，从而将各条目标超边对应的超边的度的集合确定为目标超边度矩阵。
步骤307，将目标对象权重矩阵、目标顶点度矩阵、目标超边度矩阵、目标超边权重矩阵以及目标超图输入特征提取网络，得到特征提取网络输出的目标对象特征表示。
在一种可能的实施方式中，当获取到目标对象权重矩阵、目标顶点度矩阵、目标超边度矩阵、目标超边权重矩阵后，可以按照公式(2)所示的特征提取网络的工作原理，将目标对象权重矩阵、目标顶点度矩阵、目标超边度矩阵、目标超边权重矩阵以及目标超图输入特征提取网络，从而得到特征提取网络输出的目标对象特征表示。
由公式(2)可知，特征提取网络通过对初始对象特征表示进行T次迭代计算后，以得到最终的目标对象特征表示，以特征提取网络包含T层卷积层为例，在一个示例性的例子中，步骤307可以包括步骤307A和步骤307B。
步骤307A，基于第t-1对象特征表示、目标对象权重矩阵、目标顶点度矩阵、目标超边度矩阵、目标超边权重矩阵、激活函数以及第t卷积层对应的第t目标特征学习参数，确定第t卷积层输出的第t对象特征表示，t为小于等于T的正整数。
在一种可能的实施方式中，对于特征提取网络中的任意一层卷积层，第t卷积层的输入为：第t-1对象特征表示(上一层卷积层输出的对象特征表示)、目标对象权重矩阵、目标顶点度矩阵、目标超边度矩阵、目标超边权重矩阵，通过激活函数和第t目标特征学习参数进行运算，得到第t卷积层输出的第t对象特征表示。
需要说明的是，当t＝1时，输入第一卷积层的各个目标对象对应的第t-1对象特征表示由目标超图确定，或采用初始化对象特征表示。
步骤307B，将第T卷积层输出的第T对象特征表示，确定为特征提取网络输出的目标对象特征表示。
在一种可能的实施方式中，每一层卷积层均按照公式(2)进行迭代运算，则特征提取网络输出的目标对象特征表示即为第T卷积层输出的第T对象特征表示。
示意性的，T可以取值为3、5等，本申请实施例对此不构成限定。
如图4所示，其示出了本申请一个示例性实施例示出的对象分类的原理示意图。在对象分类过程中，首先获取到超图410对应的顶点度矩阵Dv、超边度矩阵De、对象权重矩阵Q、超边权重矩阵W以及各个对象对应的初始对象特征表示X{0}，进而将Dv、De、Q、W以及X{0}输入特征提取层420中，以特征提取层包含三个卷积层(卷积层421、卷积层422、卷积层423)为例，经过3次迭代运算过程，以得到卷积层423输出的对象特征表示X{3}，并将对象特征表示输入分类层430中，得到分类层输出的对象在各个候选类别上的预测概率Pij，进而根据预测概率Pij确定出各个对象对应的对象类别440。
步骤308，基于目标对象特征表示进行对象类别预测，得到目标对象对应的目标对象类别。
在一种可能的实施方式中，当目标对象特征表示用于节点分类任务时，可以将目标对象特征表示输入分类网络，由分类网络基于目标对象特征表示分析对象类别，从而预测目标对象属于各个候选类别的预测概率，进而基于各个候选类别的概率确定出目标对象所对应的目标对象类别。
在一个示例性的例子中，分类网络(分类层)的计算公式可以表示为：
pij＝softmax(X{T}Θ{T}) (5)
其中，pij表示第i个目标对象出现在第j个类别的预测概率，X{T}表示目标对象特征表示，Θ{T}表示分类层对应的分类学习参数。
本实施例中，通过分析目标对象与目标超边对应目标实体之间目标关联关系，进而基于目标关联关系所指示的目标关联强度确定目标对象权重，从而更细粒度的区分目标对象与不同目标超边之间的关联关系，同时将目标对象权重应用到超边度矩阵、顶点度矩阵的确定过程，并将上述矩阵应用到特征提取过程中，是特征提取网络在处理非结构数据时会具有更好的高层次信息建模和信息抽取能力。
为了实现上文实施例中的对象分类过程，需要预先搭建图神经网络，并对图神经网络进行监督训练，使得该图神经网络可以具备准确提取目标对象特征表示，以及准确进行目标对象分类的功能，本实施例即着重描述图神经网络(包括特征提取网络和分类网络)的训练过程。
请参考图5，其示出了本申请一个示例性实施例示出的图像处理方法的流程图，本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤501，获取样本超图，样本超图由n条样本超边构成，样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数。
需要说明的是，本申请实施例中所涉及到的图神经网络包括特征提取层(特征提取网络)以及分类层(分类网络)。由于本申请实施例是用于提取超图中各个顶点(节点)的节点特征表示的，则该图神经网络也可以称为：微分几何超图神经网络(DifferentialGeometry Hypergraph Neurals Network，DGHGNN)。
由于DGHGNN的训练目的是用于节点分类(对象分类)的，因此，在一种可能的实施方式中，DGHGNN的训练样本包括带分类标签的样本对象，其中，基于样本对象与样本实体之间的关系，生成样本超图，每个样本对象对应有样本标注类别(分类标签)。
在一个示例性的例子中，样本超图中的样本对象可以表示为：Vl＝{v1,…,vl}，其中，Vl表示样本超图中的第l个样本对象。
在一种可能的实施方式中，根据各个样本对象之间的多元关联关系，将与同一样本实体具备关联关系的m个样本对象确定为一条样本超边，若干样本对象构成的若干样本超边的集合即为样本超图，且同一样本对象可能位于多条样本超边上，同一样本超边上可能包含单个、两个或两个以上的样本对象。
步骤502，基于样本超图，生成样本对象权重矩阵，样本对象权重矩阵包含样本超图中各个样本对象的样本对象权重，样本对象权重是指样本对象与各个样本超边对应样本实体之间的关系权重。
与应用侧类似，在训练DGHGNN过程中，为了更好的关注到整个样本超图的拓扑结构信息，在一种可能的实施方式中，首先根据样本对象与各个样本超边对应样本实体之间的关系权重，生成样本超图对应的样本对象权重矩阵，进而基于该样本对象权重矩阵进行对象特征提取。
其中，生成样本对象权重矩阵的过程可以参考上文实施例中目标对象权重矩阵的生成过程，本实施例在此不做赘述。
步骤503，将样本超图和样本对象权重矩阵输入特征提取网络，得到特征提取网络输出的样本对象特征表示。
在一种可能的实施方式中，当生成样本超图对应的样本对象权重矩阵后，即可以将样本超图和样本对象权重矩阵输入DGHGNN中，也即特征提取层(特征提取网络)，从样本超图中提取出各个样本对象对应的样本对象特征表示。
步骤504，将各个样本对象特征表示输入分类网络，得到分类网络输出的各个样本对象对应的样本预测类别。
当提取到的各个样本对象特征表示后，可以将样本对象特征表示输入DGHGNN中的分类层(分类网络)，由分类层基于样本对象特征表示进行类别预测，从而得到样本对象在各个候选类别上的样本预测概率，进而确定样本对象对应的样本预测类别。
步骤505，基于样本预测类别和样本对象对应的样本标注类别，训练特征提取网络和分类网络。
由于分类结果的准确性会受到特征提取准确性的影响，以及类别预测的准确性的影响，因此，为了使得DGHGNN在特征提取过程中可以向分类结果准确性方向学习，在一种可能的实施方式中，可以根据样本预测类别和样本标注类别确定分类损失，进而根据分类损失训练特征提取网络和分类网络。
如图6所示，其示出了本申请一个示例性实施例示出的模型训练的过程示意图。在超图神经网络600的训练过程中，首先根据样本超图601生成样本对象权重矩阵，将样本超图601和样本对象权重矩阵输入超图神经网络600中，由特征提取网络602进行特征提取，得到样本对象特征表示，并由分类网络603进行类别预测，得到样本预测类别604；进而基于样本预测类别604和样本标注类别605之间的分类损失训练超图神经网络600。
综上所述，本申请实施例中，通过在模型训练过程中引入样本对象对应的样本对象权重，由于样本对象权重可以表征样本对象与各个样本超边之间的关系权重，使得在特征提取过程中可以提取到样本对象在超边这一高维度上的特征信息，提高了模型对样本超图中对象特征的信息抽取能力，有利于更好的构建出高层次的样本对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。
与上文中模型应用过程相似，在模型训练过程中，输入DGHGNN中的不仅包含目标超图和样本对象权重矩阵，还涉及到样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵等参数，因此，在特征提取之前，还需要根据样本对象权重矩阵确定出目标超图对应的样本顶点度矩阵、样本超边度矩阵等参数。
请参考图7，其示出了本申请另一个示例性实施例示出的图像处理方法的流程图，本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤701，获取样本超图，样本超图由n条样本超边构成，样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数。
步骤701的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤702，基于样本超图，确定样本对象与各个样本超边对应样本实体之间的样本关联关系。
为了确定出样本对象的样本对象权重，需要分析样本对象与样本超图中各条样本超边之间的关联关系，因此，在一种可能的实施方式中，可以根据样本超图，分析样本对象与各个样本超边对应样本实体之间的样本关联关系。
进一步的，确定样本关联关系的方式可以为：确定样本对象是否位于样本超边上，若样本对象位于样本超边上，可以进一步确定样本对象与样本超边对应样本实体之间的关联关系的样本关联强度，也就是书，样本对象与样本超边之间的连接强度。
示意性的，以论文和样本对象之间的关系为例，由样本超图可知，样本对象A是论文A的第一作者，样本对象B是论文A的第二作者，样本对象C是论文A的第三作者，样本对象A是论文B的第三作者；则样本对象A、样本对象B和样本对象C均位于论文A对应的样本超边e1上，而样本对象A还属于论文B对应的样本超边e2上。则样本对象A和样本超边e1的样本关联关系即为：第一作者，样本对象B和样本超边e1的样本关联关系即为第二作者。
步骤703，基于样本对象对应的样本关联关系，确定样本对象权重。
由公式(1)可知，在一种可能的实施方式中，可以根据样本对象与样本超边之间的样本关联关系，确定样本对象权重，其中，若样本对象属于样本超边，则样本对象权重即由样本对象与样本超边之间的连接强度确定；若样本对象不属于样本超边，则样本对象权重为0。
在一个示例性的例子中，步骤703可以包括步骤703A和步骤703B。
步骤703A，在样本关联关系指示样本对象属于样本超边的情况下，基于样本关联关系对应的样本关联强度确定样本对象权重，样本对象权重与样本关联强度呈正相关关系。
对于样本对象属于样本超边的情况下，在样本超图中，同一样本对象可能位于不同样本超边中，但是同一样本对象与不同样本超边之间关联关系的强度可能存在差异，比如，样本对象A是论文A和论文B的作者，但是样本对象A是论文A的第一作者，而样本对象B为论文B的第三作者，则虽然样本对象A位于论文A和论文B所对应的样本超边上，但是由于样本对象A与论文A和论文B之间的样本关联强度存在差异，则为了区分样本对象A与论文A和论文B之间的关系，设定样本对象A与论文A之间的样本对象权重，与样本对象A与论文B之间的样本对象权重不相同，因此，在一种可能的实施方式中，在样本关联关系指示样本对象属于样本超边的情况下，可以根据样本关联关系对应的样本关联强度确定样本对象权重，且样本关联强度越高，对应的样本对象权重越大；进而生成样本超图所对应的样本对象权重矩阵。
其中，根据样本关系强度确定样本对象权重的过程可以参考上文实施例中根据目标关系强度确定目标对象权重的过程，本实施例在此不做赘述。
步骤703B，在样本关联关系指示样本对象不属于样本超边的情况下，确定样本对象权重为0。
在一种可能的实施方式中，若样本关联关系指示样本对象不属于样本超边，则表示样本对象与该样本超边不存在连接关系，对应的也不存在样本连接强度，则确定该样本对象与样本超边之间的样本对象权重为0。
步骤704，基于各个样本对象对应的样本对象权重，生成样本对象权重矩阵。
在一种可能的实施方式中，根据公式(1)确定出每个样本对象权重与各条样本超边之间的样本对象权重集合后，依次类推，确定出各条样本对象权重与各条样本超边之间的样本对象权重集合，也即得到样本超图对应的样本对象权重矩阵，其中，样本对象权重矩阵的形式可以参考步骤304。
步骤705，基于样本对象权重矩阵和样本超边权重矩阵，生成样本顶点度矩阵，样本顶点度矩阵中包含各个样本对象对应的样本对象的度，样本对象的度用于表征与样本对象相连的样本超边的数目。
本实施例中，为了可以得到形式如公式(2)所示的拉普拉斯矩阵L2，通过重新定义超图对应的H(E)和超图梯度，从而推导出可以应用于涉及超图神经网络的拉普拉斯矩阵，其中，E为超图的边集，H(E)则表示超图边集上定义的实值函数构成的希尔伯特空间。
在一个示例性的例子中，H(E)内积的定义可以表示为：
Figure BDA0003494351600000181
其中，σ(e)∈R++，用于保证内积的非负性，<F,G>H(E)表示H(E)的内积，e表示超边，F(e)表示对e做函数F运算，G(e)表示对e做函数G运算，可见，H(E)的内积的输入为e，使得其是可以基于高阶关系的超边建立的空间。
给定确定的函数μ(e)∈H(E),ξ(v)∈H(V)，df:H(V)→H(E)超图的梯度的定义可以表示为：
df(e)＝μ(e)∑v∈VQ(v,e)ξ(v)f(v) (7)
其中，μ(e)∈H(E),ξ(v)∈H(V)使用了通用的表示，取不同函数会得到不同的梯度定义，H(V)表示超图顶点集上定义的实值函数构成的希尔伯特空间，v表示超图顶点，Q(v,e)表示顶点权重矩阵(对象权重矩阵)，由于顶点v与不同编e的连接强度不同，则Q(v,e)与v和e都有关系，为边依赖矩阵。
通过散度定义：<df，F>H(E)＝<f，-divF>H(V)，
Figure BDA0003494351600000185
结合H(V)的内积定义：<f，g>H(V)＝∑u∈V f(u)g(u)，
Figure BDA0003494351600000186
以及公式(6)和公式(7)，可以得到散度的表达式为：
divF(v)＝-∑e∈Eμ(e)σ(e)Q(v,e)ξ(v)F(e) (8)
其中，散度公式(8)的具体推导过程为：
由于<df，F>H(E)＝<f，-divF>H(V)，
Figure BDA0003494351600000184
则：<df，F>H(E)＝<μ(e)∑v∈yQ(v，e)ξ(v)f(v)，F(e)>H(E)
＝σ(e)∑e∈EF(e)μ(e)∑v∈VQ(v,e)ξ(v)f(v)＝∑v∈Vf(v)∑e∈Eμ(e)σ(e)Q(v,e)ξ(v)F(e)
＝<f,-divF>H(V)
因此，divF(v)＝-∑e∈Eμ(e)σ(e)Q(v,e)ξ(v)F(e)
当得到散度的表达式公式(7)后，通拉普拉斯操作的定义Δf(v)＝-div(df(e))(v)，可以推导得到超图的拉普拉斯算子为：
Δf(v)＝-div(df)(v)＝∑u∈V(∑e∈Eμ2(e)σ(e)Q(v,e)Q(u,e)ξ(u)ξ(v))f(u) (9)
其中，公式(9)的推导过程可以为：
Figure BDA0003494351600000191
可以将公式(9)转换为矩阵形式，其中，令D(u,u)＝ξ(u),W(e,e)＝μ2(e),De(e,e)＝σ-1(e)，则可以将公式(9)中的∑e∈Eμ2(e)σ(e)Q(v,e)Q(u,e)ξ(u)ξ(v)写成矩阵形式ΔH(u,v)，以得到拉普拉斯矩阵形式为：
Figure BDA0003494351600000192
若令
Figure BDA0003494351600000193
σ(e)＝δ(e)，
Figure BDA0003494351600000195
则可以将公式(10)转化为超图中常用的另一种拉普拉斯矩阵的形式：
Figure BDA0003494351600000194
其中，在超图应用中，L2就相当于对节点信号的f做了平滑操作，也就是说L2f得到的是汇集了邻接节点后得到的每个信号的更新信号。那么可以直接用于超图神经网络的设计，从而得到公式(2)所示的节点特征(对象特征)的提取形式，则对应到超图应用过程中，则Dv表示超图的顶点度矩阵，De表示超图的超边度矩阵，Q表示超图的对象权重矩阵，W表示超图的超边权重矩阵。
在一种可能的实施方式中，可以基于公式(3)所示的顶点的度与对象权重之间的关系，可以根据样本对象权重矩阵和样本超边权重矩阵，生成样本顶点度矩阵。
步骤706，基于样本对象权重矩阵，生成样本超边度矩阵，样本超边度矩阵中包含n个样本超边的度，样本超边的度用于表征样本超边上包含的样本对象的数目。
在一种可能的实施方式中，由公式(4)可知，通过获取样本超边与各个样本对象之间的样本对象权重，并对该样本对象权重求和，以得到该样本超边对应的超边的度，依次类推，得到各条样本超边对应的超边的度，从而将各条样本超边对应的超边的度的集合确定为样本超边度矩阵。
步骤707，将样本对象权重矩阵、样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵以及样本超图输入特征提取网络，得到特征提取网络输出的样本对象特征表示。
在一种可能的实施方式中，当获取到样本对象权重矩阵、样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵后，可以按照公式(2)所示的特征提取网络的工作原理，将样本对象权重矩阵、样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵以及样本超图输入特征提取网络，得到特征提取网络输出的样本对象特征表示。
与模型应用过程相似，在训练过程中，特征提取网络也需要通过对初始对象特征表示进行T次迭代计算后，以得到最终的目标对象特征表示，以特征提取网络包含T层卷积层为例，在一个示例性的例子中，步骤707可以包括步骤707A和步骤707B。
步骤707A，基于第t-1样本对象特征表示、样本对象权重矩阵、样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵、激活函数以及第t卷积层对应的第t样本特征学习参数，确定第t卷积层输出的第t样本对象特征表示，t为小于等于T的正整数。
在一种可能的实施方式中，对于特征提取网络中的任意一层卷积层，第t卷积层的输入为：第t-1样本对象特征表示(上一层卷积层输出的样本对象特征表示)、样本对象权重矩阵、样本顶点度矩阵、样本超边度矩阵、样本超边权重矩阵，通过激活函数和第t样本特征学习参数进行运算，得到第t卷积层输出的第t样本对象特征表示。其中，第t样本特征学习参数会随着每次损失训练过程而更新。
需要说明的是，当t＝1时，输入第一卷积层的各个样本对象对应的第t-1样本对象特征表示由样本超图确定，或采用初始化对象特征表示。
步骤707B，将第T卷积层输出的第T样本对象特征表示，确定为特征提取网络输出的样本对象特征表示。
在一种可能的实施方式中，每一层卷积层均按照公式(2)进行迭代运算，则特征提取网络输出的样本对象特征表示即为第T卷积层输出的第T样本对象特征表示。
示意性的，T可以取值为1、3、5等，本申请实施例对此不构成限定。
步骤708，基于第T样本对象特征表示和样本分类学习参数，确定分类网络输出的样本预测类别。
与模型应用过程类似，由公式(5)可知，在一种可能的实施方式中，当获取到第T样本对象特征表示后，可以基于第T样本对象特征表示和样本分类学习参数，预测各个样本对象在各个候选类别上的预测概率，进而确定出各个样本对象对应的样本预测类别。
其中，样本分类学习参数随着每次损失训练过程而更新。
步骤709，基于样本预测类别和样本标注类别，确定样本对象对应的样本分类损失。
为了训练DGHGNN，使得DGHGNN可以向分类预测准确性学习，在一种可能的实施方式中，可以根据样本预测类别和样本标注类别，确定出样本对象在本轮分类预测过程中的样本分类损失，进而基于该样本分类损失训练DGHGNN。
可选的，样本分类损失可以使用样本预测类别和样本标注类别之间的交叉熵损失、指数损失、softmax loss等，本申请实施例对此不构成限定。
步骤710，基于样本分类损失，更新分类网络对应的样本分类学习参数，以及特征提取网络对应的T个样本特征学习参数。
在一种可能的实施方式中，对于每一轮训练过程中，均需要确定出每一轮对应的样本分类损失，进而使用随机梯度下降算法对DGHGNN中的样本分类学习参数，以及样本特征学习参数进行优化更新，以使得DGHGNN具备对象分类功能。
本实施例中，通过重新定义超图的内积，以及超图的梯度，从而推导出更细粒度的拉普拉斯矩阵形式，使得该拉普拉斯矩阵可以应用到超图神经网络的设计过程中，用于超图中各个对象的对象特征表示的提取过程，有利于超图神经网络具备提取到更高层次的信息的能力，从而提高了超图神经网络的信息抽取能力；此外，通过样本超图和对应的样本标注类别对超图神经网络进行训练，使得超图神经网络在应用过程中可以具备对超图中各个节点的分类功能。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可参考上述方法实施例。
图8是本申请一个示例性实施例提供的对象分类装置的结构框图。该装置可以包括：
第一获取模块801，用于获取目标超图，所述目标超图由n条目标超边构成，所述目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；
第一生成模块802，用于基于所述目标超图，生成目标对象权重矩阵，所述目标对象权重矩阵包含所述目标超图中各个所述目标对象的目标对象权重，所述目标对象权重是指所述目标对象与各个目标超边对应所述目标实体之间的关系权重；
第一特征提取模块803，用于基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示；
第一分类预测模块804，用于基于所述目标对象特征表示进行对象类别预测，得到所述目标对象对应的目标对象类别。
可选的，所述第一生成模块802，包括：
第一确定单元，用于基于所述目标超图，确定所述目标对象与各个所述目标超边对应所述目标实体之间的目标关联关系；
第二确定单元，用于基于所述目标对象对应的所述目标关联关系，确定所述目标对象权重；
第一生成单元，用于基于各个所述目标对象对应的所述目标对象权重，生成所述目标对象权重矩阵。
可选的，所述第二确定单元，还用于：
在所述目标关联关系指示所述目标对象属于所述目标超边的情况下，基于所述目标关联关系所指示的目标关联强度确定所述目标对象权重，所述目标对象权重与所述目标关联强度呈正相关关系；
在所述目标关联关系指示所述目标对象不属于所述目标超边的情况下，确定所述目标对象权重为0。
可选的，所述第二确定单元，还用于：
基于所述目标关联关系所指示的所述目标关联强度，以及目标对应关系，确定所述目标对象权重，所述目标对应关系为候选关联强度和候选对象权重之间的对应关系。
可选的，所述第一特征提取模块803，包括：
第二生成单元，用于基于所述目标对象权重矩阵和目标超边权重矩阵，生成目标顶点度矩阵，所述目标顶点度矩阵中包含各个所述目标对象对应的目标对象的度，所述目标对象的度用于表征与所述目标对象相连的所述目标超边的数目；
第三生成单元，用于基于所述目标对象权重矩阵，生成目标超边度矩阵，所述目标超边度矩阵中包含n个目标超边的度，所述目标超边的度用于表征所述目标超边上包含的所述目标对象的数目；
第一特征提取单元，用于将所述目标对象权重矩阵、所述目标顶点度矩阵、所述目标超边度矩阵、所述目标超边权重矩阵以及所述目标超图输入特征提取网络，得到所述特征提取网络输出的所述目标对象特征表示。
可选的，所述特征提取网络包含T层卷积层，T为正整数；
所述第一特征提取单元，还用于：
基于第t-1对象特征表示、所述目标对象权重矩阵、所述目标顶点度矩阵、所述目标超边度矩阵、所述目标超边权重矩阵、激活函数以及第t卷积层对应的第t目标特征学习参数，确定所述第t卷积层输出的第t对象特征表示，t为小于等于T的正整数；
将第T卷积层输出的第T对象特征表示，确定为所述特征提取网络输出的所述目标对象特征表示。
综上所述，本申请实施例中，通过在特征提取过程中引入目标超图中各个目标对象对应的目标对象权重，由于目标对象权重可以表征目标对象与各个目标超边(对应目标实体)之间的关系权重，使得在特征提取过程中可以提取到目标对象在超边这一高维度上的特征信息，提高了对目标超图中对象特征的信息抽取能力，有利于更好的构建出高层次的对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。
图9是本申请另一个示例性实施例提供的对象分类装置的结构框图。所述装置包括：
第二获取模块901，用于获取样本超图，所述样本超图由n条样本超边构成，所述样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数；
第二生成模块902，用于基于所述样本超图，生成样本对象权重矩阵，所述样本对象权重矩阵包含所述样本超图中各个所述样本对象的样本对象权重，所述样本对象权重是指所述样本对象与各个所述样本超边对应所述样本实体之间的关系权重；
第二特征提取模块903，用于将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示；
第二分类预测模块904，用于将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别；
训练模块905，用于基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络。
可选的，所述第二生成模块1302，包括：
第三确定单元，用于基于所述样本超图，确定所述样本对象与各个所述样本超边对应所述样本实体之间的样本关联关系；
第四确定单元，用于基于所述样本对象对应的所述样本关联关系，确定所述样本对象权重；
第四生成单元，用于基于各个所述样本对象对应的所述样本对象权重，生成所述样本对象权重矩阵。
可选的，所述第四确定单元，还用于：
在所述样本关联关系指示所述样本对象属于所述样本超边的情况下，基于所述样本关联关系对应的样本关联强度确定所述样本对象权重，所述样本对象权重与所述样本关联强度呈正相关关系；
在所述样本关联关系指示所述样本对象不属于所述样本超边的情况下，确定所述样本对象权重为0。
可选的，所述第二特征提取模块903，包括：
第五生成单元，用于基于所述样本对象权重矩阵和样本超边权重矩阵，生成样本顶点度矩阵，所述样本顶点度矩阵中包含各个所述样本对象对应的样本对象的度，所述样本对象的度用于表征与所述样本对象相连的所述样本超边的数目；
第六生成单元，用于基于所述样本对象权重矩阵，生成样本超边度矩阵，所述样本超边度矩阵中包含n个样本超边的度，所述样本超边的度用于表征所述样本超边上包含的所述样本对象的数目；
第二特征提取单元，用于将所述样本对象权重矩阵、所述样本顶点度矩阵、所述样本超边度矩阵、所述样本超边权重矩阵以及所述样本超图输入所述特征提取网络，得到所述特征提取网络输出的所述样本对象特征表示。
可选的，所述特征提取网络包含T层卷积层，T为正整数；
所述第二特征提取单元，还用于：
基于第t-1样本对象特征表示、所述样本对象权重矩阵、所述样本顶点度矩阵、所述样本超边度矩阵、所述样本超边权重矩阵、激活函数以及第t卷积层对应的第t样本特征学习参数，确定所述第t卷积层输出的第t样本对象特征表示，t为小于等于T的正整数；
将第T卷积层输出的第T样本对象特征表示，确定为所述特征提取网络输出的所述样本对象特征表示。
可选的，所述将第二分类预测模块904，包括：
分类预测单元，用于基于所述第T样本对象特征表示和样本分类学习参数，确定所述分类网络输出的所述样本预测类别。
可选的，所述训练模块905，包括：
第五确定单元，用于基于所述样本预测类别和所述样本标注类别，确定所述样本对象对应的样本分类损失；
更新单元，用于基于所述样本分类损失，更新所述分类网络对应的所述样本分类学习参数，以及所述特征提取网络对应的T个样本特征学习参数。
综上所述，本申请实施例中，通过在模型训练过程中引入样本对象对应的样本对象权重，由于样本对象权重可以表征样本对象与各个样本超边之间的关系权重，使得在特征提取过程中可以提取到样本对象在超边这一高维度上的特征信息，提高了模型对样本超图中对象特征的信息抽取能力，有利于更好的构建出高层次的样本对象特征表示，从而为后续对象分类预测提供更准确的对象特征表示，有利于后续分类预测任务的准确性。
请参考图10，其示出了本申请一个实施例提供的计算机设备的结构示意图，该计算机设备可以用于实施上述实施例中提供的计算机设备执行的图像处理方法。所述计算机设备1000包括中央处理单元(CPU，Central Processing Unit)1001、包括随机存取存储器(RAM，Random Access Memory)1002和只读存储器(ROM，Read-Only Memory)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O，Input/Output)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入/输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入/输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，带电可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上中央处理单元1001执行。
本申请还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任意示例性实施例所提供的对象分类方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的对象分类方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种对象分类方法，其特征在于，所述方法包括：
获取目标超图，所述目标超图由n条目标超边构成，所述目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；
基于所述目标超图，生成目标对象权重矩阵，所述目标对象权重矩阵包含所述目标超图中各个所述目标对象的目标对象权重，所述目标对象权重是指所述目标对象与各个目标超边对应所述目标实体之间的关系权重；
基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示；
基于所述目标对象特征表示进行对象类别预测，得到所述目标对象对应的目标对象类别。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标超图，生成目标对象权重矩阵，包括：
基于所述目标超图，确定所述目标对象与各个所述目标超边对应所述目标实体之间的目标关联关系；
基于所述目标对象对应的所述目标关联关系，确定所述目标对象权重；
基于各个所述目标对象对应的所述目标对象权重，生成所述目标对象权重矩阵。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标对象对应的所述目标关联关系，确定所述目标对象权重，包括：
在所述目标关联关系指示所述目标对象属于所述目标超边的情况下，基于所述目标关联关系所指示的目标关联强度确定所述目标对象权重，所述目标对象权重与所述目标关联强度呈正相关关系；
在所述目标关联关系指示所述目标对象不属于所述目标超边的情况下，确定所述目标对象权重为0。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标关联关系对应的目标关联强度确定所述目标对象权重，包括：
基于所述目标关联关系所指示的所述目标关联强度，以及目标对应关系，确定所述目标对象权重，所述目标对应关系为候选关联强度和候选对象权重之间的对应关系。
5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示，包括：
基于所述目标对象权重矩阵和目标超边权重矩阵，生成目标顶点度矩阵，所述目标顶点度矩阵中包含各个所述目标对象对应的目标对象的度，所述目标对象的度用于表征与所述目标对象相连的所述目标超边的数目；
基于所述目标对象权重矩阵，生成目标超边度矩阵，所述目标超边度矩阵中包含n个目标超边的度，所述目标超边的度用于表征所述目标超边上包含的所述目标对象的数目；
将所述目标对象权重矩阵、所述目标顶点度矩阵、所述目标超边度矩阵、所述目标超边权重矩阵以及所述目标超图输入特征提取网络，得到所述特征提取网络输出的所述目标对象特征表示。
6.根据权利要求5所述的方法，其特征在于，所述特征提取网络包含T层卷积层，T为正整数；
所述将所述目标对象权重矩阵、所述目标顶点度矩阵、所述目标超边度矩阵、所述目标超边权重矩阵以及所述目标超图输入特征提取网络，得到所述特征提取网络输出的所述目标对象特征表示，包括：
基于第t-1对象特征表示、所述目标对象权重矩阵、所述目标顶点度矩阵、所述目标超边度矩阵、所述目标超边权重矩阵、激活函数以及第t卷积层对应的第t目标特征学习参数，确定所述第t卷积层输出的第t对象特征表示，t为小于等于T的正整数；
将第T卷积层输出的第T对象特征表示，确定为所述特征提取网络输出的所述目标对象特征表示。
7.一种对象分类方法，其特征在于，所述方法包括：
获取样本超图，所述样本超图由n条样本超边构成，所述样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数；
基于所述样本超图，生成样本对象权重矩阵，所述样本对象权重矩阵包含所述样本超图中各个所述样本对象的样本对象权重，所述样本对象权重是指所述样本对象与各个所述样本超边对应所述样本实体之间的关系权重；
将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示；
将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别；
基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络。
8.根据权利要求7所述的方法，其特征在于，所述基于所述样本超图，生成样本对象权重矩阵，包括：
基于所述样本超图，确定所述样本对象与各个所述样本超边对应所述样本实体之间的样本关联关系；
基于所述样本对象对应的所述样本关联关系，确定所述样本对象权重；
基于各个所述样本对象对应的所述样本对象权重，生成所述样本对象权重矩阵。
9.根据权利要求8所述的方法，其特征在于，所述基于所述样本对象对应的所述样本关联关系，确定所述样本对象权重，包括：
在所述样本关联关系指示所述样本对象属于所述样本超边的情况下，基于所述样本关联关系对应的样本关联强度确定所述样本对象权重，所述样本对象权重与所述样本关联强度呈正相关关系；
在所述样本关联关系指示所述样本对象不属于所述样本超边的情况下，确定所述样本对象权重为0。
10.根据权利要求7至9任一所述的方法，其特征在于，所述将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示，包括：
基于所述样本对象权重矩阵和样本超边权重矩阵，生成样本顶点度矩阵，所述样本顶点度矩阵中包含各个所述样本对象对应的样本对象的度，所述样本对象的度用于表征与所述样本对象相连的所述样本超边的数目；
基于所述样本对象权重矩阵，生成样本超边度矩阵，所述样本超边度矩阵中包含n个样本超边的度，所述样本超边的度用于表征所述样本超边上包含的所述样本对象的数目；
将所述样本对象权重矩阵、所述样本顶点度矩阵、所述样本超边度矩阵、所述样本超边权重矩阵以及所述样本超图输入所述特征提取网络，得到所述特征提取网络输出的所述样本对象特征表示。
11.根据权利要求10所述的方法，其特征在于，所述特征提取网络包含T层卷积层，T为正整数；
所述将所述样本对象权重矩阵、所述样本顶点度矩阵、所述样本超边度矩阵、所述样本超边权重矩阵以及所述样本超图输入所述特征提取网络，得到所述特征提取网络输出的所述样本对象特征表示，包括：
基于第t-1样本对象特征表示、所述样本对象权重矩阵、所述样本顶点度矩阵、所述样本超边度矩阵、所述样本超边权重矩阵、激活函数以及第t卷积层对应的第t样本特征学习参数，确定所述第t卷积层输出的第t样本对象特征表示，t为小于等于T的正整数；
将第T卷积层输出的第T样本对象特征表示，确定为所述特征提取网络输出的所述样本对象特征表示。
12.根据权利要求11所述的方法，其特征在于，所述将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别，包括：
基于所述第T样本对象特征表示和样本分类学习参数，确定所述分类网络输出的所述样本预测类别。
13.根据权利要求12所述的方法，其特征在于，所述基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络，包括：
基于所述样本预测类别和所述样本标注类别，确定所述样本对象对应的样本分类损失；
基于所述样本分类损失，更新所述分类网络对应的所述样本分类学习参数，以及所述特征提取网络对应的T个样本特征学习参数。
14.一种对象分类装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标超图，所述目标超图由n条目标超边构成，所述目标超边由与同一目标实体具备关联关系的m个目标对象构成，n和m为正整数；
第一生成模块，用于基于所述目标超图，生成目标对象权重矩阵，所述目标对象权重矩阵包含所述目标超图中各个所述目标对象的目标对象权重，所述目标对象权重是指所述目标对象与各个目标超边对应所述目标实体之间的关系权重；
第一特征提取模块，用于基于所述目标对象权重矩阵对所述目标超图进行特征提取，得到各个所述目标对象分别对应的目标对象特征表示；
第一分类预测模块，用于基于所述目标对象特征表示进行对象类别预测，得到所述目标对象对应的目标对象类别。
15.一种对象分类装置，其特征在于，所述装置包括：
第二获取模块，用于获取样本超图，所述样本超图由n条样本超边构成，所述样本超边由与同一样本实体具备关联关系的m个样本对象构成，n和m为正整数；
第二生成模块，用于基于所述样本超图，生成样本对象权重矩阵，所述样本对象权重矩阵包含所述样本超图中各个所述样本对象的样本对象权重，所述样本对象权重是指所述样本对象与各个所述样本超边对应所述样本实体之间的关系权重；
第二特征提取模块，用于将所述样本超图和所述样本对象权重矩阵输入特征提取网络，得到所述特征提取网络输出的样本对象特征表示；
第二分类预测模块，用于将各个所述样本对象特征表示输入分类网络，得到所述分类网络输出的各个样本对象对应的样本预测类别；
训练模块，用于基于所述样本预测类别和所述样本对象对应的样本标注类别，训练所述特征提取网络和所述分类网络。
16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至6任一所述的对象分类方法，或，实现如权利要求7至13任一所述的对象分类方法。
17.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至6任一所述的对象分类方法，或实现如权利要求7至13任一所述的对象分类方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至6任一所述的对象分类方法，或实现如权利要求7至13任一所述的对象分类方法。
CN202210107241.0A 2022-01-28 2022-01-28 对象分类方法、装置、计算机设备、存储介质及程序产品 Pending CN114492648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210107241.0A CN114492648A (zh) 2022-01-28 2022-01-28 对象分类方法、装置、计算机设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210107241.0A CN114492648A (zh) 2022-01-28 2022-01-28 对象分类方法、装置、计算机设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114492648A true CN114492648A (zh) 2022-05-13

Family

ID=81477117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210107241.0A Pending CN114492648A (zh) 2022-01-28 2022-01-28 对象分类方法、装置、计算机设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114492648A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861275A (zh) * 2022-12-26 2023-03-28 中南大学 细胞计数方法、装置、终端设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861275A (zh) * 2022-12-26 2023-03-28 中南大学 细胞计数方法、装置、终端设备及介质
CN115861275B (zh) * 2022-12-26 2024-02-06 中南大学 细胞计数方法、装置、终端设备及介质

Similar Documents

Publication Publication Date Title
Cerqueira et al. Evaluating time series forecasting models: An empirical study on performance estimation methods
WO2017206936A1 (zh) 基于机器学习的网络模型构造方法及装置
CN111373406B (zh) 使用问题匹配的先验知识提取的加速仿真设置过程
McComb Toward the rapid design of engineered systems through deep neural networks
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
Couckuyt Forward and inverse surrogate modeling of computationally expensive problems
Demertzis et al. Geo-AI to aid disaster response by memory-augmented deep reservoir computing
Kashir et al. Application of fully convolutional neural networks for feature extraction in fluid flow
CN110781970A (zh) 分类器的生成方法、装置、设备及存储介质
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
US20220358364A1 (en) Systems and methods for constructing an artificial intelligence (ai) neural-like model of a real system
CN114492648A (zh) 对象分类方法、装置、计算机设备、存储介质及程序产品
Chander et al. Data clustering using unsupervised machine learning
Mirzaev et al. Recognition algorithms based on the selection of 2D representative pseudo-objects
París et al. Sum-product networks: A survey
Obukhov et al. Neural network method for automatic data generation in adaptive information systems
Uzun et al. Deep learning based classification of time series of chaotic systems over graphic images
bin Othman et al. Neuro fuzzy classification and detection technique for bioinformatics problems
US20230134798A1 (en) Reasonable language model learning for text generation from a knowledge graph
Pisharady et al. Hand posture and face recognition using fuzzy-rough approach
Hasnat et al. Simultaneous clustering and model selection for multinomial distribution: A comparative study
Butner et al. Ghost hunting in the nonlinear dynamic machine
Kacprzyk Studies in Computational Intelligence, Volume 262
Xiong et al. Bayesian nonparametric regression modeling of panel data for sequential classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination