CN111737535A - 一种基于元结构和图神经网络的网络表征学习方法 - Google Patents

Abstract

本发明提供一种基于元结构和图神经网络的网络表征学习方法。本发明通过图神经网络和带权注意力机制来聚合邻居节点的信息，采用层次搜索算法生成候选的元结构集合，不需要预先定义元结构，并且相比于以往的元路径，可以考虑到节点之间更复杂的结构信息。本发明融合了图神经网络强的学习能力和元结构的丰富语义，有效解决了以往基于元路径的方法考虑结构单一以及需要依赖经验指定元结构的问题。并且，引入带权的注意力机制可以显式地考虑到元结构中的数量信息。进而生成比传统表征分类方式的结果更精确的最终节点，该最终节点可作为向量表征可用于后续的其他机器学习人物中。

Description

一种基于元结构和图神经网络的网络表征学习方法

技术领域

本发明属于大数据技术领域，具体涉及一种基于元结构和图神经网络的网络表征学习方法。

背景技术

网络广泛存在于现实世界中，许多现实场景下都可以通过网络或图来建模表示物体以及物体之间联系。许多的研究工作关注于网络或图中节点的表征学习，其将本身复杂且不规则的图中包含的节点表示为长度相等且维度较低的向量，将向量应用到后续的机器学习任务可以表现出较好的效果，例如节点分类、节点聚类、异常检测和链接预测等。一类被广泛关注的网络被称为异质信息网络(Heterogeneous Information Network,HIN)，例如常见的引用网络，网络由作者节点 (A)、期刊节点(C)、论文节点(P)等多种类型节点构成，由于其节点和边的类型复杂，异质信息网络中的网络表示学习(Network Embedding)是一项困难的任务。近年来，图神经网络(Graph Neural Network,GNN)和注意力机制(Attention Mechanism)被较多研究应用到网络表征学习中，其通过对邻居节点中的信息进行聚合，得到的节点表示可以在诸如节点分类以及聚类相关的机器学习任务中表现出色。

然而，当前大多数图神经网络和注意力机制都依赖于预定义的元路径(Meta-path)，而预定义需要借助背景知识或对数据集的了解来预先定义元路径增加了机制的操作难度，同时元路径表示的还具有过度单一的缺点。

发明内容

为解决上述问题，提供一种基于元结构和图神经网络的网络表征学习方法，本发明采用了如下技术方案：

数据准备，通过网络获取若干个相关信息，并将所述若干个相关信息处理形成一个带有节点属性的异质信息网络；网络表征学习，将所述异质信息网络输入到经过表征学习训练后得到的所述网络表征学习模型；向量表征获取，将所述网络表征学习模型输出的最终节点作为所述异质信息网络的所述向量表征，其中，对所述网络表征学习模型进行的所述表征学习训练的具体步骤为：训练数据集准备步骤，给定多个带有节点属性的所述异质信息网络作为训练数据集，从所述训练数据集中提取一个所述异质信息网络输入到所述网络表征学习模型；层次搜索步骤，根据输入的所述异质信息网络的网络模式和目标节点类型以及预令的最大搜索深度来生成候选的元结构集合，根据层次搜索算法将所述元结构集合中的元结构进行对称补齐；计算矩阵步骤，将所述元结构分为单条路径元结构和多条路径元结构，分别通过单路径算法和多路径算法获得所述单条路径元结构和所述多条路径元结构各自对应的邻接矩阵，对所述邻接矩阵进行平衡链接重要性后获取矩阵元素；邻居信息聚合步骤，基于所述元结构计算得到注意力系数，使用多头注意力机制算法，基于所述矩阵元素和所述注意力系数计算所有所述元结构的输出特征，对所有所述元结构使用转换矩阵进行转换，并将所有所述转换矩阵的结果加和作为最终节点；计算交叉熵损失和梯度回传，通过交叉熵计算公式获得基于所述最终节点的交叉熵损失，通过梯度反向传播算法进行多轮的参数迭代直到所述交叉熵损失收敛，完成对所述网络表征学习模型的所述表征学习训练。

本发明提供的一种基于元结构和图神经网络的网络表征学习方法，还可以具有这样的技术特征，其中，所述层次搜索算法为：将所述元结构集合分为元结构侯选集合和元结构搜索集合，将所述元结构候选集合设为空，将单独由所述目标节点类型构的图命名为目标节点图；由所述目标节点类型开始，设置搜索层数为i设置为1，在所述元结构搜索集合中将所有所述目标节点图移除，搜索与所述目标节点类型距离为i的相关集合，将所述相关集合中的所有非空子集与所述目标节点图中的节点合并，合并结果为N子图，将所述N子图分别添加到所述元结构侯选集合和所述元结构搜索集合，然后将所述搜索层数i设置为i+1，重复此过程直至i＝所述最大搜索深度；根据对称性将候选元结构集合中的元结构进行补齐。

本发明提供的一种基于元结构和图神经网络的网络表征学习方法，还可以具有这样的技术特征，其中，所述单路径算法为：

所述多路径算法为：

所述平衡链接重要性的计算过程为：

式中MP为所述单条路径元结构的所述邻接矩阵，

为所述多条路径元结构的邻接矩阵，A_TiTj为节点类型和T_i节点类型T_j间的邻接矩阵,

为所述矩阵元素。

本发明提供的一种基于元结构和图神经网络的网络表征学习方法，还可以具有这样的技术特征，其中，所述注意力系数获取方式为：

式中

为元结构

的所述注意力系数，节点特征矩阵

其中N_s是节点数，其代表了邻居节点j的对于节点i的重要性，公式中

为对于元结构

的输入参数矩阵，a_S∈R^2F′为元结构

注意力参数向量，h_i表示特征矩阵H的第i行，|是向量的拼接符号，LeakyReLU为斜率设置为0.2的激活函数。

发明提供的一种基于元结构和图神经网络的网络表征学习方法，还可以具有这样的技术特征，其中，所述输出特征获取过程为：

式中

为结构中的数量信息，i 计算节点，

为维度是KF的所述输出特征，h′_j∈R^F′是节点j的隐藏特征，其等于

所述最终节点获取方式为：

式中

为转换矩阵，

为维度是KF的所述最终节点。

发明提供的一种基于元结构和图神经网络的网络表征学习方法，还可以具有这样的技术特征，其中，所述交叉熵计算公式为：

式中

为所述交叉熵损失，

代表有标签数据的节点下标集合，Y_i∈Z^C是代表节点i标签的one-hot向量，节点属于C个类别，W_c∈R^C×KF′是用于最终分类的输出参数矩阵。

发明作用与效果

根据本发明的一种基于元结构和图神经网络的网络表征学习方法，由于该方法提出层次搜索算法来生成元结构，与元路径相比较，元结构可以捕捉更加复杂的节点关系。故本发明可不需要使用领域相关的知识来预先定义元路径，方法自动搜索生成元结构，此外，通过引入注意力机制能够对元结构中的数量信息进行显式地利用。该方法融合了图神经网络的学习能力和元结构丰富的语义，因此模型可以获得更优的效果。本方法最终得到有效的最终节点作为向量表征，此向量表征可以用于后续的机器学习任务。

附图说明

图1是本发明实施例中基于元结构和图神经网络的网络表征学习方法的工作流程图；以及

图2是本发明实施例中基于元结构和图神经网络的网络表征学习方法的图示。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于元结构和图神经网络的网络表征学习方法作具体阐述。

本发明提供的网络表征学习方法是基于元结构和图神经网络的，具体是通过提出层次搜索算法来生成元结构，元结构可以弥补元路径对于异质信息网络关系捕捉的不足；对于不同的元结构，通过不同的图神经网络独立的参数进行学习，并且使得最终图神经网络可以自动学习到对于每一个节点来说重要的元结构；此后，对于不同元结构得到的节点表征通过不同的转换矩阵进行相乘来得到最终节点表示向量表征；在图神经网络中，为了考虑到异质信息网络中的数量信息，采用了带权的注意力机制对邻居节点的信息进行聚合。该具体步骤为：

(1)训练数据集准备步骤具体为：给定一个带有节点属性的异质信息网络(或称为异质图)

其中

代表所有节点的集合，ε代表所有边的集合，

为节点所对应的属性。根据

可以得到异质网络模式

代表所有类型节点的集合，

代表所有类型节点之间的边集合。根据目标节点类型s(例如作者节点A)，从

中得到的节点初始特征

和节点的标签

N_s为类型s的节点数目，F为特征的维度，C为节点的类别数量。

(2)层次搜索步骤中采用的层次搜索算法为：根据异质网络模式T_G，目标节点类型s,和最大搜索深度d来生成候选的元结构集合 metagraphs，具体流程为：

(2.1)将元结构候选集合设为空，metagraphs＝[]，图G_s为单独由节点s构成的图，搜索过程中的临时元结构集合 tmp_metagraphs＝[G_s]。

(2.2)由目标节点类型s开始，层数分别为i＝1开始，遍历tmp_metagraphs中当前的所有元素，对于G_s∈tmp_metagraphs，将 G_s从tmp_metagraphs中移除，搜索与s距离为i的所有节点集合 N_i＝layer_i(T_G，s),对于该节点集合的所有非空子集S∈allsubset(N_i)，与G_s中的节点合并得到N_all＝nodesof(G_s)∪S，获得由N_all构成的子图subgraph(T_G，N_all)，将该子图分别添加到临时元结构集合 tmp_metagraphs和元结构候选集合metagraphs，重复上述过程直至层数i＝d。

(2.3)根据对称性将候选元结构集合中的元结构进行补齐，如将元结构

补齐为

(3)计算矩阵步骤中矩阵元素的具体获取方法为：对于单条路径的元结构

例如图1中的M₁,邻接矩阵

是节点类型T_i和节点类型T_j之间的邻接矩阵,n是类型为T_i的节点数目，m是类型为T_j的节点数目，矩阵中的元素为1或0 表示节点之间是否存在链接。对于元结构

的邻接矩阵

计算如下，·代表矩阵的乘法。

对于存在多条路径的元结构，例如图1中的M₃，对于分流的路径使用Hardmard乘积来进行计算,M₃在P节点分流和聚合，元结构M₃的邻接矩阵计算如下，其中⊙为Hardmard乘积，来代表与(and)的关系。

接下来平衡自链接和其他链接的相对重要性，设置对角线元素为λ(自链接调整系数)，计算自链接调整之后的矩阵元素

如下：

(4)邻居信息聚合步骤的具体操作为：节点特征矩阵

其中N_s是节点数，F特征维度，计算对于元结构

注意力系数

如下，其代表了邻居节点j的对于节点i的重要性，公式中

为对于元结构

的输入参数矩阵，a_s∈R^2F′为元结构

注意力参数向量，h_i表示特征矩阵H的第i行，|是向量的拼接符号，而为LeakyReLU斜率设置为0.2的激活函数。

接下来考虑元结构中的数量信息

计算节点i对于元结构

输出特征

如下所示，其中h′_j∈R^F′是节点j的隐藏特征，其等于

为了使得训练更加稳定，使用多头注意力机制(Multi-head AttentionMechanism)，按照同样的步骤，同时计算K个注意力头将结果进行拼接，拼接之后得到

的维度为KF′,计算如下所示。

获得节点对于元结构的输出特征

之后，对于不同元结构使用的转换矩阵

进行转换，并将它们加和在一起作为最终的节点表示，所有元结构的集合

设为由步骤2得到的元结构集合 metagraphs，最终的节点表示

计算如下所示。

(5)计算交叉熵损失和梯度回传具体步骤为：半监督分类任务，模型的交叉熵损失为计算如公式所示，其中

代表有标签数据的节点下标集合，Y_i∈Z^C是代表节点i标签的one-hot向量，节点属于C个类别，W_c∈R^C×KF′是用于最终分类的输出参数矩阵。

计算得到损失

之后，通过梯度反向传播算法 (BackpropagationAlgorithm)对过程中的输入参数矩阵

注意力参数向量a_S、转换矩阵

输出参数矩阵W_c进行更新，进行多轮的迭代直到损失

收敛。

该网络表征学习方法具体实施方法为：选取一个待处理网络，从待处理网络上爬取欲处理的节点信息，将所有节点信息处理生成一个异质信息网络，将该异质信息网络输入到经过上述网络表征学习方法训练后的网络表征学习模型，网络表征学习模型通过对异质信息网络进行层次搜索生成元结构，后基于得到的元结构计算矩阵并得到矩阵元素，最后进行邻居信息聚合，通过网络表征学习模型将最终结果即最终节点作为向量表征输出。该向量表征可用于表示某一节点信息以及在同一待处理网络上所有与其具有相关性的节点信息，因此该向量表征还可以具体应用于其他分类型学习机器的输入信息提供、大数据分析、智能检索系统以及信息推广等。以下结合具体实施例对本发明的基于元结构和图神经网络的网络表征学习方法的工作过程进行阐述。

<实施例>

图1是本发明实施例中网络表征学习模型进行的表征学习训练的流程图。

如图1所示，本发明中对网络表征学习模型的进行的表征学习训练具体流程步骤如下：

步骤S1，训练数据集准备步骤：选取一个来源于DBLP网站 (https://dblp.uni-trier.de)作为待处理网站作为训练数据集，通过本网站爬取的论文和会议的节点信息，生成一个异质信息网络。

本实施例中，应用的DBLP网络由4057位作者(Author)，14328 篇论文(Paper)，20个会议(Conference)和8898个术语(Term)组成。作者根据研究方向类别分为4类：数据库、数据挖掘、信息检索和人工智能方向。作者的特征代表关键字的出现情况，维度为334，即关键字的词典大小为334，如果作者的描述中出现字典中的单词就在对应位置用1表示，反之，用0表示，然后进入步骤S2。

图2是本发明实施例中基于元结构和图神经网络的网络表征学习方法的图示。

如图2所示，输入异质图G使用邻接矩阵表示，例如：作者(A) 与论文(P)的邻接矩阵

术语与论文的邻接矩阵

三个作者节点 (例如图1中a1、a2和a3)输入初始特征H₀矩阵为 [[1,1,0,0,1],[0,1,1,0,0],[0,0,1,1,1]]，三个作者的的类别标签Y＝[[0,1,0,0],[1,0,0,0],[0,0,0,1]](例如，a1为数据挖掘，a2为数据库，a3为人工智能)。

步骤S2，层次搜索步骤，将步骤S1得到的异质信息网络输入到网络表征学习模型，异质信息网络DBLP的异质网络模型如图2中的 T_G，首先根据T_G生成候选的元结构集合，设置最大搜索深度d为2，目标节点类型s为作者节点(A)，从节点类型作者(A)开始，搜索与s距离为i的所有节点集合N₁＝[P](论文节点P)，对于该节点集合的所有非空子集与A合并得到T_G中的子图

添加其到临时元结构集合tmp_metagraphs和元结构候选集合metagraphs，然后到下一层与A 距离为2的的所有集合N₂＝[C，T](期刊节点C、主题节点T)，将其非空子集与临时元结构

的节点合并得到T_G中的子图

和

添加到临时元结构集合 tmp_metagraphs和候选元结构集合metagraphs中。根据对称性将候选元结构集合中的元结构进行补齐，最终得到的元结构候选集合为

例如图1中元结构集合，记为

然后进入步骤S3。

步骤S3，计算矩阵步骤，对于单条路径的元结构

以图2中的G为例计算自链接调整的元结构邻接矩阵，节点类型A与P之间的邻接矩阵

例如作者a1发表了论文p1，矩阵的第一行第一列对应的元素为1，节点类型P与T之间的邻接矩阵

节点类型T与P 之间的邻接矩阵

节点类型P与A的邻接矩阵

如步骤S介绍元结构

的邻接矩阵

计算可得到

接下来平衡自链接和其他链接的相对重要性，设置自链接调整系数λ为1，计算自链接调整之后的邻接矩阵

对于存在多条路径的元结构，例如图2中的M₃：

节点类型 P与C之间的邻接矩阵

节点类型C 与P之间的邻接矩阵

根据分流计算得

故可以计算得到元结构矩阵

设置自链接调整系数为1，最终可以得到自链接调整之后的矩阵元素

然后进入步骤S4。

步骤S4，邻居信息聚合步骤，节点特征矩阵H₀＝[[1，1，0，0，1]， [0，1，1，0，0]，[0，0，1，1，1]]，隐藏层维度F′＝3，元结构的随机初始化输入参数矩阵

随机初始化注意力参数向量

如下。

根据公式(4)可以计算得到注意力系数的矩阵

例如

代表作者a1对于作者a2的注意力系数为0.2107。

根据公式(5)可以计算元结构

输出特征

例如作者a1的输出特征计算的结果为:

元结构

的随机初始化转换矩阵

如下，通过公式(7)计算得到的最终节点表示

例如作者a1的输出特征计算的结果

(5)计算交叉熵损失和梯度回传：Y_i∈Z^C是代表节点i标签的 one-hot向量，例如作者节点a1属于第二类，即Y₁＝[0，1，0，0]对应第二个元素为1，输出参数矩阵W_c初始化为下。

根据公式(8)可以计算的得到

通过梯度反向传播算法对上述输入参数矩阵

注意力参数向量a_s、转换矩阵

输出参数矩阵W_c进行更新。并且得到三个作者节点的节点表示如下。

将z^final中三个作者节点的节点与训练数据集中该三个作者的节点信息做比对，比对结果在误差范围内，网络表征学习模型完成网络表征训练，进入结束状态。

训练后的网络表征学习模型可用与基于元结构和图神经网络的网络表征学习方法，通过将从待处理网络中获得的异质信息网络输入到训练后的网络表征学习模型，经过层次搜索、计算矩阵以及邻居信息聚合，最终输出作为向量表征的最终节点。

本实施例的一种基于元结构和图神经网络的网络表征学习方法具体应用过程为：

数据准备，通过与上述训练数据集准备步骤中相同的方式，即爬取DBLP网站的论文和会议的节点信息，形成一个带有节点属性的异质信息网络。

网络表征学习，将得到的带有节点的异质信息网络输入到经过上述表征学习训练后得到的网络表征学习模型，网络表征学习模型通过层次搜索将异质信息网络处理生成元结构，而后通过计算矩阵将元结构处理生成矩阵元素，最后通过邻居信息聚合将矩阵元素处理生产最终节点并输出。

向量表征获取，将网络表征学习模型输出的最终节点作为向量表征，将该向量表征应用于其他子分类型学习机器或其他领域。

本实施例中网络表征学习模型输出的最终节点

作为向量表征，该向量表征可用于表示某一节点信息以及在同一待处理网络上所有与其具有相关性的节点信息，例如本实施例中可通过调阅

了解作者a_i的向量表征，即作者a_i在本实施例中阐述的待处理网络中所有相关信息(如：作者a_i的作品、引用a_i所写内容的作品和会议等)，进一步地，用户可将得到的向量表征应用于其他具体领域(如大数据分析、数据推广)，例如将本实施例中应用基于元结构和图神经网络的网络表征学习方法输出的向量表征作为其他的分类型学习机器的输入，从而完成对待处理网络中节点信息的分类处理以及后续应用。

本发明不仅限应用于实施例中的待处理网络，在本发明应用于其他具体领域时，通过多种方式获得待处理领域的节点信息，并依据获得的节点信息生成相应的异质信息网络，将该异质信息网络进行上述的基于元结构和图神经网络的网络表征学习方法后可得到其他领域对应的欲获得的向量表征。

实施例作用与效果

根据本实施例提供的一种基于元结构和图神经网络的网络表征学习方法，由于该方法提出层次搜索算法来生成元结构，元路径相比较，元结构可以捕捉更加复杂的节点关系。故本发明可不需要使用领域相关的知识来预先定义元路径，方法自动搜索生成元结构，此外，通过引入注意力机制能够对元结构中的数量信息进行显式地利用。该方法融合了图神经网络的学习能力和元结构丰富的语义，因此模型可以获得更优的效果。本方法最终得到有效的最终节点作为向量表征，此向量表征可以用于后续的机器学习任务。

实施例中，采用层次搜索算法，通过搜索得到元结构代替了需要预先定义的元路径，既节约了人力成本，也一定程度上减少了人为误差，从而使得本实施例中采用方法获得的结果更准确。

实施例中，分别通过单路径算法和多路径算法对元结构进行处理，得到自链接调整后的矩阵元素，并引入多头注意力机制算法，使最终的得到的最终节点具有更高的可靠性。

实施例中，计算交叉熵损失和基于交叉熵进行梯度回传的方式，对网络表征学习模型的参数进行微调，使得到的最终节点更准确。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种基于元结构和图神经网络的网络表征学习方法，用于将异质信息网络输入到网络表征学习模型生成向量表征，其特征在于，包括：

数据准备，通过网络获取若干个相关信息，并将所述若干个相关信息处理形成一个带有节点属性的异质信息网络；

网络表征学习，将所述异质信息网络输入到经过表征学习训练后得到的所述网络表征学习模型；

向量表征获取，将所述网络表征学习模型输出的最终节点作为所述异质信息网络的所述向量表征，

其中，对所述网络表征学习模型进行的所述表征学习训练的具体步骤为：

训练数据集准备步骤，给定多个带有节点属性的所述异质信息网络作为训练数据集，从所述训练数据集中提取一个所述异质信息网络输入到所述网络表征学习模型；

层次搜索步骤，根据输入的所述异质信息网络的网络模式和目标节点类型以及预令的最大搜索深度来生成候选的元结构集合，根据层次搜索算法将所述元结构集合中的元结构进行对称补齐；

计算矩阵步骤，将所述元结构分为单条路径元结构和多条路径元结构，分别通过单路径算法和多路径算法获得所述单条路径元结构和所述多条路径元结构各自对应的邻接矩阵，对所述邻接矩阵进行平衡链接重要性后获取矩阵元素；

邻居信息聚合步骤，基于所述元结构计算得到注意力系数，使用多头注意力机制算法，基于所述矩阵元素和所述注意力系数计算所有所述元结构的输出特征，对所有所述元结构使用转换矩阵进行转换，并将所有所述转换矩阵的结果加和作为最终节点；

计算交叉熵损失和梯度回传，通过交叉熵计算公式获得基于所述最终节点的交叉熵损失，通过梯度反向传播算法进行多轮的参数迭代直到所述交叉熵损失收敛，完成对所述网络表征学习模型的所述表征学习训练。

2.根据权利要求1所述的一种基于元结构和图神经网络的网络表征学习方法，其特征在于：

其中，所述层次搜索算法为：

将所述元结构集合分为元结构侯选集合和元结构搜索集合，将所述元结构候选集合设为空，将单独由所述目标节点类型构的图命名为目标节点图，

由所述目标节点类型开始，设置搜索层数为i设置为1，在所述元结构搜索集合中将所有所述目标节点图移除，搜索与所述目标节点类型距离为i的相关集合，将所述相关集合中的所有非空子集与所述目标节点图中的节点合并，合并结果为N子图，将所述N子图分别添加到所述元结构侯选集合和所述元结构搜索集合，然后将所述搜索层数i设置为i+1，重复此过程直至i＝所述最大搜索深度，

根据对称性将候选元结构集合中的元结构进行补齐。

3.根据权利要求1所述的一种基于元结构和图神经网络的网络表征学习方法，其特征在于：

其中，所述单路径算法为：

所述多路径算法为：

所述平衡链接重要性的计算过程为：

式中M^P为所述单条路径元结构的所述邻接矩阵，

为所述多条路径元结构的邻接矩阵，A_TiTj为节点类型和T_i节点类型T_j间的邻接矩阵,

为所述矩阵元素。

4.根据权利要求1所述的一种基于元结构和图神经网络的网络表征学习方法，其特征在于：

其中，所述注意力系数获取方式为：

式中

为元结构

的所述注意力系数，节点特征矩阵

其中N_s是节点数，其代表了邻居节点j的对于节点i的重要性，公式中

为对于元结构

的输入参数矩阵，a_S∈R^2F为元结构

注意力参数向量，h_i表示特征矩阵H的第i行，|是向量的拼接符号，LeakyReLU为斜率设置为0.2的激活函数。

5.根据权利要求4所述的一种基于元结构和图神经网络的网络表征学习方法，其特征在于：

其中，所述输出特征获取过程为：

式中

为结构中的数量信息，i计算节点，

为维度是KF的所述输出特征，h′_j∈R^F′是节点j的隐藏特征，其等于

所述最终节点获取方式为：

式中

为转换矩阵，

为维度是KF的所述最终节点。

6.根据权利要求1所述的一种基于元结构和图神经网络的网络表征学习方法，其特征在于：

其中，所述交叉熵计算公式为：

式中

为所述交叉熵损失，

代表有标签数据的节点下标集合，Y_i∈Z^C是代表节点i标签的one-hot向量，节点属于C个类别，W_c∈R^C×KF′是用于最终分类的输出参数矩阵。

Images