CN113554100B - 异构图注意力网络增强的Web服务分类方法 - Google Patents

Abstract

本发明公开了异构图注意力网络增强的Web服务分类方法，首先利用组合服务信息、原子服务信息和它们各自的属性信息构建一个异构信息服务网络。根据不同语义信息定义元路径，并利用交换矩阵和基于元路径的相似度度量技术，构造服务相似度矩阵。设计服务双层注意力模型，分别计算服务的节点级注意力及语义级注意力，从而得到服务的节点级表征及语义级表征，以融合生成更具表达力的服务特征嵌入。本发明属于移动应用技术领域，具体是指异构图注意力网络增强的Web服务分类方法。

Description

异构图注意力网络增强的Web服务分类方法

技术领域

本发明属于移动应用技术领域，具体是指异构图注意力网络增强的Web服务分类方法。

背景技术

服务分类有助于提高服务查找和服务发现的效率。现有的方法主要聚焦于同构图下的研究，然而，真实世界中的服务数据由于其异质性，同构图的研究方法无法很好地处理服务关系网络中多种类型的节点和边，同时缺乏对丰富语义信息的利用。而异构图注意力网络的出现能够有效地解决上述问题，因为它可以对服务关系链中的不同类型的关系和节点进行更完整自然的抽象，并很好的区分邻居节点的重要性和元路径的重要性。因此，本文提出一种基于异构图注意力网络的Web服务分类方法。

发明内容

为了解决上述难题，本发明提供了异构图注意力网络增强的Web服务分类方法。

本发明采取的技术方案如下：异构图注意力网络增强的Web服务分类方法，包括如下步骤：

1)构造基于元路径的服务相似度矩阵：针对每条元路径采用Pathsim计算服务之间的相似性；给定一个对称的元路径P，S(A_i，A_j)通过两个方面来定义：两个服务A_i和A_j定义在元路径上的联系以及它们与自身的路径实例个数。因此，两个服务A_i和A_j的Pathsim值如公式(1)所示：

其中，

是服务A_i和A_j之间的路径实例，当元路径的中间节点数超过1个时，采用交互矩阵将路径中不同关系矩阵进行连接，如公式(2)所示：

其中，

为通过服务与其他类型节点之间的关系R_i得到的关系矩阵，M_ij为服务A_i和A_j在特定关系下交互矩阵中对应的值；从而服务A_i和A_j的Pathsim值演变为了服务交换矩阵中的值的计算，如公式(3)所示：

计算出每条元路径下两两服务之间的相似度后，通过设置超参数确定相似度阈值；并将相似度超过阈值的服务确定为邻居服务，并对其应用onehot编码，每一个邻接矩阵代表一个基于元路径引导的邻域；

2)节点级别注意力：针对每条元路径产生邻接矩阵，设计节点级注意力的计算，其输入是服务的特征向量，输出为不同元路径下服务的表征向量；首先用线性层对输入的特征向量进行特征增强，如公式(4)所示，

f′＝W_Lf                 (4)

其中，W_L为线性层随机初始化的参数矩阵，F为服务的原始特征矩阵，F＝{f₁，f₂，...，f_N}；F′为服务的线性转换特征矩阵，F′＝{f₁′，f₂′...，f_N′)；根据不同元路径得到的邻接矩阵，计算特定元路径下A_i对服务A_j的注意力权重；给定一个通过元路径连接的服务节点对(A_i，A_j)，所有基于元路径的节点对共享参数向量α；公式(5)中节点对的权重取决于服务本身的特征；同时，计算得到的注意力结果是不对称的，即服务A_i对服务A_j的重要性和服务A_j对服务A_i的重要性不一定相同；

其中，f_i′是经过一层线性变换得到的增强特征，

为元路径p下节点级注意力层共享参数向量，该参数由一层前馈神经网络进行训练得到；||表示串联操作；σ为非线性激活函数，采用LeakyReLU；最后应用softmax进行归一化得到的

为元路径p下邻居服务A_j对服务A_i的注意力系数；将每条元路径下的所有邻居节点的注意力权重与特征进行加权求和得到最终基于元路径的节点表征；如公式(6)所示，每个服务节点嵌入由它的邻居服务聚集，由于节点级别注意权重是在单个元路径下得到的，因此具有该条元路径所附带的语义特异性；

其中，

为元路径p下服务A_i的邻居服务集合，

为服务A_j在元路径p下节点级嵌入表征；重复若干次上述计算得到服务在单个元路径下的多个表征，然后利用级联聚合K次计算得到的表征；如公式(7)所示：

最终，对于整个数据集，将元路径p下节点级别得到的最终服务节点嵌入矩阵表示为：Φ_p＝{e′₁，e′₂，...，e′_N，}；

3)元路径级别注意力：通过节点级的计算，得到了服务在各条元路径下的表征矩阵{Φ_ATA，Φ_AMAMA，Φ_ADA，Φ_AWA}；首先，对每个节点级表征结果使用一层MLP做非线性变换；针对变换后的嵌入向量，将元路径级别注意力度量为变换后的节点级嵌入向量与注意力参数向量的相似性；如公式(8)所示：

其中，θ^T为语义级注意向量，W_met表示MLP层的参数矩阵，b表示一个偏置向量，所有参数对于每次的注意力计算都是共享的；V是所有的服务节点，

是服务A_i在第p条元路径下的注意力权重；在得到每个元路径的重要性之后，通过softmax函数对它们进行规范化；将学习到的权重作为系数，融合节点级计算得到的服务嵌入，得到最终的嵌入结果；如公式(9)所示：

其中，e′_i ^p为元路径p下服务A_i经过节点级注意力计算后的节点表征；Z_i则为聚合了各条元路径表征的结果；

4)服务类别预测：将最终的服务嵌入输入到一个全连接层，利用softmax激活函数输出所有候选的Web服务类别的概率分布；Softmax将多分类的输出数值转化为相对概率，其计算如公式(10)所示：

最后，对于半监督节点分类，最小化所有服务节点在真实标签和预测标签之间的交叉熵来计算损失值；如公式(11)所示：

其中，β是分类器的参数，y_c是具有标签的节点索引集，Y^l和Z^l是标记节点的标签和嵌入；在标记数据的指导下，通过反向传播优化模型，学习节点的嵌入情况。

本发明采取上述结构取得有益效果如下：本发明提供的异构图注意力网络增强的Web服务分类方法，首先利用组合服务信息、原子服务信息和它们各自的属性信息构建一个异构信息服务网络。然后，根据不同语义信息定义元路径，并利用交换矩阵和基于元路径的相似度度量技术，构造服务相似度矩阵。最后，设计服务双层注意力模型，分别计算服务的节点级注意力及语义级注意力，从而得到服务的节点级表征及语义级表征，以融合生成更具表达力的服务特征嵌入，实现更为精准的服务分类效果。最后，在ProgrammableWeb平台真实数据集上进行的多组对比实验结果表明该方法在准确率、召回率、Macro F1上较GAT、GCN、Metapath2Vec、Node2vec、BiLSTM以及LDA等模型相比都有显著的提高，较好地提高了服务分类的精度。

附图说明

图1为本发明异构图注意力网络增强的Web服务分类方法的服务异构信息网络图；

图2为本发明异构图注意力网络增强的Web服务分类方法的元路径及其语义表示表；

图3为本发明异构图注意力网络增强的Web服务分类方法的服务分类框架图；

图4为本发明异构图注意力网络增强的Web服务分类方法的节点级注意力计算图；

图5为本发明异构图注意力网络增强的Web服务分类方法的数据集统计结果图；

图6为本发明异构图注意力网络增强的Web服务分类方法的不同模型实验结果的比较图。

具体实施方式

下面结合具体实施对本发明的技术方案进行进一步详细地说明，本发明所述的技术特征或连接关系没有进行详细描述的部分均为采用的现有技术。

以下结合实施例，对本发明做进一步详细说明。

如图1-6所示，本发明采取的技术方案如下：异构图注意力网络增强的Web服务分类方法，包括如下步骤：

1)构造基于元路径的服务相似度矩阵：针对每条元路径采用Pathsim计算服务之间的相似性；给定一个对称的元路径P，S(A_i，A_j)通过两个方面来定义：两个服务A_i和A_j定义在元路径上的联系以及它们与自身的路径实例个数。因此，两个服务A_i和A_j的Pathsim值如公式(1)所示：

其中，

是服务A_i和A_j之间的路径实例，当元路径的中间节点数超过1个时，采用交互矩阵将路径中不同关系矩阵进行连接，如公式(2)所示：

其中，

为通过服务与其他类型节点之间的关系R_i得到的关系矩阵，M_ij为服务A_i和A_j在特定关系下交互矩阵中对应的值；从而服务A_i和A_j的Pathsim值演变为了服务交换矩阵中的值的计算，如公式(3)所示：

计算出每条元路径下两两服务之间的相似度后，通过设置超参数确定相似度阈值；并将相似度超过阈值的服务确定为邻居服务，并对其应用onehot编码，每一个邻接矩阵代表一个基于元路径引导的邻域；

2)节点级别注意力：针对每条元路径产生邻接矩阵，设计节点级注意力的计算，其输入是服务的特征向量，输出为不同元路径下服务的表征向量；首先用线性层对输入的特征向量进行特征增强，如公式(4)所示，

f′＝W_Lf                 (4)

其中，W_L为线性层随机初始化的参数矩阵，F为服务的原始特征矩阵，F＝{f₁，f₂，...，f_N}；F′为服务的线性转换特征矩阵，F′＝{f₁′，f₂′...，f_N′}；根据不同元路径得到的邻接矩阵，计算特定元路径下A_i对服务A_j的注意力权重；给定一个通过元路径连接的服务节点对(A_i，A_j)，所有基于元路径的节点对共享参数向量α；公式(5)中节点对的权重取决于服务本身的特征；同时，计算得到的注意力结果是不对称的，即服务A_i对服务A_j的重要性和服务A_j对服务A_i的重要性不一定相同；

其中，f_i′是经过一层线性变换得到的增强特征，

为元路径p下节点级注意力层共享参数向量，该参数由一层前馈神经网络进行训练得到；||表示串联操作；σ为非线性激活函数，采用LeakyReLU；最后应用softmax进行归一化得到的

为元路径p下邻居服务A_j对服务A_i的注意力系数；将每条元路径下的所有邻居节点的注意力权重与特征进行加权求和得到最终基于元路径的节点表征；如公式(6)所示，每个服务节点嵌入由它的邻居服务聚集，由于节点级别注意权重是在单个元路径下得到的，因此具有该条元路径所附带的语义特异性；

其中，

为元路径p下服务A_i的邻居服务集合，

为服务A_j在元路径p下节点级嵌入表征；重复若干次上述计算得到服务在单个元路径下的多个表征，然后利用级联聚合K次计算得到的表征；如公式(7)所示：

最终，对于整个数据集，将元路径p下节点级别得到的最终服务节点嵌入矩阵表示为：Φ_p＝{e′₁，e′₂，...，e′_N}；

3)元路径级别注意力：通过节点级的计算，得到了服务在各条元路径下的表征矩阵{Φ_ATA，Φ_AMAMA，Φ_ADA，Φ_AWA}；首先，对每个节点级表征结果使用一层MLP做非线性变换；针对变换后的嵌入向量，将元路径级别注意力度量为变换后的节点级嵌入向量与注意力参数向量的相似性；如公式(8)所示：

其中，θ^T为语义级注意向量，W_met表示MLP层的参数矩阵，b表示一个偏置向量，所有参数对于每次的注意力计算都是共享的；V是所有的服务节点，

是服务A_i在第p条元路径下的注意力权重；在得到每个元路径的重要性之后，通过softmax函数对它们进行规范化；将学习到的权重作为系数，融合节点级计算得到的服务嵌入，得到最终的嵌入结果；如公式(9)所示：

其中，e′_i ^p为元路径p下服务A_i经过节点级注意力计算后的节点表征；Z_i则为聚合了各条元路径表征的结果。

4)服务类别预测：将最终的服务嵌入输入到一个全连接层，利用softmax激活函数输出所有候选的Web服务类别的概率分布；Softmax将多分类的输出数值转化为相对概率，其计算如公式(10)所示：

最后，对于半监督节点分类，最小化所有服务节点在真实标签和预测标签之间的交叉熵来计算损失值；如公式(11)所示：

其中，β是分类器的参数，y_c是具有标签的节点索引集，Yⁱ和Z^l是标记节点的标签和嵌入；在标记数据的指导下，通过反向传播优化模型，学习节点的嵌入情况。

实验评估与分析

将详细介绍实验，包括数据集的选取和实验相关设置、实验指标、多个模型的实验结果比较以及相关参数分析。

数据集及实验设置

爬取了ProgrammableWeb平台公开的服务数据作为服务划分的实验数据集，包含17783个Web API(A)，6131个Mashup(M)，480个Tag(T)。服务特征是一个词袋的要素，由关键词表示。对于每一个WebAPI，其信息包括服务名称、描述文本、所属类别。由于实验数据集过大，文本选取包含API数量最多的前10、15、20、25、30类别作为实验对象。数据分布见图5所示。

为了进行性能比较和参数影响，在训练时，我们将实验数据进行随机打乱，然后划分60％的数据作为训练集，20％的数据作为验证集，20％的数据作为测试集，并将训练集、验证集和测试集完全分离，以保证公平性。我们随机初始化参数并用Adam[19]对模型进行优化。学习率设置为0.005，正则化参数设置为0.001，语义层注意向量的维数q设置为128，注意头的数目K设置为8。

对比方法

本文采用6种方法作为对比试验，与本文模型进行评估与对比。

LDA：一种非监督机器学习技术，可以用来识别大规模文档集或语料库中潜藏的主题信息。采用了词袋的方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息.。

BiLSTM：由前向LSTM与后向LSTM组合而成，将BiLSTM中最后一个隐藏向量作为服务文档的表示，利用softmax得到类别的概率分布。

Node2Vec：利用特定游走方式获得每个点对应的序列，定义两个参数来平衡BFS与DFS的影响，同时考虑到了图结构的局部与全局信息，具有很高的适应性。

Metapath2Vec：使用基于meta-path的随机游走获取异构网络中每种不同类型顶点的异构领域，然后使用扩展的Skip-Gram处理顶点领域，最终学习每个不同类型顶点的网络嵌入表示。

GCN：GCN将标准化的图结构和节点特征作为输入，利用图的拉普拉斯矩阵的特征值和特征向量来提取拓扑图的空间特征，利用softmax进行评分预测。

GAT：通过注意力机制来对邻居节点做聚合操作，实现对不同邻居权重的自适应分配，从而大大提高了图神经网络模型的表达能力。

评价指标

本文针对多分类问题采用Macro F1作为评价指标对以上的方法进行性能的评定，其中，召回率描述被正确分类的Web APIs占所有该类别Web APIs的比例；准确率描述模型最终的分类结果中确实属于该类别的Web APIs所占的比例；Macro F1是召回率和准确率的调和平均值。其公式和意义如下：

分类性能

为了得到稳定的训练结果，我们对上述实验过程重复若干次并采取平均Macro-F1值，如图6所示。从图6中可以看出，基于异构图注意力的方法相比其他方法性能更优。特别是当服务类别数为25时，SCHAN在Macro-F1值上分别比对照方法提高了41.84％、23.19％、14.51％、16.48％、12.38％和2.11％。具体而言，由于特征稀疏，未充分考虑服务与其他对象之间的关系，LDA、BiLSTM方法表现最差。而Node2Vec、Metapath2Vec、GCN效果相对更好，这表明考虑对服务的关系提取的重要性。同样的注意力计算，基于异构图注意力的方法优于单单只考虑节点级别注意力的GAT，这表明了本文提出的方法成功地捕捉到了元路径中丰富的语义信息，显示了其优越性。通过以上分析可以发现我们的方法表现出了良好的性能。结果表明，融合异构图和注意力机制来分析节点和元路径的重要性是非常重要的。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (1)

1.异构图注意力网络增强的Web服务分类方法，其特征在于，包括如下步骤：

1)构造基于元路径的服务相似度矩阵：针对每条元路径采用Pathsim计算服务之间的相似性；给定一个对称的元路径P，S(A_i，A_j)通过两个方面来定义：两个服务A_i和A_j定义在元路径上的联系以及它们与自身的路径实例个数；因此，两个服务A_i和A_j的Pathsim值如公式(1)所示：

其中，

是服务A_i和A_j之间的路径实例，当元路径的中间节点数超过1个时，采用交互矩阵将路径中不同关系矩阵进行连接，如公式(2)所示：

其中，

为通过服务与其他类型节点之间的关系R_i得到的关系矩阵，M_ij为服务A_i和A_j在特定关系下交互矩阵中对应的值；从而服务A_i和A_j的Pathsim值演变为了服务交换矩阵中的值的计算，如公式(3)所示：

计算出每条元路径下两两服务之间的相似度后，通过设置超参数确定相似度阈值；并将相似度超过阈值的服务确定为邻居服务，并对其应用onehot编码，每一个邻接矩阵代表一个基于元路径引导的邻域；

2)节点级别注意力：针对每条元路径产生邻接矩阵，设计节点级注意力的计算，其输入是服务的特征向量，输出为不同元路径下服务的表征向量；首先用线性层对输入的特征向量进行特征增强，如公式(4)所示，

f′＝W_Lf          (4)

其中，W_L为线性层随机初始化的参数矩阵，F为服务的原始特征矩阵，F＝{f₁，f₂，...，f_N}；F′为服务的线性转换特征矩阵，F′＝{f₁′，f₂′，...，f_N′}；根据不同元路径得到的邻接矩阵，计算特定元路径下A_i对服务A_j的注意力权重；给定一个通过元路径连接的服务节点对(A_i，A_j)，所有基于元路径的节点对共享参数向量α；公式(5)中节点对的权重取决于服务本身的特征；同时，计算得到的注意力结果是不对称的，即服务A_i对服务A_j的重要性和服务A_j对服务A_i的重要性不一定相同；

其中，f′_i是经过一层线性变换得到的增强特征，

为元路径p下节点级注意力层共享参数向量，该参数由一层前馈神经网络进行训练得到；||表示串联操作；σ为非线性激活函数，采用LeakyReLU；最后应用softmax进行归一化得到的

为元路径p下邻居服务A_j对服务A_i的注意力系数；将每条元路径下的所有邻居节点的注意力权重与特征进行加权求和得到最终基于元路径的节点表征；如公式(6)所示，每个服务节点嵌入由它的邻居服务聚集，由于节点级别注意权重是在单个元路径下得到的，因此具有该条元路径所附带的语义特异性；

其中，

为元路径p下服务A_i的邻居服务集合，

为服务A_j在元路径p下节点级嵌入表征；重复若干次上述计算得到服务在单个元路径下的多个表征，然后利用级联聚合K次计算得到的表征；如公式(7)所示：

最终，对于整个数据集，将元路径p下节点级别得到的最终服务节点嵌入矩阵表示为：Φ_p＝{e′₁，e′₂，...，e′_N，}；

3)元路径级别注意力：通过节点级的计算，得到了服务在各条元路径下的表征矩阵{Φ_ATA，Φ_AMAMA，Φ_ADA，Φ_AWA}；首先，对每个节点级表征结果使用一层MLP做非线性变换；针对变换后的嵌入向量，将元路径级别注意力度量为变换后的节点级嵌入向量与注意力参数向量的相似性；如公式(8)所示：

其中，θ^T为语义级注意向量，W_met表示MLP层的参数矩阵，b表示一个偏置向量，所有参数对于每次的注意力计算都是共享的；V是所有的服务节点，

是服务A_i在第p条元路径下的注意力权重；在得到每个元路径的重要性之后，通过softmax函数对它们进行规范化；将学习到的权重作为系数，融合节点级计算得到的服务嵌入，得到最终的嵌入结果；如公式(9)所示：

其中，

为元路径p下服务A_i经过节点级注意力计算后的节点表征；Z_i则为聚合了各条元路径表征的结果；

4)服务类别预测：将最终的服务嵌入输入到一个全连接层，利用softmax激活函数输出所有候选的Web服务类别的概率分布；Softmax将多分类的输出数值转化为相对概率，其计算如公式(10)所示：

最后，对于半监督节点分类，最小化所有服务节点在真实标签和预测标签之间的交叉熵来计算损失值；如公式(11)所示：

其中，β是分类器的参数，y_C是具有标签的节点索引集，Y^l和Z^l是标记节点的标签和嵌入；在标记数据的指导下，通过反向传播优化模型，学习节点的嵌入情况。

Images