CN112836054B - 一种基于共生注意力表示学习的服务分类方法 - Google Patents

Abstract

本发明涉及一种基于共生注意力表示学习的服务分类方法。具体包括如下步骤：选取一个web服务，该Web服务包括服务描述和服务名称；利用服务描述构建描述服务矩阵；从服务描述中提取信息词，构建服务信息词特征矩阵；利用服务名称构建服务名称特征矩阵；融合信息词特征矩阵和名称特征矩阵获得增强数据特征矩阵；利用增强数据特征矩阵和服务描述特征矩阵建立服务特征相关矩阵；通过计算相关矩阵得到所需的向量参数，最后根据向量参数与特征矩阵得出web服务的服务类别。本发明方法通过提取服务描述作为附加服务特征，将提取出来的信息词与服务名称合并，以形成用于服务分类的服务增强特征，从而提高分类的准确性。

Description

一种基于共生注意力表示学习的服务分类方法

技术领域

本发明涉及服务分类方法领域，特别涉及一种基于共生注意力表示学习的服务分类方法。

背景技术

随着面向服务架构(SOA)的广泛应用，Web服务(例如Mashups)在Web平台和移动应用程序市场上变得越来越流行。到目前为止，已经有了许多有关服务分类的工作，它们中的大多数主要集中于使用关键字来匹配其他服务描述中的关键字来测量不同服务之间的语义距离，分类结果会将具有类似功能的服务分类为同一类别；这些基于关键字的方法主要依赖于服务描述中关键字的质量，而这些关键字是由服务提供商手动指定的，但由于服务提供者对类似功能的服务有不同程度的了解，提供者为服务选择最佳的关键字是比较困难的，这将导致不同提供者之间的语义鸿沟问题，这种鸿沟问题也会限制服务分类的准确性。

为了解决基于选择关键字方法的局限性，许多研究人员提出了各种基于语义的服务分类方法。通常是基于矢量空间模型来学习服务描述概率主题，以测量服务之间的相似性并对服务进行分类。例如，李等人使用潜在狄利克雷分配(LDA)提取服务描述文档的潜在因素以进行服务分类，但基于LDA的分类方法不适用于对简短而稀疏的Web服务描述进行建模。

另一种深度学习模型广泛应用于机器学习研究领域，例如文本分类，服务分类等。研究人员提出了许多深度学习模型，这些模型在捕获各种信息语义，提高分类准确性上具有很出色的性能，代表方法之一就是Kim等人提出的CNN，该方法将CNN与预训练的单词向量集成在一起用以对文本进行分类；另一个是Att-BLSTM，它使用注意力机制进行分类。然而，这些深度学习模型在服务分类方面仍存在一些问题：一是这些模型通常仅从服务描述中提取特征以对Web服务进行分类；二是这些模型无法解决数据稀疏和上下文无关的问题。

为了解决这些问题，杨等人提出了一种用于服务分类的深度神经网络，称为ServeNet-BERT。通过Google BERT(Bidirectional Encoder Representation fromTransformers)模型将服务名称和服务描述嵌入向量空间中，再利用神经网络学习它们的高级特征表示，并将其合并用作Web服务分类。实验结果表明，ServeNet-BERT优于10种机器学习方法，包括LDA-SVM和C-LSTM。尽管ServeNet-BERT在服务分类方面具有优势，但其仍然存在局限性：ServeNet-BERT只是将特征与服务名称和服务描述结合在一起，而没有充分利用服务名称和服务描述之间潜在的语义相关性。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：充分利用服务名称和服务描述之间潜在的语义相关性，提高服务分类的准确性。

为解决上述技术问题，本发明采用如下技术方案：一种基于共生注意力表示学习的服务分类方法，包括如下步骤：

S100：从公开数据集中选取部分web服务作为训练集，训练集中的每个web服务都有确定的服务类别，对训练集中包含的所有服务类别进行顺序编号；

S200：从该训练集中任选一个Web服务作为训练样本，该训练样本包括服务描述和服务名称；

S300：对每个训练样本从其服务描述中提取服务信息词；

S400：对每个训练样本构建描述特征矩阵D；

S500：对每个训练样本构建服务信息词特征矩阵I；

S600：对每个训练样本构建服务名称特征矩阵S；

S700：将每个训练样本对应的信息词特征矩阵I和名称特征矩阵S进行融合，获得增强数据特征矩阵A，表达式如下；

S800：对每个训练样本计算服务特征相关矩阵F，具体表达式如下：

F＝tanh(A^TUD)

其中，服务描述特征矩阵D∈R^d*p，服务增强数据矩阵A∈R^d*q，参数矩阵U∈R^d*d，服务特征相关矩阵F∈R^p*q；

S900：对每个训练样本计算r^A和r^D；

S1000：对每个训练样本计算相对应的预测向量L，其中，L为N维的向量，L中包含的所有概率值是按照顺序编号进行排列，选择其中最大的概率值所对应的服务类别作为最终的服务类别预测结果，L具体表达式如下：

L＝softmax(f_fc(r^A+r^D))

其中，f_fc表示全连接层神经网络；

S1010：根据S1000结果采用梯度下降，反向传播的方式对如下参数进行更新，所述“如下参数”是指S200-S800步骤中所用到的参数；当训练达到最大迭代次数，模型训练完毕，得到训练好的服务分类模型；

S1020：对一个未知类别的待预测web服务进行服务分类预测，具体步骤如下：

S1030：采用S300的方法从待预测服务描述中提取服务信息词；

S1040：采用S400的方法构建待预测描述特征矩阵D’；

S1050：采用S500的方法构建待预测服务信息词特征矩阵I’；

S1060：采用S600的方法构建待预测服务名称特征矩阵S’；

S1070：采用S700的方法得到待预测增强数据特征矩阵A’；

S1080：采用S800的方法计算待预测相关矩阵F’；

S1090：采用S900的方法计算待预测的r^A’和r^D’；

S1100：采用S1000的方法计算预测向量L’，将其中的最大概率值所对应的服务类别作为待预测Web服务的预测类别。

作为优选，所述S300中对每个训练样本从其服务描述中提取服务信息词的具体步骤如下：

S310：设服务描述中有E个原单词，对E个原单词进行标记化处理，此处的“标记化处理”是指将每个单词用空格隔开；

S320：根据英语停用词列表删除E个原单词中的停用词，剩余的原单词个数为Z,并对Z个原单词进行词干提取，如果词干出现重复，则只保留一个，最终得到G个单词词干；

S330：计算G个单词词干的信息增益得分，具体公式如下：

其中，N表示该训练集中服务类别的数量，C_k表示类别，P(C_k)表示类别C_k的概率，P(w)表示单词词干w存在的概率，

表示单词词干w不存在的概率，P(C_k|w)表示存在单词词干w时类别C_k的条件概率，

表示不存在单词词干w时类别C_k的条件概率；

其中，各项计算表达式如下：

其中，num(C_k)表示在类别C_k上的服务数量，

表示所有类别包含的服务总数，

表示在类别C_i中的服务描述中带有单词词干w的服务数量，

表示所有类别包含的服务总数中的服务描述中带有单词词干w的服务总数，

为服务描述中未包含单词词干w的服务总数；

S340：根据信息增益得分将G个单词词干进行降序排列，选择前J个单词词干作为服务信息词的提取结果。

该处所使用的的信息增益算法，能够计算得出单词所携带的信息量，信息量越大，说明该单词越重要，对该服务划分到正确的类别越有利。

作为优选，所述S400中对每个训练样本构建描述特征矩阵D的具体步骤如下：

S410：设服务描述中包含的单词数量为n₁，将服务描述作为BERT模型的输入，输出为服务描述的单词序列和长度为n₁的k₁维服务描述嵌入矩阵，具体表达式如下：

Y₁＝f_{bert_seq}(X₁)

其中，Y₁表示服务描述嵌入矩阵，X₁表示服务描述；

S420：采用双向LSTM提取服务描述特征，具体步骤如下：

S421：计算所述服务描述中第i个单词的隐藏状态h_i，具体表达式如下：

其中，a_i是服务描述嵌入矩阵Y₁中第i个单词的k₁维词向量，h_i是LSTM中第i个单词的隐藏状态，

表示第i个单词前向传播的隐藏状态，

表示第i个单词后向传播的隐藏状态，

表示第i个单词的前一个单词的前向传播存储单元，

表示第i个单词的前一个单词的前向传播隐藏状态，

表示第i个单词的后一个单词的后向传播存储单元，

表示第i个单词的后一个单词的后向传播隐藏状态；

S422：重复S421，计算得到服务描述中所有单词的隐藏状态，并进行拼接，得到服务描述的特征矩阵D，具体表达式如下：

此处所使用的双向LSTM，方便序列建模，具备长时记忆的能力，可以捕获一个句子的上下文，使得分类效果更佳。

作为优选，所述S500中对每个训练样本构建服务信息词特征矩阵I的具体步骤如下：

S510：将步骤S340得到的J个服务信息词作为BERT模型的输入，输出为长度为n₂的k₂维服务信息词嵌入矩阵Y₂，具体表达式如下：

Y₂＝f_{bert_seq}(X₂)

其中，Y₂表示服务信息词嵌入矩阵，X₂表示服务信息词；

S520：采用2-D CNN卷积函数提取服务信息词的特征，具体步骤如下：

S521：为服务信息词嵌入矩阵Y₂增加一个额外维度得到Y₂′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的信息词向量的维度，q₁表示卷积核包含的信息词的个数；

S522：计算Y₂′中服务信息词的局部特征c_i′,j′,1，表达式如下:

其中，e_u,v,1表示服务信息词中的第u个词相对应的v维词向量，u∈[i,i+p₁-1]，v∈[j,j+q₁-1]，b表示偏置项,i′表示Y₂′中的信息词，j′表示信息词i′对应的维度，j′＝1,2,…,k₂；

S523：应用数量为t的卷积核

和卷积核数量为t时的服务信息词的局部特征

得到局部特征c_i″,j″,1，具体表达式如下：

其中，c_i″,j″,1表示卷积核数量为1时的服务信息词的局部特征，p₂为卷积核数量为1时卷积核包含的信息词向量的维度，q₂为卷积核数量为1时的卷积核包含的信息词的个数；

S524：压缩Y₂′中额外的一个维度，得到Y₂中服务信息词的局部特征c_i″,j″,拼接所有局部特征得到信息词特征矩阵I，表达式如下：

此处所使用的CNN可以处理高维数据，自动提取特征，扩充维度可以增加数据的信息量，再得到数据信息压缩一个维度，以跟服务描述特征矩阵匹配方便进行共生注意力表示学习。

作为优选，所述S600中对每个训练样本构建服务名称特征矩阵S的具体步骤如下：

S610：将服务名称作为BERT模型的输入，输出为长度为n₃的k₃维服务名称嵌入矩阵Y₃，具体表达式如下：

Y₃＝f_{bert_seq}(X₃)

其中，Y₃表示服务名称嵌入矩阵，X₃表示服务名称；

S620：采用2-D CNN提取服务名称的特征，具体步骤如下：

S621：为服务名称嵌入矩阵Y₃增加一个额外维度得到Y₃′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的服务名称词向量的维度，q₁表示卷积核包含的服务名称中词的个数；

S622：计算Y₃′中服务名称的局部特征d_i′,j′,1，表达式如下:

其中，s_u,v,1表示服务名称中的第u个词相对应的v维词向量，u∈[i,i+p₁-1]，v∈[j,j+q₁-1]，b表示偏置项，i′表示Y₃′中的服务名称，j′表示信息词i′对应的维度，j′＝1,2,…,k₂；

S623：应用数量为t的卷积核

和卷积核数量为t时的服务名称的局部特征

得到局部特征d_i″,j″,1，具体表达式如下：

其中，d_i″,j″,1表示卷积核为1时的服务名称的局部特征，p₂为卷积核为1时的包含服务名称词向量的维度，q₁为卷积核为1时的卷积核包含的服务名称中词的个数；

S624：压缩压缩Y₃′中额外的一个维度，得到Y₃中服务名称的局部特征d_i″,j″,拼接所有局部特征得到服务名称特征矩阵S，表达式如下：

此处所使用的CNN可以处理高维数据，自动提取特征，扩充维度可以增加数据的信息量，再得到数据信息压缩一个维度，以跟服务描述特征矩阵匹配方便进行共生注意力表示学习。

作为优选，所述S900中对每个训练样本计算r^A和r^D的具体步骤如下：

S910：对服务特征相关矩阵F执行最大池化操作，得到服务增强数据

和服务描述

具体表示如下：

S920：计算

的服务语义向量g^A和

的服务语义向量g^D，具体表达式如下：

其中，g^A∈R^p，g^D∈R^q

S930：对得到的g^A和g^D服务语义向量采用softmax激活函数进行转化，得到服务增强数据注意力向量a^A和服务描述注意力向量a^D，具体表达式分别如下：

a^A＝softmax(g^A)

a^D＝softmax(g^D)

其中，a^A∈R^p，a^D∈R^q；

S940：计算a^A的服务表示向量r^A和a^D的服务表示向量r^D，具体表达式分别如下：

r^A＝A*a^A

r^D＝D*a^D

其中，A为增强数据特征矩阵，D为服务描述特征矩阵，a^A表示服务增强数据注意力向量，a^D表示服务描述注意力向量。

训练服务注意力向量可以学习服务的各部分特征(服务描述特征、服务增强数据特征)的潜在且相互关联的语义关系，提高服务分类的性能。

相对于现有技术，本发明至少具有如下优点：

1.本发明通过利用神经网络和共生注意力的表示学习机制来学习服务增强数据和描述之间的相互依存特征。

2.本发明提出了一种服务数据扩充机制，通过提取服务描述作为附加服务特征，将提取出来的信息词与服务名称合并，以形成用于服务分类的服务增强特征，从而提高分类的准确性。

附图说明

图1为本发明方法的框架图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

为了解决该模型存在的局限性并捕获更多服务特征用以进行服务分类，同时提高服务分类的准确性，本发明提出了一种基于共同注意表示学习机制的新型深度神经网络模型，并从服务描述中提取信息词以进行服务分类，这种机制可以学习服务特征的潜在和相互依赖的语义表示。

另外，本发明提出的该种新型深度神经网络模型，可以通过无需特征工程即可学习服务的相互依赖特征来从而有效地对服务进行分类。具体而言，本发明提出了一种通过使用信息增益理论从服务描述中提取信息性词语的服务数据扩充机制，这种机制可以学习嵌入的服务扩充数据和服务描述之间的相关矩阵，从而获得它们相互依赖的语义相关表示，以进行服务分类。

本发明中，基于服务描述的服务表示向量和增强数据的服务表示向量来表示预测向量。选取一web服务，该Web服务包括服务描述和服务名称；利用服务描述构建描述服务矩阵；从服务描述中提取信息词，构建服务信息词特征矩阵；利用服务名称构建服务名称特征矩阵；融合信息词特征矩阵和名称特征矩阵获得增强数据特征矩阵；利用增强数据特征矩阵和服务描述特征矩阵建立服务特征相关矩阵；通过计算相关矩阵得到所需的向量参数，最后根据向量参数与特征矩阵得出web服务的服务类别。

参见图1，一种基于共生注意力表示学习的服务分类方法，包括如下步骤：

S100：从公开数据集中选取部分web服务作为训练集，训练集中的每个web服务都有确定的服务类别，对训练集中包含的所有服务类别进行顺序编号；实验数据集包含10,943个Web服务。按类别采用随机选择，将每个类别的服务分为80％的培训集和20％的测试集，获得了训练集的8,733个Web服务和测试集的2,210个Web服务。

S200：从该训练集中任选一个Web服务作为训练样本，该训练样本包括服务描述和服务名称。

S300：对每个训练样本从其服务描述中提取服务信息词。

S400：对每个训练样本构建描述特征矩阵D。

S500：对每个训练样本构建服务信息词特征矩阵I。

S600：对每个训练样本构建服务名称特征矩阵S。

S700：将每个训练样本对应的信息词特征矩阵I和名称特征矩阵S进行融合，获得增强数据特征矩阵A，表达式如下；

A＝I⊕S。

S800：对每个训练样本计算服务特征相关矩阵F，服务特征相关矩阵F对服务增强数据和服务描述的特征语义相关性具有共生的视角，具体表达式如下：

F＝tanh(A^TUD)

其中，服务描述特征矩阵D∈R^d*p，服务增强数据矩阵A∈R^d*q，参数矩阵U∈R^d*d，服务特征相关矩阵F∈R^p*q。

S900：对每个训练样本计算r^A和r^D。

S1000：对每个训练样本计算相对应的预测向量L，其中，L为N维的向量，L中包含的所有概率值是按照顺序编号进行排列，选择其中最大的概率值所对应的服务类别作为最终的服务类别预测结果，例如最大概率值的顺序编号是20，那么顺序编号20所对应的服务类别就是最终的服务类别预测结果，L具体表达式如下：

L＝softmax(f_fc(r^A+r^D))

其中，f_fc表示全连接层神经网络，f_fc为现有技术。

S1010：根据S1000结果采用梯度下降，反向传播的方式对如下参数进行更新，所述“如下参数”是指S200-S800步骤中所用到的参数；这些参数主要包括“LSTM的前向传播隐藏状态

和后向传播隐藏状态

前向传播存储单元

和后向传播存储单元

2-DCNN的卷积核

和

偏置项b和参数矩阵U的系数；当训练达到最大迭代次数，模型训练完毕，得到训练好的服务分类模型。

S1020：对一个未知类别的待预测web服务进行服务分类预测，具体步骤如下。

S1030：采用S300的方法从待预测服务描述中提取服务信息词。

S1040：采用S400的方法构建待预测描述特征矩阵D’。

S1050：采用S500的方法构建待预测服务信息词特征矩阵I’。

S1060：采用S600的方法构建待预测服务名称特征矩阵S’。

S1070：采用S700的方法得到待预测增强数据特征矩阵A’。

S1080：采用S800的方法计算待预测相关矩阵F’。

S1090：采用S900的方法计算待预测的r^A’和r^D’。

S1100：采用S1000的方法计算预测向量L’，将其中的最大概率值所对应的服务类别作为待预测Web服务的预测类别。

具体实施时，对每个训练样本从其服务描述中提取服务信息词的具体步骤如下。

S310：设服务描述中有E个原单词，对E个原单词进行标记化处理，此处的“标记化处理”是指将每个单词用空格隔开。

S320：根据英语停用词列表删除E个原单词中的停用词，剩余的原单词个数为Z,并对Z个原单词进行词干提取，如果词干出现重复，则只保留一个，最终得到G个单词词干；最后得到的G个单词词干，它与E及Z的大小关系为G≤Z≤E，比如Z中包含有同一个单词的不同时态，词干提取之后，它们都是该单词本身，所以词干提取之后该web服务描述下的单词数量有可能更少。

S330：计算G个单词词干的信息增益得分，具体公式如下：

其中，N表示该训练集中服务类别的数量，C_k表示类别，P(C_k)表示类别C_k的概率，P(w)表示单词词干w存在的概率，

表示单词词干w不存在的概率，P(C_k|w)表示存在单词词干w时类别C_k的条件概率，

表示不存在单词词干w时类别C_k的条件概率。

其中，各项计算表达式如下：

其中，num(C_k)表示在类别C_k上的服务数量，

表示所有类别包含的服务总数，

表示在类别C_i中的服务描述中带有单词词干w的服务数量，

表示所有类别包含的服务总数中的服务描述中带有单词词干w的服务总数，

为服务描述中未包含单词词干w的服务总数。

S340：根据信息增益得分将G个单词词干进行降序排列，选择前J个单词词干作为服务信息词的提取结果。

具体实施时，对每个训练样本构建描述特征矩阵D的具体步骤如下。

S410：设服务描述中包含的单词数量为n₁，将服务描述作为BERT模型的输入，输出为服务描述的单词序列和长度为n₁的k₁维服务描述嵌入矩阵，BERT模型是经过预先训练的自然语言模型，为现有技术，它可以将句子嵌入到k₁维向量矩阵中，然后根据单词的上下文将句子中的每个单词转换为k₁维向量；提供句子时，通过执行BERT模型，获得两种类型的嵌入输出：a)pool_output是句子的k₁维向量，b)句子输出是具有相同句子顺序和长度的嵌入向量矩阵，具体表达式如下：

Y₁＝f_{bert_seq}(X₁)

其中，Y₁表示服务描述嵌入矩阵，X₁表示服务描述。

S420：采用双向LSTM提取服务描述特征，此处的“双向”表示前向传播和后向传播，具体步骤如下。

S421：计算所述服务描述中第i个单词的隐藏状态h_i，具体表达式如下：

其中，a_i是服务描述嵌入矩阵Y₁中第i个单词的k₁维词向量，h_i是LSTM中第i个单词的隐藏状态，

表示第i个单词前向传播的隐藏状态，

表示第i个单词后向传播的隐藏状态，

表示第i个单词的前一个单词的前向传播存储单元，

表示第i个单词的前一个单词的前向传播隐藏状态，

表示第i个单词的后一个单词的后向传播存储单元，

表示第i个单词的后一个单词的后向传播隐藏状态。

S422：重复S421，计算得到服务描述中所有单词的隐藏状态，并进行拼接，得到服务描述的特征矩阵D，具体表达式如下：

具体实施时，对每个训练样本构建服务信息词特征矩阵I的具体步骤如下。

S510：将步骤S340得到的J个服务信息词作为BERT模型的输入，输出为长度为n₂的k₂维服务信息词嵌入矩阵Y₂，将所输入的服务信息词作为服务发现的扩充数据，考虑到信息量词是服务的关键词，所以使用BERT模型，与嵌入服务描述相同的方式，实现服务信息词的嵌入，具体表达式如下：

Y₂＝f_{bert_seq}(X₂)

其中，Y₂表示服务信息词嵌入矩阵，X₂表示服务信息词。

S520：采用2-D CNN卷积函数提取服务信息词的特征，具体步骤如下：

S521：为服务信息词嵌入矩阵Y₂增加一个额外维度得到Y₂′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的信息词向量的维度，q₁表示卷积核包含的信息词的个数。

S522：计算Y₂′中服务信息词的局部特征c_i′,j′,1，表达式如下:

其中，e_u,v,1表示服务信息词中的第u个词相对应的v维词向量，u∈[i,i+p₁-1]，v∈[j,j+q₁-1]，b表示偏置项,i′表示Y₂′中的信息词，j′表示信息词i′对应的维度，j′＝1,2,…,k₂；设Y₂是n₂*k₂的矩阵，卷积核就相当于是一个小矩阵，大小就是q₁*p₁，每次卷积就是在大矩阵上q₁*p₁大小的区域与卷积核进行卷积操作，自然q₁就成了卷积核包含的信息词的个数(指数量大小)，p₁就是卷积核包含的信息词向量的维度。

S523：应用数量为t的卷积核

和卷积核数量为t时的服务信息词的局部特征

得到局部特征c_i″,j″,1，具体表达式如下：

其中，c_i″,j″,1表示卷积核数量为1时的服务信息词的局部特征，p₂为卷积核数量为1时卷积核包含的信息词向量的维度，q₂为卷积核数量为1时的卷积核包含的信息词的个数。

S524：压缩Y₂′中额外的一个维度，得到Y₂中服务信息词的局部特征c_i″,j″,拼接所有局部特征得到信息词特征矩阵I，表达式如下：

具体实施时，对每个训练样本构建服务名称特征矩阵S的具体步骤如下。

S610：将服务名称作为BERT模型的输入，输出为长度为n₃的k₃维服务名称嵌入矩阵Y₃，服务名称是对服务功能的简短但详尽的总结，这意味着服务名称包括用于服务分类的抽象服务语义特征，具体表达式如下：

Y₃＝f_{bert_seq}(X₃)

其中，Y₃表示服务名称嵌入矩阵，X₃表示服务名称。

S620：采用2-D CNN提取服务名称的特征，具体步骤如下。

S621：为服务名称嵌入矩阵Y₃增加一个额外维度得到Y₃′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的服务名称词向量的维度，q₁表示卷积核包含的服务名称中词的个数。

S622：计算Y₃′中服务名称的局部特征d_i′,j′,1，表达式如下:

其中，s_u,v,1表示服务名称中的第u个词相对应的v维词向量，u∈[i,i+p₁-1]，v∈[j,j+q₁-1]，b表示偏置项，i′表示Y₃′中的服务名称，j′表示信息词i′对应的维度，j′＝1,2,…,k₂。

S623：应用数量为t的卷积核

和卷积核数量为t时的服务名称的局部特征

得到局部特征d_i″,j″,1，具体表达式如下：

其中，d_i″,j″,1表示卷积核为1时的服务名称的局部特征，p₂为卷积核为1时的包含服务名称词向量的维度，q₁为卷积核为1时的卷积核包含的服务名称中词的个数。

S624：压缩压缩Y₃′中额外的一个维度，得到Y₃中服务名称的局部特征d_i″,j″,拼接所有局部特征得到服务名称特征矩阵S，表达式如下：

具体实施时，对每个训练样本计算r^A和r^D的具体步骤如下。

S910：对服务特征相关矩阵F执行最大池化操作，得到服务增强数据

和服务描述

具体表示如下：

S920：计算

的服务语义向量g^A和

的服务语义向量g^D，具体表达式如下：

其中，g^A∈R^p，g^D∈R^q。

S930：对得到的g^A和g^D服务语义向量采用softmax激活函数进行转化，得到服务增强数据注意力向量a^A和服务描述注意力向量a^D，具体表达式分别如下：

a^A＝softmax(g^A)

a^D＝softmax(g^D)

其中，a^A∈R^p，a^D∈R^q。

S940：计算a^A的服务表示向量r^A和a^D的服务表示向量r^D，具体表达式分别如下：

r^A＝A*a^A

r^D＝D*a^D

其中，A为增强数据特征矩阵，D为服务描述特征矩阵，a^A表示服务增强数据注意力向量，a^D表示服务描述注意力向量。

实验验证

实验中使用的数据集是从ProgrammableWeb站点收集的，其中包含401个类别的15,344个服务。对于每个Web服务，可以获取服务的API名称，描述和主要类别等元数据，为避免歧义，将API名称定义为服务名称，将描述定义为服务描述，将主要类别定义为服务分类的判断标准；消除了一些包含少量服务的类别，计算和分类每个类别中的服务数量，选择服务最多的前50个类别作为实验数据集。实验数据集包含10,943个Web服务。按类别采用随机选择，将每个类别的服务分为80％的培训集和20％的测试集，获得了训练集的8,733个Web服务和测试集的2,210个Web服务。在预处理后的数据集上训练和测试提出的方法和基线。

本发明选择BERT模型，将服务描述，服务信息词和服务名称的每个单词嵌入到768维向量中。服务信息词跟服务名称第一卷积层具有32个内核大小为1*3*3的滤波器，第二卷积层具有一个内核大小为32*1*1的滤波器，LSTM的隐藏层大小为1024。将分类交叉熵作为损失函数，并将使用SGD算法以0.01的学习率优化模型，总训练次数为50，批量大小为32，本发明采用0.01的L2正则化来规范参数的权重。

为了证明本项目提出方法的有效性，本项目比较了以下最具竞争力的模型：

ServeNet：此方法堆叠了2-D CNN和BLSTM深层神经网络，以从服务描述中提取特征以进行服务分类；它通过用于词表示的全局向量嵌入词向量，并自动提取低级表示和高级表示，而无需进行特征工程。

ServeNet-BERT：这种方法是最新的服务分类模型之一。该模型结合了原始的ServeNet，并引入了服务名称作为模型的输入，它通过BERT模型嵌入服务名称和服务描述向量的每个单词，然后跟随原始的ServeNet提取服务描述特征，并将服务名称的pool_output作为服务名称特征；然后，ServeNet_BERT将服务名称特征和描述特征合并为用于服务分类的统一特征，将其作为基准模型。

除了上述模型外，其他模型还包括CNN，LSTM，RCNN，CLSTM和BLSTM在服务分类方面表现出色；当没有合适的深度学习模型来解决服务分类问题时，通常考虑将它们作为基准，在本发明中，将它们用作比较方法。

为了评估本项目提出模型的服务分类性能，利用几种标准的评估指标。具体如下：

Top-k准确性，当可以在排名前k的列表中找到目标类别标签时，预测是正确的，k是具有最高预测概率的k个标签。其中，类别为c的Top-k准确性为：

其中

是某个类别的分类正确数量，Num_c是某个类别的所有服务数量，Top-k的准确率即为在发现的服务中选择前k个服务作为返回结果，若这k个服务中有符合要求的服务，即为含有正确的服务。

另外，还采用其他国际认可的评估指标，如准确率P，召回率R，F-measure值来进行评估，具体表达式如下：

其中，A表示将某种服务类型正确预测为该类别的样本数，B表示将其他类别的服务识别为该类别的样本数，C表示将某种服务类型识别为其他类别的样本数。

如下表1比较了几种深度学习方法之间服务分类的有效性。较高的Top-kAccuracy，Precision,Recall和F-measure显示更好的分类结果。从实验结果表可以看出，ServeNet-BERT实现的平均Top-1 Accuracy,Top-5 Accuracy,Precision，Recall和F-measure值分别为0.681、0.905、0.668、0.653和0.654。本项目提出的服务发现模型的平均Top-1 Accuracy,Top-5 Accuracy,Precision，Recall和F-measure值分别为0.715、0.890、0.703、0.689和0.691。相比之下，本项目提出的模型在Top-1 Accuracy,Precision，Recall和F-measure方面比ServeNet-BERT分别提高了4.99％，5.24％，5.51％，5.66％。本项目提出的方法和ServeNet-BERT在Top-5准确性方面具有可比性。

对于其他深度学习方法，LSTM可以通过过去时间步长的长期依赖性来学习全局文本特征，从而使F-measure值达到0.403，其中CNN仅学习局部特征并获得0.252的F-measure值。但是，通过堆叠CNN和用于学习文本特征的序列模型，递归CNN(RNN+CNN)和C-LSTM(CNN+LSTM)可获得较高的F量度值0.543和0.578。学习双向依赖性时，BLSTM的F量度值为0.587。最后，ServeNet使用带有BLSTM的二维CNN来学习局部和全局特征。它的F值达到0.608。基准的ServeNet-BERT使用来自服务名称和描述的信息以及上下文相关的词嵌入，在所有基准中F-measure值都更高，为0.654。此外，提出的模型将上述思想和共同专注的表示学习整合在一起。在所有基准测试中，它达到的最高F测量值0.691。这些结果验证了本项目提出的模型在将注意力集中的表示学习纳入服务发现中的有效性。

表1服务分类预测模型的性能比较

Model	Top-1 A	Top-5 A	P	R	F-measure
						CNN	0.295	0.569	0.296	0.240	0.252
LSTM	0.510	0.789	0.477	0.410	0.403
						RCNN	0.597	0.857	0.608	0.529	0.543
CLSTM	0.612	0.851	0.595	0.585	0.578
						BLSTM	0.619	0.853	0.636	0.576	0.587
ServeNet	0.631	0.874	0.631	0.602	0.608
						ServeNet-BERT	0.681	0.905	0.668	0.653	0.654
Ours	0.715	0.890	0.703	0.689	0.691

表1仅表示每种模型在50个类别上的平均结果，所有类别的F-measure值对比的详细信息可以在表2中找到。发现CNN和LSTM对某些类别的效果不佳，例如“物联网”，“其他”和“存储”由于缺少数据而难以提取适当的特征。但是，由于提取特征的能力更强，证明本项目模型具有更高的服务发现性能。

表2每个目录下的详细F-measure对比结果

本发明提出了一种共生注意力的表示学习机制来学习服务特征的相互依赖关系，通过执行信息增益理论从服务描述中提取信息词，并将其与服务名称一起用作服务分类的增强服务特征，本方法可以学习服务增强数据和描述之间的潜在信息，在50个类别的10,943个服务上进行的实验表明，本发明所使用的模型优于ServeNet-BERT，引入信息词的共生注意力表示学习机制方法有助于服务分类。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于共生注意力表示学习的服务分类方法，其特征在于：包括如下步骤：

S100：从公开数据集中选取部分web服务作为训练集，训练集中的每个web服务都有确定的服务类别，对训练集中包含的所有服务类别进行顺序编号；

S200：从该训练集中任选一个Web服务作为训练样本，该训练样本包括服务描述和服务名称；

S300：对每个训练样本从其服务描述中提取服务信息词，具体步骤如下：

S310：设服务描述中有E个原单词，对E个原单词进行标记化处理，此处的“标记化处理”是指将每个单词用空格隔开；

S320：根据英语停用词列表删除E个原单词中的停用词，剩余的原单词个数为Z，并对Z个原单词进行词干提取，如果词干出现重复，则只保留一个，最终得到G个单词词干；

S330：计算G个单词词干的信息增益得分，具体公式如下：

其中，N表示该训练集中服务类别的数量，C_k表示类别，P(C_k)表示类别C_k的概率，P(w)表示单词词干w存在的概率，

表示单词词干w不存在的概率，P(C_k|w)表示存在单词词干w时类别C_k的条件概率，

表示不存在单词词干w时类别C_k的条件概率；

其中，各项计算表达式如下：

其中，num(C_k)表示在类别C_k上的服务数量，

表示所有类别包含的服务总数，

表示在类别C_i中的服务描述中带有单词词干w的服务数量，

表示所有类别包含的服务总数中的服务描述中带有单词词干w的服务总数，

为服务描述中未包含单词词干w的服务总数；

S340：根据信息增益得分将G个单词词干进行降序排列，选择前J个单词词干作为服务信息词的提取结果；

S400：对每个训练样本构建描述特征矩阵D，具体步骤如下：

S410：设服务描述中包含的单词数量为n₁，将服务描述作为BERT模型的输入，输出为服务描述的单词序列和长度为n₁的k₁维服务描述嵌入矩阵，具体表达式如下：

Y₁＝f_{bert_seq}(X₁)

其中，Y₁表示服务描述嵌入矩阵，X₁表示服务描述；

S420：采用双向LSTM提取服务描述特征，具体步骤如下：

S421：计算所述服务描述中第i个单词的隐藏状态h_i，具体表达式如下：

其中，a_i是服务描述嵌入矩阵Y₁中第i个单词的k₁维词向量，h_i是LSTM中第i个单词的隐藏状态，

表示第i个单词前向传播的隐藏状态，

表示第i个单词后向传播的隐藏状态，

表示第i个单词的前一个单词的前向传播存储单元，

表示第i个单词的前一个单词的前向传播隐藏状态，

表示第i个单词的后一个单词的后向传播存储单元，

表示第i个单词的后一个单词的后向传播隐藏状态；

S422：重复S421，计算得到服务描述中所有单词的隐藏状态，并进行拼接，得到服务描述的特征矩阵D，具体表达式如下：

S500：对每个训练样本构建服务信息词特征矩阵I，具体步骤如下：

S510：将步骤S340得到的J个服务信息词作为BERT模型的输入，输出为长度为n₂的k₂维服务信息词嵌入矩阵Y₂，具体表达式如下：

Y₂＝f_{bert_seq}(X₂)

其中，Y₂表示服务信息词嵌入矩阵，X₂表示服务信息词；

S520：采用2-D CNN卷积函数提取服务信息词的特征，具体步骤如下：

S521：为服务信息词嵌入矩阵Y₂增加一个额外维度得到Y₂′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的信息词向量的维度，q₁表

示卷积核包含的信息词的个数；

S522：计算Y₂′中服务信息词的局部特征c_{i′，j′，1}，表达式如下：

其中，e_u，v，1表示服务信息词中的第u个词相对应的v维词向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置项，i′表示Y₂′中的信息词，j′表示信息词i′对应的维度，j′＝1，2，...，k₂；

S523：应用数量为t的卷积核

和卷积核数量为t时的服务信息词的局部特征

得到局部特征c_{i″，j″，1}，具体表达式如下：

其中，c_{i″，j″，1}表示卷积核数量为1时的服务信息词的局部特征，p₂为卷积核数量为1时卷积核包含的信息词向量的维度，q₂为卷积核数量为1时的卷积核包含的信息词的个数；

S524：压缩Y₂′中额外的一个维度，得到Y₂中服务信息词的局部特征c_i″，j″，拼接所有局部特征得到信息词特征矩阵I，表达式如下：

S600：对每个训练样本构建服务名称特征矩阵S，具体步骤如下：

S610：将服务名称作为BERT模型的输入，输出为长度为n₃的k₃维服务名称嵌入矩阵Y₃，具体表达式如下：

Y₃＝f_{bert_seq}(X₃)

其中，Y₃表示服务名称嵌入矩阵，X₃表示服务名称；

S620：采用2-D CNN提取服务名称的特征，具体步骤如下：

S621：为服务名称嵌入矩阵Y₃增加一个额外维度得到Y₃′，即

此时的卷积核为

其中，1表示额外的维度，p₁表示卷积核包含的服务名称词向量的维度，q₁表示卷积核包含的服务名称中词的个数；

S622：计算Y₃′中服务名称的局部特征d_{i′，j′，1}，表达式如下：

其中，s_u，v，1表示服务名称中的第u个词相对应的v维词向量，u∈[i，i+p₁-1]，v∈[j，j+q₁-1]，b表示偏置项，i′表示Y₃′中的服务名称，j′表示信息词i′对应的维度，j′＝1，2，...，k₂；

S623：应用数量为t的卷积核

和卷积核数量为t时的服务名称的局部特征

得到局部特征d_{i″，j″，1}，具体表达式如下：

其中，d_{i″，j″，1}表示卷积核为1时的服务名称的局部特征，p₂为卷积核为1时的包含服务名称词向量的维度，q₁为卷积核为1时的卷积核包含的服务名称中词的个数；

S624：压缩Y₃′中额外的一个维度，得到Y₃中服务名称的局部特征d_i″，j″，拼接所有局部特征得到服务名称特征矩阵S，表达式如下：

S700：将每个训练样本对应的信息词特征矩阵I和名称特征矩阵S进行融合，获得增强数据特征矩阵A，表达式如下；

S800：对每个训练样本计算服务特征相关矩阵F，具体表达式如下：

F＝tanh(A^TUD)

其中，服务描述特征矩阵D∈R^d*p，服务增强数据矩阵

参数矩阵U∈R^d*d，服务特征相关矩阵F∈R^p*q；

S900：对每个训练样本计算r^A和r^D，具体步骤如下：

S910：对服务特征相关矩阵F执行最大池化操作，得到服务增强数据

和服务描述

具体表示如下：

S920：计算

的服务语义向量g^A和

的服务语义向量g^D，具体表达式如下：

其中，g^A∈R^p，g^D∈R^q

S930：对得到的g^A和g^D服务语义向量采用softmax激活函数进行转化，得到服务增强数据注意力向量a^A和服务描述注意力向量a^D，具体表达式分别如下：

a^A＝softmax(g^A)

a^D＝softmax(g^D)

其中，a^A∈R^p，a^D∈R^q；

S940：计算a^A的服务表示向量rA和a^D的服务表示向量r^D，具体表达式分别如下：

r^A＝A*a^A

r^D＝D*a^D

其中，A为增强数据特征矩阵，D为服务描述特征矩阵，a^A表示服务增强数据注意力向量，a^D表示服务描述注意力向量；

S1000：对每个训练样本计算相对应的预测向量L，其中，L为N维的向量，L中包含的所有概率值是按照服务类别的顺序编号进行排列，选择其中最大的概率值所对应的服务类别作为最终的服务类别预测结果，L具体表达式如下：

L＝softmax(f_fc(r^A+r^D))

其中，f_fc表示全连接层神经网络；

S1010：根据S1000的结果采用梯度下降反向传播的方式对S200-S800步骤中所用到的参数进行更新，当训练达到预设的最大迭代次数，模型训练完毕，得到训练好的服务分类模型；

S1020：对一个未知类别的待预测web服务进行服务分类预测，具体步骤如下：

S1030：采用S300的方法从待预测服务描述中提取服务信息词；

S1040：采用S400的方法构建待预测描述特征矩阵D’；

S1050：采用S500的方法构建待预测服务信息词特征矩阵I’；

S1060：采用S600的方法构建待预测服务名称特征矩阵S’；

S1070：采用S700的方法得到待预测增强数据特征矩阵A’；

S1080：采用S800的方法计算待预测相关矩阵F’；

S1090：采用S900的方法计算待预测的r^A’和r^D’；

S1100：采用S1000的方法计算预测向量L’，将其中的最大概率值所对应的服务类别作为待预测Web服务的预测类别。

Images