CN113780463B

CN113780463B - 一种基于深度神经网络的多头归一化长尾分类方法

Info

Publication number: CN113780463B
Application number: CN202111122972.4A
Authority: CN
Inventors: 张晶; 陈杨
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-09-24
Filing date: 2021-09-24
Publication date: 2023-09-05
Anticipated expiration: 2041-09-24
Also published as: CN113780463A

Abstract

本发明公开了一种基于深度神经网络的多头归一化长尾分类方法，包括如下步骤：S1、抽取待分类数据；待分类数据包括服务描述和服务名称；S2、分别对服务描述和服务名称进行特征提取；S3、对特征提取后的服务描述和服务名称进行特征融合；S4、对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，输出待分类数据的分类结果。该方法有效解决了网络服务分类中的数据长尾问题，在不破坏原始数据集的情况下，实现了端到端的网络服务精准分类，简洁快速且具有实用性、通用性和可移植性。

Description

一种基于深度神经网络的多头归一化长尾分类方法

技术领域

本发明涉及网络服务技术领域，特别涉及一种基于深度神经网络的多头归一化长尾分类方法。

背景技术

近几十年来，软件重用是降低软件开发成本的有效途径。网络服务为软件重用提供了可能性。基于独立、低耦合、自包含、可编程的网络体系结构，网络服务存储库允许服务提供者使用统一的规范化格式发布服务，包括：服务描述、服务名称、URL和自然语言中的搜索关键字(标签或标记)。软件重用的关键是根据服务规范在网络服务库中找到所需的服务。

最常见的网络服务搜索方法是关键字搜索和语义搜索。关键字搜索要求服务使用者通过关键字搜索目标服务，语义搜索要求根据服务签名匹配目标服务。语义搜索方法虽然比基于关键字的方法具有更高的准确率，但在使用上有严格的限制，使得语义搜索方法的效率低于基于关键字搜索方法的效率。实际上，大多数任务的首选方法是基于关键字进行搜索。基于关键字搜索的成功在很大程度上取决于开发人员手动分配的服务质量关键字。但是，指定的关键字并不总是可靠和充分的。这主要是因为开发人员很难从一个庞大的候选数据库中选择最佳关键字，并且缺乏对所有候选关键字的了解。因此，由于人工分配关键字的局限性，有必要采用机器学习的方法进行关键字自动预测和标记。

在实践中，随着精确搜索需求的增长和新型服务的出现，网络服务逐渐被划分成更为详细的类别。新出现的样本较少的网络服务可能涉及更先进的技术。因此，不仅需要对具有更多服务样本的常用类别(即头部类别)进行准确分类，而且对具有样本较少的类别(即尾部类别)也很重要。由于数据分布的长尾性，使得机器学习和深度学习方法很难对数据进行准确分类。具体来说，在长尾数据下，分类结果严重偏向于数据丰富的头类。这也是其他机器学习方法效果不佳的主要原因。在机器学习领域，处理长尾分布数据最常用的方法包括实例重采样和重加权。例如，实例重采样方法对头部类别中的数据进行采样，并复制尾部类别中的数据以重新平衡数据。类似地，在重新加权的实例中，不同样本的损失也基于类别的比例重新加权，即头部(尾部)类别被分配较小(较大)的权重。然而，实例重采样和重加权分别存在如下问题和缺点：对数据进行重新采样的方法破坏了数据真实的分布情况，不符合实际情况，实用性差；对类别进行重新加权的方法，需要分别对训练和测试过程中的数据单独计算权重，计算繁琐计算量大，不通用。

因此，在现有的网络服务处理长尾分布数据的基础上，如何提供一种基于深度神经网络的多头归一化长尾分类方法，以更好地解决网络服务、服务分类的数据长尾问题成为本领域技术人员亟需解决的技术问题。

发明内容

鉴于上述问题，本发明提出了一种至少解决上述部分技术问题的基于深度神经网络的多头归一化长尾分类方法，该方法可在不破坏数据集分布的情况下，解决了数据的长尾问题，实现了端到端的对数据进行精准分类，简洁快速且具有实用性、通用性和可移植性。

本发明实施例提供一种基于深度神经网络的多头归一化长尾分类方法，包括如下步骤：

S1、抽取待分类数据；所述待分类数据包括服务描述和服务名称；

S2、分别对所述服务描述和服务名称进行特征提取；

S3、对特征提取后的服务描述和服务名称进行特征融合；

S4、对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，输出所述待分类数据的分类结果。

进一步地，所述步骤S2之前还包括：根据所述服务描述的长度，应用动态填充对所有所述待分类数据进行排序。

进一步地，所述步骤S2中，通过BERT预训练模型将所述服务描述中的每个词嵌入到一个向量中，输出服务描述矩阵，对所述服务描述矩阵用BiLSTM进行特征提取。

进一步地，所述步骤S2中，通过BERT预训练模型将所述服务名称中的每个词嵌入到一个向量中，输出服务名称向量，对所述服务名称向量用全连接网络FC进行特征提取。

进一步地，所述步骤S3包括：将所述服务描述和服务名称分别乘以相应权重进行特征融合。

进一步地，所述步骤S4中，对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，包括：

S41、对融合后的特征进行分割；

S42、对每个分割后的特征应用一个单独的分类器；

S43、对所述分类器进行归一化。

进一步地，所述步骤S41，对融合后的特征进行分割为将融合后的特征划分为多个相等的非重叠特征段。

进一步地，所述步骤S4中，输出所述待分类数据的分类结果表达式为：

其中，M表示分割后的特征份数；N表示调节softmax激活产生的概率平滑度；m表示分割后的特征份数中的具体第几份特征；表示无偏线性分类器；/>表示第m份分割后的特征的权重；T表示转置；h^m表示第m份分割后的特征；/>表示归一化项。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种基于深度神经网络的多头归一化长尾分类方法，包括：S1、抽取待分类数据；待分类数据包括服务描述和服务名称；S2、分别对服务描述和服务名称进行特征提取；S3、对特征提取后的服务描述和服务名称进行特征融合；S4、对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，输出待分类数据的分类结果。该方法有效解决了网络服务分类中的数据长尾问题，在不破坏原始数据集的情况下，实现了端到端的精准分类，简洁快速且具有实用性、通用性和可移植性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的一种基于深度神经网络的多头归一化长尾分类方法流程图；

图2为本发明实施例提供的基于深度神经网络的多头归一化长尾分类模型示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种基于深度神经网络的多头归一化长尾分类方法，参照图1所示，包括：

S1、抽取待分类数据；待分类数据包括服务描述和服务名称；

S2、分别对服务描述和服务名称进行特征提取；

S3、对特征提取后的服务描述和服务名称进行特征融合；

S4、对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，输出待分类数据的分类结果。

本实施例提供的该方法可有效解决网络服务的分类任务，并针对大规模、长尾的服务分类问题，提供了一种新的基于端到端深度神经网络的多头分类模型。该模型在没有破坏数据集分布的情况下，解决了网络服务的分类任务中的数据长尾问题，并且简洁、快速且具有通用和可移植性。

下面以一个实施例分别对上述技术方案进行详细说明，包括2个部分：

一、抽取服务样本数据集

假设网络服务数据集D，有N类别，定义为其中x_i表示输入的网络服务样本数据(例如服务名称和服务描述)，而y_i表示输入数据相应的类标签。将类别的数量表示为K，然后将网络服务的标签编码为一个独热向/>

抽取样本的数据集是从全球最主要的API共享平台收集获取，服务样本数据以CSV格式收集并存储在服务样本数据集WSDataset中。该数据集包括所有类型的服务，如SOAP、REST、RPC和gRPC。超过84％的服务是REST样式的。不到8％的服务采用SOAP样式。其中，API共享平台提供的服务规范包括标题、描述、端点、主页、主要类别、次要类别、提供者和SSL支持，该数据集包含15340个服务样本和401个类别。在本实施例中，选择抽取服务描述符中的标题(title)、描述(description)和主要类别(primary category)。在网络服务样本的分类任务下，重新定义标题(title)为服务名称；描述(description)为服务描述；主要类别(primary category)为服务分类。其中，部分抽取结果如下表1所示：

表1部分抽取结果数据集

该抽取到的服务样本数据集是极不均衡的长尾分布，数据集样本最多的类别包含767个服务，而最小的类别只包含一个服务。此外，41个类别包含1个服务。同样，只有41个类别包含100多个服务。超过一半的类别(总类别为401个类别)，即217个类别包含的服务少于10个。超过70％的服务集中在前50个类别，不到30％的服务集中在后351个类别。

在本实施例中，最终该抽取到的服务样本数据集包含15105个服务和300个类别。将该抽取到的服务样本数据集按比例划分为训练集和测试集，其中80％的数据是训练数据，20％的数据是测试数据。其中，对于只有两个服务示例的少数类别。随机选择一个服务作为训练数据，另一个作为测试数据。

由于不同服务样本数据中的服务描述的长度不同，在特征嵌入之前，根据服务描述的长度对所有抽取到的服务样本数据进行排序。在每个小批量下，根据服务描述的长度应用动态填充。动态填充可以实现两个潜在的好处。首先，该模型可以填充任意长度的服务描述，符合实际应用。其次，提高了模型的效率，避免了长服务描述和短服务描述在同一个小批量中被填充。如果短服务和长服务在同一批次中，需要给短服务填充到和长服务同样长度，这样做会让分类模型效率变低。

根据抽取到的每类服务样本数，可以对所有服务样本数据中的服务分类进行降序排序，将样本数较大的类别定义为头部类别，即将占样本总数80％的类别定义为头部类别，其余包含样本总数20％的类别定义为尾部类别。

二、构建基于深度神经网络的多头归一化长尾分类模型

1)通过BERT预训练模型对服务描述和服务名称进行特征提取

参照图2所示，通过BERT预训练模型将服务描述(Service Description)和服务名称(Service Name)中的每个词嵌入到一个向量中。服务描述嵌入后输出一个nLen*768的矩阵，服务名称嵌入后输出768维的向量。对输出的服务描述矩阵用BiLSTM进行特征提取，表示为h1；对输出的服务名称用全连接网络FC进行特征提取，表示为h2。

其中，BERT模型为从Tensorflow Hub中选择预先训练好的BERT模型(bert_en_uncased_L-12H_768A-12)，将服务描述和服务名称的每个词转换成768维向量。

进一步地，BiLSTM为一个双向LSTM层。LSTM的隐藏状态是一个1024维向量。其中Epoch为40，BatchSize为128。LSTM的隐藏状态和所有偏差被初始化为零。

进一步地，本实施例中，为了避免过度拟合，在该特征提取过程中增加了一个超参数为0.1的dropout层。

2)对特征提取后的服务描述和服务名称进行特征融合

服务描述和服务名称对最终分类任务的贡献是不同的。参照图2所示，使用向量与可训练的权值来融合特征(这些特性都是1024维)。即：将上述提取的服务描述特征h1和服务名称特征h2分别乘以可训练权重w1和w2来融合服务描述和服务名称的提取特征，表示为h即：

h＝h₁*w₁+h₂*w₂

3)多头分类模块进行长尾数据分类

本实施例中，此步骤存在两个方面：a)将融合后的特征分割成多个部分；b)对每个分割的特征应用一个单独的分类器，并对分类器进行归一化。

具体地，参照图2所示，将融合后的特征h划分为M个相等的非重叠特征段，然后将M个具有不同初始化参数的分类器应用于不同的特征段。并对融合后的特征h和每个分类器的参数w进行归一化，得到最终的分类。因此，最终分类结果的z的求解过程可以表示为：

其中，M表示分割后的特征份数，N表示调节softmax激活产生的概率平滑度，这将影响梯度计算中不同类别的贡献，分子表示无偏线性分类器，分母/>表示归一化项。m表示分割后的特征份数中的具体第几份特征；/>表示第m份分割后的特征的权重；T表示转置；h^m表示第m份分割后的特征。

进一步地，在该过程，即多头分类模块有两个重要的超参数M＝2和N＝16。该过程把1024个维度特征被分割成两组，每组有512个维度特征。分类器权重值由标准初始值设定器初始化，平均值为0，标准差为0.01，不同的分类器初始化方式不同。

以上过程使得本实施例提供的基于深度神经网络的多头归一化长尾分类方法，能提高长尾分类的分类效果有两方面的原因：其一，对融合后的特征和分类器的维数划分迫使模型学习更多样化的特征，有利于长尾分类的学习。其二，由于分类器权重的范数与每个类别的样本数相关，对融合后的特征和分类器归一化进一步减少了对头部类别的偏向，即：在用标准分类器联合训练头尾分类时，头分类分类器权重的范数往往大于尾分类分类器权重的范数。因此，明确规范化的权重和特征，可见对分类结果不平衡的影响有所减少。

进一步地，多头分类模块的任务是获得最终的分类结果。在本实施例中，使用softmax激活将logits z转换为分类预测。为了训练模型，将所有训练数据对(x,y)～D作如下所示：

l_cls＝E_(x，y)～DL_{cross_entropy}(σ(z)，y)

其中，l_cls表示标准分类损失函数；E_(x,y)～D表示期望；L_{cross_entropy}表示交叉熵损失；σ(z)表示softmax激活函数把logits z转化为预测标签；y表示标签。

具体地，部分最终分类结果如下表2所示：

表2部分最终分类结果

4)评估服务样本数据的分类结果

本实施例采用TopN-Accuracy用于评估分类结果。Top1-Accuracy和Top5-Accuracy是常用的评估方法。Top1-Accuracy是比Top5-Accuracy更严格的评估方法。整个数据集的Top1-Accuracy表达式为：

其中，Num_{top1_correct}表示具有正确预测的样本数；Num_c表示整个数据集中的服务样本数。Top5-Accuracy与Top1-Accuracy表达式类似。

具体地，本实施例在一个包含300个类别的大型网络服务数据集上进行的多维度实验，最终实验准确率Top5-Accuracy为92.77％，Top1-Accuracy为71.49％，效果明显好于其他服务分类方法，充分验证了本实施例提供的基于深度神经网络的多头归一化长尾分类方法的有效性。

5)消融实验

为验证上述提供的归一化多头分类模块的各个部分的有效性，进行了两项消融实验研究：a)评价特征和分类器权重归一化的效果，分别在归一化和没有归一化的情况下进行了相同的验证；b)评价分割头部数目的影响，通过对特征进行不同份数的切割，如M＝1、2、4。通过消融实验确保所选超参数是可以达到最优的效果的。

本实施例提供的基于深度神经网络的多头归一化长尾分类方法，构建的多头归一化长尾分类模型分为三部分：1、通过BERT预训练模型对抽取到的服务样本数据的服务名称和服务描述的特征进行提取；2、对提取到的服务名称和服务描述特征进行特征融合；3、通过多头归一化的长尾分类器对融合后的特征进行切割和分类。针对网络服务分类中的一个具有挑战性但更有实际意义的数据长尾分类问题，该分类方法对网络服务数据中的头类数据处理和尾类数据处理都有改进，其中尾类数据处理的改进更为明显，尤其当类别越多，网络服务数据分类结果的精确度提升越明显。证明本方法对长尾数据分类处理的准确率有显著的提升。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，包括如下步骤：

S2、分别对所述服务描述和服务名称进行特征提取；

S3、对特征提取后的服务描述和服务名称进行特征融合；

S4、对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，输出所述待分类数据的分类结果；

步骤S4中，输出所述待分类数据的分类结果表达式为：

2.如权利要求1所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S2之前还包括：根据所述服务描述的长度，应用动态填充对所有所述待分类数据进行排序。

3.如权利要求1所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S2中，通过BERT预训练模型将所述服务描述中的每个词嵌入到一个向量中，输出服务描述矩阵，对所述服务描述矩阵用BiLSTM进行特征提取。

4.如权利要求1所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S2中，通过BERT预训练模型将所述服务名称中的每个词嵌入到一个向量中，输出服务名称向量，对所述服务名称向量用全连接网络FC进行特征提取。

5.如权利要求1所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S3包括：将所述服务描述和服务名称分别乘以相应权重进行特征融合。

6.如权利要求1所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S4中，对融合后的特征进行特征分割，对分割后的每段特征分别对应一个归一化的分类器，包括：

S41、对融合后的特征进行分割；

S42、对每个分割后的特征应用一个单独的分类器；

S43、对所述分类器进行归一化。

7.如权利要求6所述的一种基于深度神经网络的多头归一化长尾分类方法，其特征在于，步骤S41，对融合后的特征进行分割为将融合后的特征划分为多个相等的非重叠特征段。