CN115238808A - 一种基于多任务的通信网络中节点宕机的检测方法 - Google Patents

一种基于多任务的通信网络中节点宕机的检测方法 Download PDF

Info

Publication number
CN115238808A
CN115238808A CN202210912334.0A CN202210912334A CN115238808A CN 115238808 A CN115238808 A CN 115238808A CN 202210912334 A CN202210912334 A CN 202210912334A CN 115238808 A CN115238808 A CN 115238808A
Authority
CN
China
Prior art keywords
node
nodes
downtime
graph
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210912334.0A
Other languages
English (en)
Inventor
鲁多
李荣华
秦宏超
王国仁
高玉金
金福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210912334.0A priority Critical patent/CN115238808A/zh
Publication of CN115238808A publication Critical patent/CN115238808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2263—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于多任务的通信网络中节点宕机的检测方法，步骤如下：S1、准备数据，根据通信逻辑链路进行建图；给定一个图G，该图G是通信网络，图G中的节点是服务器，边为逻辑通信链路，确定时间段begin‑time、end‑time，在该时间段内有通信的节点之间添加对应的边；S2、进行模型训练；利用GNN骨干网络进行训练，GCN输出是服务器节点的向量表示embedding，其中模型的参数是可学习的，调优方式通过计算loss并进行反向传播；S3、进行预测；将步骤S2获得的训练后GCN模型，输入待预测的节点的特征和整个网络的拓扑结构。本发明采用上述的一种基于多任务的通信网络中节点宕机的检测方法，明显的缓解数据不足的问题，提高节点分类的准确性。

Description

一种基于多任务的通信网络中节点宕机的检测方法
技术领域
本发明涉及图数据分析技术领域，尤其是涉及一种基于多任务的通信网络中节点宕机的检测方法。
背景技术
通信网络中，服务器会出现宕机等情况。为保证通信网络的正常运行，需要预测哪些节点可能会出现宕机的情况，并及时进行分流等操作，进而将问题转为图上的节点分类问题。其中，定义节点是服务器，边是一段时间内的节点逻辑通信链路。
目前，使用图神经网络进行宕机节点识别。但原有的图神经网络，在宕机节点识别上，仅仅借助了节点的label，即节点是否宕机，而忽略了其他的一些标记数据，尤其在节点label数据较少(网络刚刚运行，缺少宕机数据)、节点label不平衡(宕机节点较为集中且宕机节点数量与整个网络中的服务器节点相比数据明显偏少)或label噪声较大(部分宕机由于一些人为因素等造成)等在实际常遇到的情况中，图中的一些其他标记数据显得更加重要。
上述问题中，标签数量较少是一个较为典型普遍的情况，称为冷启动的问题，即一个网络刚刚运行，宕机情况较少，此时由于运行时间较短，大部分节点都未曾发生过宕机情况，但不代表其是不易宕机节点。此时标记的宕机节点数量较少，如果此时进行GNN等学习，会造成较大的误差。
发明内容
本发明的目的是提供一种基于多任务的通信网络中节点宕机的检测方法，明显的缓解数据不足的问题，提高节点分类的准确性。
为实现上述目的，本发明提供了一种基于多任务的通信网络中节点宕机的检测方法，步骤如下：
S1、准备数据，根据通信逻辑链路进行建图；
给定一个图G，该图G是通信网络，图G中的节点是服务器，边为逻辑通信链路，确定时间段begin-time、end-time，在该时间段内有通信的节点之间添加对应的边；
S2、进行模型训练；
利用GNN骨干网络进行训练，GCN输入的是通信网络整体的拓扑结构和服务器节点的特征，即邻接矩阵A和特征矩阵X，输出是服务器节点的向量表示embedding，其中模型的参数是可学习的，调优方式通过计算loss并进行反向传播；
S3、进行预测；
将步骤S2获得的训练后GCN模型，输入待预测的节点的特征和整个网络的拓扑结构，在节点分类部分即可得到最终的节点分类结果，即节点宕机的情况。
优选的，步骤S1中，每个节点都有一些特征，如运行时间t、过去一天的流量a、宕机次数b，将这些特征拼接起来组成该节点的特征向量x＝[t,a,b]，将每个节点的特征向量按照id顺序进行排序后组成整个图的特征向量X＝[x1,x2,…]；然后，对节点的宕机情况进行判断。
优选的，对于节点宕机情况判断时，准备相应的历史宕机数据，将每个机器节点打上对应的宕机标签；
准备其他任务对应的标记数据，数据采集方法为：针对目标节点node，在全图上随机采样一些点neg作为负样本，即node和neg中的节点之间没有边，在目标节点node的邻居中采样一些节点neigh作为正样本，即目标节点node和neigh中的节点之间有边相连，即边预测任务，通过构建正负样本对作为边预测结果评判的标准。
优选的，步骤S2中，loss包含了多种任务的对应的loss，loss的计算公式如下：
loss＝lossA+lossB
Figure BDA0003774297190000031
其中，lossA和lossB是基于交叉熵，pi是得到的embedding，yi是节点的真实的标签的one-hot编码，M为分别数目；
计算得到最后的loss后，进行反向传播，更新模块中的参数。
因此，本发明采用上述一种基于多任务的通信网络中节点宕机的检测方法，具体技术效果如下：
(1)基于多任务学习的图神经网络的节点分类方案，通过该多任务学习，在优化函数中添加更多的标记数据，可以明显的缓解数据不足的问题，提高节点分类的准确性。
(2)能够融合更多的图上的信息，在学习节点的向量表示时，能显性的学习隐性的和高阶的图结构信息，使得最终学到的节点向量表示更加丰富和准确，促进最终的节点分类精度提高。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是训练阶段的流程图；
图2是预测阶段的流程图。
具体实施方式
以下通过实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其它实施方式。这些其它实施方式也涵盖在本发明的保护范围内。
还应当理解，以上所述的具体实施例仅用于解释本发明，本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明/发明的保护范围之内。
本发明说明书中引用的现有技术文献所公开的内容整体均通过引用并入本发明中，并且因此是本发明公开内容的一部分。
实施例
为了提高节点分类准确率，使用基于多任务学习的方式，针对两个或两个以上的任务进行优化，即使用多个loss函数。除了对节点分类准确性进行评估外，再加入其他相关任务的loss进行一起优化。
一种基于多任务的通信网络中节点宕机的检测方法，步骤如下：
S1、准备数据，根据通信逻辑链路进行建图。
节点为服务器，边为逻辑通信链路。确定时间段begin-time和end-time，在该时间段内有通信的节点之间添加对应的边。
每个节点都有一些特征，如节点id，运行时间t，过去一天的流量a等，将这些特征拼接起来组成该节点的特征向量x＝[id,t,a],将每个节点的特征向量按照id顺序进行排序后组成整个图的特征向量X＝[x1,x2,…]。
对于节点宕机识别，需要准备相应的历史宕机数据，将每个机器节点打上对应的宕机标签，并准备其他任务对应的标记数据。
本实施例中采用边预测任务，该任务真实标签是网络中存在的边，数据采集方法为：针对目标节点node，在全图上随机采样一些点neg作为负样本，即node和neg中的节点之间没有边。在目标节点node的邻居中采样一些节点neigh作为正样本，即目标节点node和neigh中的节点之间有边相连。
S2、进行模型训练。
选定一种GNN骨干网络进行训练。本实施例中使用GCN网络作为骨干网络进行学习。GCN的输入是通信网络的整体的拓扑结构和服务器节点的特征，即邻接矩阵A和特征矩阵X，输出是服务器节点的向量表示embedding，其中模型的参数是可学习的，调优方式是通过计算loss并进行反向传播。
本实施例中loss是一个组合loss，包含了多种任务的对应的loss。loss的计算公式如下：
loss＝lossA+lossB
Figure BDA0003774297190000051
其中，lossA和lossB是基于交叉熵，pi是得到的embedding，yi是节点的真实的标签的one-hot编码，M为分别数目。
在lossA中，M为节点类别的数量，训练集上节点的真实标签是已知的。在lossB中，M＝2，分别对应的情况是该边存在和该边不存在。
LossB是预测两点之间是否存在边，在训练阶段计算时需要先进行采样。针对目标节点node，在全图上随机采样一些点neg作为负样本，即node和neg中的节点之间没有边。在目标节点node的邻居中采样一些节点neigh作为正样本，即目标节点node和neigh中的节点之间有边相连。通过采样获得一些待判断的边(节点对)，通过评估函数对两个节点知否连边进行判定。常见的评估函数包括两个向量先做归一化，再进行点积等。
计算得到最后的loss后，进行反向传播，更新模块中的参数，如图1。
S3、预测阶段
如图2，使用上述训练得到了GCN模型，将待预测的节点的特征和整个网络的拓扑结构输入，在节点分类部分就可得到最终的节点分类结果，即节点宕机的情况。
因此，本发明采用上述一种基于多任务的通信网络中节点宕机的检测方法，明显的缓解数据不足的问题，提高节点分类的准确性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于多任务的通信网络中节点宕机的检测方法，其特征在于，步骤如下：
S1、准备数据，根据通信逻辑链路进行建图；
给定一个图G，该图G是通信网络，图G中的节点是服务器，边为逻辑通信链路，确定时间段begin-time、end-time，在该时间段内有通信的节点之间添加对应的边；
S2、进行模型训练；
利用GNN骨干网络进行训练，GCN输入的是通信网络整体的拓扑结构和服务器节点的特征，即邻接矩阵A和特征矩阵X，输出是服务器节点的向量表示embedding，其中模型的参数是可学习的，调优方式通过计算loss并进行反向传播；
S3、进行预测；
将步骤S2获得的训练后GCN模型，输入待预测的节点的特征和整个网络的拓扑结构，在节点分类部分即可得到最终的节点分类结果，即节点宕机的情况。
2.根据权利要求1所述的一种基于多任务的通信网络中节点宕机的检测方法，其特征在于：步骤S1中，每个节点都有一些特征，如运行时间t、过去一天的流量a、宕机次数b，将这些特征拼接起来组成该节点的特征向量x＝[t,a,b]，将每个节点的特征向量按照id顺序进行排序后组成整个图的特征向量X＝[x1,x2,…]；然后，对节点的宕机情况进行判断。
3.根据权利要求2所述的一种基于多任务的通信网络中节点宕机的检测方法，其特征在于：对于节点宕机情况判断时，准备相应的历史宕机数据，将每个机器节点打上对应的宕机标签；
准备其他任务对应的标记数据，数据采集方法为：针对目标节点node，在全图上随机采样一些点neg作为负样本，即node和neg中的节点之间没有边，在目标节点node的邻居中采样一些节点neigh作为正样本，即目标节点node和neigh中的节点之间有边相连，即边预测任务，通过构建正负样本对作为边预测结果评判的标准。
4.根据权利要求1所述的一种基于多任务的通信网络中节点宕机的检测方法，其特征在于：步骤S2中，loss包含了多种任务的对应的loss，loss的计算公式如下：
loss＝lossA+lossB
lossA和lossB都基于如下的交叉熵L来定义，lossA和lossB的计算表达一致，部分参数含义不一致，具体解释如下：
Figure FDA0003774297180000021
LossA对应为节点分类的loss，其中，pic是该节点对应c类的真实标签，yic是节点的真实的标签，M为类别数，此处为2，即对应宕机和不宕机两类，N是训练数据中的节点数；
LossB对应的边预测的loss，其中pic是两个节点的embedding的点积结果，yic是两节点之间是否存在的边的情况，M是上述采样数据中该节点的正负样本之和，N是训练数据中的节点数；
计算得到最后的loss后，进行反向传播，更新模块中的参数。
CN202210912334.0A 2022-07-30 2022-07-30 一种基于多任务的通信网络中节点宕机的检测方法 Pending CN115238808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210912334.0A CN115238808A (zh) 2022-07-30 2022-07-30 一种基于多任务的通信网络中节点宕机的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210912334.0A CN115238808A (zh) 2022-07-30 2022-07-30 一种基于多任务的通信网络中节点宕机的检测方法

Publications (1)

Publication Number Publication Date
CN115238808A true CN115238808A (zh) 2022-10-25

Family

ID=83677336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210912334.0A Pending CN115238808A (zh) 2022-07-30 2022-07-30 一种基于多任务的通信网络中节点宕机的检测方法

Country Status (1)

Country Link
CN (1) CN115238808A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055394A (zh) * 2022-12-30 2023-05-02 天翼云科技有限公司 一种基于矢量化骨干网的边缘路由编排系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200266A (zh) * 2020-10-28 2021-01-08 腾讯科技（深圳）有限公司 基于图结构数据的网络训练方法、装置以及节点分类方法
CN112580742A (zh) * 2020-12-29 2021-03-30 中国科学技术大学 基于标签传播的图神经网络快速训练方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200266A (zh) * 2020-10-28 2021-01-08 腾讯科技（深圳）有限公司 基于图结构数据的网络训练方法、装置以及节点分类方法
CN112580742A (zh) * 2020-12-29 2021-03-30 中国科学技术大学 基于标签传播的图神经网络快速训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN, ZHIWEN ET AL: "《arXiv:2111.08185》" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055394A (zh) * 2022-12-30 2023-05-02 天翼云科技有限公司 一种基于矢量化骨干网的边缘路由编排系统

Similar Documents

Publication Publication Date Title
CN113762595B (zh) 通行时间预测模型训练方法、通行时间预测方法及设备
CN105471647A (zh) 一种电力通信网故障定位方法
CN113676371A (zh) 一种基于深度q学习的网络故障检测与诊断方法
CN116823193B (zh) 基于大数据的智能制造流程管理系统
CN106611036A (zh) 一种改进的多维尺度异构代价敏感决策树构建方法
CN111949720B (zh) 基于大数据和人工智能的数据分析方法及云端数据服务器
CN115238808A (zh) 一种基于多任务的通信网络中节点宕机的检测方法
CN114548195A (zh) 一种数据标注处理方法、装置、存储介质及电子装置
CN115391160B (zh) 一种异常变更检测方法、装置、设备及存储介质
CN114385601B (zh) 基于超算的云边协同高通量海洋数据智能处理方法及系统
AU2021106594A4 (en) Online anomaly detection method and system for streaming data
CN113283243B (zh) 一种实体与关系联合抽取的方法
CN115242679A (zh) 一种通信网络中节点宕机的检测方法
CN111049683A (zh) 一种基于注意力机制的大规模网络群实时故障预测方法
CN115269378B (zh) 一种基于域特征分布的跨项目软件缺陷预测方法
CN114710451B (zh) 基于扩展哈希和knn的区块链应用流量识别方法及系统
CN110110815A (zh) 相似类型时间断面的确定方法、装置以及电子设备
CN114943304B (zh) 一种基于贝叶斯的3c电子产品装配误差传递方法
CN115249166B (zh) 出清电价预测方法、装置、计算机设备和存储介质
US11928141B1 (en) Method, electronic device, and computer program product for retrieving service request
CN115756910A (zh) 一种面向自助服务的智能运维客服响应方法
CN111612665B (zh) 用于打地基学习的监督和校正系统与方法
CN107886359A (zh) 一种基于机器学习的报价方法
JP4780670B2 (ja) トラヒック分析モデルの構築方法、装置および構築プログラムならびにその記憶媒体
CN118153865A (zh) 一种融合层次特征与时序特征的软件缺陷自动分派方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221025