CN111242171B - 网络故障的模型训练、诊断预测方法、装置以及电子设备 - Google Patents

网络故障的模型训练、诊断预测方法、装置以及电子设备 Download PDF

Info

Publication number
CN111242171B
CN111242171B CN201911415887.XA CN201911415887A CN111242171B CN 111242171 B CN111242171 B CN 111242171B CN 201911415887 A CN201911415887 A CN 201911415887A CN 111242171 B CN111242171 B CN 111242171B
Authority
CN
China
Prior art keywords
data
network
model
user
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911415887.XA
Other languages
English (en)
Other versions
CN111242171A (zh
Inventor
王莹
章婷婷
贾庆民
罗红
陆海俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911415887.XA priority Critical patent/CN111242171B/zh
Publication of CN111242171A publication Critical patent/CN111242171A/zh
Application granted granted Critical
Publication of CN111242171B publication Critical patent/CN111242171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例涉及网络故障检测领域，公开一种网络故障的模型训练、诊断预测方法、装置以及电子设备。本发明通过采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用目标网络过程中的用户投诉数据和用户体验数据；以标记网络故障的设备数据和用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；以GBDT网络故障分类模型和DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。通过构建的模型能够准确、高效的对网络故障进行诊断和预测。

Description

网络故障的模型训练、诊断预测方法、装置以及电子设备
技术领域
本发明实施例涉及网络故障检测领域，特别涉及一种网络故障的模型训练、诊断预测方法、装置以及电子设备。
背景技术
网络故障诊断和预测是通过技术判断网络是否会发生故障及预测发生某种类型故障的概率。目前较为流行的主动型网络故障诊断和预测技术有两种。一种是通过贝叶斯网络模型进行网络故障诊断，该方法依赖于网络的拓扑结构和各结点的报警信息。另一种主动型网络故障预测方法是基于梯度提升树模型(GBDT)。这种方法首先采集网络故障症状数据和故障数据，然后使用梯度提升树分类器进行分类训练，并根据分类器对网络故障进行预测。
但是，本申请的发明人发现，上述网络故障诊断和预测方案存储以下缺陷：
首先，现有网络故障预测模型通常只采用故障报警数据和故障类型数据，没有考虑用户不同的网络使用习惯对网络质量的影响，以及不同的质量需求对用户满意度的影响，以至于预测结果准确度较低。
其次，贝叶斯网络模型要求对网络拓扑结构进行全面的了解，并为每个用户找出所有网络链路，效率不高。并且，该方法依赖设备报警信息，只能在某些设备发出故障报警之后判断是否出现网络故障，无法在网络故障出现前进行告警。
再次，采用梯度提升树分类器容易发生过拟合现象，且该模型无法对样本之外的案例进行预测。因此，该方案要求历史故障数据包含所有可能的故障场景和故障症状，否则模型将会失效。
发明内容
本发明实施方式的目的在于提供一种网络故障的模型训练、诊断预测方法、装置以及电子设备，能够准确、高效的对网络故障进行诊断和预测。
为解决上述技术问题，本发明的实施方式提供了一种网络故障的模型训练方法，包括：
采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；
采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
以标记网络故障的所述设备数据和所述用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；
以所述用户投诉数据和所述用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；
以所述GBDT网络故障分类模型和所述DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。
本发明的实施方式还提供了一种网络故障的诊断预测方法，基于上述任一项所述的网络故障的模型训练方法所构建的模型，包括：
采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；
采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
将采集的所述设备数据、所述用户行为数据输入至GBDT网络故障分类模型进行分类，将所述用户投诉数据和所述用户体验数据输入至DNN网络故障预测模型进行预测，并将分类结果和预测结果输入至FM网络故障诊断预测模型进行预测，得到网络故障的诊断预测结果。
本发明的实施方式还提供了一种网络故障的模型训练装置，包括：
样本数据采集模块，用于采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
GBDT训练模块，用于以标记网络故障的所述设备数据和所述用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；
DNN训练模块，用于以所述用户投诉数据和所述用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；
FM训练模块，用于以所述GBDT网络故障分类模型和所述DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。
本发明的实施方式还提供了一种网络故障的诊断预测装置，基于上述任一项所述的网络故障的模型训练方法所构建的模型，包括：
预测数据采集模块，用于采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
诊断预测模块，用于将采集的所述设备数据、所述用户行为数据输入至GBDT网络故障分类模型进行分类，将所述用户投诉数据和所述用户体验数据输入至DNN网络故障预测模型进行预测，并将分类结果和预测结果输入至FM网络故障诊断预测模型进行预测，得到网络故障的诊断预测结果。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本发明实施方式相对于现有技术而言，通过采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用目标网络过程中的用户投诉数据和用户体验数据；以标记网络故障的设备数据和用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；以GBDT网络故障分类模型和DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。由于在该模型训练过程中引入了用户侧数据，即用户行为数据、用户投诉数据和用户体验数据，因此可以充分的从用户角度出发，充分考虑用于使用网络的个人习惯和用户发生较差的网络体验记录，投诉记录等方面的因素来更准确、高效的对网络故障进行诊断和预测。
另外，采集目标网络中的设备数据具体为：利用网关软探针采集网关设备的属性信息和运行状态数据；利用机顶盒软探针采集机顶盒的属性信息和运行状态数据，可以更便捷的采集网络中的设备数据。
另外，在网络故障的模型训练方法中，还包括：对采集的设备数据、用户行为数据、用户投诉数据和用户体验数据分别进行预处理，得到以向量表示的训练样本，从而方便进行模型训练。
另外，以GBDT网络故障分类模型的输出结果作为训练样本具体为：对GBDT网络故障分类模型的所有叶节点进行one-hot编码，并将编码后的数据作为FM网络故障诊断预测模型的训练样本数据，以获得适用于FM模型训练的稀疏的输入向量。
另外，以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型具体为：在DNN模型中分别为用户投诉数据和用户体验数据增加1个包含k个节点的嵌入层，以将用户投诉数据和用户体验数据转化为k维的稠密型数据，k为模型超参数，从而减少高维数据带来的计算压力。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的网络故障的模型训练方法的具体流程图；
图2是根据本发明第一实施方式的网络故障的模型训练结构图；
图3是根据本发明第二实施方式的网络故障的诊断预测方法的具体流程图；
图4是根据本发明第三实施方式的电子设备的结构示意图；
图5是根据本发明第四实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种网络故障的模型训练方法。本实施方式的核心在于采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用目标网络过程中的用户投诉数据和用户体验数据；以标记网络故障的设备数据和用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；以GBDT网络故障分类模型和DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。下面对本实施方式的网络故障的模型训练方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。如图1所示，具体包括如下步骤：
步骤101：采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据。
步骤102：采集用户使用目标网络过程中的用户投诉数据和用户体验数据。
具体地，本方案设备数据主要包括设备属性数据和运行状态数据，主要利用网关软探针采集网关设备的属性数据和运行状态数据；利用机顶盒软探针采集机顶盒的属性数据和运行状态数据。
其中，网关软探针通过开放服务网关协议(Open Service Gateway Initiative，OSGI)的应用程序接口(Application Program Interface，API)采集网关属性和网关运行状态数据。机顶盒软探针的数据主要来源于底层播放器、网路接口和机顶盒的操作系统。通过播放器接口可以实时获取视频播放数据，通过网路接口实时抓取和分析网络报文获取网络环境数据，这两种数据主要用于反映用户使用网络过程中的用户行为数据。通过机顶盒系统提供的接口采集机顶盒的属性和机顶盒运行状态数据。此外，本方案还从客服系统采集了宽带用户的用户投诉数据和网络故障数据。表1是一部分采集到的数据示例。
表1采集数据示例
值得说明的是，本方案引入考虑使用用户侧的数据预测网络故障。这种做法源于两方面的考虑。首先，用户使用宽带网络的习惯不一，不同的行为习惯发生的故障类型也会不一致。因此，本方案将用户使用网络的个人习惯和用户发生较差的网络体验记录(即用户行为数据和用户体验数据)作为两个重要特征。其次，用户对网络宽带质量的评价标准不一，只有解决用户最在意的痛点问题才能真正提高用户对网络质量的满意度。因此，本方案加入了用户投诉数据，该特征包含两层信息：一是用户历史发生某类型故障的频率；二是用户对某类型故障的敏感程度。
进一步地，在采集完成数据后，可对采集的上述设备数据、用户行为数据、用户投诉数据和用户体验数据分别进行预处理，得到以向量表示的训练样本。
首先，对采集到的数值型数据进行概览，将空值、异常值、逻辑矛盾值进行删除；将数值型数据中的离散变量进行数字顺序编码。
然后，将采集到的文本型数据利用word2vec模型进行关键词提取并生成向量表示；将网络故障数据的向量进行整合编码，转换成一维的数字向量，作为标签数据，标记发生某种故障。
步骤103：以标记网络故障的设备数据和用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型。
通常情况下，GBDT对输入特征的分布没有要求，可以支持低维的稀疏数据，也可以支持离散变量，且预测的准确率较高。但是，GBDT模型不支持高维的稀疏数据，也容易发生过拟合现象，泛化能力不高。因此，本方案中将该模型仅作为一种特征转换的技术，将GBDT的输出结果作为后续FM模型(步骤S105)的输入，以减少过拟合。
如图2所示，本方案选择设备属性数据、设备运行状态数据和用户行为数据作为GBDT模型的输入，用来预测该用户发生网络故障的可能性。
其中，这种GBDT模型训练过程：首先采集网络故障症状数据和故障类型数据，然后使用梯度提升树分类器进行分类训练，并根据分类器对网络故障进行预测。其中，故障症状数据和故障类型数据来源于一个开源架构(如Redis业务数据)。因此，在该方案实施前需要在各个设备产生交互的位置部署Redis框架，通过Redis监听一个TCP端口或Unix socket接收客户端连接获取数据。表2给出了一部分故障症状数据和故障类型数据示例。
表1数据示例
故障症状 故障类型
IP地址 接口断开
路由终点距离 端口不匹配
路由跳数 线路故障
输入丢包率 缓冲不足
输出丢包率 带宽不足
接口操作 协议不匹配
上行延迟 无故障
下行延迟
网关状态
操作状态
梯度提升树模型是一种基于决策树模型的提升(Boosting)方法，该模型利用前向分步算法不断迭代，优化当前分类器，求解损失函数更小的分类器，并将过程中的弱分类器进行组合成强分类器。
梯度提升树模型可以表示为：
其中，x代表特征值，T(x；ΘM)是第m棵决策树。
每一步训练决策树的目标为：
即第m棵树的参数由前m-1个决策树组成的集成分类器，通过最小化损失函数来确定参数。其中，损失函数选择平方误差函数，即：L(y,f(x))＝(y-f(x))2，y＝(y1，…，yN)代表分类变量。因此，每一步训练决策树目标可表示为：
其中rm-1(xi)＝fm-1(xi)-yi为第m-1步模型的残差，根据损失函数可使用最速下降法来近似，即用负梯度近似残差：
步骤104：以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型。
其中，用户投诉数据是高维的稀疏数据，需要利用word2vec模型提取出每条投诉的关键词，并通过词频统计得到每条投诉的向量表示；用户体验数据是一个低维的稀疏数据，通过聚合运算统计出每位用户的网络连接失败次数、视频卡顿次数、视频卡顿时长、视频花屏次数等，并生成一条向量表示。
进一步地，在DNN(深度神经网络)模型中分别为用户投诉数据和用户体验数据增加1个包含k个节点的嵌入层，以将用户投诉数据和用户体验数据转化为k维的稠密型数据，该k为模型超参数。k可以设置为一个比用户投诉维度小很多的值，以减少高维数据带来的计算压力。如图2中为示意给出了一个包含3个节点的embedding层。
深度神经网络(DNN)支持高维稠密数据，可以挖掘数据的深度信息，提高预测的准确率。本方案将经过嵌入层的用户投诉向量和用户体验向量作为DNN模型的输入，使用全连接网络，并设置三个隐藏层，隐藏节点个数分别为128、64和32个，激活函数选择为线性整流函数(ReLU)，并通过反向传播进行模型训练。
步骤105：以GBDT网络故障分类模型和DNN网络故障预测模型的输出结果作为训练样本，采用FM(因子分解机)模型进行训练，得到FM网络故障诊断预测模型。
具体地，在以GBDT网络故障分类模型的输出结果作为训练样本时，可先对GBDT网络故障分类模型的所有叶节点进行one-hot编码，然后以编码后的数据作为FM网络故障诊断预测模型的训练样本数据。
FM模型支持非线性分布和任何形式的输入，其最大的优势是支持稀疏数据。GBDT和DNN模型都容易发生过拟合问题，本方案将训练好的GBDT模型叶节点进行one-hot编码获得稀疏的输入向量，将DNN模型的最后一个隐藏层作为另一个输入向量，采用FM模型对其进行融合并交叉，充分挖掘用户信息和设备信息。本方案可采用随机梯度下降算法(SGD)求解FM模型。
与现有技术相比，本实施方式通过采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用目标网络过程中的用户投诉数据和用户体验数据；以标记网络故障的设备数据和用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；以用户投诉数据和用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；以GBDT网络故障分类模型和DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。由于在该模型训练过程中引入了用户侧数据，即用户行为数据、用户投诉数据和用户体验数据，因此可以充分的从用户角度出发，充分考虑用于使用网络的个人习惯和用户发生较差的网络体验记录，投诉记录等方面的因素来更准确、高效的对网络故障进行诊断和预测。
本发明的第二实施方式涉及一种网络故障的诊断预测方法。其核心方式是基于如图1所示的FM网络故障诊断预测模型(DNN+GBDT+FM模型)，对网络故障进行诊断预测。如图3所示，具体方法如下：
S301：采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据。
S302：采集用户使用目标网络过程中的用户投诉数据和用户体验数据。
S303：将采集的设备数据、用户行为数据输入至GBDT网络故障分类模型进行分类，将用户投诉数据和用户体验数据输入至DNN网络故障预测模型进行预测，并将分类结果和预测结果输入至FM网络故障诊断预测模型进行预测，得到网络故障的诊断预测结果。
本实施例的具体执行过程可参见第一实施方式中各模型的训练过程，在此不做赘述。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种电子设备，如图4所示，包括至少一个处理器402；以及，与至少一个处理器402通信连接的存储器401；其中，存储器401存储有可被至少一个处理器402执行的指令，指令被至少一个处理器402执行，以使至少一个处理器202能够执行上述网络故障的模型训练方法。
其中，存储器401和处理器402采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器402和存储器401的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器402处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器402。
处理器402负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器401可以被用于存储处理器402在执行操作时所使用的数据。
本发明第四实施方式涉及一种电子设备，如图5所示，包括至少一个处理器502；以及，与至少一个处理器502通信连接的存储器501；其中，存储器501存储有可被至少一个处理器502执行的指令，指令被至少一个处理器502执行，以使至少一个处理器202能够执行上述网络故障的模型训练方法。
其中，存储器501和处理器502采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器502和存储器501的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器502处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器502。
处理器502负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器501可以被用于存储处理器502在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种网络故障的模型训练方法，其特征在于，包括：
采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；
其中，所述用户行为数据包括以下任意数据：WAN口上行流量、WAN口下行流量、下挂设备信息、周边WIFI信息、收看节目时长；
采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
以标记网络故障的所述设备数据和所述用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；
以所述用户投诉数据和所述用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；
以所述GBDT网络故障分类模型和所述DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。
2.根据权利要求1所述的方法，其特征在于，所述采集目标网络中的设备数据包括：
利用网关软探针采集网关设备的属性信息和运行状态数据；
利用机顶盒软探针采集机顶盒的属性信息和运行状态数据。
3.根据权利要求1所述的方法，其特征在于，还包括：对采集的所述设备数据、所述用户行为数据、所述用户投诉数据和所述用户体验数据分别进行预处理，得到以向量表示的所述训练样本。
4.根据权利要求1所述的方法，其特征在于，所述以所述GBDT网络故障分类模型的输出结果作为训练样本包括：
对所述GBDT网络故障分类模型的所有叶节点进行one-hot编码，并将编码后的数据作为所述FM网络故障诊断预测模型的训练样本数据。
5.根据权利要求1所述的方法，其特征在于，所述以所述用户投诉数据和所述用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型包括：
在所述DNN模型中分别为所述用户投诉数据和所述用户体验数据增加1个包含k个节点的嵌入层，以将所述用户投诉数据和所述用户体验数据转化为k维的稠密型数据，所述k为模型超参数。
6.一种网络故障的诊断预测方法，基于权利要求1-5中任一项所述的网络故障的模型训练方法所构建的模型，其特征在于，包括：
采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；
采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
将采集的所述设备数据、所述用户行为数据输入至GBDT网络故障分类模型进行分类，将所述用户投诉数据和所述用户体验数据输入至DNN网络故障预测模型进行预测，并将分类结果和预测结果输入至FM网络故障诊断预测模型进行预测，得到网络故障的诊断预测结果。
7.一种网络故障的模型训练装置，其特征在于，包括：
样本数据采集模块，用于采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；其中，所述用户行为数据包括以下任意数据：WAN口上行流量、WAN口下行流量、下挂设备信息、周边WIFI信息、收看节目时长；采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
GBDT训练模块，用于以标记网络故障的所述设备数据和所述用户行为数据作为训练样本，采用GBDT模型对网络故障进行分类训练，得到GBDT网络故障分类模型；
DNN训练模块，用于以所述用户投诉数据和所述用户体验数据作为训练样本，采用DNN模型对网络故障进行预测训练，得到DNN网络故障预测模型；
FM训练模块，用于以所述GBDT网络故障分类模型和所述DNN网络故障预测模型的输出结果作为训练样本，采用FM模型进行训练，得到FM网络故障诊断预测模型。
8.一种网络故障的诊断预测装置，基于权利要求1-5中任一项所述的网络故障的模型训练方法所构建的模型，其特征在于，包括：
预测数据采集模块，用于采集目标网络中的设备数据以及用户使用网络过程中的用户行为数据；采集用户使用所述目标网络过程中的用户投诉数据和用户体验数据；
诊断预测模块，用于将采集的所述设备数据、所述用户行为数据输入至GBDT网络故障分类模型进行分类，将所述用户投诉数据和所述用户体验数据输入至DNN网络故障预测模型进行预测，并将分类结果和预测结果输入至FM网络故障诊断预测模型进行预测，得到网络故障的诊断预测结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的网络故障的模型训练方法或权利要求6中所述的网络故障的诊断预测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的网络故障的模型训练方法或实现权利要求6中所述的网络故障的诊断预测方法。
CN201911415887.XA 2019-12-31 2019-12-31 网络故障的模型训练、诊断预测方法、装置以及电子设备 Active CN111242171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911415887.XA CN111242171B (zh) 2019-12-31 2019-12-31 网络故障的模型训练、诊断预测方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415887.XA CN111242171B (zh) 2019-12-31 2019-12-31 网络故障的模型训练、诊断预测方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN111242171A CN111242171A (zh) 2020-06-05
CN111242171B true CN111242171B (zh) 2023-10-31

Family

ID=70874178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415887.XA Active CN111242171B (zh) 2019-12-31 2019-12-31 网络故障的模型训练、诊断预测方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN111242171B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180312B (zh) * 2020-08-24 2022-01-04 南京航空航天大学 一种电流传感器复合故障诊断方法
CN112235159B (zh) * 2020-10-13 2022-05-10 中移（杭州）信息技术有限公司 网关质量画像生成方法、系统、网络设备和存储介质
CN112954464A (zh) * 2021-01-21 2021-06-11 百果园技术(新加坡)有限公司 一种基于网络异常预测的视频清晰度选择方法及装置
CN113489621A (zh) * 2021-06-11 2021-10-08 国网江苏省电力有限公司营销服务中心 一种通信设备网路检测修复方法
CN113469066B (zh) * 2021-07-05 2023-04-11 西安交通大学 不平衡样本多任务自优化的滚动轴承故障迁移诊断方法
CN113779247B (zh) * 2021-08-27 2023-07-18 北京邮电大学 基于意图驱动的网络故障诊断方法及系统
CN114004263B (zh) * 2021-12-29 2022-05-03 四川大学 一种特征融合转换的大型设备工况诊断预测方法
CN116525121B (zh) * 2023-07-05 2023-09-26 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636841B1 (en) * 1997-04-01 2003-10-21 Cybula Ltd. System and method for telecommunications system fault diagnostics
WO2016109916A1 (zh) * 2015-01-05 2016-07-14 华为技术有限公司 用户体验质量QoE预测装置、网络设备和方法
WO2016201933A1 (zh) * 2015-06-19 2016-12-22 百度在线网络技术（北京）有限公司 用户数据处理方法、提供方法、系统和计算机设备
CN107124321A (zh) * 2017-07-10 2017-09-01 山东浪潮商用系统有限公司 一种基于大数据的网络运行状况预测模型
CN107437124A (zh) * 2017-07-20 2017-12-05 大连大学 一种基于大数据分析的运营商投诉与故障关联分析方法
CN109617715A (zh) * 2018-11-27 2019-04-12 中盈优创资讯科技有限公司 网络故障诊断方法、系统
WO2019101193A1 (en) * 2017-11-27 2019-05-31 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for predicting a quality of experience of a service in a wireless network
CN109993183A (zh) * 2017-12-30 2019-07-09 中国移动通信集团四川有限公司 网络故障评估方法、装置、计算设备及存储介质
CN110113214A (zh) * 2019-05-16 2019-08-09 青岛博展智能科技有限公司 一种基于神经网络的5g网络自动评估系统、方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015010229A1 (zh) * 2013-07-22 2015-01-29 华为技术有限公司 无线网络故障诊断方法和设备
SG10201407299RA (en) * 2013-11-08 2015-06-29 Accenture Global Services Ltd Network node failure predictive system
US10757121B2 (en) * 2016-03-25 2020-08-25 Cisco Technology, Inc. Distributed anomaly detection management
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636841B1 (en) * 1997-04-01 2003-10-21 Cybula Ltd. System and method for telecommunications system fault diagnostics
WO2016109916A1 (zh) * 2015-01-05 2016-07-14 华为技术有限公司 用户体验质量QoE预测装置、网络设备和方法
WO2016201933A1 (zh) * 2015-06-19 2016-12-22 百度在线网络技术（北京）有限公司 用户数据处理方法、提供方法、系统和计算机设备
CN107124321A (zh) * 2017-07-10 2017-09-01 山东浪潮商用系统有限公司 一种基于大数据的网络运行状况预测模型
CN107437124A (zh) * 2017-07-20 2017-12-05 大连大学 一种基于大数据分析的运营商投诉与故障关联分析方法
WO2019101193A1 (en) * 2017-11-27 2019-05-31 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for predicting a quality of experience of a service in a wireless network
CN109993183A (zh) * 2017-12-30 2019-07-09 中国移动通信集团四川有限公司 网络故障评估方法、装置、计算设备及存储介质
CN109617715A (zh) * 2018-11-27 2019-04-12 中盈优创资讯科技有限公司 网络故障诊断方法、系统
CN110113214A (zh) * 2019-05-16 2019-08-09 青岛博展智能科技有限公司 一种基于神经网络的5g网络自动评估系统、方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于模糊神经网络的CDMA网络故障诊断方法;葛艳;王薇;闫传军;吴鹏;任志考;;北京邮电大学学报(第01期);全文 *
牛作元 ; 张锋军 ; .大数据技术在电信网络故障管理中的应用研究.通信技术.2016,(08),1051-1056. *
融合因子分解机和用户行为预测的音乐推荐;潘洋;陈盛双;李石君;;计算机工程与应用(17);全文 *

Also Published As

Publication number Publication date
CN111242171A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242171B (zh) 网络故障的模型训练、诊断预测方法、装置以及电子设备
WO2017215647A1 (en) Root cause analysis in a communication network via probabilistic network structure
CN101464964B (zh) 一种设备故障诊断的支持向量机模式识别方法
EP3968243A1 (en) Method and apparatus for realizing model training, and computer storage medium
CN110188834A (zh) 一种电力通信网的故障诊断方法、装置及设备
US20220284352A1 (en) Model update system, model update method, and related device
CN110581834A (zh) 一种通信能力开放异常检测方法和装置
CN115967504A (zh) 加密恶意流量检测方法、装置、存储介质及电子装置
TW202016805A (zh) 基於自動學習的基地台異常之預測的系統與方法
CN116684878B (zh) 一种5g信息传输数据安全监测系统
CN109086816A (zh) 一种基于贝叶斯分类算法的用户行为分析系统
CN112559316A (zh) 软件测试方法和设备、计算机存储介质以及服务器
Zhang et al. Submodularity and optimality of fusion rules in balanced binary relay trees
CN116633639B (zh) 基于无监督与有监督融合强化学习的网络入侵检测方法
JP7106997B2 (ja) データ分析システムおよびデータ分析方法
WO2023045365A1 (zh) 视频质量评估方法、装置、电子设备及存储介质
JP6858798B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
CN116384240A (zh) 一种服务器能耗预测方法、装置及存储介质
CN114071232B (zh) 音视频质量可视化方法及其装置、设备、介质、产品
EMERSON et al. Broadband network fault prediction using complex event processing and predictive analytics techniques
CN114827951A (zh) 一种基于车辆终端的车辆网络质量分析方法、系统及存储介质
US11797372B2 (en) Method and apparatus for generating time series data based on multi-condition constraints, and medium
WO2024082706A1 (zh) 数据处理方法、设备、系统及可读存储介质
EP3863269A1 (en) Method and apparatus for monitoring a communication line
Wang et al. Video Fluency Prediction Based on Network Features Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant