CN110858812B - 网元割接值守方法及装置 - Google Patents
网元割接值守方法及装置 Download PDFInfo
- Publication number
- CN110858812B CN110858812B CN201810975024.7A CN201810975024A CN110858812B CN 110858812 B CN110858812 B CN 110858812B CN 201810975024 A CN201810975024 A CN 201810975024A CN 110858812 B CN110858812 B CN 110858812B
- Authority
- CN
- China
- Prior art keywords
- data
- network element
- performance
- sample
- cutover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供一种网元割接值守方法及装置,该方法包括:将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。本发明实施例由于利用深度学习比对割接事前和事后的性能数据来进行割接值守,相对于人工值守或设置阈值值守的方式提高了判断网元是否异常运行的准确度,降低了虚警率,避免网元割接后存在的安全隐患。
Description
技术领域
本发明实施例涉及通信运维领域,更具体地,涉及一种网元割接值守方法及装置。
背景技术
网元割接是对正在使用的线路、设备进行操作,将会直接影响到其上承载的业务。电信领域的割接泛指针对现网设备的扩容、升级、改造、替换、配置更改等。网元割接是通信运维工作的重要部分,由于涉及到业务变更、软件升级、设备上下线等操作,可能会对现有业务造成影响,甚至中断,所以割接也是运维工作中最具挑战的部分。
现有技术中,运营商网元割接的事后值守主要依靠人工值守,或者对各项运行参数分别设置阈值的方式来发现系统是否存在异常。其中,人工值守的方式中由于涉及到人为操作,而只要是人为操作就会有失误发生,而80%的故障均是人为失误造成的。其中,设置阈值的方式中,由于某些运行参数的异常并不一定表示平台整体状态的异常。因此,现有技术中上述两种方式均存在着虚警率高和准确度低的问题。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的网元割接值守方法及装置。
根据本发明实施例的第一方面,提供一种网元割接值守方法,该方法包括:将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的;若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
根据本发明实施例第二方面,提供了一种网元割接值守装置,该装置包括:作差模块,用于将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;重建模块,用于将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的;判断模块,用于若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
根据本发明实施例的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网元割接值守方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网元割接值守方法。
本发明实施例提供的网元割接值守方法及装置,通过将性能差值输入至基于自编码神经网络模型训练获得的异常检测模型,并获得输出的差值重建数据;将性能差值数据与差值重建数据之间的重建误差与误差阈值进行比较,基于比较结果判断网元在割接后是否处于异常运行状态。由于利用深度学习比对割接事前和事后的性能数据来进行割接值守,相对于人工值守或设置阈值值守的方式提高了判断网元是否异常运行的准确度,降低了虚警率,避免网元割接后存在的安全隐患。
应当理解的是,以上的一般描述和后文的细节描述是示例性和解释性的,并不能限制本发明实施例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的网元割接值守方法的流程示意图;
图2为本发明实施例提供的自编码神经网络模型的模型结构示意图;
图3为本发明实施例提供的网元割接值守方法的流程示意图;
图4为本发明实施例提供的网元割接值守装置的结构示意图;
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
网元的割接过程主要分为三个阶段:事前、事中和事后。事前主要完成割接开始前的准备工作,包括割接方案制定、业务预拨测和网元健康检查等;事中主要完成割接的所有关键步骤,包括中断BOSS连接、数据比对、数据修改、业务拨测和恢复BOSS连接等;事后主要完成割接的值守工作,包括网元性能观察、业务投诉情况等。本发明实施例提供的网元割接值守方法主要针对网元的事后阶段。
事后值守的目的主要是为了发现网元在割接事后是否有异常,有效的割接事后值守可以及时发现割接操作后系统的异常,从而及时倒回割接,减少故障的影响面。现有技术中,由于网元割接的事后值守主要依靠人工值守或者设置阈值的方式,因此存在虚警率高以及准确度低的问题。现有技术已经无法满足目前网元割接自动化运维的需求。基于此,参见图1,本发明实施例提供一种网元割接值守方法,包括:
101、将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据。
其中,网元性能数据能够是能够反映网元运行是否正常的数据,网元数据可以包括一种或多种属性数据,每种属性数据均可以从一方面反映网元的运行情况,本发明实施例对属性数据的数量不作限定。第一网元性能数据是在网元割接前(即事前阶段)检测的获得的。由于可以默认或假设网元在割接前的任意时刻均处于正常运行状态,因此,本发明实施例对检测第一网元性能数据的时刻不作限定,可以是割接前任意时长的时刻检测到的。第二网元性能数据可以是在对网元割接后(即事后阶段)的任意时刻检测获得的。另外,由于网元割接事后的值守时长通常为12小时,即若割接后的12小时内,网元均无异常,则可以确认该次割接后的值守结果为正常。因此,检测第二网元性能数据的时刻可以为距离割接时刻的时长12小时内的任意时刻。应当说明的是,若网元性能数据包括多种属性数据,则作差时,分别对每一种属性数据作差,获得包括多种属性数据差值的性能差值数据。
102、将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的。
其中,在步骤102前,可以预先训练获得异常检测模型。该异常检测模型由自编码神经网络模型训练而成。自编码神经网络模型(autoencoder)为深度学习的一种模型,自编码神经网络模型由编码器(encoder)和解码器(decoder)两部分组成。简单来说,该自编码神经网络模型就是把输入数据进行一个压缩和解压缩的过程,通过将输入数据进行压缩,然后再解压,通过对比原输入数据与解压后的数据,求出重建误差,进行反向传递,逐步提升自编码的准确性。参见式(1),使输入数据x与输出数据fW,b基本相同。训练好的自编码神经网络模型的中间部分能够总结原输入数据的精髓。由于自编码神经网络模型从始至终只用到了输入数据x,并没有用到x对应的数据标签,所以自编码是一种非监督学习。
fw,b(x)≈x (1)
自编码神经网络模型包括:编码器(encoder)和解码器(decoder)。其中,编码器能得到原输入数据的精髓,然后只需要再创建一个小的神经网络学习这个精髓的数据,不仅减少了神经网络的负担,而且同样能达到很好的效果。而解码器在训练的中要将精髓信息解压成原始信息,并负责对压缩数据的还原重建,根据抽取的特征向量对输入的原输入数据进行重建。
具体地,可搭建如图2所示的自编码神经网络模型,例如通过开源深度学习框架tensorflow来搭建自编码神经网络模型。该自编码神经网络模型包含1个输入层、8个隐藏层(为8个全连接层dense)和1个输出层。输入层可设置n个神经元,输出层可设置n个神经元。8个隐藏层中前4层属于编码器,后4层属于解码器。其中,编码器负责完成对输入的网元性能数据进行压缩降维,抽取出代表网元性能的特征向量,从原本的n维降至维。编码器中第一层设置n个神经元,选择″tanh″为激活函数,第二层设置个神经元,选择″relu″为激活函数,第三层设置个神经元,选择″relu″为激活函数,第四层设置个神经元,选择″relu″为激活函数。解码器负责对压缩数据的还原重建,根据抽取的特征向量对输入的性能差值数据进行重建。解码器中第一层设置个神经元,选择'tanh'为激活函数;第二层设置个神经元,选择'tanh'为激活函数;第三层设置个神经元,选择'tanh'为激活函数;第四层设置n个神经元,选择″relu″为激活函数。参见图2,每个圆圈代表一个神经元,每个隐藏层均为全连接层,即每个神经元之间均两两连接,每条线上有不同的权重(weight),自编码神经网络模型通过训练会自主学习到权重值。具体可通过调用keras框架中的Model()类模型来搭建该自编码神经网络模型,并通过给定输入张量和输出张量来实例化一个模型。autoencoder=Model(inputs=input_layer,outputs=decoder)。应当说明的是,上述自编码神经网络模型的层数、神经元数量和激活函数的类型仅为举例说明,
本发明实施例的保护范围不限于此。
在创建自编码神经网络模型后,可利用采集的样本性能差值数据对该自编码神经网络模型进行训练。应当说明的是,收集的样本差值数据可能既包括网元割接后处于正常运行状态下获得的样本差值数据,又包括网元割接后处于异常运行状态下的样本差值数据,但是,用于进行模型训练的仅为网元割接后处于正常运行状态下获得的样本差值数据,从而使模型输出的重建数据与网元正常状态下运行的样本性能差值数据接近。训练完成后得到异常检测模型,该异常检测模型输出的重建数据与输入数据越接近越好。在实际检测时,可将性能差值数据输入至异常检测模型,获得该异常检测模型输出的差值重建数据。
103、若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
具体地,在步骤103前,可预先确定误差阈值。本发明实施例提供的确定误差阈值的方法包括但不限于:利用sklearn.metrics.precision_recall_curve绘制PRC曲线(precision recall curve),该曲线是以精确率和召回率为轴,取不同的阈值绘制的。曲线下的面积(AUC)越大或曲线更接近右上角(precision=1,recall=1),那么模型就越理想、越好。根据该曲线在设定合理的准确率下,将最高的召回率作为最优阈值点,从而找到该点对应的阈值作为误差阈值。
将性能差值数据与差值重建数据作差,获得重建误差(reconstruction error)。重建误差越大说明该次网元割接时候值守过程中,网元的运行状态与正常运行状态的差距越大。将重建误差与预先设置的误差阈值(误差阈值即为异常点)进行比较。若重建误差大于误差阈值,则表明检测第二网元性能数据的时刻时,网元处于异常运行状态,应当立即触发告警以提醒运维人员及时处理。若重建误差小于误差阈值,则表明检测第二网元性能数据的时刻时,网元仍处于正常运行状态。
另外,参见式(2),重建误差具体可以为性能差值数据与差值重建数据之间差值的绝对值的平方,能够衡量性能差值数据与差值重建数据之间的差异性。
L(x,x′)=||x-x′||2 (2)
式中,L(x,x′)为重建误差,x为性能差值数据,x’为差值重建数据。
本发明实施例提供的网元割接值守方法,通过将性能差值输入至基于自编码神经网络模型训练获得的异常检测模型,并获得输出的差值重建数据;将性能差值数据与差值重建数据之间的重建误差与误差阈值进行比较,基于比较结果判断网元在割接后是否处于异常运行状态。由于利用深度学习比对割接事前和事后的性能数据来进行割接值守,相对于人工值守或设置阈值值守的方式提高了判断网元是否异常运行的准确度,降低了虚警率,避免网元割接后存在的安全隐患。
基于上述实施例的内容,将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据之前,作为一种可选实施例,提供一种训练异常检测模型的方法,包括但不限于:
步骤1、采集网元的历史割接的第一样本网元性能数据及第二样本网元性能数据,第一样本网元性能数据是在历史割接的事前检测获得的,第二样本网元性能数据是在历史割接的事后检测获得的。
具体地,首先对该网元的多次历史割接的性能数据进行收集。假设某网元的网元性能数据为n维(即包括n种属性数据),获取该网元共k次的历史割接的事前和事后m小时内的运行数据,并将事前的第一样本网元性能数据和事后的第二样本网元性能数据的差异值作为总数据集。
第一样本网元性能数据具体如下:
网元的第j(j<=k)次历史割接的事前的第i(i<=m)小时的第一样本网元性能数据为:
Si j={X1i j,X2i j,X3i j,X4i j,X5i j,X6i j,…,Xni j},其中Xni j表示网元的第j次历史割接的事前的第i小时的第n个属性数据。
第一样本网元性能数据具体如下:
网元的第j(j<=k)次历史割接对事后的第i(i<=m)小时的第二样本网
元性能数据为:
Si j’={X1i j’,X2i j’,X3i j’,X4i j’,X5i j’,X6i j’,…,Xni j’},其中,Xni j’表示网元的第j次历史割接的事后的第i小时的第n个属性数据。
另外,网元性能数据包括多种属性数据,属性数据可包括吞吐量、成功率、处理时延等,本发明实施例对此不作限定。以HSS网元为例,网元性能数据可包含消息成功率、信息检索响应时延、用户登记时延、营业厅指令处理速度等。参见上述内容,本发明实施例假设网元性能数据包含n种属性数据。
步骤2、将第一样本网元性能数据与第二样本网元性能数据作差,获得样本性能差值数据。
具体地,作差即为将网元性能数据中包含的每一种属性数据分别作差。例如:网元的第j(j<=k)次历史割接的事前第i(i<=m)小时的第一样本网元数据与事后第i(i<=m)小时的第二样本网元数据的样本性能差值为:
Di j={X1i j-X1i j’,X2i j-X2i j’,X3i j-X3i j’,X4i j-X4i j’,X5i j-X5i j’,…,Xni j-Xni j’}={d1i j,d2i j,d3i j,d4i j,d5i j,…,dni j}。
步骤3、采用网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,对预先创建的自编码神经网络模型进行训练,直至自编码神经网络模型收敛,并根据收敛后的自编码神经网络模型的权重获得异常检测模型。
具体地,获得了用于训练的样本性能差值数据后,可对自编码神经网络模型进行模型训练。可采用如下方式:可设定对自编码神经网络模型训练200个回合(epochs=200),批处理大小可设置为32(batch_size=32),可选择均方误差MSE(Mean Squared Error)作为损失函数(即目标函数(loss='mean_squared_error')),可选择adam优化器用于改善传统梯度下降的学习速度(optimizer='adam')。自编码神经网络模型通过梯度下降,可以找到使目标函数最小的最优权重值,从而能够最大程度地重建输入至模型的数据,并且包含最丰富信息的压缩表示。可以通过调用model.fit()函数来训练本模型,用训练集(仅含正常样本,即网元在历史割接的事后处于正常运行状态下获得的多个样本性能差值数据)进行训练,使得重建数据与原始输入数据越接近越好,随着训练回合数的增加,训练误差也逐渐下降,模型逐渐收敛。离线训练一旦完成后,将计算得出的自编码神经网络模型的权重导出,用于在线快速检测。
基于上述导出的权重,当在线检测进行中的网元的割接事后值守状态时,需要将该网元割接事前第i(i<=m)小时的第一网元性能数据与事后第i(i<=m)(应当说明的是,事前的第i小时与事后的第i小时可以相同也可以不同,例如事前第1小时,事后第2小时;或者事前第1小时,事后第1小时,均可以实现,本发明实施例仅以相同的情况为例进行说明)小时的第二网元运行数据作差后,输入到训练好的异常检测模型(即自编码神经网络模型直接加载保存的模型权重)中,就可以使用已训练好的自编码神经网络,在线根据实时运行参数进行异常检测。通过调用keras.model中的predict函数autoencoder.predict(X_test),将网元平台实时的网元性能数据输入到predict函数中去,然后可以基于模型输出重建后的差值重建数据。例如:
原始数据(即模型输入数据,也即性能差值数据):
Di={X1i-X1i’,X2i-X2i’,X3i-X3i’,X4i-X4i’,X5i-X5i’,…,Xni-Xni’}={d1i,d2i,d3i,d4i,d5i,…,dni};
重建数据(即模型输出数据,也即差值重建数据):
基于上述实施例的内容,采用网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,对预先创建的自编码神经网络模型进行训练之前,作为一种可选实施例,提供一种对样本数据进行预处理的方法,包括但不限于:为网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,以及处于异常运行状态下获得的样本性能差值数据分别添加不同的标记。
具体地,可以对获得的全部样本性能差值数据进行标记,可通过手工添加标签,将网元在历史割接后处于正常运行状态下的样本性能差值数据标记为0、异常运行状态下的样本性能差值数据标记为1。上述标记为1和0仅为了对本发明实施例进行说明,本发明实施例的范围不限于此。对样本性能差值数据进行标记的目的是由于虽然进行模型训练时仅使用对应正常运行状态下的样本性能差值数据,但为了测试自编码神经网络模型的性能,需要少量异常运行状态下的样本性能差值数据。
基于上述实施例的内容,网元性能数据包括多个种类的属性数据;相应地,为网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,以及处于异常运行状态下获得的样本性能差值数据分别添加不同的标记之后,作为一种可选实施例,提供一种标准化处理数据的方法,包括但不限于:对样本性能差值数据中的每一种类的属性数据分别进行标准化处理,以使属于同一种类的属性数据的值在设定值处聚集。
具体地,由于样本性能差值数据的值可能具有较大差别,为了提高训练过程中自编码神经网络模型的收敛速度,可以对样本性能差值数据中每一种属性数据分别进行标准化处理,使多个样本性能差值数据中属于同一种类的属性数据在一个设定值处聚集,从而提高模型训练的收敛速度和精度。
基于上述实施例的内容,作为一种可选实施例,提供一种对样本性能差值数据中的每一种类的属性数据分别进行标准化处理的方法,包括但不限于:计算每一种类的属性数据的均值及方差;对于样本性能差值数据中的每一个属性数据,将属性数据与对应种类的属性数据的均值作差后,与对应种类的属性数据的方差作商,获得的结果作为属性数据的值。
具体地,可以使用sklearn中的函数preprocessing.StandardScaler()对数据集中的所有样本性能差值数据进行标准化处理,公式为:(X-mean)/std。计算时对每个属性数据/每列数据分别进行。将每个属性数据按属性的类别(按列进行)减去对应种类属性数据的均值,并除以对应种类属性数据的方差。得到的结果是,对于每个属性数据/每列数据来说,所有数据的值都聚集在0附近,方差为1。由于数据的集中性,标准化后将提升模型的收敛速度、提升模型的精度。
基于上述实施例的内容,对样本性能差值数据中的每一种类的属性数据分别进行标准化处理之后,作为一种可选实施例,提供一种对模型进行测试的方法,包括但不限于:选取预设比例的样本性能差值数据作为测试数据,测试数据包括网元在历史割接的事后处于异常运行状态下获得的样本性能差值数据;相应地,在自编码神经网络模型收敛后,采用测试数据对自编码神经网络模型的性能进行测试。
具体地,可以将样本性能差值数据分为训练数据和测试数据。例如取全部样本性能差值数据的80%为训练数据,剩余20%为测试数据。并去除训练数据中标记为异常的数据,使得训练集中均为正常的运行参数。同时去除训练数据和测试数据中的标签。用训练数据去训练自编码神经网络模型,然后用测试数据来检验自编码神经模型的性能,从而对异常检测模型的检测精度进行校验。
基于上述实施例的内容,作为一种可选实施例,检测第一网元性能数据的时刻与网元割接的时刻之间间隔第一时长,检测第二网元性能数据的时刻与网元割接的时刻之间间隔第二时长,第一时长与第二时长相等;检测第一样本网元性能数据的时刻与历史网元割接的时刻之间间隔第三时长,检测第二样本网元性能数据的时刻与历史网元割接的时刻之间间隔第四时长,第三时长与第四时长相等。具体地,由于割接前具有较长的一段时长,为了防止割接前网元性能的波动,统一使实际检测时对应的第一时长与第二时长相等;相应地,在对自编码神经网络模型的训练过程中,同样使第三时长与第四时长相等,使异常检测模型的检测精度提高。
参见图3,本发明实施例提供的网元割接值守方法,包括以下三个步骤:
步骤一:获取网元k次历史割接的事前和事后运行数据,并将事前网元性能数据和事后网元性能数据的差异值作为总数据集,并进行数据预处理,包括标记数据集、数据集标准化处理、数据集划分;
步骤二:使用深度学习框架tensorflow搭建深度自编码神经网络,根据网元历史割接的事前性能数据和事后性能数据的差异值进行离线训练该深度自编码神经网络,直至模型收敛后导出该模型的权重;
步骤三:将进行中的该网元割接事前和事后m小时运行数据作差后输入到训练好的模型中,输出重建数据,通过计算原始输入数据和重建数据之间的重建误差来进行事后值守异常检测。
因此,本发明实施例可通过开源深度学习框架tensorflow来搭建深度自编码神经网络模型;将网元k次历史割接的事前和事后网元性能数据的差异值作为总数据集,将网元正常运行状态的训练样本输入至模型进行训练,根据历史运行数据来学习正常状态的规律,在线检测时将进行中的该网元割接事前和事后m小时运行数据作差后输入至已收敛的模型,经过编码器压缩降维,抽取出代表该次网元割接事前和事后运行数据差异值的特征表示,再经过解码器的解压缩,对输入的事前事后各项运行状态属性差值进行重建,通过计算原始数据和重建数据之间的重建误差来自动检测该割接系统事后值守是否存在异常。利用深度学习比对割接事前和事后系统运行数据的差异,来发现割接潜在隐患,实现割接事后异常的提早发现、提早预警、提早应对。
基于上述实施例的内容,本发明实施例提供了一种网元割接值守装置,该网元割接值守装置用于执行上述方法实施例中的网元割接值守方法。参见图4,该装置包括:
作差模块401,用于将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据。
其中,第一网元性能数据是作差模块401在网元割接前(即事前阶段)检测的获得的。第二网元性能数据可以是作差模块401在对网元割接后(即事后阶段)的任意时刻检测获得的。应当说明的是,若网元性能数据包括多种属性数据,则作差时,分别对每一种属性数据作差,获得包括多种属性数据差值的性能差值数据。
重建模块402,用于将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的。
其中,重建模块402可以预先训练获得异常检测模型。在创建自编码神经网络模型后,重建模块402可利用采集的样本性能差值数据对该自编码神经网络模型进行训练。训练完成后得到异常检测模型,该异常检测模型输出的重建数据与输入数据越接近越好。在实际检测时,重建模块402可将性能差值数据输入至异常检测模型,获得该异常检测模型输出的差值重建数据。
判断模块403,用于若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
具体地,判断模块403可预先确定误差阈值。判断模块403将性能差值数据与差值重建数据作差,获得重建误差(reconstruction error)。判断模块403将重建误差与预先设置的误差阈值(误差阈值即为异常点)进行比较。若重建误差大于误差阈值,则表明检测第二网元性能数据的时刻时,网元处于异常运行状态,判断模块403应当立即触发告警以提醒运维人员及时处理。若重建误差小于误差阈值,则表明检测第二网元性能数据的时刻时,网元仍处于正常运行状态。
本发明实施例提供的网元割接值守装置,通过将性能差值输入至基于自编码神经网络模型训练获得的异常检测模型,并获得输出的差值重建数据;将性能差值数据与差值重建数据之间的重建误差与误差阈值进行比较,基于比较结果判断网元在割接后是否处于异常运行状态。由于利用深度学习比对割接事前和事后的性能数据来进行割接值守,相对于人工值守或设置阈值值守的方式提高了判断网元是否异常运行的准确度,降低了虚警率,避免网元割接后存在的安全隐患。
作为一种可选实施例,该装置还包括:训练模块,具体包括:
采集单元,用于采集网元的历史割接的第一样本网元性能数据及第二样本网元性能数据,第一样本网元性能数据是在历史割接的事前检测获得的,第二样本网元性能数据是在历史割接的事后检测获得的;
作差单元,用于将第一样本网元性能数据与第二样本网元性能数据作差,获得样本性能差值数据;
训练单元,用于采用网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,对预先创建的自编码神经网络模型进行训练,直至自编码神经网络模型收敛,并根据收敛后的自编码神经网络模型的权重获得异常检测模型。
作为一种可选实施例,训练模块还包括:标记单元,用于在采用网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,对预先创建的自编码神经网络模型进行训练之前,为网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,以及处于异常运行状态下获得的样本性能差值数据分别添加不同的标记。
作为一种可选实施例,网元性能数据包括多个种类的属性数据;相应地,训练模块还包括:标准化单元,用于在为网元在历史割接的事后处于正常运行状态下获得的样本性能差值数据,以及处于异常运行状态下获得的样本性能差值数据分别添加不同的标记之后,对样本性能差值数据中的每一种类的属性数据分别进行标准化处理,以使属于同一种类的属性数据的值在设定值处聚集。
作为一种可选实施例,标准化单元具体用于:计算每一种类的属性数据的均值及方差;对于样本性能差值数据中的每一个属性数据,将属性数据与对应种类的属性数据的均值作差后,与对应种类的属性数据的方差作商,获得的结果作为属性数据的值。
作为一种可选实施例,训练模块还包括:测试单元,用于在对样本性能差值数据中的每一种类的属性数据分别进行标准化处理之后,选取预设比例的样本性能差值数据作为测试数据,测试数据包括网元在历史割接的事后处于异常运行状态下获得的样本性能差值数据;相应地,在自编码神经网络模型收敛后,采用测试数据对自编码神经网络模型的性能进行测试。
作为一种可选实施例,检测第一网元性能数据的时刻与网元割接的时刻之间间隔第一时长,检测第二网元性能数据的时刻与网元割接的时刻之间间隔第二时长,第一时长与第二时长相等;检测第一样本网元性能数据的时刻与历史网元割接的时刻之间间隔第三时长,检测第二样本网元性能数据的时刻与历史网元割接的时刻之间间隔第四时长,第三时长与第四时长相等。
本发明实施例提供了一种电子设备,如图5所示,该设备包括:处理器(processor)501、存储器(memory)502和总线503;其中,处理器501及存储器502分别通过总线503完成相互间的通信;处理器501用于调用存储器502中的程序指令,以执行上述实施例所提供的网元割接值守方法,例如包括:将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的;若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
本发明实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行对应实施例所提供的网元割接值守方法,例如包括:将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;将性能差值数据输入至异常检测模型,获得异常检测模型输出的差值重建数据;异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,样本性能差值数据是网元处于正常运行状态下获得的;若判断获知性能差值数据与差值重建数据之间的重建误差大于误差阈值,则确认网元在检测第二网元性能数据的时刻处于异常运行状态。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种网元割接值守方法,其特征在于,包括:
将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;
将所述性能差值数据输入至异常检测模型,获得所述异常检测模型输出的差值重建数据;所述异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,所述样本性能差值数据是所述网元处于正常运行状态下获得的;
若判断获知所述性能差值数据与所述差值重建数据之间的重建误差大于误差阈值,则确认所述网元在检测所述第二网元性能数据的时刻处于异常运行状态;
所述将所述性能差值数据输入至异常检测模型,获得所述异常检测模型输出的差值重建数据之前,还包括:
采集所述网元的历史割接的第一样本网元性能数据及第二样本网元性能数据,所述第一样本网元性能数据是在所述历史割接的事前检测获得的,所述第二样本网元性能数据是在所述历史割接的事后检测获得的;
将所述第一样本网元性能数据与所述第二样本网元性能数据作差,获得所述样本性能差值数据;
采用所述网元在所述历史割接的事后处于正常运行状态下获得的所述样本性能差值数据,对预先创建的所述自编码神经网络模型进行训练,直至所述自编码神经网络模型收敛,通过梯度下降获取所述自编码神经网络模型的权重,并根据收敛后的所述自编码神经网络模型的权重获得所述异常检测模型。
2.根据权利要求1所述的方法,其特征在于,所述采用所述网元在所述历史割接的事后处于正常运行状态下获得的所述样本性能差值数据,对预先创建的所述自编码神经网络模型进行训练之前,还包括:
为所述网元在所述历史割接的事后处于正常运行状态下获得的所述样本性能差值数据,以及处于异常运行状态下获得的所述样本性能差值数据分别添加不同的标记。
3.根据权利要求2所述的方法,其特征在于,所述网元性能数据包括多个种类的属性数据;
相应地,为所述网元在所述历史割接的事后处于正常运行状态下获得的所述样本性能差值数据,以及处于异常运行状态下获得的所述样本性能差值数据分别添加不同的标记之后,还包括:
对所述样本性能差值数据中的每一种类的所述属性数据分别进行标准化处理,以使属于同一种类的所述属性数据的值在设定值处聚集。
4.根据权利要求3所述的方法,其特征在于,对所述样本性能差值数据中的每一种类的所述属性数据分别进行标准化处理,包括:
计算每一种类的所述属性数据的均值及方差;
对于所述样本性能差值数据中的每一个所述属性数据,将所述属性数据与对应种类的所述属性数据的均值作差后,与对应种类的所述属性数据的方差作商,获得的结果作为所述属性数据的值。
5.根据权利要求3所述的方法,其特征在于,对所述样本性能差值数据中的每一种类的所述属性数据分别进行标准化处理之后,还包括:
选取预设比例的所述样本性能差值数据作为测试数据,所述测试数据包括所述网元在所述历史割接的事后处于异常运行状态下获得的所述样本性能差值数据;
相应地,在所述自编码神经网络模型收敛后,采用所述测试数据对所述自编码神经网络模型的性能进行测试。
6.根据权利要求1所述的方法,其特征在于,检测所述第一网元性能数据的时刻与所述网元割接的时刻之间间隔第一时长,检测所述第二网元性能数据的时刻与所述网元割接的时刻之间间隔第二时长,所述第一时长与所述第二时长相等;
检测所述第一样本网元性能数据的时刻与所述历史网元割接的时刻之间间隔第三时长,检测所述第二样本网元性能数据的时刻与所述历史网元割接的时刻之间间隔第四时长,所述第三时长与所述第四时长相等。
7.一种网元割接值守装置,其特征在于,包括:
作差模块,用于将网元割接事前检测的第一网元性能数据与网元割接事后检测的第二网元性能数据作差,获得性能差值数据;
重建模块,用于将所述性能差值数据输入至异常检测模型,获得所述异常检测模型输出的差值重建数据;所述异常检测模型是基于样本性能差值数据对自编码神经网络模型进行训练后获得的,所述样本性能差值数据是所述网元处于正常运行状态下获得的;所述将所述性能差值数据输入至异常检测模型,获得所述异常检测模型输出的差值重建数据之前,还包括:采集所述网元的历史割接的第一样本网元性能数据及第二样本网元性能数据,所述第一样本网元性能数据是在所述历史割接的事前检测获得的,所述第二样本网元性能数据是在所述历史割接的事后检测获得的;将所述第一样本网元性能数据与所述第二样本网元性能数据作差,获得所述样本性能差值数据;采用所述网元在所述历史割接的事后处于正常运行状态下获得的所述样本性能差值数据,对预先创建的所述自编码神经网络模型进行训练,直至所述自编码神经网络模型收敛,通过梯度下降获取所述自编码神经网络模型的权重,并根据收敛后的所述自编码神经网络模型的权重获得所述异常检测模型;
判断模块,用于若判断获知所述性能差值数据与所述差值重建数据之间的重建误差大于误差阈值,则确认所述网元在检测所述第二网元性能数据的时刻处于异常运行状态。
8.一种电子设备,其特征在于,包括:
至少一个处理器;
以及与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6 任一所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810975024.7A CN110858812B (zh) | 2018-08-24 | 2018-08-24 | 网元割接值守方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810975024.7A CN110858812B (zh) | 2018-08-24 | 2018-08-24 | 网元割接值守方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110858812A CN110858812A (zh) | 2020-03-03 |
CN110858812B true CN110858812B (zh) | 2021-07-13 |
Family
ID=69636287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810975024.7A Active CN110858812B (zh) | 2018-08-24 | 2018-08-24 | 网元割接值守方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110858812B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086876B (zh) * | 2018-09-21 | 2022-07-22 | 广州发展集团股份有限公司 | 设备的运行状态检测方法、装置、计算机设备和存储介质 |
CN111405644B (zh) * | 2020-03-07 | 2021-06-18 | 广州爱浦路网络技术有限公司 | 一种中心控制的5g通信网元智能节能网及节能方法 |
CN115483966A (zh) * | 2021-05-31 | 2022-12-16 | 中国移动通信集团上海有限公司 | 自动评估方法、装置、电子设备及存储介质 |
CN116055345B (zh) * | 2021-10-28 | 2024-07-16 | 中国移动通信集团福建有限公司 | 业务接入状态巡检方法、装置、电子设备及存储介质 |
CN114465908B (zh) * | 2021-12-20 | 2023-08-08 | 中盈优创资讯科技有限公司 | 一种5gc网络割接事件异常影响分析方法 |
CN114399062A (zh) * | 2021-12-28 | 2022-04-26 | 飞思达技术(北京)有限公司 | 一种基于互联网电视智能运维割接场景自动值守的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7082308B1 (en) * | 2002-12-18 | 2006-07-25 | Nortel Networks Limited | HLR mated-pair auto cutover |
CN101499924B (zh) * | 2008-01-31 | 2011-04-20 | 杭州美创科技有限公司 | 一种计算机生产系统在线割接方法 |
CN104933438A (zh) * | 2015-06-01 | 2015-09-23 | 武艳娇 | 一种基于自编码神经网络的图像聚类方法 |
CN106603263B (zh) * | 2015-10-20 | 2020-03-20 | 中兴通讯股份有限公司 | 一种业务割接的方法、装置及设备 |
CN105678407A (zh) * | 2015-12-31 | 2016-06-15 | 国网上海市电力公司 | 一种基于人工神经网络的日用电量预测方法 |
CN107122809B (zh) * | 2017-04-24 | 2020-04-28 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
-
2018
- 2018-08-24 CN CN201810975024.7A patent/CN110858812B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110858812A (zh) | 2020-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110858812B (zh) | 网元割接值守方法及装置 | |
CN111860897B (zh) | 一种异常检测方法、装置、设备及计算机可读存储介质 | |
CN111124840A (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
CN115409131B (zh) | 基于spc过程管控系统的生产线异常检测方法 | |
CN116184930B (zh) | 数控机床故障预测方法、装置、设备及存储介质 | |
CN116184988B (zh) | 基于多模态数据的故障预测方法、装置、设备及存储介质 | |
CN112686521B (zh) | 一种风控规则调优方法和系统 | |
CN114816901A (zh) | 通过ai的方式对软件变更后的健康状态进行评估的方法 | |
CN110309967A (zh) | 客服会话评分等级的预测方法、系统、设备和存储介质 | |
CN115526241B (zh) | 一种航空液压泵站实时异常检测方法、装置、设备及介质 | |
CN110865924A (zh) | 电力信息系统内部服务器健康度诊断方法与健康诊断框架 | |
CN112380759B (zh) | 基于深度学习和CoxPH模型的智能电表寿命预测方法 | |
CN111176872B (zh) | 面向it运维的监控数据处理方法、系统、装置及存储介质 | |
CN116723540A (zh) | 一种5g网络数据的质差检测模型训练及质差检测方法 | |
CN118035904A (zh) | 一种基于多频段数据融合的振摆监测故障诊断方法及系统 | |
CN116705271A (zh) | 一种大数据的医疗冲洗设备运行监测系统 | |
CN113033845B (zh) | 一种电力传输资源共建共享的建设方法及装置 | |
CN114862092A (zh) | 一种基于神经网络的评标方法及设备 | |
CN111611117B (zh) | 硬盘故障的预测方法、装置、设备及计算机可读存储介质 | |
CN110838925B (zh) | 一种高危网元操作指令识别方法和装置 | |
CN110569277A (zh) | 一种配置数据信息自动识别与归类方法及系统 | |
CN114422392B (zh) | 一种智能风险监控系统及风险监控的方法 | |
CN111124793A (zh) | 磁盘阵列控制器性能异常检测方法及系统 | |
CN109474445B (zh) | 一种分布式系统根源故障定位方法及装置 | |
CN116149899A (zh) | 获取平台故障成因的方法及平台故障自动检查处置方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |