CN116760691A - 一种基于大数据技术的电信故障排除系统 - Google Patents
一种基于大数据技术的电信故障排除系统 Download PDFInfo
- Publication number
- CN116760691A CN116760691A CN202310822076.1A CN202310822076A CN116760691A CN 116760691 A CN116760691 A CN 116760691A CN 202310822076 A CN202310822076 A CN 202310822076A CN 116760691 A CN116760691 A CN 116760691A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- module
- analysis
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 100
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims abstract description 52
- 238000013500 data storage Methods 0.000 claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000004140 cleaning Methods 0.000 claims abstract description 23
- 238000012800 visualization Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 230000005856 abnormality Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013024 troubleshooting Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000010835 comparative analysis Methods 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000036541 health Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000007637 random forest analysis Methods 0.000 abstract description 4
- 238000000611 regression analysis Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- YTPUIQCGRWDPTM-UHFFFAOYSA-N 2-acetyloxybenzoic acid;5-(2-methylpropyl)-5-prop-2-enyl-1,3-diazinane-2,4,6-trione;1,3,7-trimethylpurine-2,6-dione Chemical compound CC(=O)OC1=CC=CC=C1C(O)=O.CN1C(=O)N(C)C(=O)C2=C1N=CN2C.CC(C)CC1(CC=C)C(=O)NC(=O)NC1=O YTPUIQCGRWDPTM-UHFFFAOYSA-N 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于大数据技术的电信故障排除系统，涉及电信故障排除技术领域，现提出如下方案，包括数据采集单元、数据清洗单元、数据存储单元、数据转换单元、异常检测单元、故障分析单元、系统评估单元和故障可视化单元，所述数据采集单元用于从设备中收集电信网络信号数据信息。本发明不仅通过异常检测单元对转换后的数据信息进行日志的异常状态的检测，了解设备运行的健康状态，并对设备进行排错、优化，同时提供相似性检测、回归分析、神经网络和随机森林多种机器学习算法包建立检测模块进行异常检测，同时通过故障分析单元根据大数据的分析方法进行数据的时间和空间维度的对比分析，发现设备和网络的异常状态，保障设备的正常运行。
Description
技术领域
本发明涉及电信故障排除技术领域，尤其涉及一种基于大数据技术的电信故障排除系统。
背景技术
随着网络连接数和网络数据的快速增长，网络中的异常和非受控性变化不可避免地会越来越多网络设备或子网的一个短暂的异常或故障(如路由协议心跳丢失、硬件电压下降)在引起网络的大规模故障之前可能不会被察觉到，因为从大量的网络监视数据中很难发现这些微小的异常行为记录，导致网络的管理如基础设施保障、服务分配、性能监视也越来越困难，为此，我们提出了一种基于大数据技术的电信故障排除系统。
发明内容
本发明提出的一种基于大数据技术的电信故障排除系统，以解决现有技术中的上述不足之处。
为了实现上述目的，本发明采用了如下技术方案：
一种基于大数据技术的电信故障排除系统，包括数据采集单元、数据清洗单元、数据存储单元、数据转换单元、异常检测单元、故障分析单元、系统评估单元和故障可视化单元，所述数据采集单元用于从设备中收集电信网络信号数据信息，并将采集的网络数据信息发送给数据清洗单元；
所述数据清洗单元用于对通过数据采集单元采集的数据文件中可识别的错误进行自动完善修复处理，包括检查数据的一致性和处理无效值和缺失值，并将清洗后的数据信息分别发送给数据存储单元和数据转换单元；
所述数据转换单元用于将通过数据清洗单元自动修复后的数据信息进行根据自适应的格式要求进行自动转换处理，同时将转换后的数据文件分别发送给数据存储单元和异常检测单元；
所述异常检测单元用于对通过数据转换单元转换后的数据信息进行日志的异常状态的检测处理，通过数据信息的检测了解设备运行的健康状态，并对设备进行排错、优化，从日志中提取多种特征数据信息，同时提供相似性检测、回归分析、神经网络和随机森林多种机器学习算法包建立检测模块进行异常检测，并将检测后的数据信息分别发送给故障分析单元、故障可视化单元和数据存储单元；
所述故障分析单元用于对通过异常检测单元检测后的数据信息根据大数据的分析方法进行数据的时间和空间维度的对比分析，发现设备和网络的异常状态，并将分析后的数据信息发送给系统评估单元和数据存储单元；
所述系统评估单元用于对通过故障分析单元分析后的数据信息先通过分析原始数据来定位网络中的故障，通过故障检测算法来定位网络故障的时间和类型，并进行根因的分析进行评估处理，并将评估后的数据信息发送给故障可视化单元和数据存储单元；
所述数据存储单元用于对电信故障排查系统中所有的源数据、修复后数据、检测结果、故障分析结果和系统评估结果的数据信息分类进行统一保管存储处理。
进一步地，所述数据采集单元包括离线数据采集模块和在线数据采集模块，所述离线数据采集模块不直接对接设备，通过各种间接手段阿金数据批量导入到数据清洗单元；
所述在线数据采集模块通过Kafka和Flume集群对接设备或第三方数据服务器，实现在线实时采集设备的运行数据并将采集的数据信息发送给数据清洗单元；
所述时间维度的异常检测通过与历史数据进行分析对比，所述空间维度的异常检测通过设备之间横向对比，从各种数据中提取数据的特性构建设备或网络行为的特性矩阵。
进一步地，所述异常检测单元包括时间特征模块、模式特征模块、密度特征模块、关键日志模块、日志等级模块和特征种类模块；
所述时间特征模块通过检测日志时间特征的变化，检测设备的异常状态，时间特征变化至少包含两种场景：
一是已经发生事件的时间间隔变化，通过分析事件发生的时间间隔，获取时间的变化模式；
二是不同的新事件发生的先后关系，在正常情况下，新事件与旧事件之间的间隔会分布在一个正常范围值内，在设备处于异常状态时，新事件和旧事件发生的时间间隔会出现较大的变化；
所述模式特征模块是指不同事件之间的关联关系，如：在网络设备上运行着某个网络协议，假设此网络协议的状态机在各个状态都会记录一条日志，分别为ABC三种类型的日志,假设监控设备正常状态时日志的模式是A一B一C,如果监控发现日志的模式变成B一A一C,那么设备可能出现了异常，这里的一表示了ABC三种类型事件在时间上的承接性；
所述密度特征模块通常情况下,设备在正常状态也不定期的产生少量的日志记录，当设备异常时,设备会打破纪录的模式，产生大量的日志记录；
所述关键日志模块用于对设备日志定义一些所谓的“黑名单”,当这些关键日志出现时，设备出现了异常状态；
所述日志等级模块通过程序员在写代码时,根据事件的严重性在日志中记录日志的严重等级；
所述特征种类模块用于当设备发生异常时,由于设备的硬件或者软件进入了一个不该进入的故障状态，此时就会记录一种新类型的日志，即记录了一种新事件。
进一步地，所述故障分析单元包括日志分析模块、配置分析模块、KPI分析模块和告警分析模块；
所述日志分析模块用于对异常检测单元检测的异常日志进行大数据快速分析处理，并将分析后的日志数据信息发送给配置分析单元；
所述配置分析模块用于检测配置异常，将配置文件中的所有命令组提取，根据命令关键字进行分类统计，并将出现频率最高的命令组设定为配置模板，用来与新的配置命令组进行比较分析，从而判断异常，但是很多时候，命令组具有不同的命令行而实现的配置目的是类似的，这样容易生成额外的模板，降低统计的准确率并造成多余的计算，针对这一问题，我们首先定义了n维的关键词空间，在将命令组经过参数过滤和非关键词过滤之后,通过tf-idf方法将命令组映射成n维关键词空间的数值坐标表示，关键词w的tf-idf值定义为：W＝tftd·lgm/dft+tftd·aft/m，式中ftd为关键词w在所有配置文件中出现的频率，m为文件总数，dft为包含了关键词n的文件数量，aft为包含了关键词w的配置命令组出现次数，在完成空间坐标转换之后，利用PCA方法对坐标集进行降维处理，然后利用AP算法进行聚类最后得到的聚类中心则设定为参考配置模板，得到模板之后,将新的配置命令组经过空间坐标转换之后与每个模板进行相似度计算.如果相似度低于闻值则判断该配置为异常配置；
所述KPI分析模块用于对KPI的异常时间点和端口进行检测分析处理，并将分析后的数据信息发送给告警分析模块，KPI分析模块利用子空间的方法来进行计算；
以X来表示维度为t×r的特性矩阵其中，其中t为第t个时间点的KPI指标值，r为设备或端口的数量，对于矩阵的每一个元素xij表示了第j个设备/端口在第i个时间点的值，矩阵的每一列则是第j个设备/端口的KPI指标时间序列，而整个矩阵则可以认为是一个多变量时间序列，子空间方法的核心是将多变量时间序列分割成正常模态空间和异常模态空间，这种分割通过主成分分析(PrimaryComponentAnalysis，PCA)来完成，公式如下：
max Cyst.UUT＝I，式中
其中yi为原始特性矩阵数据在子空间的表示，/>为原始数据在子空间中的均值,而U则为子空间的投影矩阵，C为原始数据的方差；
可以看到,基于PCA的子空间分割本质上是以方差最大化为优化目标,它将高维度的X进行矩阵分解之后确定若干正交向量,在这些向量中,可以选择权重占比为90—95％的正交向量来构成正常模态空间，而剩余的则构成异常模态空间，在子空间分割之后每个时间序列可以表示为正常模态成分和异常模态成分的线性组合，进一步,每个时间点的数据可以转化为正常成分和残差成分的和，即其中/>为X在正常模态空间中的重构,而/>则是原始的残差分量，这样，异常值则可以通过计算残差向量的范数/>来表示,并通过/>来进行识别异常点，δα为置信度在1-α水平上的Q统计量；
所述告警分析模块用于对分析出的异常数据进行危险等级程度的分析检测处理。
进一步地，所述数据采集单元的输出端与数据清洗单元的输入端相连接，所述数据清洗单元的输出端分别与数据存储单元和数据转换单元的输入端相连接，所述数据转换单元的输出端分别与数据存储单元和异常检测单元的输入端相连接，所述异常检测单元的输出端分别与故障可视化单元、数据存储单元和故障分析单元的输入端相连接，所述故障分析单元的输出端分别与系统评估单元和数据存储单元的输入端相连接，所述系统评估单元的输出端分别与故障可视化单元和数据存储单元的输入端相连接。
进一步地，所述数据转换单元的输出端与时间特征模块的输入端相连接，所述时间特征模块的输出端与模式特征模块的输入端相连接，所述模式特征模块的输出端与密度特征模块的输入端相连接，所述密度特征模块的输出端分别与特征种类模块和关键日志模块的输入端相连接，所述关键日志模块的输出端与日志等级模块的的输入端相连接，所述日志等级模块的输出端与特征种类模块的输入端相连接，所述特征种类模块的输出端分别与数据存储单元、故障可视化单元和系统评估单元的输入端相连接。
进一步地，所述异常检测单元的输出端与日志分析模块的输入端相连接，所述日志分析模块的输出端与配置分析模块的输入端相连接，所述配置分析模块的输出端与KPI分析模块的输入端相连接，所述KPI分析模块的输出端与告警分析模块的输入端相连接，所述告警分析模块的输出端分别与数据存储单元和系统评估单元的输入端相连接。
与现有的技术相比，本发明不仅通过异常检测单元对转换后的数据信息进行日志的异常状态的检测，了解设备运行的健康状态，并对设备进行排错、优化，同时提供相似性检测、回归分析、神经网络和随机森林多种机器学习算法包建立检测模块进行异常检测，同时通过故障分析单元根据大数据的分析方法进行数据的时间和空间维度的对比分析，发现设备和网络的异常状态，保障设备的正常运行。
附图说明
图1为本发明提出的一种基于大数据技术的电信故障排除系统的整体系统框图；
图2为本发明提出的一种基于大数据技术的电信故障排除系统的异常检测单元的模块框图；
图3为本发明提出的一种基于大数据技术的电信故障排除系统的故障分析单元的模块框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义，下面将结合附图对本发明作进一步的详细介绍。
实施例1
参照图1-3：一种基于大数据技术的电信故障排除系统，包括数据采集单元、数据清洗单元、数据存储单元、数据转换单元、异常检测单元、故障分析单元、系统评估单元和故障可视化单元，数据采集单元用于从设备中收集电信网络信号数据信息，并将采集的网络数据信息发送给数据清洗单元；
数据清洗单元用于对通过数据采集单元采集的数据文件中可识别的错误进行自动完善修复处理，包括检查数据的一致性和处理无效值和缺失值，并将清洗后的数据信息分别发送给数据存储单元和数据转换单元；
数据转换单元用于将通过数据清洗单元自动修复后的数据信息进行根据自适应的格式要求进行自动转换处理，同时将转换后的数据文件分别发送给数据存储单元和异常检测单元；
异常检测单元用于对通过数据转换单元转换后的数据信息进行日志的异常状态的检测处理，通过数据信息的检测了解设备运行的健康状态，并对设备进行排错、优化，从日志中提取多种特征数据信息，同时提供相似性检测、回归分析、神经网络和随机森林多种机器学习算法包建立检测模块进行异常检测，并将检测后的数据信息分别发送给故障分析单元、故障可视化单元和数据存储单元；
故障分析单元用于对通过异常检测单元检测后的数据信息根据大数据的分析方法进行数据的时间和空间维度的对比分析，发现设备和网络的异常状态，并将分析后的数据信息发送给系统评估单元和数据存储单元；
系统评估单元用于对通过故障分析单元分析后的数据信息先通过分析原始数据来定位网络中的故障，通过故障检测算法来定位网络故障的时间和类型，并进行根因的分析进行评估处理，并将评估后的数据信息发送给故障可视化单元和数据存储单元；
数据存储单元用于对电信故障排查系统中所有的源数据、修复后数据、检测结果、故障分析结果和系统评估结果的数据信息分类进行统一保管存储处理。
本发明中，数据采集单元包括离线数据采集模块和在线数据采集模块，离线数据采集模块不直接对接设备，通过各种间接手段阿金数据批量导入到数据清洗单元；
在线数据采集模块通过Kafka和Flume集群对接设备或第三方数据服务器，实现在线实时采集设备的运行数据并将采集的数据信息发送给数据清洗单元；
时间维度的异常检测通过与历史数据进行分析对比，空间维度的异常检测通过设备之间横向对比，从各种数据中提取数据的特性构建设备或网络行为的特性矩阵。
本发明中，异常检测单元包括时间特征模块、模式特征模块、密度特征模块、关键日志模块、日志等级模块和特征种类模块；
时间特征模块通过检测日志时间特征的变化，检测设备的异常状态，时间特征变化至少包含两种场景：
一是已经发生事件的时间间隔变化，通过分析事件发生的时间间隔，获取时间的变化模式；
二是不同的新事件发生的先后关系，在正常情况下，新事件与旧事件之间的间隔会分布在一个正常范围值内，在设备处于异常状态时，新事件和旧事件发生的时间间隔会出现较大的变化；
模式特征模块是指不同事件之间的关联关系，如：在网络设备上运行着某个网络协议，假设此网络协议的状态机在各个状态都会记录一条日志，分别为ABC三种类型的日志,假设监控设备正常状态时日志的模式是A一B一C,如果监控发现日志的模式变成B一A一C,那么设备可能出现了异常，这里的一表示了ABC三种类型事件在时间上的承接性；
密度特征模块通常情况下,设备在正常状态也不定期的产生少量的日志记录，当设备异常时,设备会打破纪录的模式，产生大量的日志记录；
关键日志模块用于对设备日志定义一些所谓的“黑名单”,当这些关键日志出现时，设备出现了异常状态；
日志等级模块通过程序员在写代码时,根据事件的严重性在日志中记录日志的严重等级；
特征种类模块用于当设备发生异常时,由于设备的硬件或者软件进入了一个不该进入的故障状态，此时就会记录一种新类型的日志，即记录了一种新事件。
本发明中，故障分析单元包括日志分析模块、配置分析模块、KPI分析模块和告警分析模块；
日志分析模块用于对异常检测单元检测的异常日志进行大数据快速分析处理，并将分析后的日志数据信息发送给配置分析单元；
配置分析模块用于检测配置异常，将配置文件中的所有命令组提取，根据命令关键字进行分类统计，并将出现频率最高的命令组设定为配置模板，用来与新的配置命令组进行比较分析，从而判断异常，但是很多时候，命令组具有不同的命令行而实现的配置目的是类似的，这样容易生成额外的模板，降低统计的准确率并造成多余的计算，针对这一问题，我们首先定义了n维的关键词空间，在将命令组经过参数过滤和非关键词过滤之后,通过tf-idf方法将命令组映射成n维关键词空间的数值坐标表示，关键词w的tf-idf值定义为：W＝tftd·lgm/dft+tftd·aft/m，式中ftd为关键词w在所有配置文件中出现的频率，m为文件总数，dft为包含了关键词n的文件数量，aft为包含了关键词w的配置命令组出现次数，在完成空间坐标转换之后，利用PCA方法对坐标集进行降维处理，然后利用AP算法进行聚类最后得到的聚类中心则设定为参考配置模板，得到模板之后,将新的配置命令组经过空间坐标转换之后与每个模板进行相似度计算.如果相似度低于闻值则判断该配置为异常配置；
KPI分析模块用于对KPI的异常时间点和端口进行检测分析处理，并将分析后的数据信息发送给告警分析模块，KPI分析模块利用子空间的方法来进行计算；
以X来表示维度为t×r的特性矩阵其中，其中t为第t个时间点的KPI指标值，r为设备或端口的数量，对于矩阵的每一个元素xij表示了第j个设备/端口在第i个时间点的值，矩阵的每一列则是第j个设备/端口的KPI指标时间序列，而整个矩阵则可以认为是一个多变量时间序列，子空间方法的核心是将多变量时间序列分割成正常模态空间和异常模态空间，这种分割通过主成分分析(PrimaryComponentAnalysis，PCA)来完成，公式如下：
max Cyst.UUT＝I，式中
其中yi为原始特性矩阵数据在子空间的表示，/>为原始数据在子空间中的均值,而U则为子空间的投影矩阵，C为原始数据的方差；
可以看到,基于PCA的子空间分割本质上是以方差最大化为优化目标,它将高维度的X进行矩阵分解之后确定若干正交向量,在这些向量中,可以选择权重占比为90—95％的正交向量来构成正常模态空间，而剩余的则构成异常模态空间，在子空间分割之后每个时间序列可以表示为正常模态成分和异常模态成分的线性组合，进一步,每个时间点的数据可以转化为正常成分和残差成分的和，即其中/>为X在正常模态空间中的重构,而/>则是原始的残差分量，这样，异常值则可以通过计算残差向量的范数/>来表示,并通过/>来进行识别异常点，δα为置信度在1-α水平上的Q统计量；
告警分析模块用于对分析出的异常数据进行危险等级程度的分析检测处理。
本发明中，数据采集单元的输出端与数据清洗单元的输入端相连接，数据清洗单元的输出端分别与数据存储单元和数据转换单元的输入端相连接，数据转换单元的输出端分别与数据存储单元和异常检测单元的输入端相连接，异常检测单元的输出端分别与故障可视化单元、数据存储单元和故障分析单元的输入端相连接，故障分析单元的输出端分别与系统评估单元和数据存储单元的输入端相连接，系统评估单元的输出端分别与故障可视化单元和数据存储单元的输入端相连接。
本发明中，数据转换单元的输出端与时间特征模块的输入端相连接，时间特征模块的输出端与模式特征模块的输入端相连接，模式特征模块的输出端与密度特征模块的输入端相连接，密度特征模块的输出端分别与特征种类模块和关键日志模块的输入端相连接，关键日志模块的输出端与日志等级模块的的输入端相连接，日志等级模块的输出端与特征种类模块的输入端相连接，特征种类模块的输出端分别与数据存储单元、故障可视化单元和系统评估单元的输入端相连接。
本发明中，异常检测单元的输出端与日志分析模块的输入端相连接，日志分析模块的输出端与配置分析模块的输入端相连接，配置分析模块的输出端与KPI分析模块的输入端相连接，KPI分析模块的输出端与告警分析模块的输入端相连接，告警分析模块的输出端分别与数据存储单元和系统评估单元的输入端相连接。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于大数据技术的电信故障排除系统，包括数据采集单元、数据清洗单元、数据存储单元、数据转换单元、异常检测单元、故障分析单元、系统评估单元和故障可视化单元，其特征在于；
所述数据采集单元用于从设备中收集电信网络信号数据信息，并将采集的网络数据信息发送给数据清洗单元；
所述数据清洗单元用于对通过数据采集单元采集的数据文件中可识别的错误进行自动完善修复处理，并将清洗后的数据信息分别发送给数据存储单元和数据转换单元；
所述数据转换单元用于将通过数据清洗单元自动修复后的数据信息进行根据自适应的格式要求进行自动转换处理，同时将转换后的数据文件分别发送给数据存储单元和异常检测单元；
所述异常检测单元用于对通过数据转换单元转换后的数据信息进行日志的异常状态的检测处理，并将检测后的数据信息分别发送给故障分析单元、故障可视化单元和数据存储单元；
所述故障分析单元用于对通过异常检测单元检测后的数据信息根据大数据的分析方法进行数据的时间和空间维度的对比分析，发现设备和网络的异常状态，并将分析后的数据信息发送给系统评估单元和数据存储单元；
所述系统评估单元用于对通过故障分析单元分析后的数据信息先通过分析原始数据来定位网络中的故障，通过故障检测算法来定位网络故障的时间和类型，并进行根因的分析进行评估处理，并将评估后的数据信息发送给故障可视化单元和数据存储单元；
所述数据存储单元用于对电信故障排查系统中所有的源数据、修复后数据、检测结果、故障分析结果和系统评估结果的数据信息分类进行统一保管存储处理。
2.根据权利要求1所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述数据采集单元包括离线数据采集模块和在线数据采集模块，所述离线数据采集模块不直接对接设备，通过各种间接手段阿金数据批量导入到数据清洗单元；
所述在线数据采集模块通过Kafka和Flume集群对接设备或第三方数据服务器，实现在线实时采集设备的运行数据并将采集的数据信息发送给数据清洗单元；
所述时间维度的异常检测通过与历史数据进行分析对比，所述空间维度的异常检测通过设备之间横向对比，从各种数据中提取数据的特性构建设备或网络行为的特性矩阵。
3.根据权利要求1所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述异常检测单元包括时间特征模块、模式特征模块、密度特征模块、关键日志模块、日志等级模块和特征种类模块；
所述时间特征模块通过检测日志时间特征的变化，检测设备的异常状态；
所述模式特征模块是指不同事件之间的关联关系；
所述密度特征模块通常情况下,设备在正常状态也不定期的产生少量的日志记录，当设备异常时,设备会打破纪录的模式，产生大量的日志记录；
所述关键日志模块用于对设备日志定义一些所谓的“黑名单”,当这些关键日志出现时，设备出现了异常状态；
所述日志等级模块通过程序员在写代码时,根据事件的严重性在日志中记录日志的严重等级；
所述特征种类模块用于当设备发生异常时,由于设备的硬件或者软件进入了一个不该进入的故障状态，此时就会记录一种新类型的日志，即记录了一种新事件。
4.根据权利要求1所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述故障分析单元包括日志分析模块、配置分析模块、KPI分析模块和告警分析模块；
所述日志分析模块用于对异常检测单元检测的异常日志进行大数据快速分析处理，并将分析后的日志数据信息发送给配置分析单元；
所述配置分析模块用于检测配置异常，将配置文件中的所有命令组提取，根据命令关键字进行分类统计，并将出现频率最高的命令组设定为配置模板，用来与新的配置命令组进行比较分析，从而判断异常；
所述KPI分析模块用于对KPI的异常时间点和端口进行检测分析处理，并将分析后的数据信息发送给告警分析模块；
所述告警分析模块用于对分析出的异常数据进行危险等级程度的分析检测处理。
5.根据权利要求1所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述数据采集单元的输出端与数据清洗单元的输入端相连接，所述数据清洗单元的输出端分别与数据存储单元和数据转换单元的输入端相连接，所述数据转换单元的输出端分别与数据存储单元和异常检测单元的输入端相连接，所述异常检测单元的输出端分别与故障可视化单元、数据存储单元和故障分析单元的输入端相连接，所述故障分析单元的输出端分别与系统评估单元和数据存储单元的输入端相连接，所述系统评估单元的输出端分别与故障可视化单元和数据存储单元的输入端相连接。
6.根据权利要求3所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述数据转换单元的输出端与时间特征模块的输入端相连接，所述时间特征模块的输出端与模式特征模块的输入端相连接，所述模式特征模块的输出端与密度特征模块的输入端相连接，所述密度特征模块的输出端分别与特征种类模块和关键日志模块的输入端相连接，所述关键日志模块的输出端与日志等级模块的的输入端相连接，所述日志等级模块的输出端与特征种类模块的输入端相连接，所述特征种类模块的输出端分别与数据存储单元、故障可视化单元和系统评估单元的输入端相连接。
7.根据权利要求4所述的一种基于大数据技术的电信故障排除系统，其特征在于，所述异常检测单元的输出端与日志分析模块的输入端相连接，所述日志分析模块的输出端与配置分析模块的输入端相连接，所述配置分析模块的输出端与KPI分析模块的输入端相连接，所述KPI分析模块的输出端与告警分析模块的输入端相连接，所述告警分析模块的输出端分别与数据存储单元和系统评估单元的输入端相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822076.1A CN116760691A (zh) | 2023-07-06 | 2023-07-06 | 一种基于大数据技术的电信故障排除系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310822076.1A CN116760691A (zh) | 2023-07-06 | 2023-07-06 | 一种基于大数据技术的电信故障排除系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116760691A true CN116760691A (zh) | 2023-09-15 |
Family
ID=87955124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310822076.1A Pending CN116760691A (zh) | 2023-07-06 | 2023-07-06 | 一种基于大数据技术的电信故障排除系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760691A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020001642A1 (zh) * | 2018-06-28 | 2020-01-02 | 中兴通讯股份有限公司 | 一种运维系统及方法 |
| CN111552609A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 一种异常状态检测方法、系统、存储介质、程序、服务器 |
-
2023
- 2023-07-06 CN CN202310822076.1A patent/CN116760691A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020001642A1 (zh) * | 2018-06-28 | 2020-01-02 | 中兴通讯股份有限公司 | 一种运维系统及方法 |
| CN111552609A (zh) * | 2020-04-12 | 2020-08-18 | 西安电子科技大学 | 一种异常状态检测方法、系统、存储介质、程序、服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 朱永庆等: "利用大数据分析技术的智能化网络故障诊断系统", 电讯技术, vol. 58, no. 10, pages 1115 - 1120 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112162878B (zh) | 数据库故障发现方法、装置、电子设备及存储介质 | |
| CN101945009B (zh) | 基于案例和模式匹配的电力通信网故障定位方法及装置 | |
| US11265081B2 (en) | Method, apparatus and device for predicting fault of optical module | |
| CN111309565B (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
| CN108173670A (zh) | 检测网络的方法和装置 | |
| CN108964995A (zh) | 基于时间轴事件的日志关联分析方法 | |
| CN116820014B (zh) | 一种交通机电设备智能化监控预警方法及系统 | |
| CN110968061A (zh) | 设备故障的预警方法、装置、存储介质和计算机设备 | |
| CN115372816A (zh) | 基于数据分析的配电开关设备运行故障预测系统及方法 | |
| CN113392893A (zh) | 业务故障的定位方法、装置、存储介质及计算机程序产品 | |
| CN117289085A (zh) | 一种多线路故障分析诊断方法及系统 | |
| CN113740666B (zh) | 一种数据中心电力系统告警风暴根源故障的定位方法 | |
| CN114726740A (zh) | 台区拓扑识别方法、系统及智能融合终端 | |
| CN113676343B (zh) | 电力通信网故障源定位方法及装置 | |
| CN112965990A (zh) | 低压联络柜故障解决方案生成方法、装置 | |
| CN116760691A (zh) | 一种基于大数据技术的电信故障排除系统 | |
| CN113159517A (zh) | 一种三维可视化电网运行数据分析系统 | |
| CN116595353A (zh) | 一种调相机远程故障诊断及智能决策系统 | |
| CN113328898B (zh) | 一种具有自主学习能力的故障诊断方法和系统 | |
| CN115833935A (zh) | 基于决策树的电力光传输系统故障定位方法及系统 | |
| CN112737120B (zh) | 区域电网控制报告的生成方法、装置和计算机设备 | |
| CN113407520A (zh) | 一种基于机器学习的电力网络安全数据清洗系统及方法 | |
| CN111597068A (zh) | 一种it运维管理方法及it运维管理装置 | |
| CN114297255B (zh) | 一种基于日志分析的网络品质工单故障预警方法 | |
| CN114745256B (zh) | 一种服务器报警溯源方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |