CN117278383A - 一种物联网故障排查方案生成系统及方法 - Google Patents
一种物联网故障排查方案生成系统及方法 Download PDFInfo
- Publication number
- CN117278383A CN117278383A CN202311549248.9A CN202311549248A CN117278383A CN 117278383 A CN117278383 A CN 117278383A CN 202311549248 A CN202311549248 A CN 202311549248A CN 117278383 A CN117278383 A CN 117278383A
- Authority
- CN
- China
- Prior art keywords
- fault
- data
- generating
- decision tree
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000011835 investigation Methods 0.000 title claims description 57
- 238000003066 decision tree Methods 0.000 claims abstract description 120
- 238000013024 troubleshooting Methods 0.000 claims abstract description 66
- 238000012423 maintenance Methods 0.000 claims abstract description 52
- 238000005065 mining Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000007418 data mining Methods 0.000 claims abstract description 15
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 238000013480 data collection Methods 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005192 partition Methods 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000006855 networking Effects 0.000 claims description 5
- 238000000547 structure data Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 34
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/0636—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis based on a decision tree analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及故障检测技术领域,具体公开了一种物联网故障排查方案生成系统及方法,所述系统包括:数据收集模块用于收集运维日志数据;数据挖掘模块用于对收集到的运维日志数据进行清洗,并将对清洗后的运维日志数据通过文本挖掘生成故障标签模型生成模块用于根据故障标签,通过预设的决策树算法生成故障决策树;模型应用模块用于对物联网设备故障进行监测,当监测到出现故障后,通过故障决策树生成故障排查方案。本申请通过历史的故障排查数据借助数据挖掘的方式来对物联网设备出现故障原由进行分析建模,并以决策树的形式来生成故障排查方案,可更加方便运维人员进行故障排查和检修。
Description
技术领域
本申请涉及故障检测技术领域,尤其涉及一种物联网故障排查方案生成系统及方法。
背景技术
为了维持物联网设备稳定运行,通常会对物联网设备的故障进行监测,当出现故障时会根据发生的故障设备来进行故障排查以确认故障发生原因,但现有的对故障进行排查通常只会将与故障设备相关联的故障发生原因都进行罗列,然后再逐一进行排查,这种排查方式并没有一个固定的章程,有一定的偶然性,容易额外增加排查的节点数量,使得排查的效率降低。
发明内容
本申请的目的是提供一种物联网故障排查方案生成系统及方法,可以形成一套完整的故障排查流程,并以历史故障排查数据作为支撑,使得生成的排查方案更合理。
第一方面,本申请提供一种物联网故障排查方案生成系统,所述系统包括数据收集模块、数据挖掘模块、模型生成模块以及模型应用模块;
所述数据收集模块用于收集运维日志数据;
所述数据挖掘模块用于对收集到的运维日志数据进行清洗,并将清洗后的运维日志数据通过文本挖掘生成故障标签;
所述模型生成模块用于根据故障标签,通过预设的决策树算法生成故障决策树;
所述模型应用模块用于对物联网设备故障进行监测,当监测到出现故障后,通过故障决策树生成故障排查方案。
通过上述技术方案,通过历史的故障排查数据借助数据挖掘的方式来对设备出现故障的故障类型进行建模,并以决策树的形式来生成故障排查方案,可更加方便运维人员进行故障排查和检修。
可选的,所述数据挖掘模块包括数据清洗模块和文本挖掘模块;
所述数据清洗模块用于去除运维日志数据中与设备维修无关的数据,以及按照预设物联网设备对日志数据进行划分,分别对各个物联网设备生成对应的运维数据集合;
所述文本挖掘模块用于以运维数据集合作为数据源,通过文本挖掘对各个物联网设备分别生成对应的故障标签。
可选的,所述文本挖掘模块包括文本分词单元、文本特征提取单元以及标签生成单元;
所述文本分词单元用于通过预设的分词工具对数据源进行分词以及去停用词;
所述文本特性提取单元用于对分词结果通过预设的方法进行文本特征提取,以生成词向量;
所述标签生成单元用于根据词向量通过预设的文本分类模型生成故障标签。
可选的,所述故障标签包括故障的类型和故障数量,所述模型生成模块包括数据关联模块和决策树生成模块;
所述数据关联模块用于根据故障的类型,通过预设的物联网结构数据构建故障关联网,所述故障关联网表征为每个类型的故障与其它故障的关联程度;
所述决策树生成模块用于根据故障类型和故障数量以及故障关联网,生成故障决策树。
可选的,所述故障标签还包括故障编号和检测手段,所述决策树生成模块包括节点优选单元、决策树生成单元以及决策树修正单元;
所述节点优选单元用于根据故障类型和故障数量通过预设的决策树算法得到划分节点序列;
所述决策树生成单元用于根据划分节点序列,以故障编号来生成初始决策树;
所述决策树修正单元用于根据故障关联网对初始决策树进行修正,并对每个节点根据故障编号添加对应的检测手段,以形成故障决策树。
可选的,所述系统还包括方案更新模块;
所述方案更新模块用于当完成一轮故障排查并获取新的排查数据之后,根据排查数据提取故障标签,并根据故障标签对故障决策树进行更新调整。
第二方面,本申请提供一种物联网故障排查方案生成方法,包括如下步骤:
获取运维日志数据;
对运维日志数据进行数据清洗,以获取各个预设故障设备的数据源;
对各个设备的数据源分别通过文本挖掘,以生成对应的故障标签;
对各个设备的故障标签通过预设的方法生成对应的故障决策树;
对物联网设备进行监测,当监测到出现设备故障后,根据发生故障的设备,通过故障决策树获取对应的故障排查方案。
可选的,所述对各个设备的故障标签通过预设的方法生成对应的故障决策树,包括:
根据故障标签通过预设物联网结构数据生成故障关联网;
根据故障标签通过预设的决策树算法生成初始决策树;
通过故障关联网对初始故障树进行修正以生成故障决策树。
可选的,根据发生故障的设备通过故障决策树获取对应的故障排查方案之后,还包括:
根据当前的故障排查方案进行故障排查,并实时获取故障排查记录;
当完成故障排查之后,根据获取的故障排查记录生成故障便签,并存储在预设的数据库中;
当数据库中的故障标签数量达到预设阈值时,根据数据中的故障标签对故障排查方案进行更新调整。
第三方面,本申请提供一种计算机可读存储介质,存储有能够被处理器加载并执行上述一种物联网故障排查方案生成方法的计算机程序。
综上所述,首先,根据运维人员历史运维日志进行数据挖掘,为各个物联网设备均生成有对应的故障排查方案,不仅能够指导排查人员进行排查检修,而且一定程度能降低排查节点的数量,从而提升排查效率并降低排查成本;另外,在生成排查方案的过程中还考虑到每个物联网设备出现故障的多个故障类型存在着相互关联,并以此来对故障排查方案进行调整,使得排查流程更加合理,同时方便针对具体故障进行追根溯源。
附图说明
图1是本申请实施例所提供的一种物联网故障排查方案生成系统的示意图;
图2是本申请实施例所提供的数据挖掘模块的示意图;
图3是本申请实施例所提供的文本挖掘模块的示意图;
图4是本申请实施例所提供的模型生成模块的示意图;
图5是本申请实施例所提供的决策树生成模块的示意图;
图6是本申请实施例所提供的对摄像机设备生成的故障决策树示意图;
图7是本申请实施例所提供的一种物联网故障排查方案生成方法的流程图。
具体实施方式
以下结合附图1-附图7,对本申请作进一步详细说明。
本申请提供一种物联网故障排查方案生成系统,参见图1,系统包括数据收集模块10、数据挖掘模块20、模型生成模块30以及模型应用模块40。
其中,数据收集模块10用于收集运维日志数据。
数据挖掘模块20用于对收集到的运维日志数据进行清洗,并将清洗后的运维日志数据通过文本挖掘生成故障标签。
模型生成模块30用于根据故障标签,通过预设的决策树算法生成故障决策树。
模型应用模块40用于对物联网设备故障进行监测,当监测到出现故障后,通过故障决策树生成故障排查方案。
其中,运维日志数据包括但不局限于运维人员通过APP或者PC浏览器系统进行运维日志填写所得到的数据,因为通常运维人员对每种故障进行排查之后为对每个故障填写故障说明和故障对应的检测方法,并将填写内容以文本方式保存在数据库中,由此,获取运维日志数据实际上就是从数据库中获取运维人员填写的排查内容,其中主要包括故障排查数据和故障维修数据。
故障标签包括故障编号、故障类型、故障数量以及检测手段,所谓的故障类型则是物联网设备中存在的一些故障,并且对于每个物联网设备都会关联有相应的故障类型,也就是某一物联网设备出现问题时,其原由便在于其关联的故障类型中,例如,物联网设备摄像机出现异常,造成其异常的原因,也就是其关联的故障类型为死机、断电、光纤问题、电源问题、光猫问题、跳闸、光端机、网线问题、网络问题、交换机、水晶头、老化损坏、网口问题、视频头问题、网桥问题、电压问题。
所谓的故障编号则是对各种故障类型的符号标识,例如,死机-->T1、断电-->T2、光纤问题-->T3、电源问题-->T4、光猫问题-->T5、跳闸-->T6、光端机-->T7、网线问题-->T8、网络问题-->T9、交换机-->T10、水晶头-->T11、老化损坏-->T12、网口问题-->T13、视频头问题-->T14、网桥问题-->T15、电压问题-->T16。
故障数量则是各类型故障出现的次数;检测手段则是出现故障之后,进行排查的方式,对于每类故障,都会有对应的检测手段,例如,死机对应的检测手段为重启;断电对应的检测手段为检查电源。
由于当物联网设备出现异常后,为了尽快确定异常出现的原因,便会进行相应的排查,通常都会根据该设备关联的故障类型来依次进行排查,以确定究竟是何种故障导致了该设备出现异常,这时就存在一个排查顺序的问题,如果是随机进行排查,排次的次数便不确定,可能会出现所有的关联故障类型都排查一遍才能确定设备异常真实原因,如此便会降低排查的效率,同时也会额外增加排查成本,所以需要探寻一定的规律,将经验进行数据化,即设定一套完整的故障排查规程,以尽力减少排查的次数。
因此,在本申请实施例中,会通过历史排查数据来进行建模,以此来建立一套完整的故障排查流程。
首先,会通过数据收集模块10来收集运维日志数据,也就是历史排查记录,每次进行故障排查时,都会进行记录,并以运维日志来进行存储,从运维日志数据中会看到排查人员针对各种物联网设备异常进行排查的具体过程,比如进行了哪些故障类型的排查、每种故障类型进行排查的手段是什么、排查的结果如何以及最后确定的故障类型。
由于收集到的运维日志数据主要是以文本的形成存在,所以要根据运维日志数据来进行建模,需要从这些文本数据中抽取有效的信息,也就是需要进行文本数据的挖掘。
因此,会通过数据挖掘模块20来对收集到的运维日志数据进行清洗,并将清洗后的运维日志数据通过文本挖掘生成故障标签。
具体地,参加图2,数据挖掘模块20包括数据清洗模块21和文本挖掘模块22。
其中,数据清洗模块21用于去除运维日志数据中与设备维修无关的数据,以及按照预设物联网设备对日志数据进行划分,分别对各个物联网设备生成对应的运维数据集合。
文本挖掘模块22用于以运维数据集合作为数据源,通过文本挖掘对各个物联网设备分别生成对应的故障标签。
在进行文本挖掘之前通常都会进行数据清洗,主要是去除一些运维日志数据中与设备排查维修无关的数据,以此来方便进行有效信息的抽取。
另外,由于各个物联网设备所关联的故障类型会有差异,所以需要对各个物联网设备分别生成故障排查方案,因此,会按照预设物联网设备来对日志数据进行划分,因为日志数据其实可看成是一个表格信息,通过数据库来承载之后,可以根据表格中的字段来对表格进行划分,再将划分后的日志数据,添加到与对应物联网设备关联的数据集合中,如此便可对各个物联网设备分别生成对应的运维数据集合。
完成数据清洗之后,便可开始进行文本挖掘,即通过文本挖掘模块22 将各个运维数据集合作为数据源,通过文本挖掘对各个物联网设备分别生成对应的故障标签。
上述中有提到,故障标签包括故障编号,故障类型,故障次数,以及检测手段,其中故障编号和故障类型是预先设定有的,而检测手段基本是与故障类型是对应的,也是预先设定有的,只是每次进行排查时,出现的故障类型和故障次数是不定的,所以,进行文件挖掘的目的主要在于获取每次进行运维时,参与排查的故障类型以及在历史数据记录中出现的频次,因此,文本挖掘的目标关键词也就会围绕故障标签来进行确定。
具体地,参见图3,文本挖掘模块22包括文本分词单元221、文本特征提取单元222以及标签生成单元223。
其中,文本分词单元221用于通过预设的分词工具对数据源进行分词以及去停用词。
文本特性提取单元222用于对分词结果通过预设的方法进行文本特征提取,以生成词向量。
标签生成单元223用于根据词向量通过预设的文本分类模型生成故障标签。
首先,会通过文本分词单元221来进行分词,主要是借助了相应的分词工具,例如jieba分词,分词完成之后还会去停用词,主要通过停用词字典对一些频率比较高的、没有什么实际含义的词汇进行剔除。
在完成分词之后,接着会通过文本特性提取单元222来根据分词结果通过预设的方法进行文本特征提取,以生成词向量,这里的预设的方法表示的常用的文本特征提取方法,例如基于词嵌入的word2vec方法,主要通过双层神经网络,经过训练后可为单词生成一个向量空间,为每个单词都分配一个向量,也就是词向量。
所谓的词向量实际就是把单词进行数字化表示,例如,使用最原始的one-hot编码,可得到初始的词向量,首先根据分词结果可以形成一个词典,以词典中单词的数目作为向量的维度,也就是词向量长度,每个向量只有一个维度是1,表示该单词在词典的位置,其余维度全部为0,比如,单词“故障”在词典中的位置为1,则单词“故障”经过one-hot编码后的初始词向量为[1,0,0,...,0],而基于词嵌入的word2vec方法则是以初始词向量作为输入,通过卷积神经网络来对初始词向量进行降维,并添加语义关联表示,以生成最后的词向量。
最后通过标签生成单元223根据词向量通过预设的文本分类模型生成故障标签,这里的文本分类模式表示的预设训练好的文本分类模型,以词向量来作为数据输入,根据预先设定的目标关键词来进行分类,再对关键词进行次数统计,如此便可得到故障标签。
在获取了故障标签之后,便可对故障标签进行相应的统计,如此可更清楚地看出各个物联网设备下,各种故障类型出现的频率以及各种故障类型之间潜在的关联,因为目的是希望构建一套完成的排查逻辑,实际上也就是排查的顺序问题,并期望能尽量减少故障排查的次数。
因此,在本申请实施例中,会通过模型生成模块30来根据故障标签,通过预设的决策树算法生成故障决策树,即以决策树来作为数据架构,对故障标签进行建模,以此来生成故障排查方案。
具体地,参见图4,模型生成模块30包括数据关联模块31和决策树生成模块32。
其中,数据关联模块31用于根据故障的类型,通过预设的物联网结构数据构建故障关联网。
决策树生成模块32用于根据故障类型和故障数量以及故障关联网,生成故障决策树。
其中,故障关联网表征为每个类型的故障与其它故障的关联程度,因为物联网设备的正常运转是有完整的数据通讯或者传输逻辑的,以每个物联网设备为中心都可看作构建一个关联网,其上各个网络节点则相当于与之关联的各种故障类型,每类故障都会导致该设备出现异常,并且各类故障之间也可能会存在一定的关联,例如对于摄像机设备而言,与之关联的故障中,网络问题与网线问题相关,网线出现问题会导致网络出现问题,但反过来,却不一定,即网络出现问题并不会导致网线出现问题,所以这两者是一个单向的关系,因此,这里的故障关联网实际上就是将有向图以图表数据形式进行呈现。
由于对故障进行排查,如果是随机进行的话,除了容易额外增加排查的次数外,还容易产生误导,因为各种故障之间可能也存在一定的关联,例如,故障类型为网络问题,当经过排查确认是网络问题后,那排查便结束了,但实际上,网络问题出现的原因还可能是网线或者交换机等硬件的问题,也就是实际上确认故障类型是网络问题后,排查并没有结束,所以在设定排查的方案时,需要将各种故障之间的关联也纳入考量,以此来确定故障的真实原由。
因此,在本申请实施例中,会先通过数据关联模块31来根据故障的类型,通过预设的物联网结构数据构建故障关联网,这里的预设物联网结构数据,也就是上述中提到的有向图,根据故障类型,通过相应的有向图可以进行数据转化,即根据各类故障的关联指向可以生成故障关联网。
在构建好故障关联网之后,便可通过决策树生成模块32根据故障类型和故障数量以及故障关联网,生成故障决策树。
具体地,参见图5,决策树生成模块32包括节点优选单元321、决策树生成单元322以及决策树修正单元323。
其中,节点优选单元321用于根据故障类型和故障数量通过预设的决策树算法得到划分节点序列。
决策树生成单元322用于根据划分节点序列,以故障编号来生成初始决策树。
决策树修正单元323用于根据故障关联网对初始决策树进行修正,并对每个节点根据故障编号添加对应的检测手段,以形成故障决策树。
在本申请实施例中,生成故障决策树主要分为三步,第一步就是常规的特征选取,或者说选取节点来进行分支,所谓的节点实际上就是各种类型的故障,然后以故障类型和故障出现的次数来作为数据输入,借助预设的决策树算法,例如使用比较传统的C4.5算法,通过递归迭代即可依次选取划分节点,即首先会通过节点优选单元321根据故障类型和故障数量通过预设的决策树算法得到划分节点序列。
第二步则是根据选取的划分节点来生成决策树,即通过决策树生成单元322根据划分节点序列,以故障编号来生成初始决策树,也就是根据划分节点序列,以故障编号来作为节点代入形式,先获取决策树的根节点,再在根节点的基础上继续选择下一个节点,以此类推,便可得到一颗决策树,也就是初始决策树。
第三步则是对生成初始决策树进行修正,即通过决策树修正单元323根据故障关联网对初始决策树进行修正,不同于对决策树进行全局优化的树剪枝,这里主要是额外增加一套规则,通过故障关联网来对整个决策树赋予物理层面上的逻辑关联,即对于故障关联网中的单向指向关系,会优先以上下层节点来进行分布;对于多个故障对单个故障的指向关系,会优先以同一层的分支节点进行分布。
例如,上述例子中对于摄像机,其下故障网络问题、电源问题和光纤问题,这三者在故障关联网中的关联指向为电源问题-->网络问题,光纤问题-->网络问题,即网络问题出现的原因可能为电源问题也可能为光纤问题,所以在构建决策树,会优先将网络节点进行划分,分别生成两个分支。
在生成决策树之后,还会对每个节点根据故障编号添加对应的检测手段,如此决策树便相当于一套完整的故障排查流程,故将生成的决策树记为故障决策树,例如,上述中提到的物联网设备摄像机,最后生成的故障决策树,可参见图6。
有了故障决策树之后,便可通过模型应用模块40来对物联网设备故障进行监测,当监测到出现故障后,通过故障决策树生成故障排查方案。
由于对故障决策树的生成更多地还是历史排查数据为依据,故随着故障决策树的投入使用,还会不断地积累排查数据,因此,为了能让故障排查树更加地准确化,还会对故障排查树进行更新。
因此,在本申请实施例中,系统还包括方案更新模块50。
具体地,方案更新模块50用于当完成一轮故障排查并获取新的排查数据之后,根据排查数据提取故障标签,并根据故障标签对故障决策树进行更新调整,当然并非要一定每完成一轮故障排查后都进行一次更新,只是会对故障排查数据进行积累,并与对应的物联网设备进行关联存储,当数据新增量达到一定程度后,再进行更新,这样随着不断地学习调整,会使得生成的故障排查树更加贴合实际使用需求,从而提升故障排查效率。
本申请实施例还提供了一种物联网故障排查方案生成方法,参见图7,包括如下步骤:
S100、获取运维日志数据。
S200、对运维日志数据进行数据清洗,以获取各个预设故障设备的数据源。
S300、对各个设备的数据源分别通过文本挖掘,以生成对应的故障标签。
S400、对各个设备的故障标签通过预设的方法生成对应的故障决策树。
S500、对物联网设备进行监测,当监测到出现设备故障后,根据发生故障的设备,通过故障决策树 获取对应的故障排查方案。
首先,会获取运维日志数据,运维日志数据中包含有各种物联网设备的故障排查数据,然后对运维日志数据清洗,一方面可以去除一些运维日志数据中与设备排查维修无关的数据,另一方面还会对数据进行划分,以获取对各个物联网设备的故障排查数据,并分别作为各个物联网设备的数据源。
接着便对各个设备的数据源分别通过文本挖掘,以生成对应的故障标签,然后根据数据标签便可荣光预设的方法生成故障决策树。
具体地,对各个设备的故障标签通过预设的方法生成对应的故障决策树,包括如下步骤:
S310、根据故障标签通过预设物联网结构数据生成故障关联网。
S320、根据故障标签通过预设的决策树算法生成初始决策树。
S330、通过故障关联网对初始故障树进行修正以生成故障决策树。
在本申请实施例中,对应故障决策树的生成主要会根据历史排查数据也就是得到的故障标签来入手,另外,考虑到各种故障之间可能存在的关联,所以在生成故障树之前,首先会通过预设的故障物联网结构数据来依据故障类型生成故障关联网,用来表征各个物联网设备所关联的故障类型之间的关联。
然后,便是常规的决策树生成,先以故障标签中故障类型和故障树数量来作为数据输入,再通过预设决策树算法,通过递归迭代计算依次选取划分节点,根据选取的划分节点,以故障编号作为节点标签来生成初始决策树,也就是初始决策树。
接着根据故障关联网对初始决策树进行修正,故障关联网来对整个决策树赋予物理层面上的逻辑关联,从而来对生成的决策树进行调整。
有了故障决策树之后,当监测到有物联网设备出现故障后,根据故障设备通过对应的故障决策树便可生成故障排查方案。
由于对故障决策树的生成更多地还是历史排查数据为依据,故随着故障决策树的投入使用,还会不断地积累排查数据,所以,为了能让故障排查树更加地准确化,或者说能更加贴合实际使用需求,所以还会对故障排查树进行不断地更新调整。
因此,在本申请实施例中,根据发生故障的设备通过故障决策树获取对应的故障排查方案之后,还包括如下步骤:
S610、根据当前的故障排查方案进行故障排查,并实时获取故障排查记录。
S620、当完成故障排查之后,根据获取的故障排查记录生成故障便签,并存储在预设的数据库中。
S630、当数据库中的故障标签数量达到预设阈值时,根据数据中的故障标签对故障排查方案进行更新调整。
在本申请实施例中,在获取到故障排查树之后,便可根据故障排查树来按部就班地进行排查,整个排查流程会十分清晰明了,并且在每次排查完成之后,都会获取排查记录,并且根据排查方案进行排查获取的排查记录,可直接形成故障标签,不再需要额外进行数据清洗和文本挖掘等工作,所以可以将获取的故障排查记录进行相应的数据格式转化,以形成故障标签,并将新得到的故障标签存入到预设的数据库中。
当预设数据库中的新增故障标签数据达到一定程度,便可根据新增的故障标签与原先已有的故障标签进行融合,然后重新生成故障决策树。
本申请实施例还提供一种计算机可读存储介质,存储有能够被处理器加载并执行上述任一种物联网故障排查方案生成方法的计算机程序。
本具体实施方式的实施例均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的原理所做的等效变化,均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种物联网故障排查方案生成系统,其特征在于,所述系统包括数据收集模块、数据挖掘模块、模型生成模块以及模型应用模块;
所述数据收集模块用于收集运维日志数据;
所述数据挖掘模块用于对收集到的运维日志数据进行清洗,并将清洗后的运维日志数据通过文本挖掘生成故障标签;
所述模型生成模块用于根据故障标签,通过预设的决策树算法生成故障决策树;
所述模型应用模块用于对物联网设备故障进行监测,当监测到出现故障后,通过故障决策树生成故障排查方案。
2.根据权利要求1所述的一种物联网故障排查方案生成系统,其特征在于,所述数据挖掘模块包括数据清洗模块和文本挖掘模块;
所述数据清洗模块用于去除运维日志数据中与设备维修无关的数据,以及按照预设物联网设备对日志数据进行划分,分别对各个物联网设备生成对应的运维数据集合;
所述文本挖掘模块用于以运维数据集合作为数据源,通过文本挖掘对各个物联网设备分别生成对应的故障标签。
3.根据权利要求2所述的一种物联网故障排查方案生成系统,其特征在于,所述文本挖掘模块包括文本分词单元、文本特征提取单元以及标签生成单元;
所述文本分词单元用于通过预设的分词工具对数据源进行分词以及去停用词;
所述文本特性提取单元用于对分词结果通过预设的方法进行文本特征提取,以生成词向量;
所述标签生成单元用于根据词向量通过预设的文本分类模型生成故障标签。
4.根据权利要求1所述的一种物联网故障排查方案生成系统,其特征在于,所述故障标签包括故障的类型和故障数量,所述模型生成模块包括数据关联模块和决策树生成模块;
所述数据关联模块用于根据故障的类型,通过预设的物联网结构数据构建故障关联网,所述故障关联网表征为每个类型的故障与其它故障的关联程度;
所述决策树生成模块用于根据故障类型和故障数量以及故障关联网,生成故障决策树。
5.根据权利要求4所述的一种物联网故障排查方案生成系统,其特征在于,所述故障标签还包括故障编号和检测手段,所述决策树生成模块包括节点优选单元、决策树生成单元以及决策树修正单元;
所述节点优选单元用于根据故障类型和故障数量通过预设的决策树算法得到划分节点序列;
所述决策树生成单元用于根据划分节点序列,以故障编号来生成初始决策树;
所述决策树修正单元用于根据故障关联网对初始决策树进行修正,并对每个节点根据故障编号添加对应的检测手段,以形成故障决策树。
6.根据权利要求1所述的一种物联网故障排查方案生成系统,其特征在于,所述系统还包括方案更新模块;
所述方案更新模块用于当完成一轮故障排查并获取新的排查数据之后,根据排查数据提取故障标签,并根据故障标签对故障决策树进行更新调整。
7.一种物联网故障排查方案生成方法,其特征在于,包括:
获取运维日志数据;
对运维日志数据进行数据清洗,以获取各个预设故障设备的数据源;
对各个设备的数据源分别通过文本挖掘,以生成对应的故障标签;
对各个设备的故障标签通过预设的方法生成对应的故障决策树;
对物联网设备进行监测,当监测到出现设备故障后,根据发生故障的设备,通过故障决策树获取对应的故障排查方案。
8.根据权利要求7所述的一种物联网故障排查方案生成方法,其特征在于,所述对各个设备的故障标签通过预设的方法生成对应的故障决策树,包括:
根据故障标签通过预设物联网结构数据生成故障关联网;
根据故障标签通过预设的决策树算法生成初始决策树;
通过故障关联网对初始故障树进行修正以生成故障决策树。
9.根据权利要求7所述的一种物联网故障排查方案生成方法,其特征在于,根据发生故障的设备通过故障决策树获取对应的故障排查方案之后,还包括:
根据当前的故障排查方案进行故障排查,并实时获取故障排查记录;
当完成故障排查之后,根据获取的故障排查记录生成故障便签,并存储在预设的数据库中;
当数据库中的故障标签数量达到预设阈值时,根据数据中的故障标签对故障排查树进行更新调整。
10.一种计算机可读存储介质,存储有能够被处理器加载并执行如权利要求7至9任一项所述的一种物联网故障排查方案生成方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311549248.9A CN117278383B (zh) | 2023-11-21 | 2023-11-21 | 一种物联网故障排查方案生成系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311549248.9A CN117278383B (zh) | 2023-11-21 | 2023-11-21 | 一种物联网故障排查方案生成系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117278383A true CN117278383A (zh) | 2023-12-22 |
CN117278383B CN117278383B (zh) | 2024-02-20 |
Family
ID=89204715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311549248.9A Active CN117278383B (zh) | 2023-11-21 | 2023-11-21 | 一种物联网故障排查方案生成系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117278383B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679583A (zh) * | 2017-10-24 | 2018-02-09 | 四川长虹电器股份有限公司 | 基于大数据获取故障解决方案的方法 |
CN108154244A (zh) * | 2018-01-24 | 2018-06-12 | 南京天溯自动化控制系统有限公司 | 地产电力设备的运维方法、装置和系统 |
CN109218114A (zh) * | 2018-11-12 | 2019-01-15 | 西安微电子技术研究所 | 一种基于决策树的服务器故障自动检测系统及检测方法 |
CN109490704A (zh) * | 2018-10-16 | 2019-03-19 | 河海大学 | 一种基于随机森林算法的配电网故障区段定位方法 |
CN109634828A (zh) * | 2018-12-17 | 2019-04-16 | 浪潮电子信息产业股份有限公司 | 故障预测方法、装置、设备及存储介质 |
CN109684447A (zh) * | 2018-12-13 | 2019-04-26 | 贵州电网有限责任公司 | 一种基于文本挖掘的电网调度运行日志故障信息分析方法 |
WO2019169743A1 (zh) * | 2018-03-09 | 2019-09-12 | 网宿科技股份有限公司 | 一种服务器故障的检测方法及系统 |
CN111338836A (zh) * | 2020-02-24 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 处理故障数据的方法、装置、计算机设备和存储介质 |
US20210303381A1 (en) * | 2020-03-31 | 2021-09-30 | Accenture Global Solutions Limited | System and method for automating fault detection in multi-tenant environments |
CN114095333A (zh) * | 2021-11-23 | 2022-02-25 | 天翼数字生活科技有限公司 | 一种网络排障方法、装置、设备及可读存储介质 |
CN115859191A (zh) * | 2022-11-22 | 2023-03-28 | 国网北京市电力公司 | 故障诊断方法、装置、计算机可读存储介质及计算机设备 |
CN116448161A (zh) * | 2022-09-28 | 2023-07-18 | 北京清环宜境技术有限公司 | 一种基于人工智能的环境监测设备故障诊断方法 |
-
2023
- 2023-11-21 CN CN202311549248.9A patent/CN117278383B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679583A (zh) * | 2017-10-24 | 2018-02-09 | 四川长虹电器股份有限公司 | 基于大数据获取故障解决方案的方法 |
CN108154244A (zh) * | 2018-01-24 | 2018-06-12 | 南京天溯自动化控制系统有限公司 | 地产电力设备的运维方法、装置和系统 |
WO2019169743A1 (zh) * | 2018-03-09 | 2019-09-12 | 网宿科技股份有限公司 | 一种服务器故障的检测方法及系统 |
CN109490704A (zh) * | 2018-10-16 | 2019-03-19 | 河海大学 | 一种基于随机森林算法的配电网故障区段定位方法 |
CN109218114A (zh) * | 2018-11-12 | 2019-01-15 | 西安微电子技术研究所 | 一种基于决策树的服务器故障自动检测系统及检测方法 |
CN109684447A (zh) * | 2018-12-13 | 2019-04-26 | 贵州电网有限责任公司 | 一种基于文本挖掘的电网调度运行日志故障信息分析方法 |
CN109634828A (zh) * | 2018-12-17 | 2019-04-16 | 浪潮电子信息产业股份有限公司 | 故障预测方法、装置、设备及存储介质 |
CN111338836A (zh) * | 2020-02-24 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 处理故障数据的方法、装置、计算机设备和存储介质 |
US20210303381A1 (en) * | 2020-03-31 | 2021-09-30 | Accenture Global Solutions Limited | System and method for automating fault detection in multi-tenant environments |
CN114095333A (zh) * | 2021-11-23 | 2022-02-25 | 天翼数字生活科技有限公司 | 一种网络排障方法、装置、设备及可读存储介质 |
CN116448161A (zh) * | 2022-09-28 | 2023-07-18 | 北京清环宜境技术有限公司 | 一种基于人工智能的环境监测设备故障诊断方法 |
CN115859191A (zh) * | 2022-11-22 | 2023-03-28 | 国网北京市电力公司 | 故障诊断方法、装置、计算机可读存储介质及计算机设备 |
Non-Patent Citations (2)
Title |
---|
刘家军;刘俊玲;杨瀚鹏;: "基于ID3决策树算法接触网检修方案的研究", 电气工程学报, no. 02 * |
宿忠娥;祁建宏;效迎春;: "数据挖掘技术在风力发电机组故障诊断中的应用与研究", 自动化与仪器仪表, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
CN117278383B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113282461B (zh) | 传输网的告警识别方法和装置 | |
CN112181758B (zh) | 一种基于网络拓扑及实时告警的故障根因定位方法 | |
CN110609759A (zh) | 一种故障根因分析的方法及装置 | |
CN102735485B (zh) | 挖掘机以及确定设备故障的方法、系统 | |
CN111930592A (zh) | 一种实时检测日志序列异常的方法和系统 | |
CN113590370B (zh) | 一种故障处理方法、装置、设备及存储介质 | |
CN109032872B (zh) | 基于贝叶斯网络的设备故障诊断方法及系统 | |
CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
CN113259176B (zh) | 一种告警事件分析方法和装置 | |
CN112579789A (zh) | 一种设备故障诊断的方法和装置及设备 | |
CN114648419B (zh) | 基于智慧变电站数字孪生系统知识图谱的创建和使用方法 | |
CN109582670B (zh) | 一种车辆维修方案的推荐方法及相关设备 | |
CN114647558A (zh) | 一种日志异常检测的方法和装置 | |
CN115297048B (zh) | 一种基于光纤网络的路由路径生成方法及装置 | |
CN116582414A (zh) | 故障根因定位方法、装置、设备及可读存储介质 | |
CN114547318A (zh) | 故障信息获取方法、装置、设备和计算机存储介质 | |
US10545465B2 (en) | System and method for selecting controllable parameters for equipment operation safety | |
CN117278383B (zh) | 一种物联网故障排查方案生成系统及方法 | |
CN114202206A (zh) | 系统异常根因分析方法及装置 | |
JP2018124829A (ja) | 状態判定装置、状態判定方法及びプログラム | |
CN117370303A (zh) | 一种生产线建模和分析方法及装置 | |
JP5099854B2 (ja) | 不整合オントロジーの修復方法とその装置 | |
CN111614520B (zh) | 一种基于机器学习算法的idc流量数据预测方法及装置 | |
CN116701652A (zh) | 一种基于机器学习的数据库智能运维系统及方法 | |
CN117135038A (zh) | 网络故障监测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |