CN116668262A - 一种通信业务质差定界定位的方法及装置 - Google Patents
一种通信业务质差定界定位的方法及装置 Download PDFInfo
- Publication number
- CN116668262A CN116668262A CN202310556658.XA CN202310556658A CN116668262A CN 116668262 A CN116668262 A CN 116668262A CN 202310556658 A CN202310556658 A CN 202310556658A CN 116668262 A CN116668262 A CN 116668262A
- Authority
- CN
- China
- Prior art keywords
- log
- alarm
- positioning
- data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004891 communication Methods 0.000 title claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims description 60
- 230000005856 abnormality Effects 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 21
- 230000002457 bidirectional effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明涉及一种通信业务质差定界定位的方法及装置，其方法通过实时接收、获取异常事件通知对应的时间戳和网元，采集窗口期内对应的日志数据和现网告警清单，基于日志异常定位模型和高关联告警定位模型，定位出日志异常点和高关联告警，并对高关联告警进一步进行判断，是否引入定界定位规则库对日志异常点和高关联告警进一步进行分析，从而获得质差定界定位结论。由此，本发明对异常事件通知进行质差定界定位时，不仅获取与之相关的日志数据还获取现网告警清单并且分别采用对应的定位模型定位出日志异常点和高关联告警，且对高关联告警进一步判断，引入定界定位规则库生成最终的质差定界定位结论，提高质差定界定位的准确性与全面性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种通信业务质差定界定位的方法及装置。
背景技术
通信网络的网络链路通常由基站、承载网、传输网、核心网等组成，交互设备众多，一旦网络出现告警或指标劣化等场景时，现有的网络运维技术是基于规则总结出异常业务的专家经验库，将收集到的告警数据和网元性能指标对应专家经验库中的规则特征和逻辑判断进行匹配查找，完成通信业务的质差分析定位，若在专家经验库中无法匹配得到质差定界定位结论，则需要运维人员根据告警信息，跨部门、跨系统地逐级排查网络链路上各疑似故障节点，最终确定发生告警的节点位置和根因。
但随着通信网络的不断升级和细化，网元也在不断新增、变更，通信业务质差问题的根因也越发复杂，当专家经验库无法给出结论时，单靠人为的分析问题、排查故障，易出现排查过程拖沓，无法快速恢复业务生产的问题，且当运维技术人员对于异常判断不明确的场景，需要跨部门跨系统逐级排查链路上各个节点是否畅通，系统越复杂，排查过程耗费的时间越久，花费的精力越多，整体效率低下。
发明内容
本发明所要解决的技术问题是：本发明提供一种通信业务质差定界定位的方法及装置，提高通信业务质差定界定位的效率。
为了解决上述技术问题，本发明采用的技术方案为：
第一方面，本发明提供一种通信业务质差定界定位的方法，包括：
实时接收异常事件通知，从所述异常事件通知中获取对应的时间戳和网元，根据所述时间戳和所述网元采集窗口期内与所述网元对应的日志数据，并根据所述时间戳采集窗口期内现网告警清单；
通过日志解析模型对所述日志数据进行解析，根据日志编码规则对解析后的日志数据中的每一条日志条目进行日志编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量，将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点；
根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量，将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警；
判断所述高关联告警是否为周边网元无异常，若是，则根据所述日志异常点，生成质差定界定位结论，否则，基于定界定位规则库对所述日志异常点和所述高关联告警进行定界定位分析，生成最终的质差定界定位结论。
本发明的有益效果在于，对异常事件通知进行质差定界定位时，不仅获取与之相关的日志数据还获取现网告警清单，扩大质差定界定位分析的数据基础，对于日志数据和现网告警清单采用不同的定位模型进行异常日志定位和高关联定位，且对于日志数据中的每一条日志条目和现网告警清单中每一条告警条目都进行分析，提高异常定位的准确性与全面性，并且对高关联告警会进一步进行判断，引入定界定位规则库生成最终的质差定界定位结论，提高质差定界定位结论的准确性，同时节约人力物力。
可选地，所述通过日志解析模型对所述日志数据进行解析之前包括：
通过对spell解析器的TAU参数进行寻优，得到最优TAU参数，将所述最优TAU参数代入spell解析器，生成改进型spell解析器；
采集预设时间内各类设备的第一历史日志数据，将所述第一历史日志数据以流方式依次输入所述改进型spell解析器，根据正则表达式依次对所述第一历史日志数据进行预处理，生成第二历史日志数据；
通过LCS算法依次构建所述第二历史日志数据的日志对象，并将所述日志对象输入日志列表；
基于所述改进型spell解析器和所述日志列表构建日志解析模型。
根据上述描述可知，日志解析模式是基于改进型spell解析器和日志列表构建的，改进型spell解析器是代入最优TAU参数的spell解析器，通过优化TAU参数能规避日志内容前半部分差异较大而后半部分附加信息较多且相似度高所导致的日志对象收敛问题，确保日志对象的区分度，采集各类设备的第一历史日志数据并以流方式输入改进型spell解析器，不仅扩大解析的数据量也拓宽解析的维度，且以流方式一边读取一边处理提高数据解析的效率，以LCS算法构建日志对象能规避以非结构化文本居多的日志所带来的系列问题。
可选地，所述通过LCS算法依次构建所述第二历史日志数据的日志对象，并将所述日志对象输入日志列表包括：
获取现有日志列表中所有日志对象，计算所述第二历史日志数据的token序列与所有所述日志对象的LCS，若存在一个LCS长度最长且满足阈值，则将所述第二历史日志数据归属至对应的日志对象中，否则，将所述第二历史日志数据作为新的日志对象输入日志列表。
根据上述描述可知，在对第二历史日志数据构建日志对象时，会计算其token序列将其与现有日志列表中所有日志对象的LCS进行比较，从而判断第二历史日志数据是否存在对应的日志对象，避免对同属于一个日志对象的数据进行重复操作，浪费资源。
可选地，所述根据日志编码规则对解析后的日志数据中的每一条日志条目进行编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量包括：
按照所述日志数据的日志ID对解析后的日志数据中的每一条日志条目进行one-hot日志编码，生成已编码日志数据；
通过滑动窗口机制按照预设窗口比例对所述已编码日志数据进行分解，生成日志序列数据，基于所述日志序列数据构建日志特征向量。
根据上述描述可知，将日志数据按照日志ID进行one-hot日志编码，实现将日志数据文本信息转换为以数字为特征的数据向量信息，并针对日志序列数据构建日志特征向量，便于后续输入日志异常定位模型。
可选地，所述将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点包括：
采集预设时间内的历史日志数据，对所述历史日志数据进行异常日志过滤处理，得到历史正常日志数据；
将所述历史正常日志数据输入双向LSTM模型进行训练，生成日志异常定位模型；
将所述日志特征向量输入所述日志异常定位模型进行日志异常定位，输出日志异常点。
根据上述描述可知，日志异常定位模型是基于双向LSTM模型生成的，提高日志异常定位模型的性能，并且以历史正常日志数据对双向LSTM模型进行训练，使得双向LSTM模型具有日志异常定位的能力，从而实现将日志特征向量输入其中能输出日志异常点。
可选地，所述根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量包括：
根据所述现网告警清单中每一条告警条目的ID和对应的网元类别对所述现网告警清单中每一条告警条目进行one-hot告警编码，生成已编码告警数据；
通过滑动窗口机制按照预设窗口比列对所述已编码告警数据进行分解，生成告警序列数据，基于所述告警序列数据构建告警特征向量。
根据上述描述可知，将告警条目按照ID和对应的网元类别进行one-hot告警编码，使得告警条目文本信息转换为以数字为特征的数据向量信息，且避免了one-hot告警编码的维度过高问题，并针对告警序列数据构建告警特征向量，便于后续输入高关联告警定位模型。
可选地，所述将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警；包括：
采集预设时间内历史告警数据，将所述历史告警数据输入双向LSTM模型进行训练，生成高关联告警定位模型；
将所述告警特征向量输入所述高关联告警定位模型进行高关联定位，输出高关联告警。
根据上述描述可知，高关联告警定位模型是基于双向LSTM模型生成的，提高高关联告警定位模型的性能，并且以历史告警数据对双向LSTM模型进行训练，使得双向LSTM模型具有高关联告警定位的能力，从而实现将告警特征向量输入其中能输出高关联告警。
可选地，所述根据所述日志异常点，生成质差定界定位结论包括：
获取所述日志异常点对应的日志特征向量，对所述日志特征向量进行逆向日志编码，获得对应的日志ID，根据所述日志ID获取对应的原始日志条目；
根据所述原始日志条目，生成质差定界定位结论。
根据上述描述可知，对日志异常点会进行还原，从而得到原始日志条目，生成质差定界定位结论，便于运维人员快速查找定位。
可选地，还包括：
通过日志解析模型对所述日志数据进行解析，判断所述日志数据是否归属于日志列表中的日志对象，若是，则获取所述日志对象对应的标签，若所述标签为异常或疑似异常，则判断所述日志序列数据中是否存在异常日志条目，若存在，则判断所述异常日志条目是否有且只有一条，若是，则该异常日志条目为异常日志点，否则，将所述日志序列数据中第一条异常日志条目作为异常日志点。
根据上述描述可知，对于异常日志点的判断，还可以通过获取日志数据所属的日志对象的标签，根据标签判断日志序列数据中是否存在异常日志条目，从而定位异常日志点，使得对异常日志点的定位更加便捷。
第二方面，本发明提供一种通信业务质差定界定位的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的一种通信业务质差定界定位的方法。
其中，第二方面所提供的一种通信业务质差定界定位的装置所对应的技术效果参照第一方面所提供的一种通信业务质差定界定位的方法的相关描述。
附图说明
图1为本发明实施例所提供的一种通信业务质差定界定位的方法的流程图；
图2为本发明实施例所提供的一种通信业务质差定界定位的方法的整体流程示意图；
图3为本发明实施例所涉及的改进型spell解析器的改进效果图；
图4为本发明实施例所涉及的生成日志特征向量的流程示意图；
图5为本发明实施例所提供的一种通信业务质差定界定位的装置的结构示意图。
【附图标记说明】
1、一种通信业务质差定界定位装置；
2、处理器；
3、存储器。
具体实施方式
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
请参照图1至图4，本发明提供一种通信业务质差定界定位的方法，包括步骤：
S1、实时接收异常事件通知，从所述异常事件通知中获取对应的时间戳和网元，根据所述时间戳和所述网元采集窗口期内与所述网元对应的日志数据，并根据所述时间戳采集窗口期内现网告警清单；
在本实施例中，如图1至图2所示，实时接收异常事件通知，如异常告警、异常工单等，从接收到的异常事件通知中获取对应的时间戳和网元，根据获取到的时间戳和网元采集窗口期内与网元对应的日志数据，并根据时间戳采集窗口期内的现网告警清单，其中窗口期指异常事件通知的时间戳往前推算的时间窗口期，在本发明中，将窗口期设置为1分钟，即采集时间戳前1分钟内与网元对应的日志数据与现网告警清单，具体窗口期可以根据实际情况进行设置，其中日志数据和现网告警清单的数据来源包括但不限于网元、日志、各类告警的收集系统，现网告警清单中包括但不限于网元类型、告警类型。
S2、输出异常日志点；
在本实施例中，输出异常日志点的方法包括：
(1)通过日志异常定位模型进行日志异常定位，输出异常日志点：
S21、通过日志解析模型对所述日志数据进行解析，根据日志编码规则对解析后的日志数据中的每一条日志条目进行日志编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量，将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点；
在本实施例中，如图1至图4所示，通过日志解析模型对日志数据进行解析，在本发明中，解析后的日志数据会形成{日志对象，日志参数}的固定格式，并根据日志编码规则对解析后的日志数据中的每一条日志条目进行日志编码，生成日志序列数据，基于日志序列数据构建日志特征向量，将日志特征向量输入日志定位模型进行日常异常定位，输出日志异常点。
此时，步骤S21中所述通过日志解析模型对所述日志数据进行解析之前包括：
S211、通过对spell解析器的TAU参数进行寻优，得到最优TAU参数，将所述最优TAU参数代入spell解析器，生成改进型spell解析器；
在本实施例中，如图2至图3所示，对spell解析器的TAU参数进行寻优，得到最优TAU参数0.55，从而将最优TAU参数0.55代入spell解析器，生成改进型spell解析器。
S212、采集预设时间内各类设备的第一历史日志数据，将所述第一历史日志数据以流方式依次输入所述改进型spell解析器，根据正则表达式依次对所述第一历史日志数据进行预处理，生成第二历史日志数据；
在本实施例中，采集预设时间内各类设备的第一历史日志数据，如采集2个月内各类设备的第一历史日志数据，对于预设时间的设置可以根据具体情况进行调整，但至少要在1个月以上，将采集的第一历史日志数据以流方式即一边读取一边处理的方式以此输入改进型spell解析器，根据正则表达式依次对第一历史日志数据进行预处理，如替换日志中常规的可变字段内容，从而生成第二历史日志数据。
S213、通过LCS算法(LongestCommon Subsequence算法，最长公共子序列算法)依次构建所述第二历史日志数据的日志对象，并将所述日志对象输入日志列表；
在本实施例中，通过LCS算法依次构建第二历史日志数据的日志对象，并将日志对象输入日志列表。
此时，步骤S213包括：
S2131、获取现有日志列表中所有日志对象，计算所述第二历史日志数据的token序列与所有所述日志对象的LCS，若存在一个LCS长度最长且满足阈值，则将所述第二历史日志数据归属至对应的日志对象中，否则，将所述第二历史日志数据作为新的日志对象输入日志列表。
在本实施例中，在构建第二历史日志数据的日志对象时，会获取现有日志列表中所有日志对象，计算第二历史日志数据的token序列与所有日志对象的LCS，判断是否存在一个LCS长度最长且满足阈值，如果存在，则说明该第二历史日志数据属于该日志对象，将其归属到对应的日志对象中，否则，将第二历史日志数据作为新的日志对象输入日志列表。
S2132、基于所述改进型spell解析器和所述日志列表构建日志解析模型。
在本实施例中，日志解析模型是基于改进型spell解析器和日志列表构建的，如图3所示，采用改进型spell解析器的改进效果，提高日志模板的区分度，其中日志模板等同于本发明中的日志对象。
此时，步骤S21中所述根据日志编码规则对解析后的日志数据中的每一条日志条目进行编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量包括：
S214、按照所述日志数据的日志ID对解析后的日志数据中的每一条日志条目进行one-hot日志编码，生成已编码日志数据；
在本实施例中，如图4所示，按照日志ID对解析后的日志数据中的每一条日志条目进行one-hot日志编码，生成已编码日志数据。
S215、通过滑动窗口机制按照预设窗口比例对所述已编码日志数据进行分解，生成日志序列数据，基于所述日志序列数据构建日志特征向量。
在本实施例中，如图4所示，通过滑动窗口机制按照预设窗口比例对已编码日志数据进行分解，生成日志序列数据，再基于日志序列数据构建日志特征向量。
此时，步骤S21中所述将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点包括：
S216、采集预设时间内的历史日志数据，对所述历史日志数据进行异常日志过滤处理，得到历史正常日志数据；
在本实施例中，采集预设时间内的历史日志数据，如采集两个月内的历史日志数据，具体的时间可以根据实际情况进行调整，对采集到的历史日志数据会进行异常日志的过滤处理，从而得到历史正常日志数据。
S217、将所述历史正常日志数据输入双向LSTM模型进行训练，生成日志异常定位模型；
在本实施例中，将历史正常日志数据输入双向LSTM模型进行训练，双向LSTM模型包含正时间序列和负时间序列，在本发明中，应用双向LSTM模型的反向预测能力即搭建负时间序列的模型学习历史正常日志数据的特征，从而生成日志异常定位模型。
S218、将所述日志特征向量输入所述日志异常定位模型进行日志异常定位，输出日志异常点。
在本实施例中，将步骤S215生成的日志特征向量输入日常异常定位模型中进行日志异常定位，从而输出日志异常点。
(2)通过日志对象标签进行日志异常定位，输出日志异常点：
S22、通过日志解析模型对所述日志数据进行解析，判断所述日志数据是否归属于日志列表中的日志对象，若是，则获取所述日志对象对应的标签，若所述标签为异常或疑似异常，则判断所述日志序列数据中是否存在异常日志条目，若存在，则判断所述异常日志条目是否有且只有一条，若是，则该异常日志条目为异常日志点，否则，将所述日志序列数据中第一条异常日志条目作为异常日志点。
在本实施例中，通过日志解析模型对日志数据进行解析，判断日志数据是否属于日志列表中的日志对象，如果是，则获取该日志对象对应的标签，日志对象的标签是运维人员事先对日志列表中的日志对象进行标记的，判断获得的标签是否为异常或疑似异常，如果是异常或疑似异常，则判断日志序列数据中是否存在异常日志条目，如果存在，进一步判断异常日志条目的数量，如果有且只有一条，则该异常日志条目为异常日志点，否则，将日志序列数据中第一条日志条目作为异常日志点，其中日志对象的标签会进行更新，如根据获取到的准确性反馈进行更新、根据新的日志对象进行更新。
本实施例中的输出异常日志点的方法包括上述两种方法，在其他实施例中，可以包括其中的一种或者两种。
S3、根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量，将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警；
在本实施例中，如图1至图2所示，根据告警编码规则对现网告警清单中每一条告警条目进行告警编码，从而生成告警序列数据，基于告警序列数据构建告警特征向量，将告警特征向量输入高关联告警定位模型进行高关联定位，从而输出高关联告警。
此时，步骤S3中所述根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量包括：
S31、根据所述现网告警清单中每一条告警条目的ID和对应的网元类别对所述现网告警清单中每一条告警条目进行one-hot告警编码，生成已编码告警数据；
在本实施例中，按照每一条告警条目的ID和对应的网元类型对现网告警清单中每一条告警条目进行one-hot告警编码，从而生成已编码告警数据。
S32、通过滑动窗口机制按照预设窗口比列对所述已编码告警数据进行分解，生成告警序列数据，基于所述告警序列数据构建告警特征向量。
在本实施例中，通过滑动窗口机制按照预设窗口比例对步骤S31生成的已编码告警数据进行分解，生成告警序列数据，基于告警序列数据构建告警特征向量。
此时，步骤S3中所述将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警包括：
S33、采集预设时间内历史告警数据，将所述历史告警数据输入双向LSTM模型进行训练，生成高关联告警定位模型；
在本实施例中，采集预设时间内的历史告警数据，如采集两个月内的历史告警数据，具体的时间可以根据实际情况进行调整，将历史告警数据输入双向LSTM模型进行训练，双向LSTM模型包含正时间序列和负时间序列，在本发明中，应用双向LSTM模型的反向预测能力即搭建负时间序列的模型学习告警数据的关联特征，从而生成高关联告警定位模型。
S34、将所述告警特征向量输入所述高关联告警定位模型进行高关联定位，输出高关联告警。
在本实施例中，将步骤S32构建的告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警。
S4、判断所述高关联告警是否为周边网元无异常，若是，则根据所述日志异常点，生成质差定界定位结论，否则，基于定界定位规则库对所述日志异常点和所述高关联告警进行定界定位分析，生成最终的质差定界定位结论。
在本实施例中，如图1至图2所示，会对高关联告警进行进一步判断，判断高关联告警是否为周边网元无异常，如果是，则说明该网元本身存在异常，即根据日志异常点直接生成质差定界定位结论，反之，说明该网元的周边网元也存在异常，这时需要考虑是网元本身存在异常引发的故障还是与周边网元一起引发的共性故障，因此引入定界定位规则库，基于定界定位规则库对日志异常点和高关联告警进行定位分析，从而生成最终的质差定界定位结论，其中定界定位规则库是运维人员事先根据专家的历史经验构建的，且定界定位规则库会不断进行更新。
此时，步骤S4中所述根据所述日志异常点，生成质差定界定位结论包括：
S41、获取所述日志异常点对应的日志特征向量，对所述日志特征向量进行逆向日志编码，获得对应的日志ID，根据所述日志ID获取对应的原始日志条目；
S42、根据所述原始日志条目，生成质差定界定位结论。
在本实施例中，根据日志异常点获取对应的日志特征向量，并对日志特征向量进行逆向日志编码即进行one-hot日志编码的逆转换，从而获得对应的日志ID，进一步根据日志ID获取对应的原始日志条目。
其中，对于原始日志条目获取，也可以通过将日志特征向量对应到日志序列数据中，再根据日志序列数据对应的日志ID，通过ID检索即通过日志ID检索到原始日志条目，从而根据原始日志条目生成质差定界定位结论。
实施例二
请参照图5，一种通信业务质差定界定位的装置1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现上述实施例一中的步骤。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。
Claims (10)
1.一种通信业务质差定界定位的方法，其特征在于，包括：
实时接收异常事件通知，从所述异常事件通知中获取对应的时间戳和网元，根据所述时间戳和所述网元采集窗口期内与所述网元对应的日志数据，并根据所述时间戳采集窗口期内现网告警清单；
通过日志解析模型对所述日志数据进行解析，根据日志编码规则对解析后的日志数据中的每一条日志条目进行日志编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量，将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点；
根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量，将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警；
判断所述高关联告警是否为周边网元无异常，若是，则根据所述日志异常点，生成质差定界定位结论，否则，基于定界定位规则库对所述日志异常点和所述高关联告警进行定界定位分析，生成最终的质差定界定位结论。
2.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，所述通过日志解析模型对所述日志数据进行解析之前包括：
通过对spell解析器的TAU参数进行寻优，得到最优TAU参数，将所述最优TAU参数代入spell解析器，生成改进型spell解析器；
采集预设时间内各类设备的第一历史日志数据，将所述第一历史日志数据以流方式依次输入所述改进型spell解析器，根据正则表达式依次对所述第一历史日志数据进行预处理，生成第二历史日志数据；
通过LCS算法依次构建所述第二历史日志数据的日志对象，并将所述日志对象输入日志列表；
基于所述改进型spell解析器和所述日志列表构建日志解析模型。
3.如权利要求2所述的一种通信业务质差定界定位的方法，其特征在于，所述通过LCS算法依次构建所述第二历史日志数据的日志对象，并将所述日志对象输入日志列表包括：
获取现有日志列表中所有日志对象，计算所述第二历史日志数据的token序列与所有所述日志对象的LCS，若存在一个LCS长度最长且满足阈值，则将所述第二历史日志数据归属至对应的日志对象中，否则，将所述第二历史日志数据作为新的日志对象输入日志列表。
4.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，所述根据日志编码规则对解析后的日志数据中的每一条日志条目进行编码，生成日志序列数据，基于所述日志序列数据构建日志特征向量包括：
按照所述日志数据的日志ID对解析后的日志数据中的每一条日志条目进行one-hot日志编码，生成已编码日志数据；
通过滑动窗口机制按照预设窗口比例对所述已编码日志数据进行分解，生成日志序列数据，基于所述日志序列数据构建日志特征向量。
5.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，所述将所述日志特征向量输入日志异常定位模型进行日志异常定位，输出日志异常点包括：
采集预设时间内的历史日志数据，对所述历史日志数据进行异常日志过滤处理，得到历史正常日志数据；
将所述历史正常日志数据输入双向LSTM模型进行训练，生成日志异常定位模型；
将所述日志特征向量输入所述日志异常定位模型进行日志异常定位，输出日志异常点。
6.如权利要求1所述的一一种通信业务质差定界定位的方法，其特征在于，所述根据告警编码规则对所述现网告警清单中每一条告警条目进行告警编码，生成告警序列数据，基于所述告警序列数据构建告警特征向量包括：
根据所述现网告警清单中每一条告警条目的ID和对应的网元类别对所述现网告警清单中每一条告警条目进行one-hot告警编码，生成已编码告警数据；
通过滑动窗口机制按照预设窗口比列对所述已编码告警数据进行分解，生成告警序列数据，基于所述告警序列数据构建告警特征向量。
7.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，所述将所述告警特征向量输入高关联告警定位模型进行高关联定位，输出高关联告警包括：
采集预设时间内历史告警数据，将所述历史告警数据输入双向LSTM模型进行训练，生成高关联告警定位模型；
将所述告警特征向量输入所述高关联告警定位模型进行高关联定位，输出高关联告警。
8.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，所述根据所述日志异常点，生成质差定界定位结论包括：
获取所述日志异常点对应的日志特征向量，对所述日志特征向量进行逆向日志编码，获得对应的日志ID，根据所述日志ID获取对应的原始日志条目；
根据所述原始日志条目，生成质差定界定位结论。
9.如权利要求1所述的一种通信业务质差定界定位的方法，其特征在于，还包括：
通过日志解析模型对所述日志数据进行解析，判断所述日志数据是否归属于日志列表中的日志对象，若是，则获取所述日志对象对应的标签，若所述标签为异常或疑似异常，则判断所述日志序列数据中是否存在异常日志条目，若存在，则判断所述异常日志条目是否有且只有一条，若是，则该异常日志条目为异常日志点，否则，将所述日志序列数据中第一条异常日志条目作为异常日志点。
10.一种通信业务质差定界定位的装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556658.XA CN116668262A (zh) | 2023-05-17 | 2023-05-17 | 一种通信业务质差定界定位的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310556658.XA CN116668262A (zh) | 2023-05-17 | 2023-05-17 | 一种通信业务质差定界定位的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116668262A true CN116668262A (zh) | 2023-08-29 |
Family
ID=87723409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310556658.XA Pending CN116668262A (zh) | 2023-05-17 | 2023-05-17 | 一种通信业务质差定界定位的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116668262A (zh) |
-
2023
- 2023-05-17 CN CN202310556658.XA patent/CN116668262A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609759B (zh) | 一种故障根因分析的方法及装置 | |
| CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
| CN112579789A (zh) | 一种设备故障诊断的方法和装置及设备 | |
| CN112492567A (zh) | 一种应急指挥通信中的故障分析和解决方法及装置 | |
| CN112217674B (zh) | 基于因果网络挖掘和图注意力网络的告警根因识别方法 | |
| CN117131110B (zh) | 一种基于关联分析的容性设备介质损耗监测方法及系统 | |
| CN116541510A (zh) | 一种基于知识图谱的故障案例推荐方法 | |
| Zhang et al. | LogST: Log semi-supervised anomaly detection based on sentence-BERT | |
| CN111241153A (zh) | 企业自然人实体综合判断对齐方法及系统 | |
| CN114254102A (zh) | 一种基于自然语言的协同应急响应soar剧本推荐方法 | |
| CN114579739A (zh) | 文本数据流的话题检测与追踪方法 | |
| CN114357171A (zh) | 一种应急事件处理方法、装置、存储介质及电子设备 | |
| CN112417852B (zh) | 一种代码片段重要性的判断方法和装置 | |
| CN116611813A (zh) | 一种基于知识图谱的智能运维管理方法及系统 | |
| CN116668262A (zh) | 一种通信业务质差定界定位的方法及装置 | |
| CN114422515B (zh) | 一种适配电力行业的边缘计算架构设计方法及系统 | |
| CN116361147A (zh) | 测试用例根因定位方法及其装置、设备、介质、产品 | |
| CN115470854A (zh) | 信息系统故障分类方法及分类系统 | |
| CN116226769A (zh) | 一种基于用户行为序列的短视频异常行为识别方法 | |
| CN115373879A (zh) | 一种面向大规模云数据中心智能运维的磁盘故障预测方法 | |
| CN113674846A (zh) | 基于lstm网络的医院智慧服务舆情监控平台 | |
| CN113051006B (zh) | 基于应用服务及关系向量化的辅助配置方法及系统 | |
| WO2023050967A1 (zh) | 一种系统异常检测处理方法及装置 | |
| CN117373687A (zh) | 基于人工智能的健康数据分析模型的组态训练方法及系统 | |
| CN115510233A (zh) | 一种用于工程机械的故障诊断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |