CN112346393A - 基于智能运维的数据全链路异常监测及处理方法和系统 - Google Patents

基于智能运维的数据全链路异常监测及处理方法和系统 Download PDF

Info

Publication number
CN112346393A
CN112346393A CN202110021426.5A CN202110021426A CN112346393A CN 112346393 A CN112346393 A CN 112346393A CN 202110021426 A CN202110021426 A CN 202110021426A CN 112346393 A CN112346393 A CN 112346393A
Authority
CN
China
Prior art keywords
data
link
key index
abnormity
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110021426.5A
Other languages
English (en)
Other versions
CN112346393B (zh
Inventor
张丙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tomato Digital Intelligence Technology Co.,Ltd.
Original Assignee
Ruizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruizhi Technology Group Co ltd filed Critical Ruizhi Technology Group Co ltd
Priority to CN202110021426.5A priority Critical patent/CN112346393B/zh
Publication of CN112346393A publication Critical patent/CN112346393A/zh
Application granted granted Critical
Publication of CN112346393B publication Critical patent/CN112346393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G05B19/0425—Safety, monitoring

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种基于智能运维的数据全链路异常监测及处理方法和系统，该方法包括如下步骤：实时轮询采集数据链路状态关键指标数据；接收采集的数据链路状态关键指标数据，并输出随时间变化的关键指标数据曲线；将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，用于体现数据链路异常原因。本申请实现数据全链路的智能故障诊断和异常检测及处理，能够加速故障诊断并快速定位故障。

Description

基于智能运维的数据全链路异常监测及处理方法和系统
技术领域
本申请涉及数据监控技术领域，尤其涉及一种基于智能运维的数据全链路异常监测及处理方法和系统。
背景技术
随着信息化技术的发展与应用，信息系统已全面覆盖各个业务领域，由于信息系统的不断建设导致信息系统间数据接口及链路的种类多、数量巨大、集成关系复杂，为了全面了解和显示信息系统间数据接口及链路关系，依然依靠人工方式进行梳理后进行展示。同时为了及时获知数据接口及数据链路状态，核心的技术是对数据链路状态以及数据传输情况进行监控。
监控技术一般是由采集代理或采集脚本或相关命令组成的采集器对数据链路涉及的接口、协议、日志、进程、端口等进行实时轮询采集，同时通过自动化手段实现采集器的启动、停止、设置采集频率等管理功能。采集器将会返回固定格式的数据并由相关功能模块进行处理，当采集到的数据链路状态异常或实时数据满足预设置的告警规则时，则生成告警事件。
监控技术只能判定数据链路状态或数据传输状态，一旦数据链路出现中断等故障，必须通过人工处理的方式，才能查出部分中断原因，大部分故障原因无法有效实现定位、分析及溯源，使得因接口及链路出现故障导致系统业务可用性事件无法快速有效解决。
发明内容
本申请的目的在于提供一种基于智能运维的数据全链路异常监测及处理方法和系统,实现数据全链路智能故障诊断和异常检测及处理，能够加速故障诊断并快速定位故障。
为达到上述目的，本申请提供一种基于智能运维的数据全链路异常监测及处理方法，该方法包括如下步骤：实时轮询采集数据链路状态关键指标数据；接收采集的数据链路状态关键指标数据，输出随时间变化的关键指标数据曲线；将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。
如上的，其中，合并处理过程中包括如下步骤：获取合并处理后链路异常原因数据，计算合并处理的链路异常严重程度值；将各个单元组按照链路异常严重程度值由大到小的顺序依次进行处理。
如上的，其中，实时轮询采集数据链路状态数据包括监测采集代理或采集脚本，对数据链路涉及的接口、协议、日志、进程、端口进行实时轮询采集。
如上的，其中，对采集的数据链路状态数据进行分类处理，并按照时间序列分别存入不同主题中。
如上的，其中，获取链路异常原因数据和位置数据的方法包括：将关键指标数据曲线输入到预先构建的链路异常分类识别模型中；识别关键指标数据曲线的类型，匹配相应的链路异常分类识别模型中的异常检测器；根据关键指标数据曲线的类型，为异常检测器自动匹配相应的检测参数和正常阈值；获取链路异常原因数据和位置数据。
如上的，其中，预先构建链路异常分类识别模型的方法为：获取链路异常样本数据；将链路异常样本数据输入到机器学习随机森林训练模型中进行训练，训练出链路异常分类识别模型；定期获取新的关键指标数据曲线上的异常特征数据，并更新链路异常样本数据；根据更新后的链路异常样本数据，训练出新的链路异常分类识别模型。
如上的，其中，链路异常样本数据为从多个已经标注异常特征的关键指标数据曲线上提取出的异常特征向量集为:
Figure 248772DEST_PATH_IMAGE001
;
Figure 471943DEST_PATH_IMAGE002
表示关键指标数据曲线的总数量，
Figure 474534DEST_PATH_IMAGE003
表示第
Figure 466761DEST_PATH_IMAGE004
个关键指标数据曲线的异常特征向量集；
其中，
Figure 99867DEST_PATH_IMAGE005
，
Figure 607072DEST_PATH_IMAGE006
表示第
Figure 597375DEST_PATH_IMAGE007
个关键指标数据曲线的异常特征向量总数；
Figure 709687DEST_PATH_IMAGE008
表示第
Figure 248116DEST_PATH_IMAGE009
个异常特征向量。
如上的，其中，采用异常标注工具预先对关键指标数据曲线进行异常特征标注，并且为异常标注工具设置期望达到的准确率和召回率。
如上的，其中，关键指标数据包括：CPU使用率、硬盘IO性能、数据传输内容的完整性和数据传输内容的及时性。
本申请还一种基于智能运维的数据全链路异常监测及处理系统，包括：监测采集装置，用于实时轮询采集数据链路状态关键指标数据；接收采集的数据链路状态关键指标数据，并输出随时间变化的关键指标数据曲线；自动化异常检测系统，用于将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；处理器，用于根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；异常处理模块，用于获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。
本申请实现的有益效果如下：
（1）本申请采集数据链路数据传输过程中的关键指标数据曲线，通过异常检测算法对关键指标数据曲线完成复杂的异常检测及原因诊断，从而实现数据链路监测中故障的发现与排查，避免了人工设置告警规则不灵活且容易产生漏报的情况发生，解决了人工耗时耗力排查异常原因的难题。
（2）本申请通过识别关键指标数据曲线的类型，匹配相应的链路异常分类识别模型中的异常检测器，为异常检测器自动匹配相应的检测参数和正常阈值，无需人工处理，解决了人工耗时耗力排查异常原因的难题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于智能运维的数据全链路异常监测及处理方法的流程图。
图2为本申请实施例的获取链路异常原因数据和位置数据的方法流程图。
图3为本申请实施例的预先构建链路异常分类识别模型的方法流程图。
图4为本申请实施例的一种基于智能运维的数据全链路异常监测及处理系统的结构示意图。
附图标记：10-监测采集装置；20-自动化异常检测系统；30-处理器；40-异常处理模块；100-数据全链路异常监测及处理系统。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请提供一种基于智能运维的数据全链路异常监测及处理方法，该方法包括如下步骤：
S1，实时轮询采集数据链路状态关键指标数据，并进行分类存储。
实时轮询采集数据链路状态数据包括监测采集代理或采集脚本，对数据链路涉及的接口、协议、日志、进程、端口等进行实时轮询采集,采集数据链路状态数据。
步骤S1中包括：采集代理根据固定格式将采集到的数据链路状态关键指标数据发送到数据总线。数据总线对数据链路状态关键指标数据进行集中处理，对数据链路状态数据进行分类处理，并按照时间序列分别存入不同Topic（主题）中。也可根据需要对数据处理后再存入数据总线。
数据链路状态数据包括接口的创建、接口的删除、协议的建立、日志数据、进程数据、端口链接、中间件连接状态、服务器运行情况和接口调用情况等。
S2，接收采集的数据链路状态关键指标数据，输出随时间变化的关键指标数据曲线（KPI曲线）。
数据链路状态关键指标数据包括：CPU使用率（CPU使用率是运行的程序占用的CPU资源）、硬盘IO性能（指对字节的读取速度）、数据传输内容的完整性和数据传输内容的及时性等。
其中，关键指标数据曲线有多个。
数据的完整性是指数据在传输过程中不会被修改，数据传输内容的完整性通过对源端与目标端数据进行比对获得；数据传输内容的及时性通过延迟性参数获取。
S3，将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据,生成告警事件。
如图2所示，步骤S3包括如下子步骤：
S310，将关键指标数据曲线输入到预先构建的链路异常分类识别模型中。
S320,识别关键指标数据曲线的类型，匹配相应的链路异常分类识别模型中的异常检测器。
异常检测器算法包括：simple threshold（简单阈值化）；Historical Average（历史平均值）；Wavelet(小波算法)；Holt-Winters(霍尔特-温特算法)。
S330,根据关键指标数据曲线的类型，为异常检测器自动匹配相应的检测参数和正常阈值。
其中，预先根据关键指标数据曲线的类型为相应的异常检测器设定相应的检测参数和正常阈值。
S340,获取链路异常原因数据和位置数据。
具体的，链路异常原因数据包括链路异常原因类型、异常传输的数据和异常发生的时间等信息。
位置数据包括链路异常的两个数据传输节点。
链路异常原因类型包括：数据链路出现中断、操作系统CPU负载高与磁盘IO高等。
如图3所示，预先构建链路异常分类识别模型的方法为：
T1，获取链路异常样本数据。
链路异常样本数据为从多个已经标注异常特征的关键指标数据曲线上提取出的异常特征向量集为:
Figure 445879DEST_PATH_IMAGE010
;
Figure 790273DEST_PATH_IMAGE011
表示关键指标数据曲线的总数量，
Figure 740780DEST_PATH_IMAGE012
表示第
Figure 981269DEST_PATH_IMAGE013
个关键指标数据曲线的异常特征向量集。
其中，
Figure 197486DEST_PATH_IMAGE014
，
Figure 548833DEST_PATH_IMAGE015
表示第
Figure 104580DEST_PATH_IMAGE016
个关键指标数据曲线的异常特征向量总数；
Figure 312707DEST_PATH_IMAGE017
表示第
Figure 468751DEST_PATH_IMAGE018
个异常特征向量。
具体的，采用异常标注工具预先对关键指标数据曲线进行异常特征标注，方便快速的标注出关键指标数据曲线上的异常数据，并且为异常标注工具设置期望达到的准确率（precision）和召回率（recall）。
T2，将链路异常样本数据输入到机器学习随机森林训练模型中进行训练，训练出链路异常分类识别模型。
使用机器学习随机森林训练模型进行训练时，无关特征和冗余特征不会影响算法的性能。机器学习随机森林训练模型使用了多棵决策树，最终的训练结果是由每棵决策树的结果决定的。
T3，定期获取新的关键指标数据曲线上的异常特征数据，并更新链路异常样本数据。
T4，根据更新后的链路异常样本数据，训练出新的链路异常分类识别模型。
S4，根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值。
两个链路异常原因的相关度值的计算公式如下：
Figure 92630DEST_PATH_IMAGE019
；
其中，
Figure 830779DEST_PATH_IMAGE020
表示两个链路异常原因的相关度值；
Figure 413070DEST_PATH_IMAGE021
表示链路异常原因数据包含的信息对相关度值的影响权重；
Figure 807142DEST_PATH_IMAGE022
表示链路异常位置数据对相关度值的影响权重；
Figure 483980DEST_PATH_IMAGE023
和
Figure 14319DEST_PATH_IMAGE024
之和为1；
Figure 564249DEST_PATH_IMAGE025
表示链路异常原因数据包含的信息总数量；
Figure 180038DEST_PATH_IMAGE026
表示链路异常原因数据包含的第
Figure 676878DEST_PATH_IMAGE026
个信息；
Figure 579500DEST_PATH_IMAGE027
表示第
Figure 34752DEST_PATH_IMAGE026
个信息包含的属性特征相同的个数；
Figure 403416DEST_PATH_IMAGE028
表示第
Figure 172789DEST_PATH_IMAGE028
个属性特征；
Figure 740037DEST_PATH_IMAGE029
表示第
Figure 569452DEST_PATH_IMAGE030
个属性特征的权重系数；
Figure 409101DEST_PATH_IMAGE031
表示第
Figure 247744DEST_PATH_IMAGE032
个信息包含的属性特征总个数；
Figure 607181DEST_PATH_IMAGE033
表示第
Figure 669815DEST_PATH_IMAGE032
个信息的对相关程度值的影响权重；
Figure 481914DEST_PATH_IMAGE034
；
Figure 373515DEST_PATH_IMAGE035
表示两个链路异常位置数据中具有相同节点的个数。
S5，获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。以减少链路异常告警信息的数量，减少冗余信息。
合并处理过程中包括如下步骤：
S6，获取合并处理后链路异常原因数据，计算合并处理的链路异常严重程度值。
其中，链路异常严重程度值的计算公式如下：
Figure 649776DEST_PATH_IMAGE036
；
其中，
Figure 86573DEST_PATH_IMAGE037
表示链路异常严重程度值；
Figure 385968DEST_PATH_IMAGE038
表示第
Figure 566413DEST_PATH_IMAGE039
条链路异常原因检测的准确率；
Figure 697180DEST_PATH_IMAGE040
表示链路异常原因种类的个数；
Figure 288567DEST_PATH_IMAGE041
表示第
Figure 340837DEST_PATH_IMAGE042
条链路异常原因出现的总次数；
Figure 856132DEST_PATH_IMAGE043
表示第
Figure 44668DEST_PATH_IMAGE044
条链路异常原因的严重指数；
Figure 823268DEST_PATH_IMAGE045
表示第
Figure 159571DEST_PATH_IMAGE046
种链路异常原因中第
Figure 928158DEST_PATH_IMAGE047
个异常的实测数值；
Figure 236779DEST_PATH_IMAGE048
第
Figure 920701DEST_PATH_IMAGE049
条链路异常原因中第
Figure 478722DEST_PATH_IMAGE047
个异常的极限阈值。
S7，将各个单元组按照链路异常严重程度值由大到小的顺序依次进行处理。
实施例二
如图4所示，本申请提供一种基于智能运维的数据全链路异常监测及处理系统100，该系统包括：
监测采集装置10，用于实时轮询采集数据链路状态数据链路状态数据；接收采集的数据链路状态数据链路状态数据,输出随时间变化的关键指标数据曲线；
自动化异常检测系统20，用于将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；
处理器30，用于根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；
其中，两个链路异常原因的相关度值的计算公式如下：
Figure 804661DEST_PATH_IMAGE050
；
其中，
Figure 951477DEST_PATH_IMAGE051
表示两个链路异常原因的相关度值；
Figure 868618DEST_PATH_IMAGE052
表示链路异常原因数据包含的信息对相关度值的影响权重；
Figure 382776DEST_PATH_IMAGE053
表示链路异常位置数据对相关度值的影响权重；
Figure 981247DEST_PATH_IMAGE054
和
Figure 998882DEST_PATH_IMAGE055
之和为1；
Figure 352503DEST_PATH_IMAGE056
表示链路异常原因数据包含的信息总数量；
Figure 72066DEST_PATH_IMAGE057
表示链路异常原因数据包含的第
Figure 739808DEST_PATH_IMAGE057
个信息；
Figure 408686DEST_PATH_IMAGE058
表示第
Figure 870892DEST_PATH_IMAGE057
个信息包含的属性特征相同的个数；
Figure 94063DEST_PATH_IMAGE059
表示第
Figure 96654DEST_PATH_IMAGE059
个属性特征；
Figure 338148DEST_PATH_IMAGE060
表示第
Figure 971255DEST_PATH_IMAGE061
个属性特征的权重系数；
Figure 212880DEST_PATH_IMAGE062
表示第
Figure 222425DEST_PATH_IMAGE057
个信息包含的属性特征总个数；
Figure 69158DEST_PATH_IMAGE063
表示第
Figure 125363DEST_PATH_IMAGE057
个信息的对相关程度值的影响权重；
Figure 119864DEST_PATH_IMAGE064
；
Figure 667520DEST_PATH_IMAGE065
表示两个链路异常位置数据中具有相同节点的个数。
异常处理模块40，用于获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。
异常处理模块40，还用于获取合并处理后链路异常原因数据，计算合并处理的链路异常严重程度值；将各个单元组按照链路异常严重程度值由大到小的顺序依次进行处理。
其中，链路异常严重程度值的计算公式如下：
Figure 368760DEST_PATH_IMAGE066
；
其中，
Figure 140406DEST_PATH_IMAGE067
表示链路异常严重程度值；
Figure 825466DEST_PATH_IMAGE068
表示第
Figure 160501DEST_PATH_IMAGE069
条链路异常原因检测的准确率；
Figure 778564DEST_PATH_IMAGE070
表示链路异常原因种类的个数；
Figure 189954DEST_PATH_IMAGE071
表示第
Figure 831151DEST_PATH_IMAGE072
条链路异常原因出现的总次数；
Figure 720609DEST_PATH_IMAGE073
表示第
Figure 458758DEST_PATH_IMAGE072
条链路异常原因的严重指数；
Figure 24738DEST_PATH_IMAGE074
表示第
Figure 153231DEST_PATH_IMAGE049
种链路异常原因中第
Figure 643118DEST_PATH_IMAGE047
个异常的实测数值；
Figure 439036DEST_PATH_IMAGE075
第
Figure 926649DEST_PATH_IMAGE072
条链路异常原因中第
Figure 57285DEST_PATH_IMAGE047
个异常的极限阈值。
本申请实现的有益效果如下：
（1）本申请采集数据链路数据传输过程中的关键指标数据曲线，通过异常检测算法对关键指标数据曲线完成复杂的异常检测及原因诊断，从而实现数据链路监测中故障的发现与排查，避免了人工设置告警规则不灵活且容易产生漏报的情况发生，解决了人工耗时耗力排查异常原因的难题。
（2）本申请通过识别关键指标数据曲线的类型，匹配相应的链路异常分类识别模型中的异常检测器，为异常检测器自动匹配相应的检测参数和正常阈值，无需人工处理，解决了人工耗时耗力排查异常原因的难题。
上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种基于智能运维的数据全链路异常监测及处理方法，其特征在于，该方法包括如下步骤：
实时轮询采集数据链路状态关键指标数据；
接收采集的数据链路状态关键指标数据，输出随时间变化的关键指标数据曲线；
将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；
根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；
获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。
2.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，合并处理过程中包括如下步骤：
获取合并处理后链路异常原因数据，计算合并处理的链路异常严重程度值；
将各个单元组按照链路异常严重程度值由大到小的顺序依次进行处理。
3.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，
实时轮询采集数据链路状态数据包括监测采集代理或采集脚本，对数据链路涉及的接口、协议、日志、进程、端口进行实时轮询采集。
4.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，对采集的数据链路状态数据进行分类处理，并按照时间序列分别存入不同主题中。
5.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，获取链路异常原因数据和位置数据的方法包括：
将关键指标数据曲线输入到预先构建的链路异常分类识别模型中；
识别关键指标数据曲线的类型，匹配相应的链路异常分类识别模型中的异常检测器；
根据关键指标数据曲线的类型，为异常检测器自动匹配相应的检测参数和正常阈值；
获取链路异常原因数据和位置数据。
6.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，预先构建链路异常分类识别模型的方法为：
获取链路异常样本数据；
将链路异常样本数据输入到机器学习随机森林训练模型中进行训练，训练出链路异常分类识别模型；
定期获取新的关键指标数据曲线上的异常特征数据，并更新链路异常样本数据；
根据更新后的链路异常样本数据，训练出新的链路异常分类识别模型。
7.根据权利要求6所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，
链路异常样本数据为从多个已经标注异常特征的关键指标数据曲线上提取出的异常特征向量集为:
Figure 358288DEST_PATH_IMAGE001
;
Figure 541008DEST_PATH_IMAGE002
表示关键指标数据曲线的总数量，
Figure 789586DEST_PATH_IMAGE003
表示第
Figure 902905DEST_PATH_IMAGE004
个关键指标数据曲线的异常特征向量集；
其中，
Figure 920539DEST_PATH_IMAGE005
，
Figure 211843DEST_PATH_IMAGE006
表示第
Figure 744456DEST_PATH_IMAGE004
个关键指标数据曲线的异常特征向量总数；
Figure 146618DEST_PATH_IMAGE007
表示第
Figure 533606DEST_PATH_IMAGE008
个异常特征向量。
8.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，采用异常标注工具预先对关键指标数据曲线进行异常特征标注，并且为异常标注工具设置期望达到的准确率和召回率。
9.根据权利要求1所述的基于智能运维的数据全链路异常监测及处理方法，其特征在于，关键指标数据包括：CPU使用率、硬盘IO性能、数据传输内容的完整性和数据传输内容的及时性。
10.一种基于智能运维的数据全链路异常监测及处理系统，其特征在于，包括：
监测采集装置，用于实时轮询采集数据链路状态关键指标数据；接收采集的数据链路状态关键指标数据，输出随时间变化的关键指标数据曲线；
自动化异常检测系统，用于将关键指标数据曲线输入到预先构建的链路异常分类识别模型中，获取链路异常原因数据和位置数据；
处理器，用于根据获取链路异常原因数据和位置数据，计算任意两个链路异常原因的相关度值；
异常处理模块，用于获取相关度值大于预设阈值的所有链路异常原因，合并为一个单元组，进行合并处理。
CN202110021426.5A 2021-01-08 2021-01-08 基于智能运维的数据全链路异常监测及处理方法和系统 Active CN112346393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110021426.5A CN112346393B (zh) 2021-01-08 2021-01-08 基于智能运维的数据全链路异常监测及处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110021426.5A CN112346393B (zh) 2021-01-08 2021-01-08 基于智能运维的数据全链路异常监测及处理方法和系统

Publications (2)

Publication Number Publication Date
CN112346393A true CN112346393A (zh) 2021-02-09
CN112346393B CN112346393B (zh) 2021-04-13

Family

ID=74427347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110021426.5A Active CN112346393B (zh) 2021-01-08 2021-01-08 基于智能运维的数据全链路异常监测及处理方法和系统

Country Status (1)

Country Link
CN (1) CN112346393B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966957A (zh) * 2021-03-22 2021-06-15 国家电网有限公司大数据中心 一种数据链路异常定位方法、装置、电子设备及存储介质
CN113093985A (zh) * 2021-06-09 2021-07-09 中国南方电网有限责任公司超高压输电公司广州局 传感器数据链路异常检测方法、装置和计算机设备
CN114880201A (zh) * 2022-05-23 2022-08-09 北京航空航天大学 一种对智能信息设备异常行为实时监测方法及系统
CN115118581A (zh) * 2022-06-27 2022-09-27 广东长天思源环保科技股份有限公司 一种基于5g的物联网数据全链路监控和智能保障系统
CN117113261A (zh) * 2023-10-20 2023-11-24 国网江西省电力有限公司电力科学研究院 一种电力物联网异常检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105071969A (zh) * 2015-08-19 2015-11-18 焦点科技股份有限公司 基于jmx的定制化实时监控及自动化异常处理的系统及方法
US20170034720A1 (en) * 2015-07-28 2017-02-02 Futurewei Technologies, Inc. Predicting Network Performance
CN108880841A (zh) * 2017-05-11 2018-11-23 上海宏时数据系统有限公司 一种业务监控系统的阀值设置、异常检测系统及方法
CN109327347A (zh) * 2017-08-01 2019-02-12 瞻博网络公司 使用机器学习来监测链路质量并且预测链路故障
CN111162949A (zh) * 2019-12-31 2020-05-15 国网山西省电力公司信息通信分公司 一种基于Java字节码嵌入技术的接口监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170034720A1 (en) * 2015-07-28 2017-02-02 Futurewei Technologies, Inc. Predicting Network Performance
CN105071969A (zh) * 2015-08-19 2015-11-18 焦点科技股份有限公司 基于jmx的定制化实时监控及自动化异常处理的系统及方法
CN108880841A (zh) * 2017-05-11 2018-11-23 上海宏时数据系统有限公司 一种业务监控系统的阀值设置、异常检测系统及方法
CN109327347A (zh) * 2017-08-01 2019-02-12 瞻博网络公司 使用机器学习来监测链路质量并且预测链路故障
CN111162949A (zh) * 2019-12-31 2020-05-15 国网山西省电力公司信息通信分公司 一种基于Java字节码嵌入技术的接口监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAPENG LIU等: "《Opprentice: Towards Practical and Automatic Anomaly Detection Through Machine Learning》", 《PROCEEDINGS OF THE 2015 INTERNET MEASUREMENT CONFERENCE》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966957A (zh) * 2021-03-22 2021-06-15 国家电网有限公司大数据中心 一种数据链路异常定位方法、装置、电子设备及存储介质
CN113093985A (zh) * 2021-06-09 2021-07-09 中国南方电网有限责任公司超高压输电公司广州局 传感器数据链路异常检测方法、装置和计算机设备
CN113093985B (zh) * 2021-06-09 2021-09-10 中国南方电网有限责任公司超高压输电公司广州局 传感器数据链路异常检测方法、装置和计算机设备
CN114880201A (zh) * 2022-05-23 2022-08-09 北京航空航天大学 一种对智能信息设备异常行为实时监测方法及系统
CN114880201B (zh) * 2022-05-23 2024-05-24 北京航空航天大学 一种对智能信息设备异常行为实时监测方法及系统
CN115118581A (zh) * 2022-06-27 2022-09-27 广东长天思源环保科技股份有限公司 一种基于5g的物联网数据全链路监控和智能保障系统
CN115118581B (zh) * 2022-06-27 2024-04-12 广东长天思源环保科技股份有限公司 一种基于5g的物联网数据全链路监控和智能保障系统
CN117113261A (zh) * 2023-10-20 2023-11-24 国网江西省电力有限公司电力科学研究院 一种电力物联网异常检测方法及系统
CN117113261B (zh) * 2023-10-20 2024-02-06 国网江西省电力有限公司电力科学研究院 一种电力物联网异常检测方法及系统

Also Published As

Publication number Publication date
CN112346393B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112346393B (zh) 基于智能运维的数据全链路异常监测及处理方法和系统
US11657309B2 (en) Behavior analysis and visualization for a computer infrastructure
CN110928718B (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
CN109800127A (zh) 一种基于机器学习的系统故障诊断智能化运维方法及系统
CN114757590B (zh) 基于大数据分析的企业运营风险预警及管控系统
CN106656627A (zh) 一种基于业务的性能监控和故障定位的方法
CN108599977B (zh) 基于统计方法监控系统可用性的系统及方法
CN115118581B (zh) 一种基于5g的物联网数据全链路监控和智能保障系统
KR20180108446A (ko) Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법
CN114124204B (zh) 一种双备路olp光线路保护切换方法及装置
CN113542017A (zh) 基于网络拓扑和多指标的一种网络故障定位方法
CN111309565A (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
JP2015095060A (ja) ログ分析装置及び方法
CN112559376A (zh) 一种数据库故障的自动定位方法、装置及电子设备
CN117235649A (zh) 一种基于大数据的工业设备状态智能监测系统及方法
CN113271224A (zh) 节点的定位方法、装置、存储介质及电子装置
CN115529595A (zh) 一种日志数据的异常检测方法、装置、设备及介质
CN111666978B (zh) 一种it系统运维大数据的智能故障预警系统
CN111913824A (zh) 确定数据链路故障原因的方法及相关设备
CN111306051B (zh) 一种输油泵机组探针式状态监测预警方法、装置及系统
CN112948215A (zh) 基于分布式数据库日志数据的实时异常检测方法及系统
CN113285978B (zh) 基于区块链和大数据的故障识别方法及通用计算节点
CN113656452A (zh) 调用链指标异常的检测方法、装置、电子设备及存储介质
CN112069037A (zh) 一种云平台无阈值检测的方法和装置
CN117439899B (zh) 一种基于大数据的通信机房巡检方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230324

Address after: No. 10, Floor 18, Unit 1, Building 1, No. 33, Jiaozi Avenue, Chengdu Hi-tech Zone, China (Sichuan) Free Trade Pilot Zone, Chengdu, Sichuan 610000

Patentee after: Chengdu Tomato Digital Intelligence Technology Co.,Ltd.

Address before: 100005 20th and 22nd floors, news building, 26 Jianguomennei street, Dongcheng District, Beijing

Patentee before: Ruizhi Technology Group Co.,Ltd.

TR01 Transfer of patent right