CN115118614B - 作业异常检测方法、装置、电子设备及存储介质 - Google Patents

作业异常检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115118614B
CN115118614B CN202210743710.8A CN202210743710A CN115118614B CN 115118614 B CN115118614 B CN 115118614B CN 202210743710 A CN202210743710 A CN 202210743710A CN 115118614 B CN115118614 B CN 115118614B
Authority
CN
China
Prior art keywords
trained
data source
job
data
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210743710.8A
Other languages
English (en)
Other versions
CN115118614A (zh
Inventor
孔肖贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210743710.8A priority Critical patent/CN115118614B/zh
Publication of CN115118614A publication Critical patent/CN115118614A/zh
Application granted granted Critical
Publication of CN115118614B publication Critical patent/CN115118614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种作业异常检测方法、装置、电子设备及存储介质，属于计算机技术领域，其中方法包括：根据待训练指标获取待训练任务，获取待训练任务对应的待训练模型；通过待训练模型加载待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若待检测数据源具有周期性，则通过分解算法将待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取待检测数据源的作业行数数据的统计学特征；通过异常检测模型基于残差信号和统计学特征确定作业异常数据。这样，作业异常检测过程极具通用性，提升作业异常监控的精召率，降低人工成本。

Description

作业异常检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种作业异常检测方法、装置、电子设备及存储介质。
背景技术
随着作业系统的业务不断发展，业务数据量激增，调度作业量增长迅速，核心作业的延迟、失败、数据量异常都会直接或间接造成资损事故。例如，以每天业务峰值监控为例，若采用传统的静态阈值或同环比策略进行监控，在业务的趋势起伏周期性变化下会产生大量误报。随着调度作业质量要求越来越高，导致作业指标监控能力要求也越来越高。
现有传统作业异常监控基本都是基于规则，依靠人工和简单的同比环比等绝对值算法以判断作业是否异常，根据业务专家经验设定阈值报警。然而现有传统作业异常监控的通用性很差，难以适应业务发展，容易产生漏报，造成生产事故和大量误报增加运维成本，同时用户需要对每个调度作业的多个指标单独配置相应的规则，给运维和开发都带来巨大的挑战。
发明内容
为了解决上述技术问题，本申请实施例提供了一种作业异常检测方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种作业异常检测方法，所述方法包括：
根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；
通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；
通过数据分类模型判断待检测数据源是否具有周期性；
若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；
基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；
通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
在一实施方式中，所述方法还包括：
判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若存在最短路径，则不针对所述作业异常数据对应的作业推送告警信息；
若不存在最短路径，则针对所述作业异常数据对应的作业推送告警信息。
在一实施方式中，所述判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径，包括：
确定所述作业异常数据对应的作业与已推送告警信息的作业之间的作业依赖关系；
根据所述作业依赖关系判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若所述作业依赖关系为直接依赖关系，则确定所述作业异常数据对应的作业与已推送告警信息的作业之间存在最短路径。
在一实施方式中，所述根据待训练指标获取待训练任务，包括：
定时轮询指标表，从所述指标表中确定待训练指标；
根据所述待训练指标生成训练任务，将所述训练任务插入训练任务表；
调用服务启动所述训练任务表中的待训练任务。
在一实施方式中，所述方法还包括：
将所述异常检测模型存入分布式存储系统；
对所述训练任务表中的所述待训练任务的训练状态和指标类型进行更新。
在一实施方式中，获取所述待检测数据源，包括：
从接入方系统获取原始数据源，将所述原始数据源按照预设数据格式进行存储；
对所述原始数据源进行降噪处理，得到所述待检测数据源。
在一实施方式中，所述对所述原始数据源进行降噪处理，包括：
采用平滑函数对所述原始数据源进行平滑处理。
第二方面，本申请实施例提供了一种作业异常检测装置，所述装置包括：
获取模块，用于根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；
训练模块，用于通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；
判断模块，用于通过数据分类模型判断待检测数据源是否具有周期性；
分解模块，用于若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；
提取模块，用于基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；
确定模块，用于通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的作业异常检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的作业异常检测方法。
上述本申请提供的作业异常检测方法，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。这样，可在不降低漏报的情况下将误报率降低90％以上，采用方便快捷的推送方式，可使用户及时发现作业异常，避免生产问题。作业异常检测过程极具通用性，对任何接入方系统只需将数据映射到相应指标即可进行作业异常检测，提升作业异常监控的精召率，降低人工成本。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提供的作业异常检测方法的一流程示意图；
图2示出了本申请实施例提供的作业异常检测方法的另一流程示意图；
图3示出了本申请实施例提供的作业异常检测装置的一结构示意图。
图标：300-作业异常检测装置，301-获取模块，302-训练模块，303-判断模块，304-分解模块，305-提取模块，306-确定模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
实施例1
本公开实施例提供了一种作业异常检测方法。
具体的，参见图1，作业异常检测方法包括：
步骤S101，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型。
在本实施例中，作业异常检测方法可以应用于作业异常检测系统，该作业异常检测系统与接入方系统通信连接，可以对接入方系统的初始数据源进行作业异常检测。指标可以为预先设置的指标，例如，指标可以为作业时长，作业起始时间、作业结束时间、作业数量、作业效率等指标，待训练指标是指从预先设置的指标中确定的需要进行训练的指标。
在一实施方式中，步骤S101中的所述根据待训练指标获取待训练任务，包括：
定时轮询指标表，从所述指标表中确定待训练指标；
根据所述待训练指标生成训练任务，将所述训练任务插入训练任务表；
调用服务启动所述训练任务表中的待训练任务。
在本实施例中，指标表用于存储作业过程相关的各类指标。作业异常检测系统的管理平台定时轮询指标表，将需要训练的指标生成训练任务，并将训练任务插入训练任务表中，并调用服务启动训练任务。其中，服务是一个后台运行的组件，执行长时间运行且不需要用户交互的任务。即使应用被销毁也依然可以工作。在本实施例中，服务可以用于调用并执行待训练任务。
步骤S102，通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型。
在本实施例中，待训练指标的时序元数据可以为作业时长，作业起始时间、作业结束时间、作业数量等指标的时序元数据。根据各时间序列的历史数据，利用深度学习、统计学、频域分析、不平衡样本学习、迁移学习的思想训练一个或多个模型组合，可以在覆盖真实故障事件的基础上，减少规则所带来的误报率，同时提高运维人员的工作效率。
在一实施方式中，作业异常检测方法还包括：
将所述异常检测模型存入分布式存储系统；
对所述训练任务表中的所述待训练任务的训练状态和指标类型进行更新。
在本实施例中，分布式存储系统(Hadoop Distributed File System，HDFS)是一个高度容错性的系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。将所述异常检测模型存入分布式存储系统，便于读取异常检测模型。
在本实施例中，训练状态可以包括训练完成和未训练两种状态，指标类型可以根据用于训练的时序元数据确定，例如，用于训练的时序元数据为作业起始时间，则指标类型为作业起始时间。
步骤S103，通过数据分类模型判断待检测数据源是否具有周期性。
在本实施例中，将接入方系统的待测数据源输入数据分类模型，通过数据分类模型实时对待测数据源进行消费，识别数据源的周期性。例如，从作业起始时间至作业结束时间识别为一个周期。数据分类模型可以是支持向量机SVM。
在一实施方式中，获取所述待检测数据源，包括：
从接入方系统获取原始数据源，将所述原始数据源按照预设数据格式进行存储；
对所述原始数据源进行降噪处理，得到所述待检测数据源。
可以理解的是，不同指标类型的原始数据源有不同的存储格式，可以按照不同预设数据格式存储对应的原始数据源。
在一实施方式中，所述对所述原始数据源进行降噪处理，包括：
采用平滑函数对所述原始数据源进行平滑处理。
这样，使用平滑函数对数据进行平滑处理，可以降低原始数据源的噪声，提升模型的效果。
步骤S104，若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号。
在本实施例中，分解算法可以为经典分解算法(Class decomposition)、加性模型分解算法、乘性模型分解算法、X11分解算法。
在本实施例中，对周期性时序元数据进行周期分解，通过分解算法将原始数据源分解成趋势信号、周期信号及残差信号共3项，最后获取残差信号作为输入，非周期的时序元数据不做处理。
步骤S105，基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征。
在本实施例中，采用特征工程，基于滚动窗口提取作业行数数据的统计学特征，滚动窗口的尺寸可以根据需求自定义设置，在此不做限制。
步骤S106，通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
在本实施例中，作业行数数据的统计学特征包括均值、标准差等。使用异常检测模型对待检测数据进行预测，判断当前时刻数据是否异常，从而确定作业异常数据。作业异常检测系统可以为通过机器学习和神经网络算法自动检测时间序列中异常值的智能异常检测平台，作为监控系统的下游系统，提升作业告警精召率，同时可拓展运用到其他时序性的指标监控。
请参阅图2，作业异常检测方法还包括：
步骤S107，判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径。
在本实施例中，可以根据作业依赖关系确定作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径。
在一实施方式中，步骤S107可以包括：
确定所述作业异常数据对应的作业与已推送告警信息的作业之间的作业依赖关系；
根据所述作业依赖关系判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若所述作业依赖关系为直接依赖关系，则确定所述作业异常数据对应的作业与已推送告警信息的作业之间存在最短路径。
补充说明的是，若所述作业依赖关系为间接依赖关系，则确定所述作业异常数据对应的作业与已推送告警信息的作业之间不存在最短路径。作业依赖关系也可以称为作业血缘依赖。
步骤S108，若存在最短路径，则不针对所述作业异常数据对应的作业推送告警信息。
步骤S109，若不存在最短路径，则针对所述作业异常数据对应的作业推送告警信息。
在本实施例中，结合作业血缘依赖做告警聚合。告警聚合过程如下：循环遍历当天已触发告警的所有作业，查看当前的作业异常数据对应的作业与当天已告警的任意作业之间是否存在最短路径，若存在最短路径则不推送告警信息。若不存在最短路径，则推送告警信息。告警信息输出到监控平台，并使用指定的推送方式发送给用户，具体的可以通过电话、短信和邮件等方式将告警信息通知相应用户。此外，还可以根据根据用户反馈的告警结果反馈优化异常检测模型。这样，告警聚合可进一步降低告警量，用户反馈数据反哺优化异常检测模型，提升异常检测模型的效果，可监控作业延迟、作业数据行数等符合时序特征的指标。
本实施例提供的作业异常检测方法，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。这样，可在不降低漏报的情况下将误报率降低90％以上，采用方便快捷的推送方式，可使用户及时发现作业异常，避免生产问题。作业异常检测过程极具通用性，对任何接入方系统只需将数据映射到相应指标即可进行作业异常检测，提升作业异常监控的精召率，降低人工成本。
实施例2
此外，本公开实施例提供了一种作业异常检测装置。
具体的，如图3所示，作业异常检测装置300包括：
获取模块301，用于根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；
训练模块302，用于通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；
判断模块303，用于通过数据分类模型判断待检测数据源是否具有周期性；
分解模块304，用于若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；
提取模块305，用于基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；
确定模块306，用于通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
在一实施方式中，判断模块303，还用于判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若存在最短路径，则不针对所述作业异常数据对应的作业推送告警信息；
若不存在最短路径，则针对所述作业异常数据对应的作业推送告警信息。
在一实施方式中，判断模块303，还用于确定所述作业异常数据对应的作业与已推送告警信息的作业之间的作业依赖关系；
根据所述作业依赖关系判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若所述作业依赖关系为直接依赖关系，则确定所述作业异常数据对应的作业与已推送告警信息的作业之间存在最短路径。
在一实施方式中，获取模块301，还用于定时轮询指标表，从所述指标表中确定待训练指标；
根据所述待训练指标生成训练任务，将所述训练任务插入训练任务表；
调用服务启动所述训练任务表中的待训练任务。
在一实施方式中，作业异常检测装置300还包括：
存储模块，用于将所述异常检测模型存入分布式存储系统；
更新模块，用于对所述训练任务表中的所述待训练任务的训练状态和指标类型进行更新。
在一实施方式中，作业异常检测装置300还包括：
降噪模块，用于从接入方系统获取原始数据源，将所述原始数据源按照预设数据格式进行存储；
对所述原始数据源进行降噪处理，得到所述待检测数据源。
在一实施方式中，降噪模块，还用于采用平滑函数对所述原始数据源进行平滑处理，得到所述待检测数据源。
本实施例提供的作业异常检测装置300可以实现实施例1所提供的作业异常检测方法，为避免重复，在此不再赘述。
本实施例提供的作业异常检测装置，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。这样，可在不降低漏报的情况下将误报率降低90％以上，采用方便快捷的推送方式，可使用户及时发现作业异常，避免生产问题。作业异常检测过程极具通用性，对任何接入方系统只需将数据映射到相应指标即可进行作业异常检测，提升作业异常监控的精召率，降低人工成本。
实施例3
此外，本公开实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的作业异常检测方法。
本实施例提供的电子设备可以实现实施例1所提供的作业异常检测方法，为避免重复，在此不再赘述。
本实施例提供的电子设备，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。这样，可在不降低漏报的情况下将误报率降低90％以上，采用方便快捷的推送方式，可使用户及时发现作业异常，避免生产问题。作业异常检测过程极具通用性，对任何接入方系统只需将数据映射到相应指标即可进行作业异常检测，提升作业异常监控的精召率，降低人工成本。
实施例4
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的作业异常检测方法。
在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的作业异常检测方法，为避免重复，在此不再赘述。
本实施例提供的计算机可读存储介质，根据待训练指标获取待训练任务，获取所述待训练任务对应的待训练模型；通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；通过数据分类模型判断待检测数据源是否具有周期性；若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。这样，可在不降低漏报的情况下将误报率降低90％以上，采用方便快捷的推送方式，可使用户及时发现作业异常，避免生产问题。作业异常检测过程极具通用性，对任何接入方系统只需将数据映射到相应指标即可进行作业异常检测，提升作业异常监控的精召率，降低人工成本。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (9)

1.一种作业异常检测方法，其特征在于，所述方法包括：
定时轮询指标表，从所述指标表中确定待训练指标；
根据所述待训练指标生成训练任务，将所述训练任务插入训练任务表；
调用服务启动所述训练任务表中的待训练任务，获取所述待训练任务对应的待训练模型；
通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；
通过数据分类模型判断待检测数据源是否具有周期性；
若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；
基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；所述统计学特征包括均值及标准差；
通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若存在最短路径，则不针对所述作业异常数据对应的作业推送告警信息；
若不存在最短路径，则针对所述作业异常数据对应的作业推送告警信息。
3.根据权利要求2所述的方法，其特征在于，所述判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径，包括：
确定所述作业异常数据对应的作业与已推送告警信息的作业之间的作业依赖关系；
根据所述作业依赖关系判断所述作业异常数据对应的作业与已推送告警信息的作业之间是否存在最短路径；
若所述作业依赖关系为直接依赖关系，则确定所述作业异常数据对应的作业与已推送告警信息的作业之间存在最短路径。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述异常检测模型存入分布式存储系统；
对所述训练任务表中的所述待训练任务的训练状态和指标类型进行更新。
5.根据权利要求1所述的方法，其特征在于，获取所述待检测数据源，包括：
从接入方系统获取原始数据源，将所述原始数据源按照预设数据格式进行存储；
对所述原始数据源进行降噪处理，得到所述待检测数据源。
6.根据权利要求5所述的作业异常检测方法，其特征在于，所述对所述原始数据源进行降噪处理，包括：
采用平滑函数对所述原始数据源进行平滑处理。
7.一种作业异常检测装置，其特征在于，所述装置包括：
获取模块，用于定时轮询指标表，从所述指标表中确定待训练指标；根据所述待训练指标生成训练任务，将所述训练任务插入训练任务表；调用服务启动所述训练任务表中的待训练任务，获取所述待训练任务对应的待训练模型；
训练模块，用于通过所述待训练模型加载所述待训练指标的时序元数据进行训练，得到异常检测模型；
判断模块，用于通过数据分类模型判断待检测数据源是否具有周期性；
分解模块，用于若所述待检测数据源具有周期性，则通过分解算法将所述待检测数据源分解为趋势信号、周期信号及残差信号；
提取模块，用于基于滚动窗口提取所述待检测数据源的作业行数数据的统计学特征；所述统计学特征包括均值及标准差；
确定模块，用于通过所述异常检测模型基于所述残差信号和所述统计学特征确定作业异常数据。
8.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至6中任一项所述的作业异常检测方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的作业异常检测方法。
CN202210743710.8A 2022-06-27 2022-06-27 作业异常检测方法、装置、电子设备及存储介质 Active CN115118614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210743710.8A CN115118614B (zh) 2022-06-27 2022-06-27 作业异常检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210743710.8A CN115118614B (zh) 2022-06-27 2022-06-27 作业异常检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115118614A CN115118614A (zh) 2022-09-27
CN115118614B true CN115118614B (zh) 2023-09-01

Family

ID=83330570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210743710.8A Active CN115118614B (zh) 2022-06-27 2022-06-27 作业异常检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115118614B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369996B (zh) * 2023-09-25 2024-06-14 深圳国匠云职业教育科技有限公司 数据处理方法、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471544B1 (en) * 2012-05-24 2016-10-18 Google Inc. Anomaly detection in a signal
CN111459778A (zh) * 2020-03-12 2020-07-28 平安科技（深圳）有限公司 运维系统异常指标检测模型优化方法、装置及存储介质
CN112685247A (zh) * 2020-12-24 2021-04-20 京东方科技集团股份有限公司 基于Zabbix监控系统的告警抑制方法及监控系统
CN113708987A (zh) * 2020-05-22 2021-11-26 浙江大学 网络异常检测方法及装置
CN114443331A (zh) * 2020-11-04 2022-05-06 中国电信股份有限公司 时序数据异常检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917419B2 (en) * 2017-05-05 2021-02-09 Servicenow, Inc. Systems and methods for anomaly detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471544B1 (en) * 2012-05-24 2016-10-18 Google Inc. Anomaly detection in a signal
CN111459778A (zh) * 2020-03-12 2020-07-28 平安科技（深圳）有限公司 运维系统异常指标检测模型优化方法、装置及存储介质
CN113708987A (zh) * 2020-05-22 2021-11-26 浙江大学 网络异常检测方法及装置
CN114443331A (zh) * 2020-11-04 2022-05-06 中国电信股份有限公司 时序数据异常检测方法和装置
CN112685247A (zh) * 2020-12-24 2021-04-20 京东方科技集团股份有限公司 基于Zabbix监控系统的告警抑制方法及监控系统

Also Published As

Publication number Publication date
CN115118614A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN112162878B (zh) 数据库故障发现方法、装置、电子设备及存储介质
CN110928718B (zh) 一种基于关联分析的异常处理方法、系统、终端及介质
CN108959034A (zh) 一种监控报警方法、装置、电子设备及存储介质
WO2019223062A1 (zh) 系统异常的处理方法和系统
US9027037B2 (en) Information output device, method, and recording medium for outputting notification information corresponding to a state of a computer
CN115118614B (zh) 作业异常检测方法、装置、电子设备及存储介质
CN111813960B (zh) 基于知识图谱的数据安全审计模型装置、方法及终端设备
CN103248625A (zh) 一种网络爬虫运行异常监控方法和系统
WO2018025140A1 (en) Log query user interface
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN112001443A (zh) 网络行为数据的监控方法、装置、存储介质及电子设备
Weiß SPC methods for time-dependent processes of counts—A literature review
CN108520043A (zh) 数据对象采集方法、装置及系统、计算机可读存储介质
CN115905417A (zh) 一种系统异常检测处理方法及装置
CN112948223B (zh) 一种监测运行情况的方法和装置
CN111130867B (zh) 一种基于物联网的智能家居设备告警方法及装置
CN113037549A (zh) 一种运维环境告警方法
WO2023224764A1 (en) Multi-modality root cause localization for cloud computing systems
CN113472582B (zh) 用于信息技术监控中的警报关联和警报聚合的系统和方法
CN114138601A (zh) 一种业务告警方法、装置、设备及存储介质
CN102857387A (zh) 在线网站监控系统及方法
CN110688273B (zh) 分类模型的监控方法、装置、终端以及计算机存储介质
CN115801545A (zh) 一种混合云管的异常实时上报方法、系统、设备和介质
CN116232939A (zh) 一种交换机监控方法、电子设备及存储介质
CN115391141A (zh) 数据库流量分析方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant