CN110278100A - 预警处理的方法、装置、电子设备和存储介质 - Google Patents
预警处理的方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110278100A CN110278100A CN201810209365.3A CN201810209365A CN110278100A CN 110278100 A CN110278100 A CN 110278100A CN 201810209365 A CN201810209365 A CN 201810209365A CN 110278100 A CN110278100 A CN 110278100A
- Authority
- CN
- China
- Prior art keywords
- data
- business datum
- operation system
- input data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供一种预警处理的方法、装置、电子设备和存储介质。所述方法包括根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,第一输入数据是将第二输入数据进行镜像得到的,第二输入数据是输入至业务系统的数据,第一时间聚合窗口的长度小于业务系统的时间聚合窗口的长度;若业务数据的数据量超过阈值,则发送预警信息。所述方法通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,从而确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
Description
技术领域
本发明实施例涉及信息技术领域,特别是一种预警处理的方法、装置、电子设备和存储介质。
背景技术
现有技术的网络监控自动化系统中通过时间段来聚合一类或多类业务数据:
如某类设备的警报提示持续了若干时间仍未自动恢复则触发系统告警;如某个告警持续若干时间仍未被处理则派发工单通告值班人员等等。
通过时间段来聚合业务数据,是指发生告警后,不立刻通知维修人员,而是延时一个时间段后通知维修人员进行处理,能够非常有效的过滤频发但不重要的告警,显著提升自动化处理率。
但是,在某些突发场景,如突发的网络故障,核心程序故障等短时巨量的突发业务数据,时间段聚合无法有效过滤,从而导致后续处理环节的雪崩效应:通知消息猛增导致无法一一核对;工单量猛增导致处理人无法正常处理等等。
业务系统难以针对所有异常场景进行针对化设计和解决,成为了整个业务流程阻塞甚至崩溃主因。为了完善业务系统的抗异常能力,现有技术中有两种方法:
图1为现有技术的业务系统的监控方式示意图。
如图1所示,第一种方法是迭代优化设计:在雪崩发生后,异常反馈模块3收集异常反馈,维修人员2基于业务规则模块1重新修正业务规则,从而完善业务处理,以避免后续出现同类问题。
第二种方法是在业务系统输出之前设置异常监控模块4,加入监控机制,用于监控业务处理模块的输出结果,得到工单的数量,并设置预警模块5,使得在工单的数量出现异常后及时发送预警至维修人员2。
现有技术的缺点:
这两种办法比较被动,在异常发生后采取补救措施,依然存在工单数量猛增,无法及时处理的问题。
发明内容
针对现有技术的缺陷,本发明实施例提供一种预警处理的方法、装置、电子设备和存储介质。
一方面,本发明实施例提供一种预警处理的方法,所述方法包括:
根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
若业务数据的数据量超过阈值,则发送预警信息。
另一方面,本发明实施例提供一种预警处理的装置,所述装置包括:
确定模块,用于根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
发送模块,用于若业务数据的数据量超过阈值,则发送预警信息。
另一方面,本发明实施例还提供一种电子设备,包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以上方法的步骤。
另一方面,本发明实施例还提供一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上方法的步骤。
由上述技术方案可知,本发明实施例提供的预警处理的方法、装置、电子设备和存储介质,所述方法通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,并根据第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
附图说明
图1为现有技术的业务系统的监控方式示意图;
图2为本发明实施例提供的一种预警处理的方法的流程示意图;
图3为本发明又一实施例提供的解决方案原理示意图;
图4为本发明又一实施例提供的一种预警处理的装置的结构示意图;
图5为本发明又一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明实施例一部分实施例,而不是全部的实施例。
业务系统是业务处理过程中起到支持作用的信息系统,能够为某项工作的完成提供有力的工具支撑。
业务系统包括输入模块、业务处理模块和输出模块。工作流程是:将第二输入数据输入至业务处理模块,业务处理模块根据输入数据进行业务处理,得到业务数据,将业务数据输出至外部系统,由外部系统对业务数据进行统计,确定业务数据的数据量。
举例来说,业务系统的第二输入数据可为告警数据,业务系统用于根据告警数据,生成工单,将工单派发给维修人员,对告警的节点进行检修。
业务系统对流入的第二输入数据按照相同的时间进行分段,每一时间段称为第二时间聚合窗口,这个时间段的长度就是第二时间聚合窗口的长度,然后基于每一第二时间聚合窗口内的第二输入数据进行操作。
举例来说,业务处理模块的第二时间聚合窗口的长度是30分钟,表示业务处理模块将时间划分为多个30分钟,其中一个时间聚合窗口为10:00-10:30,在10:00点时接收的第二输入数据,会在10:00-10:30这一时间段内进行处理,于10:30输出对应的处理结果。
图2示出了本发明实施例提供的一种预警处理的方法的流程示意图。
如图2所示,本发明实施例提供的方法具体包括以下步骤:
步骤11、根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
可选地,本发明实施例提供的方法在预警处理的装置上实现,预警处理的装置可为预先构建的沙盒,沙盒是封装完成的封闭的模拟环境。
可选地,业务系统是正常运行进行业务处理的系统,沙盒是用于预测业务系统输出的业务数据的数据量的装置,业务系统与沙盒的处理流程是隔离的,沙盒的设置并不影响业务系统的流程。
可选地,沙盒实时获取业务系统的第二输入数据。
可选地,将第二输入数据进行数据镜像,数据镜像是指设置旁路捕获100%的第二输入数据,得到第一输入数据,也就是说,第一输入数据与第二输入数据的内容相同。
可选地,通过镜像可不对第二输入数据的流向造成影响,第二输入数据依然输入至业务系统的业务处理模块。
可选地,沙盒将得到的第一输入数据进行缓存,并实时读取缓存中的第一输入数据。
可选地,沙盒是对业务系统的业务系统的模拟,沙盒可按照业务系统的业务处理模块的处理逻辑进行处理,业务处理模块根据第二输入数据,得到业务数据,同样地,沙盒根据第一输入数据,得到业务数据。由于沙盒使用与业务处理模块的第二输入数据内容一致的第一输入数据,得到的业务数据内容也是相同的。
可选地,沙盒与业务系统有两个区别:
第一个区别是沙盒的时间聚合窗口的长度小于业务系统的时间聚合窗口的长度。
举例来说,沙盒的时间聚合窗口的长度是5分钟,表示沙盒在10:00点时接收的第一输入数据,会在10:00-10:05这一时间段内进行处理,于10:05输出业务数据。
可选地,沙盒得到的业务数据与业务系统输出的业务数据内容是相同的,但输出的时间点比业务系统早,可认为沙盒生成的第一时间聚合窗口的业务数据,相当于业务系统生成的第二时间聚合窗口的业务数据。
可选地,在沙盒内以较小的时间聚合窗口进行处理,相当于缩短了业务系统的延时,因此可提前得到输出的业务数据。
步骤12、若业务数据的数据量超过阈值,则发送预警信息。
沙盒与业务系统的第二个区别是沙盒的输出方式,不同于业务系统的业务处理模块将业务数据输出至外部系统,沙盒得到业务数据后,不对外输出,而是由沙盒对自身生成的业务数据进行累加,得到业务数据的数据量。
可选地,外部系统统计业务系统生成的业务数据,沙盒统计自身生成的业务数据,两个业务数据独立统计,互不关联。
可选地,沙盒和业务系统的输入数据相同,处理逻辑相同,时间聚合窗口不同,并分别统计业务数据的数据量,在本实施例中,可认为沙盒生成的第一时间聚合窗口的业务数据的数据量,相当于第二时间聚合窗口业务系统的业务数据的数据量,且由于第一时间聚合窗口的长度小于第二时间聚合窗口的长度,从而在第一时间聚合窗口,就可以获知未来的第二时间聚合窗口的业务数据的数据量,从而达到预测未来的数据量的效果。
可选地,预先设置业务系统可承受的一个阈值,若第一聚合时间窗口的数据量超过阈值,认为第二聚合时间窗口的数据量同样会超过阈值,预测在第二时间聚合窗口,后续下一个环节的设备将无法正常处理业务系统生成的大量业务数据。
在本发明实施例中,由于在第一时间聚合窗口已经可以确定数据量将发生雪崩,因此无需等到第二时间聚合窗口,而是及时发送预警信息至后续设备,可在第一时间聚合窗口,根据第一时间聚合窗口的业务数据,进行相应的处理,以减轻第二时间聚合窗口的业务数据的压力。
本发明实施例提供的预警处理的方法,通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,并根据第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,所述第一输入数据包括多个告警数据,每一告警数据包括告警节点;相应地,确定第一时间聚合窗口输出的业务数据的数据量的步骤具体为:
根据预先获取的资源拓扑,确定各告警节点是否关联;
若是,确定第一时间聚合窗口内关联的告警节点对应的告警数据,输出的工单的数量为1。
可选地,第一输入数据/第二输入数据的内容可有多种,本发明实施例以其中一种方式为例进行说明。
可选地,所述第一输入数据包括多个告警数据,每一告警数据包括告警时间和告警节点。
可选地,业务系统用于根据告警数据,生成工单,将工单派发给维修人员,对告警节点进行检修。
现网中部分告警的频次很高,持续时间短,例如下雨天,很多节点例如天馈线发出告警,但在雨停之后,天馈线就不告警了。
针对这种情况,业务系统接收到告警数据后,并不会立刻针对该告警发出工单,有些告警持续一段时间后会自动消失,也就是说,业务系统派发工单是有延时的,在告警时间后延时一段时间,生成工单,派发给维修人员。
举例来说,业务系统收到告警时间为10点的一个告警,10:30可能对应生成一张工单。
可选地,“可能”表示业务系统并非每接到一个告警,第二时间聚合窗口内都会生成一张工单,而是按照关联压缩的处理逻辑进行处理。
可选地,关联压缩是指相关联的告警节点的告警数据,仅生成一张订单。
可选地,根据资源拓扑,确实告警节点是否相关联。
可选地,资源拓扑是指节点的设置位置,连接关系和层级关系等。
举例来说,业务系统的一个监测对象是环状传输网,环状传输网包括4个网元1-4,网元1-4依次连接,从而构成一个环,称每一网元互相关联,当一个网元产生告警,将该网元称为告警节点。
在第二时间聚合窗口内先收到告警节点1的告警,业务系统根据资源拓扑确定告警节点1的环状传输网中具有三个关联网元,分别是关联网元2、关联网元3和关联网元4。
在收到在告警节点1的告警数据后,同一第二时间聚合窗口内关联网元2-4也触发告警,成为告警节点2-4,则针对告警节点1-4,第二时间聚合窗口内仅生成一张工单,并派发给一个维修人员,使得维修人员一次外勤可处理相关联的四个告警数据,从而提高维修效率。
可选地,沙盒的处理逻辑与业务处理模块的处理逻辑一致,按照告警节点的资源拓扑,可准确确定第一时间聚合窗口的工单的数量。
可选地,根据最新获取的资源拓扑,确定收到的当前告警节点对应的关联节点。
可选地,将第一时间聚合窗口内关联的告警节点的工单进行压缩,针对关联的告警节点的告警数据,得到一张工单。
可选地,进行关联压缩后,统计第一时间聚合窗口的工单的数量。
可选地,预警信息表示沙盒第一时间聚合窗口后的工单数量超过阈值,相当于业务系统第二时间聚合窗口后的工单数量也将超过阈值。
可选地,告警的监控人员收到预警信息,获知第二时间聚合窗口后的工单压力大,可提前派发工单,使得维修人员可提前处理部分第二时间聚合窗口的工单。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,根据告警数据和资源拓扑,进行关联压缩,从而可准确预测业务系统的工单的数量。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过模拟外部接口获取预先设置的正确应答ACK;
针对每一ACK,将工单的数量加1。
沙盒的设置位置的方式有多种,本发明实施例以其中一种方式为例进行说明。
可选地,在业务系统内部署沙盒,沙盒包括模拟业务处理模块、缓存、模拟外部接口和异常监控模块。
可选地,模拟业务处理模块执行数据同步,实时读取缓存的第一输入数据。
可选地,模拟业务处理模块的功能与业务系统的业务处理模块相同,按照业务系统的业务处理模块的处理逻辑进行处理:根据输入数据,得到工单。
可选地,模拟外部接口是对业务系统中的外部接口的模拟。
其中,业务系统的外部接口连接业务处理模块和外部系统,用于接收业务处理模块的输出,传送至外部系统,根据外部系统的返回值,统计工单的数量。
若返回值为ACK(Acknowledgement,正确应答),则工单的数量加1,若返回值为NACK(Negative Acknowledgment,否定应答),则不进行工单的数量的累加。
可选地,沙盒的模拟外部接口连接沙盒内部的模拟业务处理模块,但不触发外部接口,如果触发外部接口,则将在外部系统正常统计的工单的数量上加1,导致业务系统的数据混乱。
可选地,模拟外部接口在输出时,直接使用预先设置的返回值ACK,即通过编码实现任何输出都会返回ACK,以进行工单数量的统计。
可选地,模拟外部接口并不能实现生成工单,而是实现在沙盒中“假装”生成工单。
可选地,沙盒的作用是预测工单的数量,在10:05生成一张工单A,应当不影响10:05时业务系统的输出的工单的数量,业务系统将在10:30输出工单A’,工单A和工单A’相同,仅时间聚合窗口不同。
如果在10:05时,模拟外部接口在外部系统根据工单A,在工单的数量上加1,10:30时业务系统调用外部接口在外部系统根据工单A’,在工单的数量上加1,则相同内容的工单数量累加两次,将造成工单的数量出现错误。
因此,采用模拟外部接口,10:05时模拟外部接口不在外部系统中进行累加,而是直接获取自身的返回的ACK,并在自身统计的工单的数量上加1,从而避免与外部系统进行实际的交互导致外部系统数据混乱。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,将沙盒设置于业务系统内,使用模拟外部接口完成工单的数量统计,可降低代码开发成本。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过空接口调用空站点;
接收空站点返回的ACK;
针对每一ACK,将工单的数量加1。
沙盒的设置位置的方式有多种,本发明实施例以其中一种方式为例进行说明。
可选地,沙盒独立部署,设置在业务系统外,需编写一个模拟外部接口,模拟外部接口是对外部接口的模拟。
在本发明实施例中,将模拟外部接口设置为空接口。空接口是现有技术中的虚拟接口。
可选地,每接收一个工单,数据库实例接收INSERT操作,由空站点对POST请求直接返回成功ACK至空接口。
可选地,通过编码实现空接口发送任何POST请求,空站点都会返回ACK,以进行工单数量的统计。
可选地,空接口并不能实现在外部系统中生成工单,而是实现在沙盒中“假装”生成工单,从而避免与外部系统进行实际的交互导致外部系统数据混乱。
可选地,单独构建沙盒,投入成本较高,但沙盒与业务系统完全独立,若需对沙盒的代码进行修改,比较方便,维护的成本低。
可选地,单独部署的沙盒可采用Docker等虚拟化技术实现。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,通过独立部署沙盒,并设置空接口完成工单的数量统计,利于代码维护。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
通过查询接口调用外部系统,获取资源拓扑。
获取资源拓扑的方式有多种,本发明实施例以其中一种方式为例进行说明。
可选地,若沙盒单独部署,设置有查询接口,可根据查询接口调用外部系统,得到外部系统存储维护的资源拓扑。
可选地,查询接口的属性为只读,外部系统可为设置于沙盒外部的数据库,或者HTTP(Hyper Text Transfer Protocol,超文本传输协议)。
若外部系统为数据库,查询接口通过SELECT(选择)语句获取资源拓扑,若外部系统为HTTP,查询接口通过GET(获取)请求获取资源拓扑。
可选地,查询接口对被使用的数据无影响,通过查询接口获取资源拓扑,对资源拓扑数据本身不进行修改。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,通过查询接口或者预先存储的数据表,可实现获取资源拓扑,以供后续根据资源拓扑,确定告警节点的关联关系。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,所述根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
读取预先存储的资源数据,获取资源拓扑。
获取资源拓扑的方式有多种,本发明实施例以其中一种方式为例进行说明。
可选地,无论沙盒单独部署还是部署于业务系统中,沙盒可预先将资源拓扑整合为资源数据,资源数据包括各网络系统的资源拓扑。
可选地,将资源数据存储在内存中,实时读取内存,获取资源拓扑,确定告警节点的关联关系。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,通过预先存储的数据表,可实现获取资源拓扑,以供后续根据资源拓扑,确定告警节点的关联关系。
在上述实施例的基础上,本发明又一实施例提供的预警处理的方法,若业务数据的数据量超过阈值,则发送预警信息的步骤具体为:
将业务数据按照预设维度进行分类;
若任一维度的业务数据的数据量超过阈值,则发送对应的预警信息。
可选地,业务数据可为多种,本发明实施例以业务数据为工单为例进行说明。
可选地,沙盒针对每一接收的工单,按照预设的维度进行分类,并在对应的维度上累加。
可选地,维度是指累加的项目内容,例如维度为一个地市,则沙盒将同一个地市的10:05的工单数量进行累加。
可选地,在超过维度对应的阈值(例如500单)时,发出预警信息至业务系统的监控人员。
本发明实施例其他步骤与前述实施例步骤相似,本发明实施例不再赘述。
本发明实施例提供的预警处理的方法,通过将业务数据按照维度进行分类并累加,可有针对性的对各维度的业务数据的数据量进行监控。
为了更充分理解本发明的技术内容,在上述实施例的基础上,详细说明本发明实施例提供的预警处理的方法。
本发明实施例要解决的技术问题是在不影响业务系统的正常运行的情况下,提前发现可能的业务数据异常,并做出预警。
解决方案的主要思路为:
设置沙盒(模拟环境),同时调整时间聚合窗口,以当前的业务系统的输入数据作为输入,预测未来时间聚合窗口的工单的数量,继而根据确定的结果产生预警通知。
图3为本发明又一实施例提供的解决方案原理示意图。
如图3所示,用沙盒封装业务处理模块(模拟)对数据异常进行确定。
数据缓存模块1:存储业务处理模块8的输入数据。从业务处理模块中共享出来,以便与后续的业务处理模拟数据能保持一致。
沙盒2:功能同业务处理模块8,不同之处在于沙盒2不直接对外输出处理结果,而是把结果传送给异常监控模块5。
模拟外部接口3:是对外部接口7的模拟,目的是避免与外部系统进行实际的交互导致外部系统数据混乱。
异常监控模块5:对业务数据做多维度统计,判断是否出现异常,并依据统计结果发送预警信息。
沙盒、模拟外部接口和异常监控模块共同运行在模拟沙盒中,与已有的处理流程隔离,以避免对现有流程造成影响。
沙盒环境的构建可以有两种构建方法:
一是在业务系统内构建,即利用已有的运行资源来执行模拟过程。
此方法主要由编程实现:
数据缓存部分:模拟流程与正常流程处于同一进程,此单元可以简化,直接读取缓存即可。
外部接口模拟:在编码中简单的采取不触发外部接口而直接使用所需的返回值即可实现,简单直接。
使用模块内构建的优点在于实现简单,对外部依赖很小,编码实现灵活度很高。
缺点在于与正常处理流程代码高度耦合,代码维护成本较高;且由于运行环境共享,因此要预先评估运行资源CPU(Central Processing Unit,中央处理器、内存、带宽等是否能满足同时执行正常业务处理和模拟业务处理两个流程,否则会对系统的处理能力有极大影响,对设计和验证能力要求较高。
二是在业务系统外部构建,即独立部署一个业务处理模块来实现处理过程模拟。
此方法的难点在于外部接口模拟:
业务系统的外部接口类型多样:数据库、Webservice(网络服务)、MQ、(Apache的开源消息总线)、RestfulAPI(表述性状态转移接口)等。
若业务系统具备完善的测试环境,此时可以将测试环境直接作为模拟环境,但需注意测试环境内的各接口的数据是否与生产环境一致,不一致时会直接导致预测偏差。
若测试环境的数据质量不够好时,可以搭建模拟接口。
将接口按照性能分为两类:
一是查询类接口(如数据库的SELECT,http的GET等),这类接口对被使用数据无影响,可以直接使用生产环境的接口,保证数据一致性;
二是修改类接口(如数据库的INSERT,http的POST等),这类接口会影响生产环境的数据,需要实现一个“空接口”接收此类调用。如部署一个数据库实例接收INSERT操作,部署一个空站点对POST请求直接返回成功等,
“空接口”为现有技术,本发明实施例不再赘述。
整个沙盒环境可以使用流行的Docker等虚拟化技术,把所有依赖封装在一个镜像中,可实现对模拟流程的高效管控,降低维护成本。
针对基于时间聚合类的业务处理系统无法有效预知数据异常的问题,本申请对基于时间聚合类的应用系统,提出了一种预测业务数据的数据量异常的方法,同时,结合现有技术的Docker等虚拟化技术,可以较容易的实现对现有系统的改造实施。
图4为本发明又一实施例提供的一种预警处理的装置的结构示意图。
参照图4,在上述实施例的基础上,本发明实施例提供的预警处理的装置,所述装置包括确定模块41和发送模块42,其中:
确定模块41用于根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;发送模块42用于若业务数据的数据量超过阈值,则发送预警信息。
本发明实施例提供的预警处理的装置,可用于执行上述方法实施例的方法,本实施不再赘述。
本发明实施例提供的预警处理的装置,通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,确定模块根据第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
图5示出了本发明又一实施例提供的一种电子设备的结构示意图。
参阅图5,本发明实施例提供的电子设备,所述电子设备包括存储器(memory)51、处理器(processor)52、总线53以及存储在存储器51上并可在处理器上运行的计算机程序。其中,所述存储器51、处理器52通过所述总线53完成相互间的通信。
所述处理器52用于调用所述存储器51中的程序指令,以执行所述程序时实现如图2的方法。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
所述第一输入数据包括多个告警数据,每一告警数据包括告警节点;相应地,确定第一时间聚合窗口输出的业务数据的数据量的步骤具体为:
根据预先获取的资源拓扑,确定各告警节点是否关联;
若是,确定第一时间聚合窗口内关联的告警节点对应的告警数据,输出的工单的数量为1。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过模拟外部接口获取预先设置的正确应答ACK;
针对每一ACK,将工单的数量加1。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过空接口调用空站点;
接收空站点返回的ACK;
针对每一ACK,将工单的数量加1。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
通过查询接口调用外部系统,获取资源拓扑。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
所述根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
读取预先存储的资源数据,获取资源拓扑。
在另一种实施方式中,所述处理器执行所述程序时实现如下方法:
若业务数据的数据量超过阈值,则发送预警信息的步骤具体为:
将业务数据按照预设维度进行分类;
若任一维度的业务数据的数据量超过阈值,则发送对应的预警信息。
本发明实施例提供的电子设备,可用于执行上述方法实施例的方法对应的程序,本实施不再赘述。
本发明实施例提供的电子设备,通过所述处理器执行所述程序时实现通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,并根据第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
本发明又一实施例提供的一种存储介质,所述存储介质上存储有计算机程序,所述程序被处理器执行时实现如图2的步骤。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
所述第一输入数据包括多个告警数据,每一告警数据包括告警节点;相应地,确定第一时间聚合窗口输出的业务数据的数据量的步骤具体为:
根据预先获取的资源拓扑,确定各告警节点是否关联;
若是,确定第一时间聚合窗口内关联的告警节点对应的告警数据,输出的工单的数量为1。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过模拟外部接口获取预先设置的正确应答ACK;
针对每一ACK,将工单的数量加1。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过空接口调用空站点;
接收空站点返回的ACK;
针对每一ACK,将工单的数量加1。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
通过查询接口调用外部系统,获取资源拓扑。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
所述根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
读取预先存储的资源数据,获取资源拓扑。
在另一种实施方式中,所述程序被处理器执行时实现如下方法:
若业务数据的数据量超过阈值,则发送预警信息的步骤具体为:
将业务数据按照预设维度进行分类;
若任一维度的业务数据的数据量超过阈值,则发送对应的预警信息。
本发明实施例提供的存储介质,所述程序被处理器执行时实现上述方法实施例的方法,本实施不再赘述。
本发明实施例提供的存储介质,通过镜像得到与业务系统同步的第一输入数据,设置长度小于业务系统的第二时间聚合窗口长度的第一时间聚合窗口,并根据第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口的业务数据的数据量,在数据量超过阈值时,提前对业务数据进行处理,避免业务数据发生雪崩。
本发明又一实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:
根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
若业务数据的数据量超过阈值,则发送预警信息。
本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
本领域技术人员可以理解,实施例中的各步骤可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种预警处理的方法,其特征在于,所述方法包括:
根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
若业务数据的数据量超过阈值,则发送预警信息。
2.根据权利要求1所述的方法,其特征在于:所述第一输入数据包括多个告警数据,每一告警数据包括告警节点;相应地,确定第一时间聚合窗口输出的业务数据的数据量的步骤具体为:
根据预先获取的资源拓扑,确定各告警节点是否关联;
若是,确定第一时间聚合窗口内关联的告警节点对应的告警数据,输出的工单的数量为1。
3.根据权利要求2所述的方法,其特征在于:所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过模拟外部接口获取预先设置的正确应答ACK;
针对每一ACK,将工单的数量加1。
4.根据权利要求2所述的方法,其特征在于:所述输出的工单的数量为1的步骤之后,所述方法包括:
针对每一工单,通过空接口调用空站点;
接收空站点返回的ACK;
针对每一ACK,将工单的数量加1。
5.根据权利要求4所述的方法,其特征在于:所述根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
通过查询接口调用外部系统,获取资源拓扑。
6.根据权利要求3或4所述的方法,其特征在于:所述根据预先获取的资源拓扑,确定各告警节点是否关联的步骤之前,所述方法包括:
读取预先存储的资源数据,获取资源拓扑。
7.根据权利要求1所述的方法,其特征在于:若业务数据的数据量超过阈值,则发送预警信息的步骤具体为:
将业务数据按照预设维度进行分类;
若任一维度的业务数据的数据量超过阈值,则发送对应的预警信息。
8.一种预警处理的装置,其特征在于,所述装置包括:
确定模块,用于根据预先获取的第一输入数据,基于与业务系统相同的处理逻辑,确定第一时间聚合窗口输出的业务数据的数据量,所述第一输入数据是将第二输入数据进行镜像得到的,所述第二输入数据是输入至业务系统的数据,所述第一时间聚合窗口的长度小于所述业务系统的时间聚合窗口的长度;
发送模块,用于若业务数据的数据量超过阈值,则发送预警信息。
9.一种电子设备,其特征在于,包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7任意一项的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求1-7任意一项的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810209365.3A CN110278100B (zh) | 2018-03-14 | 2018-03-14 | 预警处理的方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810209365.3A CN110278100B (zh) | 2018-03-14 | 2018-03-14 | 预警处理的方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110278100A true CN110278100A (zh) | 2019-09-24 |
CN110278100B CN110278100B (zh) | 2022-04-15 |
Family
ID=67958404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810209365.3A Active CN110278100B (zh) | 2018-03-14 | 2018-03-14 | 预警处理的方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110278100B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112711614A (zh) * | 2021-01-15 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 业务数据管理方法、装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101697545A (zh) * | 2009-10-29 | 2010-04-21 | 成都市华为赛门铁克科技有限公司 | 安全事件关联方法、装置及网络服务器 |
US20100312976A1 (en) * | 2009-06-03 | 2010-12-09 | Hitachi, Ltd. | Method and apparatus for controlling data volume creation in data storage system with dynamic chunk allocation capability |
CN106656590A (zh) * | 2016-12-14 | 2017-05-10 | 北京亿阳信通科技有限公司 | 一种网络设备告警消息风暴的处理方法和装置 |
-
2018
- 2018-03-14 CN CN201810209365.3A patent/CN110278100B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100312976A1 (en) * | 2009-06-03 | 2010-12-09 | Hitachi, Ltd. | Method and apparatus for controlling data volume creation in data storage system with dynamic chunk allocation capability |
CN101697545A (zh) * | 2009-10-29 | 2010-04-21 | 成都市华为赛门铁克科技有限公司 | 安全事件关联方法、装置及网络服务器 |
CN106656590A (zh) * | 2016-12-14 | 2017-05-10 | 北京亿阳信通科技有限公司 | 一种网络设备告警消息风暴的处理方法和装置 |
Non-Patent Citations (1)
Title |
---|
刘威歆等: "基于攻击图的多源告警关联分析方法", 《通信学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112711614A (zh) * | 2021-01-15 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 业务数据管理方法、装置 |
CN112711614B (zh) * | 2021-01-15 | 2024-05-17 | 腾讯科技(深圳)有限公司 | 业务数据管理方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110278100B (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103220173B (zh) | 一种报警监控方法及监控系统 | |
CN107066365A (zh) | 一种系统异常的监测方法及装置 | |
CN106878064A (zh) | 数据监控方法和装置 | |
CN108293067A (zh) | 针对物联网设备管理通信拥塞 | |
KR20180120558A (ko) | 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법 | |
CN105554471A (zh) | 基于事件统计的视频序列智能调整方法及装置 | |
CN103544093A (zh) | 监控报警控制方法及其系统 | |
CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
CN110413498A (zh) | 一种服务器运维大屏监控的方法及系统 | |
CN105653425A (zh) | 基于复杂事件处理引擎的监控系统 | |
CN106254137B (zh) | 监管系统的告警根源分析系统及方法 | |
CN107864063A (zh) | 一种异常监控方法、装置及电子设备 | |
CN104572277A (zh) | 一种线程流控方法和装置 | |
CN107135088B (zh) | 云计算系统中处理日志的方法和装置 | |
CN103001824A (zh) | 一种监控多台服务器的监控系统及监控方法 | |
EP3850513A1 (en) | Malchain detection | |
CN106326461A (zh) | 一种基于网络信令记录的实时处理保障方法及系统 | |
CN111092865B (zh) | 一种安全事件分析方法及系统 | |
CN108509313A (zh) | 一种业务监控方法、平台及存储介质 | |
CN112162829B (zh) | 一种边缘计算场景下的资源监控数据预处理系统 | |
CN115038088B (zh) | 一种智能网络安全检测预警系统和方法 | |
CN111669281A (zh) | 告警分析方法、装置、设备及存储介质 | |
US10862738B2 (en) | System and method for alarm correlation and root cause determination | |
CN110278100A (zh) | 预警处理的方法、装置、电子设备和存储介质 | |
CN108011979A (zh) | 一种智能公厕远程监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |