CN114265739A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114265739A CN114265739A CN202111400697.8A CN202111400697A CN114265739A CN 114265739 A CN114265739 A CN 114265739A CN 202111400697 A CN202111400697 A CN 202111400697A CN 114265739 A CN114265739 A CN 114265739A
- Authority
- CN
- China
- Prior art keywords
- alarm
- data
- alarm data
- time
- target operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种数据处理方法、装置、设备及存储介质。该方法包括:获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;第一告警数据包括监控对象的告警解除时间,第二告警数据包括监控对象的告警发生时间;根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作;目标操作用于指示删除第二告警数据或存储第二告警数据;对第二告警数据执行目标操作。
Description
技术领域
本申请涉及监控技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
告警数据的统计分析和可视化展示能够为故障监控提供有用信息。目前,是从数据库中获取数据进行告警数据的统计分析或可视化展示。
告警数据包括活动告警数据和清除告警数据,活动告警数据用于指示监控对象发生告警,清除告警数据用于指示监控对象已解除告警。业务监控系统往往会发送多条活动告警数据之后发送一条清除告警数据,通常情况下,活动告警数据会先于清除告警数据到达数据库。为了保证数据库的响应速度,数据库会根据告警数据的接收时间清理一些告警数据,即数据库将在清除告警数据之前到达的活动告警数据清除掉。
然而,若活动告警数据晚于清除告警数据到达数据库,则清除告警数据之后到达的活动告警数据会被识别为是告警解除之后产生的新的告警数据,并用于前端进行统计分析和可视化展示,如此,就会造成前端获取到的活动告警数据不准确,导致故障监控出错的问题。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质,用以解决若活动告警数据晚于清除告警数据到达数据库,则清除告警数据之后到达的活动告警数据会被识别为是告警解除之后产生的新的告警数据,并用于前端进行统计分析和可视化展示,如此,就会造成前端获取到的活动告警数据不准确,导致故障监控出错的问题。
第一方面,本申请提供一种数据处理方法,包括:获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;所述第一告警数据包括监控对象的告警解除时间,所述第二告警数据包括所述监控对象的告警发生时间;根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作;所述目标操作用于指示删除所述第二告警数据或存储所述第二告警数据;对所述第二告警数据执行所述目标操作
第二方面,本申请提供一种数据处理装置,包括:获取模块,用于获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;所述第一告警数据包括监控对象的告警解除时间,所述第二告警数据包括所述监控对象的告警发生时间;确定模块,用于根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作;所述目标操作用于指示删除所述第二告警数据或存储所述第二告警数据;执行模块,用于对所述第二告警数据执行所述目标操作。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
本申请提供的数据处理方法、装置、设备及存储介质,通过获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据,第一告警数据包括监控对象的告警解除时间,第二告警数据包括监控对象的告警发生时间,根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作;目标操作用于指示删除第二告警数据或存储第二告警数据;对第二告警数据执行目标操作。由于是根据第一时间、第二时间、告警解除时间和告警发生时间,确定删除第二告警数据或存储第二告警数据,因此,能够提高告警记录的清除准确度。进一步地,根据告警发生时间和告警解除时间,能够将同一监控对象的告警解除时间之前的所有第一告警数据进行处理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为现有技术的数据处理方法的架构图;
图2为本申请实施例提供的数据处理系统的架构图;
图3为本申请实施例提供的数据处理系统的架构图;
图4为本申请实施例提供的数据处理方法的流程图一;
图5为本申请实施例提供的数据处理方法的流程图二;
图6为本申请实施例提供的数据处理方法的流程图三;
图7为本申请实施例提供的另一种应用场景图;
图8为本申请实施例提供的基于图7的架构图;
图9为本申请实施例提供的数据处理装置的结构示意图;
图10为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1为现有技术的数据处理方法的架构图。如图1所示,该架构包括:业务系统10、业务监控系统11、数据库12和终端设备13;
业务监控系统11可以通过埋点等方式在业务系统10中设置多个采集点,并采集业务系统10的运行数据,以及发送业务系统10的运行数据至业务监控系统11,业务监控系统11通过业务监控策略确定监控对象10是否运行正常,若判断为运行非正常,则会发送告警数据至数据库12。数据库12将告警数据进行存储,并记录每个告警数据的接收时间。
进而,用户通过终端设备13可以从数据库12中获取告警数据进行报表分析、数据查询等。之后,根据接收时间对告警数据进行清理。示例性地,数据库12在t1、t2和t3时刻依次接收到活动告警数据a1、a2和a3,并在t4时刻接收到一条清除告警数据c1,以及在t5时刻接收到一条活动告警数据a4,t1、t2、t3、t4和t5为由前至后的时间顺序,即t1早于t2,t2早于t3,t3早于t4,t4早于t5。另外,活动告警数据a1、a2、a3和a4,以及清除告警数据c1分别对应有数据生成时间,且依次为t’1、t’2、t’3、t’4和t’5,即业务监控系统11生成活动告警数据或清除告警数据的时间。若上述数据的数据生成时间按照由前至后的时间顺序依次为t’1、t’2、t’3、t’5和t’4,则活动告警数据a4会被识别为是新产生的告警数据。
则在前端进行统计分析和可视化展示时,若需要获取在当前时刻的活动告警数据的数量,就会获取到一条活动告警数据,而实际上当前时刻并不存在活动告警数据。如此,就会造成前端获取到的活动告警数据不准确,导致故障监控出错的问题。
针对上述技术问题,本申请的发明人提出如下技术构思:在对活动告警数据进行清理时,增加活动告警数据的告警发生时间和清除告警数据的告警解除时间的考虑因素,即根据活动告警数据的接收时间、活动告警数据的告警发生时间、清除告警数据的接收时间和清除告警数据的告警解除时间,确定是否需要对活动告警数据进行清理,从而避免仅根据接收时间导致的误处理的问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的数据处理系统的架构图。如图2所示,该应用场景包括:监控对象21、业务监控系统22、数据处理设备23、第一服务器24、第二服务器25、第一终端设备26和第二终端设备27;
监控对象21可以是业务系统,业务监控系统22可以通过埋点等方式在业务系统中设置多个采集点,并采集业务系统的运行数据,以及发送业务系统的运行数据至业务监控系统22,业务监控系统22根据业务监控策略生成告警数据,并发送至数据处理设备23;
数据处理设备23中部署有大数据计算引擎Flink,Flink可以应用于高实时性场景下的实时计算,具有支持高吞吐、低延迟、高性能等特点。
第一服务器24为数据仓库服务器,第一服务器24中设置有数据仓库,数据仓库可以是Clickhouse数据仓库。Clickhouse是一种大规模的并行处理架构的联机分析处理(On-Line Analytical Processing,OLAP)数据库适合在线分析场景。在数据处理系统的数据存储层,使用Clickhouse保存告警数据,还可以将告警数据进行三层划分,分别是数据准备区(Operation Data Store,ODS)、数据明细层(Data Warehouse Details,DWD)和数据服务层(Data Warehouse Service,DWS);其中,数据准备区也称为数据原始层,数据服务层也称为指标汇总层。ODS层包括第一告警数据表和第二告警数据表,DWD层包括无线网、传输网、接入网等不同网络类型的告警明细表。DWS层包括基站断站、小区退服等指标汇总表。告警明细表和指标汇总表为业务报表分析提供数据支撑,使第二终端设备通过结构化查询语言(Structured Query Language,SQL)能够方便的分析告警指标,查看告警详情。
第二服务器25中设置有内存数据库,内存数据库可以是Redis数据库。
业务监控系统22产生的告警数据,通过Kafka消息队列传输至数据处理设备23,数据处理设备23通过数据仓库技术(Extract Transform Load,ETL)将告警数据进行抽取(extract)、转换(transform)、加载(load)后,得到第一告警数据和第二告警数据。
其中,第一终端设备26可以是大屏设备,第二终端设备是具有报表分析能力的设备,例如智能手机、平板电脑、台式电脑、笔记本电脑、服务器等。
具体地,数据处理设备23可以将第一告警数据和第二告警数据发送至第一服务器24,第一服务器24将第一告警数据和第二告警数据存储至数据仓库。以及,数据处理设备23将第一告警数据和第二告警数据发送至第二服务器25,第二服务器25将第一告警数据和第二告警数据存储至内存数据库。
图3为本申请实施例提供的数据处理系统的架构图。如图3所示,该架构包括数据源层、数据仓库技术(Extract-Transform-Load,ETL)层、数据存储层和数据应用层;
其中,ETL层通过大数据计算引擎Flink来实现,大数据计算引擎Flink包括数据接入(DataSource)模块、数据处理(Transformation)模块和数据输出(DataSink)模块;
其中,DataSource模块,通过Kafka数据连接器实时接收Kafka发送的原始告警数据。原始告警数据为JavaScript对象简谱(JavaScript Object Notation,JSON)字符串的格式。
Transformation模块,用于解析原始告警数据。例如,对关键字段,如告警发生时间、告警清除时间做日期格式的校验,对告警唯一标识和告警状态做非空校验。告警状态包括第一状态和第二状态,第一状态用于指示监控对象发生告警,第二状态用于指示监控对象已解除告警。若告警状态为第一状态,则将告警数据确定为第一告警数据;若告警状态为第二状态,则将告警数据确定为第二告警数据。
DataSink模块,定义数据库系统连接器,通过Clickhouse连接器将第一告警数据插入Clickhouse中的第一告警数据表,将第二告警数据插入Clickhouse中的第二告警数据表。以及,通过Redis连接器,将第一告警数据和第二告警数据插入Redis数据库中的第三告警数据表中。
进一步地,第三告警数据表则为第一业务应用类型对应的应用提供数据查询功能。示例性地,第一终端设备26可以向第二服务器25发送数据获取请求,以从第三告警数据表中获取第一告警数据和/或第二告警数据,第一终端设备26可以将第一告警数据和/或第二告警数据用于进行大屏展示。
而第一服务器24还可以根据第一告警数据表和第二告警数据表,生成关联数据表,并存储至数据仓库,关联数据表用于为第二业务应用类型对应的应用,例如报表分析类应用提供数据源。示例性地,第二终端设备27可以向第一服务器24发送数据数据获取请求,以从关联数据表中获取第一告警数据和/或第二告警数据,第二终端设备27可以将第一告警数据和/或第二告警数据用于进行数据报表分析。
应理解,在一些实施例中,数据仓库和内存数据库还可以设置在同一个服务器上。
在一些实施例中,可以将第一服务器24配置为接收来自第二终端设备26的报表分析请求,并从数据仓库获取报表分析所需的数据源,以及将数据源发送至第二终端设备26。以及将第二服务器25配置为接收来自第一终端设备26的数据查询请求,并从第二服务器25中获取大屏展示所需的数据,以及将大屏展示的数据发送至第一终端设备26。
基于图2示出的应用场景,图4为本申请实施例提供的数据处理方法的流程图一。如图4所示,该数据处理方法,包括如下步骤:
S401、获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;第一告警数据包括监控对象的告警解除时间,第二告警数据包括监控对象的告警发生时间。
本实施例的执行主体可以为图2中的数据处理系统。具体地,步骤S401的执行主体可以是第一服务器。则在步骤S401之前,第一服务器24可以执行如下步骤:
S400a1、在第一时间接收第一告警数据,以及,在第二时间接收第二告警数据;第一时间与第二时间为不同时间。
具体的,第一服务器是接收数据处理设备发送的第一告警数据和第二告警数据。
S400a2、将第一告警数据存储至数据仓库的第一告警数据表,以及,将第二告警数据存储至数据仓库的第二告警数据表。
其中,第一告警数据表和第二告警数据表,可以用于生成关联数据表,关联数据表用于为第二业务应用类型对应的应用提供数据源。则在步骤S400a2的基础上,第一服务器还可以执行步骤S400a3:根据第一告警数据表和第二告警数据表,生成关联数据表;将关联数据表存储至数据仓库。
在一些实施例中,第一服务器还可以根据第一告警数据表和第二告警数据表,生成无线网告警数据表、传输网告警数据表或接入网告警数据表。
则步骤S401中,第一服务器是从第一告警数据表中获取第一告警数据,以及,从第二告警数据表中获取第二告警数据。
步骤S401的执行主体还可以是第二服务器,则在步骤S401之前,第二服务器可以执行如下步骤:
S400b1、在第一时间接收第一告警数据,以及,在第二时间接收第二告警数据;第一时间与第二时间为不同时间。
具体的,第二服务器是接收数据处理设备发送的第一告警数据和第二告警数据。
S400b2、将第一告警数据和第二告警数据存储至内存数据库的第三告警数据表。
相应地,步骤S401中,第二服务器是从第三告警数据表中获取第一告警数据和第二告警数据。
S402、根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作;目标操作用于指示删除第二告警数据或存储第二告警数据。
在一些实施例中,根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,包括:第二服务器若确定出第一时间位于第二时间之后,且告警解除时间位于告警发生时间之后,则确定目标操作为存储第二告警数据。
在另一些实施例中,根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,包括:
a1、第二服务器若确定出第一时间位于第二时间之前,且告警解除时间位于告警发生时间之后,则获取第一告警数据对应的业务应用类型。
a2、第二服务器根据第一告警数据对应的业务应用类型,确定目标操作。
其中,步骤a2包括:若第一告警数据对应的业务应用类型为第一业务应用类型,则确定目标操作为删除第二告警数据;若第一告警数据对应的业务应用类型为第二业务应用类型,则确定目标操作为将第二告警数据的状态设置为第一状态,第一状态用于指示第二告警数据为已解除告警的告警发生数据。
可选的,第一业务应用类型可以是数据查询类应用,例如大屏展示类应用,由于第一业务应用类型为数据查询,而数据查询通常为查询第一告警数据,则可以直接将第二告警数据删除。
可选的,第二业务应用类型可以是数据报表分析类应用,由于数据报表分析类应用通常需要较为详细的数据,即同时需要第一告警数据和第二告警数据,则可以是在第二告警数据表中继续保留第二告警数据,但是可以将第二告警数据的状态设置为第一状态,以指示第二告警数据为已解除告警的告警发生数据。例如,将第二告警数据的状态设置为0,表示第二告警数据为已解除告警的告警发生数据。
S403、对第二告警数据执行目标操作。
具体的,若步骤S402中确定的目标操作为存储第二告警数据,则相应地,S403是继续存储第二告警数据,即不删除第二告警数据。
若步骤S402中确定的目标操作为删除第二告警数据,则相应地,S403是删除第二告警数据。
若步骤S402中确定的目标操作为将第二告警数据的状态设置为第一状态,则相应地,S403是将第二告警数据的状态设置为第一状态。
本实施例通过获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据,第一告警数据包括监控对象的告警解除时间,第二告警数据包括监控对象的告警发生时间,根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作;目标操作用于指示删除第二告警数据或存储第二告警数据;对第二告警数据执行目标操作。由于是根据第一时间、第二时间、告警解除时间和告警发生时间,确定删除第二告警数据或存储第二告警数据,因此,能够提高告警记录的清除准确度。进一步地,根据告警发生时间和告警解除时间,能够将同一监控对象的告警解除时间之前的所有第一告警数据进行合理处理。
在上述实施例的基础上,图5为本申请实施例提供的数据处理方法的流程图二。如图5所示,根据第一告警数据表和第二告警数据表,生成关联数据表之后,还包括:
S501、接收终端设备通过第二业务应用类型的应用发送的数据获取请求。
本实施例中的终端设备可以是第二终端设备。
S502、根据数据获取请求,从关联数据表中获取数据源。
本实施例中,关联数据表可以是不同网络类型的网络的明细表,例如无线网告警明细表、传输网告警明细表或接入网告警明细表。
S503、向终端设备发送数据源。
本实施例的执行主体可以是第一服务器,终端设备可以是图2中的第二终端设备。示例性地,第二终端设备通过第二业务应用类型的应用,例如报表分析应用向第一服务器发送无线网告警数据的获取请求,则第一服务器从无线网告警明细表中获取无线网的告警数据,并返回第二终端设备。
在上述方法实施例的基础上,图6为本申请实施例提供的数据处理方法的流程图三。如图6所示,将第一告警数据和第二告警数据存储至第三告警数据表之后,还包括:
S601、接收终端设备通过第一业务应用类型的应用发送的数据查询请求。
本实施例中的终端设备可以是第一终端设备。
S602、根据数据查询请求,从第三告警数据表中获取数据查询结果。
S603、向终端设备发送数据查询结果。
本实施例的执行主体可以是第二服务器,终端设备可以是图2中的第一终端设备。示例性地,第一终端设备通过第一业务应用类型的应用,例如大屏展示应用向第二服务器发送无线网告警数据的获取请求,则第二服务器从第三告警数据表中获取第一告警数据和/或第二告警数据,并返回第一终端设备。
在上述实施例的基础上,若图4所示实施例的执行主体为第一服务器,则还可以是由第一服务器接收数据处理设备发送的第一告警数据和第二告警数据,并将第一告警数据存储至数据仓库中的第一告警数据表,以及,将第二告警数据存储至数据仓库中的第二告警数据表。并向第二服务器发送控制指令、第一告警数据和第二告警数据,以指示第二服务器接收第一告警数据和第二告警数据,并将第一告警数据和第二告警数据存储至内存数据库的第三告警数据表。而第一服务器不仅可以从数据仓库获取第一告警数据和第二告警数据,并根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,以及对第二告警数据执行目标操作,还可以从第二服务器获取第一告警数据和第二告警数据,并根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,以及对第二服务器中的第二告警数据执行目标操作。进一步地,第一服务器还可以执行如下方法步骤:
步骤b1、接收终端设备发送的数据处理请求,该数据处理请求中包括业务应用类型的标识。
步骤b2、根据业务应用类型的标识,确定数据处理请求中的业务应用类型。
示例性地,可以预先设置第一业务应用类型的标识为0,以及设置第二业务应用类型的标识为1,则可以根据业务应用类型的标识为1或者0,来确定业务应用类型是第一业务应用类型或第二业务应用类型。
在另一些示例中,业务应用类型的标识还可以是业务应用类型的名称,则可以根据业务应用类型的名称,确定业务应用类型是第一业务应用类型或第二业务应用类型。
步骤b3、若数据处理请求中的业务应用类型为第一业务应用类型,则根据所述数据查询请求,从所述第三告警数据表中获取数据查询结果,并向所述终端设备发送所述数据查询结果。
其中,步骤b3中根据所述数据查询请求,从所述第三告警数据表中获取数据查询结果,并向所述终端设备发送所述数据查询结果可以参见图6所示实施例的介绍。
步骤b4、若数据处理请求中的业务应用类型为第二业务应用类型,则根据所述数据获取请求,从所述关联数据表中获取所述数据源,并向所述终端设备发送所述数据源。
其中,步骤b4中根据所述数据获取请求,从所述关联数据表中获取所述数据源,并向所述终端设备发送所述数据源可以参见图5所示实施例的介绍。
同样地,图4所示实施例的执行主体还可以为第二服务器,则还可以是由第二服务器接收数据处理设备发送的第一告警数据和第二告警数据,并将第一告警数据和第二告警数据存储至内存数据库的第三告警数据表。以及向第二服务器发送控制指令、第一告警数据和第二告警数据,以指示第一服务器接收第一告警数据和第二告警数据,以及将第一告警数据存储至数据仓库中的第一告警数据表,和将第二告警数据存储至数据仓库中的第二告警数据表。进一步地,第二服务器不仅可以从内存数据库获取第一告警数据和第二告警数据,并根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,以及对第一服务器中的第二告警数据执行目标操作,还可以从第一服务器获取第一告警数据和第二告警数据,并根据第一时间、第二时间、告警解除时间和告警发生时间,确定目标操作,以及对第一服务器中的第二告警数据执行目标操作。进一步地,第二服务器还可以执行图8中的方法步骤b1至b4。
图7为本申请实施例提供的另一种应用场景图。如图7所示,在图2的基础上,还可以增加一控制设备71,控制设备71分别连接至第一服务器、第二服务器和数据处理设备。
图8为本申请实施例提供的基于图7的架构图。如图7和图8所示,在一些场景中,第一终端设备可以通过第一业务应用类型的应用发送数据查询请求,也可以通过第二业务应用类型的应用发送数据获取请求。同样地,第二终端设备也可以通过第一业务应用类型的应用发送数据查询请求,以及,通过第二业务应用类型的应用发送数据获取请求。则本实施例可以通过控制设备接收第一终端设备或第二终端设备发送的请求,并对接收到的请求进行判断,以确定该请求是通过第二业务应用类型的应用发送的数据获取请求还是通过第一业务应用类型的应用发送的数据查询请求。
而在图7的应用场景的基础上,数据处理设备23也可以将第一告警数据和第二告警数据发送至控制设备,由控制设备将第一告警数据和第二告警数据存储至数据仓库,以及将第一告警数据和第二告警数据存储至内存数据库。
在一些实施例中,还可以将控制设备的功能集成在数据处理设备上,即基于图2所示的应用场景,方法的执行主体为数据处理设备。即数据处理设备能够对数据仓库和内存数据库中的数据进行读写。
在上述方法实施例的基础上,图9为本申请实施例提供的数据处理装置的结构示意图。如图9所示,该数据处理装置包括:获取模块91、确定模块92和执行模块93;其中,获取模块91,用于获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;所述第一告警数据包括监控对象的告警解除时间,所述第二告警数据包括所述监控对象的告警发生时间;确定模块92,用于根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作;所述目标操作用于指示删除所述第二告警数据或存储所述第二告警数据;执行模块93,用于对所述第二告警数据执行所述目标操作。
在一些实施例中,确定模块92根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作,包括:若所述第一时间位于所述第二时间之后,且所述告警解除时间位于所述告警发生时间之后,则确定所述目标操作为存储所述第二告警数据。
在一些实施例中,确定模块92根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作,包括:若所述第一时间位于所述第二时间之前,且所述告警解除时间位于所述告警发生时间之后,则获取所述第一告警数据对应的业务应用类型;根据所述第一告警数据对应的业务应用类型,确定所述目标操作。
在一些实施例中,确定模块92根据所述第一告警数据对应的业务应用类型,确定所述目标操作,包括:若所述第一告警数据对应的业务应用类型为第一业务应用类型,则确定所述目标操作为删除所述第二告警数据。
在一些实施例中,确定模块92根据所述第一告警数据对应的业务应用类型,确定是否删除所述第二告警数据,包括:若所述第一告警数据对应的业务应用类型为第二业务应用类型,则确定所述目标操作为将所述第二告警数据的状态设置为第一状态,所述第一状态用于指示所述第二告警数据为已解除告警的告警发生数据。
在一些实施例中,该装置还包括:第一接收模块94,用于在第一时间接收第一告警数据,以及,在第二时间接收第二告警数据;存储模块95,用于将所述第一告警数据存储至数据仓库的第一告警数据表,以及,将所述第二告警数据存储至所述数据仓库的第二告警数据表。
在一些实施例中,该装置还包括:生成模块96,根据所述第一告警数据表和所述第二告警数据表,生成关联数据表,所述关联数据表用于为所述第二业务应用类型对应的应用提供数据源;存储模块95,还用于将所述关联数据表存储至数据仓库。
在一些实施例中,该装置还包括:第二接收模块97和发送模块98;所述第二接收模块97,还用于接收终端设备通过所述第二业务应用类型的应用发送的数据获取请求;获取模块91,还用于根据所述数据获取请求,从所述关联数据表中获取所述数据源;发送模块98,用于向所述终端设备发送所述数据源。
在一些实施例中,存储模块95,还用于将所述第一告警数据和所述第二告警数据存储至内存数据库的第三告警数据表;所述第三告警数据表用于为所述第一业务应用类型对应的应用提供数据查询请求所需的数据。
在一些实施例中,该装置还包括:所述第二接收模块97,还用于接收终端设备通过所述第一业务应用类型的应用发送的数据查询请求;获取模块91,还用于根据所述数据查询请求,从所述第三告警数据表中获取数据查询结果;发送模块98,用于向所述终端设备发送所述数据查询结果。
本实施例的数据处理装置,可以是上述实施例中的控制设备。
本申请实施例提供的数据处理装置,可用于执行上述实施例中数据处理方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,确定模块92可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块92的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
图10为本申请实施例提供的电子设备的结构示意图。如图10所示,该电子设备可以包括:收发器101、处理器102、存储器103。
处理器102执行存储器存储的计算机执行指令,使得处理器102执行上述实施例中的方案。处理器102可以是通用处理器,包括中央处理器CPU、网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器103通过系统总线与处理器102连接并完成相互间的通信,存储器103用于存储计算机程序指令。
收发器101可以用于接收数据获取请求,和返回数据源,以及返回数据查询结果。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory)。
本申请实施例提供的电子设备,可以是上述实施例的控制设备。
本申请实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中数据处理方法的技术方案。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行上述实施例数据处理方法的技术方案。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,其存储在计算机可读存储介质中,至少一个处理器可以从计算机可读存储介质读取计算机程序,至少一个处理器执行计算机程序时可实现上述实施例中数据处理方法的技术方案。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (13)
1.一种数据处理方法,其特征在于,包括:
获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;所述第一告警数据包括监控对象的告警解除时间,所述第二告警数据包括所述监控对象的告警发生时间;
根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作;所述目标操作用于指示删除所述第二告警数据或存储所述第二告警数据;
对所述第二告警数据执行所述目标操作。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作,包括:
若所述第一时间位于所述第二时间之后,且所述告警解除时间位于所述告警发生时间之后,则确定所述目标操作为存储所述第二告警数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作,包括:
若所述第一时间位于所述第二时间之前,且所述告警解除时间位于所述告警发生时间之后,则获取所述第一告警数据对应的业务应用类型;
根据所述第一告警数据对应的业务应用类型,确定所述目标操作。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一告警数据对应的业务应用类型,确定所述目标操作,包括:
若所述第一告警数据对应的业务应用类型为第一业务应用类型,则确定所述目标操作为删除所述第二告警数据。
5.根据权利要求3所述的方法,其特征在于,所述根据所述第一告警数据对应的业务应用类型,确定是否删除所述第二告警数据,包括:
若所述第一告警数据对应的业务应用类型为第二业务应用类型,则确定所述目标操作为将所述第二告警数据的状态设置为第一状态,所述第一状态用于指示所述第二告警数据为已解除告警的告警发生数据。
6.根据权利要求5所述的方法,其特征在于,所述获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据之前,还包括:
在第一时间接收第一告警数据,以及,在第二时间接收第二告警数据;
将所述第一告警数据存储至数据仓库的第一告警数据表,以及,将所述第二告警数据存储至所述数据仓库的第二告警数据表。
7.根据权利要求6所述的方法,其特征在于,所述将所述第一告警数据存储至第一告警数据表,以及,将所述第二告警数据存储至第二告警数据表之后,还包括:
根据所述第一告警数据表和所述第二告警数据表,生成关联数据表;所述关联数据表用于为所述第二业务应用类型对应的应用提供数据源;
将所述关联数据表存储至所述数据仓库。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一告警数据表和所述第二告警数据表,生成关联数据表之后,还包括:
接收终端设备通过所述第二业务应用类型的应用发送的数据获取请求;
根据所述数据获取请求,从所述关联数据表中获取所述数据源;
向所述终端设备发送所述数据源。
9.根据权利要求4所述的方法,其特征在于,所述获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据之前,还包括:
将所述第一告警数据和所述第二告警数据存储至内存数据库的第三告警数据表;所述第三告警数据表用于为所述第一业务应用类型对应的应用提供数据查询请求所需的数据。
10.根据权利要求9所述的方法,其特征在于,所述将所述第一告警数据和所述第二告警数据存储至第三告警数据表之后,还包括:
接收终端设备通过所述第一业务应用类型的应用发送的数据查询请求;
根据所述数据查询请求,从所述第三告警数据表中获取数据查询结果;
向所述终端设备发送所述数据查询结果。
11.一种数据处理装置,其特征在于,包括:
获取模块,用于获取第一时间接收到的第一告警数据和第二时间接收到的第二告警数据;所述第一告警数据包括监控对象的告警解除时间,所述第二告警数据包括所述监控对象的告警发生时间;
确定模块,用于根据所述第一时间、所述第二时间、所述告警解除时间和所述告警发生时间,确定目标操作;所述目标操作用于指示删除所述第二告警数据或存储所述第二告警数据;
执行模块,用于对所述第二告警数据执行所述目标操作。
12.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111400697.8A CN114265739A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111400697.8A CN114265739A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114265739A true CN114265739A (zh) | 2022-04-01 |
Family
ID=80825428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111400697.8A Pending CN114265739A (zh) | 2021-11-19 | 2021-11-19 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114265739A (zh) |
-
2021
- 2021-11-19 CN CN202111400697.8A patent/CN114265739A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633016B (zh) | 数据处理方法及装置和电子设备 | |
CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
EP4083810A1 (en) | Query method and apparatus suitable for olap query engine | |
CN112035344A (zh) | 多场景测试方法、装置、设备和计算机可读存储介质 | |
CN112835885B (zh) | 一种分布式表格存储的处理方法、装置及系统 | |
CN114844771A (zh) | 微服务系统的监测方法、装置、存储介质、程序产品 | |
CN110717130B (zh) | 打点方法、装置、终端及存储介质 | |
CN112148508B (zh) | 一种信息处理的方法及相关装置 | |
CN113220522A (zh) | 服务异常自动定位方法和装置 | |
CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
CN112363838A (zh) | 数据处理方法及装置、存储介质、电子装置 | |
CN110865918A (zh) | 数据库的监控方法、装置、计算机设备和存储介质 | |
CN114265739A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113965447B (zh) | 一种在线云诊断方法、装置、系统、设备及存储介质 | |
CN111708689B (zh) | 一种修改ab实验的方法、装置及电子设备 | |
CN115220992A (zh) | 接口变更监控方法、装置、计算机设备和存储介质 | |
CN113872814A (zh) | 内容分发网络的信息处理方法、装置和系统 | |
CN111782428A (zh) | 数据调用系统以及方法 | |
CN110196862B (zh) | 一种数据场景构造方法、装置、服务器与系统 | |
CN116578548B (zh) | 数据库管理方法、系统、电子设备及存储介质 | |
CN115529250B (zh) | 流量回放方法、装置、电子设备及存储介质 | |
CN117135077A (zh) | 虚拟地址访问故障处理方法、装置和计算机设备 | |
CN117493298A (zh) | 数据库管理方法及装置、电子设备及存储介质 | |
CN116701375A (zh) | 一种数据实时核对方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |