CN112380091A - 一种服务运行情况监控方法、装置和相关设备 - Google Patents
一种服务运行情况监控方法、装置和相关设备 Download PDFInfo
- Publication number
- CN112380091A CN112380091A CN202011270970.5A CN202011270970A CN112380091A CN 112380091 A CN112380091 A CN 112380091A CN 202011270970 A CN202011270970 A CN 202011270970A CN 112380091 A CN112380091 A CN 112380091A
- Authority
- CN
- China
- Prior art keywords
- log
- monitoring
- data
- service
- monitored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000012806 monitoring device Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005111 flow chemistry technique Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 13
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书一个或多个实施例提出一种服务运行情况监控方法,包括:获取服务运行的流水日志;提取流水日志中的交易日志;对交易日志进行格式转换,得到日志数据对象;对日志数据对象进行实时计算,得到待监控对象;以及将待监控对象接入数据库,应用监控平台调用数据库数据进行服务监控和/或流水查询。对应上述方法,本说明书的实施例还提出了一种服务运行情况监控装置和相关设备。
Description
技术领域
本说明书一个或多个实施例涉及数据分析处理技术领域,尤其涉及一种服务运行情况监控方法、装置和相关设备。
背景技术
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案,是服务调用链路中较重要的一个部分。HAProxy的服务运行状态,节点健康度等数据的监控对保障系统高可用,提升突发事件应急响应能力有重要意义。通过配置HAProxy监控,可以获得一个web页面,显示HAProxy的各种信息,方便管理员查看系统状态、队列请求数量、会话情况、字节输入输出总量和错误数等运行监控数据。然而,现有的HAProxy服务运行情况监控方案存在业务监控能力弱,且监控数据无法持久化、数据集成度低等问题,不利于问题的分析、跟踪定位。
基于此,需要一种具有较强业务监控能力,能够实现持久监控数据并且集成各项数据的服务运行情况监控方案。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种服务运行情况监控方法、装置和相关设备。
基于上述目的,本说明书一个或多个实施例提供了一种服务运行情况监控方法,包括:
获取服务运行的流水日志;
提取所述流水日志中的交易日志;
对所述交易日志进行格式转换,得到日志数据对象;
对所述日志数据对象进行实时计算,得到待监控对象;以及
将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
基于同一发明构思,本说明书一个或多个实施例还提供了一种服务运行情况监控装置,包括:
获取模块,被配置为获取服务运行的流水日志;
提取模块,被配置为提取所述流水日志中的交易日志;
转换模块,被配置为对所述交易日志进行格式转换,得到日志数据对象;
计算模块,被配置为对所述日志数据对象进行实时计算,得到待监控对象;以及
查询模块,被配置为将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
基于同一发明构思,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一项所述的方法。
基于同一发明构思,本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一所述方法。
从上面所述可以看出,本说明书一个或多个实施例提供的服务运行情况监控方法、装置和相关设备,基于服务运行流水日志,对其进行校验和处理,得到其中的待监控对象,然后再对待监控对象进行监控,可以实现对通过HAProxy软负载的流量进行交易总数、通讯成功数、业务失败数、错误码分类统计和响应时间分档统计等监控,保障了服务质量。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例服务运行情况监控方法流程图;
图2为本说明书一个或多个实施例处理日志数据步骤的流程图;
图3为本说明书一个或多个实施例处理日志数据路线的示意图;
图4为本说明书一个或多个实施例服务运行情况监控装置结构示意图;
图5为本说明书一个或多个实施例电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
如背景技术部分所述,现有的HAProxy监控存在业务监控能力弱,且监控数据无法持久化、数据集成度低等问题,不利于问题的分析、跟踪定位。申请人在实现本公开的过程中发现,现有的HAProxy服务运行情况监控系统获取的监控数据往往停留在技术层面,没有与业务本身紧密结合,没有关注到服务的可用性和服务错误码等问题。当问题产生之后对于用户而言,无法了解主机上服务真正的运行情况,因此当故障发生后,这些节点信息并不能有效的支持用户对于故障根源问题的分析和定位。而且HAProxy原生监控数据较零散分散,缺乏对监控数据统计处理,不利于直观的查看监控数据。
有鉴于此,本说明书一个或多个实施例提供了一种服务运行情况监控方案,具体的,首先获取服务运行的流水日志,通过清洗过滤得到上述流水日志中的交易日志,在对上述交易日志进一步进行格式转换和实时计算后,将处理后的交易日志数据接入应用监控平台进行监控和/或查询。
可见,本说明书一个或多个实施例的服务运行情况监控方案,基于服务运行流水日志,对其进行校验和处理,得到其中的待监控对象,然后再对待监控对象进行监控,可以实现对通过HAProxy软负载的流量进行监控,并能根据实际情况进行预警的功能,提高了通过HAProxy软负载的流量的可见性和对流量数据的查询效率,保障了服务质量。
以下,通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。
参考图1,本说明书一个实施例的服务运行情况监控方法,包括以下步骤:
S101、获取服务运行的流水日志。
在本说明书的一个实施例中,上述获取服务运行的流水日志具体可以包括:由HAProxy进行日志采集以获取服务运行的流水日志,并将采集的日志数据发送至Kafka进行后续处理。
具体地,在上述步骤中,日志采集可以通过rsyslog进行,再通过udp的方式获取HAProxy的log输入,然后通过omkafka输出到Kafka队列。
需要说明的是,HAProxy在默认情况不会记录日志。因此,为了进行日志采集,在本说明书的实施例中,需要预先在haproxy.conf中的global段指定日志的输出,此外,还需要配置系统日志的配置文件。
S102、提取上述流水日志中的交易日志。
可以理解,上述流水日志通常包括:交易日志、启停日志和其他数据。因此,在本说明书的一些实施例中,在上述S102,可以通过对上述流水日志进行数据清洗,仅保留其中的交易日志部分。
作为本说明书的一个示例,在上述步骤S102中,通过数据清洗可以得到交易日志如下:
2019-07-30T17:05:50+08:00localhost haproxy[11139]:10.18.156.29:64522[30/Jul/2019:17:05:50.517]sesb_api n3s_nodelist/node01 0/0/1/2/3 4041442------2/1/0/1/0 0/0{20190719ASDFGHJKL|N3S|CustomerProcedureService|000000|123}{|1|}\"POST/ESB/CMDS/CustomerProcedureService HTTP/1.1\""
作为本说明书的另一个示例,在上述步骤S102中,通过数据清洗可以得到交易日志如下:
2019-07-30T17:05:50+08:00localhost haproxy[11139]
S103、对上述交易日志进行格式转换,得到日志数据对象。
在本说明书的一些实施例中,对上述交易日志进行格式转换具体可以参考图2所示的流程,具体可以包括:
S201,对上述交易日志进行切分处理,得到至少一个数据字段。
具体地,可以按照交易日志中的空格对交易日志进行切分。
例如,对于上述交易日志:2019-07-30T17:05:50+08:00localhost haproxy[11139],按其中空格切分后可以得到下面的三个数据字段:
2019-07-30T17:05:50+08:00
localhost
haproxy[11139]
在本说明书的另一些实施例中,在进行上述切分处理后,还可以进一步根据切分后的数据字段的数量对交易日志做进一步过滤。
具体地,由于正常的交易日志包含17个数据字段,因此,在本说明书的实施例中,在对交易日志进行切分后,可以仅保留切分后数据字段数量为17的交易日志,也就是说,如果一个交易日志在切分后的数据字段的数量不为17,则可以将该交易日志丢弃。这样做的目的在于去除无效和数据缺失的交易日志,只保留完整的有查询意义的交易日志。
S202,将上述至少一个数据字段按照预先设置的日志数据对象格式转换为JSON对象,得到上述日志数据对象。
在本说明书的一些实施例中,预先设置一个具有固定格式的JSON对象,在将上述交易日志经过切分得到的至少一个数据字段后,将上述至少一个数据字段的内容添加至上述具有固定格式的JSON对象的相应位置上,从而得到上述日志数据对象。
例如,切分之后的交易日志中有a、b两个字段,交易日志中某行值分别为v_a、v_b,则拼成key-value格式的JSON字符串为{a:v_a,b:v_b},即“列名:列值”。
例如,在本说明书的一个示例中,将切分后的至少一个数据字段添加至预先设置的JSON对象的相应位置后可以得到如下所示的日志数据对象:
{"allUseTime":"3","branchNo":"000000","bsUseTime":"2","buzKeyType":"","db Channel":"002","destSys":"CMDS","domainName":"n3s_nodelist","esbUseTime":"1","ip":"10.18.156.29","logTime":"30/Jul/2019:17:05:50.517","oriSys":"N3S","retMsgCode":"ESB-E-000500","serverName":"node01","serviceName":"CustomerProcedureService","tr aceid":"123","transNo":"20190719ASDFGHJKL"}
其中,上述JSON对象中的各个字段的信息可以参考如下表1,部分字段在实时计算中不参与计算,未在表中列出:
表1
S104、对上述日志数据对象进行实时计算,得到待监控对象。
具体地,在本说明书的实施例中,可以由spark streaming功能模块对上述日志数据对象进行时间聚合和内容上的统计处理,得到待监控对象。
S105、将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
具体地,在本说明书的实施例中,上述应用监控平台可以是可视化工具grafana。上述数据库可以包括:流水监控库MongoDB和/或服务监控库influxdb。也就是说,经过上述实时计算处理后得到的待监控对象可以被发送至流水监控库MongoDB,然后通过grafana进行流水查询。此外,经过上述实时计算处理后得到的待监控对象还可以被发送至服务监控库influxdb,然后通过grafana进行服务监控。
其中,上述服务监控的对象可以包括:交易总数、通讯成功数、业务失败数、错误码分类统计、响应时间分档统计等等。当grafana通过服务监控库influxdb发现所述服务监控的对象指标异常时,及时发出警报并人为干预处理。
其中,上述流水查询的对象可以包括:交易的明细、交易的全局流水号、预设时间内交易总数、通讯成功数、业务失败数等等。
图3显示了本说明书实施例所述的服务运行情况监控的具体实现流程。可见,参考图3,在本实施例中,首先,需要配置HAProxy能够对日志进行输出。在日志采集阶段,HAProxy通过rsyslog日志采集工具将日志推送到kafka消息队列。接下来,在日志处理阶段,通过Kafka消息队列接收日志消息,并进行格式转换,得到日志数据对象,再等待大数据处理系统(spark streaming)进行实时计算。然后,经过实时计算处理后的待监控对象被输出到流水监控库MongoDB和服务监控库influxdb进行数据存储。最后,流水监控库MongoDB和服务监控库influxdb对接公司应用监控平台,由应用监控平台根据根据流水监控库MongoDB和服务监控库influxdb中存储的待监控对象进行服务监控和/或流水查询。
可见,在上述实施例中,通过对HAProxy日志配置及日志计算处理,可实现对通过HAProxy软负载的流量进行交易量,错误码及响应时间等的监控,保障服务质量,使得监控数据业务化、持久化和集成化,监控指标与业务本身紧密结合,对HAProxy趋势分析和问题定位回溯提供了有利支撑。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例还提供了一种服务运行情况监控装置。
参考图4,所述服务运行情况监控装置,包括:
获取模块401,被配置为获取服务运行的流水日志;
提取模块402,被配置为提取所述流水日志中的交易日志;
转换模块403,被配置为对所述交易日志进行格式转换,得到日志数据对象;
计算模块404,被配置为对所述日志数据对象进行实时计算,得到待监控对象;以及
查询模块405,被配置为将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的服务运行情况监控方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的服务运行情况监控方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的服务运行情况监控方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的服务运行情况监控方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的服务运行情况监控方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种服务运行情况监控方法,包括:
获取服务运行的流水日志;
提取所述流水日志中的交易日志;
对所述交易日志进行格式转换,得到日志数据对象;
对所述日志数据对象进行实时计算,得到待监控对象;以及
将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
2.根据权利要求1所述的方法,其中,所述获取服务运行的流水日志包括:
预先配置HAProxy进行日志输出;以及
由HAProxy进行日志采集以获取服务运行的流水日志,并将采集的日志数据发送至开源流处理平台Kafka。
3.根据权利要求1所述的方法,其中,所述流水日志包括:交易日志、启停日志和其他数据;
所述提取所述流水日志中的交易日志包括:
对所述流水日志进行数据清洗,保留其中交易日志部分。
4.根据权利要求1所述的方法,其中,所述对所述交易日志进行格式转换包括:
对所述交易日志进行切分处理,得到至少一个数据字段;以及
将所述至少一个数据字段按照预先设置的日志数据对象格式转换为JSON对象,得到所述日志数据对象。
5.根据权利要求4所述的方法,其中,所述方法进一步包括:根据切分后的数据字段的数量对所述交易日志进行过滤。
6.根据权利要求1所述的方法,其中,所述对所述日志数据对象进行实时计算包括:由计算引擎的流式框架spark streaming功能模块对所述日志数据对象进行时间聚合和统计处理,得到所述待监控对象。
7.根据权利要求1所述的方法,其中,所述数据库可以包括:流水监控库MongoDB和/或服务监控库influxdb;
所述将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询包括:
将所述待监控对象发送至流水监控库MongoDB;
将所述待监控对象发送至服务监控库influxdb;
应用监控平台调用所述流水监控库MongoDB和/或所述服务监控库influxdb的监控对象进行服务监控和/或流水查询。
8.一种服务运行情况监控装置,其特征在于,包括:
获取模块,被配置为获取服务运行的流水日志;
提取模块,被配置为提取所述流水日志中的交易日志;
转换模块,被配置为对所述交易日志进行格式转换,得到日志数据对象;
计算模块,被配置为对所述日志数据对象进行实时计算,得到待监控对象;以及
查询模块,被配置为将所述待监控对象接入数据库,应用监控平台调用所述数据库数据进行服务监控和/或流水查询。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至7任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011270970.5A CN112380091A (zh) | 2020-11-13 | 2020-11-13 | 一种服务运行情况监控方法、装置和相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011270970.5A CN112380091A (zh) | 2020-11-13 | 2020-11-13 | 一种服务运行情况监控方法、装置和相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112380091A true CN112380091A (zh) | 2021-02-19 |
Family
ID=74582374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011270970.5A Pending CN112380091A (zh) | 2020-11-13 | 2020-11-13 | 一种服务运行情况监控方法、装置和相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112380091A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801666A (zh) * | 2021-03-30 | 2021-05-14 | 北京宇信科技集团股份有限公司 | 基于企业服务总线的监控管理方法、系统、介质和设备 |
CN113138896A (zh) * | 2021-04-25 | 2021-07-20 | 中国工商银行股份有限公司 | 一种应用运行情况的监控方法、装置和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180232425A1 (en) * | 2017-02-10 | 2018-08-16 | Oracle International Corporation | Systems and methods for distributed log data querying using virtual fields defined in query strings |
CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易系统实时监控方法及其监控系统 |
CN110806966A (zh) * | 2019-11-08 | 2020-02-18 | 哈工大机器人湖州国际创新研究院 | 日志管理方法、装置、电子设备及计算机存储介质 |
CN111290922A (zh) * | 2020-03-03 | 2020-06-16 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
CN111796983A (zh) * | 2020-06-23 | 2020-10-20 | 中体彩科技发展有限公司 | 一种体彩异常交易请求的监控系统及方法 |
-
2020
- 2020-11-13 CN CN202011270970.5A patent/CN112380091A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180232425A1 (en) * | 2017-02-10 | 2018-08-16 | Oracle International Corporation | Systems and methods for distributed log data querying using virtual fields defined in query strings |
CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易系统实时监控方法及其监控系统 |
CN110806966A (zh) * | 2019-11-08 | 2020-02-18 | 哈工大机器人湖州国际创新研究院 | 日志管理方法、装置、电子设备及计算机存储介质 |
CN111290922A (zh) * | 2020-03-03 | 2020-06-16 | 中国工商银行股份有限公司 | 服务运行健康度监测方法及装置 |
CN111796983A (zh) * | 2020-06-23 | 2020-10-20 | 中体彩科技发展有限公司 | 一种体彩异常交易请求的监控系统及方法 |
Non-Patent Citations (1)
Title |
---|
任立男;段桂华;谭荻;王建新: "面向银行业务的交易监控可视化系统设计与实现", 《中南大学学报(自然科学版)》, vol. 49, no. 10, pages 2490 - 2497 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112801666A (zh) * | 2021-03-30 | 2021-05-14 | 北京宇信科技集团股份有限公司 | 基于企业服务总线的监控管理方法、系统、介质和设备 |
CN112801666B (zh) * | 2021-03-30 | 2021-10-26 | 北京宇信科技集团股份有限公司 | 基于企业服务总线的监控管理方法、系统、介质和设备 |
CN113138896A (zh) * | 2021-04-25 | 2021-07-20 | 中国工商银行股份有限公司 | 一种应用运行情况的监控方法、装置和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11023355B2 (en) | Dynamic tracing using ranking and rating | |
CN111198859B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN109039787B (zh) | 日志处理方法、装置及大数据集群 | |
US20190372878A1 (en) | Web site reachability management for content browsing | |
CN112380091A (zh) | 一种服务运行情况监控方法、装置和相关设备 | |
CN114625597A (zh) | 监控运维系统、方法、装置、电子设备及存储介质 | |
CN112235262A (zh) | 报文的解析方法、装置、电子设备及计算机可读存储介质 | |
CN114760233B (zh) | 业务处理方法、装置、电子设备及存储介质 | |
CN114785690A (zh) | 基于服务网格的监控方法及相关设备 | |
CN114338684A (zh) | 一种能源管理系统及方法 | |
CN111274104B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN111930385A (zh) | 数据采集方法、装置、设备及存储介质 | |
CN109286532B (zh) | 云计算系统中告警信息的管理方法和装置 | |
CN112988500A (zh) | 文件存储系统的监控方法及设备、系统 | |
CN113032237B (zh) | 数据处理方法及装置、电子设备和计算机可读存储介质 | |
CN115269331A (zh) | 面向微服务组的服务拓扑监控方法及相关设备 | |
CN108804155A (zh) | 配置文件获取方法、装置、终端及计算机可读存储介质 | |
CN114357001A (zh) | 多集群的数据查询方法、装置、监控平台及存储介质 | |
CN114445162A (zh) | 反向追溯企业发票系统配置的方法 | |
CN115913912A (zh) | 报文拦截及业务链路图的生成方法及装置 | |
CN113794719B (zh) | 一种基于Elasticsearch技术网络异常流量分析方法、装置和电子设备 | |
CN110932927B (zh) | 一种业务处理方法、装置、设备及可读存储介质 | |
CN110166421B (zh) | 基于日志监控的入侵控制方法、装置及终端设备 | |
CN116346575A (zh) | 一种告警聚合方法及装置 | |
CN117170963A (zh) | 一种基于pinpoint的故障监控方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |