CN108847977B - 一种业务数据的监控方法、存储介质和服务器 - Google Patents

一种业务数据的监控方法、存储介质和服务器 Download PDF

Info

Publication number
CN108847977B
CN108847977B CN201810613809.XA CN201810613809A CN108847977B CN 108847977 B CN108847977 B CN 108847977B CN 201810613809 A CN201810613809 A CN 201810613809A CN 108847977 B CN108847977 B CN 108847977B
Authority
CN
China
Prior art keywords
log
target
service data
log file
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810613809.XA
Other languages
English (en)
Other versions
CN108847977A (zh
Inventor
杨先博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810613809.XA priority Critical patent/CN108847977B/zh
Priority to PCT/CN2018/104973 priority patent/WO2019237532A1/zh
Publication of CN108847977A publication Critical patent/CN108847977A/zh
Application granted granted Critical
Publication of CN108847977B publication Critical patent/CN108847977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及通信技术领域,提出一种业务数据的监控方法、存储介质和服务器。该方法包括:获取预先编写的自定义脚本;将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;在预设的显示界面对所述目标业务数据进行监控。本发明通过将自定义的脚本文件写入功能配置文件,构建出自定义的数据监控任务。然后,利用该数据监控任务采集需要监控的业务数据,最后即可对该业务数据进行监控。由于所述数据监控任务是用户自定义的,故能够采集到用户想要监控的任意类型的业务数据,从而解决了现有的监控产品无法完全覆盖用户需要监控的所有业务数据的问题。

Description

一种业务数据的监控方法、存储介质和服务器
技术领域
本发明涉及通信技术领域,尤其涉及一种业务数据的监控方法、存储介质和服务器。
背景技术
在银行、信贷等业务系统中,经常需要对各类业务数据进行监控,比如应用性能,应用日志分析,进程性能,数据库性能,数据库内的运营数据,中间件性能,网络设备性能等数据。目前,一般采用zabbix、open-falcon等开源监控产品监控业务数据,然而,这些监控产品能够监控的数据类型比较有限,无法完全覆盖用户需要监控的所有业务数据,局限性较大。
发明内容
有鉴于此,本发明实施例提供了一种业务数据的监控方法、存储介质和服务器,旨在解决现有的监控产品无法完全覆盖用户需要监控的所有业务数据,局限性较大的问题。
本发明实施例的第一方面,提供了一种业务数据的监控方法,包括:
获取预先编写的自定义脚本;
将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
在预设的显示界面对所述目标业务数据进行监控。
本发明实施例的第二方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如本发明实施例的第一方面提出的业务数据的监控方法的步骤。
本发明实施例的第三方面,提供了一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:
获取预先编写的自定义脚本;
将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
在预设的显示界面对所述目标业务数据进行监控。
本发明实施例提出的业务数据的监控方法包括:获取预先编写的自定义脚本;将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;在预设的显示界面对所述目标业务数据进行监控。本发明通过预先编写自定义的脚本文件,将该脚本文件写入功能配置文件,构建出自定义的数据监控任务。然后,利用该数据监控任务采集需要监控的业务数据,最后即可对该业务数据进行监控。由于所述数据监控任务是用户自定义的,故能够采集到用户想要监控的任意类型的业务数据,从而解决了现有的监控产品无法完全覆盖用户需要监控的所有业务数据的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种业务数据的监控方法的第一个实施例的流程图;
图2a是本发明实施例提供的一种业务数据的监控方法的第二个实施例的流程图;
图2b是图2a中步骤205的一个实施例的流程图;
图3是本发明实施例提供的一种业务数据的监控装置的一个实施例的结构图;
图4是本发明实施例提供的一种服务器的示意图。
具体实施方式
本发明实施例提供了一种业务数据的监控方法、存储介质和服务器,旨在解决现有的监控产品无法完全覆盖用户需要监控的所有业务数据,局限性较大的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种业务数据的监控方法的第一个实施例包括:
101、获取预先编写的自定义脚本;
该自定义脚本文件是用户预先编写好的,用于定制可配置的数据监控任务。
102、将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
在定制数据监控任务时,按照一定的规则将所述自定义脚本写入数据监控任务的功能配置文件,从而可以定制该数据监控任务的功能,包括采集的数据类型、采集数据的时间等,最终可以得到用户自定义的数据监控任务。
103、执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
在定制数据监控任务之后,执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据,也即采集用户自定义的需要监控的业务数据。具体的,这些业务数据可以包括:应用性能,应用日志分析,进程性能,数据库性能,数据库内的运营数据,中间件性能,网络设备性能等数据。在采集数据时,可以利用snmp,http,ssh,telnet等方式采集存储在本地或远程服务器中的业务数据。
进一步的,步骤103可以包括:
(1)将预设的部署包嵌入终端系统的中间件;
(2)利用所述部署包采集所述中间件的性能数据。
为了采集某些中间件的性能数据,可以将预先设计的部署包嵌入到终端系统的中间件中。比如,若想采集java中间件tomcat和weblogic的性能数据,可以设计两个war部署包,分别内嵌到中间件tomcat和weblogic中,以实现中间件性能数据的获取。
104、在预设的显示界面对所述目标业务数据进行监控。
在采集到目标业务数据之后,通过预设的显示界面对所述目标业务数据进行监控。在实际操作中,可以设计一个具有可视化操作界面的数据监控工具,在该数据监控工具的界面上展示采集到的目标业务数据。
本发明实施例提出的业务数据的监控方法包括:获取预先编写的自定义脚本;将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;在预设的显示界面对所述目标业务数据进行监控。本发明通过预先编写自定义的脚本文件,将该脚本文件写入功能配置文件,构建出自定义的数据监控任务。然后,利用该数据监控任务采集需要监控的业务数据,最后即可对该业务数据进行监控。由于所述数据监控任务是用户自定义的,故能够采集到用户想要监控的任意类型的业务数据,从而解决了现有的监控产品无法完全覆盖用户需要监控的所有业务数据的问题。
请参阅图2a,本发明实施例中一种业务数据的监控方法的第二个实施例包括:
201、获取预先编写的自定义脚本;
202、将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
203、执行所述数据监控任务;
步骤201-203与步骤101-103相同,具体可参照步骤101-103的相关说明。
204、在预设的日志对照表中查询得到与目标业务数据关联的目标日志文件;
在某些情况下,用户需要监控的业务数据可能藏于日志文件的内容中。此时,可以预先构建一个日志对照表,该日志对照表记录着日志文件和业务数据之间的对应关系,即某个业务数据可能处于哪个日志文件中。然后,即可从该日志对照表中查询得到与需要监控的目标业务数据关联的目标日志文件。比如,若用户想要监控的业务数据是某个业务系统的访问量,从日志对照表中查询得到与该访问量关联的日志文件是该业务系统的访问日志,故可将该访问日志作为所述目标日志文件。
205、从所述目标日志文件中提取所述目标业务数据;
在确定目标日志文件之后,可以采用预设的数据提取逻辑从所述目标日志文件中提取出所述目标业务数据。
进一步的,如图2b所示,步骤205可以包括:
2051、判断所述目标日志文件是否为单行的日志文件;
判断所述目标日志文件是否为单行的日志文件,所述单行的日志文件指每条日志记录均为一行的日志文件。若所述目标日志文件为单行的日志文件,则执行步骤2052;若所述目标日志文件不是单行的日志文件,则执行步骤2053。
2052、采用列分割和正则表达式提取的方式从所述目标日志文件中提取出所述目标业务数据;
所述目标日志文件是单行的日志文件,在从单行的日志记录中提取出需要的业务数据是相对容易的,具体可以采用列分割和正则表达式提取的方式从所述目标日志文件中提取出所述目标业务数据。
比如,目标日志文件的2条单行的日志记录如下所示(以下日志记录(1)和(2)在目标日志文件中实际上为单行的日志记录,本文因页面有限展示为两行):
(1)4.0.5.13 0.232-[24/Jul/2017:16:38:11+0800]"GET/agent/Some.do HTTP/1.0"200 5101840"-""Wget/1.12(linux-gnu)""-"
(2)4.0.5.26 0.242-[24/Jul/2017:16:41:27+0800]"GET/agent/Some.do HTTP/1.0"200 5101840"-""Wget/1.12(linux-gnu)""-"
这是一个常见的nginx日志,访问的URL为/agent/Some.do。结合已知的日志格式,采用列切割、列定义和正则表达式提取的方式对该日志记录中的内容进行处理,最终提取出的一部分业务数据为:平均响应时间:(0.232+0.242)/2=0.237;平均访问大小:(5101840+5101840)/2=5101840;总访问大小:5101840+5101840=10203680。
2053、将所述目标日志文件转换为单行的日志文件。
所述目标日志文件不是单行的日志文件,此时无法直接通过列分割和正则表达式提取的方式从目标日志文件中提取出目标业务数据。然而,可以采取一定的方式对目标日志文件进行处理,将其转换为单行的日志文件,然后再提取业务数据。
进一步的,步骤2053可以包括:
从所述目标日志文件中搜索包含多行日志内容的目标日志记录;
将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容,然后将所述目标日志记录中不含所述特定字符串的各行日志内容删除。
目标日志文件不是单行的日志文件,也即该日志文件中存在包含多行日志内容的一条或多条日志记录,从目标日志文件中搜索出这些日志记录,作为待处理的目标日志记录。针对每条目标日志记录,将日志记录中包含特定字符串的多行日志内容合并成一行日志内容,然后将日志记录中不含所述特定字符串的各行日志内容删除,从而将每条目标日志记录都转化为单行的日志记录,也即将所述目标日志文件转换为单行的日志文件。所述特定字符串可以是根据业务数据和目标日志文件内容确定的任意字符串,将包含特定字符串的多行日志内容合并成一行日志内容,可以实现将包含业务数据信息的日志内容布置到同一行日志内容中。
更进一步的,所述将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容可以包括:
(A1)在所述目标日志记录中搜索第一字符串和第二字符串;
(A2)以所述第一字符串为行起始位置、所述第二字符串为行结束位置,将所述第一字符串、所述第二字符串、所述第一字符串和第二字符串之间的日志内容合并成一行日志内容。
比如,某条目标日志记录的原始日志内容如下:
QUERY_KEY(string,256,0)=
USER_ID(string,30,0)=
TOTAL_NUM(string,15,0)
以QUERY_KEY为第一字符串,TOTAL_NUM为第二字符串,则合并后的一行日志内容为:
QUERY_KEY(string,256,0)=USER_ID(string,30,0)=TOTAL_NUM
除了步骤A1-A2列出的方式,还可以采用以下步骤B1-B2的方式进行行内容的合并。
(B1)在所述目标日志记录中搜索包含第三字符串的多行日志内容;
(B2)将所述多行日志内容合并成一行日志内容。
另外,在合并时,多行日志内容中重复的内容可以去除,比如,某条目标日志记录的原始日志内容如下:
LBM=L0303020,MsgId=000001010469B0A41D4B39FF,Len=386
20170721-151512-000101 119183 139749670373152 98Ans:
NodeId=10,MsgId=000001010469B0A41D4B39FF,QueueId=101
GV2gODkBbGg=20170721151511000058000024L030302000149000000
以MsgId为第三字符串,则合并后的一行日志内容可以为:
LBM=L0303020,NodeId=10,MsgId=000001010469B0A41D4B39FF,Len=386,QueueId=101
另外,需要说明的是,上述步骤A1-A2列出的方式以及步骤B1-B2的方式可以单独使用,也可以叠加使用。
更进一步的,在将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容之前,还可以包括:
(1)在所述目标日志记录中搜索第四字符串;
(2)将所述第四字符串替换为预设的第五字符串。
也即,设置一个内容替换器,用户可以将某一行内的某些关键词或字符替换为自己想要的关键词或字符。
比如,原始日志内容为:
A总耗时:2208ms|A读取xml耗时:19ms|A加载数据耗时:633ms|A生成pdf耗时:382ms|A调用CA签章耗时:1174ms
将字符“|”替换为空格,将字符“:”替换为“_”,最终得到的日志内容为:
A总耗时_2208ms A读取xml耗时_19ms A加载数据耗时_633ms A生成pdf耗时_382ms A调用CA签章耗时_1174ms
更进一步的,在将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容之后,还可以包括:
(1)定义行过滤器和列过滤器,所述行过滤器包含需要滤除的日志内容的行编号,所述列过滤器包含需要滤除的日志内容的列编号;
(2)将所述目标日志文件中所述行编号对应的日志内容和所述列编号对应的日志内容滤除。
也即,设置一个内容过滤器,用户可以将自己想要的行或列保留分析(白名单),不想要的行或列丢弃(黑名单)。通过这样设置,对于某些无法提供业务数据的日志记录,可以进行滤除,以提高业务数据的提取效率。
206、在预设的显示界面对所述目标业务数据进行监控。
步骤206与步骤104相同,具体可参照步骤104的相关说明。
本发明实施例提出的业务数据的监控方法包括:获取预先编写的自定义脚本;将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;执行所述数据监控任务;在预设的日志对照表中查询得到与目标业务数据关联的目标日志文件;从所述目标日志文件中提取所述目标业务数据;在预设的显示界面对所述目标业务数据进行监控。与本发明的第一个实施例相比,本实施例所要监控的业务数据处于日志文件当中,需要采用预设的处理方法从日志文件中提取出业务数据以进行监控。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种业务数据的监控方法,下面将对一种业务数据的监控装置进行详细描述。
请参阅图3,本发明实施例中一种业务数据的监控装置的一个实施例包括:
脚本获取模块301,用于获取预先编写的自定义脚本;
脚本写入模块302,用于将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
业务数据采集模块303,用于执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
业务数据监控模块304,用于在预设的显示界面对所述目标业务数据进行监控。
进一步的,所述业务数据采集模块可以包括:
日志查询单元,用于在预设的日志对照表中查询得到与所述目标业务数据关联的目标日志文件;
业务数据提取单元,用于从所述目标日志文件中提取所述目标业务数据。
进一步的,所述业务数据提取单元可以包括:
单行日志判断子单元,用于判断所述目标日志文件是否为单行的日志文件,所述单行的日志文件指每条日志记录均为一行的日志文件;
数据提取子单元,用于若所述目标日志文件为单行的日志文件,则采用列分割和正则表达式提取的方式从所述目标日志文件中提取出所述目标业务数据;
日志转换子单元,用于若所述目标日志文件不是单行的日志文件,则将所述目标日志文件转换为单行的日志文件。
进一步的,所述日志转换子单元可以包括:
日志记录搜索孙单元,用于从所述目标日志文件中搜索包含多行日志内容的目标日志记录;
日志内容合并孙单元,用于将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容,然后将所述目标日志记录中不含所述特定字符串的各行日志内容删除。
更进一步的,所述日志内容合并孙单元可以包括:
第一搜索孙单元,用于在所述目标日志记录中搜索第一字符串和第二字符串;
第一行合并孙单元,用于以所述第一字符串为行起始位置、所述第二字符串为行结束位置,将所述第一字符串、所述第二字符串、所述第一字符串和第二字符串之间的日志内容合并成一行日志内容;
第二搜索孙单元,用于在所述目标日志记录中搜索包含第三字符串的多行日志内容;
第二行合并孙单元,用于将所述多行日志内容合并成一行日志内容。
进一步的,所述日志转换子单元还可以包括:
第三搜索孙单元,用于在所述目标日志记录中搜索第四字符串;
字符串替换孙单元,用于将所述第四字符串替换为预设的第五字符串。
进一步的,所述日志转换子单元还可以包括:
过滤器定义孙单元,用于定义行过滤器和列过滤器,所述行过滤器包含需要滤除的日志内容的行编号,所述列过滤器包含需要滤除的日志内容的列编号;
日志过滤孙单元,用于将所述目标日志文件中所述行编号对应的日志内容和所述列编号对应的日志内容滤除。
进一步的,所述业务数据采集模块可以包括:
部署包嵌入单元,用于将预设的部署包嵌入终端系统的特定中间件;
性能数据采集单元,用于利用所述部署包采集所述特定中间件的性能数据。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如图1或图2a表示的任意一种业务数据的监控方法的步骤。
本发明实施例还提供一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如图1或图2a表示的任意一种业务数据的监控方法的步骤。
图4是本发明一实施例提供的服务器的示意图。如图4所示,该实施例的服务器4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个业务数据的监控方法实施例中的步骤,例如图1所示的步骤101至104。或者,所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块301至304的功能。
示例性的,所述计算机可读指令42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令42在所述服务器4中的执行过程。
所述服务器4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器4可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是服务器4的示例,并不构成对服务器4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述服务器4还可以包括输入输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(CentraL Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor,DSP)、专用集成电路(AppLication Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieLd-ProgrammabLe Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述服务器4的内部存储单元,例如服务器4的硬盘或内存。所述存储器41也可以是所述服务器4的外部存储设备,例如所述服务器4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure DigitaL,SD)卡,闪存卡(FLash Card)等。进一步地,所述存储器41还可以既包括所述服务器4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnLyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种业务数据的监控方法,其特征在于,包括:
获取预先编写的自定义脚本;
将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
在预设的显示界面对所述目标业务数据进行监控;
其中,所述采集所述数据监控任务对应的目标业务数据包括:
在预设的日志对照表中查询得到与所述目标业务数据关联的目标日志文件;
判断所述目标日志文件是否为单行的日志文件,所述单行的日志文件指每条日志记录均为一行的日志文件;
若所述目标日志文件为单行的日志文件,则采用列分割和正则表达式提取的方式从所述目标日志文件中提取出所述目标业务数据;
若所述目标日志文件不是单行的日志文件,则将所述目标日志文件转换为单行的日志文件。
2.根据权利要求1所述的业务数据的监控方法,其特征在于,所述将所述目标日志文件转换为单行的日志文件包括:
从所述目标日志文件中搜索包含多行日志内容的目标日志记录;
将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容,然后将所述目标日志记录中不含所述特定字符串的各行日志内容删除。
3.根据权利要求2所述的业务数据的监控方法,其特征在于,所述将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容包括:
在所述目标日志记录中搜索第一字符串和第二字符串;
以所述第一字符串为行起始位置、所述第二字符串为行结束位置,将所述第一字符串、所述第二字符串、所述第一字符串和第二字符串之间的日志内容合并成一行日志内容;
和/或
在所述目标日志记录中搜索包含第三字符串的多行日志内容;
将所述多行日志内容合并成一行日志内容。
4.根据权利要求2所述的业务数据的监控方法,其特征在于,在将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容之前,还包括:
在所述目标日志记录中搜索第四字符串;
将所述第四字符串替换为预设的第五字符串。
5.根据权利要求2所述的业务数据的监控方法,其特征在于,在将所述目标日志记录中包含特定字符串的多行日志内容合并成一行日志内容之后,还包括:
定义行过滤器和列过滤器,所述行过滤器包含需要滤除的日志内容的行编号,所述列过滤器包含需要滤除的日志内容的列编号;
将所述目标日志文件中所述行编号对应的日志内容和所述列编号对应的日志内容滤除。
6.根据权利要求1至5中任一项所述的业务数据的监控方法,其特征在于,所述采集所述数据监控任务对应的目标业务数据包括:
将预设的部署包嵌入终端系统的中间件;
利用所述部署包采集所述中间件的性能数据。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的业务数据的监控方法的步骤。
8.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如下步骤:
获取预先编写的自定义脚本;
将所述自定义脚本写入数据监控任务的功能配置文件,得到自定义的数据监控任务;
执行所述数据监控任务,采集所述数据监控任务对应的目标业务数据;
在预设的显示界面对所述目标业务数据进行监控;
其中,所述采集所述数据监控任务对应的目标业务数据包括:
在预设的日志对照表中查询得到与所述目标业务数据关联的目标日志文件;
判断所述目标日志文件是否为单行的日志文件,所述单行的日志文件指每条日志记录均为一行的日志文件;
若所述目标日志文件为单行的日志文件,则采用列分割和正则表达式提取的方式从所述目标日志文件中提取出所述目标业务数据;
若所述目标日志文件不是单行的日志文件,则将所述目标日志文件转换为单行的日志文件。
CN201810613809.XA 2018-06-14 2018-06-14 一种业务数据的监控方法、存储介质和服务器 Active CN108847977B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810613809.XA CN108847977B (zh) 2018-06-14 2018-06-14 一种业务数据的监控方法、存储介质和服务器
PCT/CN2018/104973 WO2019237532A1 (zh) 2018-06-14 2018-09-11 一种业务数据的监控方法、存储介质、终端设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810613809.XA CN108847977B (zh) 2018-06-14 2018-06-14 一种业务数据的监控方法、存储介质和服务器

Publications (2)

Publication Number Publication Date
CN108847977A CN108847977A (zh) 2018-11-20
CN108847977B true CN108847977B (zh) 2021-06-25

Family

ID=64202382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810613809.XA Active CN108847977B (zh) 2018-06-14 2018-06-14 一种业务数据的监控方法、存储介质和服务器

Country Status (2)

Country Link
CN (1) CN108847977B (zh)
WO (1) WO2019237532A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401698A (zh) * 2019-06-27 2019-11-01 苏州浪潮智能科技有限公司 一种基于任务异步分发的监控数据采集方法、装置和系统
CN110618911B (zh) * 2019-08-15 2022-12-09 中国平安财产保险股份有限公司 数据监控方法、装置、存储介质和服务器
CN112445672A (zh) * 2019-08-30 2021-03-05 北京神州泰岳软件股份有限公司 一种运维监控方法和装置
CN110532159B (zh) * 2019-09-03 2023-04-18 北京百度网讯科技有限公司 数据监听方法、装置、设备及计算机可读存储介质
CN111045893B (zh) * 2019-12-12 2023-09-22 网银在线(北京)科技有限公司 监控任务的执行方法、装置及系统、存储介质、电子装置
CN111209165B (zh) * 2020-01-05 2021-03-16 光大兴陇信托有限责任公司 一种基于通道的两级监控处理方法
CN111290355B (zh) * 2020-02-27 2021-06-22 中电九天智能科技有限公司 记录及查找log的方法
CN111782470B (zh) * 2020-06-30 2023-08-22 中国工商银行股份有限公司 分布式容器日志数据处理方法及装置
CN112052134A (zh) * 2020-07-21 2020-12-08 北京奇艺世纪科技有限公司 一种业务数据的监控方法及装置
CN112363900B (zh) * 2020-11-16 2022-09-27 中国科学院计算技术研究所 一种基于插桩的主机内容器网络性能分析方法及系统
CN112511643A (zh) * 2020-12-07 2021-03-16 北京天融信网络安全技术有限公司 一种报文数据提取方法及装置
CN112711511B (zh) * 2020-12-29 2023-09-01 航天信息股份有限公司 一种基于脚本服务器对终端设备进行监控的方法及系统
CN113535521A (zh) * 2021-07-28 2021-10-22 中国建设银行股份有限公司 一种数据监控方法及装置
CN114143192A (zh) * 2021-12-03 2022-03-04 中国建设银行股份有限公司 Weblogic T3过滤器的配置方法及装置
CN115514674B (zh) * 2022-08-24 2023-12-26 智网安云(武汉)信息技术有限公司 一种基于脚本远程连接的监控项自动创建方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739277A (zh) * 2009-12-08 2010-06-16 南京联创科技集团股份有限公司 基于自定义脚本方式管理业务监控系统的方法
CN102883350A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种设备信息采集方法及系统
CN104462612A (zh) * 2015-01-05 2015-03-25 浪潮(北京)电子信息产业有限公司 一种监控数据库信息的方法和设备
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN105516293A (zh) * 2015-12-03 2016-04-20 国家电网公司 一种智能变电站云资源监控系统
CN106685839A (zh) * 2016-11-17 2017-05-17 上海斐讯数据通信技术有限公司 路由器长连接服务监控方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493755B1 (en) * 1999-01-15 2002-12-10 Compaq Information Technologies Group, L.P. Automatic notification rule definition for a network management system
CN107678907B (zh) * 2017-05-22 2020-04-10 平安科技(深圳)有限公司 数据库业务逻辑监控方法、系统、及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739277A (zh) * 2009-12-08 2010-06-16 南京联创科技集团股份有限公司 基于自定义脚本方式管理业务监控系统的方法
CN102883350A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种设备信息采集方法及系统
CN104486445A (zh) * 2014-12-30 2015-04-01 北京天云融创软件技术有限公司 一种基于云平台的分布式可扩展资源监控系统及方法
CN104462612A (zh) * 2015-01-05 2015-03-25 浪潮(北京)电子信息产业有限公司 一种监控数据库信息的方法和设备
CN105516293A (zh) * 2015-12-03 2016-04-20 国家电网公司 一种智能变电站云资源监控系统
CN106685839A (zh) * 2016-11-17 2017-05-17 上海斐讯数据通信技术有限公司 路由器长连接服务监控方法及系统

Also Published As

Publication number Publication date
CN108847977A (zh) 2018-11-20
WO2019237532A1 (zh) 2019-12-19

Similar Documents

Publication Publication Date Title
CN108847977B (zh) 一种业务数据的监控方法、存储介质和服务器
CN110909063B (zh) 一种用户行为的分析方法、装置、应用服务器及存储介质
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
US9607059B2 (en) Intelligent data mining and processing of machine generated logs
CN110362544B (zh) 日志处理系统、日志处理方法、终端及存储介质
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
CN108170578B (zh) 日志收集方法及装置
CN112486708B (zh) 页面操作数据的处理方法和处理系统
CN113688288B (zh) 数据关联分析方法、装置、计算机设备和存储介质
CN111400378A (zh) 基于ElasticSearch的日志实时显示方法、装置、计算机设备和介质
CN110209643A (zh) 一种数据处理方法及装置
CN109471893B (zh) 网络数据的查询方法、设备及计算机可读存储介质
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
CN105550179B (zh) 一种网页收藏方法和浏览器插件
CN111881094A (zh) 日志中关键信息提取方法、装置、终端及存储介质
CN114125015A (zh) 一种数据采集方法及系统
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN117093619A (zh) 一种规则引擎处理方法、装置、电子设备及存储介质
CN109271543B (zh) 缩略图的显示方法、装置、终端及计算机可读存储介质
CN110727565B (zh) 一种网络设备平台信息收集方法及系统
CN110881030A (zh) 基于logstash的记录web服务管理员操作日志的方法及装置
CN112860456B (zh) 日志处理方法和装置
CN115794756A (zh) 一种仿真文件的压缩方法及装置、设备、存储介质
CN112347066B (zh) 日志处理方法、装置及服务器和计算机可读存储介质
CN114157734A (zh) 数据解析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant