CN108153643A - 日志监控系统及方法 - Google Patents

日志监控系统及方法 Download PDF

Info

Publication number
CN108153643A
CN108153643A CN201611111631.6A CN201611111631A CN108153643A CN 108153643 A CN108153643 A CN 108153643A CN 201611111631 A CN201611111631 A CN 201611111631A CN 108153643 A CN108153643 A CN 108153643A
Authority
CN
China
Prior art keywords
verified
log recording
file
daily record
service end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611111631.6A
Other languages
English (en)
Inventor
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611111631.6A priority Critical patent/CN108153643A/zh
Publication of CN108153643A publication Critical patent/CN108153643A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种日志监控系统及方法。该系统包括:监控服务端,适于收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器;校验服务器,适于接收所述监控服务端发送的所述至少一条待校验的日志记录,并调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将所述结构文件回传给所述监控服务端。本发明实施例能够在日志生成之后,将日志信息拿过来做一些校验,然后将校验的结果输出。如果日志发生错误,能够及时收集错误信息,并且告警发给开发或测试人员,及时对故障进行处理。

Description

日志监控系统及方法
技术领域
本发明涉及计算机技术领域,特别是一种日志监控系统及方法。
背景技术
随着软件技术的发展,软件的代码行数变得非常庞大,维护软件的工作也变得十分复杂和困难。通常,可以在编写代码的过程中,添加关键业务的日志记录代码,这样在软件运行过程中,关键业务的程序处理情况就记录在日志文件中了,一旦软件运行异常,就可以通过分析日志信息,做出相应的处理。
相关技术中,由于是软件异常后,用户使用软件时发现故障,通知管理员,然后才是检查日志,通过日志分析后才能启动处理方案,这样导致故障处理不及时的问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志监控系统及相应的方法。
依据本发明的一方面,提供了一种日志监控系统,包括:
监控服务端,适于收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器;
校验服务器,适于接收所述监控服务端发送的所述至少一条待校验的日志记录,并调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将所述结构文件回传给所述监控服务端。
可选地,所述监控服务端还适于:
分析所述结构文件中的所述各条待校验的日志记录的校验结果,得到分析结果;
根据所述分析结果确定对应的处理方式。
可选地,所述监控服务端还适于:
定时扫描所述结构文件中的所述各条待校验的日志记录的校验结果,并对扫描信息进行分析。
可选地,所述监控服务端还适于:
若所述分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。
可选地,所述监控服务端还适于:
将所述告警信息发送给生成所述待监控的日志文件的程序的开发者或测试者。
可选地,所述预设方式包括下列至少之一:
文本、图片、语音、邮件。
可选地,所述监控服务端还适于:
获取所述待监控的日志文件中新增的日志记录;
将所述待监控的日志文件中新增的日志记录作为所述至少一条待校验的日志记录。
可选地,所述监控服务端还适于:
从所述待监控的日志文件中提取多条日志记录;
根据预置的筛选策略,从所述多条日志记录中筛选出所述至少一条待校验的日志记录。
可选地,所述结构文件为xml格式的文本文件。
可选地,所述校验服务器为web服务器。
依据本发明的另一方面,还提供了一种日志监控方法,应用于监控服务端,包括:
收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录;
将所述至少一条待校验的日志记录发送给校验服务器;
接收所述校验服务器回传的包含各条待校验的日志记录的校验结果的结构文件。
可选地,所述方法还包括:
分析所述结构文件中的所述各条待校验的日志记录的校验结果,得到分析结果;
根据所述分析结果确定对应的处理方式。
可选地,分析所述结构文件中的所述各条待校验的日志记录的校验结果,包括:
定时扫描所述结构文件中的所述各条待校验的日志记录的校验结果,并对扫描信息进行分析。
可选地,根据所述分析结果确定对应的处理方式,包括:
若所述分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。
可选地,将所述告警信息输出,包括:
将所述告警信息发送给生成所述待监控的日志文件的程序的开发者或测试者。
可选地,所述预设方式包括下列至少之一:
文本、图片、语音、邮件。
可选地,从所述待监控的日志文件中提取至少一条待校验的日志记录,包括:
获取所述待监控的日志文件中新增的日志记录;
将所述待监控的日志文件中新增的日志记录作为所述至少一条待校验的日志记录。
可选地,从所述待监控的日志文件中提取至少一条待校验的日志记录,包括:
从所述待监控的日志文件中提取多条日志记录;
根据预置的筛选策略,从所述多条日志记录中筛选出所述至少一条待校验的日志记录。
可选地,所述结构文件为xml格式的文本文件。
可选地,所述校验服务器为web服务器。
依据本发明的又一方面,还提供了一种日志监控方法,应用于校验服务器,包括:
接收监控服务端发送的至少一条待校验的日志记录;
调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件;
将所述结构文件回传给所述监控服务端。
可选地,所述结构文件为xml格式的文本文件。
可选地,所述校验服务器为web服务器。
可选地,所述方法还包括:
若需要修改校验规则,则调用所述校验规则文件,在所述校验规则文件中修改校验规则。
本发明实施例提供了一种日志监控系统,首先由监控服务端收集待监控的日志文件,并从待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器。随后,校验服务器接收监控服务端发送的至少一条待校验的日志记录,并调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将结构文件回传给监控服务端。由此,本发明实施例能够在日志生成之后,将日志信息拿过来做一些校验,然后将校验的结果输出。如果日志发生错误,能够及时收集错误信息(几乎是实时的),并且告警发给开发或测试人员,及时对故障进行处理,解决了相关技术中故障处理不及时的问题。并且,本发明实施例生成的结构文件提供了校验结果的详细信息,能够帮助开发或测试人员及时获知故障,并对故障进行及时处理,提高故障处理的效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的日志监控系统的结构示意图;
图2示出了根据本发明一个实施例的应用于监控服务端的日志监控方法的流程图;以及
图3示出了根据本发明一个实施例的应用于校验服务器的日志监控方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题,本发明提供了一种日志监控系统。图1示出了根据本发明一个实施例的日志监控系统的结构示意图。如图1所示,该日志监控系统100至少可以包括:监控服务端110和校验服务器120,其中:
监控服务端110,适于收集待监控的日志文件,并从待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器120;
校验服务器120,与监控服务端110相耦合,适于接收监控服务端110发送的至少一条待校验的日志记录,并调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将结构文件回传给监控服务端110。
本发明实施例提供了一种日志监控系统,首先由监控服务端收集待监控的日志文件,并从待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器。随后,校验服务器接收监控服务端发送的至少一条待校验的日志记录,并调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将结构文件回传给监控服务端。由此,本发明实施例能够在日志生成之后,将日志信息拿过来做一些校验,然后将校验的结果输出。如果日志发生错误,能够及时收集错误信息(几乎是实时的),并且告警发给开发或测试人员,及时对故障进行处理,解决了相关技术中故障处理不及时的问题。并且,本发明实施例生成的结构文件提供了校验结果的详细信息,能够帮助开发或测试人员及时获知故障,并对故障进行及时处理,提高故障处理的效率。
在本发明的可选实施例中,监控服务端110收集的日志文件可以以行为单位,每一行都有生成时间、日志级别、执行程序的线程类、代码所在位置、具体的日志内容等信息。
进一步地,在监控服务端110收集待监控的日志文件时,可以采用Node.js事件轮询机制收集。Node.js以事件驱动著名,通过异步的编程达到高吞吐量高性能,Node.js的事件循环是靠一个单线程不断地查询队列中是否有事件,当它读取到一个事件时,将调用与这个事件关联的javascript函数,如果这个函数是执行一个IO操作,比如侦听一下8888端口是否有Scoket链接,Node.js会启动这个IO操作,但是不会等待IO操作结束,而是继续到队列中查看是否有下一个事件,如果有,就处理这个事件。
在实际校验中,可能仅需要对日志文件中某些日志记录进行校验,并不需要对日志文件中的所有日志记录进行校验。因而,可以事先设置筛选策略,利用筛选策略筛选需要校验的日志记录。即,在监控服务端110从待监控的日志文件中提取至少一条待校验的日志记录时,可以首先从待监控的日志文件中提取多条日志记录,进而根据预置的筛选策略,从多条日志记录中筛选出至少一条待校验的日志记录。例如,在实际校验中,需要校验字段“id”的数值是否为指定数值,那么,可以设置筛选策略,从多条日志记录中筛选出包含字段“id”的日志记录。这里,可以采用多种方式设置筛选策略,如正则表达式、关键词匹配等,本发明不限于此。
通常,日志文件中会不断地新增日志记录,本发明实施例在从待监控的日志文件中提取至少一条待校验的日志记录时,可以根据日志记录生成时间,获取待监控的日志文件中新增的日志记录,进而将待监控的日志文件中新增的日志记录作为至少一条待校验的日志记录。这样,可以避免重复校验,提高校验的效率。
在本发明的可选实施例中,上文提及的校验服务器120可以为web服务器,即网站服务器,监控服务端110将至少一条待校验的日志记录发送给校验服务器120,即向校验服务器120发起校验请求。网站的流量通常是有限的,例如,一天2万条左右,如果是2000万条网站就会挂掉,对日志规模是轻量级。
校验服务器120调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,这里的校验规则文件可以是xml(可扩展的标识语言)格式编写的。若需要修改校验规则,则直接调用校验规则文件,在校验规则文件中修改校验规则,而不需要修改校验程序。例如,需要校验日志记录中的id字段,现有的方案是将id=4直接写到校验程序中,如果id值固定是4,验证id,如果等于4就正确(通过),否则就错误(失败)。如果以后要改的话,需要在校验程序中找到这行相应的代码,需要修改代码id=5。而本发明实施例将这些校验规则都写到xml格式文件中,以文件的形式写校验规则,只需要修改xml文件就行。以后的维护人员不需要知道校验程序怎么写的,只需要看xml文件是怎么组织的,只需要替换文件中的内容就行了。
在本发明的可选实施例中,校验服务器120生成的结构文件提供了校验结果的详细信息,例如,对每条日志记录标记debug,info,warn,error,fatal等标志,记录校验的代码位置等等,本发明不限于此。这里的结构文件可以为xml格式的文本文件,还可以为其他格式的文件,本发明实施例对此不作限制。
监控服务端110在接收到校验服务器120回传的结构文件之后,分析结构文件中的各条待校验的日志记录的校验结果,得到分析结果,进而根据分析结果确定对应的处理方式。进一步地,监控服务端110还可以定时(如1分钟或2分钟等)扫描结构文件中的各条待校验的日志记录的校验结果,并对扫描信息进行分析。
若分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。例如,分析校验结果,校验结果中字段“id”的数值不满足指定数值,则采用预设方式生成告警信息。在本发明的可选实施例中,可以以文本、图片、语音、邮件等方式生成告警信息。在生成告警信息之后,可以将告警信息发送给生成待监控的日志文件的程序的开发者或测试者,以便开发或测试人员及时获知故障,并对故障进行及时处理。若分析结果不满足预置的告警条件,则可以生成校验报告,并保存。
基于同一发明构思,本发明实施例还提供了一种日志监控方法,应用于监控服务端。图2示出了根据本发明一个实施例的应用于监控服务端的日志监控方法的流程图。如图2所示,该方法至少包括以下步骤S202至步骤S206。
步骤S202,收集待监控的日志文件,并从待监控的日志文件中提取至少一条待校验的日志记录。
步骤S204,将至少一条待校验的日志记录发送给校验服务器。
步骤S206,接收校验服务器回传的包含各条待校验的日志记录的校验结果的结构文件。
上文步骤S202中收集的日志文件可以以行为单位,每一行都有生成时间、日志级别、执行程序的线程类、代码所在位置、具体的日志内容等信息。
进一步地,在收集待监控的日志文件时,可以采用Node.js事件轮询机制收集。Node.js以事件驱动著名,通过异步的编程达到高吞吐量高性能,Node.js的事件循环是靠一个单线程不断地查询队列中是否有事件,当它读取到一个事件时,将调用与这个事件关联的javascript函数,如果这个函数是执行一个IO操作,比如侦听一下8888端口是否有Scoket链接,Node.js会启动这个IO操作,但是不会等待IO操作结束,而是继续到队列中查看是否有下一个事件,如果有,就处理这个事件。
在实际校验中,可能仅需要对日志文件中某些日志记录进行校验,并不需要对日志文件中的所有日志记录进行校验。因而,可以事先设置筛选策略,利用筛选策略筛选需要校验的日志记录。即,在步骤S202从待监控的日志文件中提取至少一条待校验的日志记录时,可以首先从待监控的日志文件中提取多条日志记录,进而根据预置的筛选策略,从多条日志记录中筛选出至少一条待校验的日志记录。例如,在实际校验中,需要校验字段“id”的数值是否为指定数值,那么,可以设置筛选策略,从多条日志记录中筛选出包含字段“id”的日志记录。这里,可以采用多种方式设置筛选策略,如正则表达式、关键词匹配等,本发明不限于此。
通常,日志文件中会不断地新增日志记录,本发明实施例在从待监控的日志文件中提取至少一条待校验的日志记录时,可以根据日志记录生成时间,获取待监控的日志文件中新增的日志记录,进而将待监控的日志文件中新增的日志记录作为至少一条待校验的日志记录。这样,可以避免重复校验,提高校验的效率。
在本发明的可选实施例中,上文步骤S204或S206提及的校验服务器可以为web服务器,即网站服务器,步骤S204将至少一条待校验的日志记录发送给校验服务器,即向校验服务器发起校验请求。网站的流量通常是有限的,例如,一天2万条左右,如果是2000万条网站就会挂掉,对日志规模是轻量级。
在上文步骤S206中,接收到校验服务器回传的包含各条待校验的日志记录的校验结果的结构文件,该结构文件提供了校验结果的详细信息,例如,对每条日志记录标记debug,info,warn,error,fatal等标志,记录校验的代码位置等等,本发明不限于此。这里的结构文件可以为xml格式的文本文件,还可以为其他格式的文件,本发明实施例对此不作限制。
在本发明的可选实施例中,在接收到校验服务器回传的结构文件之后,可以继续分析结构文件中的各条待校验的日志记录的校验结果,得到分析结果,进而根据分析结果确定对应的处理方式。进一步地,本发明实施例还可以定时(如1分钟或2分钟等)扫描结构文件中的各条待校验的日志记录的校验结果,并对扫描信息进行分析。
若分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。例如,分析校验结果,校验结果中字段“id”的数值不满足指定数值,则采用预设方式生成告警信息。在本发明的可选实施例中,可以以文本、图片、语音、邮件等方式生成告警信息。在生成告警信息之后,可以将告警信息发送给生成待监控的日志文件的程序的开发者或测试者,以便开发或测试人员及时获知故障,并对故障进行及时处理。若分析结果不满足预置的告警条件,则可以生成校验报告,并保存。
相应的,本发明实施例还提供了一种日志监控方法,应用于校验服务器。图3示出了根据本发明一个实施例的应用于校验服务器的日志监控方法的流程图。如图3所示,该方法至少包括以下步骤S302至步骤S306。
步骤S302,接收监控服务端发送的至少一条待校验的日志记录。
步骤S304,调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件。
步骤S306,将结构文件回传给监控服务端。
本发明实施例提及的校验服务器可以为web服务器,即网站服务器,当监控服务端将至少一条待校验的日志记录发送给校验服务器时,即向校验服务器发起校验请求。网站的流量通常是有限的,例如,一天2万条左右,如果是2000万条网站就会挂掉,对日志规模是轻量级。
上文步骤S304中调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,这里的校验规则文件可以是xml格式编写的。若需要修改校验规则,则直接调用校验规则文件,在校验规则文件中修改校验规则,而不需要修改校验程序。例如,需要校验日志记录中的id字段,现有的方案是将id=4直接写到校验程序中,如果id值固定是4,验证id,如果等于4就正确(通过),否则就错误(失败)。如果以后要改的话,需要在校验程序中找到这行相应的代码,需要修改代码id=5。而本发明实施例将这些校验规则都写到xml格式文件中,以文件的形式写校验规则,只需要修改xml文件就行。以后的维护人员不需要知道校验程序怎么写的,只需要看xml文件是怎么组织的,只需要替换文件中的内容就行了。
在本发明的可选实施例中,步骤S304中生成的结构文件提供了校验结果的详细信息,例如,对每条日志记录标记debug,info,warn,error,fatal等标志,记录校验的代码位置等等,本发明不限于此。这里的结构文件可以为xml格式的文本文件,还可以为其他格式的文件,本发明实施例对此不作限制。
根据上述任意一个优选实施例或多个优选实施例的组合,本发明实施例能够达到如下有益效果:
本发明实施例提供了一种日志监控系统和方法,首先由监控服务端收集待监控的日志文件,并从待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器。随后,校验服务器接收监控服务端发送的至少一条待校验的日志记录,并调用校验程序以及校验规则文件对至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将结构文件回传给监控服务端。由此,本发明实施例能够在日志生成之后,将日志信息拿过来做一些校验,然后将校验的结果输出。如果日志发生错误,能够及时收集错误信息(几乎是实时的),并且告警发给开发或测试人员,及时对故障进行处理,解决了相关技术中故障处理不及时的问题。并且,本发明实施例生成的结构文件提供了校验结果的详细信息,能够帮助开发或测试人员及时获知故障,并对故障进行及时处理,提高故障处理的效率。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的日志监控系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
本发明实施例的一方面,提供了A1、一种日志监控系统,包括:
监控服务端,适于收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器;
校验服务器,适于接收所述监控服务端发送的所述至少一条待校验的日志记录,并调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将所述结构文件回传给所述监控服务端。
A2、根据A1所述的日志监控系统,其中,所述监控服务端还适于:
分析所述结构文件中的所述各条待校验的日志记录的校验结果,得到分析结果;
根据所述分析结果确定对应的处理方式。
A3、根据A2所述的日志监控系统,其中,所述监控服务端还适于:
定时扫描所述结构文件中的所述各条待校验的日志记录的校验结果,并对扫描信息进行分析。
A4、根据A2或A3所述的日志监控系统,其中,所述监控服务端还适于:
若所述分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。
A5、根据A4所述的日志监控系统,其中,所述监控服务端还适于:
将所述告警信息发送给生成所述待监控的日志文件的程序的开发者或测试者。
A6、根据A4或A5所述的日志监控系统,其中,所述预设方式包括下列至少之一:
文本、图片、语音、邮件。
A7、根据A1-A6中任一项所述的日志监控系统,所述监控服务端还适于:
获取所述待监控的日志文件中新增的日志记录;
将所述待监控的日志文件中新增的日志记录作为所述至少一条待校验的日志记录。
A8、根据A1-A7中任一项所述的日志监控系统,所述监控服务端还适于:
从所述待监控的日志文件中提取多条日志记录;
根据预置的筛选策略,从所述多条日志记录中筛选出所述至少一条待校验的日志记录。
A9、根据A1-A8中任一项所述的日志监控系统,所述结构文件为xml格式的文本文件。
A10、根据A1-A9中任一项所述的日志监控系统,所述校验服务器为web服务器。
本发明实施例的另一方面,还提供了B11、一种日志监控方法,应用于监控服务端,包括:
收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录;
将所述至少一条待校验的日志记录发送给校验服务器;
接收所述校验服务器回传的包含各条待校验的日志记录的校验结果的结构文件。
B12、根据B11所述的方法,其中,还包括:
分析所述结构文件中的所述各条待校验的日志记录的校验结果,得到分析结果;
根据所述分析结果确定对应的处理方式。
B13、根据B12所述的方法,其中,分析所述结构文件中的所述各条待校验的日志记录的校验结果,包括:
定时扫描所述结构文件中的所述各条待校验的日志记录的校验结果,并对扫描信息进行分析。
B14、根据B12或B13所述的方法,其中,根据所述分析结果确定对应的处理方式,包括:
若所述分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。
B15、根据B14所述的方法,其中,将所述告警信息输出,包括:
将所述告警信息发送给生成所述待监控的日志文件的程序的开发者或测试者。
B16、根据B14或B15所述的方法,其中,所述预设方式包括下列至少之一:
文本、图片、语音、邮件。
B17、根据B11-B16中任一项所述的方法,其中,从所述待监控的日志文件中提取至少一条待校验的日志记录,包括:
获取所述待监控的日志文件中新增的日志记录;
将所述待监控的日志文件中新增的日志记录作为所述至少一条待校验的日志记录。
B18、根据B11-B17中任一项所述的方法,其中,从所述待监控的日志文件中提取至少一条待校验的日志记录,包括:
从所述待监控的日志文件中提取多条日志记录;
根据预置的筛选策略,从所述多条日志记录中筛选出所述至少一条待校验的日志记录。
B19、根据B11-B18中任一项所述的方法,其中,所述结构文件为xml格式的文本文件。
B20、根据B11-19中任一项所述的方法,其中,所述校验服务器为web服务器。
本发明实施例的又一方面,还提供了C21、一种日志监控方法,应用于校验服务器,包括:
接收监控服务端发送的至少一条待校验的日志记录;
调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件;
将所述结构文件回传给所述监控服务端。
C22、根据C21所述的方法,其中,所述结构文件为xml格式的文本文件。
C23、根据C21或C22所述的方法,其中,所述校验服务器为web服务器。
C24、根据C21-C23中任一项所述的方法,其中,还包括:
若需要修改校验规则,则调用所述校验规则文件,在所述校验规则文件中修改校验规则。

Claims (10)

1.一种日志监控系统,包括:
监控服务端,适于收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录,并发送给校验服务器;
校验服务器,适于接收所述监控服务端发送的所述至少一条待校验的日志记录,并调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件,并将所述结构文件回传给所述监控服务端。
2.根据权利要求1所述的日志监控系统,其中,所述监控服务端还适于:
分析所述结构文件中的所述各条待校验的日志记录的校验结果,得到分析结果;
根据所述分析结果确定对应的处理方式。
3.根据权利要求2所述的日志监控系统,其中,所述监控服务端还适于:
定时扫描所述结构文件中的所述各条待校验的日志记录的校验结果,并对扫描信息进行分析。
4.根据权利要求2或3所述的日志监控系统,其中,所述监控服务端还适于:
若所述分析结果满足预置的告警条件,则采用预设方式生成告警信息,并输出。
5.根据权利要求4所述的日志监控系统,其中,所述监控服务端还适于:
将所述告警信息发送给生成所述待监控的日志文件的程序的开发者或测试者。
6.根据权利要求4或5所述的日志监控系统,其中,所述预设方式包括下列至少之一:
文本、图片、语音、邮件。
7.根据权利要求1-6中任一项所述的日志监控系统,所述监控服务端还适于:
获取所述待监控的日志文件中新增的日志记录;
将所述待监控的日志文件中新增的日志记录作为所述至少一条待校验的日志记录。
8.根据权利要求1-7中任一项所述的日志监控系统,所述监控服务端还适于:
从所述待监控的日志文件中提取多条日志记录;
根据预置的筛选策略,从所述多条日志记录中筛选出所述至少一条待校验的日志记录。
9.一种日志监控方法,应用于监控服务端,包括:
收集待监控的日志文件,并从所述待监控的日志文件中提取至少一条待校验的日志记录;
将所述至少一条待校验的日志记录发送给校验服务器;
接收所述校验服务器回传的包含各条待校验的日志记录的校验结果的结构文件。
10.一种日志监控方法,应用于校验服务器,包括:
接收监控服务端发送的至少一条待校验的日志记录;
调用校验程序以及校验规则文件对所述至少一条待校验的日志记录进行校验,生成包含各条待校验的日志记录的校验结果的结构文件;
将所述结构文件回传给所述监控服务端。
CN201611111631.6A 2016-12-02 2016-12-02 日志监控系统及方法 Pending CN108153643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611111631.6A CN108153643A (zh) 2016-12-02 2016-12-02 日志监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611111631.6A CN108153643A (zh) 2016-12-02 2016-12-02 日志监控系统及方法

Publications (1)

Publication Number Publication Date
CN108153643A true CN108153643A (zh) 2018-06-12

Family

ID=62468580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611111631.6A Pending CN108153643A (zh) 2016-12-02 2016-12-02 日志监控系统及方法

Country Status (1)

Country Link
CN (1) CN108153643A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492073A (zh) * 2018-10-31 2019-03-19 北京达佳互联信息技术有限公司 日志搜索方法、日志搜索装置和计算机可读存储介质
CN110968493A (zh) * 2019-12-24 2020-04-07 上海英方软件股份有限公司 一种基于运行日志分析推演程序运行状态的方法及系统
CN111142963A (zh) * 2019-11-22 2020-05-12 贵州电网有限责任公司 变电站仪器的端口查询方法、装置设备及存储介质
CN111221707A (zh) * 2020-01-17 2020-06-02 中体彩科技发展有限公司 一种体彩随机数发生器的监测方法及系统
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN112330268A (zh) * 2020-10-21 2021-02-05 中国南方电网有限责任公司 一种区域电力现货市场数据交互校验方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144526A1 (en) * 2003-12-10 2005-06-30 Banko Stephen J. Adaptive log file scanning utility
CN102073912A (zh) * 2009-11-23 2011-05-25 中国移动通信集团黑龙江有限公司 数据质量控制方法、装置及系统
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术(中国)有限公司 监控应用日志的方法及系统
CN103077107A (zh) * 2012-12-31 2013-05-01 Tcl集团股份有限公司 一种数据维护方法及系统
CN103873493A (zh) * 2012-12-10 2014-06-18 腾讯科技(深圳)有限公司 一种页面信息校验的方法、装置及系统
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统
CN105183609A (zh) * 2015-09-16 2015-12-23 焦点科技股份有限公司 一种应用于软件系统的实时监控系统及方法
CN105224436A (zh) * 2015-10-29 2016-01-06 曙光信息产业股份有限公司 一种服务器运行状态监控方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144526A1 (en) * 2003-12-10 2005-06-30 Banko Stephen J. Adaptive log file scanning utility
CN102073912A (zh) * 2009-11-23 2011-05-25 中国移动通信集团黑龙江有限公司 数据质量控制方法、装置及系统
CN102981943A (zh) * 2012-10-29 2013-03-20 新浪技术(中国)有限公司 监控应用日志的方法及系统
CN103873493A (zh) * 2012-12-10 2014-06-18 腾讯科技(深圳)有限公司 一种页面信息校验的方法、装置及系统
CN103077107A (zh) * 2012-12-31 2013-05-01 Tcl集团股份有限公司 一种数据维护方法及系统
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统
CN105183609A (zh) * 2015-09-16 2015-12-23 焦点科技股份有限公司 一种应用于软件系统的实时监控系统及方法
CN105224436A (zh) * 2015-10-29 2016-01-06 曙光信息产业股份有限公司 一种服务器运行状态监控方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492073A (zh) * 2018-10-31 2019-03-19 北京达佳互联信息技术有限公司 日志搜索方法、日志搜索装置和计算机可读存储介质
CN109492073B (zh) * 2018-10-31 2021-11-16 北京达佳互联信息技术有限公司 日志搜索方法、日志搜索装置和计算机可读存储介质
CN111666193A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN111666193B (zh) * 2019-03-08 2024-01-30 阿里巴巴集团控股有限公司 基于实时日志解析的终端功能监控与测试的方法与系统
CN111142963A (zh) * 2019-11-22 2020-05-12 贵州电网有限责任公司 变电站仪器的端口查询方法、装置设备及存储介质
CN111142963B (zh) * 2019-11-22 2023-05-16 贵州电网有限责任公司 变电站仪器的端口查询方法、装置设备及存储介质
CN110968493A (zh) * 2019-12-24 2020-04-07 上海英方软件股份有限公司 一种基于运行日志分析推演程序运行状态的方法及系统
CN111221707A (zh) * 2020-01-17 2020-06-02 中体彩科技发展有限公司 一种体彩随机数发生器的监测方法及系统
CN111221707B (zh) * 2020-01-17 2024-03-26 中体彩科技发展有限公司 一种体彩随机数发生器的监测方法及系统
CN112330268A (zh) * 2020-10-21 2021-02-05 中国南方电网有限责任公司 一种区域电力现货市场数据交互校验方法及系统
CN112330268B (zh) * 2020-10-21 2023-08-22 中国南方电网有限责任公司 一种区域电力现货市场数据交互校验方法及系统

Similar Documents

Publication Publication Date Title
CN108153643A (zh) 日志监控系统及方法
US11899818B2 (en) System and method for code-based protection of sensitive data
US10102113B2 (en) Software test automation systems and methods
US11218510B2 (en) Advanced cybersecurity threat mitigation using software supply chain analysis
US10467316B2 (en) Systems and methods for web analytics testing and web development
Wassermann et al. Sound and precise analysis of web applications for injection vulnerabilities
WO2020102884A1 (en) Automation of task identification in a software lifecycle
Ghoshal et al. Provenance from log files: a BigData problem
CN107657177A (zh) 一种漏洞检测方法及装置
RU2757597C1 (ru) Системы и способы сообщения об инцидентах компьютерной безопасности
US20170293757A1 (en) Systems and Methods for Enhancing Control System Security by Detecting Anomalies in Descriptive Characteristics of Data
US10657028B2 (en) Method for replicating production behaviours in a development environment
CN110958221B (zh) 动态检测xml外部实体注入漏洞的方法及装置
Zhang et al. Sentilog: Anomaly detecting on parallel file systems via log-based sentiment analysis
WO2014191847A1 (en) Optimizing test data payload selection for testing computer software applications using computer networks
Mitropoulos et al. Dismal code: Studying the evolution of security bugs
CN117691733A (zh) 一种配电自动化系统信息安全防护的评估方法及装置
US11790249B1 (en) Automatically evaluating application architecture through architecture-as-code
US20210182453A1 (en) Application behavior identification
Chen Improving the Logging Practices in DevOps
Erdogan et al. A systematic method for risk-driven test case design using annotated sequence diagrams
Shang Log Engineering: Towards Systematic Log Mining to Support the Development of Ultra-Large Scale Software Systems
Müller et al. Grammar‐based fuzzing of data integration parsers in computational materials science
Muema A Platform for analyzing log files using temporal logic approach: a test case with web server logs
Lefterov E-COMMERCE TESTING FRAMEWORK

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612

RJ01 Rejection of invention patent application after publication