CN109684280A - 日志文件处理方法、装置及系统 - Google Patents
日志文件处理方法、装置及系统 Download PDFInfo
- Publication number
- CN109684280A CN109684280A CN201811554466.0A CN201811554466A CN109684280A CN 109684280 A CN109684280 A CN 109684280A CN 201811554466 A CN201811554466 A CN 201811554466A CN 109684280 A CN109684280 A CN 109684280A
- Authority
- CN
- China
- Prior art keywords
- service
- access
- journal file
- abnormal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种日志文件处理方法、装置及系统。日志文件处理方法包括:接收对服务访问的调用信息,调用信息包括:服务的服务编号;将调用信息存储至日志文件数据库的日志文件中;检测存储的日志文件,确定各服务的访问是否出现异常;以及当确定有服务的访问出现异常时,发送报警信息。该方法能够统一存储系统中所有日志信息,通过日志信息的检测,自动发现异常,并主动发送报警信息。
Description
技术领域
本发明涉及计算机应用技术,具体而言,涉及一种日志文件处理方法、装置及系统。
背景技术
日志文件是用于记录系统操作事件的记录文件或文件集合,具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在Web应用中,每条日志通常代表着用户对某个服务的一次访问行为。
目前,通常是通过引入日志框架,将日志信息存储到日志文件中。而日志文件分散在各个应用服务器或应用服务器集群中。出现生产问题时,必须首先查找所有服务器中的日志文件,确定错误信息被记录在了哪台服务器的日志文件上,然后再对日志信息分析产生错误的原因。但由于Web应用服务器通常采用集群的部署方式,随着业务的不断扩展,还可能采用分布式的架构。若一个系统由n个子系统构成,而每个子系统中又部署了m个应用服务器集群,则该系统中就会在n*m个应用服务器集群上产生日志文件,这样通过人工方式来查看日志文件已经变得不可能实现。
此外,日志文件是在系统产生错误之后进行分析来排查错误的,无法做到生产问题的实时报警。
发明内容
本发明提供一种日志文件处理方法、装置、系统、设备及可读存储介质,能够统一存储系统中所有日志信息,通过日志信息的检测,自动发现异常,并主动发送报警信息。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明的一方面,提供一种日志文件处理方法,包括:接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号;将所述调用信息存储至日志文件数据库的日志文件中;检测存储的所述日志文件,确定各服务的访问是否出现异常;以及当确定有服务的访问出现异常时,发送报警信息。
根据本发明的一实施方式,上述方法还包括:接收检测配置信息;确定各服务的访问是否出现异常包括:根据所述检测配置信息,确定各服务的访问是否出现异常。
根据本发明的一实施方式,所述调用信息还包括:服务调用开始时间及服务调用结束时间;根据所述检测配置信息,确定各服务的访问是否出现异常包括:当所述检测配置信息中的服务异常确定方式被配置为根据服务处理时间确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务调用开始时间及服务调用结束时间,以确定各服务的服务处理时间;及如果有服务的服务处理时间大于所述检测配置信息中配置的服务处理时间阈值,则确定所述服务的访问出现异常。
根据本发明的一实施方式,所述调用信息还包括:服务结果状态;根据所述检测配置信息,确定各服务的访问是否出现异常包括:当所述检测配置信息中的服务异常确定方式被配置为根据服务结果状态确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务结果状态码;及如果有服务的服务结果状态码不等于所述检测配置信息中配置的正常结果状态码,则确定所述服务的访问出现异常。
根据本发明的一实施方式,上述方法还包括:根据存储的所述日志文件,生成各服务的调用信息统计报表。
根据本发明的一实施方式,发送报警信息包括:根据接收到的报警配置信息,发送所述报警信息,所述报警配置信息包括:报警方式及运维人员的通信号码。
根据本发明的另一方面,提供一种日志文件处理装置,包括:信息接收模块,用于接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号;信息存储模块,用于将所述调用信息存储至日志文件数据库的日志文件中;日志检测模块,用于检测存储的所述日志文件,确定各服务的访问是否出现异常;以及异常报警模块,用于当所述日常检测模块确定有服务的访问出现异常时,发送报警信息。
根据本发明的再一方面,提供一种日志文件处理系统,应用于应用服务器系统,包括:日志文件数据库,与所述应用服务器系统连接,包括:第一存储器、第一处理器及存储于所述第一存储器中运行的第一可执行指令,所述第一处理器被配置为经由执行所述第一可执行指令执行以下操作:接收所述应用服务器系统发送的对服务访问的调用信息,并将所述调用信息存储至日志文件中,所述调用信息包括:所述服务的服务编号;以及监控服务器,与所述日志文件数据库连接,包括:第二存储器、第二处理器及存储于所述第二存储器中运行的第二可执行指令,所述第二处理器被配置为经由执行所述第二可执行指令执行以下操作:对所述日志文件数据库中存储的所述日志文件进行检测,确定各服务的访问是否出现异常,并当确定有服务的访问出现异常时,发送报警信息。
根据本发明的一实施方式,所述监控服务器的所述第二处理器还被配置为经由执行所述第二可执行指令执行以下操作:接收检测配置信息,并根据所述检测配置信息,确定各服务的访问是否出现异常。
根据本发明的一实施方式,所述调用信息还包括:服务调用开始时间及服务调用结束时间;所述监控服务器的所述第二处理器还被配置为经由执行所述第二可执行指令执行以下操作:当所述检测配置信息中的服务异常确定方式被配置为根据服务处理时间确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务调用开始时间及服务调用结束时间,以确定各服务的服务处理时间;及当有服务的服务处理时间大于所述检测配置信息中配置的服务处理时间阈值时,确定所述服务的访问出现异常。
根据本发明的一实施方式,所述调用信息还包括:服务结果状态;所述监控服务器的所述第二处理器还被配置为经由执行所述第二可执行指令执行以下操作:当所述检测配置信息中的服务异常确定方式被配置为根据服务结果状态确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务结果状态码;及当有服务的服务结果状态码不等于所述检测配置信息中配置的正常结果状态码时,确定所述服务的访问出现异常。
根据本发明的一实施方式,所述监控服务器的所述第二处理器还被配置为经由执行所述第二可执行指令执行以下操作:根据所述日志文件数据库存储的所述日志文件,生成各服务的调用信息统计报表。
根据本发明的再一方面,提供一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本发明的再一方面,一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如上述任一种方法。
根据本发明的日志文件处理方法,通过对应用服务器系统中的服务访问调用信息统一进行存储,只需通过存储的日志表即可查看到应用服务器系统中的所有日志信息;并且通过对日志信息的检测,可以自动发现服务访问是否出现异常,从而避免了运维人员在错误发生之后,通过人工查找日志文件的方式来定位错误,极大地提升了系统的稳定性。
此外,根据一些实施例,本发明的日志文件处理方法还可以提供对服务调用信息的统计表,如调用频率、超时信息等,从而为系统优化提供了极具价值的参考依据。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例,本发明的上述和其它目标、特征及优点将变得更加显而易见。
图1是根据一示例性实施方式示出的一种日志文件处理系统的框图。
图2是根据一示例性实施方式示出的一种日志文件处理方法的流程图。
图3是根据一示例性实施方式示出的另一种日志文件处理方法的流程图。
图4是根据一示例性实施方式示出的一种日志文件处理装置的框图。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
图1是根据一示例性实施方式示出的一种日志文件处理系统的框图。
如图1所示的日志文件处理系统10可应用于一应用服务器系统1,该应用服务器系统例如可以包括多台应用服务器,或者也可以包括多个应用服务器集群,再或者还可以包括多个子系统,每个子系统中包括至少一个应用服务器集群,从而提供不同服务的访问。不失一般性地,图1中以应用服务器系统1包括多个应用服务器集群11~1n为例。日志文件处理系统10分别与各应用服务器集群11~1n通信连接。
参考图1,日志文件处理系统10包括:日志文件数据库102及监控服务器104。
下面将结合各方法实施方式,说明日志文件数据库102及监控服务器104的功能。
图2是根据一示例性实施方式示出的一种日志文件处理方法的流程图。
参考图2,日志文件处理方法20包括:
在步骤S202中,接收对服务访问的调用信息。
联合参考图1和图2,例如如图1中所示的日志文件数据库102通过与各应用服务器集群11~1n的连接,接收各应用服务器集群11~1n发送的对其上部署的服务访问的调用信息。
需要说明的是,可以将一个服务部署在一个应用服务器集群中,或者也可以将一个服务部署在多个应用服务器集群中,本发明对此不进行限定。在实际应用中,可以根据实际需求进行部署。
为了区分不同服务的调用信息,需要对应用服务器系统1中提供的服务进行编号,在将对服务访问的调用信息发送给日志文件数据库102进行存储时,在调用信息中包括有该服务的服务编号。此外,调用信息还可以包括:请求交易号、服务调用开始时间、服务调用结束时间、访问者的IP、请求资源的URI(Uniform Resource Identifier,统一资源标识符)、服务结果状态码等信息。
在步骤S204中,将调用信息存储至日志文件数据库的日志文件中。
例如,将调用信息通过日志流保存到日志文件数据库102的日志文件中。在日志文件数据库102中,该日志文件可以为一张日志表,例如将应用服务器系统1发送的所有服务访问的调用信息,存储在该张日志表中;或者该日志文件也可以包括多张日志表,例如将服务访问的调用信息基于不同服务,存储为多张日志表;或者将服务访问的调用信息基于不同应用服务器或应用服务器集群,存储为多张日志表。
在步骤S206中,检测存储的日志文件,确定各服务的访问是否出现异常。
例如,可以由图1中所示的监控服务器104通过与日志文件数据库102的通信,检测日志文件数据库102中存储的日志文件,从而确定各服务的访问是否出现异常。
对日志文件的检测可以是实时检测,例如每当日志文件数据库102中接收到一条调用信息,并将其记录在其日志文件中时,监控服务器104即时地对该新增的记录进行检测。或者,对日志文件的检测也可以是周期检测,例如每隔一段时间,监控服务器104对日志文件数据库102中在该段时间内新增的记录逐一进行检测。
在一些实施例中,还可以由日志文件数据库102对其存储的日志文件进行检测,确定各服务的访问是否出现异常。同样地,日志文件数据库102可以实时地进行检测,或者也可以周期地进行检测。
在步骤S208中,当确定有服务的访问出现异常时,发送报警信息。
例如,当确定有服务的访问出现异常时,可以由监控服务器104发送报警信息。
或者,在一些实施例中,还可以由日志文件数据库102自己在确定有服务的访问出现异常时,发送报警信息。
在一些实施例中,还可以根据报警配置信息来发送报警信息,报警配置信息例如可以包括:报警方式、运维人员的通信号码等。报警方式例如可以配置为通过向运维人员的通信装置发送报警信息,通信装置例如可以为手机、pad、掌上电脑等手持终端设备。运维人员的通信号码例如可以配置为手机号码、即时通信号码(如微信号、QQ号等)。
在一些实施例中,日志文件处理方法20还可以包括:
在步骤S210中,根据存储的日志文件,生成各服务的调用信息统计表。
例如,监控服务器104根据存储的日志文件,定时生成关于各服务的调用信息的统计表,如可以统计各服务的调用频率,从而确定出哪些服务被调用的次数多,哪些服务从来没有被调用过;还可以统计服务调用的超时信息,从而确定哪些服务经常超时等。这些统计信息给系统优化提供了极有价值的参考依据。
根据本发明实施方式的日志文件处理方法,通过对应用服务器系统中的服务访问调用信息统一进行存储,只需通过存储的日志表即可查看到应用服务器系统中的所有日志信息;并且通过对日志信息的检测,可以自动发现服务访问是否出现异常,从而避免了运维人员在错误发生之后,通过人工查找日志文件的方式来定位错误,极大地提升了系统的稳定性。
此外,根据一些实施例,本发明实施方式的日志文件处理方法还可以提供对服务调用信息的统计表,如调用频率、超时信息等,从而为系统优化提供了极具价值的参考依据。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施方式。
图3是根据一示例性实施方式示出的另一种日志文件处理方法的流程图。
参考图3,相比于图2所示的日志文件处理方法20,日志文件处理方法30不同之处在于,还包括:
在步骤S302中,接收检测配置信息。
联合参考图1和图3,例如由图1中所示的监控服务器104接收检测配置信息。
在步骤S304中,检测存储的日志文件,根据检测配置信息,确定各服务的访问是否出现异常。
该检测配置信息例如可以包括:服务异常确定方式及对应不同服务异常确定方式的阈值参数。
在一些实施例中,服务异常确定方式例如可以包括:根据服务处理时间确定服务的访问是否出现异常和/或根据服务结果状态确定服务的访问是否出现异常。
在一些实施例中,当服务异常确定方式被配置为根据服务处理时间确定服务的访问是否出现异常时,从日志文件中获取各服务访问的服务调用开始时间及服务调用结束时间;根据服务调用开始时间及服务调用结束时间,确定各服务访问的服务处理时间,如将服务调用结束时间减去服务调用开始时间来确定服务处理时间;如果有服务访问的服务处理时间大于检测配置信息中配置的服务处理时间阈值,则确定该服务的访问出现异常。服务处理时间阈值的大小可以在实际应用中,根据系统设计的实际需求设定,本发明不以此为限。
在一些实施例中,当服务异常确定方式被配置为根据服务结果状态确定服务的访问是否出现异常时,从日志文件中获取各服务访问的服务结果状态码;如果有服务的服务结果状态码不等于检测配置信息中配置的正常结果状态码,则确定该服务的访问出现异常。例如,200代表服务结果状态正常,即正常结果状态码被配置为200,如果该服务访问的服务结果状态码不等于200,则表示该服务的访问出现异常。此外,服务结果状态码的不同编码值还可以预先被配置为不同的异常情况,则通过服务结果状态码可以确定出现了何种异常,例如可以配置编码404表示服务请求的资源不存在等。
需要说明的是,上述两种服务异常确定方式仅为示例说明,而非限制本发明。此外,上述两种服务异常确定方式可以独立被应用,也可以联合被应用。例如,通过配置仅使用其中一种方式来确定异常,或者通过配置联合使用两种方式来确定异常,也即无论通过服务处理时间发现异常,还是通过服务结果状态发现异常,均确定为异常,从而发送报警信息。
对于日志文件处理方法30中与日志文件处理方法20相同的步骤,在此不再赘述。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图4是根据一示例性实施方式示出的一种日志文件处理装置的框图。
参考图4,日志文件处理装置40包括:信息接收模块402、信息存储模404、日志检测模块406及异常报警模块408。
其中,信息接收模块402用于接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号。
信息存储模块404用于将所述调用信息存储至日志文件数据库的日志文件中。
日志检测模块406用于检测存储的所述日志文件,确定各服务的访问是否出现异常
异常报警模块408用于当所述日常检测模块确定有服务的访问出现异常时,发送报警信息。
在一些实施例中,日志文件处理装置40还包括:配置信息接收模块,用于接收检测配置信息。日志检测模块406包括:异常确定子模块,用于根据所述检测配置信息,确定各服务的访问是否出现异常。
在一些实施例中,所述调用信息还包括:服务调用开始时间及服务调用结束时间;异常确定子模块包括:处理时间确定单元及异常确定单元;处理时间确定单元用于当所述检测配置信息中的服务异常确定方式被配置为根据服务处理时间确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务调用开始时间及服务调用结束时间,以确定各服务的服务处理时间;异常确定单元用于当有服务的服务处理时间大于所述检测配置信息中配置的服务处理时间阈值时,确定所述服务的访问出现异常。
在一些实施例中,所述调用信息还包括:服务结果状态;异常确定子模块包括:服务结果获取单元及异常确定单元;服务结果获取单元用于当所述检测配置信息中的服务异常确定方式被配置为根据服务结果状态确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务结果状态码;异常确定单元用于当有服务的服务结果状态码不等于所述检测配置信息中配置的正常结果状态码时,确定所述服务的访问出现异常。
在一些实施例中,日志文件处理装置40还包括:统计表生成模块,用于根据存储的所述日志文件,生成各服务的调用信息统计报表。
在一些实施例中,异常报警模块408包括:配置接收子模块及发送报警子模块。配置接收子模块用于接收报警配置信息;发送报警子模块用于根据报警配置信息,发送报警信息。报警配置信息包括:报警方式及运维人员的通信号码。
根据本发明实施方式的日志文件处理装置,通过对应用服务器系统中的服务访问调用信息统一进行存储,只需通过存储的日志表即可查看到应用服务器系统中的所有日志信息;并且通过对日志信息的检测,可以自动发现服务访问是否出现异常,从而避免了运维人员在错误发生之后,通过人工查找日志文件的方式来定位错误,极大地提升了系统的稳定性。
此外,根据一些实施例,本发明实施方式的日志文件处理装置还可以提供对服务调用信息的统计表,如调用频率、超时信息等,从而为系统优化提供了极具价值的参考依据。
需要注意的是,上述附图中所示的框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图5是根据一示例性实施方式示出的一种电子设备的结构示意图。需要说明的是,图5示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备800以通用计算机设备的形式表现。电子设备800的组件包括:至少一个中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序代码或者从至少一个存储单元808加载到随机访问存储器(RAM)803中的程序代码而执行各种适当的动作和处理。
特别地,根据本发明的实施例,所述程序代码可以被中央处理单元801执行,使得中央处理单元801执行本说明书上述方法实施例部分中描述的根据本发明各种示例性实施方式的步骤。例如,中央处理单元801可以执行如图2或图3中所示的步骤。
在RAM 803中,还存储有电子设备800操作所需的各种程序和数据。CPU 801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入单元806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出单元807;包括硬盘等的存储单元808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信单元809。通信单元809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储单元808。
图6是根据一示例性实施方式示出的一种计算机可读存储介质的示意图。
参考图6所示,描述了根据本发明的实施方式的设置为实现上述方法的程序产品900,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:
接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号;
将所述调用信息存储至日志文件数据库的日志文件中;
检测存储的所述日志文件,确定各服务的访问是否出现异常;以及
当确定有服务的访问出现异常时,发送报警信息。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种日志文件处理方法,其特征在于,包括:
接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号;
将所述调用信息存储至日志文件数据库的日志文件中;
检测存储的所述日志文件,确定各服务的访问是否出现异常;以及
当确定有服务的访问出现异常时,发送报警信息。
2.根据权利要求1所述的方法,其特征在于,还包括:接收检测配置信息;确定各服务的访问是否出现异常包括:根据所述检测配置信息,确定各服务的访问是否出现异常。
3.根据权利要求2所述的方法,其特征在于,所述调用信息还包括:服务调用开始时间及服务调用结束时间;根据所述检测配置信息,确定各服务的访问是否出现异常包括:
当所述检测配置信息中的服务异常确定方式被配置为根据服务处理时间确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务调用开始时间及服务调用结束时间,以确定各服务的服务处理时间;及
如果有服务的服务处理时间大于所述检测配置信息中配置的服务处理时间阈值,则确定所述服务的访问出现异常。
4.根据权利要求2所述的方法,其特征在于,所述调用信息还包括:服务结果状态;根据所述检测配置信息,确定各服务的访问是否出现异常包括:
当所述检测配置信息中的服务异常确定方式被配置为根据服务结果状态确定服务的访问是否出现异常时,从所述日志文件中获取各服务的服务结果状态码;及
如果有服务的服务结果状态码不等于所述检测配置信息中配置的正常结果状态码,则确定所述服务的访问出现异常。
5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:根据存储的所述日志文件,生成各服务的调用信息统计报表。
6.根据权利要求1-4任一项所述的方法,其特征在于,发送报警信息包括:根据接收到的报警配置信息,发送所述报警信息,所述报警配置信息包括:报警方式及运维人员的通信号码。
7.一种日志文件处理装置,其特征在于,包括:
信息接收模块,用于接收对服务访问的调用信息,所述调用信息包括:所述服务的服务编号;
信息存储模块,用于将所述调用信息存储至日志文件数据库的日志文件中;
日志检测模块,用于检测存储的所述日志文件,确定各服务的访问是否出现异常;以及
异常报警模块,用于当所述日常检测模块确定有服务的访问出现异常时,发送报警信息。
8.一种日志文件处理系统,应用于应用服务器系统,其特征在于,包括:
日志文件数据库,与所述应用服务器系统连接,包括:第一存储器、第一处理器及存储于所述第一存储器中运行的第一可执行指令,所述第一处理器被配置为经由执行所述第一可执行指令执行以下操作:接收所述应用服务器系统发送的对服务访问的调用信息,并将所述调用信息存储至日志文件中,所述调用信息包括:所述服务的服务编号;以及
监控服务器,与所述日志文件数据库连接,包括:第二存储器、第二处理器及存储于所述第二存储器中运行的第二可执行指令,所述第二处理器被配置为经由执行所述第二可执行指令执行以下操作:对所述日志文件数据库中存储的所述日志文件进行检测,确定各服务的访问是否出现异常,并当确定有服务的访问出现异常时,发送报警信息。
9.一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,其特征在于,所述处理器执行所述可执行指令时实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811554466.0A CN109684280A (zh) | 2018-12-19 | 2018-12-19 | 日志文件处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811554466.0A CN109684280A (zh) | 2018-12-19 | 2018-12-19 | 日志文件处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109684280A true CN109684280A (zh) | 2019-04-26 |
Family
ID=66186414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811554466.0A Pending CN109684280A (zh) | 2018-12-19 | 2018-12-19 | 日志文件处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684280A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110049139A (zh) * | 2019-05-05 | 2019-07-23 | 广东电网有限责任公司 | 一种服务代理转发业务系统 |
CN110764977A (zh) * | 2019-09-27 | 2020-02-07 | 赛诺贝斯(北京)营销技术股份有限公司 | 一种实现系统安全的报警方法和装置 |
CN111078447A (zh) * | 2019-11-24 | 2020-04-28 | 杭州安恒信息技术股份有限公司 | 一种微服务架构中的异常定位方法、装置、设备、介质 |
CN112398872A (zh) * | 2020-12-04 | 2021-02-23 | 王志东 | 基于状态日志的服务系统运行异常识别系统及识别方法 |
CN113094269A (zh) * | 2021-04-12 | 2021-07-09 | 中国工商银行股份有限公司 | 应用程序测试异常分析方法及装置 |
CN113238888A (zh) * | 2021-06-02 | 2021-08-10 | 浙江网商银行股份有限公司 | 数据处理方法、系统及装置 |
CN113778780A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103617038A (zh) * | 2013-11-28 | 2014-03-05 | 北京京东尚科信息技术有限公司 | 一种分布式应用系统的服务监控方法及装置 |
CN106790718A (zh) * | 2017-03-16 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 服务调用链路分析方法及系统 |
US9800455B1 (en) * | 2012-02-08 | 2017-10-24 | Amazon Technologies, Inc. | Log monitoring system |
CN108845912A (zh) * | 2018-06-11 | 2018-11-20 | 掌阅科技股份有限公司 | 服务接口调用故障的报警方法及计算设备 |
CN109271359A (zh) * | 2018-11-20 | 2019-01-25 | 北京千丁互联科技有限公司 | 日志信息处理方法、装置、电子设备及可读存储介质 |
-
2018
- 2018-12-19 CN CN201811554466.0A patent/CN109684280A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9800455B1 (en) * | 2012-02-08 | 2017-10-24 | Amazon Technologies, Inc. | Log monitoring system |
CN103617038A (zh) * | 2013-11-28 | 2014-03-05 | 北京京东尚科信息技术有限公司 | 一种分布式应用系统的服务监控方法及装置 |
CN106790718A (zh) * | 2017-03-16 | 2017-05-31 | 北京搜狐新媒体信息技术有限公司 | 服务调用链路分析方法及系统 |
CN108845912A (zh) * | 2018-06-11 | 2018-11-20 | 掌阅科技股份有限公司 | 服务接口调用故障的报警方法及计算设备 |
CN109271359A (zh) * | 2018-11-20 | 2019-01-25 | 北京千丁互联科技有限公司 | 日志信息处理方法、装置、电子设备及可读存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110049139A (zh) * | 2019-05-05 | 2019-07-23 | 广东电网有限责任公司 | 一种服务代理转发业务系统 |
CN110764977A (zh) * | 2019-09-27 | 2020-02-07 | 赛诺贝斯(北京)营销技术股份有限公司 | 一种实现系统安全的报警方法和装置 |
CN110764977B (zh) * | 2019-09-27 | 2023-11-10 | 赛诺贝斯(北京)营销技术股份有限公司 | 一种实现系统安全的报警方法和装置 |
CN111078447A (zh) * | 2019-11-24 | 2020-04-28 | 杭州安恒信息技术股份有限公司 | 一种微服务架构中的异常定位方法、装置、设备、介质 |
CN111078447B (zh) * | 2019-11-24 | 2023-09-19 | 杭州安恒信息技术股份有限公司 | 一种微服务架构中的异常定位方法、装置、设备、介质 |
CN113778780A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
CN113778780B (zh) * | 2020-11-27 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
CN112398872A (zh) * | 2020-12-04 | 2021-02-23 | 王志东 | 基于状态日志的服务系统运行异常识别系统及识别方法 |
CN113094269A (zh) * | 2021-04-12 | 2021-07-09 | 中国工商银行股份有限公司 | 应用程序测试异常分析方法及装置 |
CN113238888A (zh) * | 2021-06-02 | 2021-08-10 | 浙江网商银行股份有限公司 | 数据处理方法、系统及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684280A (zh) | 日志文件处理方法、装置及系统 | |
CN111049705B (zh) | 一种监控分布式存储系统的方法及装置 | |
US10212063B2 (en) | Network aware distributed business transaction anomaly detection | |
US9369521B2 (en) | Naming of distributed business transactions | |
US9384114B2 (en) | Group server performance correction via actions to server subset | |
CN101707632A (zh) | 一种动态监控服务器集群性能并实时报警的方法 | |
US6367037B1 (en) | Data collection agent for computer networks | |
CN112286774A (zh) | 运维监控数据展示方法、装置、存储介质及计算设备 | |
EP3289464A1 (en) | Detection of node.js memory leaks | |
US20060041794A1 (en) | Methods, systems and computer program products for providing system operational status information | |
US11544238B2 (en) | Custom data aggregation and integration processing | |
JP4881760B2 (ja) | ログ管理装置、ログ管理方法、プログラム、及び記録媒体 | |
CN111526038A (zh) | 业务请求分发方法、装置、计算机设备及可读存储介质 | |
US10616081B2 (en) | Application aware cluster monitoring | |
CN117370053A (zh) | 一种面向信息系统业务运行全景监测方法及系统 | |
CN109274533B (zh) | 一种基于规则引擎的Web服务故障的定位装置和方法 | |
US10666746B1 (en) | System for discovering services | |
CN114285786B (zh) | 一种网络链路库的构建方法及装置 | |
CN113254523B (zh) | 一种数据调用方法、装置、电子设备及存储介质 | |
CN112685252A (zh) | 微服务监控方法、装置、设备和存储介质 | |
CN113067722A (zh) | 数据管理平台及其工作方法 | |
CN112286778A (zh) | 一种业务链调用解析方法及装置 | |
CN111752847A (zh) | 接口比对方法和微服务器、计算机可读存储介质、电子设备 | |
JP2018160020A (ja) | 監視システム、プログラムおよび監視方法 | |
CN114546759B (zh) | 数据库访问错误监测、分析方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |