CN112380105A - 日志收集方法、装置、系统、设备、存储介质及插件 - Google Patents
日志收集方法、装置、系统、设备、存储介质及插件 Download PDFInfo
- Publication number
- CN112380105A CN112380105A CN202011324524.8A CN202011324524A CN112380105A CN 112380105 A CN112380105 A CN 112380105A CN 202011324524 A CN202011324524 A CN 202011324524A CN 112380105 A CN112380105 A CN 112380105A
- Authority
- CN
- China
- Prior art keywords
- exception
- result
- abnormal
- anomaly
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000002159 abnormal effect Effects 0.000 claims abstract description 90
- 238000004458 analytical method Methods 0.000 claims abstract description 60
- 230000005856 abnormality Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 230000006978 adaptation Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/349—Performance evaluation by tracing or monitoring for interfaces, buses
Abstract
本发明涉及日志收集技术领域，公开了一种日志收集方法、装置、系统、设备、存储介质及插件，所述方法包括：抓取终端控制台输出的日志数据；将所述日志数据存储到本地线程中；对存储在本地线程中的日志数据进行实时异常分析；当异常分析的结果为存在异常时，将异常结果实时传输至所述终端控制台。本发明实施例提供的一种日志收集方法、装置、系统、设备、存储介质及插件，能够对日志数据进行实时异常分析，并实时传输异常结果。
Description
技术领域
本发明涉及日志收集技术领域，特别是涉及一种日志收集方法、装置、系统、设备、存储介质及插件。
背景技术
目前，在云时代服务网格的概念下，Java应用基本都是通过命令启动方式在系统终端进行运行的，而应用调试过程往往需要基于日志信息进行分析和解决问题。
在现有技术中，日志是通过ELK组件方式进行收集及展示，但是，虽然能通过现成ELK组件对日志进行收集并展示，却无法对日志进行实时收集、传输，也无法进行异常分析，只能由开发人员去查看和分析日志，导致应用调试效率不高。
发明内容
本发明实施例所要解决的技术问题是：提供一种日志收集方法、装置、系统、设备、存储介质及插件，对日志数据进行实时异常分析，并实时传输异常结果。
为了解决上述技术问题，第一方面，本发明实施例提供一种日志收集方法，所述方法包括：
抓取终端控制台输出的日志数据；
将所述日志数据存储到本地线程中；
对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
将异常结果实时传输至所述终端控制台。
作为一个优选方案，所述对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果，具体包括：
判断存储在本地线程中的日志数据是否包含异常；
当存储在本地线程中的日志数据包含异常时，判断异常是否为未知异常和系统异常中的一种或两种；
当异常为未知异常时，生成第一异常结果；
当异常为系统异常时，生成第二异常结果；
当异常为未知异常和系统异常时，生成第三异常结果；
则，将异常结果实时传输至所述终端控制台，具体为：
将所述第一异常结果或者所述第二异常结果或者所述第三异常结果实时传输至所述终端控制台。
作为一个优选方案，未知异常为中间件异常；所述系统异常为代码逻辑异常和网络交互异常中的一种或两种。
作为一个优选方案，所述第一异常结果包括：第一异常文件、第一异常名称、第一异常行号以及第一异常信息；
所述第二异常结果包括：第二异常文件、第二异常名称、第二异常行号以及第二异常信息；
所述第三异常结果包括：第三异常文件、第三异常名称、第三异常行号以及第三异常信息。
作为一个优选方案，所述将异常结果实时传输至所述终端控制台，具体包括：
将所述异常结果按照消息队列的方式进行封装；
将封装后的异常结果按照信息段的方式进行截取；其中，截取后的每一信息段的大小不超过第一阈值；
通过消息传输队列的JMS进程连接所述终端控制器的消息接收队列，并将截取后的每一信息段分段传输至所述终端控制台。
为了解决上述技术问题，第二方面，本发明实施例提供一种日志收集装置，所述装置包括：
抓取模块，用于抓取终端控制台输出的日志数据；
存储模块，用于将所述日志数据存储到本地线程中；
分析模块，用于对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
传输模块，用于将异常结果实时传输至所述终端控制台。
为了解决上述技术问题，第三方面，本发明实施例提供一种日志收集系统，所述系统采用如第一方面任一项所述的日志收集方法进行日志收集，所述系统包括：
消息存储层，用于接收各方面的日志数据，并进行存储；
异常分析层，用于对存储在所述消息存储层中的日志数据进行实时异常分析，并对存在异常的日志数据进行标记生成异常结果；
适配层，用于在所述异常分析层进行异常分析时接受各方面的异常结果，对多个维度的异常结果进行适配；
日志打印层，用于对所述异常分析层生成的异常结果进行输出。
为了解决上述技术问题，第四方面，本发明实施例提供一种日志收集设备，所述设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述计算机程序由所述处理器执行时实现如第一方面任一项所述的日志收集方法。
为了解决上述技术问题，第五方面，本发明实施例提供一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现如第一方面任一项所述的日志收集方法。
为了解决上述技术问题，第六方面，本发明实施例提供一种插件，所述插件能够实现如第一方面任一项所述的日志收集方法。
与现有技术相比，本发明实施例提供的一种日志收集方法、装置、系统、设备、存储介质及插件，其有益效果在于：首先抓取终端控制台输出的日志数据，其次将所述日志数据存储到本地线程中，然后对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果，最后再将异常结果实时传输至所述终端控制台，能够实现对日志数据进行实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输；采用消息队列的封装方式对异常结果进行封装，能够将不同类型日志数据的异常结果传输至终端控制台。
附图说明
为了更清楚地说明本发明实施例的技术特征，下面将对本发明实施例中所需要使用的附图做简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种日志收集方法的一个优选实施例的流程示意图；
图2是本发明提供的一种日志收集装置的一个优选实施例的结构示意图；
图3是本发明提供的一种日志收集系统的一个优选实施例的结构示意图；
图4是本发明提供的一种日志收集设备的一个优选实施例的结构示意图。
具体实施方式
为了对本发明的技术特征、目的、效果有更加清楚的理解，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明本发明，但是不用来限制本发明的保护范围。基于本发明的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的其他实施例，都应属于本发明的保护范围。
在本发明的描述中，应当理解的是，本文中的编号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有顺序或者技术含义，不能理解为规定或者暗示所描述的对象的重要性。
图1所示为本发明提供的一种日志收集方法的一个优选实施例的流程示意图。
如图1所示，所述方法包括：
S11：抓取终端控制台输出的日志数据；
S12：将所述日志数据存储到本地线程中；
S13：对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
S14：将异常结果实时传输至所述终端控制台。
具体而言，本发明实施例的日志收集方法主要是针对客户端发起请求到请求结束期间，终端控制台(TerminalConsole)输出的日志数据进行收集的。
作为一个举例，首先抓取由终端控制台输出的日志数据文件流，抓取时记录下抓取日志数据最后一行的时间点，抓取后将所述日志数据存储到本地线程(Local Thread)中，以便后续再进行查阅。当日志存储到本地线程之后，再通过异常分析工具对存储的日志数据进行实时异常分析，并在分析出异常时，生成异常结果，并将所述异常结果实时传输至所述终端控制台。
本发明实施例提供的一种日志收集方法，将抓取到的日志数据存储到本地线程中，能够对日志数据进行保存，以便后续进行查阅或比对；对存储的日志进行实时异常分析，并在结果为异常时将异常结果传输至终端控制台，能够实现对日志数据的实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输。
在一个优选实施例中，所述对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果，具体包括：
判断存储在本地线程中的日志数据是否包含异常；
当存储在本地线程中的日志数据包含异常时，判断异常是否为未知异常和系统异常中的一种或两种；
当异常为未知异常时，生成第一异常结果；
当异常为系统异常时，生成第二异常结果；
当异常为未知异常和系统异常时，生成第三异常结果；
则，将异常结果实时传输至所述终端控制台，具体为：
将所述第一异常结果或者所述第二异常结果或者所述第三异常结果实时传输至所述终端控制台。
具体而言，存储在本地线程之后，日志数据可以转换成字符串，进而对字符串进行包含关键字的拦截，并将包含“Exception：”的标记成异常，并进一步判断异常为未知异常和系统异常中的一种或两种。
其中，所述未知异常为中间件异常；所述系统异常为代码逻辑异常和网络交互异常中的一种或两种。
当判断得到的结果为异常仅为未知异常时，生成第一异常结果；其中，所述第一异常结果包括：第一异常文件、第一异常名称、第一异常行号以及第一异常信息。在所述第一异常信息中，可以包括解决该异常的建议信息。
当判断得到的结果为异常仅为系统异常时，生成第二异常结果；其中，所述第二异常结果包括：第二异常文件、第二异常名称、第二异常行号以及第二异常信息。在所述第二异常信息中，可以包括解决该异常的建议信息。
当判断得到的结果为异常为未知异常和系统异常时，生成第三异常结果；其中，所述第三异常结果包括：第三异常文件、第三异常名称、第三异常行号以及第三异常信息。在所述第三异常信息中，可以包括解决该异常的建议信息。
并在生成了异常结果(第一异常结果或者第二异常结果或者第三异常结果)之后，实时传输至所述终端控制台，以便对异常结果进行查看并做出预警和应对。
在一个优选实施例中，所述将异常结果实时传输至所述终端控制台，具体包括：
将所述异常结果按照消息队列的方式进行封装；
将封装后的异常结果按照信息段的方式进行截取；其中，截取后的每一信息段的大小不超过第一阈值；
通过消息传输队列的JMS进程连接所述终端控制器的消息接收队列，并将截取后的每一信息段分段传输至所述终端控制台。
优选的，所述第一阈值为8M。
其中，该传输过程主要为针对应用软件的日志数据进行异常分析后得到的异常结果。
具体而言，首先将异常结果按照消息队列的封装方式进行封装，并设置消息队列深度、信息分段等参数将封装后的异常结果截取为每一个信息不超过8M的信息段，再通过消息传输队列JMS(Java Message Service)进程连接所述终端控制台的消息接收队列，将截取后的每一信息段分段传输至所述终端控制台。
综上所述，本发明实施例提供的一种日志收集方法，首先抓取终端控制台输出的日志数据，其次将所述日志数据存储到本地线程中，然后对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果，最后再将异常结果实时传输至所述终端控制台，能够实现对日志数据的实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输；采用消息队列的封装方式对异常结果进行封装，能够将不同类型日志数据的异常结果传输至终端控制台。
应当理解，本发明实现上述日志收集方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述日志收集方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，上述任一实施例所述的日志收集方法，还可以制作成插件形式，该插件置于核心包中，核心包管理其中的各个插件，且该核心包能无缝装载在Springboot的项目中。其中，该核心包统一管理插件版本号，无需考虑兼容问题。且通过1～2行代码调用核心包中10％的功能，剩余90％的功能采用配置化方式实现。该核心包能够提供快速的项目搭建，且项目中90％的插件核心包都已囊括其中，无需各项目组各自搭建，能够保证高质量的工程。
进一步的，该核心包还包括能够实现链路关系追踪和/或链路关系查看的插件。
在一个优选实施例中，链路关系追踪的具体实现过程为：
客户端向第一服务端发起第一访问请求；
所述第一服务端通过第一网关向交互数据存储服务端发送第一链路消息；
所述第一服务端向第二服务端发起第二访问请求，并通过拦截层在所述第二访问请求的消息头添加链路追踪所需要的链路追踪信息；
所述第二服务端根据所述链路追踪信息通过第二网关向所述交互数据存储服务端发送第二链路消息；
所述交互数据存储服务端根据所述第一链路消息以及所述第二链路消息获取所述第一服务端和所述第二服务端的链路关系。
在一个优选实施例中，链路关系查看的具体实现过程为：
接收第一服务端的第一链路消息；其中，第一服务端向第二服务端发起访问请求时，通过拦截层在访问请求的消息头添加链路追踪所需要的链路追踪信息；
接收第二服务端的第二链路消息；
根据所述第一链路消息以及所述第二链路消息查看所述第一服务端和所述第二服务端的链路关系。
其中，所述第一服务端包括第一适配层，所述第一适配层用于对所述第一服务端的所有服务的技术栈进行适配处理；所述第二服务端包括第二适配层，所述第二适配层用于对所述第二服务端的所有服务的技术栈进行适配处理。
所述第一适配层以及所述第二适配层的适配原理为：检测服务是否使用第一框架；若是，则该服务使用第一写法，若否，则该服务使用第二写法。
所述第一框架为SpringMVC框架，所述第一写法为SpringMVC写法，所述第二写法为Jersey写法。
所述链路追踪信息包括但不限于如下数据信息：
1)"x-request-id"；
2)"x-b3-traceid"；
3)"x-b3-spanid"；
4)"x-b3-sampled"；
5)"x-b3-flags"；
6)"x-ot-span-context"；
7)"x-datadog-trace-id"；
8)"x-datadog-parent-id"；
9)"x-datadog-sampled"；
10)"end-user"；
11)"user-agent"。
该核心包通过对链路关系进行追踪、查看以及对异常日志实时收集、进行自动错误发现预警，能够对各个微服务进行持久的监控，从而达到有问题第一时间了解，有效及快速的解决问题，保证项目的稳定。
图2所示为本发明提供的一种日志收集装置的一个优选实施例的结构示意图，所述装置能够实现上述任一实施例所述的日志收集方法的全部流程。
如图2所示，所述装置包括：
抓取模块21，用于抓取终端控制台输出的日志数据；
存储模块22，用于将所述日志数据存储到本地线程中；
分析模块23，用于对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
传输模块24，用于将异常结果实时传输至所述终端控制台。
优选的，所述分析模块23具体包括：
第一判断单元231，用于判断存储在本地线程中的日志数据是否包含异常；
第二判断单元232，用于当存储在本地线程中的日志数据包含异常时，判断异常是否为未知异常和系统异常中的一种或两种；
第一结果生成单元233，用于当异常为未知异常时，生成第一异常结果；
第二结果生成单元234，用于当异常为系统异常时，生成第二异常结果；
第三结果生成单元235，用于当异常为未知异常和系统异常时，生成第三异常结果。
则，所述传输模块24具体用于：将所述第一异常结果或者所述第二异常结果或者所述第三异常结果实时传输至所述终端控制台。
优选的，所述未知异常为中间件异常；所述系统异常为代码逻辑异常和网络交互异常中的一种或两种。
优选的，所述第一异常结果包括：第一异常文件、第一异常名称、第一异常行号以及第一异常信息；
所述第二异常结果包括：第二异常文件、第二异常名称、第二异常行号以及第二异常信息；
所述第三异常结果包括：第三异常文件、第三异常名称、第三异常行号以及第三异常信息。
优选的，所述传输模块24具体包括：
消息封装单元241，用于将所述异常结果按照消息队列的方式进行封装；
信息截取单元242，用于将封装后的异常结果按照信息段的方式进行截取；其中，截取后的每一信息段的大小不超过第一阈值；
第一传输单元243，用于通过消息传输队列的JMS进程连接所述终端控制器的消息接收队列，并将截取后的每一信息段分段传输至所述终端控制台。
本发明实施例提供的一种日志收集装置，能够实现对日志数据进行实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输，以及将不同类型日志的异常结果传输至终端控制台。
图3所示为本发明提供的一种日志收集系统的一个优选实施例的结构示意图，所述系统采用上述任一实施例所述的日志收集方法进行日志收集。
如图3所示，所述系统包括：
消息存储层，用于接收各方面的日志数据，并进行存储；
异常分析层，用于对存储在所述消息存储层中的日志数据进行实时异常分析，并对存在异常的日志数据进行标记生成异常结果；
适配层，用于在所述异常分析层进行异常分析时接受各方面的异常结果，对多个维度的异常结果进行适配；
日志打印层，用于对所述异常分析层生成的异常结果进行输出。
具体而言，所述系统首先将抓取到的日志数据存储到所述消息存储层中，并通过所述异常分析层对存储的日志数据进行实时异常分析，对存在异常的日志数据进行标记，然后生成异常结果，其中，在此异常分析过程中，所述适配层能够对多个维度的异常结果进行适配，接受各方面的异常结果。最后通过所述日志打印层将异常分析层生成的异常结果传输至终端控制台。
本发明实施例提供的一种日志收集系统，能够对日志数据进行实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输，以及将不同类型日志的异常结果传输至终端控制台。
图4所示为本发明提供的一种日志收集设备的一个优选实施例的结构示意图，所述设备能够实现上述任一实施例所述的日志收集方法的全部流程。
如图4所示，所述设备包括存储器41、处理器42；其中，所述存储器41中存储有计算机程序，所述计算机程序被配置为由所述处理器42执行，且被所述处理器42执行时实现如上述任一实施例所述的日志收集方法。
本发明实施例提供的日志收集设备，能够实现对日志数据进行实时异常分析，在应用运行过程中自动捕获异常及预警，并对异常结果进行实时收集和传输，以及将不同类型日志的异常结果传输至终端控制台。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器42执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述日志收集设备中的执行过程。
所称处理器42可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可用于存储所述计算机程序和/或模块，所述处理器42通过运行或执行存储在所述存储器41内的计算机程序和/或模块，以及调用存储在存储器41内的数据，实现所述日志收集设备的各种功能。所述存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述日志收集设备包括，但不仅限于，处理器42、存储器41，本领域技术人员可以理解，图4结构示意图仅仅是上述日志收集设备的示例，并不构成对日志收集设备的限定，可以包括比图示更多部件，或者组合某些部件，或者不同的部件。
以上所述，仅是本发明的优选实施方式，但本发明的保护范围并不局限于此，应当指出，对于本领域技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干等效的明显变型方式和/或等同替换方式，这些明显变型方式和/或等同替换方式也应视为本发明的保护范围。
Claims (10)
1.一种日志收集方法，其特征在于，包括：
抓取终端控制台输出的日志数据；
将所述日志数据存储到本地线程中；
对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
将异常结果实时传输至所述终端控制台。
2.根据权利要求1所述的日志收集方法，其特征在于，所述对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果，具体包括：
判断存储在本地线程中的日志数据是否包含异常；
当存储在本地线程中的日志数据包含异常时，判断异常是否为未知异常和系统异常中的一种或两种；
当异常为未知异常时，生成第一异常结果；
当异常为系统异常时，生成第二异常结果；
当异常为未知异常和系统异常时，生成第三异常结果；
则，将异常结果实时传输至所述终端控制台，具体为：
将所述第一异常结果或者所述第二异常结果或者所述第三异常结果实时传输至所述终端控制台。
3.根据权利要求2所述的日志收集方法，其特征在于，所述未知异常为中间件异常；所述系统异常为代码逻辑异常和网络交互异常中的一种或两种。
4.根据权利要求2或3所述的日志收集方法，其特征在于，所述第一异常结果包括：第一异常文件、第一异常名称、第一异常行号以及第一异常信息；
所述第二异常结果包括：第二异常文件、第二异常名称、第二异常行号以及第二异常信息；
所述第三异常结果包括：第三异常文件、第三异常名称、第三异常行号以及第三异常信息。
5.根据权利要求1所述的日志收集方法，其特征在于，所述将异常结果实时传输至所述终端控制台，具体包括：
将所述异常结果按照消息队列的方式进行封装；
将封装后的异常结果按照信息段的方式进行截取；其中，截取后的每一信息段的大小不超过第一阈值；
通过消息传输队列的JMS进程连接所述终端控制器的消息接收队列，并将截取后的每一信息段分段传输至所述终端控制台。
6.一种日志收集装置，其特征在于，所述装置包括：
抓取模块，用于抓取终端控制台输出的日志数据；
存储模块，用于将所述日志数据存储到本地线程中；
分析模块，用于对存储在本地线程中的日志数据进行实时异常分析，并在异常分析的结果为存在异常时，生成异常结果；
传输模块，用于将异常结果实时传输至所述终端控制台。
7.一种日志收集系统，其特征在于，所述系统采用如权利要求1至5任一项所述的日志收集方法进行日志收集，所述系统包括：
消息存储层，用于接收各方面的日志数据，并进行存储；
异常分析层，用于对存储在所述消息存储层中的日志数据进行实时异常分析，并对存在异常的日志数据进行标记生成异常结果；
适配层，用于在所述异常分析层进行异常分析时接受各方面的异常结果，对多个维度的异常结果进行适配；
日志打印层，用于对所述异常分析层生成的异常结果进行输出。
8.一种日志收集设备，其特征在于，所述设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述计算机程序由所述处理器执行时实现如权利要求1至5任一项所述的日志收集方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求1至5任一项所述的日志收集方法。
10.一种插件，其特征在于，所述插件能够实现如权利要求1至5任一项所述的日志收集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011324524.8A CN112380105A (zh) | 2020-11-23 | 2020-11-23 | 日志收集方法、装置、系统、设备、存储介质及插件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011324524.8A CN112380105A (zh) | 2020-11-23 | 2020-11-23 | 日志收集方法、装置、系统、设备、存储介质及插件 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380105A true CN112380105A (zh) | 2021-02-19 |
Family
ID=74588913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011324524.8A Pending CN112380105A (zh) | 2020-11-23 | 2020-11-23 | 日志收集方法、装置、系统、设备、存储介质及插件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380105A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905430A (zh) * | 2021-02-24 | 2021-06-04 | 浙江大华技术股份有限公司 | 日志输出方法、装置、存储介质及电子装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1549160A (zh) * | 2003-05-23 | 2004-11-24 | 联想(北京)有限公司 | 基于插件技术的设备日志实时解析系统及日志解析方法 |
| CN104144081A (zh) * | 2014-08-26 | 2014-11-12 | 福建天晴数码有限公司 | 一种通用应用日志管理方法、装置和系统 |
| CN105579999A (zh) * | 2013-07-31 | 2016-05-11 | 慧与发展有限责任合伙企业 | 日志分析 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN107832372A (zh) * | 2017-10-27 | 2018-03-23 | 周燕红 | 一种日志分析方法及系统 |
| CN108121645A (zh) * | 2017-12-25 | 2018-06-05 | 深圳市分期乐网络科技有限公司 | 一种日志质量评估方法、装置、服务器以及存储介质 |
| CN111881011A (zh) * | 2020-07-31 | 2020-11-03 | 网易（杭州）网络有限公司 | 日志管理方法、平台、服务器及存储介质 |
-
2020
- 2020-11-23 CN CN202011324524.8A patent/CN112380105A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1549160A (zh) * | 2003-05-23 | 2004-11-24 | 联想(北京)有限公司 | 基于插件技术的设备日志实时解析系统及日志解析方法 |
| CN105579999A (zh) * | 2013-07-31 | 2016-05-11 | 慧与发展有限责任合伙企业 | 日志分析 |
| CN104144081A (zh) * | 2014-08-26 | 2014-11-12 | 福建天晴数码有限公司 | 一种通用应用日志管理方法、装置和系统 |
| CN105574205A (zh) * | 2016-01-18 | 2016-05-11 | 国家电网公司 | 分布式计算环境的日志动态分析系统 |
| CN107832372A (zh) * | 2017-10-27 | 2018-03-23 | 周燕红 | 一种日志分析方法及系统 |
| CN108121645A (zh) * | 2017-12-25 | 2018-06-05 | 深圳市分期乐网络科技有限公司 | 一种日志质量评估方法、装置、服务器以及存储介质 |
| CN111881011A (zh) * | 2020-07-31 | 2020-11-03 | 网易（杭州）网络有限公司 | 日志管理方法、平台、服务器及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905430A (zh) * | 2021-02-24 | 2021-06-04 | 浙江大华技术股份有限公司 | 日志输出方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10528454B1 (en) | Intelligent automation of computer software testing log aggregation, analysis, and error remediation | |
| CN111061628B (zh) | 数据分析方法、系统、装置、计算机设备和存储介质 | |
| CN106484611B (zh) | 基于自动化协议适配的模糊测试方法和装置 | |
| US20100095370A1 (en) | Selective packet capturing method and apparatus using kernel probe | |
| CN107977473B (zh) | 基于Logback的分布式系统日志的检索方法和系统 | |
| CN112532490A (zh) | 回归测试系统、方法和电子设备 | |
| CN108121633B (zh) | 异常捕获方法及装置 | |
| CN106972983B (zh) | 网络接口的自动化测试装置及方法 | |
| CN111367803A (zh) | 一种客户端软件测试效率提高方法及系统 | |
| CN115102877B (zh) | 一种虚拟网卡网络检测方法、装置、设备及介质 | |
| CN113360301A (zh) | 一种消息传输系统及方法 | |
| CN112380105A (zh) | 日志收集方法、装置、系统、设备、存储介质及插件 | |
| CN112887289B (zh) | 一种网络数据处理方法、装置、计算机设备及存储介质 | |
| CN112256557B (zh) | 程序回归测试方法、装置、系统、计算机设备及存储介质 | |
| CN113609012A (zh) | 规范化处理后端异常报错的方法及系统 | |
| CN112115060A (zh) | 基于终端的音频测试方法与系统 | |
| CN114500348B (zh) | 一种cdn网关测试方法及系统 | |
| CN110333993B (zh) | 内存快照的生成方法、装置、电子设备和存储介质 | |
| CN112532478B (zh) | 链路关系追踪方法、系统、查看方法、装置、设备 | |
| KR101828156B1 (ko) | 트랜잭션 모니터링 시스템 및 그 동작방법 | |
| CN114338347A (zh) | 基于Ampere平台的故障信息带外获取方法及装置 | |
| CN114598622A (zh) | 数据监控方法及装置、存储介质、计算机设备 | |
| CN112181816A (zh) | 一种基于场景的接口测试方法、装置、计算机设备及介质 | |
| CN113364808B (zh) | 工控防火墙测试方法、装置、设备及存储介质 | |
| CN112671615A (zh) | 前端用户操作行为数据的收集方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
| RJ01 | Rejection of invention patent application after publication |