CN113157659A - 一种日志处理方法和装置 - Google Patents
一种日志处理方法和装置 Download PDFInfo
- Publication number
- CN113157659A CN113157659A CN202110528610.9A CN202110528610A CN113157659A CN 113157659 A CN113157659 A CN 113157659A CN 202110528610 A CN202110528610 A CN 202110528610A CN 113157659 A CN113157659 A CN 113157659A
- Authority
- CN
- China
- Prior art keywords
- event
- log
- log information
- service
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000007639 printing Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 31
- 238000000586 desensitisation Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 21
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000007405 data analysis Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000010017 direct printing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志处理方法和装置，涉及自动程序设计技术领域。该方法的一具体实施方式包括：采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。该实施方式通过将日志信息按照设定的日志输出格式进行打印，并按照事件类型对其中具有日志标记的日志信息进行分类处理，实现了日志信息的统一管理，便于后续进行日志分析。
Description
技术领域
本发明涉及自动程序设计技术领域，尤其涉及一种日志处理方法和装置。
背景技术
分布式架构下，一个系统由多个能独立运行的服务组成，各服务部署在不同的节点。当服务出现问题时，需要从各个服务中收集并分析日志。由于日志的格式以及数据类型多种多样，导致对日志的处理非常繁琐，处理效率低，无法快速定位出现异常的服务，客户体验差。
发明内容
有鉴于此，本发明实施例提供一种日志处理方法和装置，该方法通过将日志信息按照设定的日志输出格式进行打印，并按照事件类型，对其中具有日志标记的日志信息进行分类处理，实现了日志信息的统一管理，便于后续进行日志分析。
为实现上述目的，根据本发明实施例的一个方面，提供了一种日志处理方法。
本发明实施例的一种日志处理方法，包括：采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。
可选地，所述事件信息包括事件标识和事件内容；所述根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理，包括：根据所述业务事件的事件类型，确定与所述事件类型对应的事件标识和拆分格式；从所述目标日志信息中获取所述事件标识对应的事件内容，按照所述拆分格式设置的格式字段，将所述事件内容按列拆分。
可选地，所述事件内容包括事件状态；所述方法还包括：在设定时间段内，统计目标事件标识对应的事件状态为失败的次数，以及所述目标事件标识在所述目标日志信息中出现的总次数；根据所述次数和所述总次数，计算所述目标事件标识对应的业务事件的报错率；将所述报错率与设定报错阈值比较，确定所述报错率大于所述报错阈值，将所述目标事件标识对应的业务事件标记为异常事件。
可选地，所述业务事件为多个，所述事件内容包括用户标识和事件状态；所述方法还包括：从多个所述业务事件对应的目标日志信息中，筛选出包含目标用户标识的目标日志信息；其中，多个所述业务事件归属于同一业务；从筛选出的目标日志信息中，查找所述事件状态为放弃的记录，统计放弃所述业务事件的用户数，以及放弃所述业务的总用户数；根据所述用户数和所述总用户数，计算当前业务事件对应的用户流失率；将所述用户流失率与设定流失阈值比较，确定所述用户流失率大于所述流失阈值，将所述当前业务事件标记为异常事件。
可选地，所述方法还包括：根据所述业务事件的事件类型，配置所述事件内容的拆分格式。
可选地，所述采集分布式服务执行业务事件所生成的日志信息，包括：使用Logstack工具，采集分布式服务执行业务事件所生成的原始日志信息；使用ElasticSearch搜索框架，对所述原始日志信息进行过滤，得到日志信息。
可选地，所述方法还包括：使用Kibana仪表盘，对所述日志信息进行图形化展示。
可选地，所述分布式服务为微服务；所述方法还包括：根据设定的关联关系，查找所述异常事件的事件标识对应的微服务标识；其中，所述关联关系用于记录所述微服务标识和所述事件标识之间的对应关系；根据查找出的微服务标识，对异常微服务进行定位。
可选地，所述事件内容包括失败原因；所述对异常微服务进行定位的步骤之后，所述方法还包括：将所述异常微服务和对应的失败原因封装到告警信息中，发送所述告警信息。
可选地，所述按照设定的日志输出格式，打印所述日志信息的步骤之前，所述方法还包括：确定所述日志信息中存在敏感数据，根据所述业务事件的事件类型，确定与所述事件类型对应的日志脱敏策略；按照所述日志脱敏策略对所述日志信息进行脱敏处理。
可选地，所述确定所述日志信息中存在敏感数据，包括：将所述日志信息与设定的规则字符串进行匹配；如果所述日志信息中存在与所述规则字符串匹配的目标字符串时，则确定所述日志信息中存在敏感数据。
可选地，所述规则字符串是根据设定的敏感关键词库和正则表达式配置而成的；其中，所述正则表达式用于基于所述敏感关键词库中的一个或多个敏感关键词配置所述规则字符串。
可选地，所述日志脱敏策略包括数据替换、数据无效化、数据随机化和数据偏移中的一种或者多种。
为实现上述目的，根据本发明实施例的另一方面，提供了一种日志处理装置。
本发明实施例的一种日志处理装置，包括：打印模块，用于采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；筛选模块，用于从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；分类模块，用于根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。
可选地，所述事件信息包括事件标识和事件内容；所述分类模块，还用于根据所述业务事件的事件类型，确定与所述事件类型对应的事件标识和拆分格式；以及从所述目标日志信息中获取所述事件标识对应的事件内容，按照所述拆分格式设置的格式字段，将所述事件内容按列拆分。
可选地，所述事件内容包括事件状态；所述装置还包括：第一分析模块，用于在设定时间段内，统计目标事件标识对应的事件状态为失败的次数，以及所述目标事件标识在所述目标日志信息中出现的总次数；根据所述次数和所述总次数，计算所述目标事件标识对应的业务事件的报错率；以及将所述报错率与设定报错阈值比较，确定所述报错率大于所述报错阈值，将所述目标事件标识对应的业务事件标记为异常事件。
可选地，所述业务事件为多个，所述事件内容包括用户标识和事件状态；所述装置还包括：第二分析模块，用于从多个所述业务事件对应的目标日志信息中，筛选出包含目标用户标识的目标日志信息；其中，多个所述业务事件归属于同一业务；从筛选出的目标日志信息中，查找所述事件状态为放弃的记录，统计放弃所述业务事件的用户数，以及放弃所述业务的总用户数；根据所述用户数和所述总用户数，计算当前业务事件对应的用户流失率；以及将所述用户流失率与设定流失阈值比较，确定所述用户流失率大于所述流失阈值，将所述当前业务事件标记为异常事件。
可选地，所述装置还包括：配置模块，用于根据所述业务事件的事件类型，配置所述事件内容的拆分格式。
可选地，所述打印模块，还用于使用Logstack工具，采集分布式服务执行业务事件所生成的原始日志信息；以及使用ElasticSearch搜索框架，对所述原始日志信息进行过滤，得到日志信息。
可选地，所述装置还包括：展示模块，用于使用Kibana仪表盘，对所述日志信息进行图形化展示。
可选地，所述分布式服务为微服务；所述装置还包括：异常定位模块，用于根据设定的关联关系，查找所述异常事件的事件标识对应的微服务标识；其中，所述关联关系用于记录所述微服务标识和所述事件标识之间的对应关系；以及根据查找出的微服务标识，对异常微服务进行定位。
可选地，所述事件内容包括失败原因；所述装置还包括：告警模块，用于将所述异常微服务和对应的失败原因封装到告警信息中，发送所述告警信息。
可选地，所述装置还包括：脱敏处理模块，用于确定所述日志信息中存在敏感数据，根据所述业务事件的事件类型，确定与所述事件类型对应的日志脱敏策略；按照所述日志脱敏策略对所述日志信息进行脱敏处理。
可选地，所述脱敏处理模块，还用于将所述日志信息与设定的规则字符串进行匹配；如果所述日志信息中存在与所述规则字符串匹配的目标字符串时，则确定所述日志信息中存在敏感数据。
可选地，所述规则字符串是根据设定的敏感关键词库和正则表达式配置而成的；其中，所述正则表达式用于基于所述敏感关键词库中的一个或多个敏感关键词配置所述规则字符串。
可选地，所述日志脱敏策略包括数据替换、数据无效化、数据随机化和数据偏移中的一种或者多种。
为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。
本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种日志处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种日志处理方法。
上述发明中的一个实施例具有如下优点或有益效果：通过将日志信息按照设定的日志输出格式进行打印，并按照事件类型，对其中具有日志标记的日志信息进行分类处理，实现了日志信息的统一管理，便于后续进行日志分析。按照事件类型对应的拆分格式，事件内容进行按列拆分，使得可以基于业务事件的日志信息特点，得到易于分析的数据形式。
基于事件内容的事件状态，统计报错率高的业务事件，使得后续可以通过分析失败原因，对该业务事件的处理流程进行优化。基于事件内容的用户标识，查找出用户放弃的业务事件，使得后续可以通过统计各业务事件的用户流失率，对用户流失率高的业务事件的处理流程进行优化。
按照事件类型，配置事件内容的拆分格式，实现了对不同类型业务事件的差异化处理，提高后续进行日志分析的分析效率。基于ELK框架，对日志进行采集、过滤、展示，提高了日志信息的处理速度，且可以直观的查看日志信息。
通过微服务标识和事件标识之间的关联关系，查找异常事件的事件标识对应的微服务标识，进而实现对异常微服务的快速定位。通过将异常微服务和对应的失败原因封装到告警信息，便于开发人员及时发现代码漏洞，进而优化代码。通过对日志信息进行脱敏处理，保护信息安全性，保护客户隐私。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明一实施例的日志处理方法的主要步骤的示意图；
图2是根据本发明又一实施例的日志处理方法的主要流程示意图；
图3是根据本发明再一实施例的日志处理方法的主要流程示意图；
图4是根据本发明实施例的日志处理装置的主要模块的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面对本发明实施例涉及的术语进行解释。
日志：是操作系统和应用软件自动生成的事件说明或者消息记录，包含了时间和日志信息等。
ELK：ElasticSearch+Logstash+Kibana。其中，ElasticSearch是一套搜索框架，提供了方便的接口，可以用来对日志进行检索。Logstash是一个数据收集工具，可以用来收集日志数据。Kibana是一套可以和ElasticSearch交互的界面，通过Kibana可以方便的检索ElasticSearch内的所有数据，还可以用图形化的方式展示数据结果。
Filebeat：是一个轻量级的日志传输工具。
Logagent：是一个轻量级的日志传输工具。
实施例一
图1是根据本发明一实施例的日志处理方法的主要步骤的示意图。如图1所示，本发明实施例的日志处理方法，主要包括如下步骤：
步骤S101：采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息。分布式服务是指服务是分散部署在不同的机器上的，一个服务可以负责若干个业务功能。一个业务事件对应实现一个业务功能，比如贷款业务的注册事件对应该业务的注册功能，测额事件对应该业务的测额功能(即测试用户的贷款额度)。
分布式服务在执行业务事件时会生成日志信息，可以使用日志采集工具采集各服务生成的日志信息。实施例中，日志采集工具可以是Logstash、Filebeat、Logagent等。在采集到日志信息后，需按照设定的日志输出格式进行打印输出。其中，日志输出格式的格式字段包括日志标记和业务事件的事件信息，日志标记用于对需要分析处理的日志信息进行标记，与不需要分析处理的日志信息进行区分。
步骤S102：从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息。根据设定的日志标记，对打印出的日志信息进行筛选，得到需要分析处理的日志信息。假设日志标记为埋点日志，则该步骤用于从打印出的日志信息中筛选出具有埋点日志字样的日志信息。
步骤S103：根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。不同类型的业务事件，其事件信息并不相同。其中，事件信息包括事件标识和事件内容。比如注册事件，其事件内容中记录用户标识、注册状态(注册失败时包括失败原因)、注册结果、是否首次注册等。再比如测额事件，其事件内容中记录用户标识、测额状态、贷款结果、贷款额度等。
根据事件类型，对目标日志信息中的事件信息进行分类处理，便于对不同类型的业务事件的日志信息进行统计分析。具体地，在对事件信息进行分类处理时，需根据业务事件的事件类型，确定与事件类型对应的事件标识和拆分格式，之后从目标日志信息中获取事件标识对应的事件内容，之后即可按照拆分格式设置的格式字段，将事件内容按列拆分。
实施例中，拆分格式是根据业务事件的事件类型，预先配置的。其格式字段定义拆分后的字段名称。以注册事件为例，其拆分格式的格式字段中可以定义用户标识、注册状态、注册结果和是否首次注册这四个字段名称。注册状态可以是成功、失败、放弃等。
实施例一对分布式服务所产生的日志信息进行了收集以及预处理，进而可以实现日志数据的数据量大、存在指定问题的分布式服务的日志数据分析，为后续进行异常定位提供了基础。下面结合图2对使用微服务执行业务事件所生成日志信息进行数据分析以及异常定位的实现过程进行详细说明。
实施例二
图2是根据本发明又一实施例的日志处理方法的主要流程示意图。如图2所示，本发明实施例的日志处理方法，主要包括如下步骤：
步骤S201：采集微服务执行业务事件所生成的日志信息。其中，微服务中的每个服务是针对一个单一职责的业务功能的封装，若干个微服务构成一个业务系统。该实施例中，可以使用Logstack工具，采集微服务执行业务事件所生成的原始日志信息；之后使用ElasticSearch搜索框架，对原始日志信息进行过滤，得到日志信息。在对原始日志信息进行过滤时，可以使用关键字进行筛选过滤。
在一可选的实施例中，还可以使用Kibana仪表盘，对日志信息进行图形化展示，使得可以直观的查看日志信息。
步骤S202：按照设定的日志输出格式，打印日志信息。在采集到日志信息后，需按照设定的日志输出格式进行打印输出，便于后续在大量日志中提取出用于分析的部分。其中，日志输出格式的格式字段包括日志标记和业务事件的事件信息，事件信息可以包括事件标识、事件描述、事件内容和事件时间。其中，事件标识可以是事件名称或者事件编码。
实施例中，日志输出格式可以为：【埋点日志】：事件标识：{}，事件描述：{}，事件内容：{}，事件时间：{}。花括号{}中的内容针对不同类型的业务事件，其具体内容有所区别。
步骤S203：从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息。实施例中，该步骤用于从打印出的日志信息中筛选出具有埋点日志字样的日志信息。
步骤S204：根据业务事件的事件类型，对目标日志信息的事件信息进行分类处理，得到分类结果。该步骤的具体实现见步骤S103，此处不再赘述。可以理解的是，对目标日志信息进行分类之前，可以按照设定的日志筛选时间、日志筛选规则，对目标日志信息进行进一步筛选处理。比如筛选某个月份的日志信息，筛选包含某个用户标识、某个事件标识的日志信息等。实施例中，每个业务事件的分类结果可以保存到excel表格中，用于后续数据分析。
步骤S205：根据分类结果进行数据分析，得到异常事件集。该步骤的数据分析，比如可以是分析目标业务事件的执行情况，跟踪目标用户的用户行为，分析目标用户的贷款额度，分析大于基准贷款额度的用户比例等，用于为主动优化客户体验、提升产品性能、优化产品设计提供思路。实施例中并不对数据分析的具体内容进行限定，可以根据自身业务场景进行其他分析处理。
对于分析目标业务事件的执行情况这一数据分析需求，实施例中，可以在设定时间段内，统计目标事件标识(即目标业务事件对应的事件标识)对应的事件状态为失败的次数，以及目标事件标识在目标日志信息中出现的总次数；根据次数和总次数，计算目标事件标识对应的业务事件的报错率(即次数/总次数)；将报错率与设定报错阈值比较，如果报错率大于报错阈值，则将该目标事件标识对应的业务事件标记为异常事件。其中，报错阈值可以根据经验自定义设置，比如20％、30％。
该实施例中，事件内容需包括事件状态，事件状态可以是成功、失败、放弃等。比如统计某月份发生的注册事件中，事件状态为失败的次数以及注册事件在目标日志信息中出现的总次数，之后计算注册事件的报错率(即次数/总次数)，比较该报错率与设定报错阈值的大小，如果报错率大于报错阈值，则说明注册事件对应的业务流程需要进一步优化。
对于跟踪目标用户的用户行为这一数据分析需求，实施例中，可以从多个业务事件对应的目标日志信息中，筛选出包含目标用户标识(即目标用户的用户标识)的目标日志信息；之后从筛选出的目标日志信息中，查找事件状态为放弃的记录。
该实施例中，多个业务事件归属于同一业务，比如归属于贷款业务。事件内容需包括用户标识和事件状态，事件状态同样可以是成功、失败、放弃等。比如对于一些用户发起贷款申请请求，但最终放弃贷款的情况，可以从贷款业务的目标日志信息中，筛选出这些用户的目标日志信息，之后查找其中事件状态为放弃的日志记录，从这些日志记录中提取事件标识，该事件标识对应的业务事件即认为是导致这些用户放弃贷款的事件。
之后可以统计各业务事件的用户流失率(即放弃当前业务事件的用户数/放弃该业务的总用户数)，如果某个业务事件的用户流失率大于设定流失阈值，则将该业务事件标记为异常事件，可以对该业务事件的业务流程进一步优化。其中，流失阈值也可以根据经验自定义设置，比如80％、90％。
确定异常事件后，将标记为异常事件的业务事件添加到异常事件集。
步骤S206：根据设定的关联关系，查找异常事件集中的事件标识对应的微服务标识。实施例中，一个微服务实现一个业务功能，对应一个业务事件，故可以预先配置微服务标识与业务事件的事件标识之间的关联关系。确定异常事件集后，可以基于关联关系，查找异常事件集中每个异常事件的事件标识所对应的微服务标识。
步骤S207：根据查找出的微服务标识，对异常微服务进行定位。查找出的微服务标识对应的微服务即为异常微服务。
该实施例基于ELK框架进行日志的采集解析、搜索存储，实现了日志信息的统一管理，并通过自定义应用程序接口的方式(该接口实现的功能为步骤S202-步骤S207)筛选所关心的日志内容(比如包含特殊报错的日志信息、某段时间的日志信息)，进而对日志信息进行分析处理、监控报警，可以大大减少人工运维成本，能够及时、主动地发现生产问题，并通过日志分析提升系统性能，优化业务流程，提升客户体验。
在一可选的实施例中，定位出异常微服务之后，可以将异常微服务和对应的失败原因封装到告警信息中，通过短信、邮件等方式，发送告警信息至相关人员。
实施例二中按照设定的日志输出格式，对采集的日志信息进行整理后，直接打印输出。但是日志信息中通常存在隐私内容，直接打印输出存在安全隐患，需要进行脱敏处理。下面结合实施例三，对日志数据的脱敏处理过程进行说明。
实施例三
图3是根据本发明再一实施例的日志处理方法的主要流程示意图。如图3所示，本发明实施例的日志处理方法，主要包括如下步骤：
步骤S301：采集微服务执行业务事件所生成的日志信息。该步骤的具体实现见步骤S201，此处不再赘述。
步骤S302：确定日志信息中存在敏感数据，根据业务事件的事件类型，确定与事件类型对应的日志脱敏策略。根据业务事件的事件类型，为不同类型的业务事件设置日志脱敏策略。比如注册事件的日志脱敏策略可以是数据替换，测额事件的日志脱敏策略可以是数据无效化。
实施例中，日志脱敏策略可以包括数据替换、数据无效化、数据随机化和数据偏移中的一种或者多种。其中，数据替换是用设置的固定虚构值替换真值，例如将手机号码统一替换为1111。数据无效化是指将数据进行加密、隐藏等处理，使其不再具有利用价值，例如将地址以****代替真值。数据随机化是采用随机数据代替真值，例如用随机生成的姓和名代替真值。数据偏移是通过随机移位改变数字数据。
将日志信息与设定的规则字符串进行匹配，如果日志信息中存在与规则字符串匹配的目标字符串时，则说明日志信息中存在敏感数据(该目标字符串即敏感数据)；如果日志信息中不存在与规则字符串匹配的目标字符串时，则说明日志信息中不存在敏感数据，直接执行步骤S304。
实施例中，规则字符串是根据设定的敏感关键词库和正则表达式配置而成的。正则表达式用于基于敏感关键词库中的一个或多个敏感关键词配置规则字符串，以提高脱敏效率。比如，敏感关键词库中包括A、B和C三个敏感关键词，通过正则表达式定义一个规则字符串，如“A&B&C”，“&”代表“与”的意思。将日志信息与“A&B&C”进行匹配，如果日志信息同时出现A、B和C，则匹配成功，说明包含敏感数据。
如果日志信息中存在敏感数据，则需根据从事件信息中提取事件标识，进而根据事件标识对应的事件类型，确定其日志脱敏策略。
步骤S303：按照日志脱敏策略对日志信息进行脱敏处理，得到脱敏后的日志信息。比如，对于注册事件的日志信息，则使用设定的虚构值替换目标字符串。对于测额事件的日志信息，则可以将目标字符串隐藏。
步骤S304：按照设定的日志输出格式，打印脱敏后的日志信息。在对日志信息进行脱敏处理后，需按照设定的日志输出格式进行打印输出，便于后续在大量日志中提取出用于分析的部分。
可以理解的是，步骤S301-步骤S304仅对脱敏处理的相关内容进行了详细说明，后续实现参见步骤S203-步骤S207，此处不再赘述。该实施例中，通过对日志数据进行脱敏处理，提高了数据安全性。
图4是根据本发明实施例的日志处理装置的主要模块的示意图。
如图4所示，本发明实施例的日志处理装置400，主要包括：
打印模块401，用于采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息。分布式服务是指服务是分散部署在不同的机器上的，一个服务可以负责若干个业务功能。一个业务事件对应实现一个业务功能，比如贷款业务的注册事件对应该业务的注册功能，测额事件对应该业务的测额功能。
分布式服务在执行业务事件时会生成日志信息，可以使用日志采集工具采集各服务生成的日志信息。在采集到日志信息后，需按照设定的日志输出格式进行打印输出。其中，日志输出格式的格式字段包括日志标记和业务事件的事件信息，日志标记用于对需要分析处理的日志信息进行标记，与不需要分析处理的日志信息进行区分。
筛选模块402，用于从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息。根据设定的日志标记，对打印出的日志信息进行筛选，得到需要分析处理的日志信息。假设日志标记为埋点日志，则该步骤用于从打印出的日志信息中筛选出具有埋点日志字样的日志信息。
分类模块403，用于根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。不同类型的业务事件，其事件信息并不相同。其中，事件信息包括事件标识和事件内容。比如注册事件，其事件内容中记录用户标识、注册状态(注册失败时包括失败原因)、注册结果、是否首次注册等。再比如测额事件，其事件内容中记录用户标识、测额状态、贷款结果、贷款额度等。
根据事件类型，对目标日志信息中的事件信息进行分类处理，便于对不同类型的业务事件的日志信息进行统计分析。具体地，在对事件信息进行分类处理时，需根据业务事件的事件类型，确定与事件类型对应的事件标识和拆分格式，之后从目标日志信息中获取事件标识对应的事件内容，之后即可按照拆分格式设置的格式字段，将事件内容按列拆分。
实施例中，拆分格式是根据业务事件的事件类型，预先配置的。其格式字段定义拆分后的字段名称。以注册事件为例，其拆分格式的格式字段中可以定义用户标识、注册状态、注册结果和是否首次注册这四个字段名称。注册状态可以是成功、失败、放弃等。
另外，本发明实施例的日志处理装置400还可以包括：第一分析模块、第二分析模块、配置模块、展示模块、异常定位模块、告警模块和脱敏处理模块(图4中未示出)，各模块的功能如前所述，此处不再赘述。
从以上描述可以看出，通过将日志信息按照设定的日志输出格式进行打印，并按照事件类型，对其中具有日志标记的日志信息进行分类处理，实现了日志信息的统一管理，便于后续进行日志分析。
图5示出了可以应用本发明实施例的日志处理方法或日志处理装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对管理员利用终端设备501、502、503发送的数据采集请求进行处理的后台管理服务器。后台管理服务器可以采集日志信息，打印日志信息，筛选目标日志信息，进行分类处理，并将处理结果(例如分类结果)反馈给终端设备。
需要说明的是，本申请实施例所提供的日志处理方法一般由服务器505执行，相应地，日志处理装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。
本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种日志处理方法。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种日志处理方法。
下面参考图6，其示出了适用于来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有计算机系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括打印模块、筛选模块和分类模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，打印模块还可以被描述为“采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。
根据本发明实施例的技术方案，通过将日志信息按照设定的日志输出格式进行打印，并按照事件类型，对其中具有日志标记的日志信息进行分类处理，实现了日志信息的统一管理，便于后续进行日志分析。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (17)
1.一种日志处理方法，其特征在于，包括：
采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；
从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；
根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。
2.根据权利要求1所述的方法，其特征在于，所述事件信息包括事件标识和事件内容；
所述根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理，包括：
根据所述业务事件的事件类型，确定与所述事件类型对应的事件标识和拆分格式；
从所述目标日志信息中获取所述事件标识对应的事件内容，按照所述拆分格式设置的格式字段，将所述事件内容按列拆分。
3.根据权利要求2所述的方法，其特征在于，所述事件内容包括事件状态；所述方法还包括：
在设定时间段内，统计目标事件标识对应的事件状态为失败的次数，以及所述目标事件标识在所述目标日志信息中出现的总次数；
根据所述次数和所述总次数，计算所述目标事件标识对应的业务事件的报错率；
将所述报错率与设定报错阈值比较，确定所述报错率大于所述报错阈值，将所述目标事件标识对应的业务事件标记为异常事件。
4.根据权利要求2所述的方法，其特征在于，所述业务事件为多个，所述事件内容包括用户标识和事件状态；所述方法还包括：
从多个所述业务事件对应的目标日志信息中，筛选出包含目标用户标识的目标日志信息；其中，多个所述业务事件归属于同一业务；
从筛选出的目标日志信息中，查找所述事件状态为放弃的记录，统计放弃所述业务事件的用户数，以及放弃所述业务的总用户数；
根据所述用户数和所述总用户数，计算当前业务事件对应的用户流失率；
将所述用户流失率与设定流失阈值比较，确定所述用户流失率大于所述流失阈值，将所述当前业务事件标记为异常事件。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述业务事件的事件类型，配置所述事件内容的拆分格式。
6.根据权利要求1至5的任一项所述的方法，其特征在于，所述采集分布式服务执行业务事件所生成的日志信息，包括：
使用Logstack工具，采集分布式服务执行业务事件所生成的原始日志信息；
使用ElasticSearch搜索框架，对所述原始日志信息进行过滤，得到日志信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
使用Kibana仪表盘，对所述日志信息进行图形化展示。
8.根据权利要求3或4所述的方法，其特征在于，所述分布式服务为微服务；所述方法还包括：
根据设定的关联关系，查找所述异常事件的事件标识对应的微服务标识；其中，所述关联关系用于记录所述微服务标识和所述事件标识之间的对应关系；
根据查找出的微服务标识，对异常微服务进行定位。
9.根据权利要求8所述的方法，其特征在于，所述事件内容包括失败原因；
所述对异常微服务进行定位的步骤之后，所述方法还包括：
将所述异常微服务和对应的失败原因封装到告警信息中，发送所述告警信息。
10.根据权利要求1所述的方法，其特征在于，所述按照设定的日志输出格式，打印所述日志信息的步骤之前，所述方法还包括：
确定所述日志信息中存在敏感数据，根据所述业务事件的事件类型，确定与所述事件类型对应的日志脱敏策略；
按照所述日志脱敏策略对所述日志信息进行脱敏处理。
11.根据权利要求10所述的方法，其特征在于，所述确定所述日志信息中存在敏感数据，包括：
将所述日志信息与设定的规则字符串进行匹配；
如果所述日志信息中存在与所述规则字符串匹配的目标字符串时，则确定所述日志信息中存在敏感数据。
12.根据权利要求11所述的方法，其特征在于，所述规则字符串是根据设定的敏感关键词库和正则表达式配置而成的；其中，所述正则表达式用于基于所述敏感关键词库中的一个或多个敏感关键词配置所述规则字符串。
13.根据权利要求10至12的任一项所述的方法，其特征在于，所述日志脱敏策略包括数据替换、数据无效化、数据随机化和数据偏移中的一种或者多种。
14.一种日志处理装置，其特征在于，包括：
打印模块，用于采集分布式服务执行业务事件所生成的日志信息，按照设定的日志输出格式，打印所述日志信息；其中，所述日志输出格式的格式字段包括日志标记和所述业务事件的事件信息；
筛选模块，用于从打印的所述日志信息中筛选出具有设定日志标记的日志信息，得到目标日志信息；
分类模块，用于根据所述业务事件的事件类型，对所述目标日志信息的事件信息进行分类处理。
15.根据权利要求14所述的装置，其特征在于，所述事件信息包括事件标识和事件内容；
所述分类模块，还用于根据所述业务事件的事件类型，确定与所述事件类型对应的事件标识和拆分格式；以及
从所述目标日志信息中获取所述事件标识对应的事件内容，按照所述拆分格式设置的格式字段，将所述事件内容按列拆分。
16.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的方法。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-13中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528610.9A CN113157659A (zh) | 2021-05-14 | 2021-05-14 | 一种日志处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528610.9A CN113157659A (zh) | 2021-05-14 | 2021-05-14 | 一种日志处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113157659A true CN113157659A (zh) | 2021-07-23 |
Family
ID=76875211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110528610.9A Pending CN113157659A (zh) | 2021-05-14 | 2021-05-14 | 一种日志处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157659A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
| CN114697204A (zh) * | 2022-03-21 | 2022-07-01 | 昭通亮风台信息科技有限公司 | 一种分布式系统的日志收集方法及系统 |
| CN115242606A (zh) * | 2022-06-21 | 2022-10-25 | 北京字跳网络技术有限公司 | 数据处理方法、装置、服务器、存储介质及程序产品 |
| WO2023015852A1 (zh) * | 2021-08-11 | 2023-02-16 | 中国银联股份有限公司 | 一种应用日志的打码输出方法、装置及计算机可读存储介质 |
| CN116661758A (zh) * | 2023-08-01 | 2023-08-29 | 青岛蓝图智库信息技术有限公司 | 一种优化日志框架配置的方法、装置、电子设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160041894A1 (en) * | 2014-08-11 | 2016-02-11 | Microsoft Corporation | Structured logging and instrumentation framework |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
| CN107491382A (zh) * | 2017-07-21 | 2017-12-19 | 北京京东尚科信息技术有限公司 | 日志输出方法和装置 |
| CN109376532A (zh) * | 2018-10-31 | 2019-02-22 | 云南电网有限责任公司 | 基于elk日志采集分析的电力网络安全监测方法及系统 |
| CN109800223A (zh) * | 2018-12-12 | 2019-05-24 | 平安科技（深圳）有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN111581232A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的慢sql实时分析方法及系统 |
| CN111651784A (zh) * | 2020-04-28 | 2020-09-11 | 中国平安财产保险股份有限公司 | 日志脱敏方法、装置、设备及计算机可读存储介质 |
| CN112130781A (zh) * | 2020-09-22 | 2020-12-25 | 平安科技（深圳）有限公司 | 日志打印方法、装置、电子设备和存储介质 |
| CN112182080A (zh) * | 2020-09-22 | 2021-01-05 | 中国建设银行股份有限公司 | 数据集成系统和基于数据集成系统的数据处理方法 |
| CN112347066A (zh) * | 2019-08-08 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 日志处理方法、装置及服务器和计算机可读存储介质 |
-
2021
- 2021-05-14 CN CN202110528610.9A patent/CN113157659A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160041894A1 (en) * | 2014-08-11 | 2016-02-11 | Microsoft Corporation | Structured logging and instrumentation framework |
| CN106940677A (zh) * | 2017-02-13 | 2017-07-11 | 咪咕音乐有限公司 | 一种应用日志数据告警方法及装置 |
| CN107491382A (zh) * | 2017-07-21 | 2017-12-19 | 北京京东尚科信息技术有限公司 | 日志输出方法和装置 |
| CN109376532A (zh) * | 2018-10-31 | 2019-02-22 | 云南电网有限责任公司 | 基于elk日志采集分析的电力网络安全监测方法及系统 |
| CN109800223A (zh) * | 2018-12-12 | 2019-05-24 | 平安科技（深圳）有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN112347066A (zh) * | 2019-08-08 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 日志处理方法、装置及服务器和计算机可读存储介质 |
| CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
| CN111651784A (zh) * | 2020-04-28 | 2020-09-11 | 中国平安财产保险股份有限公司 | 日志脱敏方法、装置、设备及计算机可读存储介质 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
| CN111581232A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的慢sql实时分析方法及系统 |
| CN112130781A (zh) * | 2020-09-22 | 2020-12-25 | 平安科技（深圳）有限公司 | 日志打印方法、装置、电子设备和存储介质 |
| CN112182080A (zh) * | 2020-09-22 | 2021-01-05 | 中国建设银行股份有限公司 | 数据集成系统和基于数据集成系统的数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张相广: "核心银行系统负载均衡设备日志解析平台的构建与应用", 中国金融电脑, 31 December 2018 (2018-12-31), pages 51 - 54 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023015852A1 (zh) * | 2021-08-11 | 2023-02-16 | 中国银联股份有限公司 | 一种应用日志的打码输出方法、装置及计算机可读存储介质 |
| CN114629949A (zh) * | 2021-12-13 | 2022-06-14 | 美的网络信息服务(深圳)有限公司 | 业务监控方法、电子设备及计算机存储介质 |
| CN114697204A (zh) * | 2022-03-21 | 2022-07-01 | 昭通亮风台信息科技有限公司 | 一种分布式系统的日志收集方法及系统 |
| CN115242606A (zh) * | 2022-06-21 | 2022-10-25 | 北京字跳网络技术有限公司 | 数据处理方法、装置、服务器、存储介质及程序产品 |
| CN115242606B (zh) * | 2022-06-21 | 2024-04-16 | 北京字跳网络技术有限公司 | 数据处理方法、装置、服务器、存储介质及程序产品 |
| CN116661758A (zh) * | 2023-08-01 | 2023-08-29 | 青岛蓝图智库信息技术有限公司 | 一种优化日志框架配置的方法、装置、电子设备及介质 |
| CN116661758B (zh) * | 2023-08-01 | 2023-11-03 | 青岛蓝图智库信息技术有限公司 | 一种优化日志框架配置的方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113157659A (zh) | 一种日志处理方法和装置 | |
| US10783062B2 (en) | Automated diagnostic testing of databases and configurations for performance analytics visualization software | |
| US20200160230A1 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
| US20190108112A1 (en) | System and method for generating a log analysis report from a set of data sources | |
| US10057285B2 (en) | System and method for auditing governance, risk, and compliance using a pluggable correlation architecture | |
| EP3403187A1 (en) | Single click delta analysis | |
| US11042525B2 (en) | Extracting and labeling custom information from log messages | |
| US20210240691A1 (en) | Anomaly identification in log files | |
| CN105512283A (zh) | 数据质量管理控制方法及装置 | |
| CN112698915A (zh) | 多集群统一监控告警方法、系统、设备及存储介质 | |
| CN113760641A (zh) | 业务监控方法、装置、计算机系统和计算机可读存储介质 | |
| CN112491602A (zh) | 行为数据的监控方法、装置、计算机设备及介质 | |
| CN114095522A (zh) | 车辆监控方法、服务系统、管理终端、车辆及存储介质 | |
| CN111240876A (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
| CN115982012A (zh) | 一种接口管理能力成熟度的评估模型及方法 | |
| CN112116273A (zh) | 一种员工查询行为风险监测方法、装置、设备及存储介质 | |
| US20240086293A1 (en) | Automated system alert based on logs sentiment analysis | |
| CN111241048A (zh) | 一种web终端日志管理方法、装置、介质及电子设备 | |
| CN113282751B (zh) | 日志分类方法及装置 | |
| CN111368039B (zh) | 一种数据管理系统 | |
| CN114372069A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
| CN113342619A (zh) | 日志监控方法、系统、电子设备及可读介质 | |
| CN112882892A (zh) | 数据处理方法和装置、电子设备及存储介质 | |
| CN112100047A (zh) | 一种服务性能监控分析方法及装置 | |
| CN109450700B (zh) | 可视化的业务检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |