CN113342564A - 日志审计方法、装置、电子设备和介质 - Google Patents

日志审计方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN113342564A
CN113342564A CN202110712632.0A CN202110712632A CN113342564A CN 113342564 A CN113342564 A CN 113342564A CN 202110712632 A CN202110712632 A CN 202110712632A CN 113342564 A CN113342564 A CN 113342564A
Authority
CN
China
Prior art keywords
log
log file
database
fields
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110712632.0A
Other languages
English (en)
Other versions
CN113342564B (zh
Inventor
王夏丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202110712632.0A priority Critical patent/CN113342564B/zh
Publication of CN113342564A publication Critical patent/CN113342564A/zh
Priority to KR1020220068707A priority patent/KR20220087408A/ko
Priority to US17/840,681 priority patent/US20220309053A1/en
Priority to JP2022096421A priority patent/JP7373611B2/ja
Priority to EP22179678.2A priority patent/EP4099170B1/en
Application granted granted Critical
Publication of CN113342564B publication Critical patent/CN113342564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开公开了一种日志审计方法、装置、电子设备和介质，具体涉及计算机技术领域，尤其涉及人工智能技术和信息安全技术领域。日志审计方法包括：将收集的日志文件发送至卡夫卡消息队列，以便将日志文件排列在卡夫卡消息队列中；将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎；由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。

Description

日志审计方法、装置、电子设备和介质
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能技术和安全技术领域，具体涉及一种日志审计方法、装置、电子设备和介质。
背景技术
日志在计算机信息安全领域具有毋庸置疑的重要性。随着计算机技术的不断发展，目前的日志量越来越大，对海量数据进行实时分析成为了挑战。此外，各类应用生成的日志格式各异，在追溯问题时，可能要在十几个应用中分别打开几十个不同格式的日志文件，效率非常低，因此，对各类日志之间的相关性进行挖掘，以便对日志进行综合审计成为日志审计技术开发的重点。
发明内容
本公开提供了一种日志审计方法、装置、电子设备和介质。
根据本公开的一方面，提供了一种日志审计方法，包括：
将收集的日志文件发送至卡夫卡消息队列，以便将所述日志文件排列在所述卡夫卡消息队列中；
将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的所述多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎；以及
由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
根据本公开的另一方面，提供了一种日志审计装置，包括：
发送模块，将收集的日志文件发送至卡夫卡消息队列，以便将所述日志文件排列在所述卡夫卡消息队列中；
存储模块，将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的所述多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎；以及
统计模块，由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开的一方面的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的日志审计方法的流程图；
图2是根据本公开另一实施例的日志审计方法的流程图；
图3是根据本公开实施例的日志文件的过程示意图；
图4是根据本公开实施例的日志审计装置的示意图；以及
图5示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例的日志审计方法100的流程图。
在步骤S110，将收集的日志文件发送至卡夫卡消息队列，以便将日志文件排列在卡夫卡消息队列中。在一些实施例中，日志文件可以来自各种数据源，例如Kubernetes集群、宿主机、容器、应用、数据库以及云主机等。
卡夫卡(Kafka)消息队列是一种高吞吐量的分布式发布订阅消息系统，可以处理用户在网站中的所有动作流数据，例如用户访问的内容、用户搜索的内容等。卡夫卡消息队列通过处理日志和日志聚合来解决这些数据对于吞吐量的要求。在一些实施例中，从各个数据源收集日志文件，并且按照预定规则，例如日志文件到达卡夫卡消息队列的时间、名称、类型等将这些日志文件排列在卡夫卡消息队列中。
在步骤S120，将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎。
在一些实施例中，为了实现对源日志文件的回溯和对日志文件的搜索，以及对日志文件的分等级保护，将源日志文件和经字段提取的日志文件分别存储在两个数据库中。
例如，可以将卡夫卡消息队列中的日志文件直接存储至第一数据库，由第一数据库存储源日志文件。第一数据库可以包括Hbase数据库，Hbase是一种分布式的、面向列的结构化数据库。将源日志文件存储在Hbase数据库中，而存储于非系统内存中，可以防止系统重新启动时内存中的日志文件丢失。
此外，可以设置用户的访问等级，例如管理员等级、维护员等级及普通用户等级。管理员等级具有访问第一数据库以查看源日志文件的权限。在出现异常日志信息时，具有管理员等级的用户可以返回第一数据库，通过查看其中存储的源日志文件进行问题追溯。
进一步地，日志文件包括多种字段，例如创建日志的时间、物理设备地址、网络ip地址等等。为了便于对特定字段进行搜索，可以提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎。弹性搜索引擎(ElasticSearch)接收卡夫卡消息队列中的日志文件，通过分词控制器将对应的日志文件分词，以提取卡夫卡消息队列中的日志文件的多个字段，并计算各个字段的权重，基于计算出的权重与提取出的字段二者，为日志文件建立索引，进而基于建立的索引对日志文件进行搜索。
具有维护员等级的用户可以查看第二数据库中的日志文件，以监控各个数据源的运行状态。具有普通用户等级的用户则仅可以查看与自己的设备、所使用的应用等有关的日志文件。
在一些实施例中，还可以在弹性搜索引擎中设置身份认证模块，以对数据源的身份进行认证，对于认证失败的数据源，例如不可信的数据源，或者尚未注册的数据源，不将来自该数据源的日志文件存储至第二数据库中。
在步骤S130，由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
在一些实施例中，分布式处理引擎包括Flink，以数据并行和流水线方式执行对各个字段的统计。Flink是一种开源技术栈，可以提供批处理、流式计算、图计算、交互式查询、机器学习等功能。例如，Flink可以统计与各个字段相关联的各种数据，例如每分钟处理的日志文件量，来自各个物理机器的日志量等等。Flink还可以对日志文件的各个字段进行关联，例如，将具有相同字段的日志文件进行合并等。
进一步地，Flink还可以对统计出的与各个字段相关联的数据进行关联，例如在来自某台物理机器在过去一周的日平均日志量和该物理机器的当日日志量之间进行比较，或者例如在前10分钟处理的每分钟平均日志量和最近1分钟处理的日志量之间进行比较，并进而基于所关联/比较的字段确定异常的日志字段信息。例如，某台物理机器在过去一周的日平均日志量为10000，而当日日志量仅为100，则可以确定该日志字段信息出现异常，进而对该物理设备进行故障追溯。又例如，前10分钟处理的每分钟平均日志量为23000，而最近1分钟处理的日志量仅为5000，则确定出现异常，并进而追溯源日志文件，以进一步查看可能出现故障的物理设备、应用等。
此外，Flink可以将经关联的数据发送至远程字典服务器Redis，由远程字典服务器Redis进行异常监控。
通过将源日志文件和经字段提取的日志文件分别存储在两个数据库中，可以通过在经字段提取的日志文件之间建立关联，从而确定异常字段信息，并返回第一数据库，通过源日志文件追溯异常原因，可以对来自各类应用的不同格式的日志文件进行快速、实时的日志审计。
图2是根据本公开另一实施例的日志审计方法200的流程图。
在图2中，步骤S220～S240分别与方法100中的步骤S110～S130相对应。此外，在步骤S220之前，还包括步骤S210，在客户端和/或虚拟机上部署收集节点，并且利用收集节点收集日志文件。
在一些实施例中，可以在各个客户端和/或虚拟机上部署轻量型日志采集器Filebeat。Filebeat是本地文件的日志数据采集器，可以监控日志目录或特定日志文件，并将它们发送至卡夫卡消息队列。通过Filebeat收集的日志文件可以按照服务、应用、主机、数据中心等分栏排列。进一步地，将Filebeat收集的日志文件发送至卡夫卡消息队列，并且按照日志文件到达消息队列的时间将这些日志文件排列在卡夫卡消息队列中。
在步骤S240之后，还包括步骤S250，对异常的日志字段信息进行展示和告警。
例如，可以对存储在Hbase中的源日志文件进行展示，例如根据Filebeat中按照服务、应用、主机、数据中心等分栏排列的方式展示各个源日志文件。并且对存储在第二数据库中的经字段提取的日志文件通过图形化展示、报表展示、安全事件告警等方式进行展示，以进行运维监控。
在一些实施例中，还可以通过弹性搜索引擎，对特定字段的日志文件进行搜索。例如，搜索某台物理机器在每周一上午10:00-11:00之间的日志量。
利用根据本公开实施例的方法，在需要收集日志的客户端/虚拟机上部署Filebeat收集节点，并通过Filebeat收集节点将收集的日志文件按照服务、应用、主机、数据中心等分栏排列，可以对发送至卡夫卡消息队列中的日志文件进行预处理。
图3是根据本公开实施例的日志文件的过程示意图。
如图3所示，从数据源310收集日志文件300，数据源310可以包括Kubernetes集群、宿主机、容器、应用、数据库以及云主机等。例如，在每个数据源310处部署收集节点320，收集节点320收集各个数据源310的日志文件300，按照收集节点320规定的预定格式排列，例如按照服务、应用、主机、数据中心等分栏排列。
收集节点320将收集的日志文件300发送至卡夫卡消息队列330，卡夫卡消息队列330按照日志文件到达卡夫卡消息队列的时间，将日志文件排列在卡夫卡消息队列中330。
卡夫卡消息队列中330将队列中的源日志文件300′存储至第一数据库340，并且将经字段提取的日志文件300″存储至第二数据库350。
还可以将存储在第二数据库350中的经字段提取的日志文件300″发送至弹性搜索引擎360，以由弹性搜索引擎360从经字段提取的日志文件300″中搜索具有预定字段的日志文件。例如来自某台物理设备的日志文件、特定日期的日志文件、来自某个网络地址的日志文件等等。
分布式处理引擎370可以读取存储在第二数据库350中的日志文件300″的各个字段，以便对各个字段进行统计和关联，例如在来自某台物理机器在过去一周的日平均日志量和该物理机器的当日日志量之间进行比较，或者例如在前10分钟处理的每分钟平均日志量和最近1分钟处理的日志量之间进行比较。并基于统计和关联的结果确定异常的日志字段信息。
最后，第一展示模块380可以访问第一数据库340，对其中的源日志文件300′进行展示，例如按照收集节点320规定的预定格式将排列的日志文件进行展示，如将源日志文件按照服务、应用、主机、数据中心等分栏进行排列。第二展示模块390可以访问分布式处理引擎370，以展示经关联的日志文件，例如通过图形化展示、报表展示、安全事件告警等方式进行展示。第二展示模块390还可以访问弹性搜索引擎360，以对经字段提取的日志文件300″，根据输入的搜索字段进行搜索。
图4是根据本公开实施例的日志审计装置400的示意图。
如图4所示，日志审计装置400包括发送模块410、存储模块420、和分布式处理引擎430。
发送模块410用于将收集的日志文件发送至卡夫卡消息队列，以便将日志文件排列在卡夫卡消息队列中。在一些实施例中，日志文件可以来自各种数据源，例如Kubernetes集群、宿主机、容器、应用、数据库以及云主机等。
卡夫卡(Kafka)消息队列是一种高吞吐量的分布式发布订阅消息系统，可以处理用户在网站中的所有动作流数据，例如用户访问的内容、用户搜索的内容等。卡夫卡消息队列通过处理日志和日志聚合来解决这些数据对于吞吐量的要求。在一些实施例中，从各个数据源收集日志文件，并且按照预定规则，例如日志文件到达卡夫卡消息队列的时间、名称、类型等将这些日志文件排列在卡夫卡消息队列中。
存储模块420用于将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎。
在一些实施例中，为了实现对源日志文件的回溯和对日志文件的搜索，以及对日志文件的分等级保护，将源日志文件和经字段提取的日志文件分别存储在两个数据库中。
例如，可以将卡夫卡消息队列中的日志文件直接存储至第一数据库，由第一数据库存储源日志文件。第一数据库可以包括Hbase数据库，Hbase是一种分布式的、面向列的结构化数据库。将源日志文件存储在Hbase数据库中，而存储于非系统内存中，可以防止系统重新启动时内存中的日志文件丢失。
此外，可以设置用户的访问等级，例如管理员等级、维护员等级及普通用户等级。管理员等级具有访问第一数据库以查看源日志文件的权限。在出现异常日志信息时，具有管理员等级的用户可以返回第一数据库，通过查看其中存储的源日志文件进行问题追溯。
进一步地，日志文件包括多种字段，例如创建日志的时间、物理设备地址、网络ip地址等等。为了便于对特定字段进行搜索，可以提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎。弹性搜索引擎(ElasticSearch)接收卡夫卡消息队列中的日志文件，通过分词控制器将对应的日志文件分词，以提取卡夫卡消息队列中的日志文件的多个字段，并计算各个字段的权重，基于计算出的权重与提取出的字段二者，为日志文件建立索引，进而基于建立的索引对日志文件进行搜索。
具有维护员等级的用户可以查看第二数据库中的日志文件，以监控各个数据源的运行状态。具有普通用户等级的用户则仅可以查看与自己的设备、所使用的应用等有关的日志文件。
在一些实施例中，还可以在弹性搜索引擎中设置身份认证模块，以对数据源的身份进行认证，对于认证失败的数据源，例如不可信的数据源，或者尚未注册的数据源，不将来自该数据源的日志文件存储至第二数据库中。
分布式处理引擎430对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
在一些实施例中，分布式处理引擎430包括Flink，以数据并行和流水线方式执行对各个字段的统计。Flink是一种开源技术栈，可以提供批处理、流式计算、图计算、交互式查询、机器学习等功能。例如，Flink可以统计与各个字段相关联的各种数据，例如每分钟处理的日志文件量，来自各个物理机器的日志量等等。Flink还可以对日志文件的各个字段进行关联，例如，将具有相同字段的日志文件进行合并等。
进一步地，Flink还可以对统计出的与各个字段相关联的数据进行关联，例如在来自某台物理机器在过去一周的日平均日志量和该物理机器的当日日志量之间进行比较，或者例如在前10分钟处理的每分钟平均日志量和最近1分钟处理的日志量之间进行比较，并进而基于所关联/比较的字段确定异常的日志字段信息。例如，某台物理机器在过去一周的日平均日志量为10000，而当日日志量仅为100，则可以确定该日志字段信息出现异常，进而对该物理设备进行故障追溯。又例如，前10分钟处理的每分钟平均日志量为23000，而最近1分钟处理的日志量仅为5000，则确定出现异常，并进而追溯源日志文件，以进一步查看可能出现故障的物理设备、应用等。
此外，Flink可以将经关联的数据发送至远程字典服务器Redis，由远程字典服务器Redis进行异常监控。
通过将源日志文件和经字段提取的日志文件分别存储在两个数据库中，可以通过在经字段提取的日志文件之间建立关联，从而确定异常字段信息，并返回第一数据库，通过源日志文件追溯异常原因，可以对来自各类应用的不同格式的日志文件进行快速、实时的日志审计。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如方法100或200。例如，在一些实施例中，上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种日志审计方法，包括：
将收集的日志文件发送至卡夫卡消息队列，以便将所述日志文件排列在所述卡夫卡消息队列中；
将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的所述多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎；以及
由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
2.根据权利要求1所述的方法，还包括：
在客户端和/或虚拟机上部署收集节点；以及
利用所述收集节点收集日志文件。
3.根据权利要求1所述的方法，其中，所述将收集到的日志文件发送至卡夫卡消息队列，以便将所述日志文件排列在所述卡夫卡消息队列中包括：根据日志文件到达卡夫卡消息队列的时间，将所述日志文件排列在所述卡夫卡消息队列中。
4.根据权利要求1所述的方法，其中，所述第一数据库包括Hbase数据库。
5.根据权利要求1所述的方法，其中，所述提取卡夫卡消息队列中的日志文件的多个字段包括：
提取日志文件中的网络地址字段、主机名字段中的至少一个；以及
根据提取出的网络地址字段、主机名字段中的至少一个，将日志文件存储至第二数据库并发送至弹性搜索引擎，以便弹性搜索引擎对第二数据库中的各个字段进行搜索。
6.根据权利要求1所述的方法，其中，所述分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计包括：
生成日志文件的统计数据；以及
将所述统计数据发送至远程字典服务器。
7.根据权利要求1所述的方法，其中，由分布式处理引擎对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息包括：
将存储在第二数据库中的日志文件的各个字段相关联；
确定相关联字段是否满足预定规则；以及
将不满足预定规则的相关联字段确定为异常的日志字段信息。
8.根据权利要求7所述的方法，还包括对异常的日志字段信息进行展示和告警。
9.一种日志审计装置，包括：
发送模块，将收集的日志文件发送至卡夫卡消息队列，以便将所述日志文件排列在所述卡夫卡消息队列中；
存储模块，将卡夫卡消息队列中的日志文件直接存储至第一数据库，并且提取卡夫卡消息队列中的日志文件的多个字段，并根据提取出的所述多个字段，将日志文件存储至第二数据库并发送至弹性搜索引擎；以及
分布式处理引擎，对存储在第二数据库中的日志文件的各个字段进行统计，以便确定异常的日志字段信息。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～8中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～8中任一项所述的方法。
CN202110712632.0A 2021-06-25 2021-06-25 日志审计方法、装置、电子设备和介质 Active CN113342564B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110712632.0A CN113342564B (zh) 2021-06-25 2021-06-25 日志审计方法、装置、电子设备和介质
KR1020220068707A KR20220087408A (ko) 2021-06-25 2022-06-07 로그 감사 방법, 로그 감사 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
US17/840,681 US20220309053A1 (en) 2021-06-25 2022-06-15 Method and apparatus of auditing log, electronic device, and medium
JP2022096421A JP7373611B2 (ja) 2021-06-25 2022-06-15 ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム
EP22179678.2A EP4099170B1 (en) 2021-06-25 2022-06-17 Method and apparatus of auditing log, electronic device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110712632.0A CN113342564B (zh) 2021-06-25 2021-06-25 日志审计方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN113342564A true CN113342564A (zh) 2021-09-03
CN113342564B CN113342564B (zh) 2023-12-12

Family

ID=77478823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110712632.0A Active CN113342564B (zh) 2021-06-25 2021-06-25 日志审计方法、装置、电子设备和介质

Country Status (5)

Country Link
US (1) US20220309053A1 (zh)
EP (1) EP4099170B1 (zh)
JP (1) JP7373611B2 (zh)
KR (1) KR20220087408A (zh)
CN (1) CN113342564B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416685A (zh) * 2021-12-22 2022-04-29 北京百度网讯科技有限公司 日志处理方法、系统和存储介质
CN114969083A (zh) * 2022-06-24 2022-08-30 在线途游（北京）科技有限公司 一种实时数据分析方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822519B2 (en) * 2021-11-30 2023-11-21 Bank Of America Corporation Multi-dimensional database platform including an apache kafka framework and an auxiliary database for event data processing and provisioning
CN115481166B (zh) * 2022-08-08 2024-06-18 永信至诚科技集团股份有限公司 一种数据存储方法、装置、电子设备及计算机存储介质
CN116302589A (zh) * 2022-11-30 2023-06-23 三一海洋重工有限公司 快速存储机械设备大数据的方法及机械设备自动化系统
CN115629951B (zh) * 2022-12-20 2023-03-28 北京蔚领时代科技有限公司 一种任务全链路追踪方法、第一节点、链路系统及介质
CN116028461B (zh) * 2023-01-06 2023-09-19 北京志行正科技有限公司 一种基于大数据的日志审计系统
CN115794563B (zh) * 2023-02-06 2023-04-11 北京升鑫网络科技有限公司 一种系统审计日记的降噪方法、装置、设备及可读介质
CN116991661A (zh) * 2023-07-20 2023-11-03 北京直客通科技有限公司 软件系统的问题告警系统及方法
CN117493162B (zh) * 2023-12-19 2024-06-21 易方达基金管理有限公司 一种接口测试的数据校验方法、系统、设备及存储介质
CN117857182A (zh) * 2024-01-10 2024-04-09 江苏金融租赁股份有限公司 一种服务器异常访问的处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质
CN110011962A (zh) * 2019-02-21 2019-07-12 国家计算机网络与信息安全管理中心 一种车联网业务数据的识别方法
CN110245060A (zh) * 2019-05-20 2019-09-17 北京奇艺世纪科技有限公司 服务监控方法和设备、服务监控装置及介质
CN111597550A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 一种日志信息分析方法及相关装置
WO2020258290A1 (zh) * 2019-06-28 2020-12-30 京东方科技集团股份有限公司 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110102A (ja) 2007-10-26 2009-05-21 Chugoku Electric Power Co Inc:The ログ監視システムおよびログ監視方法
JP2016004297A (ja) 2014-06-13 2016-01-12 日本電信電話株式会社 ログ分類装置、ログ分類方法、及びログ分類プログラム
JP6434305B2 (ja) 2014-12-26 2018-12-05 国立研究開発法人日本原子力研究開発機構 高速炉の制御棒案内管
JP6386593B2 (ja) * 2015-02-04 2018-09-05 日本電信電話株式会社 悪性通信パターン抽出装置、悪性通信パターン抽出システム、悪性通信パターン抽出方法、および、悪性通信パターン抽出プログラム
US11513480B2 (en) * 2018-03-27 2022-11-29 Terminus (Beijing) Technology Co., Ltd. Method and device for automatically diagnosing and controlling apparatus in intelligent building
CN108537544B (zh) * 2018-04-04 2020-06-23 中南大学 一种交易系统实时监控方法及其监控系统
CN109284251A (zh) 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质
US11354836B2 (en) * 2019-07-24 2022-06-07 Oracle International Corporation Systems and methods for displaying representative samples of tabular data
US11157514B2 (en) * 2019-10-15 2021-10-26 Dropbox, Inc. Topology-based monitoring and alerting
US20220131879A1 (en) * 2020-10-26 2022-04-28 Nutanix, Inc. Malicious activity detection and remediation in virtualized file servers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110011962A (zh) * 2019-02-21 2019-07-12 国家计算机网络与信息安全管理中心 一种车联网业务数据的识别方法
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质
CN110245060A (zh) * 2019-05-20 2019-09-17 北京奇艺世纪科技有限公司 服务监控方法和设备、服务监控装置及介质
WO2020258290A1 (zh) * 2019-06-28 2020-12-30 京东方科技集团股份有限公司 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
CN111597550A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 一种日志信息分析方法及相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416685A (zh) * 2021-12-22 2022-04-29 北京百度网讯科技有限公司 日志处理方法、系统和存储介质
CN114416685B (zh) * 2021-12-22 2023-04-07 北京百度网讯科技有限公司 日志处理方法、系统和存储介质
CN114969083A (zh) * 2022-06-24 2022-08-30 在线途游（北京）科技有限公司 一种实时数据分析方法及系统

Also Published As

Publication number Publication date
EP4099170A1 (en) 2022-12-07
US20220309053A1 (en) 2022-09-29
EP4099170B1 (en) 2024-02-07
CN113342564B (zh) 2023-12-12
JP2022118108A (ja) 2022-08-12
KR20220087408A (ko) 2022-06-24
JP7373611B2 (ja) 2023-11-02

Similar Documents

Publication Publication Date Title
CN113342564B (zh) 日志审计方法、装置、电子设备和介质
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
AU2020331235A1 (en) Transforming a data stream into structured data
CN111885040A (zh) 分布式网络态势感知方法、系统、服务器及节点设备
US20210092160A1 (en) Data set creation with crowd-based reinforcement
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
CN110347716A (zh) 日志数据处理方法、装置、终端及存储介质
CN111160021A (zh) 日志模板提取方法及装置
JP2009527839A (ja) 通信ネットワークのトランザクション監視のための方法及びシステム
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
CN112636957A (zh) 基于日志的预警方法、装置、服务器及存储介质
CN114416685B (zh) 日志处理方法、系统和存储介质
CN113987086A (zh) 数据处理方法、数据处理装置、电子设备以及存储介质
CN115509797A (zh) 一种故障类别的确定方法、装置、设备及介质
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN114417118A (zh) 一种异常数据处理方法、装置、设备以及存储介质
US20240086293A1 (en) Automated system alert based on logs sentiment analysis
CN110781232A (zh) 数据处理方法、装置、计算机设备和存储介质
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
US11025658B2 (en) Generating summaries of messages associated with assets in an enterprise system
CN114238069A (zh) 一种Web应用防火墙测试方法、装置、电子设备、介质及产品
CN113986657A (zh) 告警事件的处理方法及处理装置
KR101543377B1 (ko) NoSQL 기반의 맵리듀스를 이용한 데이터 분석 장치 및 방법
US11816210B2 (en) Risk-based alerting for computer security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant