CN116361261B - 一种分布式日志采集处理方法、系统 - Google Patents
一种分布式日志采集处理方法、系统 Download PDFInfo
- Publication number
- CN116361261B CN116361261B CN202310639214.2A CN202310639214A CN116361261B CN 116361261 B CN116361261 B CN 116361261B CN 202310639214 A CN202310639214 A CN 202310639214A CN 116361261 B CN116361261 B CN 116361261B
- Authority
- CN
- China
- Prior art keywords
- analysis
- module
- log
- node
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 175
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 9
- 238000013515 script Methods 0.000 claims description 6
- 230000007488 abnormal function Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及网络日志处理技术领域，涉及一种分布式日志采集处理方法、系统。本公开实施例的系统包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点。主节点包括前端指令获取模块、指令编辑模块、主采集模块、主分析处理模块、日志打包模块。子节点包括子采集模块、子分析处理模块。主节点与子节点根据前端发送的分析任务指令进行日志文件、配置文件采集、分析处理，得到分析结果后由主节点反馈给前端。本公开实施例的方法基于上述系统实现。本公开实施例可根据前端需求进行日志采集、分析处理，且通过主节点完成分布式架构内多个节点的分析结果反馈，日志处理效率高。
Description
技术领域
本公开的实施例涉及网络日志处理技术领域，尤其涉及一种分布式日志采集处理方法、系统。
背景技术
HDFS（Hadoop Distributed File System）是一个分布式文件系统。对于HDFS上的日志采集、分析处理，无法直接利用业界常用的ansible分布式运维工具实现。ansible分布式运维工具虽然能实现批量系统配置、批量程序部署、批量运行命令等功能，但无法与前端直接交互。此外，其还存在其他问题：扩展功能需要修改源代码，可扩展性比较差；不能提供一键式的处理功能；不能提供问题定位的能力。
CNP(cloud network platform)控制器项目服务大多是分布式部署，虽然可访问任意分布式文件系统，但是，当需要查看不同主机上的日志文件、配置文件时，需要查看所有相关主机，无法一次性获得所有主机上的日志文件、配置文件；而在开发定位问题时，需要频繁的跳转到不同的主机上进行日志查看、配置文件查看、分析问题等，比较消耗时间，日志采集、分析处理的效率不高。
为此，如何在与前端交互下，基于CNP控制器实现日志高效处理（包括查看、扩展功能、定位等）是本公开实施例亟待解决的问题。
发明内容
本公开的实施例提供了一种分布式日志采集处理方法、系统，旨在解决上述问题以及其他潜在的问题中的一个或多个。
为实现上述目的，提供以下技术方案：
根据本公开的第一方面，提供了一种分布式日志采集处理系统，包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点；
所述主节点包括：
前端指令获取模块，用于接收前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入指令编辑模块；
指令编辑模块，用于存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；
HDFS主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；
本地主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；
主分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果；
日志打包模块，用于将主节点和/或子节点的分析结果打包，以反馈给前端；
所述子节点包括：
HDFS子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；
本地子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；
子分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果。
本公开实施例的系统利用若干CNP控制器构建分布式系统进行日志采集、分析处理。通过将一CNP控制器设定为主节点与前端进行交互，通过主节点获取前端的分析任务指令，继而将基于分析任务指令获得的采集信息、分析信息发送给相关子节点，以实现分布式系统下各节点对日志文件和配置文件采集、分析，最终主节点的分析结果和其他节点的分析结果可通过主节点反馈给前端。这样利用主节点实现了分布式系统与前端的一次性信息反馈，并且根据前端需求，能完成HDFS和本地日志文件和配置文件采集，日志采集处理效率高。
在一些实施例中，所述指令编辑模块为XML编辑模块。
在一些实施例中，当指令编辑模块将采集信息发送给HDFS子采集模块时，所述采集信息包括HDFS的接口信息；当指令编辑模块将采集信息发送给HDFS主采集模块时，所述HDFS主采集模块能直接调用HDFS接口。
在一些实施例中，所述本地主采集模块和所述本地子采集模块通过shell脚本实现日志文件、配置文件的采集。
在一些实施例中，所述主节点还包括问题定位模块，用于通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端。
在一些实施例中，所述关键字包括ERROR、WARN、NULL指针。
在一些实施例中，所述前端指令获取模块包括：
接收单元，用于接收前端发送的分析任务指令；
校验单元，用于对接收到的分析任务指令进行校验，当校验通过时，触发解析单元工作；
解析单元，用于将所述分析任务指令解析为日志文件、配置文件的采集信息和分析信息，并写入指令编辑模块。
在一些实施例中，所述系统与前端之间架设B/S模式。
根据本公开的第二方面，提供了一种分布式日志采集处理方法，基于上述分布式日志采集处理系统实现，方法包括：
主节点的前端指令获取模块获取前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入主节点的指令编辑模块；
主节点的指令编辑模块存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；
收到采集信息的主节点、子节点，通过其采集模块采集日志文件、配置文件；
收到分析信息的主节点、子节点，通过其分析处理模块对采集的日志文件、配置文件进行分析处理并得到分析结果；
子节点将得到的分析结果发送给主节点；
主节点的日志打包模块将在主节点得到的分析结果和/或从子节点得到分析结果打包，以反馈给前端。
在一些实施例中，所述主节点还包括问题定位模块，通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端；方法还包括：主节点的前端指令获取模块获取前端发送的问题定位指令，根据问题定位指令触发所述问题定位模块工作；所述问题定位模块在获得异常结果后将异常结果反馈给前端。
附图说明
通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出本公开的若干实施例。
图1示出了本公开实施例的一种分布式日志采集处理系统的框架示意图；
图2示出了本公开实施例的一种分布式日志采集处理系统实现的实例图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。
现有日志采集可利用运维工具，但对于HDFS上的日志采集、分析处理，无法直接利用业界常用的ansible分布式运维工具实现。除此之外，ansible分布式运维工具还不能与前端进行交互，无法基于前端需求进行日志采集、分析处理；其扩展功能也不灵活；也无法一次性对多个节点进行日志采集、分析处理。
CNP控制器虽然能对HDFS上的日志采集、分析处理，但往往是每个控制器都作为主节点来采集、分析日志，前端需要对每个控制器分别发送分析任务指令，且每个控制器需将分析结果各自反馈给前端，这就无法一次性对多个节点进行日志采集、分析处理。尤其在开发定位问题时，需要频繁的跳转到不同的主机上进行日志查看、配置文件查看、分析问题等，比较消耗时间，日志采集、分析处理的效率不高。
基于此，本公开实施例提出一种分布式日志采集处理系统，包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点。若干CNP控制器分布式设置，主节点用于与前端交互，即接收前端发送的分析任务指令，并下发给子节点；同时反馈前端关于主节点、子节点的分析结果。在此实施例下，可大大提高日志处理效率。
图1示出了本公开实施例的一种分布式日志采集处理系统。所述系统与前端之间架设B/S模式。所述主节点包括前端指令获取模块、指令编辑模块、HDFS主采集模块、本地主采集模块、主分析处理模块、日志打包模块。所述子节点包括HDFS子采集模块、本地子采集模块、子分析处理模块。前端发送分析任务指令给主节点，主节点分发给子节点。主节点与子节点根据前端发送的分析任务指令进行日志文件、配置文件采集、分析处理，得到分析结果后由主节点反馈给前端。
所述前端指令获取模块，用于接收前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入指令编辑模块。
所述分析任务指令包括对某一个或某几个或所有CNP控制器进行日志采集、分析的指令。所述分析任务指令包含采集对象和采集、分析指令。所述采集对象通过采集日志的类型确定，所述采集日志的类型可以有业务日志、系统日志、平台日志、配置文件、结果文件等。所述采集、分析指令被解析为具体的采集信息和分析信息。
具体地，所述前端指令获取模块包括接收单元、解析单元。所述接收单元用于接收前端发送的分析任务指令。所述解析单元用于将所述分析任务指令解析为日志文件、配置文件的采集信息和分析信息，并写入指令编辑模块。
为了避免前端发送的指令存在不安全而导致恶意代码攻击的情况发生，所述前端指令获取模块还包括校验单元，所述校验单元用于对接收到的分析任务指令进行校验，当校验通过时，触发解析单元工作，否则解析单元不工作。所述校验内容包括对前端传递的参数进行合法性、安全性检查。所述校验单元可利用checkParam函数实现（参见图2）。
所述指令编辑模块，用于存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块。例如，当节点为主节点时，则主采集模块、主分析处理模块执行操作；当节点为子节点时，则子采集模块、子分析处理模块执行操作。
所述指令编辑模块为XML编辑模块，通过XML文件进行日志文件、配置文件分析信息的输入，可以动态的新增分析内容而不需要修改Java代码。
所述HDFS主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件。在主机内的HDFS主采集模块可直接调用HDFS接口访问HDFS上的日志。所述HDFS主采集模块采集的数据可反馈给前端。
所述本地主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件。所述本地主采集模块通过shell脚本实现日志文件、配置文件的采集。例如，在脚本内设置ssh、scp命令，分别用于采集日志文件和配置文件。所述本地主采集模块采集的数据可反馈给前端。
所述主分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果。日志分析是对网络环境中各类设备产生的记录进行分析，通过分析网络环境中的各类改变及时发现网络威胁的过程。分析结果最终可以结果文件反馈给前端。
上述主采集模块和主分析处理模块可通过Get函数（参见图2）实现分场景日志信息采集，通过Collect函数（参见图2）实现分析，并得到分析结果。所述分析结果可包含日志数据、日路路径、异常结果等。
所述日志打包模块，用于将主节点和/或子节点的分析结果打包，以反馈给前端。所述日志打包模块可利用Compress函数实现（参见图2）。所述日志打包模块可单独对主节点的分析结果，或单独对某个子节点的分析结果，或部分节点的分析结果，或所有节点的分析结果进行打包。前端设有下载接口，能将打包压缩文件进行下载。此外，所述日志打包模块还可将由采集模块采集的数据进行打包，例如单独对主节点的采集数据，或单独对某个子节点的采集数据，或部分节点的采集数据，或所有节点的采集数据进行打包。
所述HDFS子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件。当指令编辑模块将采集信息发送给HDFS子采集模块时，所述采集信息包括HDFS的接口信息。或者，所述主节点的HDFS主采集模块将所述HDFS的接口信息发送给所述HDFS子采集模块。
所述本地子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件。所述本地子采集模块通过shell脚本实现日志文件、配置文件的采集。例如，在脚本内设置ssh、scp命令，分别用于采集日志文件和配置文件。所述本地子采集模块采集的数据可反馈给前端。
所述子分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果。
上述子采集模块和子分析处理模块可通过Get函数（参见图2）实现分场景日志信息采集，通过Collect函数（参见图2）实现分析，并得到分析结果。所述分析结果可包含日志数据、日路代码路径、异常结果等。
本公开实施例系统的主节点还包括问题定位模块，用于通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端。所述关键字包括ERROR、WARN、NULL指针。所述异常结果包括日志数据和日志代码路径。所述异常结果可触发节点内的进程代码模块进行告警。所述问题定位模块可在前端发起问题定位指令后工作，也可在分析处理模块得到分析结果后自动进行问题定位。
本公开实施例还提供一种分布式日志采集系统，基于上述分布式日志采集处理系统实现，方法包括：
主节点的前端指令获取模块获取前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入主节点的指令编辑模块；
主节点的指令编辑模块存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；
收到采集信息的主节点、子节点，通过其采集模块采集日志文件、配置文件；
收到分析信息的主节点、子节点，通过其分析处理模块对采集的日志文件、配置文件进行分析处理并得到分析结果；
子节点将得到的分析结果发送给主节点；
主节点的日志打包模块将在主节点得到的分析结果和/或从子节点得到分析结果打包，以反馈给前端。
本公开实施例的方法实现了基于前端需求，通过主节点完成整个分布式系统与前端交互，能对日志进行高效采集、分析。
当需要一次性获知所有CNP控制器采集、分析日志的信息时，所述前端设置有一键式处理功能。前端将含有一键式处理指令的分析任务指令发送给后台，所有节点在完成采集、分析工作后，主节点的所述日志打包模块将所有节点的分析结果反馈给前端。
进一步，当所述主节点还包括问题定位模块时，所述问题定位模块通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端。本公开实施例的方法还包括：主节点的前端指令获取模块获取前端发送的问题定位指令，根据问题定位指令触发所述问题定位模块工作；所述问题定位模块在获得异常结果后将异常结果反馈给前端。
当需要一次性获知所有CNP控制器问题定位信息时，所述前端设置有一键式问题定位功能。前端将含有一键式问题定位指令的分析任务指令发送给后台，所有节点在完成采集、分析工作后，主节点的所述日志打包模块将所有存在问题的节点的异常结果反馈给前端。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种分布式日志采集处理系统，包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点；其特征在于，
所述主节点包括：
前端指令获取模块，用于接收前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入指令编辑模块；
指令编辑模块，用于存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；所述指令编辑模块为XML编辑模块；
HDFS主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；
本地主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；
主分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果；
日志打包模块，用于将主节点和/或子节点的分析结果打包，以反馈给前端；
问题定位模块，用于通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端；所述关键字包括ERROR、WARN、NULL指针；
所述子节点包括：
HDFS子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；
本地子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；
子分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果；
所述主分析处理模块和所述子分析处理模块通过Collect函数实现，分析结果包含日志数据、日志代码路径、异常结果。
2.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，当指令编辑模块将采集信息发送给HDFS子采集模块时，所述采集信息包括HDFS的接口信息；当指令编辑模块将采集信息发送给HDFS主采集模块时，所述HDFS主采集模块能直接调用HDFS接口。
3.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述本地主采集模块和所述本地子采集模块通过shell脚本实现日志文件、配置文件的采集。
4.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述前端指令获取模块包括：
接收单元，用于接收前端发送的分析任务指令；
校验单元，用于对接收到的分析任务指令进行校验，当校验通过时，触发解析单元工作；
解析单元，用于将所述分析任务指令解析为日志文件、配置文件的采集信息和分析信息，并写入指令编辑模块。
5.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述系统与前端之间架设B/S模式。
6.一种分布式日志采集处理方法，基于如权利要求1所述的一种分布式日志采集处理系统实现，其特征在于，方法包括：
主节点的前端指令获取模块获取前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入主节点的指令编辑模块；
主节点的指令编辑模块存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；
收到采集信息的主节点、子节点，通过其采集模块采集日志文件、配置文件；
收到分析信息的主节点、子节点，通过其分析处理模块对采集的日志文件、配置文件进行分析处理并得到分析结果；
子节点将得到的分析结果发送给主节点；
主节点的日志打包模块将在主节点得到的分析结果和/或从子节点得到分析结果打包，以反馈给前端。
7.根据权利要求6所述的一种分布式日志采集处理方法，其特征在于，所述主节点还包括问题定位模块，通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端；方法还包括：主节点的前端指令获取模块获取前端发送的问题定位指令，根据问题定位指令触发所述问题定位模块工作；所述问题定位模块在获得异常结果后将异常结果反馈给前端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639214.2A CN116361261B (zh) | 2023-06-01 | 2023-06-01 | 一种分布式日志采集处理方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639214.2A CN116361261B (zh) | 2023-06-01 | 2023-06-01 | 一种分布式日志采集处理方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116361261A CN116361261A (zh) | 2023-06-30 |
| CN116361261B true CN116361261B (zh) | 2023-10-13 |
Family
ID=86905451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310639214.2A Active CN116361261B (zh) | 2023-06-01 | 2023-06-01 | 一种分布式日志采集处理方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116361261B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105045832A (zh) * | 2015-06-30 | 2015-11-11 | 北京奇艺世纪科技有限公司 | 一种数据采集方法及装置 |
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及系统 |
| CN107645542A (zh) * | 2017-09-03 | 2018-01-30 | 中国南方电网有限责任公司 | 一种应用于云审计系统的数据采集装置 |
| CN108052679A (zh) * | 2018-01-04 | 2018-05-18 | 焦点科技股份有限公司 | 一种基于hadoop的日志分析系统 |
| CN110458678A (zh) * | 2019-08-08 | 2019-11-15 | 潍坊工程职业学院 | 一种基于hadoop校验的财务数据校验方法和系统 |
| US11080294B1 (en) * | 2021-02-03 | 2021-08-03 | Adlumin, Inc. | Systems and methods for data analytics |
-
2023
- 2023-06-01 CN CN202310639214.2A patent/CN116361261B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105634845A (zh) * | 2014-10-30 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种用于对海量dns日志进行多维统计分析的方法及系统 |
| CN105045832A (zh) * | 2015-06-30 | 2015-11-11 | 北京奇艺世纪科技有限公司 | 一种数据采集方法及装置 |
| CN107645542A (zh) * | 2017-09-03 | 2018-01-30 | 中国南方电网有限责任公司 | 一种应用于云审计系统的数据采集装置 |
| CN108052679A (zh) * | 2018-01-04 | 2018-05-18 | 焦点科技股份有限公司 | 一种基于hadoop的日志分析系统 |
| CN110458678A (zh) * | 2019-08-08 | 2019-11-15 | 潍坊工程职业学院 | 一种基于hadoop校验的财务数据校验方法和系统 |
| US11080294B1 (en) * | 2021-02-03 | 2021-08-03 | Adlumin, Inc. | Systems and methods for data analytics |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116361261A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9467460B1 (en) | Modularized database architecture using vertical partitioning for a state machine | |
| RU2419986C2 (ru) | Объединение многострочных протокольных вхождений | |
| US6182119B1 (en) | Dynamically configurable filtered dispatch notification system | |
| CN111046011B (zh) | 日志收集方法、系统、装置、电子设备及可读存储介质 | |
| US6584491B1 (en) | Arrangement for monitoring a progress of a message flowing through a distributed multiprocess system | |
| US20080071922A1 (en) | Methods, systems, and computer program products to transparently dispatch requests to remote resources in a multiple application server environment | |
| US9442822B2 (en) | Providing a visual representation of a sub-set of a visual program | |
| US20130111473A1 (en) | Passive monitoring of virtual systems using extensible indexing | |
| US20130111018A1 (en) | Passive monitoring of virtual systems using agent-less, offline indexing | |
| CN111026634A (zh) | 一种接口自动化测试系统、方法、装置及存储介质 | |
| US20090063395A1 (en) | Mapping log sets between different log analysis tools in a problem determination environment | |
| CN111679886A (zh) | 异构计算资源调度方法、系统、电子设备及存储介质 | |
| US20120072589A1 (en) | Information Processing Apparatus and Method of Operating the Same | |
| CN116361261B (zh) | 一种分布式日志采集处理方法、系统 | |
| CN112637331A (zh) | 航天器状态数据处理方法及装置 | |
| US8924789B2 (en) | System and method for providing virtual machine diagnostic information using a flight recorder functionality | |
| KR101828156B1 (ko) | 트랜잭션 모니터링 시스템 및 그 동작방법 | |
| US7917904B2 (en) | Automated analysis tasks of complex computer system | |
| US20080177901A1 (en) | Communication error information output method, communication error information output device and recording medium therefor | |
| CN113472878B (zh) | 利用浏览器插件实现vnc中文件拖拽传输的方法及装置 | |
| KR20150136369A (ko) | 로그 보안 및 빅 데이터를 이용한 통합 관리 시스템 | |
| CN114443343A (zh) | 一种服务接口反馈异常信息方法、装置、设备、存储介质 | |
| CN110266762B (zh) | 一种数据上传方法、系统、装置及存储介质 | |
| CN110493361B (zh) | 多屏智能柜的通信方法、装置、多屏智能柜及存储介质 | |
| CN110837612B (zh) | 统一资源标识符uri数据的获取方法和装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |