CN116760682A - 一种日志采集过滤方法、装置、设备及介质 - Google Patents
一种日志采集过滤方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116760682A CN116760682A CN202311057441.0A CN202311057441A CN116760682A CN 116760682 A CN116760682 A CN 116760682A CN 202311057441 A CN202311057441 A CN 202311057441A CN 116760682 A CN116760682 A CN 116760682A
- Authority
- CN
- China
- Prior art keywords
- log
- log processing
- rule
- ordering
- rules
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 217
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000012163 sequencing technique Methods 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及数据处理领域，尤其涉及一种日志采集过滤方法、装置、设备及介质，通过预先建立日志处理规则，定义该规则的排序方式，确定后台服务器是否接收到请求指令，当接收到请求指令时，调用kube‑apiserver接口接收对应的日志处理规则，并保存到数据仓库中，基于预设的list‑watch机制，对该规则进行处理，并按照排序方式进行排序，得到目标日志处理规则，根据目标日志处理规则生成对应的配置文件，以对日志数据进行过滤处理，获取目标日志。本申请通过建立日志处理规则，并定义其排序方式，进而使后台服务器在对该规则处理时，也能按照排序方式进行排序，并根据配置文件对日志数据进行过滤处理，使日志处理的方式更加明确化，大大提高了操作的复杂性和处理效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种日志采集过滤方法、装置、设备及介质。
背景技术
随着云原生应用的广泛使用，当前许多公司的业务系统都是以容器的方式部署到了kubernetes集群中，进而输出业务系统的日志，其中，日志作为一种重要的信息载体，其应用于网络的各个角落。一个系统通常会从很多不同来源的日志中获取信息。
目前对日志进行处理的方法，通常是选用具备operator方案的日志采集器采集日志，然后通过定义好日志过滤处理规则，对日志规则进行简单处理，并重新生成配置文件，最后按照新生成的配置文件对日志进行处理。然而，目前在创建日志处理规则时，不能根据业务的类型来进行定义日志处理规则，造成用户维护不太方便，操作复杂，增加了操作时长，使日志处理效率较低。因此，如何简化了操作的复杂性，提高日志处理效率，已成为本领域技术人员亟待解决的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种日志采集过滤方法、装置、设备及介质，以解决现有技术日志处理的复杂性和效率较低的问题。
本申请实施例的第一方面提供了一种日志采集过滤方法，所述日志采集过滤方法包括：
预先建立日志处理规则，并定义所述日志处理规则的排序方式；
确定后台服务器是否接收到请求指令；
当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
根据所述目标日志处理规则生成对应的配置文件；
根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
本申请实施例的第二方面提供了一种日志采集过滤装置，所述日志采集过滤装置包括：
建立模块，用于预先建立日志处理规则，并定义所述日志过滤处理规则的排序方式；
确定模块，用于确定后台服务器是否接收到请求指令；
调用模块，用于当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
排序模块，用于基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
生成模块，用于根据所述目标日志处理规则生成对应的配置文件；
获取模块，用于根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
第三方面，本发明实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的日志采集过滤方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的日志采集过滤方法。
综上所述，本发明提供了一种日志采集过滤方法、装置、设备及介质，通过预先建立日志处理规则，并定义日志过滤处理规则的排序方式，确定后台服务器是否接收到请求指令，当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的日志处理规则，并保存到数据仓库中，基于预设的list-watch机制，对日志处理规则进行处理，并按照排序方式进行排序处理，得到目标日志处理规则，根据目标日志处理规则生成对应的配置文件，根据配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。本申请通过建立日志处理规则，并定义其排序方式，进而使后台服务器在对日志处理规则进行处理时，也能按照排序方式进行排序，以此根据配置文件对日志数据进行过滤处理，使日志过滤处理的方式更加明确化，大大简化了操作的复杂性，提升了出错后问题定位的处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种日志采集过滤方法的一应用环境示意图；
图2是本发明一实施例提供的一种日志采集过滤方法的系统结构示意图；
图3是本发明一实施例提供的一种日志采集过滤方法的流程示意图；
图4是本发明一实施例提供的一种日志采集过滤装置的结构示意图；
图5是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
应理解，是本发明一实施例提供的日志采集过滤方法的流程示意图，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明一实施例提供的一种日志采集过滤方法，可应用在如图1的应用环境中，其中，客户端与服务器进行通信，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等计算机设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，本发明一实施例提供的一种日志采集过滤方法的系统结构示意图，其中，用户通过日志管理平台界面创建针对同一个日志采集端的多个日志处理规则，并定义该规则排序方式，而日志管理平台对应的客户端又与日志管理平台对应的日志管理服务器进行通信，日志管理服务器是指用于提供日志数据处理相关服务的多个服务器构成的服务器组中的某个服务器，并且该日志管理服务器对应的至少一个节点设备，以及至少一个日志采集设备fluent-bit，用户界面完成操作提交后，日志管理服务器收到请求，并调用kube-apiserver的接口接收日志处理规则，然后watch到kube-apiserver的日志数据变化，进而对日志处理规则进行处理，并安排该规则按照定义的排序方式在内存中进行排序处理，进而重新生成fluent-bit的配置文件，并存在于secret中。日志采集设备fluent-bit通过secret挂载配置文件，实时感知配置文件的变化，然后重启其进程，日志采集设备fluent-bit进而根据新生成的配置文件对日志进行过滤处理。其中，该节点设备用于提供日志数据采集相关服务，该节点设备可以为一种终端设备，也可以为服务器。本实施例根据预先针对各个节点设备配置的日志处理规则得到的配置文件对来自不同节点设备的日志数据进行相应的过滤处理，以便于服务器对个节点信息进行相应的处理，例如存储数据、采集数据等。
参见图3，是本发明一实施例提供的日志采集过滤方法的流程示意图，上述日志采集过滤方法可以应用于图2中的日志管理服务器，可由日志管理服务器执行，该日志管理服务器对应至少一个节点设备，日志管理服务器与至少一个数据采集设备已预先建立通信连接，如图3所示，该日志采集过滤方法可以包括以下步骤：
S301：预先建立日志处理规则，并定义所述日志处理规则的排序方式。
在步骤S301中，由于传统的方案中用户创建日志处理规则时，只能通过命令行方式进行创建，操作复杂，效率低，因此为了保证所有日志管理服务器中的日志都够被解析，本发明中对日志数据的排序方式进行了规范，从而保证日志管理服务器的日志数据能够被正确读取及解析。具体地，日志处理规则包括过滤字段和/或过滤字段的出现次数阈值；其中，过滤字段包括日志级别、日志输出类、日志内容中任一种或者多种的告警值。因此，过滤字段之间可以为组合过滤的方式，也可以为单独过滤的方式，本发明实施例中对此不做具体限定。
在一些实施例中，定义日志处理规则的排序方式，包括：
根据用户操作前端界面填写内容，通过日志管理平台预先建立日志处理规则，获得所述日志处理规则自定义配置的多种排序方式；
动态更新每种排序方式对应的排序规则和排序字段。
在本申请实施例中，根据用户操作前端界面输入的IP地址、日志名称、选择日志类型等信息，通过日志管理平台界面建立针对同一个日志采集端的多个日志处理规则，可以向用户提供一个选择排序方式的界面，当用户选择某个排序方式后，查找该排序方式对应的排序规则和排序字段，以按照查找出的排序规则和排序字段对日志数据进行排序。由于本公开实施例中，后续是通过将前端显示的排序方式与后台服务器关联来实现数据排序的，因而，针对获得日志处理规则自定义配置的多种排序方式，可支持后台人员对排序规则、排序字段进行动态调整，从而实现排序规则的动态更新。
由于本公开实施例中排序规则和排序字段是支持动态调整的，因而不同排序方式对应的排序规则和排序字段是动态更新，对于某一用户，在不同的时刻，选择同一排序方式，对日志数据排序采用的排序规则可能是不同的。
在一些实施例中，在动态更新每种排序方式对应的排序规则和排序字段进行关联之前，包括：
获取自定义配置的多个排序字段；
根据自定义配置的多个排序字段，生成排序数组，其中，所述排序数组中的每个参数对应一个排序字段，以确定每个所述排序字段的位置信息；
根据所述排序数组，生成多个排序规则因子，其中，每个排序规则因子包含一个排序字段对应的排序标识，其中，所述排序标识包括升序标识或降序标识；
对生成的多个排序规则因子进行自定义组合，生成排序规则，其中，所述排序规则包括单一排序规则或多种排序规则。
在本申请实施例中，利用一个排序数组代表一个排序规则，利用排序数组中各个参数的下角标代表各个排序字段的位置，通过配置多个排序规则因子，并进行自定义组合，能够生成排序规则，其中，排序规则包括单一排序规则或多种排序规则，通过指定不同排序规则与排序方式的关联关系，能够实现排序规则的动态调整。例如，如果是单一的排序，对日志数据所占的权重进行排序，则需要设置好日志数据所占的权重字段的数值，即排序方式=日志数据所占的权重，默认为0。如果是多种排序方式的组合，则排序方式按照逗号隔离，比如排序方式=日志数据所占的权重，名称，优先级等，如果2条规则的日志数据所占的权重一样，则按照优先级进行排序。
例如，定义一个数组，将a1、a2、a3、a4、a5五个排序字段对应的值按顺序放入数组中，则通过数组的下标值可找到各个排序字段在数组中的值：
a1的值＝权重[50]；a2的值＝权重[40]；a3的值＝权重[30]；a4的值＝[20]；a5的值＝[10]；再定义一个优先级别，即日志优先级别标准顺序为: ALL<TRACE<DEBUG<INFO<WARN<ERROR<FATAL<OFF；则排序a1＝{50 ， OFF}； a2＝{40 ，FATAL}；a5＝{10 ，FATAL}；a3＝{30，WARN}；a4＝{20，DEBUG}。
本公开实施例中，排序字段和对应的排序规则因子可以是预先配置好的，支持随时修改，也可以支持根据不同的数据请求，使用不同的排序规则或支持针对不同的用户，使用不同的排序规则。所以排序规则和排序字段可动态变化，对于排序规则的变化，可以是排序字段的动态删减，也可以是排序规则因子中排序标识的动态修改。
本申请实施例中，为了克服现有技术中单个日志采集规则使用了多个过滤处理规则进行处理时，不能根据业务的类型来进行定义，造成用户维护不太方便。因此，通过建立日志处理规则，并定义日志处理规则的排序方式，以便后续将前端展示的排序方式与后台服务器进行关联，可简单、便捷地对日志数据排序的排序规则进行动态调整，具有更强的灵活性。
S302：确定后台服务器是否接收到请求指令。
在步骤S302中，本申请在前端的用户界面完成操作提交后，向后台服务器发送请求接收指令，以确定后台服务器是否接收到请求指令，进而执行步骤S303，当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中。可见，如果不确定后台服务器接收到请求指令时，这样就无法通过后台服务器对日志数据进行处理，得到更好的处理效果，导致无法执行日志采集过滤方法的后续步骤。因此，在本发明的技术方案中，必须确定后台服务器是否接收到请求指令，如果不确定，就不能对日志数据进行处理。
本申请实施例中，为了确定后台服务器是否接收到请求指令，必须前端发送发送请求接收指令，以便后需对日志数据进行过滤处理，进而提高了处理的准确率。
S303：当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中。
在步骤S303中，在确定后台服务器接收到请求指令时，进行数据校验，校验后调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中。其中，kube-apiserver是一种开源的容器编排系统，简称为k8s。k8s的组件负责运行在集群中的容器应用的全生命周期管理。
在一些实施例中，调用kube-apiserver接口接收对应的日志处理规则，包括：
获取所述日志处理规则的配置参数，其中，所述配置参数包括日志数据的名称、权重以及优先级别；
当确定后台服务器接收到请求指令时，判断所述配置参数是否满足预设的阈值范围内；
若所述配置参数满足预设的阈值范围内，则调用kube-apiserver接口接收对应的所述日志处理规则。
本申请实施例中，在创建日志处理规则后，获取日志处理规则的配置参数，其中，配置参数包括日志数据的名称、权重以及优先级别，当确定后台服务器接收到请求指令时，需判断配置参数是否满足预设的阈值范围内，若配置参数满足预设的阈值范围内，则调用kube-apiserver接口接收对应的日志处理规则，若若配置参数不满足预设的阈值范围内，则就不能调用kube-apiserver接口接收对应的日志处理规则，就直接报错给用户了，也就是说，也不能执行日志采集过滤方法的后续工作。例如，权重只能在0-100之间的数字，如果不在0-100之间的数字，那就不能调用kube-apiserver接口接收对应的日志处理规则。其中，预设的阈值范围内可根据具体需要而设置，如可设置为0-50，或者设置为50-200等，本申请实例不做任何限定。
本实施例中，通过确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中，保证了后续日志采集过滤的效率和准确性，不仅简化了用户操作的复杂性，还提高了减少人力的效果。
S304：基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则。
在步骤S304中，在保存到数据仓库中后，日志管理服务器利用kube-apiserver中预设的list-watch机制，自动感知日志处理规则的日志数据变化，对日志处理规则进行处理，根据用户界面填写的规则中定义的排序方式在数据仓库中进行排序处理，进而得到目标日志处理规则。
在一些实施例中，得到目标日志处理规则，包括：
基于预设的list-watch机制，判断所述日志处理规则的配置参数是否发生变化；
若所述日志处理规则的配置参数发生变化，则对所述日志处理规则进行修改处理，得到修改后的日志处理规则；
将所述修改后的日志处理规则按照定义的排序方式进行排序处理，得到目标日志处理规则。
本实施例中，其中，List-Watch机制是一种用于监测资源对象变化的机制，通过使用kube-apiserver提供的List和Watch操作，可以实现对K8s集群中的资源对象进行监控和响应。具体来说，List操作用于获取指定资源类型的所有资源对象列表，而Watch操作则用于实时监控指定资源类型的变化，并在变化发生时实时通知用户，基于list-watch机制，判断日志处理规则的配置参数是否发生变化，若日志处理规则的配置参数发生变化，则对日志处理规则进行修改处理，得到修改后的日志处理规则，将修改后的日志处理规则按照定义的排序方式进行排序处理，得到目标日志处理规则，若日志处理规则的配置参数不发生变化，则不会执行日志采集过滤方法的后续工作，例如，权重从20变成30，就说明日志处理规则的配置参数发生变化，进而对日志处理规则进行增加、修改或者删除处理，得到处理后的日志处理规则，如果没变化，那kube-apiserver就不会推送日志数据给日志处理规则处理服务了。其中，判断配置参数是否发生变化可根据具体需要而设置，本申请实例不做任何限定。
本实施例中，利用list-watch机制对日志处理规则进行处理，并按照客户端定义好的排序方式进行排序处理，得到目标日志处理规则，简化了操作的复杂性，将前端展示的排序方式与后台服务器进行关联，可以按照日志处理规则基于权重/优先级/名称排序等单一或者多种组合的方法进行排序，从而达到最终用户想要的效果，大大提高了处理日志数据的效率。
S305：根据所述目标日志处理规则生成对应的配置文件。
在步骤S305中，通过根据目标日志处理规则生成对应的配置文件。也就是说，配置文件中主要是内容是以何种解析方式获取到对应的日志数据。因此，在确定了目标日志处理规则的基础上就可以生成对应的配置文件。进一步的，本步骤中可以是根据采集服务的格式将该目标日志处理规则生成对应的配置文件，采用secret方式存在于etcd中，并挂载给日志采集器fluent-bit容器使用，其中，secret又称 secret sharing 或 securitysharing，是一种确保信息安全的技术。它将某项秘密（例如：一个密码/日志数据）经过加密和分割，然后分发给一个或多个不相关的受信者，多个受信者共同拥有完整的密码才能解密出秘密，以保证秘密安全。
S306：根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
在步骤S306中，在获取到配置文件后，根据配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
在一些实施例中，根据配置文件对日志数据进行过滤处理，包括：
采用fluent-bit服务，以根据配置时间修改变化实时感知所述配置文件的变化，并重新加载变化后的配置文件；
当更新所述配置文件时，将所述fluent-bit服务进行重启，并根据更新后的配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
本实施例中，其中，fluent-bit是一种轻量级、快速、可靠的日志收集和处理软件，支持多种输入和输出插件，适用于各种云原生环境下的应用程序。它采用了 C 语言和 Lua脚本进行开发，并且可以和流行的存储和处理系统如 Elasticsearch、InfluxDB、Kafka 等集成，以实现高效的日志数据处理和可视化分析。每个集群中除了部署开源的fluent-bit组件用于采集集群内的业务系统日志数据，也可以采用其他的日志采集组件，比如fluentd、filebeats等，该组件只需要支持采集kubernetes环境下的日志数据，并将日志数据写入到日志存储数据库中即可。本申请通过日志采集器fluent-bit根据配置的时间修改变化实时感知配置文件的变化，然后重新加载配置文件到采集器的内存中并重启其进程，即每当fluent-bit服务重启时才可以应用新的配置文件，日志采集器根据新生成的配置文件对日志进行过滤处理，以获取过滤后的目标日志，fluent-bit为日志管理工具，它简化了日志的收集、处理、和存储，技术人员可以不需要在维护编写特殊的日志处理脚本。
在一个实施例中，客户端可以向日志管理服务器发送针对目标节点设备的
日志处理规则的处理信息，日志管理服务器接收到该日志处理规则的处理信息，进行对相应的配置文件进行更新，得到更新后的日志数据处理配置文件，日志管理服务器将更新后的数据处理配置文件发送至目标数据采集设备，以便于目标数据采集设备采集到来自目标节点设备的日志数据时，依据日志数据处理配置文件中日志处理规则配置文件指示的过滤规则对日志信息进行过滤处理。采用这样的方式，可以灵活调整数据采集设备针对目标节点设备的过滤规则，方便用户配置不同的过滤规则，增强用户体验。
本实施例中，通过对配置文件进行动态调整，以便根据配置文件对日志数据进行过滤处理，以获取过滤后的目标日志，避免人工进行操作，提高日志处理的准确性和效率，并且让日志过滤处理的方式更加明确化，大大简化了操作的复杂性。
综上所述，本发明提供了一种日志采集过滤方法、装置、设备及介质，通过预先建立日志处理规则，并定义日志过滤处理规则的排序方式，确定后台服务器是否接收到请求指令，当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的日志处理规则，并保存到数据仓库中，基于预设的list-watch机制，对日志处理规则进行处理，并按照排序方式进行排序处理，得到目标日志处理规则，根据目标日志处理规则生成对应的配置文件，根据配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。本申请通过建立日志处理规则，并定义其排序方式，进而使后台服务器在对日志处理规则进行处理时，也能按照排序方式进行排序，以此根据配置文件对日志数据进行过滤处理，使日志过滤处理的方式更加明确化，大大简化了操作的复杂性，提升了出错后问题定位的处理效率。
请参阅图4，图4是本发明实施例提供的日志采集过滤装置的结构示意图。本实施例中该终端包括的各单元用于执行图3对应的实施例中的各步骤。具体请参阅图3以及图3所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，日志采集过滤装置40包括：建立模块41，确定模块42，调用模块43，排序模块44、生成模块45、获取模块46。
建立模块41，用于预先建立日志处理规则，并定义所述日志过滤处理规则的排序方式；
确定模块42，用于确定后台服务器是否接收到请求指令；
调用模块43，用于当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
排序模块44，用于基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
生成模块45，用于根据所述目标日志处理规则生成对应的配置文件；
获取模块46，用于根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
可选地，上述建立模块41具体用于：
根据用户操作前端界面填写内容，通过日志管理平台预先建立日志处理规则，获得所述日志处理规则自定义配置的多种排序方式；
动态更新每种排序方式对应的排序规则和排序字段。
可选地，上述建立模块41还用于：
获取自定义配置的多个排序字段；
根据自定义配置的多个排序字段，生成排序数组，其中，所述排序数组中的每个参数对应一个排序字段，以确定每个所述排序字段的位置信息；
根据所述排序数组，生成多个排序规则因子，其中，每个排序规则因子包含一个排序字段对应的排序标识，其中，所述排序标识包括升序标识或降序标识；
对生成的多个排序规则因子进行自定义组合，生成排序规则，其中，所述排序规则包括单一排序规则或多种排序规则。
可选地，上述调用模块43具体用于：
获取所述日志处理规则的配置参数，其中，所述配置参数包括日志数据的名称、权重以及优先级别；
当确定后台服务器接收到请求指令时，判断所述配置参数是否满足预设的阈值范围内；
若所述配置参数满足预设的阈值范围内，则调用kube-apiserver接口接收对应的所述日志处理规则。
可选地，上述排序模块44具体用于：
基于预设的list-watch机制，判断所述日志处理规则的配置参数是否发生变化；
若所述日志处理规则的配置参数发生变化，则对所述日志处理规则进行修改处理，得到修改后的日志处理规则；
将所述修改后的日志处理规则按照定义的排序方式进行排序处理，得到目标日志处理规则。
可选地，上述获取模块46具体用于：
采用fluent-bit服务，以根据配置时间修改变化实时感知所述配置文件的变化，并重新加载变化后的配置文件；
当更新所述配置文件时，将所述fluent-bit服务进行重启，并根据更新后的配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5是本发明实施例提供的一种计算机设备的结构示意图。如图5所示，该实施例的该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行计算机程序时实现上述任意各个日志采集过滤方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
预先建立日志处理规则，并定义所述日志处理规则的排序方式；
确定后台服务器是否接收到请求指令；
当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
根据所述目标日志处理规则生成对应的配置文件；
根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
在一实施例中，提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由计算机设备中的处理器执行时，使得计算机设备能够执行如本发明公开的日志采集过滤方法的任一实施例的各个步骤，在此不重复赘述。所述计算机可读存储介质可以是非易失性，也可以是易失性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志采集过滤方法，其特征在于，包括：
预先建立日志处理规则，并定义所述日志处理规则的排序方式；
确定后台服务器是否接收到请求指令；
当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
根据所述目标日志处理规则生成对应的配置文件；
根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
2.如权利要求1所述的日志采集过滤方法，其特征在于，所述预先建立日志处理规则，并定义所述日志处理规则的排序方式，包括：
根据用户操作前端界面填写内容，通过日志管理平台预先建立日志处理规则，获得所述日志处理规则自定义配置的多种排序方式；
动态更新每种排序方式对应的排序规则和排序字段。
3.如权利要求2所述的日志采集过滤方法，其特征在于，所述动态更新每种排序方式对应的排序规则和排序字段之前，包括：
获取自定义配置的多个排序字段；
根据自定义配置的多个排序字段，生成排序数组，其中，所述排序数组中的每个参数对应一个排序字段，以确定每个所述排序字段的位置信息；
根据所述排序数组，生成多个排序规则因子，其中，每个排序规则因子包含一个排序字段对应的排序标识，其中，所述排序标识包括升序标识或降序标识；
对生成的多个排序规则因子进行自定义组合，生成排序规则，其中，所述排序规则包括单一排序规则或多种排序规则。
4.如权利要求1所述的日志采集过滤方法，其特征在于，所述调用kube-apiserver接口接收对应的所述日志处理规则，包括：
获取所述日志处理规则的配置参数，其中，所述配置参数包括日志数据的名称、权重以及优先级别；
当确定后台服务器接收到请求指令时，判断所述配置参数是否满足预设的阈值范围内；
若所述配置参数满足预设的阈值范围内，则调用kube-apiserver接口接收对应的所述日志处理规则。
5.如权利要求1所述的日志采集过滤方法，其特征在于，所述基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则，包括：
基于预设的list-watch机制，判断所述日志处理规则的配置参数是否发生变化；
若所述日志处理规则的配置参数发生变化，则对所述日志处理规则进行修改处理，得到修改后的日志处理规则；
将所述修改后的日志处理规则按照定义的排序方式进行排序处理，得到目标日志处理规则。
6.如权利要求1所述的日志采集过滤方法，其特征在于，所述根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志，包括：
采用fluent-bit服务，以根据配置时间修改变化实时感知所述配置文件的变化，并重新加载变化后的配置文件；
当更新所述配置文件时，将所述fluent-bit服务进行重启，并根据更新后的配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
7.一种日志采集过滤装置，其特征在于，包括：
建立模块，用于预先建立日志处理规则，并定义所述日志处理规则的排序方式；
确定模块，用于确定后台服务器是否接收到请求指令；
调用模块，用于当确定后台服务器接收到请求指令时，调用kube-apiserver接口接收对应的所述日志处理规则，并保存到数据仓库中；
排序模块，用于基于预设的list-watch机制，对所述日志处理规则进行处理，并按照所述排序方式进行排序处理，得到目标日志处理规则；
生成模块，用于根据所述目标日志处理规则生成对应的配置文件；
获取模块，用于根据所述配置文件对日志数据进行过滤处理，以获取过滤后的目标日志。
8.如权利要求7所述的一种日志采集过滤装置，其特征在于，所述建立模块包括：
获得单元，用于根据用户操作前端界面填写内容，通过日志管理平台预先建立日志处理规则，获得所述日志处理规则自定义配置的多种排序方式；
更新单元，用于动态更新每种排序方式对应的排序规则和排序字段。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的日志采集过滤方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的日志采集过滤方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057441.0A CN116760682B (zh) | 2023-08-22 | 2023-08-22 | 一种日志采集过滤方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057441.0A CN116760682B (zh) | 2023-08-22 | 2023-08-22 | 一种日志采集过滤方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116760682A true CN116760682A (zh) | 2023-09-15 |
| CN116760682B CN116760682B (zh) | 2023-12-05 |
Family
ID=87955584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311057441.0A Active CN116760682B (zh) | 2023-08-22 | 2023-08-22 | 一种日志采集过滤方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760682B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475390A (zh) * | 2020-04-01 | 2020-07-31 | 深圳Tcl数字技术有限公司 | 日志采集系统部署方法、装置、设备及存储介质 |
| CN113688002A (zh) * | 2021-07-28 | 2021-11-23 | 济南浪潮数据技术有限公司 | 一种日志采集方法及相关装置 |
| CN114461503A (zh) * | 2022-03-09 | 2022-05-10 | 平安科技（深圳）有限公司 | 基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质 |
| CN115617750A (zh) * | 2022-10-24 | 2023-01-17 | 浙江中控技术股份有限公司 | 日志展示方法、装置、电子设备及非易失性存储介质 |
| CN116150120A (zh) * | 2023-04-04 | 2023-05-23 | 广东粤港澳大湾区硬科技创新研究院 | 一种日志信息的采集方法及系统 |
-
2023
- 2023-08-22 CN CN202311057441.0A patent/CN116760682B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111475390A (zh) * | 2020-04-01 | 2020-07-31 | 深圳Tcl数字技术有限公司 | 日志采集系统部署方法、装置、设备及存储介质 |
| CN113688002A (zh) * | 2021-07-28 | 2021-11-23 | 济南浪潮数据技术有限公司 | 一种日志采集方法及相关装置 |
| CN114461503A (zh) * | 2022-03-09 | 2022-05-10 | 平安科技（深圳）有限公司 | 基于Kubernetes集群的日志收集方法、装置、电子设备及存储介质 |
| CN115617750A (zh) * | 2022-10-24 | 2023-01-17 | 浙江中控技术股份有限公司 | 日志展示方法、装置、电子设备及非易失性存储介质 |
| CN116150120A (zh) * | 2023-04-04 | 2023-05-23 | 广东粤港澳大湾区硬科技创新研究院 | 一种日志信息的采集方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116760682B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11038784B2 (en) | Techniques for evaluating server system reliability, vulnerability and component compatibility using crowdsourced server and vulnerability data | |
| US11163731B1 (en) | Autobuild log anomaly detection methods and systems | |
| US8875120B2 (en) | Methods and apparatus for providing software bug-fix notifications for networked computing systems | |
| CN108521339B (zh) | 一种基于集群日志的反馈式节点故障处理方法及系统 | |
| US20180165258A1 (en) | Methods for improved auditing of web sites and devices thereof | |
| US20100199132A1 (en) | Systems, methods and computer program products for remote error resolution reporting | |
| US11061669B2 (en) | Software development tool integration and monitoring | |
| US20170109260A1 (en) | Test Simulation for Software Defined Networking Environments | |
| US20130111018A1 (en) | Passive monitoring of virtual systems using agent-less, offline indexing | |
| CN112738138B (zh) | 云安全托管方法、装置、设备及存储介质 | |
| CN110851471A (zh) | 分布式日志数据处理方法、装置以及系统 | |
| CN117056240B (zh) | 一种支持离线Jar包的数据元件开发调试方法和系统 | |
| CN111782456B (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
| CN110851324A (zh) | 基于日志的巡检处理方法、装置以及电子设备、存储介质 | |
| CN113098852B (zh) | 一种日志处理方法及装置 | |
| CN113609088A (zh) | 文件处理方法、装置及设备 | |
| CN116760682B (zh) | 一种日志采集过滤方法、装置、设备及介质 | |
| WO2023151397A1 (zh) | 应用程序部署方法、装置、设备及介质 | |
| CN111752838A (zh) | 问题排查方法、装置、服务器及存储介质 | |
| CN115496470A (zh) | 全链路配置化数据处理方法、装置和电子设备 | |
| CN115328734A (zh) | 跨服务的日志处理方法、装置及服务器 | |
| CN110489208B (zh) | 虚拟机配置参数核查方法、系统、计算机设备和存储介质 | |
| CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 | |
| CN113626409B (zh) | 一种测试资料处理方法、装置、设备及存储介质 | |
| CN113706010A (zh) | 一种联动处理方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |