CN111475390A - 日志采集系统部署方法、装置、设备及存储介质 - Google Patents
日志采集系统部署方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111475390A CN111475390A CN202010249299.XA CN202010249299A CN111475390A CN 111475390 A CN111475390 A CN 111475390A CN 202010249299 A CN202010249299 A CN 202010249299A CN 111475390 A CN111475390 A CN 111475390A
- Authority
- CN
- China
- Prior art keywords
- log
- log collection
- file
- collection system
- fluent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志采集系统部署方法、装置、设备及存储介质。通过在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；根据所述输出集群配置参数和所述日志采集规则生成配置文件；将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。本发明预先存储通用配置模块，用户仅需要提供日志文件位置及输出服务器配置参数，能够自动完成日志收集系统的配置，以简化日志收集系统部署过程。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种日志采集系统部署方法、装置、设备及存储介质。
背景技术
随着互联网技术的快速发展和普及，计算机系统在人类生产生活中扮演着越来越重要的角色。一个合格的系统不仅仅要求具有运行的高效和计算的准确，同时又必须兼顾稳定性、可靠性。要做到这些，开发人员必须保证系统的高可维护性，尤其是要有一套完善的系统监控和故障诊断程序。
在系统运行期间如果产生问题或出现异常且无法在测试环境中重现，为实现快速、准确地对故障进行定位分析和解决，就需要收集系统运行日志，并在必要时快速对日志进行分析，以判断出现问题的原因和位置。
而在面对上百台甚至上千台机器时，部署日志收集系统过程复杂且难以使用。尤其是对于新手来说，太多的操作需要确认、修改，使得配置过程难以进行。因此，如何快速、简单地完成日志收集系统部署，是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种日志采集系统部署方法，旨在解决现有技术中基于fluentd插件的日志收集系统部署过程复杂且难以使用的技术问题。
为实现上述目的，本发明提供一种日志采集系统部署方法，所述日志采集系统部署方法包括以下步骤：
在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
根据所述输出集群配置参数和所述日志采集规则生成配置文件；
将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
优选的，所述获取待采集日志文件的位置信息，具体包括：
将日志文件位置请求进行展示；
接收用户基于所述日志文件位置请求输入的位置信息，并将所述位置信息作为待采集日志文件的位置信息。
优选的，所述获取待采集日志文件的位置信息，具体包括：
提取所述日志采集部署指令中的日志文件位置信息；
将所述日志文件位置信息作为待采集日志文件的位置信息。
优选的，获取输出集群配置参数，具体包括：
将集群配置请求进行展示；
接收用户基于所述集群配置请求输入的参数信息，并将所述参数信息作为输出集群配置参数。
优选的，获取输出集群配置参数，具体包括：
提取所述部署指令中的集群参数；
根据所述集群参数确定输出集群配置参数。
优选的，所述根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则，具体包括：
根据所述待采集日志文件的位置信息确定待采集日志文件，并识别所述待采集日志文件的文件类型；
根据所述文件类型从预设的规则模板中选取对应的规则模板；
将所述对应的规则模板作为日志采集规则。
优选的，所述将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统之后，还包括：
将日志系统完整配置信息进行展示，并接收用户基于所述日志系统完整配置信息输入的确认信息；
根据所述确认信息启动日志采集系统。
此外，为实现上述目的，本发明还提供一种日志采集系统部署装置，所述日志采集系统部署装置包括：
fluentd插件安装模块，在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
采集规则生成模块，根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
配置文件生成模块，根据所述输出集群配置参数和所述日志采集规则生成配置文件；
部署模块，将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
此外，为实现上述目的，本发明还提供一种日志采集系统部署设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志采集系统部署程序，所述日志采集系统部署程序配置为实现如上述的日志采集系统部署方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志采集系统部署程序，所述日志采集系统部署程序被处理器执行时实现如上述的日志采集系统部署方法的步骤。
本发明通过在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；根据所述输出集群配置参数和所述日志采集规则生成配置文件；将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。本发明预先存储通用配置模块，用户仅需要提供日志文件位置及输出服务器配置参数，能够自动完成日志收集系统的配置，以简化日志收集系统部署过程。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的用户设备结构示意图；
图2是本发明日志采集系统部署方法第一实施例的流程示意图；
图3是本发明日志采集系统部署方法第二实施例的流程示意图；
图4本发明日志采集系统部署装置的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的用户设备的结构示意图。
如图1所示，该用户设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
需要说明的是，所述用户设备可为计算机、笔记本电脑或平板电脑等设备，本实施例对此不加以限制。
本领域技术人员可以理解，图1中示出的结构并不构成对用户设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志采集系统部署程序。
在图1所示的用户设备中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述用户设备通过处理器1001调用存储器1005中存储的日志采集系统部署程序，并执行以下操作：
在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
根据所述输出集群配置参数和所述日志采集规则生成配置文件；
将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署程序，还执行以下操作：
将日志文件位置请求进行展示；
接收用户基于所述日志文件位置请求输入的位置信息，并将所述位置信息作为待采集日志文件的位置信息。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署程序，还执行以下操作：
提取所述日志采集部署指令中的日志文件位置信息；
将所述日志文件位置信息作为待采集日志文件的位置信息。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署程序，还执行以下操作：
将集群配置请求进行展示；
接收用户基于所述集群配置请求输入的参数信息，并将所述参数信息作为输出集群配置参数。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署，还执行以下操作：
提取所述部署指令中的集群参数；
根据所述集群参数确定输出集群配置参数。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署程序，还执行以下操作：
根据所述待采集日志文件的位置信息确定待采集日志文件，并识别所述待采集日志文件的文件类型；
根据所述文件类型从预设的规则模板中选取对应的规则模板；
将所述对应的规则模板作为日志采集规则。
进一步地，处理器1001可以调用存储器1005中存储的日志采集系统部署程序，还执行以下操作：
将日志系统完整配置信息进行展示，并接收用户基于所述日志系统完整配置信息输入的确认信息；
根据所述确认信息启动日志采集系统。
本实施例通过上述方案，在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；根据所述输出集群配置参数和所述日志采集规则生成配置文件；将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。本发明预先存储通用配置模块，用户仅需要提供日志文件位置及输出服务器配置参数，能够自动完成日志收集系统的配置，以简化日志收集系统部署过程。
基于上述硬件结构，提出本发明日志采集系统部署方法实施例。
参照图2，图2为本发明日志采集系统部署方法第一实施例的流程示意图。
在第一实施例中，所述日志采集系统部署方法包括以下步骤：
S10：在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数。
需要说明的是，本发明通过shell脚本集成了日志收集系统部署过程中的各程序指令及配置，其中包括如fluentd插件安装程序等。因此，用户可以通过Linux命令输入所述日志采集部署指令，以启动日志采集系统部署。
在本实施例中，所述获取待采集日志文件的位置信息，具体包括：将日志文件位置请求进行展示；接收用户基于所述日志文件位置请求输入的位置信息，并将所述位置信息作为待采集日志文件的位置信息。获取输出集群配置参数，具体包括：将集群配置请求进行展示；接收用户基于所述集群配置请求输入的参数信息，并将所述参数信息作为输出集群配置参数。
可以理解的是，用户启动日志收集系统部署后，需要提供待采集日志文件的位置信息，以使系统确定采集对象，所述待采集日志文件的位置信息为日志文件在存储设备中的文件路径。同时，用户还需要提供输出集群配置参数，以使系统将采集到的内容发送至目标服务器。在本实施中，所述输出集群配置参数包括集群服务器类型、端口和IP，集群服务器类型包括elastic或kafka集群。
S20：根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则。
需要说明的是，所述预设的规则模板包括预设的正则表达式。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。fluentd插件主要用于对日志文件中的部分内容进行截取，因此，通过定义正则表达式确定所需要的内容，以制定日志收集系统的采集规则。
在本实施例中，所述根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则，具体包括：根据所述待采集日志文件的位置信息确定待采集日志文件，并识别所述待采集日志文件的文件类型；根据所述文件类型从预设的规则模板中选取对应的规则模板；根据所述对应的规则模板和所述待采集日志文件生成日志采集规则。
需要说明的是，日志文件的类型包括错误信息、警告信息和其他的提示信息。在本实施例中预设有多个规则模板，针对不同的日志文件选取对应的正则表达式以及不同的输出形式，所述输出形式对应的包括error、warning或其他截取内容等。
S30：根据所述输出集群配置参数和所述日志采集规则生成配置文件。
需要说明的是，所述配置文件为所述日志采集规则对应的代码形式，同时配置文件还定义了输出集群的配置，以实现完整的日志采集及存储过程。在本实施例中，对不同规则模板生成的日志采集规则，同样对应设置了配置文件的模板，根据所述输出集群配置参数和所述日志采集规则对配置文件模板中的参数进行替换，即可完成配置文件的编写，从而避免了做不同配置时，需要编写大量代码的工作，减小工作量，降低出错率。
S40：将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
可以理解的是，fluentd插件加载完所述配置文件即完成了日志采集系统部署，启动fluentd插件即可进行日志采集工作。
在本实施例中，为进一步保证系统配置的正确性，在将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统之后，还包括：将日志系统完整配置信息进行展示，并接收用户基于所述日志系统完整配置信息输入的确认信息；根据所述确认信息启动日志采集系统。同时，在所述日志采集系统启动完毕后，提示用户部署完成。
本实施例通过在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；根据所述输出集群配置参数和所述日志采集规则生成配置文件；将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。本发明预先存储通用配置模块，用户仅需要提供日志文件位置及输出服务器配置参数，能够自动完成日志收集系统的配置，以简化日志收集系统部署过程。
此外，为进一步减少用户操作，本发明还提出第二实施例，参照图3，图3为本发明日志采集系统部署方法第二实施例的流程示意图。
在第二实施例中，所述日志采集系统部署方法包括以下步骤：
S10：在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数。
本实施例与第一实施例的不同之处在于，所述获取待采集日志文件的位置信息及输出集群配置参数具体包括：
S101：提取所述日志采集部署指令中的日志文件位置信息；将所述日志文件位置信息作为待采集日志文件的位置信息；
S102：提取所述部署指令中的集群参数；根据所述集群参数确定输出集群配置参数。
可以理解的是，所述待采集日志文件的位置信息为日志文件在存储设备中的文件路径。所述输出集群配置参数包括集群服务器类型、端口和IP，集群服务器类型包括elastic或kafka集群。
在本实施例中，用户通过Linux命令输入所述日志采集部署指令，以启动日志采集系统部署时，日志采集部署指令中需要携带日志文件路径信息及elastic或kafka集群的IP和端口信息。部署程序再对日志采集部署指令中的信息进行提取，获得待采集日志文件的位置信息及输出集群配置参数，以减少用户操作。
需要说明的是，由于待采集日志文件的位置信息及输出集群配置参数的数据具有固定形式，因此，在用户通过Linux命令输入所述日志采集部署指令时，对指令中包含的文件路径信息和集群参数信息进行校验，判断其数据形式是否正确，若不正确，则提示用户输入有误，重新输入。
S20：根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则。
S30：根据所述输出集群配置参数和所述日志采集规则生成配置文件。
S40：将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
本实施例中，用户通过Linux命令输入部署指令后，不参与日志系统部署过程，部署程序自动执行直至完成并启动，简化了日志采集系统部署的复杂度，为用户提供了极大的便利。
此外，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志采集系统部署程序，所述日志采集系统部署程序被处理器执行时实现如上述的日志采集系统部署方法的各步骤，在此不再赘述。
此外，本发明还提供一种日志采集系统部署装置，所述日志采集系统部署装置包括：
fluentd插件安装模块1101，在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
采集规则生成模块1102，根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
配置文件生成模块1103，根据所述输出集群配置参数和所述日志采集规则生成配置文件；
部署模块1104，将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志采集系统部署方法，其特征在于，所述日志采集系统部署方法包括以下步骤：
在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
根据所述输出集群配置参数和所述日志采集规则生成配置文件；
将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
2.如权利要求1所述的日志采集系统部署方法，其特征在于，所述获取待采集日志文件的位置信息，具体包括：
将日志文件位置请求进行展示；
接收用户基于所述日志文件位置请求输入的位置信息，并将所述位置信息作为待采集日志文件的位置信息。
3.如权利要求1所述的日志采集系统部署方法，其特征在于，所述获取待采集日志文件的位置信息，具体包括：
提取所述日志采集部署指令中的日志文件位置信息；
将所述日志文件位置信息作为待采集日志文件的位置信息。
4.如权利要求1所述的日志采集系统部署方法，其特征在于，获取输出集群配置参数，具体包括：
将集群配置请求进行展示；
接收用户基于所述集群配置请求输入的参数信息，并将所述参数信息作为输出集群配置参数。
5.如权利要求1所述的日志采集系统部署方法，其特征在于，获取输出集群配置参数，具体包括：
提取所述日志采集部署指令中的集群参数；
根据所述集群参数确定输出集群配置参数。
6.如权利要求1-5任意一项所述的日志采集系统部署方法，其特征在于，所述根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则，具体包括：
根据所述待采集日志文件的位置信息确定待采集日志文件，并识别所述待采集日志文件的文件类型；
根据所述文件类型从预设的规则模板中选取对应的规则模板；
将所述对应的规则模板作为日志采集规则。
7.如权利要求1-5任意一项所述的日志采集系统部署方法，其特征在于，所述将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统之后，还包括：
将日志系统完整配置信息进行展示，并接收用户基于所述日志系统完整配置信息输入的确认信息；
根据所述确认信息启动日志采集系统。
8.一种日志采集系统部署装置，其特征在于，所述日志采集系统部署装置包括：
fluentd插件安装模块，在接收到日志采集部署指令时，安装fluentd插件，并获取待采集日志文件的位置信息及输出集群配置参数；
采集规则生成模块，根据所述待采集日志文件的位置信息调用预设的规则模板生成日志采集规则；
配置文件生成模块，根据所述输出集群配置参数和所述日志采集规则生成配置文件；
部署模块，将所述配置文件写入所述fluentd插件中，以使所述fluentd插件部署日志采集系统。
9.一种日志采集系统部署设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志采集系统部署程序，所述日志采集系统部署程序配置为实现如权利要求1至7中任一项所述的日志采集系统部署方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志采集系统部署程序，所述日志采集系统部署程序被处理器执行时实现如权利要求1至7任一项所述的日志采集系统部署方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249299.XA CN111475390A (zh) | 2020-04-01 | 2020-04-01 | 日志采集系统部署方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249299.XA CN111475390A (zh) | 2020-04-01 | 2020-04-01 | 日志采集系统部署方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111475390A true CN111475390A (zh) | 2020-07-31 |
Family
ID=71749392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010249299.XA Pending CN111475390A (zh) | 2020-04-01 | 2020-04-01 | 日志采集系统部署方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111475390A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000564A (zh) * | 2020-09-09 | 2020-11-27 | 中盈优创资讯科技有限公司 | 一种日志可视化呈现管理方法及装置 |
| CN112328567A (zh) * | 2020-10-31 | 2021-02-05 | 中盈优创资讯科技有限公司 | 一种物联网mme日志数据的处理方法及装置 |
| CN112564959A (zh) * | 2020-12-01 | 2021-03-26 | 上海恒生聚源数据服务有限公司 | 一种日志采集方法、装置、设备及可读存储介质 |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
| CN113687852A (zh) * | 2021-09-09 | 2021-11-23 | 中国银行股份有限公司 | 日志采集配置文件自动生成方法及装置 |
| CN116760682A (zh) * | 2023-08-22 | 2023-09-15 | 深圳前海环融联易信息科技服务有限公司 | 一种日志采集过滤方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110288877A1 (en) * | 2009-11-09 | 2011-11-24 | dbMotion Ltd. | Health Information Exchange and Integration System and Methods Useful in Conjunction Therewith |
| CN108595315A (zh) * | 2018-03-22 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
| CN109218401A (zh) * | 2018-08-08 | 2019-01-15 | 平安科技（深圳）有限公司 | 日志采集方法、系统、计算机设备和存储介质 |
| CN110399272A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 日志处理设备、方法、电子设备及计算机可读存储介质 |
-
2020
- 2020-04-01 CN CN202010249299.XA patent/CN111475390A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110288877A1 (en) * | 2009-11-09 | 2011-11-24 | dbMotion Ltd. | Health Information Exchange and Integration System and Methods Useful in Conjunction Therewith |
| CN108595315A (zh) * | 2018-03-22 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
| CN109218401A (zh) * | 2018-08-08 | 2019-01-15 | 平安科技（深圳）有限公司 | 日志采集方法、系统、计算机设备和存储介质 |
| CN110399272A (zh) * | 2019-07-29 | 2019-11-01 | 中国工商银行股份有限公司 | 日志处理设备、方法、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 曹建坤: "基于.NET的有色冶金信息化服务平台及一种网络爬虫的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
| 罗东锋等: "基于Docker的大规模日志采集与分析系统", 《计算机系统应用》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000564A (zh) * | 2020-09-09 | 2020-11-27 | 中盈优创资讯科技有限公司 | 一种日志可视化呈现管理方法及装置 |
| CN112328567A (zh) * | 2020-10-31 | 2021-02-05 | 中盈优创资讯科技有限公司 | 一种物联网mme日志数据的处理方法及装置 |
| CN112328567B (zh) * | 2020-10-31 | 2022-10-04 | 中盈优创资讯科技有限公司 | 一种物联网mme日志数据的处理方法及装置 |
| CN112564959A (zh) * | 2020-12-01 | 2021-03-26 | 上海恒生聚源数据服务有限公司 | 一种日志采集方法、装置、设备及可读存储介质 |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
| CN112800017B (zh) * | 2021-01-21 | 2023-02-17 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
| CN113687852A (zh) * | 2021-09-09 | 2021-11-23 | 中国银行股份有限公司 | 日志采集配置文件自动生成方法及装置 |
| CN116760682A (zh) * | 2023-08-22 | 2023-09-15 | 深圳前海环融联易信息科技服务有限公司 | 一种日志采集过滤方法、装置、设备及介质 |
| CN116760682B (zh) * | 2023-08-22 | 2023-12-05 | 深圳前海环融联易信息科技服务有限公司 | 一种日志采集过滤方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111475390A (zh) | 日志采集系统部署方法、装置、设备及存储介质 | |
| CN105094783B (zh) | 安卓应用稳定性测试的方法及装置 | |
| CN109840206B (zh) | 数据测试方法、装置、终端及存储介质 | |
| CN113741898B (zh) | 表单生成方法、装置及设备 | |
| CN112100078A (zh) | 一种生成接口测试用例的方法、装置及设备 | |
| CN112231206A (zh) | 应用程序测试的脚本编辑方法、计算机可读存储介质及测试平台 | |
| CN112433935A (zh) | 测试方法、装置、电子设备及存储介质 | |
| CN115543324B (zh) | 交互界面的生成方法、装置、设备及介质 | |
| WO2023151397A1 (zh) | 应用程序部署方法、装置、设备及介质 | |
| CN111488286A (zh) | 一种Android模块独立开发的方法及装置 | |
| CN111400191A (zh) | 网页安全测试方法、装置及计算机可读存储介质 | |
| CN115470152A (zh) | 测试代码生成方法、测试代码生成装置以及存储介质 | |
| CN115617671A (zh) | 测试脚本的自动生成方法、装置、计算机设备及存储介质 | |
| CN114756183A (zh) | 数据打印方法、装置、设备及存储介质 | |
| CN114942887A (zh) | 一种程序安全测试方法、装置、设备和介质 | |
| CN112491799B (zh) | 通信模块远程修复方法、装置、计算机设备和存储介质 | |
| CN114385258A (zh) | 自动化测试方法、装置、电子设备及存储介质 | |
| CN109284097B (zh) | 实现复杂数据分析的方法、设备、系统及存储介质 | |
| CN113761402A (zh) | 一种链接调试方法、装置、设备和存储介质 | |
| CN113419738A (zh) | 接口文档的生成方法、装置及接口管理设备 | |
| CN111966355B (zh) | 项目运行方法、装置、设备及计算机存储介质 | |
| CN111143227A (zh) | 一种数据操作方法、装置、终端及存储介质 | |
| CN111151008A (zh) | 游戏运营数据的校验方法、装置、配置后台及介质 | |
| CN111124815A (zh) | 一种日志查看方法、装置、设备及存储介质 | |
| CN113608996B (zh) | 一种镜像编译测试方法、系统、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200731 |