CN113687852A - 日志采集配置文件自动生成方法及装置 - Google Patents
日志采集配置文件自动生成方法及装置 Download PDFInfo
- Publication number
- CN113687852A CN113687852A CN202111055661.0A CN202111055661A CN113687852A CN 113687852 A CN113687852 A CN 113687852A CN 202111055661 A CN202111055661 A CN 202111055661A CN 113687852 A CN113687852 A CN 113687852A
- Authority
- CN
- China
- Prior art keywords
- configuration
- configuration file
- log
- user
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004140 cleaning Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种日志采集配置文件自动生成方法及装置，可用于大数据技术领域，该方法包括：在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；接收用户根据配置文件模板填写的配置项信息；根据配置项信息生成配置文件；在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；接收用户根据更新后的配置文件修改的配置项信息；根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。本发明可以自动生成用于日志采集的配置文件。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种日志采集配置文件自动生成方法及装置。
背景技术
随着人工智能技术不断进步，日志数据采集更倾向于简单化、智能化发展，在日志数据采集的过程中，优秀的日志采集工具可以接收较少的配置项来达到较好的采集效果。自动生成配置文件可以有效减少人工配置采集工具的步骤，以最少的配置项，最快的配置速度，生成有效配置文件来完成采集工具的配置，并达到预期数据采集需求。
针对不同的数据采集场景，所需配置文件的配置项不尽相同，配置文件的生成规则也会有变化，如何利用现有的配置项生成正确的符合数据采集场景的配置文件以及如何处理配置文件模板更新引发的配置项的变化是自动化生成配置文件需求下需要解决的问题。
发明内容
本发明实施例提出一种日志采集配置文件自动生成方法，用以自动生成用于日志采集的配置文件，该方法包括：
在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
接收用户根据配置文件模板填写的配置项信息；
根据用户填写的配置项信息生成配置文件；
在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；
在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
接收用户根据更新后的配置文件修改的配置项信息；
根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
本发明实施例提出一种日志采集配置文件自动生成装置，用以自动生成用于日志采集的配置文件，该装置包括：
用户请求接收模块，用于在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
配置信息接收模块，用于接收用户根据配置文件模板填写的配置项信息；
配置文件生成模块，用于根据用户填写的配置项信息生成配置文件；
用户请求接收模块还用于：在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
配置信息接收模块还用于：接收用户根据更新后的配置文件修改的配置项信息；
配置文件生成模块还用于：根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志采集配置文件自动生成方法。
本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述日志采集配置文件自动生成方法的计算机程序。
在本发明实施例中，在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；接收用户根据配置文件模板填写的配置项信息；根据用户填写的配置项信息生成配置文件；在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；接收用户根据更新后的配置文件修改的配置项信息；根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。在上述过程中，用户无需手动更改日志采集的配置文件，只需要填写部分信息，就可以生成配置文件，达到用户的数据采集需求，相对于手工去采集工具的配置文件目录下修改相应配置文件，本发明实施例提出的方法自动生成更加隐藏了采集工具的内部信息，方便用户使用采集工具采集数据。另外，可以让用户及时感知配置文件的变化。当配置文件模板有所更新的时候，基于配置文件模板中的配置项更新配置文件，并展示，让用户及时感知配置文件的变化，有助于最终配置文件的正确生成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中日志采集配置文件自动生成方法的流程图；
图2为本发明实施例中配置文件模板的一个示例；
图3为本发明实施例中生成配置文件的流程图；
图4为本发明实施例中日志采集配置文件自动生成装置的示意图；
图5为本发明实施例中计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
图1为本发明实施例中日志采集配置文件自动生成方法的流程图，如图1所示，该方法包括：
步骤101，在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
步骤102，接收用户根据配置文件模板填写的配置项信息；
步骤103，根据用户填写的配置项信息生成配置文件；
步骤104，在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；
步骤105，在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
步骤106，接收用户根据更新后的配置文件修改的配置项信息；
步骤107，根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
具体实施时，在日志数据采集到Kafka的过程中，不同类型的日志需要采集到不同的kafka的topic，每个采集规则都有自己的采集名称和必填的配置项。本发明实施例利用采集规则的名称和配置项信息自动生成采集工具的配置文件，并利用配置文件模板的版本来区分用户需要填写的配置项，提升配置文件自动生成的灵活性。
在一些常用的开源日志采集工具中，像Flume采集工具，如果要采集文件信息，需要用户填写配置文件，很多配置项比较长也很难理解，例如historyFileNameLength、dateSite、growthPoint、timeOutDay等参数，但从参数命名来看，用户很难直观的看出每个参数所代表的含义，不理解参数的含义就会导致参数值配置错误，进而影响采集工具配置文件的正确性，配置文件的错误就会导致采集工具启动错误，数据不能正常被采集。并且配置文件更新后，一些新增或减少的配置项很难识别出来，这都给正确填写配置文件增加了障碍。
在步骤101中，在接收到在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板，其中，配置文件模板识别配置文件中的必填项，以页面的形式展示给用户，将较难理解的配置项以简单的描述让用户理解含义。使得用户在快速方便的填写配置项信息，在步骤102中，接收用户根据配置文件模板填写的配置项信息。
在一实施例中，所述配置项至少包括规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP。
图2为本发明实施例中配置文件模板的一个示例。其中，规则名称需要区分日志采集类型，日志采集类型包括流水和监控日志，以方便后续区分日志数据投递目的地；采集路径可以选择填写多个，但每个路径的内存日志文件清理策略必须一致，不一致就需要再新建采集配置信息，其中文件匹配的时候支持使用正则表达式匹配多个文件夹下的日志文件；新增监控日志的方式与新增流水日志方式一致；图2中虚线框内部信息是根据每个配置项的“是”“否”勾选项来动态联动显示；部署IP与后续采集工具部署的服务器有关系，最终生成的配置文件以IP为区分进行存储。
图3为本发明实施例中生成配置文件的流程图，在一实施例中，根据用户填写的配置项信息生成配置文件，包括：
步骤301，根据用户按照预先确定的规则命名方式确定的规则名称，解析出日志采集类型；
步骤302，根据日志采集类型和内存日志清理策略生成采集源的数量；
步骤303，根据采集源的数量、规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP，生成配置文件。
具体实施时，首先，采集源的数量＝日志采集类型的数量和内存日志文件清理策略的数量的乘积，比如有两类日志，且每类日志都有两种内存文件清理策略，则采集源数量为4，该采集源的数量写在配置文件里，可根据该采集源确定日志投递的目的地；其次是采集路径生成，每一条采集路径对应配置文件中的一个f1，新增采集路径则新增一个f2，以此类推生成，单路径则是f1，多路径则是f1 f2 f3…等。另外，配置文件的其他配置项不需要用户进行输入，默认可以从数据库读取信息生成；最后依据绑定的IP信息，将生成的配置文件按IP文件夹进行存储，以方便后续部署采集工具时获取对应的配置文件。
在现有技术中，采集工具的版本更新后，配置参数会发生变化，势必配置文件的配置项有所改变，用户因为不了解采集机制，因此对配置文件的变化也不是很敏感，经常会使用旧版本的配置文件去启动新版本的采集工具程序，如果配置项有增加或减少，旧版本的配置文件已经不适用于新版本的采集程序，会导致采集工具启动出错，数据不能正常被采集。因此，在本发明实施例中，配置文件模板的动态变化也实时在页面上增加或减少或修改配置项，通过用户输入的信息，最终生成正确的符合用户预期的采集配置文件。
在一实施例中，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件，包括：
在所述配置文件模板存在新增配置项时，在前端页面展示所述配置文件的同时展示所述新增配置项；
在所述配置文件模板存在删除的配置项时，在前端页面展示所述配置文件时不展示删除的配置项；
在所述配置文件模板存在修改的配置项时，在前端页面展示所述配置文件时展示带有标记的修改的配置项。
综上所述，在本发明实施例提出的方法中，在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；接收用户根据配置文件模板填写的配置项信息；根据用户填写的配置项信息生成配置文件；在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；接收用户根据更新后的配置文件修改的配置项信息；根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。在上述过程中，用户无需手动更改日志采集的配置文件，只需要填写部分信息，就可以生成配置文件，达到用户的数据采集需求，相对于手工去采集工具的配置文件目录下修改相应配置文件，本发明实施例提出的方法自动生成更加隐藏了采集工具的内部信息，方便用户使用采集工具采集数据。另外，可以让用户及时感知配置文件的变化。当配置文件模板有所更新的时候，基于配置文件模板中的配置项更新配置文件，并展示，让用户及时感知配置文件的变化，有助于最终配置文件的正确生成。另外，相对于复杂的配置项，本发明实施例用简单、易于理解的信息将配置项展示给用户，根据这些信息，用户可以很轻松的将配置项填写正确，方便后续生成配置文件的时候降低出错概率。
本发明实施例还提出一种日志采集配置文件自动生成装置，其原理与日志采集配置文件自动生成方法类似，这里不再赘述。
图4为本发明实施例中日志采集配置文件自动生成方法的示意图，具体包括：
用户请求接收模块401，用于在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
配置信息接收模块402，用于接收用户根据配置文件模板填写的配置项信息；
配置文件生成模块403，用于根据用户填写的配置项信息生成配置文件；
用户请求接收模块401还用于：在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
配置信息接收模块402还用于：接收用户根据更新后的配置文件修改的配置项信息；
配置文件生成模块403还用于：根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
在一实施例中，所述配置项至少包括规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP。
在一实施例中，配置文件生成模块具体用于：
根据用户按照预先确定的规则命名方式确定的规则名称，解析出日志采集类型；
根据日志采集类型和内存日志清理策略生成采集源的数量；
根据采集源的数量、规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP，生成配置文件。
在一实施例中，配置文件更新模块具体用于：
在所述配置文件模板存在新增配置项时，在前端页面展示所述配置文件的同时展示所述新增配置项；
在所述配置文件模板存在删除的配置项时，在前端页面展示所述配置文件时不展示删除的配置项；
在所述配置文件模板存在修改的配置项时，在前端页面展示所述配置文件时展示带有标记的修改的配置项。
综上所述，在本发明实施例提出的装置中，用户请求接收模块，用于在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；配置信息接收模块，用于接收用户根据配置文件模板填写的配置项信息；配置文件生成模块，用于根据用户填写的配置项信息生成配置文件；用户请求接收模块还用于：在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；配置信息接收模块还用于：接收用户根据更新后的配置文件修改的配置项信息；配置文件生成模块还用于：根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。在上述过程中，用户无需手动更改日志采集的配置文件，只需要填写部分信息，就可以生成配置文件，达到用户的数据采集需求，相对于手工去采集工具的配置文件目录下修改相应配置文件，本发明实施例提出的方法自动生成更加隐藏了采集工具的内部信息，方便用户使用采集工具采集数据。另外，可以让用户及时感知配置文件的变化。当配置文件模板有所更新的时候，基于配置文件模板中的配置项更新配置文件，并展示，让用户及时感知配置文件的变化，有助于最终配置文件的正确生成。另外，相对于复杂的配置项，本发明实施例用简单、易于理解的信息将配置项展示给用户，根据这些信息，用户可以很轻松的将配置项填写正确，方便后续生成配置文件的时候降低出错概率。
本发明的实施例还提供一种计算机设备，图5为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的日志采集配置文件自动生成方法中全部步骤，所述计算机设备具体包括如下内容：
处理器(processor)501、存储器(memory)502、通信接口(CommunicationsInterface)503和通信总线504；
其中，所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信；所述通信接口503用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；
所述处理器501用于调用所述存储器502中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的日志采集配置文件自动生成方法中的全部步骤。
本发明的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的日志采集配置文件自动生成方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的日志采集配置文件自动生成方法的全部步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序业务系统的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志采集配置文件自动生成方法，其特征在于，包括：
在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
接收用户根据配置文件模板填写的配置项信息；
根据用户填写的配置项信息生成配置文件；
在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；
在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
接收用户根据更新后的配置文件修改的配置项信息；
根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
2.如权利要求1所述的日志采集配置文件自动生成方法，其特征在于，所述配置项至少包括规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP。
3.如权利要求2所述的日志采集配置文件自动生成方法，其特征在于，根据用户填写的配置项信息生成配置文件，包括：
根据用户按照预先确定的规则命名方式确定的规则名称，解析出日志采集类型；
根据日志采集类型和内存日志清理策略生成采集源的数量；
根据采集源的数量、规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP，生成配置文件。
4.如权利要求1所述的日志采集配置文件自动生成方法，其特征在于，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件，包括：
在所述配置文件模板存在新增配置项时，在前端页面展示所述配置文件的同时展示所述新增配置项；
在所述配置文件模板存在删除的配置项时，在前端页面展示所述配置文件时不展示删除的配置项；
在所述配置文件模板存在修改的配置项时，在前端页面展示所述配置文件时展示带有标记的修改的配置项。
5.一种日志采集配置文件自动生成装置，其特征在于，包括：
用户请求接收模块，用于在接收到用户通过前面页面发出的新增日志采集规则请求后，输出配置文件模板；其中，每条日志采集规则对应一个配置文件；
配置信息接收模块，用于接收用户根据配置文件模板填写的配置项信息；
配置文件生成模块，用于根据用户填写的配置项信息生成配置文件；
用户请求接收模块还用于：在接收到用户通过前端页面发出的修改日志采集规则请求后，查找所述日志采集规则对应的配置文件；在所述配置文件中的配置项与当前的配置文件模板中的配置项不一致时，基于配置文件模板中的配置项更新配置文件，展示更新后的配置文件；
配置信息接收模块还用于：接收用户根据更新后的配置文件修改的配置项信息；
配置文件生成模块还用于：根据用户根据更新后的配置文件修改的配置项信息，生成配置文件。
6.如权利要求5所述的日志采集配置文件自动生成装置，其特征在于，所述配置项至少包括规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP。
7.如权利要求6所述的日志采集配置文件自动生成装置，其特征在于，配置文件生成模块具体用于：
根据用户按照预先确定的规则命名方式确定的规则名称，解析出日志采集类型；
根据日志采集类型和内存日志清理策略生成采集源的数量；
根据采集源的数量、规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志清理策略和部署IP，生成配置文件。
8.如权利要求5所述的日志采集配置文件自动生成装置，其特征在于，配置文件更新模块具体用于：
在所述配置文件模板存在新增配置项时，在前端页面展示所述配置文件的同时展示所述新增配置项；
在所述配置文件模板存在删除的配置项时，在前端页面展示所述配置文件时不展示删除的配置项；
在所述配置文件模板存在修改的配置项时，在前端页面展示所述配置文件时展示带有标记的修改的配置项。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111055661.0A CN113687852A (zh) | 2021-09-09 | 2021-09-09 | 日志采集配置文件自动生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111055661.0A CN113687852A (zh) | 2021-09-09 | 2021-09-09 | 日志采集配置文件自动生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113687852A true CN113687852A (zh) | 2021-11-23 |
Family
ID=78585854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111055661.0A Pending CN113687852A (zh) | 2021-09-09 | 2021-09-09 | 日志采集配置文件自动生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113687852A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115640475B (zh) * | 2022-12-23 | 2023-03-14 | 北京蓝色星际科技股份有限公司 | 一种数据采集方法、系统、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717360A (zh) * | 2018-08-24 | 2018-10-30 | 江苏神州信源系统工程有限公司 | 一种软件版本更新方法与装置 |
| CN110727557A (zh) * | 2019-09-23 | 2020-01-24 | 北京百度网讯科技有限公司 | 日志采集器的管控方法、平台、电子设备及存储介质 |
| CN110968560A (zh) * | 2018-09-29 | 2020-04-07 | 北京国双科技有限公司 | 日志采集器的配置方法、装置及系统 |
| CN111142903A (zh) * | 2019-12-23 | 2020-05-12 | 杭州安恒信息技术股份有限公司 | 一种基于文件对比的配置文件交互式更新方法及装置 |
| CN111338706A (zh) * | 2020-02-13 | 2020-06-26 | 深信服科技股份有限公司 | 配置文件的导入方法、装置、设备及计算机可读存储介质 |
| CN111475390A (zh) * | 2020-04-01 | 2020-07-31 | 深圳Tcl数字技术有限公司 | 日志采集系统部署方法、装置、设备及存储介质 |
| CN111767262A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 日志展示方法、装置、设备及存储介质 |
| WO2021012568A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
-
2021
- 2021-09-09 CN CN202111055661.0A patent/CN113687852A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717360A (zh) * | 2018-08-24 | 2018-10-30 | 江苏神州信源系统工程有限公司 | 一种软件版本更新方法与装置 |
| CN110968560A (zh) * | 2018-09-29 | 2020-04-07 | 北京国双科技有限公司 | 日志采集器的配置方法、装置及系统 |
| WO2021012568A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
| CN110727557A (zh) * | 2019-09-23 | 2020-01-24 | 北京百度网讯科技有限公司 | 日志采集器的管控方法、平台、电子设备及存储介质 |
| CN111142903A (zh) * | 2019-12-23 | 2020-05-12 | 杭州安恒信息技术股份有限公司 | 一种基于文件对比的配置文件交互式更新方法及装置 |
| CN111338706A (zh) * | 2020-02-13 | 2020-06-26 | 深信服科技股份有限公司 | 配置文件的导入方法、装置、设备及计算机可读存储介质 |
| CN111475390A (zh) * | 2020-04-01 | 2020-07-31 | 深圳Tcl数字技术有限公司 | 日志采集系统部署方法、装置、设备及存储介质 |
| CN111767262A (zh) * | 2020-06-30 | 2020-10-13 | 平安国际智慧城市科技股份有限公司 | 日志展示方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115640475B (zh) * | 2022-12-23 | 2023-03-14 | 北京蓝色星际科技股份有限公司 | 一种数据采集方法、系统、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108279932B (zh) | 一种移动终端动态配置用户界面方法和装置 | |
| CN108089893B (zh) | 冗余资源的确定方法、装置、终端设备与存储介质 | |
| US11481440B2 (en) | System and method for processing metadata to determine an object sequence | |
| EP3438813B1 (en) | Component management platform | |
| US20180089245A1 (en) | Bloom filter index for device discovery | |
| CN109743346B (zh) | 会话流程配置方法、装置及计算机可读存储介质 | |
| CN106933703A (zh) | 一种数据库数据备份的方法、装置及电子设备 | |
| US11768815B2 (en) | Determining when a change set was delivered to a workspace or stream and by whom | |
| CN106547646B (zh) | 一种数据备份及恢复方法、数据备份及恢复装置 | |
| JP2016539401A (ja) | 階層的データアーカイビング | |
| CN106708822B (zh) | 一种文件存储方法和装置 | |
| CN107807844B (zh) | 交通测试场景的生成方法、装置及计算机可读存储介质 | |
| CN104320312A (zh) | 网络应用安全测试工具及模糊测试用例生成方法和系统 | |
| CN113568604B (zh) | 风控策略的更新方法、装置及计算机可读存储介质 | |
| CN107092502B (zh) | 一种基于云操作系统的应用自动配置方法和装置 | |
| CN113687852A (zh) | 日志采集配置文件自动生成方法及装置 | |
| CN114168149A (zh) | 一种数据转换方法及装置 | |
| CN115098297B (zh) | 一种云原生存储数据卷的一致性快照生成方法和系统 | |
| CN113495723B (zh) | 一种调用功能组件的方法、装置及存储介质 | |
| CN103220327B (zh) | 用户信息存储方法及装置 | |
| CN115794064A (zh) | 任务处理流程的配置方法、装置、电子设备及存储介质 | |
| CN113986828A (zh) | 存储海量文件的方法、装置、电子设备及存储介质 | |
| CN111001157B (zh) | 引用信息的生成方法和装置、存储介质及电子装置 | |
| CN112597119A (zh) | 一种处理日志的生成方法、装置及存储介质 | |
| CN114356404A (zh) | 接口文档生成方法、系统和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |