CN113608735A - 采集工具配置文件生成方法及装置 - Google Patents
采集工具配置文件生成方法及装置 Download PDFInfo
- Publication number
- CN113608735A CN113608735A CN202110916992.2A CN202110916992A CN113608735A CN 113608735 A CN113608735 A CN 113608735A CN 202110916992 A CN202110916992 A CN 202110916992A CN 113608735 A CN113608735 A CN 113608735A
- Authority
- CN
- China
- Prior art keywords
- configuration
- acquisition
- information
- log
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008859 change Effects 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/35—Creation or generation of source code model driven
- G06F8/355—Round-trip engineering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种采集工具配置文件生成方法及装置,涉及大数据技术领域,该方法包括:获取采集配置信息;采集配置信息用于确定配置文件的配置项;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;利用调整后的配置项获取日志采集信息;根据日志采集信息生成采集工具配置文件。本发明利用调整后的配置项获取日志采集信息,方便后续生成配置文件的时候降低出错概率;可实现当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户可及时感知配置文件的变化,有助于最终配置文件的正确生成。
Description
技术领域
本发明涉及大数据技术领域,尤其是涉及一种采集工具配置文件生成方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在一些常用的开源日志采集工具中,像Flume采集工具,如果要采集文件信息,需要用户填写配置文件,很多配置项比较长也很难理解,并且配置文件更新后,一些新增或减少的配置项很难识别出来,这都给正确填写配置文件增加了障碍。现有的配置文件生成方案包括如下步骤:识别配置文件中的必填项,以页面的形式展示给用户,将较难理解的配置项以简单的描述让用户理解含义,配置模板的动态变化也实时在页面上增加或减少配置项,通过用户输入的信息,最终生成正确的符合用户预期的采集配置文件。现有技术的主要缺点包括两个方面:一些自定义的符合特定采集场景的配置项的含义较难理解,用户会将配置项填错导致采集工具启动不正常;另外就是,配置模板发生更新后,有些配置项增加或删除,用户敏感度较低,不能及时感知。
发明内容
本发明提供了一种采集工具配置文件生成方法及装置,可以降低生产配置文件过程的出错概率。
第一方面,本发明实施例提供了一种采集工具配置文件生成方法,该方法包括:
获取采集配置信息;所述采集配置信息用于确定配置文件的配置项;
根据所述配置项和数据库中目标版本的配置模板确定变动项,并根据所述变动项调整所述配置项;
利用调整后的配置项获取日志采集信息;
根据所述日志采集信息生成采集工具配置文件。
第二方面,本发明实施例还提供一种采集工具配置文件生成装置,该装置包括:
获取模块,用于获取采集配置信息;所述采集配置信息用于确定配置文件的配置项;
对比模块,用于根据所述配置项和数据库中目标版本的配置模板确定变动项,并根据所述变动项调整所述配置项;
日志采集模块,用于利用调整后的配置项获取日志采集信息;
生成模块,用于根据所述日志采集信息生成采集工具配置文件。
第三方面,本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述采集工具配置文件生成方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述采集工具配置文件生成方法的计算机程序。
本发明实施例带来了以下有益效果:本发明实施例提供了一种采集工具配置文件生成方案,该方案包括:获取采集配置信息;采集配置信息用于确定配置文件的配置项;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;利用调整后的配置项获取日志采集信息;根据日志采集信息生成采集工具配置文件。本发明实施例利用调整后的配置项获取日志采集信息,用简单、易于理解的信息将配置项展示给用户,根据这些信息,用户可以很轻松的将配置项填写正确,方便后续生成配置文件的时候降低出错概率;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项,从而实现当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户可及时感知配置文件的变化,有助于最终配置文件的正确生成。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的采集工具配置文件生成方法流程图;
图2为本发明实施例提供的采集工具配置文件生成方法实施流程示意图;
图3为本发明实施例提供的获取日志采集信息界面示意图;
图4为本发明实施例提供的采集工具配置文件生成装置结构框图;
图5为本发明实施例提供的生成模块结构框图;
图6为本发明实施例提供的根据日志采集信息生成采集工具配置文件步骤示意图;
图7为本发明实施例提供的电子设备结构框图;
图8为本发明实施例提供的另一种采集工具配置文件生成装置结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着人工智能技术不断进步,日志数据采集更倾向于简单化、智能化发展,在日志数据采集的过程中,优秀的日志采集工具可以接收较少的配置项来达到较好的采集效果。自动生成配置文件可以有效减少人工配置采集工具的步骤,以最少的配置项,最快的配置速度,生成有效配置文件来完成采集工具的配置,并达到预期数据采集需求。
针对不同的数据采集场景,所需配置文件的配置项不尽相同,配置文件的生成规则也会有变化,如何利用现有的配置项生成正确的符合数据采集场景的配置文件以及如何处理配置文件模板更新引发的配置项的变化是自动化生成配置文件需求下需要解决的问题。
目前,现有解决方案的主要缺点包括如下两个方面:
第一、配置项较难理解,填错导致采集工具启动不正确。
例如,historyFileNameLength、dateSite、growthPoint、timeOutDay等参数,但从参数命名来看,用户很难直观的看出每个参数所代表的含义,不理解参数的含义就会导致参数值配置错误,进而影响采集工具配置文件的正确性,配置文件的错误就会导致采集工具启动错误,数据不能正常被采集。
第二、配置模板更新后,用户不能及时感知。
采集工具的版本更新后,配置参数会发生变化,势必配置文件的配置项有所改变,用户因为不了解采集机制,因此对配置文件的变化也不是很敏感,经常会使用旧版本的配置文件去启动新版本的采集工具程序,如果配置项有增加或减少,旧版本的配置文件已经不适用于新版本的采集程序,会导致采集工具启动出错,数据不能正常被采集。
在日志数据采集到Kafka的过程中,不同类型的日志需要采集到不同的kafka的topic,每个采集规则都有自己的采集名称和必填的配置项。基于此,本发明实施例提供的一种采集工具配置文件生成方法及装置,利用采集规则的名称和配置项信息自动生成采集工具的配置文件,并利用配置文件模板的版本来区分用户需要填写的配置项,提升配置文件自动生成的灵活性。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种采集工具配置文件生成方法进行详细介绍。
本发明实施例提供了一种采集工具配置文件生成方法,参见图1所示的一种采集工具配置文件生成方法流程图,该方法包括以下步骤:
S102,获取采集配置信息。
在本发明实施例中,采集配置信息用于确定配置文件的配置项。采集配置信息是预先新建的采集规则,每新建一个采集规则,对应一个最终的采集配置文件,每个规则可以包含多类型的日志采集。
S104,根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项。
在本发明实施例中,变动项可以包括新增项和删除项。在数据库中存储有采集工具的历史版本的配置模板,每个配置模板下对应有配置项。采集配置信息是基于历史版本的配置模板进行新建,因此,需要将采集配置信息确定的配置项和历史版本的配置模板的配置项进行对比,将有差异的项作为变动项。
S106,利用调整后的配置项获取日志采集信息。
在本发明实施例中,由于采集配置信息的配置项最终通过页面展示给用户,因此,基于变动项调整配置项,可以使用户从页面实时直观地识别不同版本采集工具对应的配置项。日志采集信息是用户通过在页面显示的配置项输入的,对日志采集的要求信息。
在本发明实施例中,把易于理解的配置项展示给用户,获取用户必须要填写的配置项信息。
S108,根据日志采集信息生成采集工具配置文件。
在本发明实施例中,对日志采集信息进行分析计算等处理,依据配置文件生成规则并整合用户输入来生成采集工具的配置文件。
本发明实施例提供了一种采集工具配置文件生成方案,该方案包括:获取采集配置信息;采集配置信息用于确定配置文件的配置项;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;利用调整后的配置项获取日志采集信息;根据日志采集信息生成采集工具配置文件。本发明实施例利用调整后的配置项获取日志采集信息,用简单、易于理解的信息将配置项展示给用户,根据这些信息,用户可以很轻松的将配置项填写正确,方便后续生成配置文件的时候降低出错概率;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项,从而实现当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户可及时感知配置文件的变化,有助于最终配置文件的正确生成。
在一个实施例中,根据变动项调整配置项,可以按照如下步骤执行:
若变动项为新增项,则在前端页面增加新增项;若变动项为删除项,则在前端页面减少删除项。
在本发明实施例中,判断配置文件模板是否有新增项,数据库会存储相应模板的全量信息,不同版本的配置模板会包含不同的配置项。如果配置模板有对应新增项,则在前端页面动态增加新增的配置项。判断配置文件模板是否有删除项,数据库会存储相应模板的全量信息,不同版本的配置模板会包含不同的配置项。如果配置模板有对应删除项,则在前端页面动态减少删除的配置项。
在一个实施例中,利用调整后的配置项获取日志采集信息,可以按照如下步骤执行:
利用调整后的配置项获取流水日志的采集信息或获取监控日志的采集信息。
在本发明实施例中,参见图3所示的获取日志采集信息界面示意图,可以用类似该图的页面获取日志采集信息。在获取日志采集信息时,可以获取其规则名称、采集路径、是否使用堆栈日志多行合并模式、内存日志文件清理策略以及部署IP等信息。
需要说明的是,对流水日志的采集信息和监控日志的采集信息分别进行获取。
例如,新增流水日志的采集信息,具体信息填写模板参考如图3所示,采集配置名称需要区分流水和监控日志,以方便后续区分日志数据投递目的地;采集路径可以选择填写多个,但每个路径的内存日志文件清理策略必须一致,不一致就需要再新建采集配置信息,其中文件匹配的时候支持使用正则表达式匹配多个文件夹下的日志文件;新增监控日志的方式与新增流水日志方式一致;下图中虚线框内部信息是根据每个配置项的“是”“否”勾选项来动态联动显示;部署IP与后续采集工具部署的服务器有关系,最终生成的配置文件以IP为区分进行存储。
在一个实施例中,日志采集信息至少包括日志类型信息、日志文件清理策略信息和采集路径信息。参见图6所示的根据日志采集信息生成采集工具配置文件步骤示意图,根据日志采集信息生成采集工具配置文件,可以按照如下步骤执行:
S602,根据日志类型信息和日志文件清理策略信息确定采集源数量。
S604,根据采集路径信息确定采集路径编号。
S606,根据采集源数量和采集路径编号生成采集工具配置文件。
在本发明实施例中,依据用户填写的流水与监控日志的采集规则和采集配置来生成配置文件。首先采集源的数量与日志类型和内存日志文件清理策略有关系,总数量是二者的乘积,比如两类日志且每类日志都有两种内存文件清理策略,则采集源数量为4。
其次,是采集路径生成,每一条采集路径对应配置文件中的一个f1,新增采集路径则新增一个f2,以此类推生成,单路径则是f1,多路径则是f1 f2 f3…等;其中,f1、f2等信息即为采集路径编号。
在确定了采集源数量和采集路径编号等信息之后,可以自动通过预设程序生成采集工具的配置文件。
需要说明的是,配置文件的基本配置项,这些配置项不需要用户进行输入,默认可以从数据库读取信息生成;最后依据绑定的IP信息,将生成的配置文件按IP文件夹进行存储,以方便后续部署采集工具时获取对应的配置文件。
在一个实施例中,该方法还可以执行如下步骤:
更新数据库中采集工具的版本。
在本发明实施例中,当采集工具版本更新并影响配置文件中配置项的增删时,记录这些变化,进而更新采集工具的版本。
参见图2所示的采集工具配置文件生成方法实施流程示意图,本发明实提供了一种采集工具配置文件生成方法及装置,在实施该方法时,技术人员需要理解现有日志采集工具配置文件各个配置项的具体含义,并可以识别不同版本配下项的变化,通过简化配置过程,让用户利用界面输入必要信息,不同模板有不同的数据项,后台可以根据这些输入自动生成配置文件。该方法有以下优点:
1)方便用户理解采集工具配置文件的配置项。
相对于复杂的配置项,本发明用简单、易于理解的信息将配置项展示给用户,根据这些信息,用户可以很轻松的将配置项填写正确,方便后续生成配置文件的时候降低出错概率。
2)提升填写配置文件的效率。
用户无需手动更改采集工具的配置文件,只需要填写部分信息,就可以生成采集工具配置文件,达到用户的数据采集需求,相对于手工去采集工具的配置文件目录下修改相应配置文件,本方法自动生成更加隐藏了采集工具的内部信息,方便用户使用采集工具采集数据。
3)可以让用户及时感知配置文件的变化。
当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户在对采集工具内部信息不了解的情况下,不太容易感知这些配置项的变化,从而导致一些配置项没有填写或及时删除,引起配置文件配置错误,本方法通过对配置文件的版本管理,让用户及时感知配置文件的变化,有助于最终配置文件的正确生成。
本发明实施例中还提供了一种采集工具配置文件生成装置,如下面的实施例所述。由于该装置解决问题的原理与采集工具配置文件生成方法相似,因此该装置的实施可以参见采集工具配置文件生成方法的实施,重复之处不再赘述。参见图4所示的采集工具配置文件生成装置结构框图,该装置包括:
获取模块41,用于获取采集配置信息;采集配置信息用于确定配置文件的配置项;对比模块42,用于根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;日志采集模块43,用于利用调整后的配置项获取日志采集信息;生成模块44,用于根据日志采集信息生成采集工具配置文件。
在一个实施例中,对比模块,具体用于:若变动项为新增项,则在前端页面增加新增项;若变动项为删除项,则在前端页面减少删除项。
在一个实施例中,日志采集模块,具体用于:利用调整后的配置项获取流水日志的采集信息或获取监控日志的采集信息。
在一个实施例中,参见图5所示的生成模块结构框图,日志采集信息至少包括日志类型信息、日志文件清理策略信息和采集路径信息;生成模块,包括:数量单元51,用于根据日志类型信息和日志文件清理策略信息确定采集源数量;编号单元52,用于根据采集路径信息确定采集路径编号;文件单元53,用于根据采集源数量和采集路径编号生成采集工具配置文件。
在一个实施例中,参见图8所示的另一种采集工具配置文件生成装置,该装置还包括管理模块45,用于
更新数据库中采集工具的版本。
基于同一发明构思,本发明实施例中还提供了一种用于实现上述采集工具配置文件生成方法中的全部或部分内容的电子设备实施例。该电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现相关设备之间的信息传输;该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照实施例用于实现上述采集工具配置文件生成方法的实施例及用于实现上述采集工具配置文件生成装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
图7为本发明实施例中提供的一种电子设备的系统组成结构示意图。如图7所示,该电子设备70可以包括处理器701和存储器702;存储器702耦合到处理器701。值得注意的是,该图7是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在一个实施例中,采集工具配置文件生成方法实现的功能可以被集成到处理器701中。其中,处理器701可以被配置为进行如下控制:
获取采集配置信息;采集配置信息用于确定配置文件的配置项;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;利用调整后的配置项获取日志采集信息;根据日志采集信息生成采集工具配置文件。
由上可知,本发明的实施例中提供的电子设备,利用调整后的配置项获取日志采集信息,用简单、易于理解的信息将配置项展示给用户,根据这些信息,用户可以很轻松的将配置项填写正确,方便后续生成配置文件的时候降低出错概率;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项,从而实现当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户可及时感知配置文件的变化,有助于最终配置文件的正确生成。。
在另一个实施例中,采集工具配置文件生成装置可以与处理器701分开配置,例如可以将采集工具配置文件生成装置配置为与处理器701连接的芯片,通过处理器的控制来实现采集工具配置文件生成方法的功能。
如图7所示,该电子设备70还可以包括:通信模块703、输入单元704、音频处理单元705、显示器706、电源707。值得注意的是,电子设备70也并不是必须要包括图7中所示的所有部件;此外,电子设备70还可以包括图7中没有示出的部件,可以参考现有技术。
如图7所示,处理器701有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该处理器701接收输入并控制电子设备70的各个部件的操作。
其中,存储器702,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且处理器701可执行该存储器702存储的该程序,以实现信息存储或处理等。
输入单元704向处理器701提供输入。该输入单元704例如为按键或触摸输入装置。电源707用于向电子设备70提供电力。显示器706用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器702可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器702还可以是某种其它类型的装置。存储器702包括缓冲存储器7021(有时被称为缓冲器)。存储器702可以包括应用/功能存储部7022,该应用/功能存储部7022用于存储应用程序和功能程序或用于通过处理器701执行电子设备70的操作的流程。
存储器702还可以包括数据存储部7023,该数据存储部7023用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器702的驱动程序存储部7024可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块703即为经由天线708发送和接收信号的发送机/接收机。通信模块(发送机/接收机)703耦合到处理器701,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块703,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)703还经由音频处理单元705耦合到扬声器709和麦克风710,以经由扬声器709提供音频输出,并接收来自麦克风710的音频输入,从而实现通常的电信功能。音频处理单元705可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理单元705还耦合到处理器701,从而使得可以通过麦克风710能够在本机上录音,且使得可以通过扬声器709来播放本机上存储的声音。
本发明的实施例中还提供了一种用于实现上述实施例中采集工具配置文件生成方法中全部步骤的一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的采集工具配置文件生成方法的全部步骤,例如,该处理器执行该计算机程序时实现下述步骤:
获取采集配置信息;采集配置信息用于确定配置文件的配置项;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项;利用调整后的配置项获取日志采集信息;根据日志采集信息生成采集工具配置文件。
由上可知,本发明的实施例中提供的计算机可读存储介质,利用调整后的配置项获取日志采集信息,用简单、易于理解的信息将配置项展示给用户,根据这些信息,用户可以很轻松的将配置项填写正确,方便后续生成配置文件的时候降低出错概率;根据配置项和数据库中目标版本的配置模板确定变动项,并根据变动项调整配置项,从而实现当采集工具有所更新的时候,配置文件也会随着会有新增或删除的配置项,用户可及时感知配置文件的变化,有助于最终配置文件的正确生成。
虽然本发明提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。可单独使用本发明的每个方面和/或实施例,或者与一个或更多其他方面和/或其他实施例结合使用。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种采集工具配置文件生成方法,其特征在于,包括:
获取采集配置信息;所述采集配置信息用于确定配置文件的配置项;
根据所述配置项和数据库中目标版本的配置模板确定变动项,并根据所述变动项调整所述配置项;
利用调整后的配置项获取日志采集信息;
根据所述日志采集信息生成采集工具配置文件。
2.根据权利要求1所述的方法,其特征在于,根据所述变动项调整所述配置项,包括:
若所述变动项为新增项,则在前端页面增加所述新增项;
若所述变动项为删除项,则在前端页面减少所述删除项。
3.根据权利要求1所述的方法,其特征在于,利用调整后的配置项获取日志采集信息,包括:
利用调整后的配置项获取流水日志的采集信息或获取监控日志的采集信息。
4.根据权利要求1所述的方法,其特征在于,所述日志采集信息至少包括日志类型信息、日志文件清理策略信息和采集路径信息;
根据所述日志采集信息生成采集工具配置文件,包括:
根据所述日志类型信息和日志文件清理策略信息确定采集源数量;
根据所述采集路径信息确定采集路径编号;
根据所述采集源数量和所述采集路径编号生成采集工具配置文件。
5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
更新所述数据库中采集工具的版本。
6.一种采集工具配置文件生成装置,其特征在于,包括:
获取模块,用于获取采集配置信息;所述采集配置信息用于确定配置文件的配置项;
对比模块,用于根据所述配置项和数据库中目标版本的配置模板确定变动项,并根据所述变动项调整所述配置项;
日志采集模块,用于利用调整后的配置项获取日志采集信息;
生成模块,用于根据所述日志采集信息生成采集工具配置文件。
7.根据权利要求6所述的装置,其特征在于,所述对比模块,具体用于:
若所述变动项为新增项,则在前端页面增加所述新增项;
若所述变动项为删除项,则在前端页面减少所述删除项。
8.根据权利要求6所述的装置,其特征在于,所述日志采集模块,具体用于:
利用调整后的配置项获取流水日志的采集信息或获取监控日志的采集信息。
9.根据权利要求6所述的装置,其特征在于,所述日志采集信息至少包括日志类型信息、日志文件清理策略信息和采集路径信息;所述生成模块,包括:
数量单元,用于根据所述日志类型信息和日志文件清理策略信息确定采集源数量;
编号单元,用于根据所述采集路径信息确定采集路径编号;
文件单元,用于根据所述采集源数量和所述采集路径编号生成采集工具配置文件。
10.根据权利要求6-9任一项所述的装置,其特征在于,还包括管理模块,用于:
更新所述数据库中采集工具的版本。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一所述采集工具配置文件生成方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至5任一所述采集工具配置文件生成方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110916992.2A CN113608735A (zh) | 2021-08-11 | 2021-08-11 | 采集工具配置文件生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110916992.2A CN113608735A (zh) | 2021-08-11 | 2021-08-11 | 采集工具配置文件生成方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113608735A true CN113608735A (zh) | 2021-11-05 |
Family
ID=78308141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110916992.2A Pending CN113608735A (zh) | 2021-08-11 | 2021-08-11 | 采集工具配置文件生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113608735A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103379140A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志处理规则同步方法及相关设备和系统 |
CN109408481A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
CN111258722A (zh) * | 2020-02-14 | 2020-06-09 | 苏州浪潮智能科技有限公司 | 一种集群的日志采集方法、系统、设备以及介质 |
WO2021012568A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
-
2021
- 2021-08-11 CN CN202110916992.2A patent/CN113608735A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103379140A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志处理规则同步方法及相关设备和系统 |
CN109408481A (zh) * | 2018-11-06 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 日志采集规则的更新方法、装置、电子设备及可读介质 |
WO2021012568A1 (zh) * | 2019-07-25 | 2021-01-28 | 深圳壹账通智能科技有限公司 | 一种数据处理方法及相关设备 |
CN111258722A (zh) * | 2020-02-14 | 2020-06-09 | 苏州浪潮智能科技有限公司 | 一种集群的日志采集方法、系统、设备以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109471738B (zh) | 一种应用程序下载渠道的识别方法及相关设备 | |
CN105224462A (zh) | 控件元素的识别方法和装置 | |
CN111488088B (zh) | 设备状态标识方法、装置及智能终端 | |
CN109358898B (zh) | 一种信息处理方法、装置、电子设备和存储介质 | |
CN111651347B (zh) | 测试系统的跳转验证方法、装置、设备及存储介质 | |
CN110543301A (zh) | jenkins代码文件的生成方法及装置 | |
CN113190401A (zh) | 快游戏的异常监控方法、电子设备、移动终端以及存储介质 | |
CN113110995A (zh) | 系统迁移的测试方法及装置 | |
CN113688002A (zh) | 一种日志采集方法及相关装置 | |
CN113687852A (zh) | 日志采集配置文件自动生成方法及装置 | |
CN113608735A (zh) | 采集工具配置文件生成方法及装置 | |
CN103841458A (zh) | 辅助信息推送方法及装置、辅助信息接收方法及装置 | |
CN111538666B (zh) | 批量收集测试结果的方法、装置、计算机设备及存储介质 | |
CN113505076A (zh) | 文件覆盖检测方法及装置 | |
CN114118440A (zh) | 模型迭代方法、装置、电子设备和计算机可读存储介质 | |
CN103914225A (zh) | 一种信息处理的方法及装置 | |
CN112988598A (zh) | 接口自动化测试的方法及装置 | |
CN111176576A (zh) | 一种存储卷的元数据修改方法、装置、设备及存储介质 | |
CN111143377B (zh) | 自动驾驶仿真数据收集方法、装置和系统 | |
CN111859041A (zh) | 数据报送方法及装置 | |
CN111625508A (zh) | 一种信息处理方法及装置 | |
US10853393B2 (en) | Expired map data based anti-counterfeiting method, apparatus, storage medium and device | |
CN112925686A (zh) | 数据采集方法、服务器、系统及存储介质 | |
CN111880996B (zh) | 一种裸机数据采集方法、装置、设备及可读存储介质 | |
CN115379441B (zh) | 一种5g信号传输功率限制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |