CN114500272A - 一种配置信息采集处理方法及装置 - Google Patents
一种配置信息采集处理方法及装置 Download PDFInfo
- Publication number
- CN114500272A CN114500272A CN202210146040.1A CN202210146040A CN114500272A CN 114500272 A CN114500272 A CN 114500272A CN 202210146040 A CN202210146040 A CN 202210146040A CN 114500272 A CN114500272 A CN 114500272A
- Authority
- CN
- China
- Prior art keywords
- data
- configuration information
- node
- acquisition
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000007405 data analysis Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013515 script Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种配置信息采集处理方法及装置，涉及数据技术领域，可用于金融领域或其他技术领域。所述方法包括：在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；在所述数据采集节点中对去除重复数据后的配置信息进行采集；在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。所述装置执行上述方法。本发明实施例提供的配置信息采集处理方法及装置，通过对去除重复数据后的配置信息进行采集，减少后续数据处理量，保证数据更新时效的有效性。
Description
技术领域
本发明涉及数据技术领域，具体涉及一种配置信息采集处理方法及装置。
背景技术
在企业的私有云环境中，需要对信息进行采集，以方便后续使用。在数据体量不大的时候，还可以通过人工登记或者变更流程的方式进行管控，当数据规模提升到一定数量之后，就需要信息化的手段，及时进行有关信息的采集和更新。
在现有技术中，各类配置管理平台一般都能提供基础的信息采集和管理功能，可以进行一定程度上的手工维护和自动采集更新。但是，系统中的配置信息的数据量远远大于基础的信息数量，因此，更新时效往往不能满足实际需求。
发明内容
针对现有技术中的问题，本发明实施例提供一种配置信息采集处理方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种配置信息采集处理方法，所述配置信息采集处理方法在系统中执行；
所述系统包括数据配置节点、数据采集节点、数据解析节点和配置管理系统；
所述配置信息采集处理方法包括：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
其中，所述在所述数据采集节点中对去除重复数据后的配置信息进行采集，包括：
在所述数据配置节点中通过执行采集脚本将去除重复数据后的配置信息上送至所述数据采集节点，以实现在所述数据采集节点中对去除重复数据后的配置信息进行采集。
其中，所述配置信息采集处理方法还包括：
在所述配置管理系统中的脚本库设置新增采集数据项的新增采集脚本，并将所述新增采集脚本下发至各所述数据配置节点中。
其中，在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理的步骤之前，所述配置信息采集处理方法还包括：
发送解析完成的配置信息至用户终端，若检测到用户针对所述解析完成的配置信息的确认动作，则执行对本地存储的配置信息进行更新处理的步骤。
其中，所述配置信息采集处理方法还包括：
在所述数据配置节点中将所述配置信息的输出格式转换为键值对。
其中，各数据解析节点具有相同的数据处理能力指标数据；相应的，所述配置信息采集处理方法还包括：
获取配置信息采集处理任务；所述配置信息采集处理任务包括配置信息采集处理更新周期和数据量；
根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量。
其中，所述根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量，包括：
确定与所述配置信息采集处理更新周期相对应的数据处理能力指标数据中的数据处理量；
根据所述数据量与所述数据处理量的比值结果，确定所述系统包括的数据解析节点数量。
一方面，本发明提出一种配置信息采集处理装置，包括：
比对单元，用于在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
采集单元，用于在所述数据采集节点中对去除重复数据后的配置信息进行采集；
解析单元，用于在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
更新单元，用于在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
再一方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本发明实施例提供的配置信息采集处理方法及装置，在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；在所述数据采集节点中对去除重复数据后的配置信息进行采集；在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理，通过对去除重复数据后的配置信息进行采集，减少后续数据处理量，保证数据更新时效的有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的配置信息采集处理方法的流程示意图。
图2是本发明另一实施例提供的执行配置信息采集处理方法的系统结构示意图。
图3是本发明另一实施例提供的配置信息采集处理方法的流程示意图。
图4是本发明一实施例提供的配置信息采集处理装置的结构示意图。
图5为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是本发明一实施例提供的配置信息采集处理方法的流程示意图，如图1所示，本发明实施例提供的配置信息采集处理方法在系统中执行；所述系统包括数据配置节点、数据采集节点、数据解析节点和配置管理系统；
所述配置信息采集处理方法包括：
步骤S1：在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据。
步骤S2：在所述数据采集节点中对去除重复数据后的配置信息进行采集。
步骤S3：在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析。
步骤S4：在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
执行本方法的系统结构示意图，如图2所示，装置1Agent节点对应数据配置节点、装置2数据采集节点对应数据采集节点、装置3数据解析节点对应数据解析节点、装置4配置管理系统对应配置管理系统。
其中：
所述数据配置节点用于存储配置信息；各数据配置节点将分别发送配置信息至数据采集节点。
所述数据采集节点用于对所述数据配置节点存储的配置信息进行采集；数据采集节点从各数据配置节点采集配置信息；发送采集到的配置信息至各数据解析节点。
所述数据解析节点用于对所述数据采集节点采集到的配置信息进行数据解析；发送解析完成的配置信息至配置管理系统。
所述配置管理系统用于根据所述数据解析节点解析完成的配置信息更新本地数据。
在上述步骤S1中，装置对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据。装置可以是执行该方法的计算机设备，具体可以为数据配置节点。预设次数可以根据实际情况自主设置，以其中一个数据配置节点A1为例，预设次数可选为两次，如果在10点数据配置节点A1将要首次发送配置信息至数据采集节点，该次F1发送的数据量记为D1。
在5分钟后，即10点零5分，第二次F2要发送的数据量记为D2，将D1和D2进行对比，具体可以对比字段中的内容，D1和D2之间的重复数据对应的数据量记为FD2。上述D1和D2可以数值相同，也可以数值不同。为了更好地体现对比效果，可以使得D1和D2数值相同。
在上述步骤S2中，装置对去除重复数据后的配置信息进行采集。装置具体可以为数据采集节点。参照上述举例，数据配置节点A1在10点发送的数据量为D1，在10点零5分发送的数据量为D2-FD2。
通过数据去重，没有变化的配置信息在数据配置节点处得到处理和过滤，不做上送，解析端的数据处理压力可大幅下降。
在上述步骤S3中，装置对所述数据采集节点采集到的配置信息进行数据解析。装置具体可以为数据解析节点。以其中一个数据解析节点B1为例，参照上述举例，可以将配置信息D1和配置信息D2-FD2都发送给同一个数据解析节点，例如都发送给数据解析节点B1。
也可以按照轮询的方式依次发送给不同的数据解析节点，例如将配置信息D1发送给数据解析节点B1，将配置信息D2-FD2发送给数据解析节点B2，从而使得各数据解析节点都能够均分到数据，并进行数据解析处理，避免数据解析节点B1还没有解析完成配置信息D1，配置信息D2-FD2又发送到数据解析节点B1。
在上述步骤S4中，装置根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。装置具体可以为配置管理系统。在配置管理系统本地存储的配置信息的X字段内容记为x1，如果配置信息D1中的X字段内容记为x2，则将X字段内容x1更新为X字段内容x2。
本发明实施例提供的配置信息采集处理方法，在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；在所述数据采集节点中对去除重复数据后的配置信息进行采集；在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理，通过对去除重复数据后的配置信息进行采集，减少后续数据处理量，保证数据更新时效的有效性。
进一步地，所述在所述数据采集节点中对去除重复数据后的配置信息进行采集，包括：
在所述数据配置节点中通过执行采集脚本将去除重复数据后的配置信息上送至所述数据采集节点，以实现在所述数据采集节点中对去除重复数据后的配置信息进行采集。可以预先部署采集脚本到各数据配置节点中，从而使得各数据配置节点执行采集脚本将去除重复数据后的配置信息上送至所述数据采集节点。
由于脚本多为查询类的命令，输出后进行文本格式化或者简单计算，对Agent端的资源消耗很低，在分散的Agent上进行提前比对去重，可充分利用Agent的算力，有效减少网络数据传输量和解析端的数据处理量，还能够节省在解析端计算资源的投入。
本发明实施例提供的配置信息采集处理方法，由于脚本对Agent端的资源消耗很低，有助于进一步减少计算资源消耗量，保证数据更新时效的有效性。
进一步地，所述配置信息采集处理方法还包括：
在所述配置管理系统中的脚本库设置新增采集数据项的新增采集脚本，并将所述新增采集脚本下发至各所述数据配置节点中。脚本库可以理解为管理采集脚本的脚本数据库。可以通过执行脚本分发程序将所述新增采集脚本下发至各所述数据配置节点中，脚本分发程序可以预先部署在配置管理系统中。使得数据配置节点可以按照已有流程进行数据上送等，即可实现新扩展采集数据项的采集，可实现上百个系统指标的实时采集。
本发明实施例提供的配置信息采集处理方法，方便实现新扩展采集数据项的采集。
进一步地，在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理的步骤之前，所述配置信息采集处理方法还包括：
发送解析完成的配置信息至用户终端，若检测到用户针对所述解析完成的配置信息的确认动作，则执行对本地存储的配置信息进行更新处理的步骤。用户终端可以包括用户使用的手机和平板电脑等。
用户终端接收到解析完成的配置信息，可以将解析完成的配置信息显示在用户终端的显示界面上，用于用户浏览和确认。
本发明实施例提供的配置信息采集处理方法，通过在用户确认后完成对本地存储的配置信息进行更新处理，能够确保信息更新准确无误。
进一步地，所述配置信息采集处理方法还包括：
在所述数据配置节点中将所述配置信息的输出格式转换为键值对。为了方便数据管理，可以将输出格式统一化，并针对统一化的输出格式转换为键值对，即可以转换为：Key:Value:Params，每行对应一个配置项，例如：
CPU数量:2:CPU_NUM；
内存数量:4:MEM_NUM。
通过统一采集脚本输出格式，对输出格式进行规范，便于采集指标的灵活扩展。在Agnet端添加脚本，采集端和解析端无需改造即可扩充采集范围。
本发明实施例提供的配置信息采集处理方法，通过键值对存储配置信息，能够方便数据读取操作。
进一步地，如图3所示，各数据解析节点具有相同的数据处理能力指标数据；相应的，所述配置信息采集处理方法还包括：
步骤R1：获取配置信息采集处理任务；所述配置信息采集处理任务包括配置信息采集处理更新周期和数据量；配置信息采集处理更新周期可以根据实际情况自主设置，例如可选为5分钟，或1小时。
数据量可以理解为配置信息采集处理任务总数据量。
步骤R2：根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量。步骤R1可以在上述步骤S1之前执行。可以横向扩展数据解析处理能力，并且能根据配置信息采集处理任务总数据量进行灵活扩展数据解析节点数量。
所述根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量，包括：
确定与所述配置信息采集处理更新周期相对应的数据处理能力指标数据中的数据处理量；举例说明如下：
数据处理能力指标数据为单个数据解析节点5分钟可以处理完成20万配置信息数据量；
单个数据解析节点1小时可以处理完成200万配置信息数据量。
如果配置信息采集处理更新周期为5分钟，则对应的数据处理能力指标数据中的数据处理量为20万配置信息数据量。
如果配置信息采集处理更新周期为1小时，则对应的数据处理能力指标数据中的数据处理量为200万配置信息数据量。
根据所述数据量与所述数据处理量的比值结果，确定所述系统包括的数据解析节点数量。如果在5分钟更新时效的场景下，数据量为90万，则数据解析节点数量＝90万/20万≈5个数据解析节点。
如果在1小时更新时效的场景下，数据量为2000万，则数据解析节点数量＝2000万/200万＝10个数据解析节点。
本发明实施例提供的配置信息采集处理方法，根据配置信息采集处理任务可灵活扩展数据解析节点数量，保证数据更新时效的有效性。
进一步地，所述根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量，包括：
确定与所述配置信息采集处理更新周期相对应的数据处理能力指标数据中的数据处理量；可参照上述说明，不再赘述。
根据所述数据量与所述数据处理量的比值结果，确定所述系统包括的数据解析节点数量。可参照上述说明，不再赘述。
本发明实施例提供的配置信息采集处理方法，进一步能够准确计算数据解析节点数量，保证数据更新时效的有效性。
系统配置信息采集详细步骤，说明如下：
1.在Agent上执行配置采集命令，例如：
采集CPU数量。
采集系统sysctl的xxx参数值。
2.将输出格式统一转换为Key:Value:Params，每行对应一个配置项，例如：
CPU数量:2:CPU_NUM。
内存数量:4:MEM_NUM。
硬盘容量:300GB:DISK_NUM。
硬盘使用容量:280GB:DISK_USED。
系统参数shmall:274877906944:sysctl_shmall。
系统参数shmmax:1825439744:sysctl_shmmax。
系统变量timeout:600:profile_timeout。
系统变量umask:022:profile_umask。
3.和上一次采集的结果进行比对，将内容重复的数据去除，比如如下为重复数据：
硬盘使用容量:280GB:DISK_USED。
系统变量timeout:600:profile_timeout。
4.将去除重复数据后的配置信息上送到采集节点。
5.采集节点根据解析节点的数量，对采集到的数据进行分配。
6.解析节点根据分配到的数据，进行数据解析，更新到配置管理系统的数据库中。
7.本轮采集过程结束。
8.配置管理系统对解析后的数据进行展示，用户在笔记本或者台式机上进行访问确认。
需要说明的是，本发明实施例提供的配置信息采集处理方法可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对配置信息采集处理方法的应用领域不做限定。
图4是本发明一实施例提供的配置信息采集处理装置的结构示意图，如图4所示，本发明实施例提供的配置信息采集处理装置，包括比对单元401、采集单元402、解析单元403和更新单元404，其中：
比对单元401用于在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；采集单元402用于在所述数据采集节点中对去除重复数据后的配置信息进行采集；解析单元403用于在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；更新单元404用于在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
具体的，装置中的比对单元401用于在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；采集单元402用于在所述数据采集节点中对去除重复数据后的配置信息进行采集；解析单元403用于在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；更新单元404用于在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本发明实施例提供的配置信息采集处理装置，在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；在所述数据采集节点中对去除重复数据后的配置信息进行采集；在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理，通过对去除重复数据后的配置信息进行采集，减少后续数据处理量，保证数据更新时效的有效性。
本发明实施例提供配置信息采集处理装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图5为本发明实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备包括：处理器(processor)501、存储器(memory)502和总线503；
其中，所述处理器501、存储器502通过总线503完成相互间的通信；
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种配置信息采集处理方法，其特征在于，所述配置信息采集处理方法在系统中执行；
所述系统包括数据配置节点、数据采集节点、数据解析节点和配置管理系统；
所述配置信息采集处理方法包括：
在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
在所述数据采集节点中对去除重复数据后的配置信息进行采集；
在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
2.根据权利要求1所述的配置信息采集处理方法，其特征在于，所述在所述数据采集节点中对去除重复数据后的配置信息进行采集，包括：
在所述数据配置节点中通过执行采集脚本将去除重复数据后的配置信息上送至所述数据采集节点，以实现在所述数据采集节点中对去除重复数据后的配置信息进行采集。
3.根据权利要求2所述的配置信息采集处理方法，其特征在于，所述配置信息采集处理方法还包括：
在所述配置管理系统中的脚本库设置新增采集数据项的新增采集脚本，并将所述新增采集脚本下发至各所述数据配置节点中。
4.根据权利要求1所述的配置信息采集处理方法，其特征在于，在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理的步骤之前，所述配置信息采集处理方法还包括：
发送解析完成的配置信息至用户终端，若检测到用户针对所述解析完成的配置信息的确认动作，则执行对本地存储的配置信息进行更新处理的步骤。
5.根据权利要求1所述的配置信息采集处理方法，其特征在于，所述配置信息采集处理方法还包括：
在所述数据配置节点中将所述配置信息的输出格式转换为键值对。
6.根据权利要求1至5任一所述的配置信息采集处理方法，其特征在于，各数据解析节点具有相同的数据处理能力指标数据；相应的，所述配置信息采集处理方法还包括：
获取配置信息采集处理任务；所述配置信息采集处理任务包括配置信息采集处理更新周期和数据量；
根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量。
7.根据权利要求6所述的配置信息采集处理方法，其特征在于，所述根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量，包括：
确定与所述配置信息采集处理更新周期相对应的数据处理能力指标数据中的数据处理量；
根据所述数据量与所述数据处理量的比值结果，确定所述系统包括的数据解析节点数量。
8.一种配置信息采集处理装置，其特征在于，包括：
比对单元，用于在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；
采集单元，用于在所述数据采集节点中对去除重复数据后的配置信息进行采集；
解析单元，用于在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；
更新单元，用于在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146040.1A CN114500272B (zh) | 2022-02-17 | 2022-02-17 | 一种配置信息采集处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210146040.1A CN114500272B (zh) | 2022-02-17 | 2022-02-17 | 一种配置信息采集处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114500272A true CN114500272A (zh) | 2022-05-13 |
| CN114500272B CN114500272B (zh) | 2024-01-05 |
Family
ID=81481634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210146040.1A Active CN114500272B (zh) | 2022-02-17 | 2022-02-17 | 一种配置信息采集处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114500272B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104090889A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法及系统 |
| CN112187530A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种日志解析方法、装置、电子设备及可读存储介质 |
| CN112217656A (zh) * | 2019-07-11 | 2021-01-12 | 奇安信科技集团股份有限公司 | Sd-wan系统中的网络设备的配置信息同步方法和装置 |
| CN113032224A (zh) * | 2021-04-22 | 2021-06-25 | 深信服科技股份有限公司 | 一种信息采集方法、装置、电子设备及可读存储介质 |
-
2022
- 2022-02-17 CN CN202210146040.1A patent/CN114500272B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104090889A (zh) * | 2013-12-12 | 2014-10-08 | 深圳市腾讯计算机系统有限公司 | 数据处理方法及系统 |
| CN112217656A (zh) * | 2019-07-11 | 2021-01-12 | 奇安信科技集团股份有限公司 | Sd-wan系统中的网络设备的配置信息同步方法和装置 |
| CN112187530A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种日志解析方法、装置、电子设备及可读存储介质 |
| CN113032224A (zh) * | 2021-04-22 | 2021-06-25 | 深信服科技股份有限公司 | 一种信息采集方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114500272B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038162B (zh) | 基于数据库日志的实时数据查询方法和系统 | |
| CN109918349B (zh) | 日志处理方法、装置、存储介质和电子装置 | |
| CN108733464B (zh) | 一种确定计算任务的调度方案的方法及装置 | |
| CN109508326B (zh) | 用于处理数据的方法、装置和系统 | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
| CN111159897A (zh) | 基于系统建模应用的目标优化方法和装置 | |
| CN115392501A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN113672668A (zh) | 大数据场景下的日志实时处理方法及装置 | |
| CN109359109B (zh) | 一种基于分布式流计算的数据处理方法及系统 | |
| CN111435329A (zh) | 一种自动化测试方法和装置 | |
| CN111125226B (zh) | 一种配置数据采集方法及装置 | |
| CN112433757A (zh) | 一种确定接口调用关系的方法和装置 | |
| CN112346872A (zh) | 基于服务调用链路的云计算扩容方法及装置 | |
| CN114500272B (zh) | 一种配置信息采集处理方法及装置 | |
| CN110968592A (zh) | 元数据采集方法、装置、计算机设备及计算机可读存储介质 | |
| CN111159142B (zh) | 一种数据处理方法及装置 | |
| CN116244383A (zh) | 基于bom中台的bom同步处理方法、设备及介质 | |
| CN111008189A (zh) | 一种动态数据模型构建方法 | |
| CN114491171A (zh) | 基于工业物联网的数据处理方法、系统、介质及电子设备 | |
| CN114817223A (zh) | 业务数据提取方法、装置、电子设备和存储介质 | |
| CN114238438A (zh) | 一种数据实时计算统计的方法、装置、设备及介质 | |
| CN110263017B (zh) | 一种基于球面网格遥感数据文件集的键值存储方法及装置 | |
| CN115277421B (zh) | 配置信息推送方法、装置、电子设备和计算机可读介质 | |
| CN113553320B (zh) | 数据质量监控方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |