CN113938379B - 一种动态加载云平台日志采集配置的方法 - Google Patents
一种动态加载云平台日志采集配置的方法 Download PDFInfo
- Publication number
- CN113938379B CN113938379B CN202111149216.0A CN202111149216A CN113938379B CN 113938379 B CN113938379 B CN 113938379B CN 202111149216 A CN202111149216 A CN 202111149216A CN 113938379 B CN113938379 B CN 113938379B
- Authority
- CN
- China
- Prior art keywords
- configuration
- agent
- task
- information
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012986 modification Methods 0.000 claims abstract description 27
- 230000004048 modification Effects 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000012217 deletion Methods 0.000 claims abstract description 14
- 230000037430 deletion Effects 0.000 claims abstract description 14
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
- H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开一种动态加载云平台日志采集配置的方法，涉及配置加载技术领域，该方法的实现基于部署在云平台的Controller和Agent两个组件；首先通过将采集配置的定义下方给用户，使用户可以根据需求创建配置资源；随后通过Controller监听配置资源的创建、修改、删除、事件，以及Agent的创建事件和节点标签修改事件，将配置信息和需要下发的Agent IP打包成一个配置下发任务；最后利用任务队列将配置下发任务通过HTTP协议下发到对应节点的Agent，并通过Agent通知日志采集器将配置信息加载到日志采集器。本发明一方面可以避免资源浪费，另一方面将配置下发任务下发到各个服务，可以避免配置复杂化，从而可以更好的排错。
Description
技术领域
本发明涉及配置的加载技术领域，具体的说是一种动态加载云平台日志采集配置的方法。
背景技术
随着云平台的大规模部署，云平台内服务数量大规模增加，运维需求增加，而云平台日志采集对云平台的运维和问题预测起到了非常重要的作用，但是，云平台之大，日志之多，导致日志采集配置多变，又因为之前日志配置和日志组件放在一块，这样来了新组件或者新需求就可能会同时升级日志组件，升级修改的往往只有配置，造成资源浪费，而且给升级人员增加了升级时间。
基于此，专门设计研发一种动态加载云平台日志采集配置的方法，来将配置文件直接下放给用户，且无需对日志采集组件进行修改。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种动态加载云平台日志采集配置的方法。
本发明的一种动态加载云平台日志采集配置的方法，解决上述技术问题采用的技术方案如下：
一种动态加载云平台日志采集配置的方法，该方法的实现基于部署在云平台的Controller和Agent两个组件；
首先通过将采集配置的定义下方给用户，使用户可以根据需求创建配置资源；
随后通过Controller监听配置资源的创建、修改、删除、事件，以及Agent的创建事件和节点标签修改事件，将配置信息和需要下发的Agent IP打包成一个配置下发任务；
最后利用任务队列将配置下发任务通过HTTP协议下发到对应节点的Agent，并通过Agent通知日志采集器将配置信息加载到日志采集器。
可选的，所涉及Controller运行在每个集群中，包括资源监听模块和预处理模块；
通过Controller中的资源监听模块监听配置资源的创建、修改、删除事件，以及Agent的创建事件和节点标签修改事件；
通过Controller中的预处理模块对资源的创建、修改和删除这些不同的事件进行不同的处理。
进一步可选的，所涉及Controller中的资源监听模块监听配置资源的创建、修改、删除事件，这一过程中：
(a)当有新的配置资源创建时，Controller接收到创建事件，解析配置信息，通过配置信息中的nodeselector获取对应的Agent IP，随后将配置信息和Agent IP打包成配置下发任务传送至任务队列；
(b)当有配置资源进行修改时，Controller接收到配置资源的修改事件，随后将配置信息和对应节点信息打包成配置下发任务，该下发任务会替换之前的配置文件；
(c)当有配置资源被删除时，Controller接收到配置资源的删除事件，下发配置后，Agent会删除该配置。
进一步可选的，所涉及日志采集器和Agent部署在集群中的每个节点上，且每个日志采集器都有一个对应的Agent来加载日志采集配置；
Controller中的资源监听模块监听Agent的创建事件和和节点标签修改事件，这一过程中：
当资源监听模块监听到Agent创建事件时，即表明部署在同一个节点的日志采集器需要初始化，此时，Controller会在当前的配置资源中查找属于该Agent所在节点的配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，该配置下发任务会被传送至任务队列；
当资源监听模块监听到节点标签修改事件时，表明节点的标签修改了，即节点角色发生改变，那么该节点的日志采集配置可能也要发生改变，此时，Controller将根据新的节点标签在当前配置资源中查找对应配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，配置下发任务会删除日志采集器的原有配置，并写入最新配置，最后采集器重新加载最新配置。
进一步可选的，将配置信息和对应节点信息打包成配置下发任务之前，预处理模块首先基于日志采集器的配置规则检查配置信息的正确性，检查通过后，才会把配置信息和对应节点上的Agent信息打包成配置下发任务，传送到任务队列中。
可选的，通过定时任务定时读取任务队列中的配置下发任务，随后通过HTTP协议将配置信息下发到对应节点的Agent，该Agent首先验证配置信息的完整性和唯一性，并在验证通过后通知日志采集器将配置信息加载到日志采集器。
进一步可选的，所涉及任务队列为先进先出队列，率先进入任务队列的配置下发任务会率先下发到对应节点的Agent，如果下发失败会再次从队尾进入任务队列。
进一步可选的，所涉及Agent验证配置信息的完整性，具体过程包括：
(I)所述任务队列对配置下发任务进行下发按之前，所述Controller首先对配置下发任务的配置信息计算MD5值；
(II)所述任务队列通过HTTP协议将配置信息发送到对应节点的Agent后，Agent也会计算所接受数据的MD5值，并与Controller计算的MD5作校验，从而验证所接收数据的完整性和唯一性：
(a)如果Agent计算的MD5和任务队列计算的MD5值不同，则认为发送过程中丢失数据，将该配置信息认定为不正确的配置信息，而不触发配置信息的重新加载，
(b)如果Agent计算的MD5已经存在，那么将该配置信息看作重复的配置信息，同样不进行配置信息的重新加载；
(III)验证通过后，Agent通知日志采集器将配置信息加载到日志采集器，如果配置信息加载失败，Agent会向Controller返回失败信息，Controller接收到失败信息后，会将配置下发任务重新入队等待下一次重试。
优选的，所涉及日志采集器为fluentd，fluentd是一种基于插件式的日志采集器，支持配置的热插拔，而且支持加载多配置文件。
本发明的一种动态加载云平台日志采集配置的方法，与现有技术相比具有的有益效果是：
(1)本发明基于部署在云平台的Controller和Agent两个组件，可以实现日志采集配置和日志组件的分离，并在不改变日志组件运行的情况下动态加载日志的采集配置；在日志采集需求升级时，无需对日志组件做更改，只需增加需要的配置资源即可，Controller会根据新增的配置信息通知Agent修改采集端配置并重新加载；
(2)本发明一方面可以避免资源浪费，另一方面将配置下发任务下发到各个服务，可以避免配置复杂化，从而可以更好的排错。
附图说明
附图1是本发明的方法流程图；
附图2是本发明中配置资源的创建、修改、删除事件的流程图；
附图3是本发明中Agent创建事件和节点标签修改事件的流程图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
本实施例提出一种动态加载云平台日志采集配置的方法，该方法的实现基于部署在云平台的Controller和Agent两个组件，实现过程包括：
(一)首先通过将采集配置的定义下方给用户，使用户可以根据需求创建配置资源。
(二)随后通过Controller监听配置资源的创建、修改、删除、事件，以及Agent的创建事件和节点标签修改事件，将配置信息和需要下发的Agent IP打包成一个配置下发任务。
Controller运行在每个kubernetes集群中，包括资源监听模块和预处理模块。
(1)通过Controller中的资源监听模块监听配置资源的创建、修改、删除事件，以及Agent的创建事件和节点标签修改事件，这一过程中：
(a)当有新的配置资源创建时，Controller接收到创建事件，解析配置信息，通过配置信息中的nodeselector获取对应的Agent IP，随后将配置信息和Agent IP打包成配置下发任务传送至任务队列；
(b)当有配置资源进行修改时，Controller接收到配置资源的修改事件，随后将配置信息和对应节点信息打包成配置下发任务，该下发任务会替换之前的配置文件；
(c)当有配置资源被删除时，Controller接收到配置资源的删除事件，下发配置后，Agent会删除该配置；
(d)当资源监听模块监听到Agent创建事件时，即表明部署在同一个节点的日志采集器需要初始化，此时，Controller会在当前的配置资源中查找属于该Agent所在节点的配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，该配置下发任务会被传送至任务队列；
(e)当资源监听模块监听到节点标签修改事件时，表明节点的标签修改了，即节点角色发生改变，那么该节点的日志采集配置可能也要发生改变，此时，Controller将根据新的节点标签在当前配置资源中查找对应配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，配置下发任务会删除日志采集器的原有配置，并写入最新配置，最后采集器重新加载最新配置。
(2)通过Controller中的预处理模块对资源的创建、修改和删除这些不同的事件进行不同的处理。
需要注意的是：将配置信息和对应节点信息打包成配置下发任务之前，Controller中的预处理模块首先基于日志采集器的配置规则检查配置信息的正确性，检查通过后，才会把配置信息和对应节点上的Agent信息打包成配置下发任务，传送到任务队列中。
(三)最后通过定时任务定时读取任务队列中的配置下发任务，任务队列通过HTTP协议下发配置信息到对应节点的Agent，并通过Agent通知日志采集器将配置信息加载到日志采集器。
本实施例中，任务队列为先进先出队列，率先进入任务队列的配置下发任务会率先下发到对应节点的Agent，如果下发失败会再次从队尾进入任务队列。
本实施例中，日志采集器为fluentd，fluentd是一种基于插件式的日志采集器，支持配置的热插拔，而且支持加载多配置文件。
本实施例中，日志采集器和Agent部署在kubernetes集群中的每个节点上，且每个日志采集器都有一个对应的Agent来加载日志采集配置。
本实施例中，任务队列通过HTTP协议下发配置信息到对应节点的Agent后，Agent首先需要验证配置信息的完整性和唯一性，并在验证通过后通知日志采集器将配置信息加载到日志采集器。验证配置信息的具体过程包括：
(I)所述任务队列对配置下发任务进行下发按之前，所述Controller首先对配置下发任务的配置信息计算MD5值；
(II)所述任务队列通过HTTP协议将配置信息发送到对应节点的Agent后，Agent也会计算所接受数据的MD5值，并与Controller计算的MD5作校验，从而验证所接收数据的完整性和唯一性：
(a)如果Agent计算的MD5和任务队列计算的MD5值不同，则认为发送过程中丢失数据，将该配置信息认定为不正确的配置信息，而不触发配置信息的重新加载，
(b)如果Agent计算的MD5已经存在，那么将该配置信息看作重复的配置信息，同样不进行配置信息的重新加载；
(III)验证通过后，Agent通知日志采集器将配置信息加载到日志采集器，如果配置信息加载失败，Agent会向Controller返回失败信息，Controller接收到失败信息后，会将配置下发任务重新入队等待下一次重试。
综上可知，采用本发明的一种动态加载云平台日志采集配置的方法，一方面可以避免资源浪费，另一方面将配置下发任务下发到各个服务，可以避免配置复杂化，从而可以更好的排错。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (8)
1.一种动态加载云平台日志采集配置的方法，其特征在于,该方法的实现基于部署在云平台的Controller和Agent两个组件，Controller运行在每个集群中，包括资源监听模块和预处理模块；
首先通过将采集配置的定义下放给用户，使用户可以根据需求创建配置资源；
随后通过Controller中的资源监听模块监听配置资源的创建、修改、删除事件，以及Agent的创建事件和节点标签修改事件，通过Controller中的预处理模块对资源的创建、修改和删除这些不同的事件进行不同的处理；将配置信息和需要下发的Agent IP打包成一个配置下发任务；
最后利用任务队列将配置下发任务通过HTTP协议下发到对应节点的Agent，并通过Agent通知日志采集器将配置信息加载到日志采集器。
2.根据权利要求1所述的一种动态加载云平台日志采集配置的方法，其特征在于，所述Controller中的资源监听模块监听配置资源的创建、修改、删除事件，这一过程中：
（a）当有新的配置资源创建时，Controller接收到创建事件，解析配置信息，通过配置信息中的nodeselector获取对应的Agent IP，随后将配置信息和Agent IP打包成配置下发任务传送至任务队列；
（b）当有配置资源进行修改时，Controller接收到配置资源的修改事件，随后将配置信息和对应节点信息打包成配置下发任务，该下发任务会替换之前的配置文件；
（c）当有配置资源被删除时，Controller接收到配置资源的删除事件，下发配置后，Agent会删除该配置。
3.根据权利要求2所述的一种动态加载云平台日志采集配置的方法，其特征在于，日志采集器和Agent部署在集群中的每个节点上，且每个日志采集器都有一个对应的Agent来加载日志采集配置；
所述Controller中的资源监听模块监听Agent的创建事件和和节点标签修改事件，这一过程中：
当资源监听模块监听到Agent创建事件时，即表明部署在同一个节点的日志采集器需要初始化，此时，Controller会在当前的配置资源中查找属于该Agent所在节点的配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，该配置下发任务会被传送至任务队列；
当资源监听模块监听到节点标签修改事件时，表明节点的标签修改了，即节点角色发生改变，那么该节点的日志采集配置也要发生改变，此时，Controller将根据新的节点标签在当前配置资源中查找对应配置，并将查找到的配置信息和节点信息打包成为一个配置下发任务，配置下发任务会删除日志采集器的原有配置，并写入最新配置，最后采集器重新加载最新配置。
4.根据权利要求3所述的一种动态加载云平台日志采集配置的方法，其特征在于，将配置信息和对应节点信息打包成配置下发任务之前，预处理模块首先基于日志采集器的配置规则检查配置信息的正确性，检查通过后，才会把配置信息和对应节点上的Agent信息打包成配置下发任务，传送到任务队列中。
5.根据权利要求1所述的一种动态加载云平台日志采集配置的方法，其特征在于，通过定时任务定时读取任务队列中的配置下发任务，随后通过HTTP协议将配置信息下发到对应节点的Agent，该Agent首先验证配置信息的完整性和唯一性，并在验证通过后通知日志采集器将配置信息加载到日志采集器。
6.根据权利要求5所述的一种动态加载云平台日志采集配置的方法，其特征在于，所述任务队列为先进先出队列，率先进入任务队列的配置下发任务会率先下发到对应节点的Agent，如果下发失败会再次从队尾进入任务队列。
7.根据权利要求5所述的一种动态加载云平台日志采集配置的方法，其特征在于，所述Agent验证配置信息的完整性，具体过程包括：
（I）所述任务队列对配置下发任务进行下发按之前，所述Controller首先对配置下发任务的配置信息计算MD5值；
（II）所述任务队列通过HTTP协议将配置信息发送到对应节点的Agent后，Agent也会计算所接受数据的MD5值，并与Controller计算的MD5作校验，从而验证所接收数据的完整性和唯一性：
（a）如果Agent计算的MD5和任务队列计算的MD5值不同，则认为发送过程中丢失数据，将该配置信息认定为不正确的配置信息，而不触发配置信息的重新加载，
（b）如果Agent计算的MD5已经存在，那么将该配置信息看作重复的配置信息，同样不进行配置信息的重新加载；
（III）验证通过后，Agent通知日志采集器将配置信息加载到日志采集器，如果配置信息加载失败，Agent会向Controller返回失败信息，Controller接收到失败信息后，会将配置下发任务重新入队等待下一次重试。
8.根据权利要求1所述的一种动态加载云平台日志采集配置的方法，其特征在于，所述日志采集器为fluentd，fluentd是一种基于插件式的日志采集器，支持配置的热插拔，而且支持加载多配置文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111149216.0A CN113938379B (zh) | 2021-09-29 | 2021-09-29 | 一种动态加载云平台日志采集配置的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111149216.0A CN113938379B (zh) | 2021-09-29 | 2021-09-29 | 一种动态加载云平台日志采集配置的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113938379A CN113938379A (zh) | 2022-01-14 |
| CN113938379B true CN113938379B (zh) | 2024-06-04 |
Family
ID=79277423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111149216.0A Active CN113938379B (zh) | 2021-09-29 | 2021-09-29 | 一种动态加载云平台日志采集配置的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113938379B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449040B (zh) * | 2022-01-28 | 2023-12-05 | 杭州迪普科技股份有限公司 | 基于云平台的配置下发方法及装置 |
| CN115118626A (zh) * | 2022-07-27 | 2022-09-27 | 济南浪潮数据技术有限公司 | 一种管理方法、计算机可读存储介质、系统及装置 |
| CN115757041B (zh) * | 2022-11-28 | 2023-11-21 | 安超云软件有限公司 | 可动态配置的多集群日志采集的方法及应用 |
| CN116302886A (zh) * | 2023-03-03 | 2023-06-23 | 浪潮云信息技术股份公司 | 一种kubernetes环境下容器日志采集系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和系统 |
| CN105945943A (zh) * | 2016-05-12 | 2016-09-21 | 东北大学 | 一种基于动态Agent的云机器人分布式控制系统及方法 |
| WO2016146077A1 (zh) * | 2015-03-18 | 2016-09-22 | 华为技术有限公司 | 一种动态路由配置方法、装置及系统 |
| CN106713469A (zh) * | 2016-12-29 | 2017-05-24 | 上海智臻智能网络科技股份有限公司 | 用于分布式容器的动态加载方法、装置及系统 |
| CN106953758A (zh) * | 2017-03-20 | 2017-07-14 | 北京搜狐新媒体信息技术有限公司 | 一种基于Nginx服务器的动态配置管理方法及系统 |
| CN107426023A (zh) * | 2017-07-21 | 2017-12-01 | 携程旅游信息技术（上海）有限公司 | 云平台日志收集和转发方法、系统、设备及存储介质 |
| CN109032647A (zh) * | 2018-10-17 | 2018-12-18 | 北京京航计算通讯研究所 | 基于软件监控和策略的软件升级方法 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
| KR20190041192A (ko) * | 2017-10-12 | 2019-04-22 | 에스케이텔레콤 주식회사 | 규칙 기반의 동적 로그 수집 방법 및 장치 |
| CN110287029A (zh) * | 2019-06-27 | 2019-09-27 | 中国—东盟信息港股份有限公司 | 一种基于kubernetes容器资源动态调整的方法 |
| CN111258722A (zh) * | 2020-02-14 | 2020-06-09 | 苏州浪潮智能科技有限公司 | 一种集群的日志采集方法、系统、设备以及介质 |
| CN111367760A (zh) * | 2020-02-28 | 2020-07-03 | 平安医疗健康管理股份有限公司 | 日志采集方法及装置、计算机设备、存储介质 |
| CN111881003A (zh) * | 2020-09-27 | 2020-11-03 | 国网汇通金财（北京）信息科技有限公司 | 一种日志动态采集方法及装置 |
| CN112019362A (zh) * | 2019-05-30 | 2020-12-01 | 中移(苏州)软件技术有限公司 | 数据传输方法、装置、服务器、终端、系统及存储介质 |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
| CN112925695A (zh) * | 2021-03-29 | 2021-06-08 | 浪潮云信息技术股份公司 | 一种自动化更新配置fluentd的配置文件的方法 |
| CN113157383A (zh) * | 2021-01-22 | 2021-07-23 | 浪潮云信息技术股份公司 | 一种OpenStack环境下动态调整超配比的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020062334A1 (en) * | 1998-08-19 | 2002-05-23 | Qiming Chen | Dynamic agents for dynamic service provision |
| EP2930879B1 (en) * | 2012-12-05 | 2021-02-24 | LG Electronics Inc. | Method and apparatus for authenticating access authorization in wireless communication system |
| US9705754B2 (en) * | 2012-12-13 | 2017-07-11 | Level 3 Communications, Llc | Devices and methods supporting content delivery with rendezvous services |
| US10412158B2 (en) * | 2016-07-27 | 2019-09-10 | Salesforce.Com, Inc. | Dynamic allocation of stateful nodes for healing and load balancing |
-
2021
- 2021-09-29 CN CN202111149216.0A patent/CN113938379B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和系统 |
| WO2016146077A1 (zh) * | 2015-03-18 | 2016-09-22 | 华为技术有限公司 | 一种动态路由配置方法、装置及系统 |
| CN105945943A (zh) * | 2016-05-12 | 2016-09-21 | 东北大学 | 一种基于动态Agent的云机器人分布式控制系统及方法 |
| CN106713469A (zh) * | 2016-12-29 | 2017-05-24 | 上海智臻智能网络科技股份有限公司 | 用于分布式容器的动态加载方法、装置及系统 |
| CN106953758A (zh) * | 2017-03-20 | 2017-07-14 | 北京搜狐新媒体信息技术有限公司 | 一种基于Nginx服务器的动态配置管理方法及系统 |
| CN107426023A (zh) * | 2017-07-21 | 2017-12-01 | 携程旅游信息技术（上海）有限公司 | 云平台日志收集和转发方法、系统、设备及存储介质 |
| KR20190041192A (ko) * | 2017-10-12 | 2019-04-22 | 에스케이텔레콤 주식회사 | 규칙 기반의 동적 로그 수집 방법 및 장치 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
| CN109032647A (zh) * | 2018-10-17 | 2018-12-18 | 北京京航计算通讯研究所 | 基于软件监控和策略的软件升级方法 |
| CN112019362A (zh) * | 2019-05-30 | 2020-12-01 | 中移(苏州)软件技术有限公司 | 数据传输方法、装置、服务器、终端、系统及存储介质 |
| CN110287029A (zh) * | 2019-06-27 | 2019-09-27 | 中国—东盟信息港股份有限公司 | 一种基于kubernetes容器资源动态调整的方法 |
| CN111258722A (zh) * | 2020-02-14 | 2020-06-09 | 苏州浪潮智能科技有限公司 | 一种集群的日志采集方法、系统、设备以及介质 |
| CN111367760A (zh) * | 2020-02-28 | 2020-07-03 | 平安医疗健康管理股份有限公司 | 日志采集方法及装置、计算机设备、存储介质 |
| CN111881003A (zh) * | 2020-09-27 | 2020-11-03 | 国网汇通金财（北京）信息科技有限公司 | 一种日志动态采集方法及装置 |
| CN112800017A (zh) * | 2021-01-21 | 2021-05-14 | 网易（杭州）网络有限公司 | 分布式日志采集方法、装置、介质及电子设备 |
| CN113157383A (zh) * | 2021-01-22 | 2021-07-23 | 浪潮云信息技术股份公司 | 一种OpenStack环境下动态调整超配比的方法 |
| CN112925695A (zh) * | 2021-03-29 | 2021-06-08 | 浪潮云信息技术股份公司 | 一种自动化更新配置fluentd的配置文件的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Farshchi M, Schneider JG, Weber I ,Grundy J .Metric selection and anomaly detection for cloud operations using log and metric correlation analysis.JOURNAL OF SYSTEMS AND SOFTWARE.2017,第137卷第531-549页. * |
| 基于小云审大云的云平台可信评测体系结构与技术研究;刘川意, 潘鹤中, 梁露露;网络与信息安全学报;第2卷(第10期);第36-47页 * |
| 日志采集器组件LogCollector的设计与实现;陈志涛;《硕士电子期刊2019年第05期》;20190515(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113938379A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113938379B (zh) | 一种动态加载云平台日志采集配置的方法 | |
| Rabkin et al. | Chukwa: a system for reliable {Large-Scale} log collection | |
| CN102780724B (zh) | 一种类目信息的发送方法、系统及设备 | |
| CN103873517B (zh) | 一种数据同步的方法、装置和系统 | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| CN103177082B (zh) | 主服务器、从服务器、索引同步系统和索引同步方法 | |
| CN111143382B (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN103077108B (zh) | 一种对浏览器崩溃进行预警的方法和系统 | |
| CN105653329A (zh) | 一种应用管理的方法、装置及系统 | |
| CN103678051B (zh) | 一种集群数据处理系统中的在线故障容错方法 | |
| CN115640110B (zh) | 分布式云计算系统调度方法和装置 | |
| CN111338893A (zh) | 进程日志处理方法、装置、计算机设备以及存储介质 | |
| CN110895487A (zh) | 分布式任务调度系统 | |
| CN110895483A (zh) | 任务恢复方法及装置 | |
| CN109905263A (zh) | 一种自动化运维部署系统 | |
| CN112019605A (zh) | 数据流的数据分发方法和系统 | |
| CN110895486B (zh) | 分布式任务调度系统 | |
| CN104601668A (zh) | 基于状态管理的数据推送方法、装置和系统 | |
| CN112612939A (zh) | 一种爬虫部署方法、系统、装置、设备及存储介质 | |
| CN105320577A (zh) | 一种数据备份和恢复方法、系统及装置 | |
| CN107835080A (zh) | 一种分布式系统数据收集方法及数据签名生成方法 | |
| CN113672452A (zh) | 一种数据采集任务的运行监控方法、系统 | |
| CN103164236B (zh) | 远程服务器在线升级的方法及系统 | |
| CN105743669A (zh) | 一种数据通信方法和装置 | |
| CN114035948A (zh) | 一种分布式任务调度方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |