CN112579289B - 一种可智能调度的分布式解析引擎方法及装置 - Google Patents
一种可智能调度的分布式解析引擎方法及装置 Download PDFInfo
- Publication number
- CN112579289B CN112579289B CN202011514524.4A CN202011514524A CN112579289B CN 112579289 B CN112579289 B CN 112579289B CN 202011514524 A CN202011514524 A CN 202011514524A CN 112579289 B CN112579289 B CN 112579289B
- Authority
- CN
- China
- Prior art keywords
- task
- program
- log
- management
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开一种可智能调度的分布式解析引擎方法及装置,将日志采集、解析集于一体的方式,程序启动时分配多个任务并且创建对应的副本任务,任务处理采用并行处理,主任务停止不影响数据流向的持续性。采用了负载均衡的数据处理模式,自动去根据数据处理负载情况去扩容/缩容系统的任务。在程序维护中采用可视化管理任务集群机制,在采用容器化管理程序任务运行情况、在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。对于管理页面配置日志解析规则,即下发即生效不需要重启程序,对新的数据源采集自适应加入管理任务集群中,只需审核确认即可。本发明能够自适应解析多种不同的日志。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种可智能调度的分布式解析引擎方法及装置。
背景技术
随着网络技术的发展,现如今企业对于服务器的攻击以及用户的攻击越来越重视,为了能够及时发现这些攻击,各个企业都会审计用户的操作日志以及服务器的采集日志,对各个系统的日志进行分析,监测是否有异常攻击,传统的方法是通过采集探针将日志数据采集送往消息中间件,然后在通过不同的日志解析程序将日志解析到对应的存储服务器中,当有新日志的时候,需要修改解析程序的解析规则,然后重新启动程序来完成新日志的采集。
由于先阶段的日志量不断增大,传统的日志解析程序无法及时解析而丢失日志的场景,从而引入了消息中间件进行削峰,所以需要拆分日志采集程序与日志解析程序,这样大大加大的开发成本,维护成本,而且还占用了服务器的资源,由于日志种类也逐渐增多,传统方式缺少灰度发布方式,为了适配性新的日志规则并且不影响原有的程序,都需要重新编写并且独立部署探针程序以适配各种日志;由于是使用单体部署的方式部署程序,缺少容灾,弄错机制.所以如果日志采集程序宕机,那么需要运维人员去重新的启动程序,而在这期间产生的日志就都会丢失;当客户端发送的日志数量过大,负载过高时,无法动态扩容,负载较低时,无法动态的缩容。
发明内容
本发明的目的在于提供一种可智能调度的分布式解析引擎方法及装置。
本发明采用的技术方案是:
一种可智能调度的分布式解析引擎方法,其包括以下步骤:
步骤1,程序部署:通过程序任务采用集群方式一次性部署到位;
步骤2,更新程序任务集群:检查并更新程序任务集群,并以最新的程序任务集群进行日志的采集;
步骤3,热部署编辑日志解析规则:在可视化页面上配置和编辑日志解析规则,
步骤4,负载均衡:程序进行日志采集任务,每个日志源采集任务创建多个副本任务来获取日志进行解析并根据当前负载情况自动分配任务数量,其任务分配的具体步骤如下:
步骤4-1,判断负载量是否超过最高上限值;是则,将数据暂存磁盘并扩容新增多个任务加大处理能力并执行步骤4-2;否则,执行步骤4-1;
步骤4-2,判断扩容处理后负载量是否降低至容许阈值;是则,自动缩容减少任务,并执行步骤4-1;否则,执行步骤4-2;
步骤5,容器化管理:实时获取程序的运行状态并通过容器化管理程序进行呈现和管理。
进一步地,作为一种较优实施方式,步骤1中将整个采集、分析任务整合为整体一同部署。
进一步地,作为一种较优实施方式,步骤2中包括适应新日志步骤,具体如下:
步骤2-1,针对新型日志开发对应的采集源程序,
步骤2-2,新型日志的采集源程序自动申请加入程序任务集群中,
步骤2-3,在可视化管理页面上面审核确认加入完成新日志程序的自适应加入。
进一步地,作为一种较优实施方式,步骤2-1中采集源程序采用灰度发布模式。
进一步地,作为一种较优实施方式,步骤5的容器化可视化管理包括采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
进一步地,作为一种较优实施方式,任务启动状态包括负载情况、吞吐量情况、运行时间信息。
一种可智能调度的分布式解析引擎装置,其包括日志采集模块、日志分析模块、负载均衡模块和容器化可视化管理模块;
日志采集模块基于程序任务集群从日志源获取日志数据;日志分析模块基于程序任务集群的要求对日志数据进行分析处理;负载均衡模块根据日志采集模块和日志分析模块的负责量的高低动态的扩容或者缩容任务以调节负载量;容器化可视化管理模块采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
进一步地,作为一种较优实施方式,任务启动状态包括负载情况、吞吐量情况、运行时间信息。
本发明采用以上技术方案,将日志采集、解析集于一体的方式,程序启动时分配多个任务并且创建对应的副本任务。任务处理采用并行处理方式,当一个任务异常挂掉了,日志能够通过副本任务继续执行不会影响任务处理丢失的日志,同时程序自动启动挂掉的任务然后再次分配主任务以及副本任务,从而保证了数据流向的持续性、大大降低了数据在流转中的丢失率。当数据量突增的时候,负载量越来越大,任务处理机制将采集的数据暂存到服务器的磁盘中,同时程序自动开启多个任务来加快处理日志资源,当磁盘中的数据处理完毕,负载量越来越小的时候,程序关闭一些任务,从而达到了充分利用服务器的资源。在程序维护中采用可视化管理任务集群机制,在页面上面能够查看任务的负载情况,吞吐量等情况,能够直接在页面上面启动/关闭任务进而保证了维护操作的简便性,对于配置日志解析规则中,只需在管理页面配置,即下发即生效,不需要重启程序,对于来着新的数据源采集,只需要手动启动任务,也做到加入管理任务集群中,只需要在页面进行审核确认即可,就能够直接加入统一配置管理中去。从而达到了能够自适应解析多种不同的日志。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明一种可智能调度的分布式解析引擎装置的架构示意图;
图2为本发明一种可智能调度的分布式解析引擎方法的业务流程示意图;
图3为本发明一种可智能调度的分布式解析引擎方法的负载分配流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至图3之一所示,本发明公开了一种可智能调度的分布式解析引擎方法,其包括以下步骤:
步骤1,程序部署:通过程序任务采用集群方式一次性部署到位;
步骤2,更新程序任务集群:检查并更新程序任务集群,并以最新的程序任务集群进行日志的采集;
步骤3,热部署编辑日志解析规则:在可视化页面上配置和编辑日志解析规则,
步骤4,负载均衡:程序进行日志采集任务,每个日志源采集任务创建多个副本任务来获取日志进行解析并根据当前负载情况自动分配任务数量,其任务分配的具体步骤如下:
步骤4-1,判断负载量是否超过最高上限值;是则,将数据暂存磁盘并扩容新增多个任务加大处理能力并执行步骤4-2;否则,执行步骤4-1;
步骤4-2,判断扩容处理后负载量是否降低至容许阈值;是则,自动缩容减少任务,并执行步骤4-1;否则,执行步骤4-2;
步骤5,容器化管理:实时获取程序的运行状态并通过容器化管理程序进行呈现和管理。
进一步地,作为一种较优实施方式,步骤1中将整个采集、分析任务整合为整体一同部署。
进一步地,作为一种较优实施方式,步骤2中包括适应新日志步骤,具体如下:
步骤2-1,针对新型日志开发对应的采集源程序,
步骤2-2,新型日志的采集源程序自动申请加入程序任务集群中,
步骤2-3,在可视化管理页面上面审核确认加入完成新日志程序的自适应加入。
进一步地,作为一种较优实施方式,步骤2-1中采集源程序采用灰度发布模式。
进一步地,作为一种较优实施方式,步骤5的容器化可视化管理包括采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
进一步地,作为一种较优实施方式,任务启动状态包括负载情况、吞吐量情况、运行时间信息。
一种可智能调度的分布式解析引擎装置,其包括日志采集模块、日志分析模块、负载均衡模块和容器化可视化管理模块;
日志采集模块基于程序任务集群从日志源获取日志数据;日志分析模块基于程序任务集群的要求对日志数据进行分析处理;负载均衡模块根据日志采集模块和日志分析模块的负责量的高低动态的扩容或者缩容任务以调节负载量;容器化可视化管理模块采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
进一步地,作为一种较优实施方式,任务启动状态包括负载情况、吞吐量情况、运行时间信息。
本发明采用以上技术方案,将日志采集、解析集于一体的方式,程序启动时分配多个任务并且创建对应的副本任务。任务处理采用并行处理方式,当一个任务异常挂掉了,日志能够通过副本任务继续执行不会影响任务处理丢失的日志,同时程序自动启动挂掉的任务然后再次分配主任务以及副本任务,从而保证了数据流向的持续性、大大降低了数据在流转中的丢失率。当数据量突增的时候,负载量越来越大,任务处理机制将采集的数据暂存到服务器的磁盘中,同时程序自动开启多个任务来加快处理日志资源,当磁盘中的数据处理完毕,负载量越来越小的时候,程序关闭一些任务,从而达到了充分利用服务器的资源。在程序维护中采用可视化管理任务集群机制,在页面上面能够查看任务的负载情况,吞吐量等情况,能够直接在页面上面启动/关闭任务进而保证了维护操作的简便性,对于配置日志解析规则中,只需在管理页面配置,即下发即生效,不需要重启程序,对于来着新的数据源采集,只需要手动启动任务,也做到加入管理任务集群中,只需要在页面进行审核确认即可,就能够直接加入统一配置管理中去。从而达到了能够自适应解析多种不同的日志。
显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
Claims (7)
1.一种可智能调度的分布式解析引擎方法,其特征在于:其包括以下步骤:
步骤1,程序部署:通过程序任务采用集群方式一次性部署到位;
步骤2,更新程序任务集群:检查并更新程序任务集群,并以最新的程序任务集群进行日志的采集;步骤2中包括适应新日志步骤,具体如下:
步骤2-1,针对新型日志开发对应的采集源程序,
步骤2-2,新型日志的采集源程序自动申请加入程序任务集群中,
步骤2-3,在可视化管理页面上面审核确认加入完成新日志程序的自适应加入;
步骤3,热部署编辑日志解析规则:在可视化页面上配置和编辑日志解析规则,
步骤4,负载均衡:程序进行日志采集任务,每个日志源采集任务创建多个副本任务来获取日志进行解析并根据当前负载情况自动分配任务数量,其任务分配的具体步骤如下:
步骤4-1,判断负载量是否超过最高上限值;是则,将数据暂存磁盘并扩容新增多个任务加大处理能力并执行步骤4-2;否则,执行步骤4-1;
步骤4-2,判断扩容处理后负载量是否降低至容许阈值;是则,自动缩容减少任务,并执行步骤4-1;否则,执行步骤4-2;
步骤5,容器化管理:实时获取程序的运行状态并通过容器化管理程序进行呈现和管理。
2.根据权利要求1所述的一种可智能调度的分布式解析引擎方法,其特征在于:步骤1中将整个采集、分析任务整合为整体一同部署。
3.根据权利要求1所述的一种可智能调度的分布式解析引擎方法,其特征在于:步骤2-1中采集源程序采用灰度发布模式。
4.根据权利要求1所述的一种可智能调度的分布式解析引擎方法,其特征在于:步骤5的容器化可视化管理包括采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
5.根据权利要求4所述的一种可智能调度的分布式解析引擎方法,其特征在于:任务启动状态包括负载情况、吞吐量情况、运行时间信息。
6.一种可智能调度的分布式解析引擎装置,采用了权利要求1至5任一所述的一种可智能调度的分布式解析引擎方法,其特征在于:装置包括日志采集模块、日志分析模块、负载均衡模块和容器化可视化管理模块;
日志采集模块基于程序任务集群从日志源获取日志数据;日志分析模块基于程序任务集群的要求对日志数据进行分析处理;负载均衡模块根据日志采集模块和日志分析模块的负责量的高低动态的扩容或者缩容任务以调节负载量;容器化可视化管理模块采用容器化管理程序任务运行情况、直接在可视化页面动态添加日志解析规则、查看任务启动状态、自动关停任务、自动分配任务副本情况。
7.权利要求6所述的一种可智能调度的分布式解析引擎装置,其特征在于:任务启动状态包括负载情况、吞吐量情况、运行时间信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011514524.4A CN112579289B (zh) | 2020-12-21 | 2020-12-21 | 一种可智能调度的分布式解析引擎方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011514524.4A CN112579289B (zh) | 2020-12-21 | 2020-12-21 | 一种可智能调度的分布式解析引擎方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112579289A CN112579289A (zh) | 2021-03-30 |
CN112579289B true CN112579289B (zh) | 2023-06-13 |
Family
ID=75136328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011514524.4A Active CN112579289B (zh) | 2020-12-21 | 2020-12-21 | 一种可智能调度的分布式解析引擎方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112579289B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114968274B (zh) * | 2022-07-29 | 2022-11-08 | 之江实验室 | 一种基于灰度发布的自动化快速部署前置机的方法及系统 |
CN115460072A (zh) * | 2022-08-25 | 2022-12-09 | 浪潮云信息技术股份公司 | 集日志收集、解析、存储与服务为一体的日志处理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710535A (zh) * | 2018-05-22 | 2018-10-26 | 中国科学技术大学 | 一种基于智能处理器的任务调度系统 |
CN111367630A (zh) * | 2019-07-12 | 2020-07-03 | 北京关键科技股份有限公司 | 一种基于云计算的多用户多优先级的分布式协同处理方法 |
CN111796770A (zh) * | 2020-06-30 | 2020-10-20 | 中国工商银行股份有限公司 | 日志路由负载均衡实现方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108112A1 (en) * | 2017-10-05 | 2019-04-11 | Hcl Technologies Limited | System and method for generating a log analysis report from a set of data sources |
-
2020
- 2020-12-21 CN CN202011514524.4A patent/CN112579289B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108710535A (zh) * | 2018-05-22 | 2018-10-26 | 中国科学技术大学 | 一种基于智能处理器的任务调度系统 |
CN111367630A (zh) * | 2019-07-12 | 2020-07-03 | 北京关键科技股份有限公司 | 一种基于云计算的多用户多优先级的分布式协同处理方法 |
CN111796770A (zh) * | 2020-06-30 | 2020-10-20 | 中国工商银行股份有限公司 | 日志路由负载均衡实现方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112579289A (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102880503B (zh) | 数据分析系统及数据分析方法 | |
CN110737442A (zh) | 一种边缘应用管理方法及系统 | |
CN112579289B (zh) | 一种可智能调度的分布式解析引擎方法及装置 | |
CN109491682B (zh) | 一种基于智能合约的权限可控的区块链系统自动升级方法 | |
CN110895487B (zh) | 分布式任务调度系统 | |
CN110895488B (zh) | 任务调度方法及装置 | |
CN113569987A (zh) | 模型训练方法和装置 | |
CN105138765A (zh) | 基于Docker的人工交通系统大规模计算实验方法 | |
CN110162334B (zh) | 一种代码管理方法、装置及存储介质 | |
WO2021082081A1 (zh) | 动态修改Nginx配置参数的方法、系统、装置及存储介质 | |
CN103064717A (zh) | 一种集群系统并行安装软件的装置和方法 | |
CN110895483A (zh) | 任务恢复方法及装置 | |
CN112612850A (zh) | 数据同步方法及装置 | |
CN112925648B (zh) | 业务策略的发布方法和装置 | |
CN110895485A (zh) | 任务调度系统 | |
CN110895486A (zh) | 分布式任务调度系统 | |
CN116450353A (zh) | 处理器核匹配方法、装置、电子设备及存储介质 | |
CN111082964B (zh) | 一种配置信息的分发方法和装置 | |
CN112612587A (zh) | 一种针对流量分析的Spark平台动态资源调配方法 | |
US20140047447A1 (en) | Work scheduling method and system implemented via cloud platform | |
CN111158956A (zh) | 一种集群系统的数据备份方法及相关装置 | |
CN116450355A (zh) | 一种多集群模型训练方法、装置、设备及介质 | |
CN115994075A (zh) | 一种异构微服务系统的统一可观测方法和系统 | |
CN110990213B (zh) | 一种集群环境用户日志实时监控方法及装置 | |
CN112448855B (zh) | 区块链系统参数更新方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |