CN111796770A - 日志路由负载均衡实现方法及装置 - Google Patents

日志路由负载均衡实现方法及装置 Download PDF

Info

Publication number
CN111796770A
CN111796770A CN202010611869.5A CN202010611869A CN111796770A CN 111796770 A CN111796770 A CN 111796770A CN 202010611869 A CN202010611869 A CN 202010611869A CN 111796770 A CN111796770 A CN 111796770A
Authority
CN
China
Prior art keywords
log
storage
cluster
configuration information
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010611869.5A
Other languages
English (en)
Other versions
CN111796770B (zh
Inventor
齐颀
任政
武文轩
白佳乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010611869.5A priority Critical patent/CN111796770B/zh
Publication of CN111796770A publication Critical patent/CN111796770A/zh
Application granted granted Critical
Publication of CN111796770B publication Critical patent/CN111796770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种日志路由负载均衡实现方法及装置，方法包括：获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；根据更新后的路由配置信息处理云平台日志存储系统的日志文件。本发明提根据各应用前期日志数据量和当前存储层各集群的存储情况，自动化均衡分配不同应用至不同存储层集群基础上，无需人工重新配置部署容器，实现自动化更新配置，极大地减轻运维人员的配置工作负担。能够自适应完成存储层、缓冲层各集群的负载均衡调整，实现日志存储集群智能化分配。让各集群得到了高效利用，减少不必要的资源浪费。

Description

日志路由负载均衡实现方法及装置
技术领域
本发明涉及数据处理技术，具体的讲是一种日志路由负载均衡实现方法及装置。
背景技术
随着接入的应用增多及服务化工作的大规模推广，云上容器日志数据量日益庞大。为了便于数据分析和挖掘，日志数据的集中化采集和存储成为唯一选择。集中存储同时会带来一些亟待解决的问题，比如日志存储如何均衡分配等，日志的采集和存储成为了一个新的课题。
业界通用的集中式容器日志存储架构主要包含日志采集层、日志缓冲层、日志消费层和日志存储层四个部分。其中，日志消费层消费解析多个日志缓冲层集群的数据，一并写入日志存储层。日志数据通常按应用或类型划分，用户为查询聚合便利，往往希望某一时间段内的日志集中存储于一个特定的集群，易造成日志存储层一些集群过载，一些集群空闲的负载不均的情况。
现有技术中，通常根据存储层现有所有应用日志情况，提供重新平均分配方案供运维人员调整到不同集群上，这样做虽可以一定程度上让集群得到充分利用。但此方法整体全新分配的改动量过大，有日志丢失、集群不稳定的风险，同时给运维人员的配置工作带来了较大的压力。
发明内容
为解决日志存储系统中的负载不均衡问题，本发明提供了一种日志路由负载均衡实现方法，包括：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
本发明实施例中，所述的使用状况监控数据包括：应用存储数量、集群存储量、集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据；
所述的存储阈值包括：应用存储数量阈值、集群存储量阈值。
本发明实施例中，所述的根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息包括：
确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
本发明实施例中，所述的方法还包括：
确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
本发明实施例中，所述的根据更新后的路由配置信息处理云平台日志存储系统的日志文件包括：
将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
同时，本发明还提供一种日志路由负载均衡实现装置，该装置包括：
监控数据获取模块，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
路由配置更新模块，用于根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
更新处理模块，用于根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
本发明实施例中，所述的路由配置更新模块包括：
存储量超量日志移除单元，用于确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
数量超量日志移除单元，用于确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
移除日志存储单元，用于按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
路由更新单元，用于根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
本发明实施例中，所述的日志路由负载均衡实现装置还包括：
扩容模块，用于确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
本发明实施例中，所述的更新处理模块包括：
时间戳发送单元，将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
更新单元，用于根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
同时，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法。
同时，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法的计算机程序。
本发明提供出了一种能自动化实现日志路由负载均衡方法及装置，根据各应用前期日志数据量和当前存储层各集群的存储情况，自动化均衡分配不同应用至不同存储层集群基础上，无需人工重新配置部署容器，实现自动化更新配置，极大地减轻运维人员的配置工作负担。能够自适应完成存储层、缓冲层各集群的负载均衡调整，实现日志存储集群智能化分配。让各集群得到了高效利用，减少不必要的资源浪费。减少运维人员手工配置的工作负担，自动化实现应用日志配置更新。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的日志路由负载均衡实现方法的流程图；
图2为本发明实施例中的框图；
图3为本发明实施例中的框图；
图4为本发明实施例中的框图；
图5为本发明实施例中的框图；
图6为本发明实施例中的框图；
图7为本发明实施例中的框图；
图8为本发明提供的日志路由负载均衡实现装置的框图；
图9为本发明实施例中日志路由负载均衡实现装置进行负载均衡扩容处理的流程图；
图10本发明实施例中提供的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通过自动化根据集群负载情况调整应用日志所在集群，可以一定程度上让集群得到充分利用，但其由于基于前一天旧数据计算，无法实时调整，达到当天最优情况。
在这种背景下，如何提供一种自动化日志路由负载均衡方法，可以根据存储层集群当前现状，进行尽可能小范围的调整，使得各集群在负载范围内充分利用，并且根据调度方案，实现日志采集层容器热加载自动化更新配置，极大地减轻运维人员的配置工作负担，成为业界亟待解决的问题。
为了解决日志存储层的负载不均衡问题，本发明提供出了一种自动化日志路由负载均衡方法：根据各应用前期日志数据量和当前存储层各集群的存储情况，自动化均衡分配不同应用至不同存储层集群基础上，无需人工重新配置部署容器，实现自动化更新配置，极大地减轻运维人员的配置工作负担。
如图1所示，为本发明提供的一种日志路由负载均衡实现方法，包括：
步骤S101，获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
步骤S102，根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
步骤S103，根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
本发明实施例中，所述的使用状况监控数据包括：应用存储数量、集群存储量、集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据；
所述的存储阈值包括：应用存储数量阈值、集群存储量阈值。
本发明实施例中，所述的根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息包括：
确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
本发明提供的日志路由负载均衡实现方法能够实现根据存储层集群当前现状，进行尽可能小范围的调整，使得各集群在负载范围内充分利用。
本发明实施例中，本发明的方法还包括：
确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
即本发明在对系统进行均衡处理的过程中，还可以实现根据事先约定的集群规模和主机配置，以实现缓冲和存储的标准化，固化更新部署模块，对日志存储系统的日志存储层和日志缓冲层的集群进行扩容。
本发明实施例中，所述的根据更新后的路由配置信息处理云平台日志存储系统的日志文件包括：
将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
本实施例提供的一种自动化日志路由负载均衡方法，其中，均衡调度装置监控存储层各集群的存储情况，设计最小化均衡调度分配方案，并基于此分配结果进行日志路由调度；均衡调度装置可自动化更新应用容器配置，分配不同应用至不同日志存储集群上。
如图2所示，为实现本方法的日志采集解析存储架构的示意图，其包括：日志采集层、日志缓冲层、日志消费层、日志存储层；其中，
日志采集层包括：多个日志采集装置1，用于采集应用日志；
日志缓冲层包括多个日志缓冲装置2，用于缓存日志采集层的日志采集装置1采集的应用日志；
日志消费层包：多个日志消费装置3，用于对暂存的应用日志进行解析后将应用日志存储至日志存储层的日志存储装置4中。
下面将对照附图，对本发明的装置及方法进行详细说明。
日志采集装置1：使用轻量级日志采集工具容器，与应用容器编排在一起，基于本地存储的应用容器配置信息，确定采集日志路径、解析规则；会及时根据均衡调度装置4的调度结果，更新发送配置，将日志数据发送至日志缓冲装置2。
图3是本实施例中日志采集装置1的内部结构示意图，如图3所示，本实施例中的日志采集装置1包括：采集配置单元11、数据发送单元12及更新分配单元13，其中：
采集配置单元11：用于配置应用容器的日志采集路径、日志解析格式、日志编码格式和发送地址等，生成采集配置文件。
数据发送单元12：用于发送日志数据至日志缓冲装置2。
更新分配单元13：根据均衡调度装置4的结果，进行热加载，对均衡调度装置开放更新接口，更新采集配置单元11中的发送配置后调用数据发送单元12进行重新发送日志数据，更新配置主要为发送地址。
本实施例中，更新通知接口的调用方式示例如下表1所示：
表1
curl-XGET http://{均衡调度装置5地址}:{均衡调度装置5接口}/updateDistribute
日志缓冲装置2：使用轻量级容器部署，用于缓存日志采集装置1所发送的日志数据，将数据提供给日志消费装置3消费；监控和缓存各缓冲集群的资源使用情况，遇到瓶颈时报警至均衡调度装置5；根据均衡调度装置5的调度，完成缓冲集群的扩容新增，并将新增的缓冲集群信息反馈至均衡调度装置5。
图4是本发明中日志缓冲装置2的内部结构示意图，部署了开源软件Kafka，如图4所示，日志缓冲装置2包括数据缓存单元21、监控报警单元22及集群扩容单元23，其中：
数据缓存单元21：缓存日志采集装置1发送的日志数据，提供给日志消费装置3消费，提供历史缓存数据的定期清理机制。
监控报警单元22：针对各日志缓存集群的资源使用情况进行监控，主要监控集群系统吞吐量(TPS)、连接数、存储占用情况，以及各宿主机的CPU、内存、IO情况。当资源使用出现瓶颈时，比如各集群连接数超过阈值，发送报警信息至均衡调度装置5。
集群扩容单元23：事先约定扩容缓冲集群的规模和主机配置，以实现缓冲集群的标准化，并固化为部署模板；暴露服务接口供均衡调度装置5调用，利用云平台快速部署开通新的缓冲集群。待完成后，将集群信息反馈给均衡调度装置5。
本实施例中，缓冲集群部署模板包含的主机配置信息示例如下表2所示：
表2
编号 配置名称 说明 示例
1 集群规模 缓冲集群包含的主机数目 4
2 CPU 缓冲集群每台主机的CPU配置，以核为单位 4
3 内存 缓冲集群每台主机的内存大小，以G为单位 8
4 存储 缓冲集群每台主机的存储大小，以G为单位 80
扩容指令传入和反馈的参数示例如下表3所示：
表3
Figure BDA0002562196860000081
日志消费装置3：启动时从均衡调度装置5中获取对应的缓冲集群信息，生成个性化的日志获取配置，从日志缓冲装置2中的某一缓冲集群读取并解析日志数据；从均衡调度装置5中获取统一的日志路由发送配置，根据解析日志数据中特征字段的信息差别，将日志路由发送到日志存储装置4的不同集群；检测均衡调度装置5的更新通知，当发现自身的路由发送配置滞后于均衡调度装置5时，更新加载自身配置。
图5是本发明中日志消费装置3的内部结构示意图，容器化部署了开源软件Logstash，如图5所示，日志消费装置3包括消费解析单元31、路由发送单元32、更新检测单元33，其中：
消费解析单元31：启动时，从均衡调度装置5中获取对应的日志缓冲装置2的集群信息，生成消费解析配置。从日志缓冲装置2数据缓存单元21消费日志数据，解析成特定格式，如JSON。实现样例配置如下表4所示：
表4
Figure BDA0002562196860000091
路由发送单元32：从解析后的日志数据中提取特征字段，根据该字段值的不同，路由发送日志数据至日志存储装置4中的不同存储集群。以appName作为特征字段、日志存储集群采用开源软件ElasticSearch、日志存储装置4包含两个存储集群为例，实现样例配置如下表5所示：
表5
Figure BDA0002562196860000092
更新检测单元33：定时调用均衡调度装置5的更新通知接口，解析通知更新时间。如通知更新时间晚于路由发送单元32配置文件的更新时间，则调用均衡调度装置5的配置更新接口，获取最新配置文件替换当前配置，调用路由发送单元32按新配置发送数据。
更新通知接口的调用方式示例如下表6所示：
表6
curl-XGET http://{均衡调度装置5地址}:{均衡调度装置5接口}/updateNotify
获取配置文件接口的调用方式示例如下表7所示：
表7
Figure BDA0002562196860000101
日志存储装置4：集中存储日志消费装置3发送的日志数据；监控和缓存各存储集群的资源使用情况，遇到瓶颈时报警至均衡调度装置5；提供各类型数据的存储和增长情况查询接口，供均衡调度装置5分析决策；根据均衡调度装置5的调度，完成存储集群的扩容新增，并将新增集群信息反馈至均衡调度装置5。
图6是本实施例中日志存储装置4的内部结构示意图，部署开源软件ElasticSearch，如图6所示，本实施例中的日志存储装置4包括数据存储单元41、监控报警单元42、集群扩容单元43，其中：
数据存储单元41：统一存储日志消费装置3写入的日志数据，同时提供快速查询聚合的服务。
监控报警单元42：对各日志存储集群的资源使用情况进行监控，主要监控集群状态、存储占用、线程池使用等情况；当资源使用出现瓶颈，比如线程池持续占满导致写入请求拒绝率超过阈值时，发送报警信息至均衡调度装置5；提供集群日志分布情况、各类型日志增长情况查询接口。
本实施例中，监控指标项列举如下表8所示：
表8
编号 指标数据名称 说明
1 集群状态 集群状态是否健康(green)
2 磁盘空间 集群整体磁盘占用情况
3 线程池状态 线程池排队情况和拒绝接受(reject)情况
4 JVM垃圾回收 集群各节点JVM垃圾回收的频率和持续时间
5 I/O性能 集群各节点对磁盘写入和读取性能情况
6 数据分布情况 各类型日志占用存储大小和增长速度
集群扩容单元43：事先约定扩容存储集群的规模和主机配置，以实现存储集群的标准化，并固化为部署模板；暴露服务接口供均衡调度装置5调用，利用云平台快速部署开通新的存储集群。待完成后，将集群信息反馈给均衡调度装置5。存储集群部署模板包含的主机配置信息示例如下表9所示：
表9
Figure BDA0002562196860000111
均衡调度装置5：获取并存储日志消费装置3和日志存储4的集群情况，提供路由生成单元52进行分析；接收日志缓冲装置2的资源报警，发送扩容指令至日志缓冲装置2完成扩容；接收日志缓冲装置2完成扩容后最新的集群信息，调度日志采集装置1完成负载的重新均衡；接收日志存储装置4的报警，查询日志数据在日志存储装置4中各存储集群的分布与增长情况，通过算法决策执行集群扩容和路由调整；生成日志消费装置3的路由发送配置，通知各消费者进程完成配置更新；调度日志存储装置4，完成集群新增扩容，接收新增集群信息，重新生成路由消费配置；并通知日志采集层，可以根据当前各集群和各应用的情况进行实时调度结果调整。
图7是本实施例中均衡调度装置5的内部结构示意图，如图7所示，均衡调度装置5包括：配置存储单元51、均衡计算单元52、路由生成单元53以及报警扩容单元54，其中：
配置存储单元51：获取日志缓冲装置2的缓冲集群代理地址(Broker)、字符特征(Topic)等配置信息，提供给日志消费装置3消费获取日志数据使用；保存日志存储装置4的各存储集群地址，提供给报警扩容单元54使用；保存日志存储装置4的报警信息，提供给报警扩容单元54使用；获取并存储日志存储装置4的监控报警单元缓存的集群情况，并提供路均衡计算单元52进行分析；配置日志存储装置4各个集群的饱和警戒线，主要参数包含如下表10所示：
表10
Figure BDA0002562196860000121
均衡计算单元52：根据输入的日志存储装置4的各存储集群地址，与每个集群对应接收的各类型日志，生成新的路由发送配置文件；根据输入的日志存储装置4监控报警单元记录的各集群应用个数及存储量大小；更新通知接口的时间戳信息，便于日志消费装置3及时完成配置更新；提供配置文件下载服务接口。输入信息配置举例如下表11所示：
表11
Figure BDA0002562196860000122
根据各集群存储情况和各集群各应用的存储情况以及集群警戒线设置，进行均衡计算，将日志存储装置4各存储集群均调度至警戒线以下。
本实施例中，均衡计算以尽可能最小化的移动为原则，当超过警戒线报警时，先根据超过存储量警戒线对饱和集群进行应用日志移除，移除最接近超过存储量警戒线差值的应用日志，直到低于警戒线以下；再根据应用数警戒线，依次移除最小存储量的应用日志，直到个数降低到警戒线以下。将移除的应用日志根据未饱和集群的空余量依次从大到小放入。将更改后的应用配置交给路由生成单元进行重新调度。
当未饱和集群空闲资源均达到警戒线，依然有未得到放入的应用时，通知报警扩容单元，进行日志存储装置的扩容，并将未放入的应用日志放置新扩容的日志存储装置存储。
路由生成单元53：根据均衡计算单元52的结果，更新日志采集层1的发送配置信息，更新对应日志缓冲装置2的缓冲集群地址和日志存储层4的存储集群地址；更新通知接口的时间戳信息，便于日志消费装置3及时完成配置更新；提供配置文件下载服务接口。
更新通知接口的定义举例如下表12所示：
表12
Figure BDA0002562196860000131
报警扩容单元54：接收日志存储装置4的报警信息存入配置存储单元51；每隔固定时间(比如3分钟)，从配置存储单元51获取这段时间内的报警，分析报警集群规模；当发现报警仅涉及个别存储集群时，通过日志存储装置4查询集群内各类型日志的分布和增速情况，按照预先设定的调整策略重新确定各存储集群接收的日志类型，调用均衡计算单元52路由生成单元53完成路由发送配置更新；当发现报警涉及所有存储集群时，路由生成单元53完成新增扩容，调用日志存储装置4的扩容接口，完成扩容后将新增集群的地址信息存入配置存储单元51；调用日志缓冲装置3的扩容接口，完成扩容后将新增集群的地址信息存入配置存储单元51。
同时，本发明实施例还提供一种日志路由负载均衡实现装置，如图8所示，该装置包括：
监控数据获取模块801，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
路由配置更新模块802，用于根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
更新处理模块803，用于根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
本发明实施例中，所述的路由配置更新模块包括：
存储量超量日志移除单元，用于确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
数量超量日志移除单元，用于确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
移除日志存储单元，用于按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
路由更新单元，用于根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
本发明实施例中，所述的日志路由负载均衡实现装置还包括：
扩容模块，用于确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
本发明实施例中，所述的更新处理模块包括：
时间戳发送单元，将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
更新单元，用于根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
如图9所示，为利用本发明提供的日志路由负载均衡实现装置进行负载均衡及扩容处理的流程图。
基于前述的实施例的描述，对本领域技术人员而言，可清楚的获知关于本发明提供的日志路由负载均衡实现装置的实现方式，在此不再赘述。
本实施例还提供一种电子设备，该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照前述方法及装置的实施例，其内容被合并于此，重复之处不再赘述。
图10为本发明实施例的电子设备600的系统构成的示意框图。如图10所示，该电子设备600可以包括中央处理器100和存储器140；存储器140耦合到中央处理器100。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，日志路由负载均衡实现功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
本发明实施例中，所述的使用状况监控数据包括：应用存储数量、集群存储量、集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据；
所述的存储阈值包括：应用存储数量阈值、集群存储量阈值。
本发明实施例中，所述的根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息包括：
确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
本发明实施例中，所述的方法还包括：
确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
本发明实施例中，所述的根据更新后的路由配置信息处理云平台日志存储系统的日志文件包括：
将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
在另一个实施方式中，日志路由负载均衡实现装置可以与中央处理器100分开配置，例如可以将日志路由负载均衡实现装置配置为与中央处理器100连接的芯片，通过中央处理器的控制来实现日志路由负载均衡实现功能。
如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。
如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本发明实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如上面实施例所述的日志路由负载均衡实现方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行上面实施例所述的日志路由负载均衡实现。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此所附权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种日志路由负载均衡实现方法，其特征在于，所述的方法包括：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
2.如权利要求1所述的日志路由负载均衡实现方法，其特征在于，所述的使用状况监控数据包括：应用存储数量、集群存储量、集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据；
所述的存储阈值包括：应用存储数量阈值、集群存储量阈值。
3.如权利要求2所述的日志路由负载均衡实现方法，其特征在于，所述的根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息包括：
确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
4.如权利要求3所述的日志路由负载均衡实现方法，其特征在于，所述的方法还包括：
确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
5.如权利要求3所述的日志路由负载均衡实现方法，其特征在于，所述的根据更新后的路由配置信息处理云平台日志存储系统的日志文件包括：
将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
6.一种日志路由负载均衡实现装置，其特征在于，所述的装置包括：
监控数据获取模块，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
路由配置更新模块，用于根据所述的使用状况监控数据和预设的存储阈值进行负载均衡处理，确定更新后的路由配置信息；
更新处理模块，用于根据更新后的路由配置信息处理云平台日志存储系统的日志文件。
7.如权利要求6所述的日志路由负载均衡实现装置，其特征在于，所述的使用状况监控数据包括：应用存储数量、集群存储量、集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据；
所述的存储阈值包括：应用存储数量阈值、集群存储量阈值。
8.如权利要求7所述的日志路由负载均衡实现装置，其特征在于，所述的路由配置更新模块包括：
存储量超量日志移除单元，用于确定集群当前的集群存储量超过所述集群存储量阈值，移除超过集群存储量阈值并且最接近集群存储量阈值的应用日志；
数量超量日志移除单元，用于确定集群当前存储的应用数量超过所述应用存储数量阈值，按应用日志存储量从小到大的顺序移除应用日志，直至存储的应用数量小于所述应用存储数量阈值；
移除日志存储单元，用于按日志存储层集群剩余存储量由大到小的顺序，将移除的应用日志存储至日志存储层未饱和的集群；
路由更新单元，用于根据存储移除的应用日志集群的路由配置信息生成更新后的路由配置信息。
9.如权利要求8所述的日志路由负载均衡实现装置，其特征在于，所述的日志路由负载均衡实现装置还包括：
扩容模块，用于确定未饱和集群空闲存储量不大于预设的存储量阈值时且有剩余未存储的移除的应用日志时，对云平台日志存储系统的日志存储层和日志缓冲层的集群进行扩容，并将剩余的未存储的移除的应用日志存储至扩容后的日志存储层集群。
10.如权利要求8所述的日志路由负载均衡实现装置，其特征在于，所述的更新处理模块包括：
时间戳发送单元，将更新后的路由配置信息的时间戳发送至云平台日志存储系统的日志采集装置和日志消费装置；
更新单元，用于根据所述时间戳确定对所述日志采集装置、日志消费装置进行更新，则根据更新后的路由配置信息对采集的日志文件进行处理。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。
CN202010611869.5A 2020-06-30 2020-06-30 日志路由负载均衡实现方法及装置 Active CN111796770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010611869.5A CN111796770B (zh) 2020-06-30 2020-06-30 日志路由负载均衡实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611869.5A CN111796770B (zh) 2020-06-30 2020-06-30 日志路由负载均衡实现方法及装置

Publications (2)

Publication Number Publication Date
CN111796770A true CN111796770A (zh) 2020-10-20
CN111796770B CN111796770B (zh) 2024-02-27

Family

ID=72811435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611869.5A Active CN111796770B (zh) 2020-06-30 2020-06-30 日志路由负载均衡实现方法及装置

Country Status (1)

Country Link
CN (1) CN111796770B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579289A (zh) * 2020-12-21 2021-03-30 中电福富信息科技有限公司 一种可智能调度的分布式解析引擎方法及装置
CN113326004A (zh) * 2021-06-10 2021-08-31 深圳市移卡科技有限公司 云计算环境下高效日志集中化方法及设备
CN115695180A (zh) * 2022-10-28 2023-02-03 北京大学 一种私有云平台及其搭建和管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001607A1 (ja) * 2011-06-28 2013-01-03 富士通株式会社 情報処理装置、管理プログラムおよび管理方法
US20160164755A1 (en) * 2014-12-05 2016-06-09 International Business Machines Corporation Reducing the Impact of Noisy Neighbors via Pro-Active Log Offloading in Shared Storage Environment
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法
CN109299045A (zh) * 2018-12-17 2019-02-01 郑州云海信息技术有限公司 一种日志存储方法、装置、设备及可读存储介质
CN110399271A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质
CN111008107A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种大数据集群日志存储方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001607A1 (ja) * 2011-06-28 2013-01-03 富士通株式会社 情報処理装置、管理プログラムおよび管理方法
US20160164755A1 (en) * 2014-12-05 2016-06-09 International Business Machines Corporation Reducing the Impact of Noisy Neighbors via Pro-Active Log Offloading in Shared Storage Environment
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法
CN109299045A (zh) * 2018-12-17 2019-02-01 郑州云海信息技术有限公司 一种日志存储方法、装置、设备及可读存储介质
CN110399271A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质
CN111008107A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种大数据集群日志存储方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579289A (zh) * 2020-12-21 2021-03-30 中电福富信息科技有限公司 一种可智能调度的分布式解析引擎方法及装置
CN112579289B (zh) * 2020-12-21 2023-06-13 中电福富信息科技有限公司 一种可智能调度的分布式解析引擎方法及装置
CN113326004A (zh) * 2021-06-10 2021-08-31 深圳市移卡科技有限公司 云计算环境下高效日志集中化方法及设备
CN113326004B (zh) * 2021-06-10 2023-03-03 深圳市移卡科技有限公司 云计算环境下高效日志集中化方法及设备
CN115695180A (zh) * 2022-10-28 2023-02-03 北京大学 一种私有云平台及其搭建和管理方法
CN115695180B (zh) * 2022-10-28 2024-04-30 北京大学 一种私有云平台及其搭建和管理方法

Also Published As

Publication number Publication date
CN111796770B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111796770B (zh) 日志路由负载均衡实现方法及装置
CN111796769B (zh) 云平台日志存储系统扩容方法及装置
CN112463535B (zh) 多集群异常处理方法及装置
CN110399272B (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN110413585B (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN109656691A (zh) 计算资源的处理方法、装置以及电子设备
CN112445575A (zh) 多集群资源调度方法、装置及系统
CN112565317B (zh) 混合云系统及其数据处理方法、设备及存储介质
CN111782470A (zh) 分布式容器日志数据处理方法及装置
CN111464352A (zh) 调用链路数据处理方法及装置
CN111858050B (zh) 服务器集群混合部署方法、集群管理节点及相关系统
CN107819632A (zh) 一种基于性能监控系统和Docker Swarm的动态负载均衡集群系统
CN113391973A (zh) 一种物联网云容器日志收集方法及装置
CN111737353A (zh) 一种元数据同步方法及装置
CN114710571A (zh) 数据包处理系统
CN111796935B (zh) 调用日志信息的消费实例分配方法及系统
CN115981871A (zh) 一种gpu资源调度方法、装置、设备及存储介质
CN112445574B (zh) 应用容器多集群迁移方法及装置
CN111737297B (zh) 链路聚合调用信息的处理方法及装置
CN111459653B (zh) 集群调度方法、装置和系统以及电子设备
CN112927065A (zh) 批量抛账处理方法及装置
CN113645151A (zh) Dup设备消息管理方法及装置
CN114546631A (zh) 任务调度方法、控制方法、核心、电子设备、可读介质
CN117891618B (zh) 人工智能模型训练平台的资源任务处理方法及装置
CN109753340A (zh) 虚拟机快照处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant