CN111796769A - 云平台日志存储系统扩容方法及装置 - Google Patents

云平台日志存储系统扩容方法及装置 Download PDF

Info

Publication number
CN111796769A
CN111796769A CN202010611864.2A CN202010611864A CN111796769A CN 111796769 A CN111796769 A CN 111796769A CN 202010611864 A CN202010611864 A CN 202010611864A CN 111796769 A CN111796769 A CN 111796769A
Authority
CN
China
Prior art keywords
log
cluster
capacity
log storage
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010611864.2A
Other languages
English (en)
Other versions
CN111796769B (zh
Inventor
齐颀
任政
武文轩
白佳乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010611864.2A priority Critical patent/CN111796769B/zh
Publication of CN111796769A publication Critical patent/CN111796769A/zh
Application granted granted Critical
Publication of CN111796769B publication Critical patent/CN111796769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种云平台日志存储系统扩容方法及装置，所述的方法包括：获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。本发明的提供出了一种能力适配型横向扩展的日志均衡存储方法，在不影响用户查询日志便利性的前提下，根据日志存储层报警信息，实现三者集体快速横向扩展，同时，横向扩展后，提供一种日志存储层的应用日志均衡分配建议方案，建议运维人员调整，以解决空闲集群资源浪费、满载集群性能降低的问题。

Description

云平台日志存储系统扩容方法及装置
技术领域
本发明涉及数据处理技术，具体的讲是一种云平台日志存储系统扩容方法及装置。
背景技术
随着接入的应用增多及服务化工作的大规模推广，云上容器日志数据量日益庞大。为了便于数据分析和挖掘，日志数据的集中化采集、解析和存储成为唯一选择。
现有技术中，业界通用的集中式容器日志采集解析存储架构主要包含日志采集层、日志缓冲层、日志消费层和日志存储层四个部分。日志数据通常按应用或类型划分，日志采集层采集到应用日志后，放入日志缓冲层缓存，通过日志消费层暂存解析后，集中存放在日志存储层。
随着日志数据量增长，日志缓冲层、日志存储层会面临各自集群资源不足、日志消费层可能面临消费能力跟不上的情况，常用的方式是根据某一层报警，对该层进行横向扩展，但这样会出现缓冲层、消费层、存储层能力不适配的情况，以致日志集中化解析存储系统性能的大幅降低。
发明内容
为了提升日志集中解析存储系统的扩展性和使用高效性，本发明提供了一种云平台日志存储系统扩容方法，包括：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
本发明实施例中，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
本发明实施例中，所述的根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求包括：
根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
根据所述的集群报警信息确定集群占用的存储量；
确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
本发明实施例中，所述的根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容包括：
根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
本发明实施例中，所述的方法还包括：
根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
同时，本发明还提供一种云平台日志存储系统扩容装置，装置包括：
监控数据获取模块，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
扩容请求生成模块，用于根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
扩容模块，用于根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
本发明实施例中，所述的扩容请求生成模块包括：
集群报警信息生成单元，用于根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
占用存储量确定单元，用于根据所述的集群报警信息确定集群占用的存储量；
请求生成单元，用于确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
本发明实施例中，所述的扩容模块包括：
存储层扩容量确定单元，用于根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
系统扩容单元，用于根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
本发明实施例中，所述的装置还包括：
均衡存储模块，根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
同时，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法。
同时，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的云平台日志存储系统扩容方法及装置，提供出了一种能力适配型横向扩展的日志均衡存储方法，在不影响用户查询日志便利性的前提下，利用日志缓冲层、日志消费层和日志存储层固有匹配模式，根据日志存储层报警信息，实现三者集体快速横向扩展，同时，横向扩展后，提供一种日志存储层的应用日志均衡分配建议方案，建议运维人员调整，以解决空闲集群资源浪费、满载集群性能降低的问题。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的云平台日志存储系统扩容方法的流程图；
图2为本发明实施例中的框图；
图3为本发明实施例中的框图；
图4为本发明实施例中的框图；
图5为本发明实施例中的框图；
图6为本发明实施例中的框图；
图7为本发明实施例中的框图；
图8为本发明一实施例中的流程图；
图9为本发明提供的云平台日志存储系统扩容装置的框图；
图10为本发明实施例中提供的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如何提供一种基于日志缓冲层、日志消费层、日志存储层的日志解析存储套件，实现三者之间的能力适配，可以实现日志集中化解析存储架构的高效使用，面向大数据量日志的情况，便于集体快速横向扩展，并且在横向扩展后，提供怎样的一种存储集群数据均衡分布的建议方案，解决空闲集群资源浪费、满载集群性能降低的现状，成为业界亟待解决的问题。
为解决现有技术的至少一问题，本发明提供一种云平台日志存储系统扩容方法，如图1所示，包括：
步骤S101，获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
步骤S102，根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
步骤S103，根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
本发明实施例中，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
为了提升日志集中解析存储系统的扩展性和使用高效性，本发明提供出了云平台日志存储系统扩容方法，提供一种能力适配型横向扩展并实现日志均衡存储方法，能够实现在不影响用户查询日志便利性的前提下，设计出日志缓冲层、日志消费层和日志存储层固有匹配模式，根据日志存储层报警信息，实现三者集体快速横向扩展，同时，横向扩展后，提供一种日志存储层的应用日志均衡分配建议方案，为运维人员调整提供参考，以解决空闲集群资源浪费、满载集群性能降低的问题。
下面结合具体的实施例对本发明的技术方案作进一步详细描述。
如图2所示，为实现本方法的日志采集解析存储架构的示意图，其包括：日志采集层、日志缓冲层、日志消费层、日志存储层；其中，
日志采集层包括：多个日志采集装置1，用于采集应用日志；
日志缓冲层包括多个日志缓冲装置2，用于缓存日志采集层的日志采集装置1采集的应用日志；
日志消费层包：多个日志消费装置3，用于对暂存的应用日志进行解析后将应用日志存储至日志存储层的日志存储装置4中。
本实施例提供的一种能力适配型横向扩展的日志均衡存储方法，实现日志缓冲层、日志消费层、日志存储层三者的能力适配，利用扩展均衡装置5收集日志存储层的报警信息，对日志缓冲层、日志消费层、日志存储层进行比例式集体横向扩展，扩展均衡装置5对扩展后的日志存储层进行应用日志均衡计算，提供运维人员应用在日志采集装置的分配建议。
下面将对照图2，对本实施例中涉及的装置及实现方法进行详细说明。
日志采集装置1：使用轻量级日志采集工具容器，与应用容器编排在一起，基于本地存储的应用容器配置信息，确定采集日志路径、解析规则；参考根据扩展均衡装置给出的建议方案，运维人员可调整日志采集装置的应用容器配置，将日志数据发送至日志缓冲装置。
图3是本实施例中日志采集装置的内部结构框图，其中，
采集配置单元11：用于配置应用容器的日志采集路径、日志解析格式、日志编码格式和发送地址等，生成采集配置文件。
数据发送单元12：用于发送日志数据至日志缓冲装置2。
更新分配单元13：根据扩展均衡装置的均衡调度结果，更新采集配置单元11中的发送配置后调用数据发送单元12进行重新发送日志数据。
日志缓冲装置2：使用轻量级容器部署，用于缓存日志采集装置所发送的日志数据，将数据提供给日志消费装置消费；根据扩展均衡装置，完成缓冲集群的扩容新增，并将新增的缓冲集群信息反馈至扩展均衡装置。
图4是本发明实施例中日志缓冲装置2的内部结构示意图，其部署了开源软件Kafka，如图4所示，本发明实施例中日志缓冲装置2包括：数据缓存单元21、集群扩容单元22，其中：
数据缓存单元21：缓存日志采集装置发送的日志数据，提供给日志消费装置消费，提供历史缓存数据的定期清理机制。
集群扩容单元22：根据扩展均衡装置反馈的扩容信号，执行扩容。依照事先约定扩容缓冲集群的规模和主机配置，以实现缓冲集群的标准化，并固化为部署模板；暴露服务接口供扩展均衡装置调用，利用云平台快速部署开通新的缓冲集群。待完成后，将集群信息反馈给扩展均衡装置5。
本实施例中，缓冲集群部署模板包含的主机配置信息示例如下表1所示：
表1
编号 配置名称 说明 示例
1 集群规模 缓冲集群包含的主机数目 4
2 CPU 缓冲集群每台主机的CPU配置，以核为单位 4
3 内存 缓冲集群每台主机的内存大小，以G为单位 8
4 存储 缓冲集群每台主机的存储大小，以G为单位 80
扩容指令传入和反馈的参数示例如下表2所示：
表2
Figure BDA0002562199020000061
Figure BDA0002562199020000071
日志消费装置3：启动时从扩展均衡装置中获取对应的缓冲集群信息，根据日志缓冲层的集群能力，构成对应比例的日志消费层，生成个性化的日志获取配置，从日志缓冲装置中的某一缓冲集群读取并解析日志数据；从扩展均衡装置中获取统一的日志路由发送配置，根据解析日志数据中特征字段的信息差别，将日志路由发送到日志存储装置的不同集群；检测扩展均衡装置的扩展通知，增加日志消费装置部署的容器个数。
图5是本发明实施例中日志消费装置3的内部结构框图，容器化部署了开源软件Logstash，如图5所示，本发明实施例中日志消费装置3包括：消费解析单元31、路由发送单元32、扩展部署单元33，其中：
消费解析单元31：启动时，从扩展均衡装置中获取对应的日志缓冲装置的集群信息，生成消费解析配置。从日志缓冲装置数据缓存单元21消费日志数据，解析成特定格式，如JSON。
本实施例总，实现样例配置代码如下表3所示：
表3
Figure BDA0002562199020000072
路由发送单元32：从解析后的日志数据中提取特征字段，根据该字段值的不同，路由发送日志数据至日志存储装置中的不同存储集群。以appName作为特征字段、日志存储集群采用开源软件ElasticSearch、日志存储装置4包含两个存储集群为例。本实施例中实现样例配置如下表4所示：
表4
Figure BDA0002562199020000081
扩展部署单元33：根据扩展均衡发送的扩展信息，进行新增缓冲层容器部署。
日志存储装置4：集中存储日志消费装置3发送的日志数据；监控和缓存各存储集群的资源使用情况，遇到瓶颈时报警至扩展均衡装置5；提供各类型数据的存储和增长情况查询接口，供扩展均衡装置5分析决策；根据扩展均衡装置5的决策结果，完成存储集群的扩容新增，并将新增集群信息反馈至扩展均衡装置5。
图6是本发明实施例中日志存储装置4的内部结构示意图，部署开源软件ElasticSearch，如图5所示，日志存储装置4包括：数据存储单元41、监控报警单元42、集群扩容单元43，其中：
数据存储单元41：统一存储日志消费装置3写入的日志数据，同时提供快速查询聚合的服务。
监控报警单元42：对各日志存储集群的资源使用情况进行监控，主要监控集群状态、存储占用、线程池使用等情况；当资源使用出现瓶颈，比如线程池持续占满导致写入请求拒绝率超过阈值时，发送报警信息至扩展均衡装置5；提供集群日志分布情况、各类型日志增长情况查询接口。
本发明提供的云平台日志存储系统扩容方法，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
其中，所述的根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求包括：
根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
根据所述的集群报警信息确定集群占用的存储量；
确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
本实施例中监控指标项列举如下表5所示：
表5
编号 指标数据名称 说明
1 集群状态 集群状态是否健康(green)
2 磁盘空间 集群整体磁盘占用情况
3 线程池状态 线程池排队情况和拒绝接受(reject)情况
4 JVM垃圾回收 集群各节点JVM垃圾回收的频率和持续时间
5 I/O性能 集群各节点对磁盘写入和读取性能情况
6 数据分布情况 各类型日志占用存储大小和增长速度
集群扩容单元43：事先约定扩容存储集群的规模和主机配置，以实现存储集群的标准化，并固化为部署模板；根据扩展均衡装置决策结果，进行日志存储层的集群扩容；暴露服务接口供扩展均衡装置5调用，利用云平台快速部署开通新的存储集群。待完成后，将集群信息反馈给扩展均衡装置5。
调度存储集群部署模板包含的主机配置信息示例如下表6所示：
表6
Figure BDA0002562199020000091
扩展均衡装置5：获取并存储日志缓冲装置、日志消费装置和日志存储层的集群情况，提供路由生成单元52进行分析；接收日志缓冲装置2的资源报警，发送扩容指令至日志缓冲装置2完成扩容；接收日志缓冲装置2完成扩容后最新的集群信息，调度日志采集装置1完成负载的重新均衡；接收日志存储装置4的报警，查询日志数据在日志存储装置4中各存储集群的分布与增长情况，通过算法决策执行集群扩容和路由调整；生成日志消费装置3的路由发送配置，通知各消费者进程完成配置更新；调度日志存储装置4，完成集群新增扩容，接收新增集群信息，重新生成路由消费配置。
图7是本发明实施例中扩展均衡装置5的内部结构示意图，其中：
存储报警单元51：获取日志缓冲装置2的缓冲集群代理地址(Broker)、字符特征(Topic)等配置信息，提供给日志消费装置3消费获取日志数据使用；获取并存储日志存储装置4的监控报警单元缓存的集群情况，提供均衡分配单元53进行分析；配置日志存储装置4各个集群的饱和警戒线，超过饱和警戒线时，发送报警至比例扩展单元通知扩展。
主要参数示例如下表7所示：
表7
Figure BDA0002562199020000101
比例扩展单元52：根据配置存储单元的报警信息，计算需要扩容的日志存储层集群，根据扩容的日志存储层集群，成比例对日志消费层、日志缓冲层进行扩展，日志缓冲层-日志消费层-日志存储层形成固定配件，以Kafka-Logstash-Elasticsearch为例，按照日志存储层标准为准，期望获得最适当的集群和消费能力匹配。
即本发明实施例中，所述的根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容包括：
根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
本实施例中提供的集群和消费能力匹配示例如下：
当日志存储层希望能达到50万TPS(transaction perscent second)的写入能力，以Elasticsearch为例，1个ES集群需要配置80个16G/32G/800G data节点，3个master节点(主节点)，12个client节点(代理节点)的主机承接；
则对应日志消费层需要有50万TPS的消费能力，以Logstash为例，1个Logstash为5208TPS左右消费能力，则50万/5208＝96个，共需要部署96个Logstash容器才足以匹配；
对应日志缓冲层也需要50万TPS的写入能力，以Kafka为例，1个Kafka集群配置(16台主机8个topic)可以达到50万TPS承载，由于日志消费层的Logstash有96个，而Logstash和日志缓冲层的每个topic分区最多1:1比例，那么日志缓冲层的8个topic，每个topic需要96/8＝12个分区。
以上为基本的比例配置关系可以总结为：1个Elasticsearch集群-96个Logstash-1个Kafka集群(1:96:1)，当接收到N个Elasticsearch集群报警时，根据比例，以N:96N:N比例对日志存储层、日志消费层、日志缓冲层进行扩展。
扩展完成后将日志缓冲层、日志消费层和日志存储层的扩展后的信息发送至均衡分配单元。
均衡分配单元53：收集比例扩展单元发送的扩展完成通知及日志缓冲层、消费层和存储层的当前配置，根据日志存储层的各集群当前应用日志存储情况，采用均衡分配算法。本发明提供的云平台日志存储系统扩容方法方法还包括：根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
比如采用平均分配，假设日志存储层有M个Elasticsearch集群，当前应用总日志量为X(T)，则每个Elasticsearch集群分配X/M(T)的应用日志，运维人员根据此建议，调整日志采集层的应用日志容器配置。
本发明提升日志集中解析存储系统的扩展性和使用高效性，在不影响用户查询日志便利性的前提下，设计出日志缓冲层、日志消费层和日志存储层固有匹配模式，根据日志存储层报警信息，实现三者集体快速横向扩展，同时，横向扩展后，提供一种日志存储层的应用日志均衡分配建议方案，建议运维人员调整，以解决空闲集群资源浪费、满载集群性能降低的问题。
图8所示为利用上述实施例提供的装置实现云平台日志存储系统扩容的流程图。
同时，如图9所示，本发明还提供一种云平台日志存储系统扩容装置，装置包括：
监控数据获取模块801，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
扩容请求生成模块802，用于根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
扩容模块803，用于根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
本发明实施例中，所述的扩容请求生成模块包括：
集群报警信息生成单元，用于根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
占用存储量确定单元，用于根据所述的集群报警信息确定集群占用的存储量；
请求生成单元，用于确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
本发明实施例中，所述的扩容模块包括：
存储层扩容量确定单元，用于根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
系统扩容单元，用于根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
本发明实施例中，所述的装置还包括：
均衡存储模块，根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
基于前述的实施例的描述，对本领域技术人员而言，可清楚的获知关于本发明提供的云平台日志存储系统扩容装置的实现方式，在此不再赘述。
本发明提供的云平台日志存储系统扩容方法及装置，提升了日志集中解析存储系统的扩展性和使用高效性，本发明提供出了一种能力适配型横向扩展的日志均衡存储方案，在不影响用户查询日志便利性的前提下，设计出日志缓冲层、日志消费层和日志存储层固有匹配模式，根据日志存储层报警信息，实现三者集体快速横向扩展，同时，横向扩展后，提供一种日志存储层的应用日志均衡分配建议方案，建议运维人员调整，以解决空闲集群资源浪费、满载集群性能降低的问题。
本发明优点如下：
使得日志缓冲层、消费层和存储层能力适配，快速集体横向扩展后，对原本架构性能不影响
横向扩展后的均衡分配，让各集群得到了高效利用，减少不必要的资源浪费。
本实施例还提供一种电子设备，该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照前述方法及装置的实施例，其内容被合并于此，重复之处不再赘述。
图10为本发明实施例的电子设备600的系统构成的示意框图。如图10所示，该电子设备600可以包括中央处理器100和存储器140；存储器140耦合到中央处理器100。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，云平台日志存储系统扩容功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
本发明实施例中，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
本发明实施例中，所述的根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求包括：
根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
根据所述的集群报警信息确定集群占用的存储量；
确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
本发明实施例中，所述的根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容包括：
根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
本发明实施例中，所述的方法还包括：
根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。
如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本发明实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如上面实施例所述的云平台日志存储系统扩容方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行上面实施例所述的云平台日志存储系统扩容。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此所附权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种云平台日志存储系统扩容方法，其特征在于，所述的方法包括：
获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
2.如权利要求1所述的云平台日志存储系统扩容方法，其特征在于，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
3.如权利要求1所述的云平台日志存储系统扩容方法，其特征在于，所述的根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求包括：
根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
根据所述的集群报警信息确定集群占用的存储量；
确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
4.如权利要求1所述的云平台日志存储系统扩容方法，其特征在于，所述的根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容包括：
根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
5.如权利要求1所述的云平台日志存储系统扩容方法，其特征在于，所述的方法还包括：
根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
6.一种云平台日志存储系统扩容装置，其特征在于，所述的装置包括：
监控数据获取模块，用于获取云平台日志存储系统的日志存储层的集群资源使用状况监控数据；
扩容请求生成模块，用于根据所述的使用状况监控数据和预设的集群存储量警戒值生成扩容请求；
扩容模块，用于根据所述扩容请求和预设的扩容算法对云平台日志存储系统进行扩容。
7.如权利要求6所述的云平台日志存储系统扩容装置，其特征在于，所述的集群资源使用状况监控数据包括：集群状态数据、集群整体磁盘占用情况数据、线程池状态数据、JVM垃圾回收数据及I/O性能数据。
8.如权利要求6所述的云平台日志存储系统扩容装置，其特征在于，所述的扩容请求生成模块包括：
集群报警信息生成单元，用于根据所述的使用状况监控数据和预设的监控阈值生成集群报警信息；
占用存储量确定单元，用于根据所述的集群报警信息确定集群占用的存储量；
请求生成单元，用于确定所述的集群占用的存储量大于预设的集群存储量警戒值生成扩容请求。
9.如权利要求6所述的云平台日志存储系统扩容装置，其特征在于，所述的扩容模块包括：
存储层扩容量确定单元，用于根据接收的扩容请求确定对云平台日志存储系统日志存储层的扩容量；
系统扩容单元，用于根据确定的日志存储层的扩容量、预设的云平台日志存储系统日志存储层与日志消费层、日志缓冲层的匹配比例对云平台日志存储系统日志消费层、日志缓冲层进行扩容。
10.如权利要求6所述的云平台日志存储系统扩容装置，其特征在于，所述的装置还包括：
均衡存储模块，根据负载均衡算法将应用日志存储至扩容后的日志存储层的集群。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。
CN202010611864.2A 2020-06-30 2020-06-30 云平台日志存储系统扩容方法及装置 Active CN111796769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010611864.2A CN111796769B (zh) 2020-06-30 2020-06-30 云平台日志存储系统扩容方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611864.2A CN111796769B (zh) 2020-06-30 2020-06-30 云平台日志存储系统扩容方法及装置

Publications (2)

Publication Number Publication Date
CN111796769A true CN111796769A (zh) 2020-10-20
CN111796769B CN111796769B (zh) 2024-02-27

Family

ID=72811436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611864.2A Active CN111796769B (zh) 2020-06-30 2020-06-30 云平台日志存储系统扩容方法及装置

Country Status (1)

Country Link
CN (1) CN111796769B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995307A (zh) * 2021-02-09 2021-06-18 中国工商银行股份有限公司 日志处理方法、系统、装置、电子设备及存储介质
CN113949638A (zh) * 2021-08-26 2022-01-18 中铁第四勘察设计院集团有限公司 一种基于云平台的铁路通信系统扩缩容方法和系统
CN114168509A (zh) * 2021-10-22 2022-03-11 中科苏州微电子产业技术研究院 一种数据采集芯片的扩展控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089477A1 (en) * 2012-09-27 2014-03-27 Hon Hai Precision Industry Co., Ltd. System and method for monitoring storage machines
CN105095417A (zh) * 2015-07-13 2015-11-25 小米科技有限责任公司 存储业务数据的方法、装置及数据库节点
CN107817950A (zh) * 2017-10-31 2018-03-20 新华三技术有限公司 一种数据处理方法及装置
CN110399271A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质
CN110413585A (zh) * 2019-07-29 2019-11-05 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140089477A1 (en) * 2012-09-27 2014-03-27 Hon Hai Precision Industry Co., Ltd. System and method for monitoring storage machines
CN105095417A (zh) * 2015-07-13 2015-11-25 小米科技有限责任公司 存储业务数据的方法、装置及数据库节点
CN107817950A (zh) * 2017-10-31 2018-03-20 新华三技术有限公司 一种数据处理方法及装置
CN110399271A (zh) * 2019-07-29 2019-11-01 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质
CN110413585A (zh) * 2019-07-29 2019-11-05 中国工商银行股份有限公司 日志处理设备、方法、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995307A (zh) * 2021-02-09 2021-06-18 中国工商银行股份有限公司 日志处理方法、系统、装置、电子设备及存储介质
CN112995307B (zh) * 2021-02-09 2023-12-12 中国工商银行股份有限公司 日志处理方法、系统、装置、电子设备及存储介质
CN113949638A (zh) * 2021-08-26 2022-01-18 中铁第四勘察设计院集团有限公司 一种基于云平台的铁路通信系统扩缩容方法和系统
CN114168509A (zh) * 2021-10-22 2022-03-11 中科苏州微电子产业技术研究院 一种数据采集芯片的扩展控制方法及系统

Also Published As

Publication number Publication date
CN111796769B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111796769B (zh) 云平台日志存储系统扩容方法及装置
CN107590001B (zh) 负载均衡方法及装置、存储介质、电子设备
JP6224244B2 (ja) 作業密度を増加させ、エネルギー効率を向上させるための電力バランシング
CN111796770B (zh) 日志路由负载均衡实现方法及装置
CN110399272B (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN108431796A (zh) 分布式资源管理系统和方法
CN103179433A (zh) 一种视频内容提供系统、方法及服务节点
CN110413585B (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN108337127B (zh) 应用性能监控方法、系统、终端及计算机可读存储介质
CN106973114B (zh) 接入方法、服务器及系统
DE112017003294T5 (de) Technologien für ein skalierbares Senden und Empfangen von Paketen
CN108595483B (zh) 数据处理方法及相关装置
CN111464352A (zh) 调用链路数据处理方法及装置
CN110297944A (zh) 分布式xml数据处理方法及系统
CN114710571B (zh) 数据包处理系统
CN111796935B (zh) 调用日志信息的消费实例分配方法及系统
CN112396511B (zh) 分布式风控变量数据处理方法、装置及系统
CN105335313A (zh) 一种基础数据的传输方法及装置
CN116700933B (zh) 一种面向异构算力联邦的多集群作业调度系统和方法
CN111737297B (zh) 链路聚合调用信息的处理方法及装置
CN111459653B (zh) 集群调度方法、装置和系统以及电子设备
CN113645151A (zh) Dup设备消息管理方法及装置
CN113609349A (zh) 租赁车辆库存检测方法、装置及介质
CN117891618B (zh) 人工智能模型训练平台的资源任务处理方法及装置
CN112766698B (zh) 应用业务压力确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant