CN110399272A - 日志处理设备、方法、电子设备及计算机可读存储介质 - Google Patents

日志处理设备、方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110399272A
CN110399272A CN201910693856.4A CN201910693856A CN110399272A CN 110399272 A CN110399272 A CN 110399272A CN 201910693856 A CN201910693856 A CN 201910693856A CN 110399272 A CN110399272 A CN 110399272A
Authority
CN
China
Prior art keywords
log
cluster
storage
dilatation
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910693856.4A
Other languages
English (en)
Other versions
CN110399272B (zh
Inventor
任政
赵叶红
武文轩
吴冕冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910693856.4A priority Critical patent/CN110399272B/zh
Publication of CN110399272A publication Critical patent/CN110399272A/zh
Application granted granted Critical
Publication of CN110399272B publication Critical patent/CN110399272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本公开提供了一种日志处理设备，包括：日志采集装置，日志缓存装置，日志消费装置，日志存储装置，以及控制调度装置。其中，控制调度装置用于向日志缓存装置发送用于对缓存集群进行扩容的扩容指令，以及向日志采集装置发送扩容后的缓存集群的集群信息，以及/或者向日志存储装置发送用于对存储集群进行扩容的扩容指令，以及向日志消费装置发送扩容后的存储集群的集群信息。本公开还提供了一种日志处理方法、一种电子设备及一种计算机可读存储介质。本公开可以在不干扰应用容器运行的情况下，实现日志采集层的负载动态调整、日志缓存层的负载均衡自适应调整及日志存储层各集群之间的负载均衡自适应调整。

Description

日志处理设备、方法、电子设备及计算机可读存储介质
技术领域
本公开涉及互联网技术领域，更具体地，涉及一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质。
背景技术
随着云平台技术的不断成熟和大规模推广使用，越来越多的开发者将应用及其所依赖的环境打包到容器中运行，而日志作为记录容器运行状态的重要信息，得到了人们越来越多的重视，因此，容器日志的收集成为了一个新的课题。
集中式容器日志采集存储架构主要包含日志采集层、日志缓存层、日志消费层和日志存储层四个部分。随着容器数目的持续增多，缓存层、消费层和存储层需横向扩展为多个集群才能满足爆发式增长的日志采集需求。
在目前的日志采集存储架构下，一方面，当缓存层横向扩容时，采集层日志容器需要重新生成才能加载最新配置，导致编排在一起的应用容器也需一同重启，极大地影响了业务连续性和用户感知，且缓存层不能使用传统的负载均衡设施，人工运维不仅成本高，且难免会出现负载不均衡的情况。另一方面，当日志存储层横向扩展为多个集群时，日志消费层难以实现日志数据在各存储集群间的负载均衡。
发明内容
有鉴于此，本公开提供了一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质，以解决现有容器日志采集存储架构横向扩展能力不足的问题。
本公开的一个方面提供了一种日志处理设备，包括：日志采集装置，用于采集一个或多个应用的日志数据；日志缓存装置，用于将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；日志消费装置，用于获取来自所述日志缓存装置的日志数据，并确定所述日志数据的存储地址；日志存储装置，用于将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群，并监控所述存储集群的存储资源使用情况；以及控制调度装置，用于：在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；接收来自所述日志缓存装置扩容后的缓存集群的集群信息；向所述日志采集装置发送所述扩容后的缓存集群的集群信息；以及/或者在根据所述日志存储装置监控的存储集群的存储资源使用情况，确定对所述存储集群进行扩容的情况下，向所述日志存储装置发送用于对所述存储集群进行扩容的扩容指令；接收来自所述日志存储装置扩容后的存储集群的集群信息；以及向所述日志消费装置发送所述扩容后的存储集群的集群信息。
可选地，所述日志采集装置包括：负载重新分配单元，用于接收由所述控制调度装置发送的所述扩容后的缓存集群的集群信息，并调用负载均衡单元；所述负载均衡单元，用于根据所述扩容后的缓存集群的集群信息和所述日志缓存装置的容器启动特征信息，确定采集的日志数据在所述缓存集群中的缓存地址；采集编排单元，用于确定日志采集路径、日志解析格式、日志编码格式以及对外暴露所述日志采集容器自身的调用端口；配置生成单元，用于根据所述负载均衡单元和所述采集编排单元提供的信息，生成配置文件。
可选地，所述日志缓存装置包括：数据缓存单元，用于缓存所述日志采集装置发送的日志数据；第一监控报警单元，用于监控所述缓存集群的存储资源使用情况，并根据所述缓存集群的存储资源使用情况确定是否向所述控制调度装置发送报警信息；以及集群扩容单元，用于根据预设规则对所述缓存集群进行扩容和主机配置，并将扩容后的缓存集群的集群信息反馈给所述控制调度装置。
可选地，所述日志消费装置包括：消费解析单元，用于对所述日志数据进行解析，并生成特定格式的日志数据；以及路由发送单元，用于从所述特定格式的日志数据中提取特征字段，根据所述特征字段确定所述日志数据的存储地址，并根据所述存储地址将所述日志数据路由发送给所述日志存储装置的对应存储集群中；以及更新检测单元，用于按照预定时间间隔调用所述控制调度装置的路由发送配置文件的更新通知接口，以解析更新通知时间，并基于所述更新通知时间将当前路由发送配置文件替换为最新路由发送配置文件。
可选地，所述日志存储装置包括：数据存储单元，用于将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群；以及第二监控报警单元，用于对所述存储集群的资源使用情况进行监控，并根据所述存储资源使用情况确定是否向所述控制调度装置发送报警信息，其中，所述第二监控报警单元还用于提供所述存储集群的日志分布情况和各类型日志增长情况查询接口；以及集群扩容单元，用于根据预设规则对所述存储集群进行扩容和主机配置，并将扩容后的存储集群的集群信息反馈给所述控制调度装置。
可选地，所述第一监控报警单元通过监控以下信息中的至少之一，以监控所述缓存集群的存储资源使用情况：所述缓存集群的事务处理速率、连接数、存储占用情况；所述第二监控报警单元通过监控以下信息中的至少之一，以监控所述存储集群的存储资源使用情况：所述存储集群的事务处理速率、连接数、存储占用情况。
可选地，所述控制调度装置包括：配置存储单元，用于获取所述日志缓存装置的缓存集群的配置信息，以生成配置文件，并向所述日志消费装置提供所述配置文件，保存所述日志存储装置的各存储集群地址；路由生成单元，用于根据所述日志存储装置的各存储集群地址和每个存储集群接收的对应日志类型，生成路由发送配置文件；扩容调度单元，用于调用所述日志存储装置的扩容接口，并将新增存储集群的地址信息存入所述配置存储单元；报警决策单元，用于：接收来自所述日志存储装置的报警信息，根据所述报警信息确定报警集群规模，当所述报警集群规模涉及第一数量的存储集群时，通过所述日志存储装置查询存储集群内各类型日志的分布和增速情况，按照预先设定的第一调整策略重新确定各存储集群接收的日志类型；接收来自所述日志存储装置的报警信息，根据所述报警信息确定报警集群规模，当所述报警集群规模涉及第二数量的存储集群时，调用所述扩容调度单元完成所述存储集群的新增扩容，再根据预先设定的第二调整策略确定新增扩容后的各存储集群接收的日志类型，并调用所述路由生成单元完成路由发送配置更新，其中，所述第一数量小于所述第二数量。
本公开的另一个方面提供了一种日志处理方法，包括：通过日志采集装置采集一个或多个应用的日志数据；通过日志缓存装置将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；通过日志消费装置获取来自所述日志缓存装置的日志数据，并确定所述日志数据的存储地址；通过日志存储装置将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群，并监控所述存储集群的存储资源使用情况；以及通过控制调度装置执行：在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；接收来自所述日志缓存装置扩容后的缓存集群的集群信息；向所述日志采集装置发送所述扩容后的缓存集群的集群信息；以及/或者在根据所述日志存储装置监控的存储集群的存储资源使用情况，确定对所述存储集群进行扩容的情况下，向所述日志存储装置发送用于对所述存储集群进行扩容的扩容指令；接收来自所述日志存储装置扩容后的存储集群的集群信息；以及向所述日志消费装置发送所述扩容后的存储集群的集群信息。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第二方面所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时使处理器实现第二方面所述的方法。
根据本公开的实施例，本公开提供的一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质，至少实现了以下有益效果：在不干扰应用容器运行的情况下，实现了日志缓存层的负载均衡自适应调整。此外，在不干扰应用容器运行的情况下，实现了日志采集层的负载动态调整。在不影响用户查询日志便利性的情况下，实现了日志存储层各集群之间的负载均衡自适应调整。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的日志处理设备的系统架构；
图2示意性示出了根据本公开实施例的日志采集装置的结构框图；
图3示意性示出了根据本公开实施例的日志缓存装置的结构框图；
图4示意性示出了根据本公开实施例的日志消费装置的结构框图；
图5示意性示出了根据本公开实施例的日志存储装置的结构框图；
图6示意性示出了根据本公开实施例的控制调度装置的结构框图；
图7示意性示出了根据本公开实施例的日志处理方法的流程图；以及
图8示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
本公开涉及的术语解释如下：
容器：是指一种在资源隔离的过程中，运行应用程序和其依赖项的、轻量的、操作系统级别的虚拟化技术。该技术将运行应用程序所需的所有必要组件都打包为单个镜像，这个镜像是可以重复使用的。当镜像运行时，它是运行在独立的环境中，并不会和其他的应用共享主机操作系统的内存，CPU或磁盘。这保证了容器内的进程不会影响到容器外的任何进程。容器包括操作系统容器和应用程序容器。
日志数据：是指应用程序执行的过程中产生的的执行记录、异常信息记录、错误记录、业务轨迹记录、时间记录等。
本公开的实施例提供了一种日志处理设备、一种日志处理方法、一种电子设备及一种计算机可读存储介质，可应用于容器日志采集及存储，在不干扰应用容器运行的情况下，实现了日志缓存层的负载均衡自适应调整、日志采集层的负载动态调整。并且，在不影响用户查询日志便利性的情况下，实现了日志存储层各集群之间的负载均衡自适应调整。
图1示意性示出了根据本公开实施例的日志处理设备的系统架构。
如图1所示，本公开实施例的一种日志处理设备的系统架构100包括：日志采集装置101、日志缓存装置102、日志消费装置103、日志存储装置104和控制调度装置105。
日志采集装置101用于采集一个或多个应用的日志数据。
日志缓存装置102用于将来自日志采集装置101的日志数据缓存至缓存集群，并监控缓存集群的存储资源使用情况。
日志消费装置103用于获取来自日志缓存装置102的日志数据，并确定日志数据的存储地址。
日志存储装置104用于将来自日志消费装置103的日志数据存储至与确定的存储地址对应的存储集群，并监控存储集群的存储资源使用情况。
控制调度装置105用于在根据日志缓存装置102监控的缓存集群的存储资源使用情况，确定对缓存集群进行扩容的情况下，向日志缓存装置102发送用于对缓存集群进行扩容的扩容指令；接收来自日志缓存装置102扩容后的缓存集群的集群信息；向日志采集装置101发送扩容后的缓存集群的集群信息；以及/或者在根据日志存储装置104监控的存储集群的存储资源使用情况，确定对存储集群进行扩容的情况下，向日志存储装置104发送用于对存储集群进行扩容的扩容指令；接收来自日志存储装置104扩容后的存储集群的集群信息；以及向日志消费装置103发送扩容后的存储集群的集群信息。
根据本实施方式的日志处理设备的系统架构100，每一个日志采集装置101、日志缓存装置102、日志消费装置103、日志存储装置104及控制调度装置105均可以为一个容器，且数量可以为多个。
日志采集装置101可以与应用容器编排在一起。日志采集装置101可以基于本地存储的应用容器配置信息，以确定采集日志路径、解析规则，进行日志数据的采集。
缓存集群的存储资源使用情况可以包括缓存集群的事务处理速率、连接数、存储占用情况等。
日志缓存装置102在接收到缓存日志采集装置101所发送的日志数据后，将日志数据提供给日志消费装置103消费。日志缓存装置102实时监控各缓存集群的资源使用情况，当缓存遇到瓶颈时，报警至控制调度装置105，并根据控制调度装置105的扩容指令，对缓存集群的进行扩容新增，并将新增的缓存集群信息反馈至控制调度装置105。
日志消费装置103在启动时，可以从控制调度装置105中获取对应的缓存集群信息，从日志缓存装置102中的某一缓存集群读取并解析日志数据，并从控制调度装置105中获取统一的日志路由发送配置，通过解析日志数据中特征字段的信息差别，将日志数据发送到日志存储装置104的不同集群。日志消费装置103还可以实时监测控制调度装置105的更新通知，当发现自身的路由发送配置滞后于控制调度装置105时，更新加载自身配置。
日志存储装置104用于集中存储日志消费装置103发送的日志数据，并监控各存储集群的资源使用情况。日志存储装置104可以向控制调度装置105提供各类型数据的存储和增长情况查询接口，供控制调度装置105分析决策。当日志数据的存储遇到瓶颈时，日志存储装置104报警至控制调度装置105，并根据控制调度装置105的扩容指令，对存储集群进行扩容新增，并将新增集群信息反馈至控制调度装置105。
下面对控制调度装置105的工作进行详细描述。
控制调度装置105将存储日志缓存装置102的集群信息，提供给日志采集装置101、日志消费装置103，使日志采集装置101将采集到的日志数据发送给日志缓存装置102，使日志消费装置103从日志缓存装置102获取日志数据。控制调度装置105向日志消费装置103提供日志路由发送配置，使日志消费装置103根据解析的日志数据中特征字段的信息差别，将日志路由发送到日志存储装置104的不同集群。
当控制调度装置105接收日志缓存装置102的报警，控制调度装置105根据日志缓存装置102监控的缓存集群的存储资源使用情况，确定对缓存集群进行扩容的情况下，向日志缓存装置102发送扩容指令，使日志缓存装置102完成扩容，接收日志缓存装置102完成扩容后最新的集群信息，并将日志缓存装置102完成扩容后最新的集群信息转发至日志采集装置101，使日志采集装置101根据日志缓存装置102最新的集群信息完成负载的重新均衡。
当控制调度装置105接收日志存储装置104的报警，控制调度装置105在根据日志存储装置104监控的存储集群的存储资源使用情况，确定对存储集群进行扩容的情况下，通过算法决策执行集群扩容和路由调整，可以包括：向日志存储装置104发送用于对存储集群进行扩容的扩容指令；重新生成日志消费装置103的路由发送配置，通知各日志消费装置103完成配置更新。
本公开的实施例提供了一种日志处理设备，包括日志采集装置101、日志缓存装置102、日志消费装置103、日志存储装置104及控制调度装置105。日志采集装置101用于采集一个或多个应用的日志数据，日志缓存装置102用于将来自日志采集装置101的日志数据缓存至缓存集群，并监控缓存集群的存储资源使用情况，日志消费装置103用于获取来自日志缓存装置102的日志数据，并确定日志数据的存储地址，日志存储装置104用于将来自日志消费装置103的日志数据存储至与确定的存储地址对应的存储集群，并监控存储集群的存储资源使用情况，以及控制调度装置105用于在确定对缓存集群进行扩容的情况下，向日志缓存装置102发送用于对缓存集群进行扩容的扩容指令，并向日志采集装置101发送扩容后的缓存集群的集群信息，以及/或者在确定对存储集群进行扩容的情况下，向日志存储装置104发送用于对存储集群进行扩容的扩容指令，并向日志消费装置103发送扩容后的存储集群的集群信息。
在不干扰应用容器运行的情况下，本设备实现了日志缓存层的负载均衡自适应调整、日志采集层的负载动态调整，以及，在不影响用户查询日志便利性的情况下，实现了日志存储层各集群之间的负载均衡自适应调整。
图2示意性示出了根据本公开实施例的日志采集装置101的结构框图。
如图2所示，本公开实施例的日志采集装置101可以包括：负载重新分配单元1011、负载均衡单元1012、采集编排单元1013、配置生成单元1014。
具体的，负载重新分配单元1011用于接收由控制调度装置105发送的扩容后的缓存集群的集群信息，并调用负载均衡单元1012。
负载均衡单元1012用于根据扩容后的缓存集群的集群信息和日志缓存装置102的容器启动特征信息，确定采集的日志数据在缓存集群中的缓存地址。
采集编排单元1013用于确定日志采集路径、日志解析格式、日志编码格式以及对外暴露日志采集容器自身的调用端口。
配置生成单元1014用于根据负载均衡单元1012和采集编排单元1013提供的信息，生成配置文件。
缓存集群最新信息可以包括集群数目、各集群地址和各集群字符特征等信息。
在本实施方式中，负载重新分配单元1011部署了开源软件Fluentd，通过修改Fluentd源码，向控制调度装置105暴露HTTP端口，从请求控制调度装置105中获取日志缓存装置102的缓存集群最新信息。当从控制调度装置105获取的缓存集群信息有更新时，根据获取的信息调用负载均衡单元1012重新确定发送目的集群，并通过配置生成单元1014更新配置文件td-agent.conf，最后，向Fluentd采集进程发送HUP指令完成配置热加载。负载重新分配单元1011向控制调度装置105暴露的HTTP端口定义示例如表1所示。
表1
负载均衡单元1012根据负载重新分配单元1011从控制调度装置105中获取日志缓存装置102的缓存集群的信息，通过负载均衡算法重新实现负载均衡。
负载均衡算法可以实现日志缓存装置102中各缓存集群连接的日志采集容器数目尽可能相等。假设总共有N个日志采集容器，缓存集群的数目为M，通过负载均衡算法，使每个缓存集群连接的日志采集数目尽可能接近N/M，M和N均为正整数。负载均衡算法可以有多种方式实现，可以包括基于日志容器的启动时间平均、基于日志容器所在的宿主机IP平均、基于容器ID进行平均等。以基于容器启动时的随机ID进行平均为例，将64位容器ID可能的字符(包括数字0-9和小写字母a-z)映射为数字(0-35)，将容器ID映射的数字求和，并除以缓存集群总数取余，根据获得的余数决定该日志容器发送的目的缓存集群。
采集编排单元1013用于自定义配置应用容器的日志采集路径、日志解析格式、日志编码格式以及日志采集容器自身的HTTP调用端口等信息。具体配置信息示例如表2所示。
表2
配置生成单元1014部署了开源软件Fluentd，基于采集编排单元1013和负载均衡单元1012提供的相关信息，生成最终的完整配置文件td-agent.conf，完成日志采集发送。配置文件包含HTTP调用端口配置、采集文件及格式配置、辅助信息添加配置和发送配置等。
图3示意性示出了根据本公开实施例的日志缓存装置102的结构框图。
如图3所示，本公开实施例的日志缓存装置102可以包括：数据缓存单元1021、第一监控报警单元1022和集群扩容单元1023。
具体的，数据缓存单元1021用于缓存日志采集装置101发送的日志数据。
第一监控报警单元1022用于监控缓存集群的存储资源使用情况，并根据缓存集群的存储资源使用情况确定是否向控制调度装置105发送报警信息。
集群扩容单元1023用于根据预设规则对缓存集群进行扩容和主机配置，并将扩容后的缓存集群的集群信息反馈给控制调度装置105。
数据缓存单元1021缓存日志采集装置101发送的日志数据，并将日志数据提供给日志消费装置103消费，提供历史缓存数据的定期清理机制。
第一监控报警单元1022可以通过监控以下信息中的至少之一，以监控缓存集群的存储资源使用情况：缓存集群的事务处理速率、连接数、存储占用情况。
在本实施方式中，第一监控报警单元1022主要监控缓存集群的事务处理速率、连接数、存储占用情况，以及各宿主机的CPU、内存、IO情况。当缓存集群的资源使用出现瓶颈时，例如，各集群连接数超过阈值，第一监控报警单元1022将发送报警信息至控制调度装置105。
集群扩容单元1023内预设了扩容缓存集群的规模和主机配置(即预设规则)，以实现缓存集群的标准化，并固化为部署模板。集群扩容单元1023向供控制调度装置105提供调用接口，当接收到控制调度装置105发送的扩容指令时，根据扩容指令快速部署开通新的缓存集群。待完成后，集群扩容单元1023将集群信息反馈给控制调度装置105。
缓存集群部署模板包含的主机配置信息示例如表3所示。
表3
配置名称 说明 示例
集群规模 缓存集群包含的主机数目 4
CPU 缓存集群每台主机的CPU配置，以核为单位 4
内存 缓存集群每台主机的内存大小，以G为单位 8
存储 缓存集群每台主机的存储大小，以G为单位 80
扩容指从控制调度装置105传入集群扩容单元1023的参数和集群扩容单元1023完成扩容后反馈给控制调度装置105的参数示例如表4所示。
表4
图4示意性示出了根据本公开实施例的日志消费装置103的结构框图。
如图4所示，本公开实施例的日志消费装置103可以包括：消费解析单元1031、路由发送单元1032、更新检测单元1033。
具体的，消费解析单元1031用于对日志数据进行解析，并生成特定格式的日志数据。
路由发送单元1032用于从特定格式的日志数据中提取特征字段，根据特征字段确定日志数据的存储地址，并根据存储地址将日志数据路由发送给日志存储装置104的对应存储集群中。
更新检测单元1033用于按照预定时间间隔调用控制调度装置105的路由发送配置文件的更新通知接口，以解析更新通知时间，并基于更新通知时间将当前路由发送配置文件替换为最新路由发送配置文件。
消费解析单元1031在启动时，从控制调度装置105中获取日志缓存装置102的集群信息，生成消费解析配置。从日志缓存装置102的数据缓存单元1021消费日志数据，并将日志数据解析成特定格式，如JSON格式、XML格式等。
路由发送单元1032从解析后的日志数据中提取特征字段，根据该字段值的不同，路由发送日志数据至日志存储装置104中的不同存储集群。
更新检测单元1033按照预定时间间隔，定时调用控制调度装置105的路由发送配置文件的更新通知接口，解析通知更新时间。如果通知更新时间晚于路由发送单元1032配置文件的更新时间，则更新检测单元1033调用控制调度装置105的配置更新接口，获取最新配置文件替换当前配置，并调用路由发送单元1032按新配置向日志存储装置104发送数据。
图5示意性示出了根据本公开实施例的日志存储装置104的结构框图。
如图5所示，本公开实施例的日志存储装置104可以包括：数据存储单元1041、第二监控报警单元1042和集群扩容单元1043。
具体的，数据存储单元1041用于将来自日志消费装置103的日志数据存储至与确定的存储地址对应的存储集群。
第二监控报警单元1042用于对存储集群的资源使用情况进行监控，并根据存储资源使用情况确定是否向控制调度装置105发送报警信息，其中，第二监控报警单元1042还用于提供存储集群的日志分布情况和各类型日志增长情况查询接口。
集群扩容单元1043用于根据预设规则对存储集群进行扩容和主机配置，并将扩容后的存储集群的集群信息反馈给控制调度装置105。
第二监控报警单元1042通过监控以下信息中的至少之一，以监控存储集群的存储资源使用情况：存储集群的事务处理速率、连接数、存储占用情况。
在本实施方式中，第二监控报警单元1042主要监控存储集群的事务处理速率、存储占用量、线程池使用量等情况。当存储集群的资源使用出现瓶颈时，例如，线程池被持续占满，导致写入请求拒绝率超过阈值时，第二监控报警单元1042发送报警信息至控制调度装置105。第二监控报警单元1042向控制调度装置105提供集群日志分布情况、各类型日志增长情况的查询接口，以使控制调度装置105查询存储集群的存储资源使用情况，在确定对存储集群进行扩容的情况下，控制调度装置105向集群扩容单元1043发送用于对存储集群进行扩容的扩容指令，使集群扩容单元1043根据扩容指令进行扩容。控制调度装置105通过第二监控报警单元1042提供的查询接口，获取的监控指标项列举如表5所示。
表5
指标数据名称 说明
集群状态 集群状态是否健康(green)
磁盘空间 集群整体磁盘占用情况
线程池状态 线程池排队情况和拒绝接受(reject)情况
JVM垃圾回收 集群各节点JVM垃圾回收的频率和持续时间
I/O性能 集群各节点对磁盘写入和读取性能情况
数据分布情况 各类型日志占用存储大小和增长速度
集群扩容单元1043根据预设的扩容存储集群的规模和主机配置(即预设规则)，以实现存储集群的标准化，并固化为部署模板。集群扩容单元1043向控制调度装置105提供服务接口，用于接收控制调度装置105发送的扩容指令，并根据扩容指令，利用云平台快速部署开通新的存储集群。待扩容完成后，集群扩容单元1043将新的集群信息反馈给控制调度装置105。集群扩容单元1043上预设的主机配置信息示例如表5所示。
表6
配置名称 说明 示例
集群规模 存储集群包含的主机数目 10
CPU 存储集群每台主机的CPU配置，以核为单位 16
内存 存储集群每台主机的内存大小，以G为单位 32
存储 存储集群每台主机的存储大小，以G为单位 400
图6示意性示出了根据本公开实施例的控制调度装置105的结构框图。
如图6所示，本公开实施例的控制调度装置105可以包括：配置存储单元1051、路由生成单元1052、扩容调度单元1053、报警决策单元1054。
具体的，配置存储单元1051用于获取日志缓存装置102的缓存集群的配置信息，以生成配置文件，并向日志消费装置103提供配置文件，保存日志存储装置的各存储集群地址。
路由生成单元1052用于根据日志存储装置104的各存储集群地址和每个存储集群接收的对应日志类型，生成路由发送配置文件。
扩容调度单元1053用于调用日志存储装置104的扩容接口，并将新增存储集群的地址信息存入配置存储单元1051。
报警决策单元1054用于接收来自日志存储装置104的报警信息，根据报警信息确定报警集群规模，当报警集群规模涉及第一数量的存储集群时，通过日志存储装置104查询存储集群内各类型日志的分布和增速情况，按照预先设定的第一调整策略重新确定各存储集群接收的日志类型；接收来自日志存储装置104的报警信息，根据报警信息确定报警集群规模，当报警集群规模涉及第二数量的存储集群时，调用扩容调度单元完成存储集群的新增扩容，再根据预先设定的第二调整策略确定新增扩容后的各存储集群接收的日志类型，并调用路由生成单元完成路由发送配置更新，其中，第一数量小于第二数量。
配置存储单元1051从日志缓存装置102获取的的缓存集群的配置信息可以包括代理地址(Broker)、字符特征(Topic)等，配置存储单元1051根据这些配置信息生成配置文件，提供给日志采集装置101、日志消费装置103使用。同时，配置存储单元1051保存日志存储装置104的各存储集群地址，提供给报警决策单元1054使用。
路由生成单元1052根据日志存储装置104的各存储集群地址，与每个集群对应接收的各类型日志，生成新的路由发送配置文件。日志存储装置的各存储集群地址，与每个集群对应接收的各类型日志示例如表7所示。
表7
扩容调度单元1053调用日志存储装置104中集群扩容单元1043提供的扩容接口，发送扩容指令，使集群扩容单元1043根据扩容指令进行存储集群新增扩容，并在完成扩容后将新增存储集群的地址信息存入配置存储单元1051。
在本实施方式中，报警决策单元1054接收日志存储装置104的报警信息存入配置存储单元1051，每隔固定时间(比如3分钟)，从配置存储单元1051获取这段时间内的报警，分析报警集群规模。当报警集群规模涉及第一数量的存储集群时，例如，当发现报警仅涉及个别存储集群时，通过日志存储装置104查询集群内各类型日志的分布和增速情况，按照预先设定的第一调整策略重新确定各存储集群接收的日志类型，调用路由生成单元1052完成路由发送配置更新。当报警集群规模涉及第二数量的存储集群时，例如，当发现报警涉及所有存储集群时，调用扩容调度单元1053完成新增扩容，之后再根据预先设定的第二调整策略完成路由调整。
其中，第一调整策略可以为，基于报警集群内各类型日志的增速排序，将其中增速最快的3个类型日志平均分配给未报警集群。
其中，第二调整策略可以为，计算现有日志存储装置104的所有类型日志的增速情况并排序，按照顺序依次将各类型日志分配给各个存储集群，比如按照增速有快到慢对各类型日志的排序情况为log1、log2、log3和log4，对应的存储集群为es1、es2。那么调整分配后es1存储log1、log3类型的新增日志，es2存储log2、log4类型的新增日志。
图7示意性示出了根据本公开实施例的日志处理方法的流程图。
如图7所示，本公开实施例的日志处理方法可以包括步骤S701～步骤S710，对该方法的描述参照参照图1～图6的装置说明。
步骤S701，通过日志采集装置101采集一个或多个应用的日志数据。
日志数据是指应用程序执行的过程中产生的的执行记录、异常信息记录、错误记录、业务轨迹记录、时间记录等。
在本实施方式中，日志采集装置101与应用容器编排在一起，日志采集装置101可以基于本地存储的应用容器配置信息，以确定采集日志路径、解析规则，进行日志数据的采集。
步骤S702，通过日志缓存装置102将来自日志采集装置101的日志数据缓存至缓存集群，并监控缓存集群的存储资源使用情况。
缓存集群的存储资源使用情况可以包括缓存集群的事务处理速率、连接数、存储占用情况，以及各宿主机的CPU、内存、IO情况。
当缓存集群的资源使用出现瓶颈时，例如，各集群连接数超过阈值，日志缓存装置102将发送报警信息至控制调度装置105，以执行步骤S5。
步骤S703，通过日志消费装置103获取来自日志缓存装置102的日志数据，并确定日志数据的存储地址。
日志消费装置103从控制调度装置105中获取统一的日志路由发送配置，该日志路由发送备值包含日志存储装置104不同集群的地址，根据根据日志数据中特征字段的信息差别，确认日志数据的存储地址。
步骤S704，通过日志存储装置104将来自日志消费装置103的日志数据存储至与确定的存储地址对应的存储集群，并监控存储集群的存储资源使用情况。
存储集群的存储资源使用情况可以包括：存储集群的事务处理速率、存储占用量、线程池使用量等。
当存储集群的资源使用出现瓶颈时，例如，线程池被持续占满，导致写入请求拒绝率超过阈值时，日志存储装置104发送报警信息至控制调度装置105，以执行步骤S708。
步骤S705，控制调度装置105在根据日志缓存装置102监控的缓存集群的存储资源使用情况，确定对缓存集群进行扩容的情况下，向日志缓存装置102发送用于对缓存集群进行扩容的扩容指令。
控制调度装置105的报警决策单元1054接收日志缓存装置102的报警信息，并扩容调度单元1053，使扩容调度单元1053向日志缓存装置102下发扩容指令。
步骤S706，接收来自日志缓存装置102扩容后的缓存集群的集群信息。
缓存集群最新信息可以包括集群数目、各集群地址和各集群字符特征等信息。
日志缓存装置102集群扩容单元1023完成缓存集群扩容后，向控制调度装置105的扩容调度单元1053反馈集群地址、字符特征信息。扩容调度单元1053将收到的信息更新至控制调度装置105的配置存储单元1051，并反馈给控制调度装置105报警决策单元1054。
步骤S707，向日志采集装置101发送扩容后的缓存集群的集群信息。
根据本公开实施例的一个示例，日志采集装置101收到扩容后的缓存集群的集群信息后，处理方法还可以包括以下步骤。
日志采集装置101的负载重新分配单元1011接收由控制调度装置105发送的扩容后的缓存集群的集群信息，并调用负载均衡单元1012。
日志采集装置101的负载均衡单元1012根据扩容后的缓存集群的集群信息和日志缓存装置102的容器启动特征信息，确定采集的日志数据在缓存集群中的缓存地址。
日志缓存装置102的容器启动特征信息可以包括容器的启动时间、容器所在的宿主机IP、容器ID等。
基于扩容后的缓存集群的集群信息和日志缓存装置102的容器启动特征信息，负载均衡单元1012根据负载均衡算法，重新计算该日志采集装置发送的目的缓存集群。
日志采集装置101的配置生成单元1014根据负载均衡单元1012和采集编排单元1013提供的信息，生成配置文件。
配置文件包含HTTP调用端口配置、采集文件及格式配置、辅助信息添加配置和发送配置等。
步骤S708，控制调度装置105在根据日志存储装置104监控的存储集群的存储资源使用情况，确定对存储集群进行扩容的情况下，向日志存储装置104发送用于对存储集群进行扩容的扩容指令。
存储集群的存储资源使用情况可以包括存储集群的事务处理速率、连接数、存储占用情况。
控制调度装置105的报警决策单元1054接收到日志存储装置104的报警后，首先分析报警集群规模。
当发现报警仅涉及个别或少数几个存储集群时，通过日志存储装置104查询集群内各类型日志的分布和增速情况，基于报警集群内各类型日志的增速排序，将其中增速最快的几个类型日志平均分配给未报警集群，调用路由生成单元1052完成路由发送配置更新。
当报警集群规模涉及多个甚至所有存储集群时，调用扩容调度单元1053，向日志存储装置104发送扩容指令，使日志存储装置104进行新增扩容。
步骤S709，接收来自日志存储装置104扩容后的存储集群的集群信息。
步骤S710，向日志消费装置103发送扩容后的存储集群的集群信息。
控制调度装置105向日志消费装置103发送扩容后的存储集群的集群信息，获取新的日志路由发送配置，重新确认日志数据的存储地址。
本公开的实施例提供了一种日志处理方法，通过日志采集装置101采集一个或多个应用的日志数据，通过日志缓存装置102将来自日志采集装置101的日志数据缓存至缓存集群，通过日志消费装置103获取来自日志缓存装置102的日志数据，并确定日志数据的存储地址，通过日志存储装置104将来自日志消费装置103的日志数据存储至与确定的存储地址对应的存储集群，以及通过控制调度装置105在确定对缓存集群进行扩容的情况下，向日志缓存装置102发送用于对缓存集群进行扩容的扩容指令，并向日志采集装置101发送扩容后的缓存集群的集群信息，以及/或者在确定对存储集群进行扩容的情况下，向日志存储装置104发送用于对存储集群进行扩容的扩容指令，以及向日志消费装置103发送扩容后的存储集群的集群信息。在不干扰应用容器运行的情况下，该方法实现了日志缓存层的负载均衡自适应调整、日志采集层的负载动态调整，以及，在不影响用户查询日志便利性的情况下，实现了日志存储层各集群之间的负载均衡自适应调整。
图8示意性示出了根据本公开实施例的电子设备的结构框图。
如图8所示，电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行上面参考图7描述的方法。
具体地，处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行参考图7描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质820可以包括计算机程序821，该计算机程序821可以包括代码/计算机可执行指令，其在由处理器810执行时使得处理器810执行例如上面结合图7所描述的方法流程及其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序821中的代码可以包括一个或多个程序模块，例如包括821A、模块821B、......。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器810执行时，使得处理器810可以执行例如上面结合图7所描述的方法流程及其任何变形。
根据本发明的实施例，日志采集装置101、日志缓存装置102、日志消费装置103、日志存储装置104及控制调度装置105中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器810执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种日志处理设备，包括：
日志采集装置，用于采集一个或多个应用的日志数据；
日志缓存装置，用于将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；
日志消费装置，用于获取来自所述日志缓存装置的日志数据，并确定所述日志数据的存储地址；
日志存储装置，用于将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群，并监控所述存储集群的存储资源使用情况；以及
控制调度装置，用于：
在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；
接收来自所述日志缓存装置扩容后的缓存集群的集群信息；
向所述日志采集装置发送所述扩容后的缓存集群的集群信息；以及/或者
在根据所述日志存储装置监控的存储集群的存储资源使用情况，确定对所述存储集群进行扩容的情况下，向所述日志存储装置发送用于对所述存储集群进行扩容的扩容指令；
接收来自所述日志存储装置扩容后的存储集群的集群信息；以及
向所述日志消费装置发送所述扩容后的存储集群的集群信息。
2.根据权利要求1所述的设备，其中，所述日志采集装置包括：
负载重新分配单元，用于接收由所述控制调度装置发送的所述扩容后的缓存集群的集群信息，并调用负载均衡单元；
所述负载均衡单元，用于根据所述扩容后的缓存集群的集群信息和所述日志缓存装置的容器启动特征信息，确定采集的日志数据在所述缓存集群中的缓存地址；
采集编排单元，用于确定日志采集路径、日志解析格式、日志编码格式以及对外暴露所述日志采集容器自身的调用端口；
配置生成单元，用于根据所述负载均衡单元和所述采集编排单元提供的信息，生成配置文件。
3.根据权利要求2所述的设备，其中，所述日志缓存装置包括：
数据缓存单元，用于缓存所述日志采集装置发送的日志数据；
第一监控报警单元，用于监控所述缓存集群的存储资源使用情况，并根据所述缓存集群的存储资源使用情况确定是否向所述控制调度装置发送报警信息；以及
集群扩容单元，用于根据预设规则对所述缓存集群进行扩容和主机配置，并将扩容后的缓存集群的集群信息反馈给所述控制调度装置。
4.根据权利要求1所述的设备，其中，所述日志消费装置包括：
消费解析单元，用于对所述日志数据进行解析，并生成特定格式的日志数据；以及
路由发送单元，用于从所述特定格式的日志数据中提取特征字段，根据所述特征字段确定所述日志数据的存储地址，并根据所述存储地址将所述日志数据路由发送给所述日志存储装置的对应存储集群中；以及
更新检测单元，用于按照预定时间间隔调用所述控制调度装置的路由发送配置文件的更新通知接口，以解析更新通知时间，并基于所述更新通知时间将当前路由发送配置文件替换为最新路由发送配置文件。
5.根据权利要求1所述的设备，其中，所述日志存储装置包括：
数据存储单元，用于将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群；以及
第二监控报警单元，用于对所述存储集群的资源使用情况进行监控，并根据所述存储资源使用情况确定是否向所述控制调度装置发送报警信息，其中，所述第二监控报警单元还用于提供所述存储集群的日志分布情况和各类型日志增长情况查询接口；以及
集群扩容单元，用于根据预设规则对所述存储集群进行扩容和主机配置，并将扩容后的存储集群的集群信息反馈给所述控制调度装置。
6.根据权利要求3或5所述的设备，其中，
所述第一监控报警单元通过监控以下信息中的至少之一，以监控所述缓存集群的存储资源使用情况：所述缓存集群的事务处理速率、连接数、存储占用情况；
所述第二监控报警单元通过监控以下信息中的至少之一，以监控所述存储集群的存储资源使用情况：所述存储集群的事务处理速率、连接数、存储占用情况。
7.根据权利要求1所述的设备，其中，所述控制调度装置包括：
配置存储单元，用于获取所述日志缓存装置的缓存集群的配置信息，以生成配置文件，并向所述日志消费装置提供所述配置文件，保存所述日志存储装置的各存储集群地址；
路由生成单元，用于根据所述日志存储装置的各存储集群地址和每个存储集群接收的对应日志类型，生成路由发送配置文件；
扩容调度单元，用于调用所述日志存储装置的扩容接口，并将新增存储集群的地址信息存入所述配置存储单元；
报警决策单元，用于：
接收来自所述日志存储装置的报警信息，根据所述报警信息确定报警集群规模，当所述报警集群规模涉及第一数量的存储集群时，通过所述日志存储装置查询存储集群内各类型日志的分布和增速情况，按照预先设定的第一调整策略重新确定各存储集群接收的日志类型；
接收来自所述日志存储装置的报警信息，根据所述报警信息确定报警集群规模，当所述报警集群规模涉及第二数量的存储集群时，调用所述扩容调度单元完成所述存储集群的新增扩容，再根据预先设定的第二调整策略确定新增扩容后的各存储集群接收的日志类型，并调用所述路由生成单元完成路由发送配置更新，其中，所述第一数量小于所述第二数量。
8.一种日志处理方法，包括：
通过日志采集装置采集一个或多个应用的日志数据；
通过日志缓存装置将来自所述日志采集装置的日志数据缓存至缓存集群，并监控所述缓存集群的存储资源使用情况；
通过日志消费装置获取来自所述日志缓存装置的日志数据，并确定所述日志数据的存储地址；
通过日志存储装置将来自所述日志消费装置的日志数据存储至与确定的存储地址对应的存储集群，并监控所述存储集群的存储资源使用情况；以及
通过控制调度装置执行：
在根据所述日志缓存装置监控的缓存集群的存储资源使用情况，确定对所述缓存集群进行扩容的情况下，向所述日志缓存装置发送用于对所述缓存集群进行扩容的扩容指令；
接收来自所述日志缓存装置扩容后的缓存集群的集群信息；
向所述日志采集装置发送所述扩容后的缓存集群的集群信息；以及/或者
在根据所述日志存储装置监控的存储集群的存储资源使用情况，确定对所述存储集群进行扩容的情况下，向所述日志存储装置发送用于对所述存储集群进行扩容的扩容指令；
接收来自所述日志存储装置扩容后的存储集群的集群信息；以及
向所述日志消费装置发送所述扩容后的存储集群的集群信息。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求8所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求8所述的方法。
CN201910693856.4A 2019-07-29 2019-07-29 日志处理设备、方法、电子设备及计算机可读存储介质 Active CN110399272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910693856.4A CN110399272B (zh) 2019-07-29 2019-07-29 日志处理设备、方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910693856.4A CN110399272B (zh) 2019-07-29 2019-07-29 日志处理设备、方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110399272A true CN110399272A (zh) 2019-11-01
CN110399272B CN110399272B (zh) 2022-02-18

Family

ID=68326652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910693856.4A Active CN110399272B (zh) 2019-07-29 2019-07-29 日志处理设备、方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110399272B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475390A (zh) * 2020-04-01 2020-07-31 深圳Tcl数字技术有限公司 日志采集系统部署方法、装置、设备及存储介质
CN112328463A (zh) * 2020-11-27 2021-02-05 中国农业银行股份有限公司 一种日志监控方法及装置
CN112925695A (zh) * 2021-03-29 2021-06-08 浪潮云信息技术股份公司 一种自动化更新配置fluentd的配置文件的方法
CN113626151A (zh) * 2021-08-09 2021-11-09 山东可信云信息技术研究院 一种容器云日志收集资源控制方法及系统
CN115150166A (zh) * 2022-06-30 2022-10-04 广东电网有限责任公司 一种日志收集与分析管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
US9600553B1 (en) * 2014-05-31 2017-03-21 Veritas Technologies Llc Distributed replication in cluster environments
CN106936623A (zh) * 2015-12-31 2017-07-07 五八同城信息技术有限公司 分布式缓存系统及缓存集群的管理方法
CN108282522A (zh) * 2018-01-15 2018-07-13 吉浦斯信息咨询（深圳）有限公司 基于动态路由的数据存储访问方法及系统
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法
CN109388657A (zh) * 2018-09-10 2019-02-26 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600553B1 (en) * 2014-05-31 2017-03-21 Veritas Technologies Llc Distributed replication in cluster environments
CN106936623A (zh) * 2015-12-31 2017-07-07 五八同城信息技术有限公司 分布式缓存系统及缓存集群的管理方法
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN108282522A (zh) * 2018-01-15 2018-07-13 吉浦斯信息咨询（深圳）有限公司 基于动态路由的数据存储访问方法及系统
CN108712296A (zh) * 2018-06-07 2018-10-26 郑州云海信息技术有限公司 一种基于分布式的日志监控装置及方法
CN109388657A (zh) * 2018-09-10 2019-02-26 平安科技（深圳）有限公司 数据处理方法、装置、计算机设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475390A (zh) * 2020-04-01 2020-07-31 深圳Tcl数字技术有限公司 日志采集系统部署方法、装置、设备及存储介质
CN112328463A (zh) * 2020-11-27 2021-02-05 中国农业银行股份有限公司 一种日志监控方法及装置
CN112925695A (zh) * 2021-03-29 2021-06-08 浪潮云信息技术股份公司 一种自动化更新配置fluentd的配置文件的方法
CN112925695B (zh) * 2021-03-29 2022-12-27 浪潮云信息技术股份公司 一种自动化更新配置fluentd的配置文件的方法
CN113626151A (zh) * 2021-08-09 2021-11-09 山东可信云信息技术研究院 一种容器云日志收集资源控制方法及系统
CN113626151B (zh) * 2021-08-09 2024-03-08 山东可信云信息技术研究院 一种容器云日志收集资源控制方法及系统
CN115150166A (zh) * 2022-06-30 2022-10-04 广东电网有限责任公司 一种日志收集与分析管理系统
CN115150166B (zh) * 2022-06-30 2024-03-12 广东电网有限责任公司 一种日志收集与分析管理系统

Also Published As

Publication number Publication date
CN110399272B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110399272A (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN109117265A (zh) 在集群中调度作业的方法、装置、设备及存储介质
CN110399271A (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN104618693B (zh) 一种基于云计算的监控视频在线处理任务管理方法及系统
CN103530189B (zh) 一种面向流式数据的自动伸缩及迁移的方法及装置
CN110413585A (zh) 日志处理设备、方法、电子设备及计算机可读存储介质
CN109960585A (zh) 一种基于kubernetes的资源调度方法
CN108519911A (zh) 一种基于容器的集群管理系统中资源的调度方法和装置
CN108228347A (zh) 一种任务感知的Docker自适应调度系统
CN108431796A (zh) 分布式资源管理系统和方法
CN104407926B (zh) 一种云计算资源的调度方法
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN104426976B (zh) 一种虚拟服务器集群在线更新装置及方法
CN110109649A (zh) 针对Web服务的容器控制方法、装置和容器系统
CN112532669B (zh) 一种网络边缘计算方法、装置及介质
CN110221915A (zh) 节点调度方法和装置
CN109901798A (zh) 数据存储方法及装置
CN107967175A (zh) 一种基于多目标优化的资源调度系统及方法
CN110287266A (zh) 一种分布式系统及数据处理方法
CN108875035A (zh) 分布式文件系统的数据存储方法及相关设备
CN111796769A (zh) 云平台日志存储系统扩容方法及装置
CN111796770A (zh) 日志路由负载均衡实现方法及装置
CN113204368B (zh) 应用程序处理方法、服务器及存储介质
CN103561092A (zh) 私有云环境下管理资源的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant