CN113918436A

CN113918436A - 日志处理方法及装置

Info

Publication number: CN113918436A
Application number: CN202111338712.0A
Authority: CN
Inventors: 康凤筠; 任政; 武文轩
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2021-11-12
Filing date: 2021-11-12
Publication date: 2022-01-11

Abstract

本申请提供了一种日志处理方法及装置，可用于金融领域或其他领域，所述日志处理方法，包括：实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据；将所述多个日志指标的日志数据存储在目标分布式数据库中；基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示。本申请能够降低数据传输和存储压力，能够提高日志展示的效率，进而能够保证容器的稳定运行。

Description

日志处理方法及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志处理方法及装置。

背景技术

Kubernetes或称为K8s为用于容器集群的自动化部署、扩容以及运维的开源平台，可管理云平台中多个主机上的容器化的应用，让基于多架构服务器部署容器化的应用简单并且高效。随着云上应用的广泛部署，容器越来越多，保障容器的稳定运行愈发重要。在实际生产中，运维支持人员需要实时监控容器日志来查看容器的运行状况。

在现有技术中，通常采集完整的容器日志记录，并将所有的容器日志记录展示，采集到的日志记录中存在大量的脏数据，难以从大量的脏数据中快速找到实际需要的日志数据，数据存储和传输压力较大，容器日志监控效率低，同时，监控不同容器运行情况所需要的日志数据可能不同，目前在采集日志数据时，难以对不同的容器进行区分，进而影响容器日志监控的效率。

发明内容

针对现有技术中容器日志处理过程中数据量大且效率低的问题，本申请提出了一种日志处理方法及装置。

为了解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种日志处理方法，包括：

实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据；

将所述多个日志指标的日志数据存储在目标分布式数据库中；

基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示。

进一步地，所述根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据，包括：

根据各个容器各自对应的日志采集规则和所述新增的容器日志记录，获得多条日志指标记录；

其中，每条日志指标记录包括：多个日志指标的日志数据。

进一步地，所述新增的容器日志记录和日志指标记录之间一一对应。

进一步地，所述将所述多个日志指标的日志数据存储在目标分布式数据库中，包括：

将所述日志数据及其备份存储在目标分布式数据库的不同节点中。

进一步地，在所述将所述日志数据及其备份存储在目标分布式数据库的不同节点中之后，还包括：

从所述目标分布式数据库中，获得所述日志数据中的核心日志数据在预设的时间范围内对应的数据量和备份数据量；

若所述核心日志数据在预设的时间范围内对应的数据量和备份数据量相同，则基于所述数据量监测所述核心日志数据是否符合预设的报警规则，若是，则输出所述核心日志数据对应的报警信息。

进一步地，在所述将所述多个日志指标的日志数据存储在目标分布式数据库中之后，还包括：

若接收到日志查询请求，则根据该日志查询请求中的目标日志指标，从所述目标分布式数据库中获得该目标日志指标的日志数据并输出。

第二方面，本申请提供一种日志处理装置，包括：

采集模块，用于实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据；

存储模块，用于将所述多个日志指标的日志数据存储在目标分布式数据库中；

展示模块，用于基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示。

进一步地，所述采集模块，包括：

采集单元，用于根据各个容器各自对应的日志采集规则和所述新增的容器日志记录，获得多条日志指标记录；

其中，每条日志指标记录包括：多个日志指标的日志数据。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志处理方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述的日志处理方法。

由上述技术方案可知，本申请提供一种日志处理方法及装置。其中，该方法包括：实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据；将所述多个日志指标的日志数据存储在目标分布式数据库中；基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示，能够降低数据传输和存储压力，能够提高日志展示的效率，进而能够保证容器的稳定运行；具体地，能够提高日志采集和查询的效率，可以实时展示应用的容器日志，提高容器日志的可视化程度，及时跟踪到容器的运行动态；在日志指标异常时，可以及时预警。该方案的优点具体包括：可以根据日志采集规则采集日志数据，可以提高日志数据采集的灵活性；可以实时展示容器日志，也可以按照特定条件展示日志数据；可以提高容器日志数据的可视化程度；可以对日志异常情况及时报警。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中的日志处理方法的流程示意图；

图2是本申请实施例中的K8s集群的结构示意图；

图3是本申请实施例中的K8s集群和clickhouse集群的关系示意图；

图4是本申请另一实施例中的日志处理方法的流程示意图；

图5是本申请又一实施例中的日志处理方法的流程示意图；

图6是本申请实施例中的日志处理装置的结构示意图；

图7为本申请实施例的电子设备的系统构成示意框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，通常是通过模板名获取到容器所在宿主机、集群和容器ID，再根据容器ID查询到具体的历史容器日志，难以实现容器日志实时展示和查询。同时，日志存储有延迟，只能够根据历史时间段查询容器日志，难以实时展示应用所需日志，导致无法实时查看到容器的启动情况。对于生产环境同一个应用的模板会在多个集群上部署多个副本，容器会随机部署在宿主机上。现在的技术方案不能跟踪到具体的容器，只能先根据模板查询到容器所在集群和宿主机，然后再根据集群、宿主机、容器ID查询到该容器的历史日志信息，操作繁琐。

针对目前的技术方案中，不能实时跟踪应用日志和查询具体容器日志操作过于繁琐的问题，提出一种应用容器运行日志的实时展示方案。该方案克服了现有日志查询时间延迟问题和定位具体容器繁琐的问题，提供了用户操作简单、实时高效的日志查询方案。该方案支持用户自定义日志采集格式和内容，用户可以按需定制采集日志，配置灵活。通过该方案，运维支持人员可以实时查看到具体的容器运行日志，从而可以实时跟踪到容器的运行情况，以便应用迅速定位到异常的容器。

基于此，为了降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行，本申请实施例提供一种日志处理装置，该装置可以是一服务器或客户端设备，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备和智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。

在实际应用中，进行日志处理的部分可以在如上述内容所述的服务器侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。

需要说明的是，本申请公开的日志处理方法及装置可用于金融技术领域，也可用于除金融技术领域之外的任意领域，本申请公开的日志处理方法及装置的应用领域不做限定。

具体通过下述各个实施例进行说明。

为了降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行，本实施例提供一种执行主体是日志处理装置的日志处理方法，该日志处理装置包括但不限于服务器，如图1所示，该方法具体包含有如下内容：

步骤100：实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据。

具体地，所述日志采集规则可以包含有正则表达式，通过正则表达式，确定所述多个日志指标的日志数据；进一步地，可以根据各个容器各自对应的预先配置的日志名称、日志所在的文件路径和首行标识(即一条日志的开始)，确定采集的日志路径和位置(即从哪一行开始采)，判断该位置是否存在新增的容器日志记录。

在一种举例中，采集日志的正则表达式可以将符合该正则表达式的日志内容转化为相应的数据库表字段，该正则表达式可以如下所示：

'^{.*\"apptime\":\"(？P<apptime>[^\"]+)\",\"loginfo\":\"(？P<loginfo>[^\"]+)\",\"hostIP\":\"(？P<hostIP>[^\"]+)\",\"hostName\":\"(？P<hostName>[^\"]+)\",\"logName\":\"(？P<logName>[^\"]+)\",\"logType\":\"(？P<logType>[^\"]+)\",\"appName\":\"(？P<appName>[^\"]+)\",\"destination\":\"(？P<destination>[^\"]+)\",.*,\"@log_name\":(？P<log_time>\d+)[,}].*",\"time\":\"(？P<time>[^\"]+)\"}$'

可以将这段正则表达式转化为以下几个字段：

['apptime','loginfo','hostIP','hostName','logName','logType','appName','destination','log_name','time']

进一步地，可以接收前端传入用户定义的日志名称、日志所在的文件路径、首行标识(即一条日志的开始)和日志格式(即正则表达式)等的配置，例如，日志所在的文件路径：ay/logs/cocoa_admin.log，首行标识：/^\\d{4}-\\d{2}-\\d{2}/。

所述新增的容器日志记录可以表示完整的容器日志记录，每条容器记录可以对应多个日志属性，如，时间戳、应用名、模板名、pod名、容器名、容器ID、所在集群、宿主机和日志详情等，日志详情中可以包含有交易类型；所述日志指标可以是应用正则表达式对新增的容器日志记录进行筛选后得到的日志属性；可以预先配置日志采集规则；可以将每个容器各自对应的日志采集规则设置在该容器对应的Fluentd数据收集器中；如图2所示，kubernetes集群具体可以包含有多个kube-node节点，每个kube-node节点中包含有其对应的pod，每个pod包含有Fluentd数据收集器和业务容器，其中，pod是kubernetes集群中运行部署应用或服务的最小单元，可以支持多容器；所述目标kubernetes集群的个数可以是一个或多个。

步骤200：将所述多个日志指标的日志数据存储在目标分布式数据库中。

具体地，clickhouse集群和kubernetes集群之间的关系可以如图3所示，可以将收集到的日志数据实时上送至clickhouse集群中，应用数据库分布式表存储日志数据；在写入clickhouse集群时，通过调用驱动jdbc负载写入策略，该策略支持轮询方式写入数据，保证写入的负载均衡。本地数据表以多分片和单副本的形式写入日志数据，从而在保证集群高可用的基础上，避免存储浪费。

步骤300：基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示。

具体地，可以支持每秒刷新展示大屏，以便于实时跟踪日志详情。

在现有技术中，通常采集每个node节点中的所有日志数据，并将所有的日志数据展示，采集到的日志数据中存在大量的脏数据，难以从大量的脏数据中快速找到实际需要的日志数据，存储压力较大，日志查询效率低，同时，在采集日志数据时，难以区分不同容器，影响采集的日志数据的可靠性。基于此，为了在保证日志采集的效率的基础上，提高日志采集的准确性，降低日志数据传输的压力，在本申请一个实施例中，步骤100所述的根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据，包括：

步骤101：根据各个容器各自对应的日志采集规则和所述新增的容器日志记录，获得多条日志指标记录；其中，每条日志指标记录包括：多个日志指标的日志数据。

所述新增的容器日志记录和日志指标记录之间可以一一对应。

为了避免单节点故障导致数据丢失问题，提高日志数据存储的可靠性，参见图5，在本申请一个实施例中，步骤200包括：

步骤201：将所述日志数据及其备份存储在目标分布式数据库的不同节点中。

具体地，可以将目标分布式数据库划分为多个区域，其中，一个区域存储日志数据，剩余区域用于存储备份数据，每个区域均可以包含有多个节点。

为了在保证日志数据的可靠性的基础上，实现对异常日志数据的及时报警，在本申请一个实施例中，在步骤201之后还包括：

步骤400：从所述目标分布式数据库中，获得所述日志数据中的核心日志数据在预设的时间范围内对应的数据量和备份数据量。

具体地，所述核心日志数据可以为所述多个日志数据中的至少一个；如：转账交易类型；可以从所述目标分布式数据库中获得预设的时间范围内交易类型为转账交易类型的记录和备份记录，并确定该记录的条数作为核心日志数据在预设的时间范围内对应的数据量，备份记录的条数作为核心日志数据在预设的时间范围内对应的备份数据量；所述预设的时间范围可以根据实际需要进行设置，本申请对此不作限制，如，一天、一周或者一个月等。

步骤500：若所述核心日志数据在预设的时间范围内对应的数据量和备份数据量相同，则基于所述数据量监测所述核心日志数据是否符合预设的报警规则，若是，则输出所述核心日志数据对应的报警信息。

具体地，若所述核心日志数据在预设的时间范围内对应的数据量和备份数据量相同，则确定所述核心日志数据可靠，否则，可能存在数据丢失等问题；所述预设的报警规则可以根据实际需要进行设置，本申请对此不作限制，举例来说，转账交易类型在一天内的数据量，可以表示转账交易在一天内的交易量；若一天内的交易量同比和环比下降或者上升超过20％，则可以通过邮件发送报警信息。

为了进一步提高日志数据的可视化程度，同时提高输出显示的实时性，参见图4，在本申请一个实施例中，在步骤200之后，还包括：

步骤600：若接收到日志查询请求，则根据该日志查询请求中的目标日志指标，从所述目标分布式数据库中获得该目标日志指标的日志数据并输出。

具体地，可以应用分布式引擎从所述目标分布式数据库中获得日志指标为所述目标日志指标的日志数据。可以通过分布式引擎读取数据，并在读取数据时自动聚合，该引擎支持从clickhouse集群中的每个节点的本地数据表中拉取数据；分布式引擎数据读写效率很高，单节点每秒读写可达到50万条，满足生产环境数据大规模实时读写的要求。同时，可以支持按时间段查询日志数据，并将查询结果导出，便于接下来根据查询结果分析容器问题。

从软件层面来说，为了降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行，本申请提供一种用于实现所述日志处理方法中全部或部分内容的日志处理装置的实施例，参见图6，所述日志处理装置具体包含有如下内容：

采集模块10，用于实时监测目标kubernetes集群的容器中是否存在新增的容器日志记录，若是，则根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据；

存储模块20，用于将所述多个日志指标的日志数据存储在目标分布式数据库中；

展示模块30，用于基于grafana配置仪表盘和所述目标分布式数据库，将所述多个日志指标的日志数据输出展示。

在本申请一个实施例中，所述采集模块，包括：

其中，每条日志指标记录包括：多个日志指标的日志数据。

在本申请一个实施例中，所述存储模块包括：

存储单元，用于将所述日志数据及其备份存储在目标分布式数据库的不同节点中。

本说明书提供的日志处理装置的实施例具体可以用于执行上述日志处理方法的实施例的处理流程，其功能在此不再赘述，可以参照上述日志处理方法实施例的详细描述。

为了进一步说明本方案，本申请提供一种日志处理装置的应用实例，在本应用实例中，所述日志处理装置包括：采集模块、存储模块和展示模块，具体描述如下：

采集模块，用于基于日志采集规则，采集容器日志并将日志发送到存储模块；整个过程都是实时的。采集模块，探测到容器日志发生变化，实时采集日志并批量上送至存储模块。

存储模块，用于存储采集到的容器日志；接收日志采集模块发送的容器日志，并实时存储。可以利用分布式数据库进行存储，以缓解存储压力。可以将容器日志随机轮询写入到存储节点，从而达到负载均衡存储，避免单节点压力过大问题。每份数据可以存储两个副本，保证容器日志的高可用，避免单节点故障导致数据丢失问题。

展示模块，用于将存储的日志进行展示和查询；可以选择需要展示的字段，实时滚动展示数据。尤其在应用投产期间，可以通过该展示面板，关注到容器启动过程中的日志，从而判断容器是否按照预期进行启动。同时该面板支持按时间段查询和下载日志。

由上述描述可知，本申请提供的日志处理方法及装置，能够降低数据传输和存储压力，能够提高日志展示的效率，进而能够保证容器的稳定运行；具体地，可以实时展示应用的容器日志，提高容器日志的可视化程度，及时跟踪到容器的运行动态；在日志指标异常时，可以及时预警。该方案的优点具体包括：可以根据日志采集规则采集日志，可以提高日志采集的灵活性；可以实时展示容器日志，可以按照特定条件展示日志；可以提高容器日志的可视化程度；可以对日志异常情况及时报警。

从硬件层面来说，为了降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行，本申请提供一种用于实现所述日志处理方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现所述日志处理装置以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述日志处理方法的实施例及用于实现所述日志处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图7为本申请实施例的电子设备9600的系统构成的示意框图。如图7所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图7是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在本申请一个或多个实施例中，日志处理功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：

从上述描述可知，本申请的实施例提供的电子设备，能够降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行。

在另一个实施方式中，日志处理装置可以与中央处理器9100分开配置，例如可以将日志处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现日志处理功能。

如图7所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图7中所示的所有部件；此外，电子设备9600还可以包括图7中没有示出的部件，可以参考现有技术。

如图7所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

上述描述可知，本申请的实施例提供的电子设备，能够降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行。

本申请的实施例还提供能够实现上述实施例中的日志处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的日志处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

从上述描述可知，本申请实施例提供的计算机可读存储介质，能够降低数据传输和存储压力，提高日志展示的效率，进而保证容器的稳定运行。

本申请中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种日志处理方法，其特征在于，包括：

2.根据权利要求1所述的日志处理方法，其特征在于，所述根据所述容器对应的日志采集规则，从所述新增的容器日志记录中，获得多个日志指标的日志数据，包括：

其中，每条日志指标记录包括：多个日志指标的日志数据。

3.根据权利要求1所述的日志处理方法，其特征在于，

所述新增的容器日志记录和日志指标记录之间一一对应。

4.根据权利要求1所述的日志处理方法，其特征在于，所述将所述多个日志指标的日志数据存储在目标分布式数据库中，包括：

5.根据权利要求4所述的日志处理方法，其特征在于，在所述将所述日志数据及其备份存储在目标分布式数据库的不同节点中之后，还包括：

6.根据权利要求1所述的日志处理方法，其特征在于，在所述将所述多个日志指标的日志数据存储在目标分布式数据库中之后，还包括：

7.一种日志处理装置，其特征在于，包括：

8.根据权利要求7所述的日志处理装置，其特征在于，所述采集模块，包括：

其中，每条日志指标记录包括：多个日志指标的日志数据。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述的日志处理方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至5任一项所述的日志处理方法。