CN115576792A - 日志采集系统及方法 - Google Patents

Abstract

本发明提供一种日志采集系统及方法，应用于数据处理技术领域，该系统包括：采集代理、统一配置平台及日志采集程序；统一配置平台，用于获取采集配置及采集配置对应的配置时间；采集代理，用于与统一配置平台保持心跳；并在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，拉取更新后的采集配置，并启动日志采集程序；日志采集程序，用于采集更新后的采集配置所对应的目标日志。该系统用以解决现有的日志采集系统无法自动采集采集配置对应的目标日志，从而降低了目标日志的采集效率的缺陷，不仅能够实现采集配置的自动更新，还能实现目标日志采集的自动化，从而提高目标日志的采集效率。

Description

日志采集系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志采集系统及方法。

背景技术

随着日志采集系统生产规模的增大，日志监控需要采集的主机日志、服务日志和容器日志等各类日志也变得越来越多。

然而，这些日志的更新都需要用户主动维护主机的采集配置，此外，现有的日志采集系统，普遍需要用户手动将日志采集程序部署到主机上，这就导致现有的日志采集系统无法自动采集采集配置对应的目标日志，从而降低了目标日志的采集效率。

发明内容

本发明提供一种日志采集系统及方法，用以解决现有的日志采集系统无法自动采集采集配置对应的目标日志，从而降低了目标日志的采集效率的缺陷，不仅能够实现采集配置的自动更新，还能实现目标日志采集的自动化，从而提高目标日志的采集效率。

本发明提供一种日志采集系统，包括：采集代理、统一配置平台及日志采集程序；

该统一配置平台，用于获取采集配置及该采集配置对应的配置时间；

该采集代理，用于与该统一配置平台保持心跳；并在基于该心跳携带的预设配置时间及该配置时间，确定该采集配置发生更新的情况下，拉取更新后的采集配置，并启动该日志采集程序；

该日志采集程序，用于采集该更新后的采集配置所对应的目标日志。

根据本发明提供的一种日志采集系统，该采集代理，具体用于在确定该心跳携带的预设配置时间小于等于该配置时间的情况下，确定该采集配置发生更新；其中，该心跳携带的预设配置时间为该采集代理最近一次拉取采集配置时对应的配置时间。

根据本发明提供的一种日志采集系统，还包括：统一配置服务；该统一配置服务，用于响应用户的访问操作；基于该访问操作，根据采集模板，生成采集配置并获取该采集配置对应的配置时间；将该采集配置及该配置时间向该统一配置平台发送；

该统一配置平台，用于接收该统一配置服务发送的该采集配置及该配置时间。

根据本发明提供的一种日志采集系统，该统一配置服务，还用于在容器化场景下，将该采集配置及该采集代理进行关联；在非容器化场景下，基于互联网协议IP映射，将该采集配置及该采集代理进行关联。

根据本发明提供的一种日志采集系统，该采集代理，用于确定采集配置更新标识；基于该采集配置更新标识，向该该统一配置平台发送请求消息，该请求消息用于指示该统一配置平台更新该采集配置；

该统一配置平台，用于接收该采集代理发送的该请求消息；根据该请求消息，更新该采集配置，得到更新后的采集配置；

该采集代理，还用于在该统一配置平台中，拉取该更新后的采集配置。

根据本发明提供的一种日志采集系统，还包括：日志缓存服务；该日志采集程序，用于向该日志缓存服务发送该目标日志；

该日志缓存服务，用于对该目标日志进行缓存。

根据本发明提供的一种日志采集系统，该日志采集程序，用于按照切割规则，对该目标日志进行切割，向该日志缓存服务发送切割得到的多个子日志。

根据本发明提供的一种日志采集系统，该采集代理，还用于在确定容器化环境携带特定节点信息的情况下，在该统一配置平台上进行注册；并在注册成功的情况下，与该统一配置平台保持心跳。

本发明还提供一种日志采集方法，包括：

利用统一配置平台获取采集配置及该采集配置对应的配置时间；

利用采集代理与该统一配置平台保持心跳；并在基于该心跳携带的预设配置时间及该配置时间，确定该采集配置发生更新的情况下，拉取更新后的采集配置，并启动该日志采集程序；

利用日志采集程序采集该更新后的采集配置所对应的目标日志。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述日志采集方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述日志采集方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述日志采集方法。

本发明提供的日志采集系统及方法，该系统包括：采集代理、统一配置平台及日志采集程序；通过所述统一配置平台，用于获取采集配置及所述采集配置对应的配置时间；所述采集代理，用于与所述统一配置平台保持心跳；并在基于所述心跳携带的预设配置时间及所述配置时间，确定所述采集配置发生更新的情况下，拉取更新后的采集配置，并启动所述日志采集程序；所述日志采集程序，用于采集所述更新后的采集配置所对应的目标日志。该系统用以解决现有的日志采集系统无法自动采集采集配置对应的目标日志，从而降低了目标日志的采集效率的缺陷，不仅能够实现采集配置的自动更新，还能实现目标日志采集的自动化，从而提高目标日志的采集效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的日志采集系统的结构示意图之一；

图2是本发明提供的日志采集系统的结构示意图之二；

图3是本发明提供的日志采集系统的结构示意图之三；

图4是本发明提供的日志采集方法的场景示意图；

图5是本发明提供的日志采集方法的流程示意图；

图6是本发明提供的日志采集方法对应的时序流程示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，是本发明提供的日志采集系统的结构示意图，日志采集系统10可以包括：采集代理101、统一配置平台102及日志采集程序103；

统一配置平台102，用于获取采集配置及采集配置对应的配置时间；

采集代理101，用于与统一配置平台102保持心跳；并在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，拉取更新后的采集配置，并启动日志采集程序103；

日志采集程序103，用于采集更新后的采集配置所对应的目标日志。

其中，采集配置指的是日志采集参数；

配置时间指的是统一配置平台102生成采集配置时对应的时间；

心跳指的是采集代理101以固定频率向统一配置平台102汇报采集代理101对应当前状态的方式，该心跳可携带预设配置时间，该预设配置时间是实时变化的；

采集配置发生更新指的是采集配置产生了变化，变化后的采集配置与变化前的采集配置是不同的；

日志可记录日志采集系统10中主机、应用和容器问题的信息，同时，也可监视日志采集系统10中发生的事件。

可选的，日志采集系统10可以包括：统一资源平台106；

采集配置可以包括但不限于以下至少一项：日志的采集方式、日志的采集目标、日志的切割规则及自动关联统一资源平台106中的资源对象等。

可选的，日志的采集方式可以包括：文件方式或协议方式等。

其中，日志的采集目标指的是日志中的特定内容；

日志的切割规则可指示日志采集程序103从每条日志包括的至少一行内容中，标识特定内容；

统一资源平台106可有效管理资源对象对应的基本信息，可选的，该资源对象对应的基本信息可以包括：主机的新增、应用的新增、容器的新增、主机的删除、应用的删除、容器的删除及日志目录变化并发布变更事件等。

可选的，采集配置发生更新可以包括但不限于以下至少一项：采集配置的删除、采集配置的新增、权限变化及日志目录变化等。

可选的，日志可以包括但不限于以下至少一项：主机日志、应用日志及容器日志等。

在本发明实施例中，统一配置平台102在获取采集配置及采集配置对应的配置时间之后，采集代理101可以与统一配置平台102保持心跳；然后，采集代理101基于心跳携带的预设配置时间及配置时间，判断该采集配置是否发生了更新，如果确定该采集配置发生了更新，那么，采集代理101可以在统一配置平台102中拉取更新后的采集配置，同时，启动日志采集程序103；接着，日志采集程序103就能够准确采集更新后的采集配置所对应的目标日志。上述过程能够实现采集配置的自动更新，从而实现日志采集的自动化。

可选的，日志采集程序103，用于以文件方式或协议方式采集更新后的采集配置所对应的目标日志。

其中，文件形式指的是为了存储信息而使用的对日志内容进行特殊编码的方式；

协议方式指的是日志采集系统10中采集代理101、统一配置平台102及日志采集程序103三者之间的通信规则。

日志采集程序103以不同的采集方式，可灵活采集更新后的采集配置所对应的目标日志。

可选的，采集代理101，还用于管理采集配置的生命周期。

其中，生命周期指的是更新周期。

采集代理101可实时管理采集配置的生命周期。

可选的，采集代理101，还用于监控日志采集程序103的日志采集状态。

可选的，日志采集状态可以包括：日志采集过程处于正常状态，或，日志采集过程处于异常状态。

采集代理101可实时监控日志采集程序103，以自动获取目标日志采集过程的当前状态，从而实现对目标日志采集过程的自监控。

可选的，采集代理101，还用于在确定目标日志采集过程处于异常状态的情况下，确定该目标日志对应的异常原因。

采集代理101在对目标日志采集过程进行自监控的过程中，可准确确定该目标日志对应的异常原因，以便后续日志采集系统10基于该异常原因对该目标日志进行相应处理。

可选的，统一配置平台102，还用于提供可视化功能。

统一配置平台102可将日志采集程序103的日志采集状态，和/或，详细日志情况以界面话方式展示到对应的网页（Web）页面，以便用户可及时获取目标日志的采集情况。

可选的，详细日志情况可以包括但不限于以下至少一项：启动成功/失败、采集成功/失败及数据推送成功/失败等具体原因。

统一配置平台102提供可视化功能，不仅可有效统一日志采集系统10的日志采集配置入口，以简化采集配置的整个获取过程，还可有效解决现有技术中，采集配置在主机上手动配置时所带来的风险性及运维的复杂性。

在一些实施例中，采集代理101，具体用于在确定心跳携带的预设配置时间小于等于配置时间的情况下，确定采集配置发生更新。

其中，心跳携带的预设配置时间为采集代理101最近一次拉取采集配置时对应的配置时间。

采集代理101在确定心跳写的的预设配置时间之后，可以判断该预设配置时间与采集配置的配置时间之间的关系：在确定该预设配置时间大于配置时间的情况下，可以确定该采集配置未发生更新，此时，不对该采集配置做任何处理；在确定该预设配置时间小于等于配置时间的情况下，可以确定该采集配置发生了更新，以便日志采集系统10后续实现采集配置的自动更新。

由于统一配置平台102中的采集配置是实时且自动更新的，且心跳携带的预设配置时间也是实时变化的，所以，采集代理101在与统一配置平台102保持心跳的过程中，可以将最近一次拉取采集配置时对应的配置时间作为心跳携带的预设配置时间，以便统一配置平台102中采集配置的实时更新。

在一些实施例中，采集代理101，还用于在确定容器化环境携带特定节点信息的情况下，在统一配置平台102上进行注册；并在注册成功的情况下，与统一配置平台101保持心跳。

其中，容器化环境指的是日志采集系统10中应用的运行环境；

特定节点信息指的是带有标识的信息，可选的，该特征信息可以包括但不限于：开源的 Linux容器自动化运维平台（kubernetes，k8s）信息和/或节点信息等。

其中，k8s信息指的是k8s组件对应的信息；

节点信息指的是不同服务器对应的信息。

可选的，k8s组件可以包括但不限于以下至少一项：主（Master）组件、节点（Node）组件、调度（Pod）组件及服务（Service）组件等。

可选的，节点信息可以包括但不限于以下至少一项：主节点、工作节点及反向代理服务器（Nginx）节点等。

在本发明实施例中，采集代理101可以先判断容器化环境是否携带了特定节点信息；然后，采集代理101在确定该容器化环境携带了特定节点信息的情况下，能够自动地在统一配置平台102上进行注册，以实现采集代理101的注册自动化；然后，采集代理101可以在统一配置平台102中进行注册的过程中，在确定采集代理101在统一配置平台102注册成功的情况下，可以与统一配置平台102保持心跳，以便后续采集代理101基于该心跳，判断采集代理101是否可拉取到更新后的采集配置。

在一些实施例中，如图2所示，是本发明提供的日志采集系统的结构示意图，日志采集系统10还可以包括：统一配置服务104；

统一配置服务104，用于响应用户的访问操作；基于访问操作，根据采集模板，生成采集配置并获取采集配置对应的配置时间；将采集配置及配置时间向统一配置平台102发送；

统一配置平台102，用于接收统一配置服务104发送的采集配置及配置时间。

其中，采集模板指的是统一配置服务104将一些常见的第三方组件对应的组件采集配置及日志的切割规则，按照日志采集配置的不同要求固化到数据库。日志采集系统10在确定采集配置对应目标日志的过程中，统一配置平台102只需要响应用户在该数据库中选择的采集模板，就能够自动生成相应的采集配置，然后，日志采集程序103可实现日志采集程序103获取该采集配置对应的目标日志。

可选的，第三方组件可以包括但不限于以下其中一项：开源流处理平台（kafka）组件、关系型数据库管理系统（mysql）组件及存储系统（redis）组件等。

在本发明实施例中，用户在浏览器上访问统一配置服务104时会产生相应的访问操作；统一配置服务104可以响应该用户的访问操作，并基于该访问操作，根据采集模板，生成采集配置，也就是说，统一配置服务104基于采集配置模板化，可有效简化采集配置的获取过程；同时，统一配置服务104获取生成采集配置时对应的配置时间；然后，统一配置服务104将该采集配置及该配置时间向统一配置平台102发送；最后，统一配置平台102接收统一配置服务104发送的该采集配置及该配置时间。在上述过程中，由于日志采集系统10中内置大量的已经固化第三方组件和自研应用的日志采集配置，所以，用户不需要对每种组件的日志格式、切割规则进行复杂的配置，只需要在浏览器上访问统一配置服务104时输入相应的访问操作，然后，日志采集系统10可以响应该访问操作，根据用户选择的采集模板生成采集配置，从而在很大程度上降低了对用户的技术要求。

在一些实施例中，统一配置服务104，还用于在容器化场景下，将采集配置及采集代理101进行关联；在非容器化场景下，基于互联网协议（Internet Protocol，IP）映射，将采集配置及采集代理101进行关联。

可选的，容器化场景指的是应用程序代码与依赖项可捆绑到单一的虚拟包中；

非容器化场景指的是应用程序代码与依赖项未捆绑到该单一的虚拟包中；

IP映射指的是将采集代理101的IP地址的一个端口映射到统一配置服务104，可互相提供相应的服务。

在容器化场景下，统一配置服务104可以直接将采集配置及采集代理101进行关联；在非容器化场景下，统一配置服务104基于IP映射，能够有效处理大批量采集配置对应映射采集代理101的场景，从而简化采集配置与采集代理10之间的关系映射。

在一些实施例中，采集代理101，用于确定采集配置更新标识；基于采集配置更新标识，向统一配置平台102发送请求消息；

统一配置平台102，用于接收采集代理101发送的请求消息；根据请求消息，更新采集配置，得到更新后的采集配置；

采集代理101，还用于在统一配置平台102中，拉取更新后的采集配置。

其中，采集配置更新标识可用于指示采集代理101生成请求消息；

请求消息用于指示统一配置平台102更新采集配置。

采集代理101在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，可以先确定采集配置更新标识；然后，采集代理101基于该采集配置更新标识生成请求消息，并自动地将该请求消息向统一配置平台102发送；接着，统一配置平台102在接收采集代理101发送的该请求消息之后，可以根据该请求消息，对采集配置进行更新，得到更新后的采集配置；最后，采集代理101可在统一配置平台102中，拉取该更新后的采集配置。在上述过程中，日志采集系统10可实时监听采集配置的更新，并自动采集更新后的采集配置。

可选的，采集代理101，还用于停掉之前启动的日志采集程序103；拉取更新后的采集配置，并再次启动日志采集程序103。

日志采集系统10在采集到一次目标日志之后，采集代理101可停掉日志采集程序103，以节省日志采集程序103的使用功耗；然后，采集代理101再在拉取到新的采集配置的情况下，可再次启动日志采集程序103，以使日志采集程序103可有效获取该新的采集配置对应的目标日志，进而实现日志采集系统10对目标日志的采集。

在一些实施例中，如图3所示，是本发明提供的日志采集系统的结构示意图，日志采集系统10还可以包括：日志缓存服务105；

日志采集程序103，用于向日志缓存服务105发送目标日志；

日志缓存服务105，用于对目标日志进行缓存。

其中，日志缓存服务105也可称为日志缓存服务器集群。

日志采集程序103在获取更新后的采集配置所对应的目标日志之后，可以将该目标日志向日志缓存服务105发送；然后，日志缓存服务105接收日志采集程序103发送的该目标日志并存储该目标日志，以便日志采集系统10后续可直接从日志缓存服务105中调用该目标日志，从而提高该目标日志的使用效率。

在一些实施例中，日志采集程序103，用于按照切割规则，对目标日志进行切割，向日志缓存服务105发送切割得到的多个子日志。

在采集配置包括日志的切割规则的情况下，日志采集程序103可以按照该切割规则，对目标日志进行切割，得到带有标识的多个特定内容，即得到多个子日志；然后，日志采集程序103将该多个子日志向日志缓存服务105发送；接着，日志缓存服务105接收日志采集程序103发送的该多个子日志并存储该多个子日志，以便日志采集系统10后续可直接从日志缓存服务105中调用子日志，从而提高该日志集的使用效率。

示例性的，如图4所示，是本发明提供的日志采集方法的场景示意图，应用于日志采集系统10，日志采集系统可以包括采集代理101、统一配置平台102、日志采集程序103、统一配置服务104、日志缓存服务105及统一资源平台106；该方法可以包括：采集代理101可以从统一配置平台102中拉取更新后的采集配置，并管理该更新后的采集配置的生命周期，可以向统一配置平台102上报更新后的采集配置对应的采集状态，还可以启动日志采集程序103；日志采集程序103可获取更新后的采集配置所对应的目标日志并将该日志向日志缓存服务105发送；日志缓存服务105接收日志采集程序103发送的该目标日志，并将目标日志进行缓存；统一配置平台102可为浏览器提供可视化功能，并基于该浏览器对应统一配置服务104的访问操作，确定采集配置，此外，还可以监控统一资源平台106中资源对象对应的基本信息的更新。

下面对本发明提供的日志采集方法进行描述，下文描述的日志采集方法与上文描述的日志采集系统可相互对应参照。

如图5所示，是本发明提供的日志采集方法的流程示意图，日志采集系统可以包括：采集代理、统一配置平台及日志采集程序；该方法可以包括：

501、利用统一配置平台获取采集配置及采集配置对应的配置时间。

在一些实施例中，日志采集系统还可以包括：统一配置服务；利用统一配置平台获取采集配置及采集配置对应的配置时间，可以包括：利用统一配置服务响应用户的访问操作；基于访问操作，根据采集模板，生成采集配置并获取采集配置对应的配置时间；将采集配置及配置时间向统一配置平台发送；利用统一配置平台接收统一配置服务发送的采集配置及配置时间。

在一些实施例中，步骤501之后，该方法还可以包括：利用统一配置服务在容器化场景下，将采集配置及采集代理进行关联；在非容器化场景下，基于互联网协议IP映射，将采集配置及采集代理进行关联。

在一些实施例中，步骤501之前，该方法还可以包括：利用采集代理在确定容器化环境携带特定节点信息的情况下，在统一配置平台上进行注册。

502、利用采集代理与统一配置平台保持心跳；并在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，拉取更新后的采集配置，并启动日志采集程序。

在一些实施例中，利用采集代理基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新，可以包括：利用采集代理在确定心跳携带的预设配置时间小于等于配置时间的情况下，确定采集配置发生更新，其中，心跳携带的预设配置时间为采集代理最近一次拉取采集配置时对应的配置时间。

在一些实施例中，利用采集代理拉取更新后的采集配置，可以包括：利用采集代理确定采集配置更新标识；基于采集配置更新标识，向统一配置平台发送请求消息，请求消息用于指示统一配置平台更新采集配置；利用统一配置平台接收采集代理发送的请求消息；根据请求消息，更新采集配置，得到更新后的采集配置；利用采集代理在统一配置平台中，拉取更新后的采集配置。

在一些实施例中，利用采集代理与统一配置平台保持心跳，可以包括：利用采集代理在确定采集代理在统一配置平台注册成功的情况下，与统一配置平台保持心跳。

503、利用日志采集程序采集更新后的采集配置所对应的目标日志。

在一些实施例中，日志采集系统还可以包括：日志缓存服务；步骤503之后，该方法还可以包括：利用日志采集程序向日志缓存服务发送目标日志；利用日志缓存服务对目标日志进行缓存。

在一些实施例中，利用日志采集程序将目标日志向日志缓存服务发送，可以包括：利用日志采集程序按照切割规则，对目标日志进行切割，向日志缓存服务发送切割得到的多个子日志。

示例性的，如图6所示，是本发明提供的日志采集方法对应的时序流程示意图。在图6中，601、采集代理101在统一配置平台102上进行注册。602、用户在浏览器上访问统一配置服务104时会产生相应的访问操作，统一配置服务104响应用户的访问操作；基于访问操作，根据采集模板，生成采集配置并获取采集配置对应的配置时间。603、统一配置服务104将采集配置及配置时间将统一配置平台102发送；统一配置平台102接收统一配置服务104发送的采集配置及配置时间。604、采集代理101在确定采集代理101在统一配置平台102注册成功的情况下，与统一配置平台102保持心跳；在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，拉取更新后的采集配置。605、采集代理101将更新后的采集配置将日志采集程序103发送；日志采集程序103接收采集代理101发送的更新后的采集配置。607、日志采集程序103采集更新后的采集配置所对应的目标日志。608、日志采集程序103将目标日志向日志缓存服务105发送；日志缓存服务105接收日志采集程序103发送的目标日志。609、日志缓存服务105将目标日志进行缓存。

在本发明实施例中，利用统一配置平台获取采集配置及采集配置对应的配置时间；利用采集代理与统一配置平台保持心跳；并在基于心跳携带的预设配置时间及配置时间，确定采集配置发生更新的情况下，拉取更新后的采集配置，并启动日志采集程序；利用日志采集程序采集更新后的采集配置所对应的目标日志。该方法用以解决现有的日志采集系统无法自动采集采集配置对应的目标日志，从而降低了目标日志的采集效率的缺陷，不仅能够实现采集配置的自动更新，还能实现目标日志采集的自动化，从而提高目标日志的采集效率。

如图7所示，是本发明提供的电子设备的结构示意图，该电子设备可以包括：处理器（processor）710、通信接口（Communications Interface）720、存储器（memory）730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行日志采集方法，该方法包括：利用统一配置平台获取采集配置及该采集配置对应的配置时间；利用采集代理与该统一配置平台保持心跳；并在基于该心跳携带的预设配置时间及该配置时间，确定该采集配置发生更新的情况下，拉取更新后的采集配置，并启动该日志采集程序；利用日志采集程序采集该更新后的采集配置所对应的目标日志。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的日志采集方法，该方法包括：利用统一配置平台获取采集配置及该采集配置对应的配置时间；利用采集代理与该统一配置平台保持心跳；并在基于该心跳携带的预设配置时间及该配置时间，确定该采集配置发生更新的情况下，拉取更新后的采集配置，并启动该日志采集程序；利用日志采集程序采集该更新后的采集配置所对应的目标日志。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的日志采集方法，该方法包括：利用统一配置平台获取采集配置及该采集配置对应的配置时间；利用采集代理与该统一配置平台保持心跳；并在基于该心跳携带的预设配置时间及该配置时间，确定该采集配置发生更新的情况下，拉取更新后的采集配置，并启动该日志采集程序；利用日志采集程序采集该更新后的采集配置所对应的目标日志。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种日志采集系统，其特征在于，包括：采集代理、统一配置平台及日志采集程序；

所述统一配置平台，用于获取采集配置及所述采集配置对应的配置时间；

所述采集代理，用于与所述统一配置平台保持心跳；并在基于所述心跳携带的预设配置时间及所述配置时间，确定所述采集配置发生更新的情况下，拉取更新后的采集配置，并启动所述日志采集程序；

所述日志采集程序，用于采集所述更新后的采集配置所对应的目标日志。

2.根据权利要求1所述的系统，其特征在于，

所述采集代理，具体用于在确定所述心跳携带的预设配置时间小于等于所述配置时间的情况下，确定所述采集配置发生更新；

其中，所述心跳携带的预设配置时间为所述采集代理最近一次拉取采集配置时对应的配置时间。

3.根据权利要求1所述的系统，其特征在于，还包括：统一配置服务；

所述统一配置服务，用于响应用户的访问操作；基于所述访问操作，根据采集模板，生成采集配置并获取所述采集配置对应的配置时间；将所述采集配置及所述配置时间向所述统一配置平台发送；

所述统一配置平台，用于接收所述统一配置服务发送的所述采集配置及所述配置时间。

4.根据权利要求3所述的系统，其特征在于，

所述统一配置服务，还用于在容器化场景下，将所述采集配置及所述采集代理进行关联；在非容器化场景下，基于互联网协议IP映射，将所述采集配置及所述采集代理进行关联。

5.根据权利要求1所述的系统，其特征在于，

所述采集代理，用于确定采集配置更新标识；基于所述采集配置更新标识，向所述统一配置平台发送请求消息，所述请求消息用于指示所述统一配置平台更新所述采集配置；

所述统一配置平台，用于接收所述采集代理发送的所述请求消息；根据所述请求消息，更新所述采集配置，得到更新后的采集配置；

所述采集代理，还用于在所述统一配置平台中，拉取所述更新后的采集配置。

6.根据权利要求1-5中任一项所述的系统，其特征在于，还包括：日志缓存服务；

所述日志采集程序，用于向所述日志缓存服务发送所述目标日志；

所述日志缓存服务，用于对所述目标日志进行缓存。

7.根据权利要求6所述的系统，其特征在于，

所述日志采集程序，具体用于按照切割规则，对所述目标日志进行切割，向所述日志缓存服务发送切割得到的多个子日志。

8.根据权利要求1-5中任一项所述的系统，其特征在于，

所述采集代理，还用于在确定容器化环境携带特定节点信息的情况下，在所述统一配置平台上进行注册；并在注册成功的情况下，与所述统一配置平台保持心跳。

9.一种日志采集方法，其特征在于，应用于上述权利要求1-8中任一所述日志采集系统，所述方法包括：

利用统一配置平台获取采集配置及所述采集配置对应的配置时间；

利用采集代理在确定所述采集代理在所述统一配置平台注册成功的情况下，与所述统一配置平台保持心跳；在基于所述心跳携带的预设配置时间及所述配置时间，确定所述采集配置发生更新的情况下，拉取更新后的采集配置，并启动所述日志采集程序；

利用日志采集程序采集所述更新后的采集配置所对应的目标日志。

Images