CN107609129B - 日志实时处理系统 - Google Patents

Abstract

本发明公开了一种日志实时处理系统，该系统包括：日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日志机提供的待处理的日志内容地址；至少一个下载机，适于根据日志内容地址，下载各个机房产生的日志内容；日志消费机，适于对日志内容进行实时消费处理；至少一个上传机，适于将日志内容上传到分布式存储系统。利用本发明提供的一种日志实时处理系统，将各个机房的产生的实时日志数据集中到一个机房中进行下载、实时消费以及上传处理，提升了实时日志处理的效率，并且能够在发生故障或者新增业务之后，对该一个机房进行维护或扩展即可，能够极大的降低维护难度及成本。

Description

日志实时处理系统

技术领域

本发明涉及计算机技术领域，具体涉及一种日志实时处理系统。

背景技术

随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互 联网的业务线都在不断地产生实时日志数据，对产生的实时日志数据进行进 一步地处理以对互联网业务的运行进行反馈是相当重要的工作之一。现有技 术中，对实时日志数据的分析处理是通过在各个机房中建立处理系统，每一 个处理系统针对对应的机房进行分析处理。

然而，现有技术中的这种处理系统散布在各个机房里，部署麻烦；并且 分别对各个机房的日志进行处理，使得处理的文件数量大；另外，当出现故 障或新增业务时，需要对每个机房的处理系统进行维护，维护成本高，难度 大；同时，该处理系统不能实现将实时日志数据上传到存储系统中。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分 地解决上述问题的一种日志实时处理系统。

根据本发明的一个方面，提供了一种日志实时处理系统，包括：

日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日 志机提供的待处理的日志内容地址；

至少一个下载机，适于根据日志内容地址，下载各个机房产生的日志内 容；

日志消费机，适于对日志内容进行实时消费处理；

至少一个上传机，适于将日志内容上传到分布式存储系统。

可选的，该系统还包括：第一处理队列，适于获取并保存至少一个下载 机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给 日志消费机；

第二处理队列，适于获取并保存至少一个下载机提供的日志内容地址以 及日志内容，将日志内容地址以及日志内容提供给至少一个上传机。

可选的，实时消费处理包括：规则计数处理、最近日志内容查询处理、 日志回传处理和/或日志推送处理。

可选的，下载机进一步包括：

第一主进程模块，适于创建至少一个第一线程处理模块，控制至少一个 第一线程处理模块处理下载任务；

第一日志获取模块，适于从日志发现机获取待处理的日志内容地址；

至少一个第一线程处理模块，适于利用第一日志获取模块提供的日志内 容地址，下载各个机房产生的日志内容。

可选的，下载机还包括：第一监控模块，适于监控并定时输出第一日志 获取模块以及至少一个第一线程处理模块的状态信息；

第一主进程模块进一步适于：根据至少一个第一线程处理模块的状态信 息优化分配下载任务。

可选的，下载机还包括：第一处理通道，适于缓存下载任务。

可选的，日志消费机进一步包括：

第二主进程模块，适于创建至少一个第二线程处理模块，控制至少一个 第二线程处理模块处理实时消费任务；

第二日志获取模块，适于从第一处理队列中获取日志内容地址以及日志 内容；

至少一个第二线程处理模块，适于对第二日志获取模块提供的日志内容 进行实时消费处理。

可选的，日志消费机还包括：第二监控模块，适于监控并定时输出第二 日志获取模块以及至少一个第二线程处理模块的状态信息；

第二主进程模块进一步适于：根据至少一个第二线程处理模块的状态信 息优化分配实时消费任务。

可选的，日志消费机还包括：第二处理通道，适于缓存实时消费任务。

可选的，第二线程处理模块进一步包括：

规则计数处理单元，适于统计命中云规则平台提供的一个或多个规则的 日志内容的数量；

最近日志内容查询处理单元，适于查询最近命中云规则平台提供的一个 或多个规则的预设数量的日志内容；

日志回传处理单元，适于将命中规则的日志内容的数量和/或命中规则的 预设数量的日志内容回传至一个或多个机房；

和/或，日志推送处理单元，适于将日志内容推送给下游服务器。

可选的，上传机进一步包括：

第三主进程模块，适于创建至少一个第三线程处理模块，控制至少一个 第三线程处理模块处理上传任务；

第三日志获取模块，适于从第二处理队列中获取日志内容地址以及日志 内容；

至少一个第三线程处理模块，适于将第三日志获取模块提供的日志内容 上传到分布式存储系统。

可选的，上传机还包括：第三监控模块，适于监控并定时输出第三日志 获取模块以及至少一个第三线程处理模块的状态信息；

第三主进程模块进一步适于：根据至少一个第三线程处理模块的状态信 息优化分配上传任务。

可选的，上传机还包括：第三处理通道，适于缓存上传任务。

可选的，至少一个上传机还适于：将日志内容按照预设规则进行合并处 理。

根据本发明的一种日志实时处理系统，通过接收各个机房的日志机的日 志汇报消息，获取日志机提供的待处理的日志内容地址，实现将所有机房的 待处理的实时日志数据集中到一个机房，相对于在各个机房中进行处理的方 式减少了日志机的负载，同时便于进行分析处理，并且可根据整体布局对实 时日志数据进行合并，减少文件数，提高处理的效率；根据日志内容地址下 载各个机房产生的日志内容，将实时日志数据下载到本地，方便在本地进行 日志消费以及数据上传，能够极大的提高处理效率；将日志内容上传到分布式存储系统中，使得需要对实时日志数据进行分析时能够直接获取，并且分 布式存储系统读写效率高，能够提高查询、写入等操作的效率；对日志内容 进行实时消费处理，可以实现按照一定的规则对实时日志数据进行统计，以 利用统计结果进行反馈和/或将统计结果推送给下游服务器；另外，本发明将 各个机房的实时日志数据集中到一个机房中进行处理的方式，相对于现有技 术需要在各个机房中对实时日志数据进行处理的方式而言结构更简单，并且 能够在发生故障或者新增业务之后，仅需要对该一个机房进行维护或扩展即 可，而无需针对每一个机房进行处理，能够极大的降低维护难度及成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它 目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：

图1示出了本发明一个实施例的日志实时处理系统的功能框图；

图2示出了本发明另一个实施例的日志实时处理系统的功能框图；

图3示出了本发明一个实施例的日志实时处理系统中的下载机的功能框 图；

图4示出了本发明一个实施例的日志实时处理系统中的日志消费机的功 能框图；

图5示出了本发明一个实施例的日志实时处理系统中的上传机的功能框 图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示 了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不 应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地 理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了本发明一个实施例的日志实时处理系统的功能框图。本实施 例提供的日志实时处理系统设置在一个机房中，该日志实时处理系统能够对 所有其他机房产生的实时日志进行采集及处理。如图1所示，该系统包括： 日志发现机10、至少一个下载机11、日志消费机12以及至少一个上传机13。

日志发现机10，适于接收位于各个机房的日志机的日志汇报消息，获取 日志机提供的待处理的日志内容地址。

实时日志数据的数据量大，并且记录着重要的信息，例如访问信息、服 务信息等，利用这些实时日志数据提供的信息能够对业务的运行进行反馈以 及对历史的业务进行统计分析。以云引擎部门的全部在线服务日志为例，处 理系统共需处理50多项的项目日志，实时日志数据的数据总量在压缩前达到 165T每日，压缩后为30T每日，其中包括云查杀国内版11T，共800亿行， 网盾国内版5T，共200亿行，人工智能引擎5至8T，可见实时日志数据的数 量庞大，同时在对这些实时日志数据进行处理时，必须满足处理结构简单、 容易扩展、数据不丢失以及延时小的要求，才能实现及时便捷的得到处理结 果，利用该处理结果进行统计分析以及反馈。

每个机房有一组日志机，专门用来收集该机房的各个业务日志，其中， 每一个业务对应一个文件夹，每隔一段时间生成一个文件落地到磁盘，可选 时间粒度有分钟、小时和天。具体地，各个机房的日志机记录有该机房中所 有引擎的在线服务的实时日志数据，日志机以文件为单位切分实时日志数据， 一份文件即一份实时日志数据，通过日志机上的日志汇报消息将日志机上的 实时日志数据的日志内容地址汇报给日志发现机10，其中，日志内容地址为 对应实时日志数据的下载地址。

在日志实时处理系统所在的本地机房中有日志发现机10，当各个机房的 日志机有新文件生成的时候会向日志发现机10汇报，日志发现机10获取到 日志机提供的待处理的日志内容地址，并将该日志内容地址复制到存放日志 内容地址的队列中，以图1中的日志发现机10为例，机房1和机房2中的日 志机分别通过日志汇报程序将云查杀和网盾产生的实时日志数据的日志内容 地址汇报给日志发现机10，日志发现机10获取到该日志内容地址，并将该日 志内容地址复制到存放队列中，其中，存放队列中存放的日志内容地址依然 是以文件为单位，以便直接根据存放的顺序从队列中获取文件的下载地址进 行下载，避免造成重复下载或者遗漏的情况。

至少一个下载机11，适于根据日志内容地址，下载各个机房产生的日志 内容。

其中，日志内容地址与实时日志数据对应，根据所有的日志内容地址可 以下载各个机房产生的所有的实时日志数据，即日志内容，该日志内容需要 进行进一步处理，例如实时消费处理、上传处理。

具体地，可根据业务数量和/或日志内容的下载负担适当扩展下载机11 的数量，由多个下载机11配合完成所有的下载任务，减少下载耗时，提高了 整个系统的处理速度。图1中仅示出了2个下载机，本发明对下载机的数量 不作限制。

日志消费机12，适于对日志内容进行实时消费处理。

其中，日志内容的数量庞大并且日志内容本身携带很多信息，然而，针 对不同的需求，并不需要所有的日志内容或者日志内容携带的所有信息，而 只需要统计日志内容的一部分信息，或者只需要查询满足某种规则的日志内 容，并利用这些结果去进行反馈，例如查询满足一个或多个规则的预设数量 的日志内容，因此，本实施例中的日志消费机12通过对日志内容进行实时消 费处理以得到满足预设条件的日志内容和/或统计结果。本实施例中，对规则 以及数量等统计或查询的条件不做限定。

具体地，实时消费处理的方式可根据实际对数据的需求不断进行扩展， 即在日志消费机12中扩展新的功能，实时消费处理的结果可用于提供给需要 该结果数据的下游服务器，还可用于回传给各个机房以指导业务的分配与运 行，或者反馈给云平台以进行历史数据的记录或大数据分析。

至少一个上传机13，适于将日志内容上传到分布式存储系统。

具体地，上传机13将下载的日志内容上传到分布式存储系统中，例如上 传到Hadoop集群中，利用分布式存储系统的多节点存储方式可以缓解存储压 力，并且可以根据不同的分类将日志内容存储在不同的节点中，例如根据业 务分类、根据机房分类等，进而便于读取数据时可以直接从特定的节点中去 读。

并且，上传机13还可以按照预设规则对获取的日志内容进行合并处理， 具体地，不同机房的同一业务可进行合并，进一步的，可按照 product-combo-level规则进行合并，即将相同的product或相同的combo的日 志内容进行合并。上传机13通过对日志内容进行合并，能够减少上传到分布 式存储系统的文件数，可以提高压缩比，减少压缩后的文件大小。

在本发明的另一些实施例中，日志实时处理系统包括多个上传机13，上 传机13的数量设置可参考下列因素，其一，对整个处理系统的实时性的要求， 适当增加上传机13的数量来配合完成上传的任务，降低处理系统的延时；其 二，根据不同的需求将日志内容分类存储到不同的分布式存储系统，通过多 个上传机13将能够满足不同需求的日志内容上传到不同的分布式存储系统 中。

本实施例提供的日志实时处理系统，通过接收各个机房的日志机的日志 汇报消息，获取日志机提供的待处理的日志内容地址，实现将所有机房的待 处理的实时日志数据集中到一个机房，便于进行分析处理，并且可根据整体 布局对实时日志数据进行合并，减少文件数，提高处理的效率；根据日志内 容地址下载各个机房产生的日志内容，将实时日志数据下载到本地，方便在 本地进行日志消费以及数据上传，能够极大的提高处理效率；将日志内容上 传到分布式存储系统中，使得需要对实时日志数据进行分析时能够直接获取， 并且分布式存储系统读写效率高，能够提高查询、写入等操作的效率；对日 志内容进行实时消费处理，可以实现按照一定的规则对实时日志数据进行统 计，以利用统计结果进行反馈和/或将统计结果推送给下游服务器；另外，本 发明将各个机房的实时日志数据集中到一个机房中进行处理的方式，相对于 现有技术需要在各个机房中对实时日志数据进行处理的方式而言结构更简 单，并且能够在发生故障或者新增业务之后，仅需要对该一个机房进行维护 或扩展即可，而无需针对每一个机房进行处理，能够极大的降低维护难度及成本。

图2示出了本发明另一个实施例的日志实时处理系统的功能框图。如图2 所示，该系统在图1的基础上还包括：第一处理队列24以及第二处理队列25。

其中，第一处理队列24，适于获取并保存至少一个下载机提供的日志内 容地址以及日志内容，将日志内容地址以及日志内容提供给日志消费机；第 二处理队列25，适于获取并保存至少一个下载机提供的日志内容地址以及日 志内容，将日志内容地址以及日志内容提供给至少一个上传机。

具体地，日志内容地址与日志内容对应，将下载机11提供的日志内容地 址以及日志内容保存在第一处理队列24和第二处理队列25中，其中，第一 处理队列24中保存的日志内容地址以及日志内容用于进行实时消费；第二处 理队列25中保存的日志内容地址以及日志内容用于进行上传，若上传机13 为多个，则需要根据不同的考虑因素确定将哪些日志内容通过哪个上传机13 上传。另外，若有多个下载机11，需将所有下载机11中的日志内容地址以及 日志内容保存到第一处理队列24和第二处理队列25中。

本实施例中，第一处理队列和第二处理队列中都存储有日志内容及日志 内容地址，在对日志内容进行实时消费处理时，从第一处理队列中获取日志 内容地址和日志内容；在将日志内容上传到分布式存储系统中时，从第二处 理队列中获取日志内容地址和日志内容，这种分别存储的方式能够使上传和 处理两个过程互不影响，使其获取的数据源不会发生混乱，并且避免了保存 在一个处理队列中，由于实时消费处理和上传处理的不同步导致的重复处理 和/或上传，或者遗漏处理和/或上传的问题。

图3示出了本发明一个实施例的日志实时处理系统中的下载机的功能框 图。如图3所示，该下载机11进一步包括第一主进程模块311，第一日志获 取模块312、至少一个第一线程处理模块313、第一监控模块314以及第一处 理通道315。

第一主进程模块311，适于创建至少一个第一线程处理模块，控制至少一 个第一线程处理模块处理下载任务。图3中，第一主进程模块311用于获取 第一监控模块314提供的该下载机11中各个模块的工作状况汇报信息，并根 据该汇报信息直接或间接控制下载机11中的各个模块的工作，例如根据汇报 消息中提供的下载任务的繁重程度信息创建第一线程处理模块313，并控制第 一线程处理模块313处理下载任务，具体地，根据下载机11对应的机器的 CPU占用情况，并结合当前的下载任务的繁重情况，扩展新的第一线程处理模块313以充分利用机器的计算能力，以及提高下载效率。

第一日志获取模块312，适于从日志发现机获取待处理的日志内容地址。 图3中，第一日志获取模块312从日志发现机10中获取待处理的日志内容地 址，若存在多个下载机11对应的第一日志获取模块312，则根据多个下载机 11分别分配的下载任务，由对应的第一日志获取模块312去获取对应下载任 务的日志内容地址，具体地，分配下载任务可根据各个下载机11的空闲程度 去分配，或者根据业务、机房等因素去分配给不同的下载机11，本实施例中， 对分配的方式不做具体限定。

至少一个第一线程处理模块313，适于利用第一日志获取模块提供的日志 内容地址，下载各个机房产生的日志内容。图3中，多个第一线程处理模块 313能够充分发挥下载机11的计算能力，在进行下载的过程中，通过将下载 任务分配给较空闲的第一线程处理模块313去下载，或者直接由第一线程处 理模块313主动获取下载任务；其中，每一个第一线程处理模块313可包括 多个用于配合第一线程处理模块313进行下载的多个下载单元，例如第一线 程处理模块313抢到下载任务，但是第一线程处理模块313不能独立完成该 下载任务，则由第一线程处理模块313根据多个下载单元的繁忙程度分配下 载任务，并共同配合完成该下载任务。

第一线程处理模块313的这种包括多个下载单元的结构能够实现优化下 载策略，通过对下载任务的再分配，并且多个下载单元以及多个第一线程处 理模块313在执行下载任务的时候都是并行处理的，在下载的日志内容的量 很大的情况下，这种并行处理的方式可以最大化的利用CPU；若第一线程处 理模块313的数量较小，不能满足下载需求，则可以通过增加第一线程处理 模块313的数量，以优化CPU的利用率并提高下载效率。

第一监控模块314，适于监控并定时输出第一日志获取模块以及至少一个 第一线程处理模块的状态信息。图3中，第一监控模块314有两方面的作用： 其一，用于对第一日志获取模块312提供的日志内容地址进行预处理；其二， 用于监控下载机11中各个模块的状态信息，例如监控第一处理通道315的堆 积状态和/或第一线程处理模块313的繁忙程度，并定时打印出各个模块的状 态信息，将该状态信息输出给第一主进程模块311，输出包括对应监控时间段 内下载机11下载的文件数、某个文件的行数以及文件下载时间等。在下载机 11运行的过程中，由于下载任务的分配不均，例如将多个下载任务分配给某 一个第一线程处理模块313，而其他第一线程处理模块313没有下载任务，导 致出现下载机11的CPU存在大量空闲，但是下载速度很慢的情况，针对上 述情况，可以在查明原因的前提下，疏通并发，即将下载任务分配给较闲的 第一线程处理模块313，其中，查明原因的过程即可通过第一监控模块314 实现，通过对多个第一线程处理模块313的监控，确定是否存在下载任务集 中在某一个第一线程处理模块313中的情况。

在实现上述监控多个第一线程处理模块313的繁忙程度之后，第一主进 程模块311进一步适于：根据至少一个第一线程处理模块的状态信息优化分 配下载任务。图3中，第一监控模块314将监控到的至少一个第一线程处理 模块313的状态信息汇报给第一主进程模块311，第一主进程模块311根据该 状态信息，即至少一个第一线程处理模块313的繁忙程度，就能确定至少一 个第一线程处理模块313中是否存在分布不均导致的下载很慢的情况，若是， 则由第一主进程模块311实现疏通并发，将下载任务分配给较空闲的第一线程处理模块313中。

以上通过第一监控模块314和第一主进程模块311配合工作实现至少一 个第一线程处理模块313中的下载任务优化分配的方式，可以以预设的时间 周期利用第一监控模块314的汇报消息进行下载任务的分配，也可以在每次 需要进行下载任务的分配前利用第一监控模块314的汇报消息进行繁忙程度 的分析。

在本发明的另一些实施例中，在通过第一监控模块314监控到至少一个 第一线程处理模块313的状态信息后，第一主进程模块311根据下载任务对 应的日志内容的下载速度的快慢决定将下载任务分配给其中一个第一线程处 理模块313，具体地，将对应的日志内容的下载速度快的快任务分配给较空闲 的第一线程处理模块313，将对应的日志内容的下载速度慢的慢任务分配给专 门用于下载慢任务的第一线程处理模块313，并且，若该用于下载慢任务的第 一线程处理模块313中的下载任务已达到预设值，则慢任务不能直接分配给 该第一线程处理模块313，而需将该慢任务存放到所有待处理的下载任务的最 后一个以使第一主进程模块311下一次对其进行下载任务分配，这样就能够 避免由于每个第一线程处理模块313中均被分配有慢任务而导致下载效率低 的问题。

在一些具体的实施例中，由第一监控模块314进行快慢任务的划分，并 将快任务和慢任务存放在快慢池中。

第一处理通道315，适于缓存下载任务。图3中，第一处理通道315用于 缓存经第一监控模块314预处理之后的日志内容地址，即下载任务。

本实施例提供的下载机，通过第一日志获取模块从日志发现机获取待处 理的日志内容地址，并由第一监控模块对该待处理的日志内容地址进行预处 理，以便根据预处理结果对待处理的下载任务进行分配；第一监控模块监控 并定时输出下载机中各个模块的状态信息，并将该状态信息汇报给第一主进 程模块，由第一主进程模块根据状态信息扩展第一线程处理模块并对至少一 个第一线程处理模块的下载任务进行分配，进而实现优化下载机CPU的利用 率的同时提高下载速度；第一线程处理模块根据第一主进程模块分配的下载 任务下载各个机房产生的日志内容，并通过多个下载单元进行下载任务的再 分配，以提高下载效率。利用本实施例提供的下载机，可以通过第一主线程 模块控制至少一个第一线程处理模块进行下载任务的并行处理，并利用第一 监控模块的监控汇报消息优化下载任务的分配，实现高效率的日志内容的下 载。

图4示出了本发明一个实施例的日志实时处理系统中的日志消费机的功 能框图。如图4所示，该日志消费机12进一步包括第二主进程模块421、第 二日志获取模块422、至少一个第二线程处理模块423、第二监控模块424以 及第二处理通道425。

图4对应的日志消费机12中的第二主进程模块421、第二日志获取模块 422、至少一个第二线程处理模块423、第二监控模块424以及第二处理通道 425分别与图3对应的下载机11的第一主进程模块311，第一日志获取模块 312、至少一个第一线程处理模块313、第一监控模块314以及第一处理通道 315的工作原理与作用类似，具体不同点如下：

第二主进程模块421，适于创建至少一个第二线程处理模块，控制至少一 个第二线程处理模块处理实时消费任务。图4中，第二主进程模块421与图3 中对应下载机11的第一主进程模块311的工作原理与作用类似，第二主进程 模块421用于获取第二监控模块424提供的该日志消费机12中各个模块的工 作状况汇报信息，并根据该汇报信息直接或间接控制日志消费机12中的各个 模块的工作。

第二日志获取模块422，适于从第一处理队列中获取日志内容地址以及日 志内容。图4中，第二日志获取模块422用于从第一处理队列24中获取日志 内容地址以及日志内容以供日志处理机12对其进行实时消费处理。

至少一个第二线程处理模块423，适于对第二日志获取模块提供的日志内 容进行实时消费处理。图4中，多个第二线程处理模块423能够充分发挥日 志消费机12的计算能力，在进行实时消费处理时，通过将实时消费处理任务 分配给较空闲的第二线程处理模块423去消费，或者直接由第二线程处理模 块423主动获取实时消费处理任务；并且第二线程处理模块423中包括多个 用于日志消费处理的多个处理单元，该多个处理单元可分担第二线程处理模 块423的日志消费处理任务。

第二监控模块424，适于监控并定时输出第二日志获取模块以及至少一个 第二线程处理模块的状态信息。图4中，第二监控模块424用于监控日志消 费机12中各个模块的状态信息，例如监控第二处理通道425的堆积状态和/ 或第二线程处理模块423的繁忙程度，并定时打印出各个模块的状态信息， 将该状态信息输出给第一主进程模块311。

在实现上述监控多个第二线程处理模块423的繁忙程度之后，第二主进 程模块421进一步适于：根据至少一个第二线程处理模块的状态信息优化分 配实时消费任务。图4中，第二监控模块424将监控到的至少一个第二线程 处理模块423的状态信息汇报给第二主进程模块421，第二主进程模块421 根据该状态信息，确定至少一个第二线程处理模块423中是否存在实时消费 处理任务分布不均导致的消费处理很慢的情况，并据此进行实时消费处理任 务的分配。

第二处理通道425，适于缓存实时消费任务。图4中，第二处理通道425 用于缓存经第二监控模块424预处理之后的日志内容地址及日志内容，即实 时消费处理任务。

本实施例中，实时消费处理包括：规则计数处理、最近日志内容查询处 理、日志回传处理和/或日志推送处理。对应的，第二线程处理模块423进一 步包括规则计数处理单元、最近日志内容查询处理单元、日志回传处理单元 和/或日志推送处理单元。

其中，规则计数处理单元，适于统计命中云规则平台提供的一个或多个 规则的日志内容的数量。具体地，云规则平台中提供有至少一种规则，该至 少一种规则可用于筛选出符合规则特征的日志内容，规则计数处理单元则对 筛选出的日志内容进行统计计数，并且后台或其他系统可以利用该统计出的 结果制定相应的决策，以使本发明提供的日志实时处理系统能够更好的运行， 或者为引擎端及机房的合理分布提供策略。

最近日志内容查询处理单元，适于查询最近命中云规则平台提供的一个 或多个规则的预设数量的日志内容。具体地，最近日志内容查询处理单元用 于查询命中云规则平台提供的一个或多个规则的日志内容，并且当查询到预 设数量时则本次查询结束，其中，最近指从第一处理队列24中获取的最新的 的日志内容。

在本发明的一个具体实施例中，云规则平台中的规则可以根据业务方的 需求配置，例如业务方需要网盾产生的日志中的某些黑URL。

日志回传处理单元，适于将命中规则的日志内容的数量和/或命中规则的 预设数量的日志内容回传至一个或多个机房。具体地，日志回传处理单元用 于将规则计数处理单元的统计结果和/或最近日志内容查询处理单元的查询结 果回传至一个或多个机房，由该一个或多个机房利用回传的数据对对应机房 产生的日志内容进行分析并制定相应的策略。

日志推送处理单元，适于将日志内容推送给下游服务器。具体地，日志 推送处理单元获取到对应第二线程处理模块423分配的实时消费处理的日志 内容，或者获取到第二线程处理模块423中其他实时消费处理单元提供的日 志内容后，将满足条件的日志内容以特定的格式、特定的方式同步推送给需 要该日志内容的下游服务器，特定的方式包括Qbus(分布式消息队列)、Nsq (分布式实时消息平台)和/或Kafka(分布式消息系统)，特定的格式包括 只发送time字段和/或只发送slog字段，其中，其他实时消费处理单元包括但 不限于最近日志内容查询处理单元

具体地，上述规则计数处理单元、最近日志内容查询处理单元、日志回 传处理单元和/或日志推送处理单元分别执行的规则计数处理、最近日志内容 查询处理、日志回传处理和/或日志推送处理在同一个第二线程处理模块423 中轮流顺序执行，以第二线程处理模块423中包括规则计数处理单元以及日 志回传处理单元为例，则在该第二线程处理模块423中轮流顺序执行规则计 数处理和日志回传处理，其中日志回传处理单元输入的数据为规则计数处理 单元的统计结果。在本实施例中，对执行的顺序不做具体限定，凡是符合处 理逻辑的执行顺序均包含在本实施例的范围内。

本实施例提供的日志消费机，通过第二日志获取模块从第一处理队列中 获取待处理的日志内容地址以及日志内容，并由第二监控模块对该待处理的 日志内容地址以及日志内容进行预处理，以便根据预处理结果对待处理的实 时消费处理任务进行分配；第二监控模块监控并定时输出日志消费机中各个 模块的状态信息，并将该状态信息汇报给第二主进程模块，由第二主进程模 块根据状态信息扩展第二线程处理模块并对至少一个第二线程处理模块的实 时消费处理任务进行分配，进而实现优化日志消费机CPU的利用率的同时提 高消费处理速度；第二线程处理模块根据第二主进程模块分配的实时消费处 理任务处理日志内容，并通过多个处理单元进行实时消费处理任务的再分配， 以提高消费处理效率；第二线程处理模块可以对实时日志数据执行规则计数 处理、最近日志内容查询处理、日志回传处理和/或日志推送处理，以满足下 游服务器、机房以及云平台等对实时日志数据的需求。利用本实施例提供的 日志消费机，可以通过第二主线程模块控制至少一个第二线程处理模块进行 实时消费处理任务的并行处理，并利用第二监控模块的监控汇报消息优化实 时消费处理任务的分配，实现高效率的日志内容的消费处理。

图5示出了本发明一个实施例的日志实时处理系统中的上传机的功能框 图。如图5所示，该上传机13进一步包括第三主进程模块531、第三日志获 取模块532、至少一个第三线程处理模块533、第三监控模块534以及第三处 理通道535。

图5对应的上传机13中的第三主进程模块531、第三日志获取模块532、 至少一个第三线程处理模块533、第三监控模块534以及第三处理通道535 分别与图3对应的下载机11的第一主进程模块311，第一日志获取模块312、 至少一个第一线程处理模块313、第一监控模块314以及第一处理通道315 的工作原理与作用类似，具体不同之处如下：

第三主进程模块531，适于创建至少一个第三线程处理模块，控制至少一 个第三线程处理模块处理上传任务。图5中，第三主进程模块531用于获取 第三监控模块534提供的该上传机13中各个模块的工作状况汇报信息，并根 据该汇报信息直接或间接控制上传机13中的各个模块的工作。

第三日志获取模块532，适于从第二处理队列中获取日志内容地址以及日 志内容。图5中，第三日志获取模块532用于从第二处理队列25中获取日志 内容地址以及日志内容以供上传机13对其进行实时消费处理。

至少一个第三线程处理模块533，适于对第三日志获取模块提供的日志内 容进行上传处理。图5中，多个第三线程处理模块533能够充分发挥上传机 13的计算能力，在进行上传处理时，通过将上传处理任务分配给较空闲的第 三线程处理模块533去上传，或者直接由第三线程处理模块533主动获取上 传处理任务；并且第三线程处理模块533中包括多个用于上传处理的多个处 理单元，该多个处理单元可分担第三线程处理模块533的上传处理任务。

第三监控模块534，适于监控并定时输出第三日志获取模块以及至少一个 第三线程处理模块的状态信息。图5中，第三监控模块534用于监控上传机 13中各个模块的状态信息，例如监控第三处理通道535的堆积状态和/或第三 线程处理模块533的繁忙程度，并定时打印出各个模块的状态信息，将该状 态信息输出给第三主进程模块531。

在实现上述监控多个第三线程处理模块533的繁忙程度之后，第三主进 程模块531进一步适于：根据至少一个第三线程处理模块的状态信息优化分 配实时消费任务。图5中，第三监控模块534将监控到的至少一个第三线程 处理模块533的状态信息汇报给第三主进程模块531，第三主进程模块531 根据该状态信息，确定至少一个第三线程处理模块533中是否存在上传任务 分布不均导致的上传处理很慢的情况，并据此进行上传处理任务的分配。

第三处理通道535，适于缓存上传任务。图5中，第三处理通道535用于 缓存经第三监控模块534预处理之后的日志内容地址及日志内容，即上传任 务。

在本发明的一个具体实施例中，可由上传机13中的任一模块对从第二处 理队列25中获取的日志内容进行合并，具体地，不同机房的同一业务产生的 日志内容可进行合并，进一步的，可按照product-combo-level规则进行合并， 即将相同的product或相同的combo的日志内容进行合并。这种合并方式不仅 能够减少上传到分布式存储系统的文件数，而且按照product-combo-level规 则进行合并可以提高压缩比，减少压缩后的文件大小；同时，业务方在使用 上传的日志内容或跑MapReduce任务的时候，能够更精确的选择所要处理的 日志，极大的减少计算资源。

本实施例提供的上传机，通过第三日志获取模块从第二处理队列中获取 待处理的日志内容地址以及日志内容，并由第三监控模块对该待处理的日志 内容地址以及日志内容进行预处理，以便根据预处理结果对待处理的上传处 理任务进行分配；第三监控模块监控并定时输出上传机中各个模块的状态信 息，并将该状态信息汇报给第三主进程模块，由第三主进程模块根据状态信 息扩展第三线程处理模块并对至少一个第三线程处理模块的上传处理任务进 行分配，进而实现优化上传机CPU的利用率的同时提高上传处理速度；第三 线程处理模块根据第三主进程模块分配的上传处理任务上传日志内容，并通 过多个处理单元进行上传处理任务的再分配，以提高上传处理效率。利用本 实施例提供的上传机，可以通过第三主线程模块控制至少一个第三线程处理 模块进行上传处理任务的并行处理，并利用第三监控模块的监控汇报消息优 化上传处理任务的分配，实现高效率的日志内容的上传处理。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固 有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描 述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何 特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的 内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本 发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未 详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个 或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时 被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开 的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求 中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映 的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循 具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自 适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以 把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可 以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者 单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴 随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或 者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴 随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相 似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实 施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意 味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要 求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理 器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当 理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据 本发明实施例的日志实时处理系统中的一些或者全部部件的一些或者全部功 能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设 备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发 明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的 形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供， 或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制， 并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实 施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要 求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于 元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以 借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在 列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。 可将这些单词解释为名称。

Claims (13)

1.一种日志实时处理系统，包括：

日志发现机，适于接收位于各个机房的日志机的日志汇报消息，获取日志机提供的待处理的日志内容地址；

至少一个下载机，适于根据所述日志内容地址，下载各个机房产生的日志内容；

日志消费机，适于对日志内容进行实时消费处理；

至少一个上传机，适于将日志内容上传到分布式存储系统；

包括所述日志发现机、所述下载机、所述日志消费机以及所述上传机的所述日志实时处理系统设置在一个机房中；

其中，所述日志消费机包括至少一个第二线程处理模块，所述第二线程处理模块适于对第二日志获取模块提供的日志内容进行实时消费处理；

所述第二线程处理模块进一步包括：

规则计数处理单元，适于统计命中云规则平台提供的一个或多个规则的日志内容的数量；

最近日志内容查询处理单元，适于查询最近命中云规则平台提供的一个或多个规则的预设数量的日志内容；

日志回传处理单元，适于将命中规则的日志内容的数量和/或命中规则的预设数量的日志内容回传至一个或多个机房；

和/或，日志推送处理单元，适于将日志内容推送给下游服务器。

2.根据权利要求1所述的系统，还包括：第一处理队列，适于获取并保存所述至少一个下载机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给所述日志消费机；

第二处理队列，适于获取并保存所述至少一个下载机提供的日志内容地址以及日志内容，将日志内容地址以及日志内容提供给所述至少一个上传机。

3.根据权利要求2所述的系统，所述实时消费处理包括：规则计数处理、最近日志内容查询处理、日志回传处理和/或日志推送处理。

4.根据权利要求1-3任一项所述的系统，所述下载机进一步包括：

第一主进程模块，适于创建至少一个第一线程处理模块，控制所述至少一个第一线程处理模块处理下载任务；

第一日志获取模块，适于从日志发现机获取待处理的日志内容地址；

至少一个第一线程处理模块，适于利用第一日志获取模块提供的日志内容地址，下载各个机房产生的日志内容。

5.根据权利要求4所述的系统，所述下载机还包括：第一监控模块，适于监控并定时输出所述第一日志获取模块以及所述至少一个第一线程处理模块的状态信息；

所述第一主进程模块进一步适于：根据所述至少一个第一线程处理模块的状态信息优化分配下载任务。

6.根据权利要求5所述的系统，所述下载机还包括：第一处理通道，适于缓存下载任务。

7.根据权利要求2-3任一项所述的系统，所述日志消费机进一步包括：

第二主进程模块，适于创建至少一个第二线程处理模块，控制所述至少一个第二线程处理模块处理实时消费任务；

第二日志获取模块，适于从第一处理队列中获取日志内容地址以及日志内容。

8.根据权利要求7所述的系统，所述日志消费机还包括：第二监控模块，适于监控并定时输出所述第二日志获取模块以及所述至少一个第二线程处理模块的状态信息；

第二主进程模块进一步适于：根据所述至少一个第二线程处理模块的状态信息优化分配实时消费任务。

9.根据权利要求8所述的系统，所述日志消费机还包括：第二处理通道，适于缓存实时消费任务。

10.根据权利要求2-3任一项所述的系统，所述上传机进一步包括：

第三主进程模块，适于创建至少一个第三线程处理模块，控制所述至少一个第三线程处理模块处理上传任务；

第三日志获取模块，适于从第二处理队列中获取日志内容地址以及日志内容；

至少一个第三线程处理模块，适于将第三日志获取模块提供的日志内容上传到分布式存储系统。

11.根据权利要求10所述的系统，所述上传机还包括：第三监控模块，适于监控并定时输出所述第三日志获取模块以及所述至少一个第三线程处理模块的状态信息；

第三主进程模块进一步适于：根据所述至少一个第三线程处理模块的状态信息优化分配上传任务。

12.根据权利要求10所述的系统，所述上传机还包括：第三处理通道，适于缓存上传任务。

13.根据权利要求1-3中任一项所述的系统，所述至少一个上传机还适于：将日志内容按照预设规则进行合并处理。

Images