CN105574205A - 分布式计算环境的日志动态分析系统 - Google Patents

Abstract

本发明公开了一种分布式计算环境的日志动态分析系统，包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关-日志生成代理服务用于日志定位、生成副本并传输给日志传输服务；日志传输服务将副本传输给日志收集控制器；日志收集控制器将接收的日志副本进行存储；实施流处理服务将日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对用户提供实时数据分析结果的查询接口。本发明为分布式计算环境中的每个节点提供数据追踪、监控、用户行为轨迹、功能测试覆盖率等服务，能够处理各类日志文件，并且利用实时数据进行实时日志分析、处理和监控。

Description

分布式计算环境的日志动态分析系统

技术领域

本发明具体涉及一种分布式计算环境的日志动态分析系统。

背景技术

电力领域中应用的计算机系统在运行会产生大量的系统日志，其中包括了设备固件中的运行日志、数据库日志、应用软件日志、监控平台日志等，这些日志在不断持续增长并以各自不同的形式定义其日志结构和描述信息。如果计算机系统发生异常，会产生上述各种日志文件中的联动记录，造成海量日志难以快速定位分析，诊断信息千丝万缕，难以定位故障源头，造成故障修复困难，导致生产服务失效的风险。为了提高运维质量，满足运维工作中稳定高效技术保障的要求，通常需要运维人员具备较高的日志分析水平。由于传统日志处理技术适用面窄，日志处理内容数据量大，导致面对持续增长的日志内容无法进行快速有效的日志分析处理。

日志动态分析技术是日志处理技术中的一个高级实现，是用于将海量的、持续增长的日志内容进行实时计算、动态处理、异步数据分析的一种方法，它适用于分布式计算环境中通用的应用服务集群、数据库集群等常见部署架构中，它能够识别并捕获应用软件日志、数据库日志、文件型日志等，并采用专门的方法对持续增长的日志内容中进行实时流式处理、并提供针对用户行为日志等非结构化日志的异步离线分析处理，形成一个适用面广、处理海量日志的数据分析架构。但是现有的日志动态分析技术大部分采用顺序批处理方式进行，这种处理方式无法适用各种类型日志文件，其处理分析机制属于事后分析，在实时性方面无法得到保障，在事前预警需求方面无法满足需求。

发明内容

本发明的目的在于提供一种能够处理各种类型日志文件、并且利用实时数据进行实时日志分析、处理和监控的分布式计算环境的日志动态分析系统。

本发明提供的这种分布式计算环境的日志动态分析系统，包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关-日志生成代理服务用于计算机系统的日志定位以及重新生成日志副本，并将日志副本传输给日志传输服务；日志传输服务用于将网关-日志生成代理服务生成的日志副本传输给日志收集控制器；日志收集控制器用于将接收的日志副本进行存储；实施流处理服务将日志收集控制器收集的日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对分布式计算环境的日志动态分析系统的用户提供实时数据分析结果的查询接口。

所述的网关-日志生成代理服务包括代理通讯协议模块和日志收集压缩模块；代理通讯协议模块为支持TCP/IP网络协议、Socket安全套接字和IPX数据交换协议的通讯接口，日志收集压缩部分包含用于获取日志的重定向模块和日志压缩模块：获取日志的重定向模块将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给日志压缩模块。

所述的重定向输出包括如下步骤：

S1.日志定位：通过扫描日志发生计算机上的文件系统、系统注册表信息，获取日志的文件路径、通过注册表匹配机制确认日志类型，定位日志文件所在的位置；

S2.重定向生成日志副本：当步骤S1完成日志定位后，对日志发生对象进行日志文件获取、并构建生成日志副本的发生器进程，副本的生成方式与日志发生对象的日志类型对应。

所述的副本的生成方式包括文件型日志副本生成方式、设备日志副本生成方式、应用软件日志副本生成方式和数据库日志的副本生成方式；文件型日志副本通过文件复制的方式完成副本生成，设备日志副本通过单独的进程获取设备固件的日志数据提取方式生成，应用软件日志副本生成方式通过开源日志工具log4j开发者工具、Verbose调试开关接口的输出文件提取生成，数据库日志副本生成方式为通过代理程序读取数据库DML日志记录和数据表进行行记录连续读取、抄送给副本的方式生成。

所述的日志传输服务包括如下步骤：

S1.若日志副本为文件型日志副本和应用软件日志副本，则建立异步消息处理机制：将重定向生成日志副本文件按照消息队列的方式进行封装、并通过设置包括消息队列深度、消息分段在内的参数将副本文件截取为每一个消息控制在4M大小的消息段，通过消息传输队列的JMS进程连接日志收集控制器的消息接收队列进程中；传输过程采用消息压缩、分段提交、接收解压三个步骤完成；

S2.若日志副本为数据库型日志副本，则建立连续数据捕获机制：读取日志副本行记录，记录每一个增删改和事务操作，将每一个记录封装为一个SQL指令，通过TCP/IP协议将这些指令传递给日志收集控制器，日志收集控制器收到SQL指令后，进行解析处理。

所述的实时流处理服务包括实时计算控制器、通知服务、异常统计、实时结果展示、时间戳、日志解析器和日志搜索器；实时计算控制器用于处理消息并完成实时计算，通过实时计算实现对不断增长的日志信息的业务数据进行统计与分析；通知服务通过配置日志解析器中的通知触发器进行监控警告服务，并能够提供符合SNMPv3协议的MIB库进行通知服务；异常统计用于对日志中的错误、警告信息进行标记，并对错误类型和范围通过数据字典进行标记分类，根据分类号和标记编号对日志错误和警告进行统计、排序；实时结果展示通过对实时计算的日志信息和异常统计信息进行实时显示；时间戳是实时计算过程中，为了对日志事件进行时间定义的一个有效方法，时间戳用于通过同步位于实时流处理服务的时间服务进程来统一各个计算资源组的系统时间，保证日志动态分析过程中的时间一致性；日志解析器用于将实时计算结果按照配置解析规则进行筛选，并对日志副本中包含的代码字符利用数据字典功能进行自定义的对应转换；日志搜索器用于动态分析过程中进行日志搜索。

本发明采用软件嵌入分布式计算环境实现，为分布式计算环境中的每个计算节点提供访问日志、系统日志、业务数据日志的收集、并针对这三种日志类型分别应用不同的处理方式来满足日志结构差异化和海量增长的数据量，同时将日志动态收集后的数据进行集中处理、通过封装了日志收集层在分布式计算环境的各个节点的通讯协议和处理方法，来执行数据分级、异常统计、通知服务、实时结果展示，然后利用实时数据分析层的处理结果结合外部业务系统提供的日志密集型应用功能实现的功能通用接口，提供数据动态追踪、系统监控、用户行为轨迹、功能测试覆盖率等能力，为改进业务系统的精准日志数据多源性、建立全面统计模型提供参考依据。本发明能够处理各种类型日志文件，并且利用实时数据进行实时日志分析、处理和监控。

附图说明

图1为本发明的系统结构示意图。

图2为本发明的日志收集的实现流程示意图。

具体实施方式

如图1所示为本发明的系统结构示意图：本发明提供的这种分布式计算环境的日志动态分析系统，基于分布式测试环境建立的，所述分布式计算环境是基于TCP/IP协议连接的分布在多个计算机组的提供网关、计算服务、存储服务、业务应用逻辑服务的服务器资源组。该系统包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口。

其中，其中网关-日志生成代理服务是一个运行在日志发生计算机上的代理服务程序，该服务程序由代理通讯协议和日志收集压缩两个部分组成。代理通讯协议部分被设计为能够支持TCP/IP网络协议，Socket安全套接字，IPX数据交换协议的通讯接口。日志收集压缩部分包含两个主要模块，分别是用于获取日志的重定向模块和日志压缩模块。获取日志的重定向模块是将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给代理服务的日志压缩模块，重定向输出过程包括对代理服务所在计算机的网络访问日志、操作系统日志、应用软件日志、网关设备日志、数据库DML操作日志等进行日志定位、重定向生成日志副本两个步骤；

步骤1）日志定位，代理服务程序通过扫描日志发生计算机上的文件系统、系统注册表信息，获取日志的文件路径、通过注册表匹配机制确认日志类型，定位日志文件所在的位置。

步骤2）重定向生成日志副本，当步骤1）完成日志定位后，通过依赖性服务注入、渗透测试、进程监控等系统级编程技术对日志发生对象进行日志文件获取、并构建生成日志副本的发生器进程，副本的生成方式根据日志发生对象的日志类型来对应不同的生成方式，文件型日志通过文件复制的方式完成副本生成，设备日志的副本生成方式通过单独的进程获取设备固件的日志数据提取方式，应用软件日志的副本生成方式通过开源日志工具log4j开发包、Verbose调试开关等调试接口的输出文件提取而成，数据库日志的副本生成方式通过代理程序读取数据库DML日志记录和数据表进行行记录连续读取、抄送给副本的方式完成。

日志传输服务，是将网关-日志生成代理服务中步骤2）的重定向生成的日志副本传输给日志收集控制器。由于日志副本有多种类型及数据结构，无法采用直接文件复制的方式让日志收集控制器获取日志副本，需要一种特殊的传输方法来完成各种日志副本的统一传输，日志传输服务通过网络连接，在TCP/IP网络协议，Socket安全套接字，IPX数据交换协议的基础上封装日志文件副本，采用两种传输步骤来完成日志传输服务功能。

步骤1）建立异步消息处理机制，该步骤将日志副本通过消息处理机制来实现日志传输，消息处理机制主要处理文件型日志副本、应用软件日志副本，将重定向生成日志副本文件按照消息队列的方式进行封装、并通过设置消息队列深度、消息分段等参数将副本文件截取为每一个消息控制在4M大小的消息段，通过消息传输队列的JMS进程连接日志收集控制器的消息接收队列进程中，传输采用消息压缩、分段提交、接收解压三个动作完成。由于消息处理机制是异步通信模式、消息压缩可以减小副本文件大小、分段提交能够减缓网络带宽占用、接收解压能够保证消息的完整性和一致性。从而解决日志副本文件传输网络带宽占用高、传输过程防篡改、异步处理对网关-日志生成服务性能冲击的难题。

步骤2）建立连续数据捕获机制，该步骤主要面向数据库型的日志副本，连续数据捕获机制是准实时型的、延迟低、吞吐量大的日志传输服务方法。数据库日志是线性日志类型，会不断增长，日志文件较大。数据库日志中记录了数据库DML语句的各种数据增删改信息以及事务操作信息。当网关-日志生成服务定位了数据库日志后，并生成日志副本，由于该日志副本是关系型数据库的日志格式，需要一种数据传输服务来将代理服务捕获的日志变化情况应用到日志收集控制器中，建立连续数据捕获机制的方法是读取日志副本行记录，由于数据库日志副本是持续增长的，我们记录每一个增删改和事务操作，将每一个记录封装为一个SQL指令，通过TCP/IP协议将这些指令传递给日志收集控制器，日志收集控制器收到SQL指令后，进行解析处理。数据库日志副本尽管持续增长，但连续数据捕获机制也持续进行记录和SQL指令转换，并发送SQL指令到日志收集控制器，SQL指令封装的是文本类型，数据包较小、占用网络带宽资源少，日志收集控制器根据SQL指令进行处理解析，重新在日志收集控制器中的数据库日志分析模块中执行该SQL指令，从而达到数据传输完成的目的。

日志收集控制器是日志动态分析方法的数据来源，它通过网关-日志生成服务收集各种类型的日志，通过日志传输服务将不同数据结构的日志以一种统一的数据格式提交给位于日志收集控制器的存储空间中，日志收集控制器定义该存储空间的使用规则，并形成文件型日志控制器、消息型日志控制器和数据库型日志控制器。日志收集的实现流程如图2所示，用开源数据采集工具Fluentd的方式收集日志，通过Fluentd实时采集到日志收集控制器，将实时采集数据存放位于日志收集控制器中MongoDB的CappedCollection中。通过调用开源日志处理库Log4jAppend采集系统应用层的数据和非结构化的一些实时数据（比如页面的点击数）。部分行为日志会将实时数据采集到MongoDB的CappedCollection。接下来是Schedule，线程定时扫描收集到得日志进行分析统计，在同一个Schedule里面会存三份数据，一份存到Result作为统计结果，一份数据存到分布式文件系统，主要作为离线的数据预演，还有一份保存到日志搜索器主要用来实时查数据、统计数据和验证数据。

实时流处理服务，是系统日志动态分析方法的核心部分，它将日志收集控制器收集的日志信息进行实时计算与特征匹配，以XML格式统一生成流式处理的数据信息，并定义触发器形成日志特征驱动的异常统计信息，通过各个功能模块将日志动态分析的过程完整实现。它包含7个功能模块，分别是实时计算控制器、通知服务、异常统计、实时结果展示、时间戳、日志解析器和日志搜索器。

实时计算控制器可以用来处理源源不断流进来的消息并完成实时计算，通过实时计算实现对不断增长的日志信息中关心的业务数据进行统计与分析，并通过实时结果展示进行日志展示，由于处理的日志增长量是持续的，数据量巨大，在设计实时计算控制器的时候需要充分考虑计算资源均衡的特点。

Spout将每条原始日志标准化，按照URL分组（fieldsGrouping，为保持每台服务器计算量的均匀），派发到对应的Stat_bolt上；

Stat_bolt是主要的计算Bolt，将每个业务的URL梳理并计算，如PV、UV、总响应时间、后端响应时间、HTTP状态码统计、URL排序、流量统计等；

Merge_bolt将每个业务的数据合并，如PV数，UV数等。当然，这里的UV合并就用到了前面提到的基数计数；

构建一个Coordinator协调类，将流式处理StreamID标记为“coordinator”，作用是为了进行时间协调(切分batch)、检查任务完成度、超时处理。

实现一个Scheduler通过日志收集控制器（3）获取参数，动态调整Spout、Bolt在各服务器的分布，以便灵活分配计算资源。

通知服务是实时流处理服务的重要功能，它通过配置日志解析器中的通知触发器进行监控警告服务，并能够提供符合SNMP协议的MIB库进行通知服务，通知方式包括邮件通知和消息通知。

异常统计按照日志解析器中对日志内容进行批处理，对日志中的错误、警告信息进行标记，并对错误类型和范围通过数据字典进行标记分类，根据分类号和标记编号对日志错误和警告进行统计、排序。提供统计和排序查询接口供实时结果展示进行日志展示。

实时结果展示通过对实时计算的日志信息和异常统计信息进行实时显示，通过调用操作系统GDI绘制函数进行结果展示，展示方式有表格视图、统计视图和仪表盘方式。

时间戳是实时计算过程中，为了对日志事件进行时间定义的一个有效方法，时间戳被应用于分布式环境中的时间服务进程中，在整个日志动态分析环境的所有计算资源的时间均以时间服务器为准，在分布式环境中，时间戳精确到毫秒，通过同步位于实时流处理服务的时间服务进程来统一分布式环境中的各个计算资源组的系统时间，保证日志动态分析过程中的时间一致性。

日志解析器将实时计算控制器所描述的实时计算结果按照配置解析规则进行筛选，并对日志副本中包含的大量具有特殊意义的代码字符，利用数据字典功能进行自定义的对应转换，使日志更易读，分析更容易。日志解析器被设计为数据字典匹配模式，通过定义数据字典中的日志特征与解析方式的对应关系，让日志解析器能够解决海量持续增长的的日志内容带来的日志特征解析问题。

日志搜索器是为了用于动态分析过程中进行日志搜索，日志搜索器提供了四种方式检索日志，可以快速过滤并找到相关的结果，日志搜索器的四种方式包括范围查询、正则表达式、布尔值和字段过滤。范围查询，可快速发现满足一定条件参数的事件，例如检索Web服务器响应时间大于200ms的事件。正则表达式：可以定义查询模版来简化你的搜索输入，假如你有一批名为app01至app99机器，如果你只想搜索前30台，你可以输入“/app[0-2][0-9]/”来简化搜索输入。布尔值3）：利用AND、OR、NOT和()的组合，您可以自由构造各种复杂的组合查询语句。字段过滤快速显示您所有结构化/半结构化特殊字段的统计聚合，点击其中的字段值进行过滤操作，可快速缩小事件的查询范围。结构化日志如JSON，可自动解析日志中相关字段和对应值；对主流非结构化日志通过日志解析器实现了自动解析和全文检索。

日志数据分析接口是系统日志动态分析方法中实时数据分析层将数据分析的内部方法暴露给日志分析平台层的应用程序接口。日志分析平台层通过应用程序接口对结构化和非结构话的日志进行实时流处理和异步离线SQL处理，将其处理结果通过外部应用系统的形式提供给所需的动态分析结果，包括唯一值，中间数据，统计指标，模型。

Claims (6)

1.一种分布式计算环境的日志动态分析系统，其特征在于包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口；网关-日志生成代理服务用于计算机系统的日志定位以及重新生成日志副本，并将日志副本传输给日志传输服务；日志传输服务用于将网关-日志生成代理服务生成的日志副本传输给日志收集控制器；日志收集控制器用于将接收的日志副本进行存储；实施流处理服务将日志收集控制器收集的日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对分布式计算环境的日志动态分析系统的用户提供实时数据分析结果的查询接口。

2.根据权利要求1所述的分布式计算环境的日志动态分析系统，其特征在于所述的网关-日志生成代理服务包括代理通讯协议模块和日志收集压缩模块；代理通讯协议模块为支持TCP/IP网络协议、Socket安全套接字和IPX数据交换协议的通讯接口，日志收集压缩部分包含用于获取日志的重定向模块和日志压缩模块：获取日志的重定向模块将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给日志压缩模块。

3.根据权利要求2所述的分布式计算环境的日志动态分析系统，其特征在于所述的重定向输出包括如下步骤：

S1.日志定位：通过扫描日志发生计算机上的文件系统、系统注册表信息，获取日志的文件路径、通过注册表匹配机制确认日志类型，定位日志文件所在的位置；

S2.重定向生成日志副本：当步骤S1完成日志定位后，对日志发生对象进行日志文件获取、并构建生成日志副本的发生器进程，副本的生成方式与日志发生对象的日志类型对应。

4.根据权利要求3所述的分布式计算环境的日志动态分析系统，其特征在于所述的副本的生成方式包括文件型日志副本生成方式、设备日志副本生成方式、应用软件日志副本生成方式和数据库日志的副本生成方式；文件型日志副本通过文件复制的方式完成副本生成，设备日志副本通过单独的进程获取设备固件的日志数据提取方式生成，应用软件日志副本生成方式通过开源日志工具log4j开发者工具、Verbose调试开关接口的输出文件提取生成，数据库日志副本生成方式为通过代理程序读取数据库DML日志记录和数据表进行行记录连续读取、抄送给副本的方式生成。

5.根据权利要求1所述的分布式计算环境的日志动态分析系统，其特征在于所述的日志传输服务包括如下步骤：

S1.若日志副本为文件型日志副本和应用软件日志副本，则建立异步消息处理机制：将重定向生成日志副本文件按照消息队列的方式进行封装、并通过设置包括消息队列深度、消息分段在内的参数将副本文件截取为每一个消息控制在4M大小的消息段，通过消息传输队列的JMS进程连接日志收集控制器的消息接收队列进程中；传输过程采用消息压缩、分段提交、接收解压三个步骤完成；

S2.若日志副本为数据库型日志副本，则建立连续数据捕获机制：读取日志副本行记录，记录每一个增删改和事务操作，将每一个记录封装为一个SQL指令，通过TCP/IP协议将这些指令传递给日志收集控制器，日志收集控制器收到SQL指令后，进行解析处理。

6.根据权利要求1所述的分布式计算环境的日志动态分析系统，其特征在于所述的实时流处理服务包括实时计算控制器、通知服务、异常统计、实时结果展示、时间戳、日志解析器和日志搜索器；实时计算控制器用于处理消息并完成实时计算，通过实时计算实现对不断增长的日志信息的业务数据进行统计与分析；通知服务通过配置日志解析器中的通知触发器进行监控警告服务，并能够提供符合SNMP协议的MIB库进行通知服务；异常统计用于对日志中的错误、警告信息进行标记，并对错误类型和范围通过数据字典进行标记分类，根据分类号和标记编号对日志错误和警告进行统计、排序；实时结果展示通过对实时计算的日志信息和异常统计信息进行实时显示；时间戳是实时计算过程中，为了对日志事件进行时间定义的一个有效方法，时间戳用于通过同步位于实时流处理服务的时间服务进程来统一各个计算资源组的系统时间，保证日志动态分析过程中的时间一致性；日志解析器用于将实时计算结果按照配置解析规则进行筛选，并对日志副本中包含的代码字符利用数据字典功能进行自定义的对应转换；日志搜索器用于动态分析过程中进行日志搜索。