CN112182025A

CN112182025A - 日志分析方法、装置、设备与计算机可读存储介质

Info

Publication number: CN112182025A
Application number: CN202011177504.2A
Authority: CN
Inventors: 李政隆
Original assignee: WeBank Co Ltd
Current assignee: WeBank Co Ltd
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2021-01-05

Abstract

本发明公开了一种日志分析方法，包括：获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的关键信息，所述系统的数量至少包括两个；基于各关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则；当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的关联日志；基于所述异常日志和关联日志，输出对应的异常结果。本发明还公开了一种日志分析装置、设备和计算机可读存储介质。本发明通过各系统的历史日志信息，建立各系统的关联规则，从而在任意系统检测到异常日志时，即可通过关联规则，确定关联日志，实现日志的智能分析，提高了多系统日志分析的效率。

Description

日志分析方法、装置、设备与计算机可读存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及日志分析方法、装置、设备与计算机可读存储介质。

背景技术

近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，数据处理技术被引入银行等金融机构的日常服务中。在银行等金融机构的日常服务过程中，为了确保生产环境正常，往往需要对生产系统进行异常监控或者异常查询，以便运维人员可以知道生产系统的性能等问题。

现有技术中，为解决上述问题，一般通过日志的方式来确定生产系统的异常情况，日志是载着日期、时间、使用者及动作等相关操作的描述，如某个系统日志包含有错误关键字、性能异常等，因此，可以根据日志描述快速定位出异常日志和异常状态。

然而，在实际生产应用中，一个稍微复杂业务流程的处理需经历多个系统，导致该业务日志存在于多个系统间，且互不联通，在分析异常时，需要逐步排查各个系统间的日志，逐步发现问题，耗时耗力，效率较为低下。

发明内容

本发明的主要目的在于提出一种日志分析方法、装置、设备与计算机可读存储介质，旨在实现多系统日志的智能性分析，提高多系统日志分析的效率。

为实现上述目的，本发明提供一种日志分析方法，所述日志分析方法包括如下步骤：

获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息，所述系统的数量至少包括两个；

基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则；

当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的第一关联日志；

基于所述异常日志和第一关联日志，输出对应的异常结果。

优选地，所述基于各第一关键信息，确定各所述系统的目标频繁项集的步骤包括：

获取各第一关键信息对应的第一候选集，并计算第一候选集的第一支持度；

基于第一支持度，将大于预设支持度的频繁项集从第一候选集中筛选出，以得到第一频繁项集；

将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度；

基于第二支持度，将大于预设支持度的频繁项集从第二候选集中筛选出，以得到第二频繁项集；

将第二频繁项集作为第一频繁项集，并循环执行将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度；基于第二支持度，从第二候选集中筛选出第二频繁项集的步骤，直至无法将第一频繁项集中的频繁项集进行拼接，或者无法从第二候选集中筛选出第二频繁项集；

基于最后产生的第一频繁项集，确定各所述系统的目标频繁项集。

优选地，所述将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度的步骤包括:

将第一频繁项集中的频繁项集进行两两组合，以拼接得到对应的第二候选集；

统计第二候选集中的频繁项集在所述第一关键信息中出现的次数，并基于所述次数，计算第二候选集的第二支持度。

优选地，所述基于各所述目标频繁项集，确定各所述系统的关联规则的步骤包括：

从各所述系统的目标频繁项集中筛选出各所述系统共有的目标频繁项，并计算所述目标频繁项所在目标频繁项集的置信度；

基于所述置信度和所述目标频繁项，确定各所述系统的关联规则。

优选地，所述基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则的步骤之后，所述日志分析方法还包括：

若在任意所述系统检测到检索请求，则确定所述检索请求的检索条件，并生成所述检索条件对应的检索主键；

将所述检索主键与预存主键集合进行轮询匹配，以确定是否存在所述检索主键对应的检索日志；

若存在，则基于所述关联规则，确定所述检索日志对应的第二关联日志；

基于所述检索日志和第二关联日志，输出对应的检索结果。

优选地，所述获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息的步骤之前，所述日志分析方法还包括：

若在所述系统检测到日志生成，则基于预设打印规范，将所述日志生成格式日志，并获取所述格式日志对应的第二关键信息；

生成第二关键信息对应的键部，并基于所述键部，生成所述格式日志对应的主键；

将所述主键存储在预设集群中以形成主键集合。

优选地，所述将所述检索主键与预存主键集合进行轮询匹配，以确定是否存在所述检索主键对应的检索日志的步骤包括：

将所述检索主键依次与预存主键集合中的键部进行匹配，以判断是否存在所述检索主键对应的目标键部；

其中，若存在，则在所述预存主键集合中确定所述目标键部所在的预存主键，并获取所述预存主键对应的检索日志。

此外，为实现上述目的，本发明还提供一种日志分析装置，所述日志分析装置包括：

获取模块，用于获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息，所述系统的数量至少包括两个；

第一确定模块，用于基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则；

第二确定模块，用于当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的第一关联日志；

输出模块，用于基于所述异常日志和第一关联日志，输出对应的异常结果。

优选地，所述第一确定模块还用于：

优选地，所述日志分析装置还包括检索模块，所述检索模块用于：

基于所述检索日志和第二关联日志，输出对应的检索结果。

优选地，所述日志分析装置还包括日志存储模块模块，所述日志存储模块用于：

将所述主键存储在预设集群中以形成主键集合。

优选地，所述检索模块还用于：

此外，为实现上述目的，本发明还提供一种日志分析设备，所述日志分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如上所述的日志分析方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如上所述的日志分析方法的步骤。

本发明提出的日志分析方法，获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息，所述系统的数量至少包括两个；基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则；当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的第一关联日志；基于所述异常日志和第一关联日志，输出对应的异常结果。本发明通过各系统的历史日志信息，建立各系统的关联规则，从而在任意系统检测到异常日志时，即可通过关联规则，确定关联日志，实现日志的智能分析，提高了多系统日志分析的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明日志分析方法第一实施例的流程示意图；

图3为本发明日志分析方法第一实施例中格式日志的一种示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例设备可以是移动终端或服务器设备。

如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志分析程序。

其中，操作系统是管理和控制日志分析设备与软件资源的程序，支持网络通信模块、用户接口模块、日志分析程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的日志分析设备中，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，并执行下述日志分析方法各个实施例中的操作。

基于上述硬件结构，提出本发明日志分析方法实施例。

参照图2，图2为本发明日志分析方法第一实施例的流程示意图，所述方法包括：

步骤S10，获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息，所述系统的数量至少包括两个；

步骤S20，基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则；

步骤S30，当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的第一关联日志；

步骤S40，基于所述异常日志和第一关联日志，输出对应的异常结果。

本实施例日志分析方法运用于理财机构或者银行等金融机构的日志分析设备中，日志分析设备可以是终端、机器人或者PC设备等，为描述方便，日志分析设备以发分析设备简称。

本实施例的分析设备主要包括三个模块，分别为：日志规范制定模块、日志存储模块和日志关联分析模块。

其中，日志规范制定模块用于规范日志的生成格式，为了更好的适用实际的业务需求，日志规范制定模块在打印日志时，可以设置为只保留业务日志信息，从而去除冗余的日志展示，便于过滤收集和分析异常业务，并且，设置规范化的日志格式，使得打印生成的日志都为满足规定格式的格式日志，如图3所示，格式日志包括打印日期，日志级别，类名行号，接口名，流水号(业务流水号)，步骤序号(业务在各系统流转的顺序)，系统编号和日志内容等。

其中，打印日期：采取标准时间输出，可采用系统时间或NTP服务时间，时间格式要求宽松，需便于收集分析和打印。

日志级别：包括ERROR(程序出错误时使用，如:IO操作失败)、WARN(程序未按预期运行时使用，但并不是错误，如:用户登录密码错误)、INFO(程序正常运行时使用)、DEBUG(程序调试bug时使用)等。

类名行号：当前运行代码的类名和行号。

接口号：对于请求类别不同，相应的接口也不通，需将每个接口定义编号，调用方和返回方的每笔调用方法均一一对应。

流水号：由每笔业务请求的最先系统生成，且关联上下游系统均不可改变，保证全局唯一性，可以采用雪花算法(snowflake)或其他分布式唯一ID算法获得。

步骤序号：为流水序号的补充，使用场景为若上游系统同一个接口调用下游系统，且需要调用多次的情况，其流水号可能不相同，加入步骤序号可以区分每次调用系统的步骤和顺序，便于串联展示。

系统编号：步骤序号后接系统编号，可追踪每次调用经过本系统的流水，并对流水标记上系统编号，从而对流水号与系统间有了关联，更方便追踪系统级别的异常。

日志内容：即入参、出参：其中打印必要传送参数，返回参数，返回码和重要信息等，以KEY-VALUE形式对应，旨在其结果直观展示参数信息。

日志存储模块用于将规定格式的日志进行存储，为了更加便于收集和分析使用，本实施例的日志存储模块包括数据采集层、数据处理和缓存层，以及数据存储层，其中，数据采集层用于在日志打印后将本地化存储为日志文件，可自定义存放标准目录，之后使用Filebeat(一款文件内容采集的开源软件)等组件进行日志收集并存储在数据库中，具体可在每台被采集系统的服务器安装Filebeat组件，进行日志收集，可在配置文件中配置数据库地址导入，将日志信息存储在数据库中持久化。而数据处理和缓存层则采用Zookeeper(分布式的，开放源码的分布式应用程序协调服务)+Kafka(高吞吐量的分布式发布订阅消息系统)+Hbase(分布式,版本化,面向列的开源数据库)的架构，采用此种架构其特点为可提供高吞吐量的消息队列，持久化的数据存储，并且它的数据可重复消费。在生产环境收集数据时不同的service(服务)建立不同的topic(主题)，根据获取到的日志量设定topicpartition(分区)个数，按照Kafka partition的个数和消费该topic的数据存储节点来配置consumer_threads(并行传输)，且此架构易于拓展。这是由于HBase作为典型的NOSQL数据库，支持动态添加列，不需要太多的关系型数据库特性，列入交叉列，交叉表，事务，连接等，且在与Kafka消息队列对接时，采用Kafka connect(连接组件)连接，可以快速实现大量数据进出Kafka，从而和Hbase进行交互构造一个低延迟的数据通道，易于拓展。

此外，在存储日志的过程中，为加快存储和后续的查询速度，在Hbase中增加有规则的Rowkey主键，根据日志中包含的信息，解析出用户信息(证件号、客户号等)的MD5值、用户事件信息MD5值、所属系统ID、以及时间戳timestep组合成RowKey，并随日志信息存储到Hbase中，使每条日志生成唯一的主键信息。其作用区别于日志流水信息，可通过有规则地查询，加快查询速度，下述实施例中将详细说明。

日志关联性分析模块，用于通过日志分析，建立各系统的关联规则，并在检测到异常日志或者接收到检索请求时，进行日志的关联性分析，从而查找到各系统相关联的日志，其中，日志关联系分析模块包括获取模块，用于获取日志存储模块存储的各系统的历史日志信息；第一确定模块，用于通过历史日志信息确定各系统的关联规则；第二确定模块，用于在检测到异常日志或者检索请求时，查找确定对应的关联日志；输出模块，用于输出直观的关联结果。

依据上述架构本实施例的分析设备可在分析多系统日志时，通过各系统存储的日志，建立各系统的关联规则，然后在任意系统检索或者监测到异常日志时，即可得到多个系统的关联日志，实现多系统日志的分析，提高多系统日志分析的效率。

以下将对各个步骤进行详细说明：

步骤S10，获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息，所述系统的数量至少包括两个。

在本实施例中，分析设备先从Hbase中获取各系统的历史日志信息，并根据预设规则，提取各历史日志信息中的第一关键信息，其中，预设规则可根据实际情况进行设置，在一实施例中，预设规则包括获取日志信息中的时间、客户ID、接口名和来源IP等，来源IP为接口参数，分析设备则从各系统的历史日志信息中提取第一关键信息，也即历史日志信息中的时间、客户ID、接口名和来源IP等，也即，预设规则为第一关键信息的筛选标准。

需要说明的是，本实施例的分析设备对接的系统的数量不限，可以是多个，也可以是单个，本实施例优选为至少包括两个。

进一步地，在一实施例中，获取各系统的历史日志信息的步骤包括：

步骤a1，获取各系统的历史日志信息，并基于预设时间粒度，将所述历史日志信息进行分段；

在一实施例中，分析设备在获取到各系统的历史日志信息之后，根据预设时间粒度，如每小时或者每天等，将历史日志信息进行分段，在实际实施时，可按照每小时的时间粒度，将历史日志信息分为24段，如00:00:00-00:59:59点的日志为一段，之后的时间段01:00:00-01:59:59点的日志为第二段，以此类推。

步骤a2，基于预设接口类别和预设规则，将分段后的历史日志信息进行筛选归类。

接着，按照预设接口类别和预设规则，将分段后的历史日志信息进行筛选归类，其中，预设接口类别，也即接口名，包括登录、注册、查询、账目和上传等。

在一实施例中，预设规则可以是获取某一接口类别的某一段日志，如获取01:00:00-01:59:59这一段的注册类日志，也可以是获取某些接口类别的某些日志，如获取01:00:00-01:59:59的注册类日志和上传类日志等。

也即，为了更结构化日志，分析设备在获取到历史日志信息时，可以对其进行再加工，具体按照时间粒度和接口类别，对历史日志信息进行筛选归类，便于后续提取第一关键信息。

步骤S20，基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则。

在本实施例中，分析设备根据第一关键信息，确定各系统的目标频繁项集，也即确定各系统频繁出现的日志事项，再通过目标频繁项集建立各系统间的关联规则，其中，关联规则用于说明某系统出现某一日志时，其他系统大概率会出现的日志的情况。

具体，在一实施例中，基于各第一关键信息，确定各所述系统的目标频繁项集的步骤包括：

步骤b1，获取各第一关键信息对应的第一候选集，并计算第一候选集的第一支持度；

在一实施例中，分析设备先依次获取各第一关键信息对应的第一候选集，再计算第一候选集的第一支持度，具体的，提取各第一关键信息中的日志项集作为候选集，也即，第一候选集即为各系统对应的初始日志项集，其中，日志项集为第一关键信息中的各参数，如第一关键信息包括客户ID和接口名，则日志项集为客户ID和接口名，如S1系统中，有ID1和ID2两条日志，其对应的日志项集分别是客户A，接口名登录，以及客户A，接口名上传，则第一候选集即为{客户A}{登录}以及{客户A}{上传}。而第一支持度即为第一候选集中各日志项集的概率或者次数，如上述的登录和上传的出现次数都为1，所以支持度都为1/4，或者都为1。

也即，在具体实施是，支持度表示日志项集A与日志项集B同时出现的概率，关联性强则AB同时出现的概率大，支持度公式：Support(A->B)＝P(A U B)。

步骤b2，基于第一支持度，将大于预设支持度的频繁项集从第一候选集中筛选出，以得到第一频繁项集；

接着，根据第一支持度，从第一候选集中筛选出第一频繁项集，具体将第一候选集中的日志项集，也即频繁项集，的支持度与预设支持度进行大小比较，将大于预设支持度的日志项集，从第一候选集中筛选出，从而得到第一频繁项集，也即第一频繁项集指的是出现频繁大于预设支持度的日志项集。如预设支持度为1，则上述的客户A由于出现两次，则第一频繁项集即为{客户A}

步骤b3，将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度；

接着，将第一频繁项集中的频繁项集进行拼接，从而得到第二候选集，并继续计算第二候选集的支持度。

具体的，步骤b3包括：

步骤b31，将第一频繁项集中的频繁项集进行两两组合，以拼接得到对应的第二候选集；

在一实施例中，具体的拼接过程为：在第一频繁项集中取两个频繁项集进行两两组合，直至所有的频繁项集都组合完成，从而得到对应的第二候选集，如第一频繁项集中包括{ID1}、{ID2}和{ID3}，则将频繁项集进行两两组合，得到{ID1，ID2}，{ID2，ID3}和{ID1，ID3}。即将一维频繁项集拼接成二维频繁项集。

步骤b32，统计第二候选集中的频繁项集在所述第一关键信息中出现的次数，并基于所述次数，计算第二候选集的第二支持度。

接着，统计第二候选集中的频繁项集在第一关键信息中出现的次数，并根据次数，计算第二候选集的第二支持度，也即计算第二候选集中各日志项集的概率。

步骤b4，基于第二支持度，将大于预设支持度的频繁项集从第二候选集中筛选出，以得到第二频繁项集；

再从第二候选集中筛选出第二频繁项集，其中，筛选过程与筛选第一频繁项集的过程类似，都是将大于预设支持度的频繁项集从候选集中筛选出来，在此不再赘述。

步骤b5，将第二频繁项集作为第一频繁项集，并循环执行将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度；基于第二支持度，从第二候选集中筛选出第二频繁项集的步骤，直至无法将第一频繁项集中的频繁项集进行拼接，或者无法从第二候选集中筛选出第二频繁项集；

然后，将第二频繁项集作为第一频繁项集，并循环执行将第一频繁项集中的频繁项集进行拼接，以得到第二候选集，并计算第二候选集的第二支持度，再从第二候选集中筛选出第二频繁项集的步骤，直至无法将第一频繁项集中的频繁项集进行拼接，或者无法从第二候选集中筛选出第二频繁项集，也即最后的频繁项集只有一个，无法再进行两两拼接，或者第二候选集中的日志项集的支持度都不再大于预设支持度。

步骤b6，基于最后产生的第一频繁项集，确定各所述系统的目标频繁项集。

最后，将最后产生的第一频繁项集，确定为各系统的目标频繁项集，需要说明的是，本实施例采用最后产生的第一频繁项集作为各系统的目标频繁项集，而不是以穷举的方式进行列举，这是由于，当某一项集的概率较大，也即出现的次数较多，其为频繁项集，那么其子集必然也是频繁项集，如{ID1，ID2}是频繁项集时，其任意子集{ID1}或者{ID2}也都是频繁项集，因此，只需确定最大维数，也即子集最多的频繁项集为目标项集，即可知道其包含的子集都为频繁项集，无需一一穷举，提高了分析设备的分析速度。

可以理解的，目标频繁项集代表着经常一起出现的日志是哪些。

进一步地，在一实施例中，基于各所述目标频繁项集，确定各所述系统的关联规则的步骤包括：

步骤b7从各所述系统的目标频繁项集中筛选出各所述系统共有的目标频繁项，并计算所述目标频繁项所在目标频繁项集的置信度；

在一实施例中，在计算得出各系统的目标频繁项集后，仅说明了各自系统中经常出现的日志之间的关联，为寻找到各系统之间的额关联性，还需从各目标频繁项集中找到各系统的共有目标频繁项，以建立各系统之间的关联规则，并计算共有的目标频繁项在目标频繁项集中的置信度。

具体的，将各系统的目标频繁项集中的频繁项进行比较，从而找出各系统共有的目标频繁项，接着，确定目标频繁项在目标频繁项集的概率，并求该概率与目标频繁项的置信度之比，即为目标频繁项的置信度。

也即，在具体实施时，置信度表示日志项集A出现的同时，日志项集B出现的概率，置信度越高，B出现的概率越大，则关联性越强，置信度公式：Confidence(A->B)＝P(A|B)＝support(A∪B)/support(A)×100％。

需要说明的是，目标频繁项的数量可以是一个，也可以是多个。

步骤b8，基于所述置信度和所述目标频繁项，确定各所述系统的关联规则。

最后，根据置信度和目标频繁项，确定各系统的关联规则，具体的，当目标频繁项的置信度大于预设置信度时，目标频繁项所在目标频繁项集的日志即为各系统存在关联的日志。

步骤S30，当在任意所述系统检测到异常日志时，基于所述关联规则，确定所述异常日志对应的第一关联日志。

在本实施例中，在建立了各系统间的关联规则之后，当分析设备在任意系统监测到异常日志时，除了正常的定位并显示异常日志之外，还根据关联规则，确定异常日志对应的第一关联日志。

其中，任意系统的异常日志的监测方式与现有单系统的异常日志的监测类似，在此不做详细介绍。

在本实施例中，分析设备最后根据检测到的异常日志，以及根据关联规则查找到的第一关联日志，输出本次异常所对应的多个系统的日志信息，使得运维人员可以了解到某个业务异常后在多个系统间的异常信息，而不需要运维人员一个系统一个系统去查找异常日志，提高了多系统日志的分析速度。

为方便理解，下面通过举例辅助说明：

假设有S1登录系统日志

以及S2文件系统日志

为方便理解，可定义时间段8:01-9:00为T8，9:01-10：为T9，以此类推，接口名登录为D1，查询为D2，上传为D3，下载为D4，客户A为U1，客户B为U2，客户C为U3，则S1可转换为：

其中TID为交易ID，与ID一致。

S2则可转换为：

根据上述实施例的目标频繁项集的推到过程(预设支持度为1)可知，S1系统4项频繁项集有三个：{T8、U2、D2、P2}；{T12、U2、D1、P2}；{T12、U2、D2、P2}，S2系统4项频繁项集有两个：{T8、U1、D3、P1}；{T8、U2、D3、P2}，也即，可知，客户B在8点、12点在S1系统使用IP2进行登录、查询，并通过S2系统进行了上传文件操作；客户A在8点在S2系统使用IP1进行上传操作。

通过查找共有的目标频繁项T8、U2，可知，客户B在8点在S1系统进行了查询，同时在S2系统进行了上传操作，因此，若S1系统中TID2的业务出现异常，则除了获取TID2的日志之外，还需获取S2系统中TID2的业务日志，从而实现跨多个系统执行的业务，可在任意系统中，根据各系统的关联规则，获取到多个系统的较为全面的日志，实现多系统日志的分析，不需要运维人员一个一个系统去登录定位，提高多系统日志的分析速度。

进一步地，基于本发明日志分析方法第一实施例，提出本发明日志分析方法第二实施例。

日志分析方法的第二实施例与日志分析方法的第一实施例的区别在于，步骤S20之后，日志分析方法还包括：

步骤c，若在任意所述系统检测到检索请求，则确定所述检索请求的检索条件，并生成所述检索条件对应的检索主键；

步骤d，将所述检索主键与预存主键集合进行轮询匹配，以确定是否存在所述检索主键对应的检索日志；

步骤e，若存在，则基于所述关联规则，确定所述检索日志对应的第二关联日志；

步骤f，基于所述检索日志和第二关联日志，输出对应的检索结果。

本实施例的分析设备除了可以自动监测异常日志之外，还可以根据运维人员输入的检索请求进行相关日志的检索，如运维人员想要了解业务员A在操作某一业务时的行为，即可通过输入业务员A的相关信息，从而在任意系统检测到业务员A相关的日志之外，还可以通过关联规则，查找到业务员A在其他系统的操作行为所对应的日志，如业务员A在S1系统进行上传操作，在S2系统进行下载操作等。

以下将对各个步骤进行详细说明：

步骤c，若在任意所述系统检测到检索请求，则确定所述检索请求的检索条件，并生成所述检索条件对应的检索主键。

在本实施例中，分析设备若在任意系统检测到检索请求，则确定当前检索请求的检索条件，也即运维人员输入的检索参数，并根据检索条件，生成对应的检索主键。

具体的，计算检索条件的唯一验证值，如MD5值，从而得到检索条件对应的检索主键，需要说明的是，在具体实施，检索条件可以是一个，也可以是多个，在多个的情况下，在生成检索主键的过程中，分别计算各检索条件的唯一验证值，并将各唯一验证值进行累加。

在具体实施时，检索主键的生成公式为：

RowKey＝md5(检索条件1)+md5(检索条件2)+...+md5(检索条件n)+时间戳timestamp

进一步地，在一实施例中，步骤c之前，分析设备还执行如下步骤：

步骤g，若在所述系统检测到日志生成，则基于预设打印规范，将所述日志生成格式日志，并获取所述格式日志对应的第二关键信息；

也即，在一实施例中，为保证后续运维人员在检索相关日志时，可以更快的给出相关的检索结果，在对日志进行存储的过程中，先根据预设打印规范，将日志生成格式日志，其中，格式日志如图3所示，并获取格式日志对应的第二关键信息，其中，第二关键信息为人为设置的参数所对应的日志部分，如日志中的用户信息，用户事件信息，系统ID等。

步骤h，生成第二关键信息对应的键部，并基于所述键部，生成所述格式日志对应的主键；

接着，生成第二关键信息对应的键部，具体的，分别计算第二关键信息中各参数的唯一验证值，如MD5值等，如第二关键信息为用户信息、用户事件信息、系统ID，则对应的键部分别为md5(用户信息)+md5(用户事件信息)+md5(系统ID)。

最后根据各键部，组装成主键RowKey：

RowKey＝md5(用户信息)+md5(用户事件信息)+md5(系统ID)+时间戳timestamp。

步骤i，将所述主键存储在预设集群中以形成主键集合。

将所有的日志的主键存储在预设集群中，以形成主键集合，其中，预设集群在Hbase中，也即，为加快日志的查询速度，本实施例在Hbase中增加有规则的Rowkey主键，便于后续日志的检索转变换为键部之间的轮询匹配，从而提高查找效率，具体匹配过程见下述描述。

步骤d，将所述检索主键与预存主键集合进行轮询匹配，以确定是否存在所述检索主键对应的检索日志。

在本实施例中，在生成检索主键之后，将检索主键与预存主键集合进行轮询匹配，从而确定是否存在检索主键对应的检索日志。

具体的，步骤d包括：

步骤d1，将所述检索主键依次与预存主键集合中的键部进行匹配，以判断是否存在所述检索主键对应的目标键部；

其中，若存在，则在所述预存主键集合中确定所述目标键部所在的预存主键，并获取所述目标检索所在预存主键对应的检索日志。

在一实施例中，分析设备将检索主键依次与预存主键集合中的键部进行匹配，以判断是否存在检索主键对应的目标键部，如检索主键为md5(用户事件信息)+时间戳timestamp，预存之间集合中有一主键为md5(用户信息)+md5(用户事件信息)+md5(系统ID)+时间戳timestamp，则将检索主键的各个键部依次与预存主键集合中的键部进行匹配。

其中，若预存主键集合中存在目标键部，则在预存主键集合中确定目标键部所在的预存主键，并进一步确定预存主键对应的检索日志，其中，预存主键的数量不限，也即，目标键部可能存在于多个预存主键中。

步骤e，若存在，则基于所述关联规则，确定所述检索日志对应的第二关联日志。

在本实施例中，若确定存在检索主键对应的检索日志，则根据关联规则，进一步确定与当前系统的检索日志存在关联性的第二关联日志，使得运维人员只需在单个系统中进行日志的检索，即可获取到多个关联系统的全部日志。

在本实施例中，分析设备最后将检索日志和第二关联日志作为检索结果输出，使得运维人员可以在较快的时间知晓多个系统中所要了解到的日志。

本实施例的分析设备除了可以自动监测异常日志之外，还可以根据运维人员输入的检索请求进行相关日志的检索，并输出与检索请求相关联的其他多个系统关联日志，使得检索结果更加全面智能，而不需要运维人员在多个系统间进行检索，提高了检索效率。

本发明还提供一种日志分析装置。本发明日志分析装置包括：

优选地，所述第一确定模块还用于：

基于所述检索日志和第二关联日志，输出对应的检索结果。

将所述主键存储在预设集群中以形成主键集合。

优选地，所述检索模块还用于：

本发明还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如上所述的日志分析方法的步骤。

其中，在所述处理器上运行的日志分析程序被执行时所实现的方法可参照本发明日志分析方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种日志分析方法，其特征在于，所述日志分析方法包括如下步骤：

基于所述异常日志和第一关联日志，输出对应的异常结果。

2.如权利要求1所述的日志分析方法，其特征在于，所述基于各第一关键信息，确定各所述系统的目标频繁项集的步骤包括：

3.如权利要求2所述的日志分析方法，其特征在于，所述将第一频繁项集中的频繁项集进行拼接，以得到对应的第二候选集，并计算第二候选集的第二支持度的步骤包括:

4.如权利要求1所述的日志分析方法，其特征在于，所述基于各所述目标频繁项集，确定各所述系统的关联规则的步骤包括：

5.如权利要求1-4任一项所述的日志分析方法，其特征在于，所述基于各第一关键信息，确定各所述系统的目标频繁项集，并基于各所述目标频繁项集，确定各所述系统的关联规则的步骤之后，所述日志分析方法还包括：

基于所述检索日志和第二关联日志，输出对应的检索结果。

6.如权利要求5所述的日志分析方法，其特征在于，所述获取各系统的历史日志信息，并基于预设规则，提取各所述历史日志信息中的第一关键信息的步骤之前，所述日志分析方法还包括：

将所述主键存储在预设集群中以形成主键集合。

7.如权利要求5所述的日志分析方法，其特征在于，所述将所述检索主键与预存主键集合进行轮询匹配，以确定是否存在所述检索主键对应的检索日志的步骤包括：

8.一种日志分析装置，其特征在于，所述日志分析装置包括：

9.一种日志分析设备，其特征在于，所述日志分析设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如权利要求1至7中任一项所述的日志分析方法的步骤。