CN111796957A - 基于应用日志的交易异常根因分析方法及系统 - Google Patents

Abstract

本发明提供了一种基于应用日志的交易异常根因分析方法及系统，所述方法包括：对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列；根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型；根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路，本发明可实现异常交易的自动根因分析，提高交易异常根因分析效率。

Description

基于应用日志的交易异常根因分析方法及系统

技术领域

本发明涉及智能运维技术领域，尤其涉及一种基于应用日志的交易异常根因分析方法及系统。

背景技术

随着互联网技术和金融科技的发展，网上交易越来越频繁，交易的金额也在不断增大，网上交易给人民带来便利的同时，伴随而来的交易问题也越来越多，如果不能快速解决这些问题，将导致更多的交易问题。

当前网上交易问题定位和分析主要依靠人为方式对交易链路的应用日志进行分析，从而实现问题根因定位。这种人为分析方式效率低下，需要从大量的交易链路应用日志中识别出问题所在，而且可能由于报警风暴的存在而影响人为判断真实根因信息的准确度。综上，目前基于人为分析方式的交易异常根因分析方法效率较低。

发明内容

本发明的一个目的在于提供一种基于应用日志的交易异常根因分析方法，实现异常交易的自动根因分析，提高交易异常根因分析效率。本发明的另一个目的在于提供一种基于应用日志的交易异常根因分析系统。本发明的还一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。

为了达到以上目的，本发明一方面公开了一种基于应用日志的交易异常根因分析方法，包括：

对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列；

根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型；

根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

优选的，进一步包括预先形成所述异常交易分析模型和所述模式库的步骤。

优选的，所述预先形成所述异常交易分析模型和所述模式库具体包括：

对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列；

通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型；

根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型；

根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

优选的，所述根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路具体包括：

将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值；

若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

优选的，进一步包括预先获取交易各链路的应用日志：

通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群；

通过Spark以订阅方式从所述Kafka集群获取打散后的原始日志数据。

本发明还公开了一种基于应用日志的交易异常根因分析系统，包括：

数据处理单元，用于对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列；

交易分类单元，用于根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型；

数据检测单元，用于根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

优选的，进一步包括模型训练单元，用于预先形成所述异常交易分析模型和所述模式库。

优选的，所述模型训练单元具体用于对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列，通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型，根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型，根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

优选的，所述数据检测单元具体用于将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值，若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

优选的，所述数据处理单元具体用于通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群，通过Spark以订阅方式从所述Kafka集群获取打散后的原始日志数据。

本发明还公开了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，

所述处理器执行所述程序时实现如上所述方法。

本发明还公开了一种计算机可读介质，其上存储有计算机程序，

该程序被处理器执行时实现如上所述方法。

本发明通过对交易各链路的应用日志进行特征提取得到链路模板，并形成模板序列。然后，通过预设的异常交易分析模型确定实时交易的交易类型。进一步的，根据预设的模式库中该交易类型对应的链路模板对实时交易的模板序列中各链路模板进行检测，确定实时待检测交易中是否存在异常链路，从而实现异常交易的根因分析。本发明不需要依靠人力分析异常交易日志来实现异常交易根因分析，可在线实时诊断异常交易根因链路，给出根因分析结果，根因诊断分析效率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例的流程图；

图2示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例S000的流程图；

图3示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例S300的流程图；

图4示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例S100的流程图；

图5示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例S400的流程图；

图6示出本发明一种基于应用日志的交易异常根因分析方法一个具体实施例S200的流程图；

图7示出本发明一种基于应用日志的交易异常根因分析方法一个具体例子的流程图；

图8示出本发明一种基于应用日志的交易异常根因分析系统一个具体实施例的结构图；

图9示出本发明一种基于应用日志的交易异常根因分析系统一个具体实施例包括模型训练单元的结构图；

图10示出适于用来实现本发明实施例的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个方面，本实施例公开了一种基于应用日志的交易异常根因分析方法。如图1所示，本实施例中，所述方法包括：

S100：对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列。

S200：根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型。

S300：根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

本发明通过对交易各链路的应用日志进行特征提取得到链路模板，并形成模板序列。然后，通过预设的异常交易分析模型确定实时交易的交易类型。进一步的，根据预设的模式库中该交易类型对应的链路模板对实时交易的模板序列中各链路模板进行检测，确定实时待检测交易中是否存在异常链路，从而实现异常交易的根因分析。本发明不需要依靠人力分析异常交易日志来实现异常交易根因分析，可在线实时诊断异常交易根因链路，给出根因分析结果，根因诊断分析效率高。

在优选的实施方式中，所述方法进一步包括预先形成所述异常交易分析模型和所述模式库的步骤S000。可以理解的是，在该优选的实施方式中，通过建立交易异常分析模型的形式根据实时交易的模板序列对交易进行交易类型的匹配，以对交易进行分类，以进一步在该交易类型的范围内进行交易匹配确定实时交易中是否存在异常链路。在可选的实施方式中，可通过离线训练的形式基于历史正常交易的应用日志进行模式库的提取和模型的训练。

在优选的实施方式中，如图2所示，所述S000预先形成所述异常交易分析模型和所述模式库具体可包括：

S010：对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列。

S020：通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型。

S030：根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型。

S040：根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

可以理解的是，一个交易通常需要多个链路上的应用执行完成，从而一个完整的交易包括多个链路的应用日志。在该优选的实施方式中，基于历史正常交易的链路应用日志，对历史正常交易的各个链路应用日志分别进行特征提取可得到交易各链路的历史链路模板。将各链路的历史链路模板按时间顺序等排序规则可排列形成模板序列。在其他实施方式中，也可通过其他排序规则将各链路的历史链路模板排序形成模板序列，而不仅限于按时间顺序进行排序。

其中，可根据预设的特征字段对应用日志进行特征提取，特征字段可选取具有表征意义的字段，提取得到的特征字段相同的链路模板为同一个模板。其中，特征字段可包括时间戳、日志类型、程序名称、子程序名、平台流水号、交易代码和业务返回码等特征字段中的至少之一，在实际应用中，也可选择其他特征字段对应用日志进行特征提取，本发明对此并不作限定。

由于每个交易包含多个链路的应用日志，因此每个交易的多个链路模板可形成一个模板序列，可通过模板化将历史正常应用日志全部转化为模板序列。其中，根据选定的特征字段对应用日志进行匹配，根据应用日志中包含的特征字段及特征字段对应的数值形成数值化的链路模板，进一步得到模板序列，从而可对数值化的模板序列的数据进行分析。

为了进一步简化分析复杂度，可采用聚类算法对所有历史正常交易的模板序列进行聚类分析，可将历史正常交易进行分类，得到多个交易类型的历史正常交易。将历史正常交易的交易类型作为历史正常交易的标签，采用历史正常交易的模板序列和对应的交易类型标签对分类器进行分类训练可得到训练好的异常交易分析模型，该异常交易分析模型可在异常交易诊断过程中对待诊断的交易进行分类，确定待诊断交易的交易类型。

需要说明的是，聚类算法优选的可采用DBSCAN算法，分类器优选的可采用运用CATBOOST分类算法的分类器。在该实施例中，通过对CATBOOST分类算法的分类器进行训练得到交易异常分析模型，在其他实施方式中，也可以采用其他方式形成交易异常分析模型，本发明在此并不作限定。

为了对实时交易进行精准分析，过一步对每个交易类型的历史正常交易进行分析，形成模式库。具体的，可分析每个交易类型模板序列中的所有链路模板在该交易类型对应链路的所有链路模板中所占的概率值，即得到所有链路模板的类型和数量，根据每个类型链路模板的数量在所有链路模板数量中所占的比值可得到每个交易类型各链路模板的概率值。进而，可根据各个交易类型对应的模板序列中各链路模板及其概率值得到模式库。

在一个具体例子中，从30万条历史正常交易的各链路应用日志中共抽出112条模板序列，通过形成模板序列对交易的应用日志进行分类分析可以大大降低分析的复杂度。对112条模板序列进行聚类分析得到107类交易类型。其中，假设聚类得到的第一类交易类型包括100条交易，第一类交易类型包括10个链路，第一链路包括第一类链路模板和第二类链路模板，其中每类链路模板包括50个链路模板。则第一类交易类型中第一链路每类链路模板的概率值为0.5。因此，在实时检测过程中，将实时待检测交易的模板序列中链路模板与模式库中对应交易类型的链路模板进行比对，若通过匹配得到链路模板为第一类链路模板，则待检测链路中链路模板的概率值为0.5。从而，当匹配得到的链路模板的概率值越大，越可能是正常的交易，则对应的链路越可能是正常链路。则可预设阈值，当链路模板的概率值低于预设阈值，则确定该链路为异常链路。本发明通过人工智能算法训练得到异常交易分析模型对待检测交易进行分类，并通过建立模式库的形式实现各链路的单独诊断分析，即实现异常交易根因分析，相对人为方式更加精确和快速，可实现毫秒级的根因分析，有效提升根因分析的准确率。

在优选的实施方式中，如图3所示，所述S300具体可包括：

S310：将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值。

S320：若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

可以理解的是，在预先得到的模式库中，存储多个交易类型各链路的链路模板及其概率值，在实时检测时，对待检测的交易进行特征提取等操作可得到待检测交易的模板序列。将模板序列中各链路模板与模式库中的链路模板进行匹配，若匹配得到链路模板，匹配得到的链路模板的概率值越大，说明待检测链路为正常交易的可能性就越大。当匹配得到的链路模板的概率值低于预设阈值时，可判定该待检测链路为异常链路。其中，预计阈值可选择比较小的概率值。在一个具体例子中，概率值可选择0，即待检测的链路模板在模式库中匹配不到链路模板时，认为该待检测的链路应用日志在历史正常交易中没有出现过，为异常交易。在另一个具体例子中，概率值可选择0.2，即待检测的链路模板在模式库中匹配得到的链路模板的概率值为0.2，则认为该链路应用日志在历史正常交易中比较稀少，为稀有交易，可认为该链路为异常链路。在实际应用时，概率值也可选择其他值，在得到链路检测结果后，可将该检测结果向用户反馈。

在优选的实施方式中，如图4所示，所述方法进一步包括预先获取交易各链路的应用日志：

S110：通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群。

S120：通过Spark通过订阅方式从所述Kafka集群获取打散后的原始日志数据。

可以理解的是，在该优选的实施方式中，利用Fluentd将数据打散发送到Kafka集群，然后通过Kafka集群订阅方式进行数据的分发，通过Spark实时从Kafka集群获取原始日志数据，得到交易的应用日志。

优选的，可使用Spark Streaming架构，作为Kafka集群的消费者从Kafka集群订阅Topic，实时获取交易各链路的应用日志，并对应用日志做在线实时检测。预先得到的异常交易分析模型可存储在MySql数据库中，并可将预先得到的模式库存储在Redis中。Spark从Kafka集群实时订阅日志数据，从MySql数据库中获取离线训练好的模型，并从Redis中获取离线建立的模式库，对交易的应用日志进行实时检测，通过将测试环境中Redis和MySql中的模式库和算法数据导出到数据文件，利用脚本将数据文件导入到生产数据库中可完成离线训练模式库和模型的迁移。

最后可将检测所述交易中是否存在异常链路得到的诊断结果存放在ElasticSearch中，通过规则查询可从ElasticSearch中获取相应的诊断结果进行展示。异常链路诊断结果可按天建立索引存储在ElasticSearch集群中，存储1周结果数据，存放超过1周的数据将通过自动化脚本进行删除。在实际应用中，也可采用其他方式存储和删除诊断结果，本发明对此并不作限定。

在优选的实施方式中，如图5所示，所述方法进一步包括：

S410：获取各链路应用日志的起始时间和结束时间，得到所述链路的交易时长。

S420：若所述交易时长大于预设时间阈值，诊断所述链路为超时链路。

可以理解的是，每个链路的应用日志可包括起始时间和结束时间，将结束时间减去起始时间可得到整个交易在该链路的持续交易时长。可预先设置预设时间阈值，若交易时长大于该预设时间阈值，即认为该链路的持续交易时长超过正常交易的时间，判定为超时链路。其中，预设时间阈值可通过将一个交易类型在该链路的历史正常交易时间的平均值乘以比例值得到，该比例值优选的可选择1.2，在实际应用中，也可选择其他比例值，本发明对此并不作限定。

在优选的实施方式中，如图6所示，所述S200根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型具体可包括：

S210：根据所述模板序列通过预设的异常交易分析模型确定所述交易属于目的交易类型的置信度。

S220：若所述置信度大于预设置信度阈值，确定所述交易的交易类型为所述目的交易类型。

可以理解的是，在通过预设的异常交易分析模型确定交易的交易类型时，可能存在得到的交易的应用日志在历史正常交易中不存在的情况，即为未知交易。异常交易分析模型对交易的应用日志进行交易类型的分类时，会得到交易属于一个交易类型的置信度。可预设一个置信度阈值，当异常交易分析模型确定交易属于一个交易类型的置信度大于置信度阈值，可确定交易属于该交易类型。否则，确定该交易为未知交易。其中，置信度阈值优选的可选择0.8，在实际应用中，也可根据实际需要选择其他的置信度阈值，本发明对此并不作限定。

下面通过一个具体例子来对本发明作进一步的说明。如图7所示，在该具体例子中，首先获取了一周的生产数据(日志数据)作为训练数据，从训练数据中选出具有表征意义的7个字段(时间戳、日志类型、程序名称、子程序名、平台流水号、交易代码、业务返回码)，然后将每条交易每个链路的每条应用日志进行模板化(7个字段相同的日志为同一个链路模板，例如模板化成template0)得到链路模板，将所有交易的所有日志模板化之后存放在redis中。在该例子中，分析30万条历史交易日志共抽出112条模板序列。

利用密度聚类算法-DBSCAN算法对模板化后的交易模板序列进行聚类，得到了107类交易类型，可将聚类结果存放在redis数据库中。聚类后将聚类结果作为CATBoost分类器的输入数据对分类器进行训练得到异常交易分析模型。异常交易分析模型可以将在线实时交易有效的分到具体的聚类类别中。训练了分类器后，再对聚类结果中的每个交易类别的链路模板进行模板统计，主要是通过对每个类别中每条交易的多链路应用日志模板进行统计，计算每个链路中链路模板的类型和数量，及其比率，并将每个类的链路模板比率存入模式库中，从而实现模式库的建立。例如第1类中有100条交易，每条交易有10条链路应用日志，对于该类来说，其链路1的日志模板类型可能都不相同而有100种类型，也可能都相同而只有1种类型，因此可以统计该链路每种类型的比率，比率越大说明出现的概率越大，越可能是正常的交易。例如，假设聚类得到的第一类交易类型包括100条交易，第一类交易类型包括10个链路，第一链路包括第一类链路模板和第二类链路模板，其中每类链路模板包括50个链路模板。则第一类交易类型中第一链路每类链路模板的概率值为0.5。以此类推计算每个类中的每个链路模板的统计概率。

在线实时分析的时候，首先将新的交易的各条链路的日志模板化，然后利用分类算法对交易进行分类，分类后将该交易的链路模板和模式库中该类别的链路模板进行匹配，其中，匹配过程包括特征值的比对，还可以包括各链路执行时间的比对，若匹配得到的链路模板的比率小于阈值，则判定为异常类型，该链路为异常根因链路。最后可将异常检测结果存放在ElasticSearch中，用户通过规则查询从ElasticSearch中获取相应的检测结果数据进行展示。

基于相同原理，本实施例还公开了一种基于应用日志的交易异常根因分析系统。如图8所示，本实施例中，所述系统包括数据处理单元11、交易分类单元12和数据检测单元13。

其中，所述数据处理单元11用于对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列。

所述交易分类单元12用于根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型。

所述数据检测单元13用于根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

在优选的实施方式中，如图9所示，所述系统进一步包括模型训练单元10。模型训练单元10用于预先形成所述异常交易分析模型和所述模式库。

在优选的实施方式中，所述模型训练单元10具体用于对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列，通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型，根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型，根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

在优选的实施方式中，所述数据检测单元13具体用于将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值，若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

在优选的实施方式中，所述数据处理单元11具体用于通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群，通过Spark以订阅方式从所述Kafka集群获取打散后的原始日志数据。

由于该系统解决问题的原理与以上方法类似，因此本系统的实施可以参见方法的实施，在此不再赘述。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法。

下面参考图10，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。

如图10所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于应用日志的交易异常根因分析方法，其特征在于，包括：

对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列；

根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型；

根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

2.根据权利要求1所述的交易异常根因分析方法，其特征在于，进一步包括预先形成所述异常交易分析模型和所述模式库的步骤。

3.根据权利要求2所述的交易异常根因分析方法，其特征在于，所述预先形成所述异常交易分析模型和所述模式库具体包括：

对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列；

通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型；

根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型；

根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

4.根据权利要求1所述的交易异常根因分析方法，其特征在于，所述根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路具体包括：

将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值；

若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

5.根据权利要求1所述的交易异常根因分析方法，其特征在于，进一步包括预先获取交易各链路的应用日志：

通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群；

通过Spark以订阅方式从所述Kafka集群获取打散后的原始日志数据。

6.一种基于应用日志的交易异常根因分析系统，其特征在于，包括：

数据处理单元，用于对交易各链路的应用日志进行特征提取得到链路模板，将各链路的链路模板排序形成模板序列；

交易分类单元，用于根据所述模板序列通过预设的异常交易分析模型确定所述交易的交易类型；

数据检测单元，用于根据预设模式库中所述交易类型各链路的链路模板检测所述交易中是否存在异常链路。

7.根据权利要求6所述的交易异常根因分析系统，其特征在于，进一步包括模型训练单元，用于预先形成所述异常交易分析模型和所述模式库。

8.根据权利要求7所述的交易异常根因分析系统，其特征在于，所述模型训练单元具体用于对历史正常交易的各链路应用日志进行特征提取得到历史链路模板，将各链路的历史链路模板排序形成模板序列，通过聚类算法对历史正常交易的模板序列进行聚类得到多个交易类型，根据多个交易类型的模板序列对分类器进行分类训练得到所述异常交易分析模型，根据多个交易类型对应的各链路的链路模板以及各个链路模板的概率值形成模式库。

9.根据权利要求6所述的交易异常根因分析系统，其特征在于，所述数据检测单元具体用于将交易各链路的链路模板分别与模式库中对应链路的历史链路模板进行比对，确定每个链路模板的概率值，若一个链路模板的概率值低于预设阈值，则所述一个链路模板为异常链路。

10.根据权利要求6所述的交易异常根因分析系统，其特征在于，所述数据处理单元具体用于通过Fluentd将原始日志数据根据交易打散后发送给Kafka集群，通过Spark以订阅方式从所述Kafka集群获取打散后的原始日志数据。

11.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现如权利要求1-5任一项所述方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，

该程序被处理器执行时实现如权利要求1-5任一项所述方法。

Images