CN109889538B - 用户异常行为检测方法及系统 - Google Patents

Abstract

本发明提供了一种用户异常行为检测方法及系统，所述方法包含：获取历史交易数据，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。

Description

用户异常行为检测方法及系统

技术领域

本发明涉及信息安全领域，尤其涉及一种用户异常行为检测方法及系统。

背景技术

用户异常行为是指黑客对互联网应用和业务进行恶意探测，寻找可进行攻击的方法，从而直接获取利益。

目前，针对攻击者的恶意探测行为识别已成为业界共同的痛点，尚无成熟的应对方案，业界现有的网络安全防护手段及业务风控手段都难以发现。发现这种恶意探测行为主要面临以下两点困难：

1、由于探测过程中提交信息不包含不合理内容、交易频次均无明显异常特征，不会触发网络防护规则；探测过程尚未造成用户损失，不会触发业务监控规则，因此出入口部署的基于特征规则防护措施对此类行为难以发现。

2、在恶意攻击者的业务探测阶段，一般通过手工交易尝试出业务功能的薄弱环节，如：报文字段的篡改、相同内容多次重复请求、异常访问业务资源等，探测方法多种多样。如果根据已知风险事件设定专家规则，在短时间内可有效识别，但是当攻击手法发生改变时，规则无法自适应调整，准确性就会降低，导致对于未知的恶意行为无法提前感知。

发明内容

本发明目的在于提供一种基于交易序列的用户异常行为检测系统及方法。通过对用户的行为进行分析研究，从正常交易序列和异常交易序列的差异出发，以有效的用户异常行为检测系统及方法，可在黑客攻击成功前及时发现恶意探测行为，有效防止未知复杂攻击事件的发生和蔓延，弥补现有异常行为检测技术的不足。

为达上述目的，本发明所提供的用户异常行为检测方法，具体包含：获取历史交易数据，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。

在上述用户异常行为检测方法中，优选的，所述获取历史交易数据包含：获取历史交易日志，根据所述历史交易日志中关键特征构建用户交易转移序列；根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。

在上述用户异常行为检测方法中，优选的，获取历史交易日志，根据所述历史交易日志中关键特征构建用户交易转移序列包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。

在上述用户异常行为检测方法中，优选的，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵包含：根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵。

在上述用户异常行为检测方法中，优选的，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵包含：根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

在上述用户异常行为检测方法中，优选的，通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵包含：通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

在上述用户异常行为检测方法中，优选的，通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵包含：根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

在上述用户异常行为检测方法中，优选的，根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果还包含：根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；将所述分析结果与所述最终临界值比较，获得检测结果。

本发明还提供一种用户异常行为检测系统，所述系统包含训练子系统和检测预警子系统；所述训练子系统包含第一数据采集模块、序列分析模块和模型生成模块；所述检测预警子系统包含第二数据采集模块和欺诈预警模块；所述第一数据采集模块用于获取历史交易数据；所述序列分析模块用于根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；所述模型生成模块用于通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；以及通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；所述第二数据采集模块用于获取待检测交易数据；所述欺诈预警模块用于根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。

在上述用户异常行为检测系统中，优选的，所述第一数据采集模块还包含特征提取单元和序列构造单元，所述特征提取单元用于获取所述历史交易日志中关键特征；所述序列构造单元用于根据所述历史交易日志中关键特征构建用户交易转移序列；根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。

在上述用户异常行为检测系统中，优选的，所述序列构造单元还包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。

在上述用户异常行为检测系统中，优选的，所述序列分析模块包含马尔科夫模型单元，所述马尔科夫模型单元用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵。

在上述用户异常行为检测系统中，优选的，所述序列分析模块包含概率后缀树模型单元，所述概率后缀树模型单元用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

在上述用户异常行为检测系统中，优选的，所述模型生成模块包含模型集成单元和临界值调优单元；所述模型集成单元用于通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵；所述临界值调优单元用于通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值。

在上述用户异常行为检测系统中，优选的，所述模型集成单元还包含：根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

在上述用户异常行为检测系统中，优选的，所述第二数据采集模块还用于获取所述待检测交易数据中交易转移序列的长度；所述欺诈预警模块用于根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；将所述分析结果与所述最终临界值比较，获得检测结果。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：1、相对于业界现有的网络安全防护手段，本发明基于交易序列间的差异，可以识别出提交信息合理、交易频次正常的复杂恶意探测行为，避免完整欺诈模式的形成。2、相对于传统的业务风控手段，本发明利用智能分析技术，可以提前准确识别出未知的恶意行为，进而对未知复杂欺诈攻击行为的有效预判。3、本发明可以适用于各个领域的互联网应用进行用户异常行为检测，可以快速准确识别出复杂的恶意行为，弥补业界现有的检测手段的不足。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1A为本发明一实施例所提供的互联网应用和欺诈交易预警系统结构关系图；

图1B为本发明一实施例所提供的用户异常行为检测方法的流程示意图；

图2为本发明一实施例所提供的训练子系统结构图；

图3A为本发明一实施例所提供的数据采集模块结构图；

图3B为本发明一实施例所提供的数据采集流程示意图；

图4为本发明一实施例所提供的序列分析模块结构图；

图5为本发明一实施例所提供的概率后缀树结构示例图；

图6A为本发明一实施例所提供的模型生成模块结构图；

图6B为本发明一实施例所提供的模型生成流程示意图；

图7为本发明一实施例所提供的检测预警子系统结构图；

图8为本发明一实施例所提供的欺诈预警模块结构图；

图9为本发明一实施例所提供的欺诈交易预警系统训练和识别的工作流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1B所示，本发明所提供的用户异常行为检测方法，具体包含：S1001 获取历史交易数据，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；S1002通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型； S1003通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；S1004根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。请参考图3B所示，在上述实施例中所述获取历史交易数据可包含：S3001获取历史交易日志，根据所述历史交易日志中关键特征构建用户交易转移序列；S3002根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。其中，根据所述历史交易日志中关键特征构建用户交易转移序列可包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。实际工作中，可利用应用服务器中全量历史交易日志，进行数据清洗和过滤，通过正则匹配算法，去除日志中冗余的调试信息和报错信息，得到用户交易数据；接着，基于全量交易数据，根据交易数据中的用户标识和会话标识将交易进行分组，随后将每个用户一次登录内的交易数据按照时间顺序排列，形成用户交易转移序列。

首先构建检测模型，在上述实施例中，步骤S1002中根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵包含：根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵；以及根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

其后，通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵中可通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。具体的，请参考图6B所示，S6001根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值；S6002将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。值得说明的是，因历史交易数据中交易转移序列的长度并不相同，因此所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权重值也不同，为此该过程中针对不同的交易转移概率矩阵的长度建立了对应的欺诈预警转移概率矩阵，其后在实际工作中则可根据交易转移序列的长度确定对应的欺诈预警转移概率矩阵，实现精准检测预警。

在上述实施例中，通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值可包含：根据F-Score动态调整风险概率临界值的大小，通过多次训练，得到使F-Score最高的临界值作为最终临界值。同样的，因交易转移序列的长度不同，存在对应的多个欺诈预警转移概率矩阵，为此也存在多个最终临界值，每一最终临界值与该欺诈预警转移概率矩阵相对应。

最后执行实时检测，在本发明一实施例中，上述步骤S1004中根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果还包含：根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；将所述分析结果与所述最终临界值比较，获得检测结果。实际工作中，上述步骤S1004主要可包含以下三个步骤：

利用应用服务器中实时交易日志，进行数据清洗和过滤，通过正则匹配算法，去除日志中冗余的调试信息和报错信息，得到用户交易数据；根据交易数据中的用户标识和会话标识将交易进行分组，随后将每个用户一次登录内的交易数据按照时间顺序排列，形成用户的交易序列；

计算用户交易转移序列的长度，根据长度选择对应的欺诈预警转移概率矩阵和风险概率临界值作为欺诈预警模型；

利用欺诈预警模型，顺序遍历序列中的所有交易，计算两两交易间的转移概率，与风险概率临界值进行比较，如果低于风险概率临界值，则该交易序列为异常交易序列，识别出该用户的行为为潜在的业务欺诈行为并对其进行干预。

整体上，实际工作中，上述实施例主要包含两部分：

在模型训练过程中，首先提取全量交易日志中的关键特征，构造用户交易转移序列，在构建好的用户交易转移序列上顺序遍历全部交易，分别选取马尔科夫模型和概率后缀树模型进行训练，计算交易间的转移概率矩阵，分别记作马尔科夫转移概率矩阵和概率后缀树转移概率矩阵。通过大量实验可以发现，马尔科夫模型对于短序列中交易转移概率预测精度较高，概率后缀树模型对于长序列中交易转移概率预测精度较高，由于不同交易转移序列长度具有较大差异，采用单一模型无法精确计算得到最终的转移概率矩阵，因此采用线性加权融合方法，在计算最终的转移概率矩阵时，赋予马尔科夫转移概率矩阵和概率后缀树转移概率矩阵不同的权重，通过线性组合生成最终的欺诈预警转移概率矩阵；随后人工设置风险概率临界值的初始值，利用包含正常交易序列和异常交易序列的历史数据，根据识别效果动态调整风险概率临界值的大小，通过多次训练，得到识别效果最好的临界值；欺诈预警转移概率矩阵和风险概率临界值共同组成欺诈识别模型。在上述描述中，交易是指用户在应用程序中进行操作时，产生的向服务器端发送的请求报文；交易日志是指应用服务器上记录上送请求报文的日志文件；交易转移序列是指用户在一次登录内所有操作产生的上送报文按记录时间排序形成的序列；交易转移序列的长度是序列中交易出现的次数(同一交易多次出现记为多次)；转移概率是用户执行完一步操作后下一步执行特定操作的可能性；风险概率临界值是一个表示用户异常行为的阈值。

在检测预警过程中，首先提取实时交易日志中的关键特征，构造用户交易转移序列，针对每个交易转移序列，顺序遍历序列中的所有交易，根据模型训练过程中生成的欺诈预警转移概率矩阵，计算两两交易间的转移概率，与风险概率临界值进行比较，如果低于风险概率临界值，则该交易序列为异常交易序列，识别出该用户的行为为潜在的业务欺诈行为并对其进行干预。

请参考图1A所示，本发明还提供一种用户异常行为检测系统，所述系统包含训练子系统102和检测预警子系统103；所述训练子系统包含第一数据采集模块、序列分析模块和模型生成模块；所述检测预警子系统包含第二数据采集模块和欺诈预警模块；所述第一数据采集模块用于获取历史交易数据；所述序列分析模块用于根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；所述模型生成模块用于通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；以及通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；所述第二数据采集模块用于获取待检测交易数据；所述欺诈预警模块用于根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果；图1A为互联网应用和欺诈交易预警系统结构关系图，介绍了欺诈交易预警系统的内部结构及与现有互联网应用之间的关系，互联网应用系统101 是现有的待检测的应用系统，主要包括应用服务器集群；欺诈交易预警系统分为训练子系统102和检测预警子系统103两部分。所述互联网应用系统101、训练子系统102 以及检测预警子系统103两两相连接；客户在应用程序中的操作请求储存在应用服务器集群中，训练子系统102利用应用服务器中储存的海量历史交易日志，形成欺诈识别模型，详情见图2训练子系统结构图。检测预警子系统103利用训练得到的模型对互联网应用系统中实时记录的用户交易日志进行识别，对潜在业务欺诈行为进行预警并干预，详情见图7检测预警子系统结构图。

在上述实施例中，训练子系统102结构具体如下：

客户在应用程序中的操作请求储存在应用服务器集群中，训练子系统102利用应用服务器中储存的海量历史交易日志，形成欺诈识别模型，图2为模型训练子系统结构图，训练子系统102由第一数据采集模块201、序列分析模块202和模型生成模块 203三部分构成。序列分析模块202分别与第一数据采集模块201、模型生成模型203 相连接。第一数据采集模块201负责接收互联网应用系统储存的交易日志，利用正则匹配算法提取用户交易数据，将交易日志转换为用户交易转移序列，传输到序列分析模块202；序列分析模块202采用马尔科夫模型和概率后缀树模型分别对所述用户交易转移序列进行计算，得到交易间的马尔科夫转移概率矩阵和概率后缀树转移概率矩阵，并将该计算结果传输到模型生成模块203；模型生成模块203采用线性加权融合方法，在计算最终的转移概率矩阵时，赋予马尔科夫转移概率矩阵和概率后缀树转移概率矩阵不同的权重，通过线性组合生成最终的欺诈预警转移概率矩阵，同时采用自适应的方法确定风险概率，形成最终的欺诈交易智能预警模型，传递到检测预警子系统103。

请参考图2及图3A所示，在本发明一实施例中，所述第一数据采集模块201还包含特征提取单元301和序列构造单元302，所述特征提取单元用于获取所述历史交易日志中关键特征；所述序列构造单元用于根据所述历史交易日志中关键特征构建用户交易转移序列；根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。其中，所述序列构造单元还包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。具体的，特征提取单元301负责对互联网应用系统储存的全量交易日志进行数据清洗和过滤，删除交易关键数据(详见表1数据采集模块交易数据格式)缺失的残缺日志，并将时间、日期、数值等数据调整为统一的格式，保障数据的准确性、完整性和一致性。互联网应用系统储存的交易日志会根据记录信息所属类型进行标记，如正常运行状态的信息标记为INFO，调试信息标记为DEBUG 或TRACE，报错信息标记为ERROR或FATAL等。因此根据类型标签利用正则匹配算法，去除日志中调试信息和报错信息等冗余数据，提取如下表1所示的用户交易数据，用于序列构造单元302形成交易序列。

表1

序列构造单元302负责从特征提取单元301中得到的全量交易数据中生成每个用户一次登录内的交易转移序列，传递给序列分析模块202。具体地，序列构造单元302 根据交易数据中的用户标识和会话标识将属于同一用户标识且属于同一会话标识的交易数据分到同一组，随后将每个用户一次登录内的交易数据按照时间顺序排列，即可形成基于交易名称的用户交易序列，例如，用户1在同一会话标识下按时间顺序在 t1、t2、t3、t4时刻分别进行了交易名称为A、B、C、D的四步交易，则用户1一次登录内的交易序列为ABCD。

请参考图4所示，所述序列分析模块包含马尔科夫模型单元401和概率后缀树模型单元402；其中，马尔科夫模型单元401用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵。以及，所述概率后缀树模型单元402用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

实际工作中，马尔科夫模型单元401接收第一数据采集模块201生成的全量用户交易转移序列，针对每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵，传递给模型集成单元601。所述马尔科夫模型是一种能用数学分析方法研究随机过程的算法。马尔科夫模型认为，在随机过程中，每个状态的出现概率不相互独立，每个随机实验的当前状态依赖于此前状态，而与后续的状态无关。若X_n表示在时间n时用户所进行的交易，根据马尔科夫性质可简化为，第n+1个交易X_n+1发生的条件概率就等于在其上一个交易X_n发生后交易X_n+1发生的概率，即：

P(X_n+1＝x|X₀,X₁,X₂,...,X_n)＝P(X_n+1＝x|X_n)

这被称为是随机过程中的“转移概率”。

根据上述公式，可以得到计算交易序列中每两个相连交易之间的转移概率，即：

通过转移概率计算公式可以生成所有交易之间的马尔科夫转移概率矩阵，矩阵中的每个概率值表示当前两个交易之间顺序相邻的可能性。

概率后缀树模型单元402接收第一数据采集模块201生成的全量用户交易转移序列，针对每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵，将概率后缀树交易转移概率矩阵传递给模型集成单元601。所述概率后缀树本质上是一个变阶马尔科夫模型，用于描述一个序列集合的概率特征，概率后缀树上的每一条边用交易序列中的一个交易表示，树的节点用交易序列标记。根节点概率是交易集合中每个交易的无条件概率，其他节点的概率是该节点的标记交易序列的下一个交易出现的条件概率。下一个交易出现的概率是通过训练过程中交易出现的相对频率得到的。通过树节点概率计算可以生成所有交易之间的概率后缀树转移概率矩阵，矩阵中的每个概率值表示当前两个交易之间顺序相邻的可能性。具体，请参考图5所示，在只包含A、B两种交易的概率后缀树中，根节点概率 (0.3,0.7)表示交易序列中A首次出现的概率为0.3，B首次出现的概率为0.7；对于其他节点，如节点BA的概率(0.6,0.4)表示在第一个交易为B、第二个交易为A 时，下一个交易为A的概率为0.6，为B的概率为0.4。对于每个交易序列，从根节点出发，根据序列中交易出现的顺序遍历后缀树的边，将经过节点中对应的概率相乘，得到交易序列出现的概率，如计算交易序列BAAB出现的概率P(BAAB)的公式为：

P(BAAB)＝P(B)P(A|B)P(A|BA)P(B|BAA)＝0.7×0.5×0.2×0.9

请参考图1A、图2及图6A所示，在本发明一实施例中，所述模型生成模块203 包含模型集成单元601和临界值调优单元602；所述模型集成单元601用于通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵；所述临界值调优单元602用于通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值。其中，所述模型集成单元601还包含：根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。在实际工作中，模型集成单元601接收序列分析模块202生成的马尔科夫转移概率矩阵和概率后缀树转移概率矩阵，根据用户交易转移序列的长度，确定马尔科夫模型和概率后缀树模型对最终欺诈交易智能预警模型的贡献权重，生成最终的欺诈预警转移概率矩阵传递给临界值调优单元602和检测预警子系统103。具体地，根据用户交易转移序列长度的差异，模型集成单元601采用线性加权融合方法，在计算最终的转移概率矩阵时，赋予马尔科夫转移概率矩阵和概率后缀树转移概率矩阵不同的权重，通过线性组合生成最终的欺诈预警转移概率矩阵：

p＝k×p_t+(1-k)×p_m；

其中，p为最终模型的交易间转移概率，p_m为马尔科夫模型计算的转移概率，p_t为概率后缀树模型计算的转移概率，k为概率权重参数，动态调节p_m、p_t所占比例。根据序列长度对历史交易序列进行二分类，将序列长度小于等于l_max/2的序列作为短序列样本，长度大于l_max/2的序列作为长序列样本，其中l_max为全量历史交易序列中的最大长度。利用已知的历史交易序列在样本中出现的概率和上述线性加权融合公式进行迭代求解，通过梯度下降法得到概率权重参数k，使得最终模转移概率与已知概率的平方误差最小。利用上述方法，分别得到针对短序列和长序列的最终欺诈预警转移概率矩阵。

所述临界值调优单元602接收模型集成单元601生成的最终欺诈预警转移概率矩阵，利用历史数据计算风险概率临界值，生成识别效果最好的临界值，传递给检测预警子系统103。具体地，风险概率临界值定义为一个表示用户异常行为的阈值，首先人工设置风险概率临界值的初始值，随后利用包含正常交易序列和异常交易序列的历史数据进行训练，计算当前风险概率临界值下识别结果的准确率和召回率。通过实验发现：减小风险概率临界值，可提高结果的准确率，降低结果的召回率；增大风险概率临界值，可提高结果的召回率，降低结果的准确率。由于准确率和召回率之间存在相互制约的关系，因此利用F-Score来综合评价准确率P和召回率R：

其中，m为评价权重参数，用于调节准确率和召回率在最终评价结果中所占的比重。在用户异常行为检测的场景下，准确率在效果评价中所占比重应大于召回率所占比重，根据经验评价权重系数m取值一般在0.3左右。因此通过等步长增大或减小风险概率临界值，根据F-Score连续多次动态调整临界值，当F-Score不再随临界值的变化而增大时停止调整，将当前得到综合准确率和召回率效果最好的临界值作为最终的风险概率临界值。

请参考图1A及图7所示，在本发明一实施例中，所述第二数据采集模块701还用于获取所述待检测交易数据中交易转移序列的长度；所述欺诈预警模块用于根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；将所述分析结果与所述最终临界值比较，获得检测结果。实际工作中，检测预警子系统 103利用训练得到的模型对互联网应用系统中实时记录的用户交易日志进行识别，对潜在业务欺诈行为进行预警并干预，检测预警子系统103由第二数据采集模块701 和欺诈预警模块702构成；第二数据采集模块701与欺诈预警模块702顺序相连。第二数据采集模块701负责接收互联网应用系统储存的交易日志，利用正则匹配算法提取用户交易数据，将交易日志转换为用户交易转移序列，传输到欺诈预警模块702；欺诈预警模块702接收第二数据采集模块701生成的用户交易转移序列，根据序列长度选择模型生成模块203生成的模型进行检测，将检测结果返回被检测系统，实现对潜在业务欺诈智能预警，并对其进行干预。第二数据采集模块701的结构与同模型训练子系统102中的第一数据采集模块201，详情见图3A数据采集模块结构图。第二数据采集模块701接收互联网应用系统实时交易日志，利用正则匹配算法提取用户交易数据，生成用户交易转移序列传递给欺诈预警模块702。

请参考图8所示，欺诈预警模块702包含序列处理单元801和交易判别单元802。其中，序列处理单元801接收第二数据采集模块701生成的用户交易转移序列，计算用户交易转移序列的长度，序列长度小于等于l_max/2的序列选择短序列欺诈预警模型，长度大于l_max/2的序列选择长序列欺诈预警模型，随后将模型传送给交易判别单元 802进行判断。交易判别单元802接收第二数据采集模块701生成的用户交易转移序列，利用序列处理单元801选取的欺诈预警模型，顺序遍历序列中的所有交易，根据模型训练过程中生成的欺诈预警转移概率矩阵，计算两两交易间的转移概率，与风险概率临界值进行比较，如果低于风险概率临界值，则该交易序列为异常交易序列，识别出该用户的行为为潜在的业务欺诈行为并对其进行干预。

请参考图9所示，综上所述，本发明所提供的用户异常行为检测具体使用流程如下：

在模型训练阶段：

步骤901第一数据采集模块201日志特征提取：利用应用服务器中全量历史交易日志，进行数据清洗和过滤，通过正则匹配算法，去除日志中冗余的调试信息和报错信息，得到用户交易数据供步骤902使用；

步骤902第一数据采集模块201交易序列构造：利用步骤901中得到的全量交易数据，根据交易数据中的用户标识和会话标识将交易进行分组，随后将每个用户一次登录内的交易数据按照时间顺序排列，形成用户的交易序列，为步骤903、步骤904 提供训练数据；

步骤903序列分析模块202马尔科夫模型：利用步骤902中生成的用户交易序列，针对每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型生成马尔科夫交易转移概率矩阵，供步骤905使用；

步骤904序列分析模块202概率后缀树模型：利用步骤902中生成的用户交易序列，针对每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵，供步骤905使用；

步骤905模型生成模块203模型集成：利用步骤903中生成的马尔科夫交易转移概率矩阵和步骤904中生成的概率后缀树交易转移概率矩阵，根据用户交易转移序列长度的差异，确定马尔科夫模型和概率后缀树模型对最终欺诈交易智能预警模型的贡献权重，计算最终的交易间转移概率，生成最终的欺诈预警转移概率矩阵传递给步骤906和步骤909。

步骤906模型生成模块203临界值调优：接收步骤905生成的最终欺诈预警转移概率矩阵，利用历史数据计算风险概率临界值，即最终临界值。根据F-Score动态调整风险概率临界值的大小，通过多次训练，得到使F-Score最高的临界值传递给步骤909。

在欺诈预警阶段：

步骤907第二数据采集模块701日志特征提取：利用应用服务器中实时交易日志，进行数据清洗和过滤，通过正则匹配算法，去除日志中冗余的调试信息和报错信息，得到用户交易数据供步骤908使用；

步骤908第二数据采集模块701交易序列构造：利用步骤907中得到的用户交易数据，根据交易数据中的用户标识和会话标识将交易进行分组，随后将每个用户一次登录内的交易数据按照时间顺序排列，形成用户的交易序列，传递给步骤909；

步骤909欺诈预警模块702序列计算处理：接收步骤905生成的最终欺诈预警转移概率矩阵、步骤906生成的风险概率临界值和步骤908中生成的用户交易序列，计算用户交易转移序列的长度，根据长度选择对应的欺诈预警转移概率矩阵和风险概率临界值作为欺诈预警模型传递给步骤910；

步骤910欺诈预警模块702欺诈交易判别：利用步骤909选择的欺诈预警模型，顺序遍历序列中的所有交易，计算两两交易间的转移概率，与风险概率临界值进行比较，如果低于风险概率临界值，则该交易序列为异常交易序列，识别出该用户的行为为潜在的业务欺诈行为并对其进行干预。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明的有益技术效果在于：1、相对于业界现有的网络安全防护手段，本发明基于交易序列间的差异，可以识别出提交信息合理、交易频次正常的复杂恶意探测行为，避免完整欺诈模式的形成。2、相对于传统的业务风控手段，本发明利用智能分析技术，可以提前准确识别出未知的恶意行为，进而对未知复杂欺诈攻击行为的有效预判。3、本发明可以适用于各个领域的互联网应用进行用户异常行为检测，可以快速准确识别出复杂的恶意行为，弥补业界现有的检测手段的不足。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种用户异常行为检测方法，其特征在于，所述方法包含：

获取历史交易数据，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；

通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；

通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；

根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。

2.根据权利要求1所述的用户异常行为检测方法，其特征在于，所述获取历史交易数据包含：获取历史交易日志，根据所述历史交易日志中关键特征构建用户交易转移序列；根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。

3.根据权利要求2所述的用户异常行为检测方法，其特征在于，获取历史交易日志，根据所述历史交易日志中关键特征构建用户交易转移序列包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。

4.根据权利要求2所述的用户异常行为检测方法，其特征在于，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵包含：根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵。

5.根据权利要求2所述的用户异常行为检测方法，其特征在于，根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵包含：根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

6.根据权利要求1所述的用户异常行为检测方法，其特征在于，通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵包含：通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

7.根据权利要求6所述的用户异常行为检测方法，其特征在于，通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵包含：根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

8.根据权利要求7所述的用户异常行为检测方法，其特征在于，根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果还包含：

根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；

将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；

将所述分析结果与所述最终临界值比较，获得检测结果。

9.一种用户异常行为检测系统，其特征在于，所述系统包含训练子系统和检测预警子系统；

所述训练子系统包含第一数据采集模块、序列分析模块和模型生成模块；

所述检测预警子系统包含第二数据采集模块和欺诈预警模块；

所述第一数据采集模块用于获取历史交易数据；

所述序列分析模块用于根据所述历史交易数据通过马尔科夫模型和概率后缀树模型分别进行训练，获得马尔科夫转移概率矩阵和概率后缀树转移概率矩阵；

所述模型生成模块用于通过线性加权融合法对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵进行组合获得欺诈预警转移概率矩阵，根据所述欺诈预警转移概率矩阵获得欺诈交易预警模型；以及通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值；

所述第二数据采集模块用于获取待检测交易数据；

所述欺诈预警模块用于根据所述最终临界值与所述欺诈交易预警模型识别待检测交易数据，获得检测结果。

10.根据权利要求9所述的用户异常行为检测系统，其特征在于，所述第一数据采集模块还包含特征提取单元和序列构造单元，所述特征提取单元用于获取历史交易日志中关键特征；所述序列构造单元用于根据所述历史交易日志中关键特征构建用户交易转移序列；根据所述用户交易转移序列对所述历史交易日志排序获得历史交易数据。

11.根据权利要求10所述的用户异常行为检测系统，其特征在于，所述序列构造单元还包含：通过正则匹配算法提取所述历史交易数据中的用户标识和会话标识，根据所述用户标识和会话标识将属于同一用户标识且属于同一会话标识的历史交易数据分到同一组，将每个用户一次登录内的交易数据按照时间顺序排列获得用户交易转移序列。

12.根据权利要求10所述的用户异常行为检测系统，其特征在于，所述序列分析模块包含马尔科夫模型单元，所述马尔科夫模型单元用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用马尔科夫模型计算两两交易间的转移概率，生成马尔科夫交易转移概率矩阵。

13.根据权利要求10所述的用户异常行为检测系统，其特征在于，所述序列分析模块包含概率后缀树模型单元，所述概率后缀树模型单元用于根据所述历史交易数据中每一个交易转移序列，顺序遍历序列中的所有交易，利用概率后缀树模型生成概率后缀树交易转移概率矩阵。

14.根据权利要求9所述的用户异常行为检测系统，其特征在于，所述模型生成模块包含模型集成单元和临界值调优单元；

所述模型集成单元用于通过线性加权融合法分别对所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵赋予对应权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵；

所述临界值调优单元用于通过预设临界值与所述欺诈交易预警模型识别所述历史交易数据，根据识别结果调整所述预设临界值，获得最终临界值。

15.根据权利要求14所述的用户异常行为检测系统，其特征在于，所述模型集成单元还包含：根据所述历史交易数据中交易转移序列的长度获得所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵各自的权值，将赋予权值后的所述马尔科夫转移概率矩阵和所述概率后缀树转移概率矩阵通过线性组合获得欺诈预警转移概率矩阵。

16.根据权利要求15所述的用户异常行为检测系统，其特征在于，所述第二数据采集模块还用于获取所述待检测交易数据中交易转移序列的长度；

所述欺诈预警模块用于根据所述待检测交易数据中交易转移序列的长度获得对应长度的欺诈交易预警模型及所述最终临界值；将所述待检测交易数据代入所述欺诈交易预警模型获取分析结果；将所述分析结果与所述最终临界值比较，获得检测结果。

17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1至8任一所述的方法。

Images