CN109934268B - 异常交易检测方法及系统 - Google Patents

Abstract

本发明公开了一种异常交易检测方法及系统，该方法包括：采集交易日志数据；根据交易日志数据，统计单位时间段内出现每个报错码的报错码数量和每个报错码对应交易的交易量；根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比。本发明实现了对互联网金融系统中异常交易的精准识别，能够有效检测出系统中存在的异常交易，提升检测的准确率和有效性。

Description

异常交易检测方法及系统

技术领域

本发明涉及互联网金融领域，尤其涉及一种异常交易检测方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，随着互联网金融的迅猛发展，尤其是移动互联网技术的助力，互联网金融业务的交易量增长迅速，交易场景也更加丰富。由于互联网金融业务的不断创新，互联网金融系统的更新迭代速度明显提升。如果频繁地对互联网金融系统的修改升级难免会影响到系统的稳定性，增加技术性风险。为了确保系统的稳定性，现有技术采用的手段是，当一个系统新版本上线后，依靠测试人员模拟各种业务场景对系统功能进行测试，以主动提前发现系统问题，进而对发现的系统问题进行修复。

由于互联网金融系统的客户数量巨大，且业务场景和用户需求复杂多样，通过模拟交易进行测试仍然会有一些疏漏，因金融业务的敏感性，这些未被及时发现的问题在上线后仍然会产生较大的业务影响。另外，现有互联网金融系统的监控系统，仍有部分交易和部分功能不能被充分监控，且这些交易监控系统往往存在着很多虚报，不利于高效地对系统异常进行识别。

因此，当前急需设计一种能够有效主动识别互联网金融系统的方案，以便及时发现金融系统存在的问题，降低对金融业务的影响。

发明内容

本发明实施例提供一种异常交易检测方法，用以解决现有技术模拟各种业务场景对互联网金融系统的功能进行测试，存在异常状态检测不充分的技术问题，该系统包括：采集交易日志数据；根据交易日志数据，统计单位时间段内出现每个报错码的报错码数量和每个报错码对应交易的交易量；根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比；

其中，根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定所述被观测交易是否为异常交易，包括：

对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对所述被观测交易的特征参数；

对全量报错码对所述被观测交易的特征参数进行聚类分析，得到各报错码聚类情况，作为被观测交易在所述单位时间段内的报错码类别；

如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，或被观测交易在不同单位时间段内的报错码类别发生变化，则确定所述被观测交易为异常交易。

本发明实施例还提供一种异常交易检测系统，用以解决现有技术模拟各种业务场景对互联网金融系统的功能进行测试，存在异常状态检测不充分的技术问题，该系统包括：监控数据采集装置，用于采集交易日志数据，并根据交易日志数据，统计单位时间段内出现各个报错码的报错码数量和各个报错码对应交易的交易量；异常交易检测装置，与监控数据采集装置连接，用于根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比；

回归分析模块，用于对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对所述被观测交易的特征参数；

特征聚类分析模块，用于对全量报错码对所述被观测交易的特征参数进行聚类分析，得到各报错码聚类情况，作为被观测交易在所述单位时间段内的报错码类别；

特征波动分析模块，用于如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，或被观测交易在不同单位时间段内的报错码类别发生变化，则确定所述被观测交易为异常交易。

本发明实施例中，通过对交易日志数据中报错码数量和报错码对应交易量的统计，根据报错码占比与报错码对应交易量的关联关系来对异常交易进行检测，提供了一种主动检测互联网金融系统异常的方法，实现了对互联网金融系统中异常交易的精准识别，能够有效检测出系统中存在的异常交易，提升检测的准确率和有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种异常交易检测方法流程图；

图2为本发明实施例中提供的一种报错码占比与正常交易的交易量关联关系示意图；

图3为本发明实施例中提供的一种报错码占比与异常交易的交易量关联关系示意图；

图4为本发明实施例中提供的一种异常交易检测系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

为了克服现有技术对互联网金融系统异常状态检测不充分的不足，本发明实施例提供了一种异常交易检测方法，通过对交易日志数据进行深度挖掘，从更广的范围对互联网金融系统的交易进行检测和问题发现，能够有效地检测出系统中存在的异常交易，提升检测的准确率和有效性。

图1为本发明实施例中提供的一种异常交易检测方法流程图，如图1所示，本发明实施例提供的异常交易检测方法包括如下步骤：

S101，采集交易日志数据；

S102，根据交易日志数据，统计单位时间段内出现每个报错码的报错码数量和每个报错码对应交易的交易量；

S103，根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比。

需要说明的是，本发明实施例提供异常交易检测方法可以应用于任意一种金融系统的异常交易检测，包括但不限于互联网金融系统。本发明实施例中，将系统中各个子功能的每一个操作步骤(例如，登录、退出、转账、购买等)视为一笔交易。因而，上述交易日志数据包括对系统任意一个子功能操作时产生的日志数据。

本发明实施例通过检测报错码占比与对应交易量的关联关系来对异常交易进行识别。下面结合图2和图3来说明本发明实施例的基本原理。图2和图3中的横轴为被观测交易的交易量，纵轴为特定时间段内被观测的报错码数量在被观测交易的交易量中所占的比例，即报错码占比。图2为本发明实施例中提供的一种报错码占比与正常交易的交易量关联关系示意图，如图2所示，对于运行正常的交易，随着交易量的增加，有报错的交易数量在总交易数量的比重越来越小，即报错码占比随交易量增长而下降。图3为本发明实施例中提供的一种报错码占比与异常交易的交易量关联关系示意图，如图3所示，对于异常的交易，报错码占比并没有随着交易量的增长而下降。图3的右上角为异常交易分布区域301，如果该异常交易分布区域301中分布了较多的数据点，则确定被观测交易为异常交易。

由此，作为一种可选的实施方式，上述S103可以具体包括：对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对被观测交易的特征参数；对各个报错码对被观测交易的特征参数进行聚类分析，以确定被观测交易的报错码类别；根据被观测交易的特征参数或报错码类别波动情况，确定被观测交易是否为异常交易。

可选地，在根据被观测交易的特征参数或报错码类别波动情况，确定被观测交易是否为异常交易的时候，可以通过但不限于如下两种方式来实现：

第一种，如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，则确定被观测交易为异常交易；反之，如果被观测交易当前特征参数值与历史特征参数均值的差值未超过预设阈值，则确定被观测交易为正常交易。

需要注意的是，阈值的设定可以采用历史均值的百分比，也可以采用N(例如，N＝3)倍历史值方差的方法。作为一种优选的实施方式，阈值下限可以设定为(历史均值－3倍历史值标准差)；而阈值的上限可以设定为(历史均值+3倍历史值标准差)。

第二种，如果被观测交易报错码类别发生变化，则确定被观测交易为异常交易；反之，如果被观测交易报错码类别未发生变化，则确定被观测交易为正常交易。

作为一种可选的实施例，本发明各个实施例以互联网金融系统为例来进行说明。由于互联网金融系统中通常涉及到多个服务器来实现一项金融业务，因而，可以从各服务器、数据库和监控系统中采集互联网金融系统交易过程中各服务器生成的服务器报错码信息和交易系统交易信息，并对不同系统的采集到的数据进行整理。具体地，可以将不同系统采集到的数据按服务器、交易、对应单位时间分别记录在本地数据库不同的表中，而后调用此本地数据库的联表查询功能来导出服务器IP、交易名称、报错码、时间、对应时间内此交易名称报错码数量以及对应时间内此交易名称对应的交易量的对应关系表，进而此对应关系表中“服务器IP－交易名称－报错码数量”字段即为每台服务器的每类交易在对应单位时间内的每个报错码数量和对应交易在对应时间内的交易量，进而计算每台服务器的每支交易在对应单位时间内的每个报错码在对应交易内的占比，即报错码占比：

在获取到每台服务器的所有交易在对应单位时间内每个报错码占比和相应的交易量数据后，对于每一台服务器的每个报错码，对每个报错码占比和相应的交易量数据以天为单元进行线性回归(即按照每天为单位检测一次每个报错码占比和相应的交易量数据，将当天采集到的数据进行一次线性回归运算)，以回归所得直线的斜率、截距和回归方程误差作为此报错码对此交易的特征参数。

通常情况下，正常的交易回归所得直线的斜率的绝对值要高于异常交易所得直线的斜率，正常交易回归方程误差要低于异常交易的回归方程误差。

在获取到每个报错码对应交易的特征参数后，将全量报错码特征参数进行聚类分析，得到聚集后的种类的数量、每个报错码所归属的类别。可选地，还可以计算聚类的结果中，每个子类所包含的报错码数量。将每个报错码对应交易的特征参数中增加聚类后所属的子类别数据后，记录为历史数据，然后将后续时间点收到的特征参数值与对应之前时间段收到的历史数据的均值与方差作比对来观察此交易的上述特征参数的波动情况，具体如下：当此交易后续时间点特征参数值与历史值均值的差超过了N倍的历史数据标准差或者其聚类情况发生变化时，此交易被认定为异常交易。其中，N可以由用户根据检测的要求进行设定，建议值为2或者3。

一种可选的实施例中，在确定被观测交易为异常交易后，本发明实施例提供的异常交易检测方法还可以包括如下步骤：根据异常交易的报错码，定位异常交易在交易日志数据中对应的第一日志文本段和第二日志文本段，其中，第一日志文本段为被观测交易出现异常交易之前的日志文本段，第二日志文本段被观测交易出现异常交易之后的日志文本段；将第二日志文本段和第一日志文本段的文本内容进行比对，提取第二日志文本段新增的文本信息作为异常交易的原因。

具体地，在通过上述S103确定被观测交易为异常交易后，可以根据报错码到数据库中查询出此报错码对应的服务器与详细的交易类型，到对应服务器中下载并根据交易唯一标识符抽取此交易对应的日志段，并同样的方法获取多个日志段，然后进行相互比对，将多个日志共有的日志段作为日志特征模板。然后用同样的方法获取之前时间的同类子交易的多个日志段，然后进行相互比对，将多个日志共有的日志段作为日志特征模板。然后上述两个时间点得到日志特征模板进行对比，如果在观测时间点的日志特征模板中出现了大量新增的字段，并且这些字段有较多反复出现的文字或者较多诸如“error”这样的关键字，则可以进一步确定该交易为异常交易，其异常的具体原因为上述在观测时间点日志特征模版中反复出现的文字或者有类似“error”这样的关键字的日志段。

本发明实施例中还提供了一种异常交易检测系统，如下面的实施例所述。由于该系统实施例解决问题的原理与异常交易检测方法相似，因此该系统实施例的实施可以参见方法的实施，重复之处不再赘述。

图4为本发明实施例中提供的一种异常交易检测系统的结构图，如图4所示，该系统包括：监控数据采集装置41和异常交易检测装置42。

其中，监控数据采集装置41，用于采集交易日志数据，并根据交易日志数据，统计单位时间段内出现各个报错码的报错码数量和各个报错码对应交易的交易量；

异常交易检测装置42，与监控数据采集装置41连接，用于根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比。

在一种可选的实施例中，如图4所示，上述异常交易检测装置可以具体包括：回归分析模块421，用于对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对被观测交易的特征参数；特征聚类分析模块422，用于对各个报错码对被观测交易的特征参数进行聚类分析，以确定被观测交易的报错码类别；特征波动分析模块423，用于根据被观测交易的特征参数或报错码类别波动情况，确定被观测交易是否为异常交易。

可选地，上述特征波动分析模块423还用于如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，或被观测交易报错码类别发生变化，则确定被观测交易为异常交易。

作为一种可选的实施例，在将图4的种异常交易检测系统应用于互联网金融系统的异常交易检测的情况下，监控数据采集装置41可以从监控系统、数据库、文本日志中提取各报错码各服务器在预定义的单位时间内出现此报错码的数量以及此报错码对应的交易在对应时间内的交易量，并计算此出现此报错码的交易在对应交易内的所占的比例，并将得到的报错码占比与此报错码对应交易的交易量数据传递给异常交易检测装置42中的回归分析模块421。

回归分析模块421将监控数据采集装置41传入的报错码占比和对应交易的交易量数据，对于每一台服务器的每一个报错码，对报错码占比和对应交易的交易量关系进行线性回归，以回归所得直线的斜率、截距和回归方程误差作为此报错码对此交易的特征参数，传输至特征聚类分析模块422。

特征聚类分析模块422对回归分析模块421传输来的特征参数进行聚类分析，得到聚类后的种类的数量、每个报错码所归属的类别。首先在对数据进行归一化后，使用组内平方误差或围绕中心点的分割算法计算出不同报错码的特征的最佳聚类数，然后使用根据具体检测需求选择合适的聚类算法(包括但不限于k-means聚类算法、k-medoids聚类算法等)计算出各报错码聚类情况。

特征波动分析模块423将每次进行计算得到的特征值数据和聚类数据进行记录到本地数据库中作为历史数据，然后将每次计算生成的特征值数据和聚类数据中与数据库中记录的一定期限(例如21天)的历史均值进行对比，如果其差值超过预设阈值或者聚类情况发生变化(后续时间段的数据聚类得到的子类与较前时间段聚类得到的子类不一致)，则此交易被认为是异常交易。如果此交易被认为正常交易，则不作后续处理。

在一种可选的实施例中，如图4所示，上述异常交易检测装置还可以进一步包括：日志分析对比模块424，用于根据异常交易的报错码，定位异常交易在交易日志数据中对应的第一日志文本段和第二日志文本段，并将第二日志文本段和第一日志文本段的文本内容进行比对，提取第二日志文本段新增的文本信息作为异常交易的原因，其中，第一日志文本段为被观测交易出现异常交易之前的日志文本段，第二日志文本段被观测交易出现异常交易之后的日志文本段。

仍以互联网金融系统为例，日志分析对比模块424根据特征波动分析模块423所提供的异常交易名称和特征聚类分析模块422提供的特征参数来获取对应交易在被识别为异常前后的交易日志。具体日志获取方法如下：根据报错码定位到具体的日志上下文段，然后将被识别为异常前后的内容进行文本对比，找出被识别为异常交易后日志新增或者增长较多的报错具体信息，生成到异常交易报告中作为原因信息参考。

由上可知，本发明实施例图4提供的异常交易检测系统中，监控数据采集装置41向异常交易检测装置42中回归分析模块421提供报错码统计和交易量统计数据；回归分析模块421向特征聚类分析模块422提供回归后的特征数据；特征聚类分析模块422向特征波动分析模块423提供集成了聚类情况的特征数据；特征波动分析模块423向日志分析对比模块424提供异常波动的交易数据。通过该系统可以实现对异常交易进行精准识别，发现系统潜在异常。

本发明实施例中还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法实施例中任意一种可选的或优选的异常交易检测方法。

本发明实施例中还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法实施例中任意一种可选的或优选的异常交易检测方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为系统、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的系统、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种异常交易检测方法，其特征在于，包括：

采集交易日志数据；

根据所述交易日志数据，统计单位时间段内出现每个报错码的报错码数量和每个报错码对应交易的交易量；

根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定所述被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比；

其中，根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定所述被观测交易是否为异常交易，包括：

对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对所述被观测交易的特征参数；

对全量报错码对所述被观测交易的特征参数进行聚类分析，得到各报错码聚类情况，作为被观测交易在所述单位时间段内的报错码类别；

如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，或被观测交易在不同单位时间段内的报错码类别发生变化，则确定所述被观测交易为异常交易。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述异常交易的报错码，定位所述异常交易在所述交易日志数据中对应的第一日志文本段和第二日志文本段，其中，所述第一日志文本段为被观测交易出现异常交易之前的日志文本段，所述第二日志文本段被观测交易出现异常交易之后的日志文本段；

将所述第二日志文本段和所述第一日志文本段的文本内容进行比对，提取所述第二日志文本段新增的文本信息作为所述异常交易的原因。

3.一种异常交易检测系统，其特征在于，包括：

监控数据采集装置，用于采集交易日志数据，并根据所述交易日志数据，统计单位时间段内出现各个报错码的报错码数量和各个报错码对应交易的交易量；

异常交易检测装置，与所述监控数据采集装置连接，用于根据每个报错码的报错码占比和被观测交易的交易量之间的关联关系，确定所述被观测交易是否为异常交易，其中，每个报错码的报错码占比为单位时间段内出现每个报错码的数量与每个报错码对应交易的交易量之比；

回归分析模块，用于对每个报错码的报错码占比和被观测交易的交易量进行线性回归分析，以确定每个报错码对所述被观测交易的特征参数；

特征聚类分析模块，用于对全量报错码对所述被观测交易的特征参数进行聚类分析，得到各报错码聚类情况，作为被观测交易在所述单位时间段内的报错码类别；

特征波动分析模块，用于如果被观测交易当前特征参数值与历史特征参数均值的差值超过预设阈值，或被观测交易在不同单位时间段内的报错码类别发生变化，则确定所述被观测交易为异常交易。

4.如权利要求3所述的系统，其特征在于，所述异常交易检测装置还包括：

日志分析对比模块，用于根据所述异常交易的报错码，定位所述异常交易在所述交易日志数据中对应的第一日志文本段和第二日志文本段，并将所述第二日志文本段和所述第一日志文本段的文本内容进行比对，提取所述第二日志文本段新增的文本信息作为所述异常交易的原因，其中，所述第一日志文本段为被观测交易出现异常交易之前的日志文本段，所述第二日志文本段被观测交易出现异常交易之后的日志文本段。

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1或2所述异常交易检测方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1或2所述异常交易检测方法的计算机程序。

Images