CN107491970A - 实时反作弊检测监控方法和系统以及计算设备 - Google Patents

Abstract

本公开是关于一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。根据本公开的方案，能够实现时序预估和特征分布异常两种检测的协调工作，从而达到实时异常召回和策略监控预警的双重效果。

Description

实时反作弊检测监控方法和系统以及计算设备

技术领域

本公开涉及互联网技术领域，尤其涉及一种实时反作弊检测监控方法和系统以及计算设备。

背景技术

随着互联网技术的发展，O2O(Online to Offline，线上到线下)已经兴起成为一种为广大消费者所接受的商业模式。O2O的基本商业逻辑是，用户在线上平台预先支付，然后到线下消费体验，商家实时追踪其营销效果，由此形成闭环的商业服务和体验过程。由于品牌效应和聚集效应的作用，越来越多的商家选择依附于已成规模的互联网平台来推广和提供商品和劳务等服务，与之相应的也衍生出通过互联网平台来投放广告的O2O业务。

针对近年来日益猖獗的网络黑色产业(简称“黑产”)，各大互联网平台公司为保护平台利益的风险控制场景繁多，包括反刷单、反套现、反虚假交易、反爬虫等等(可统称为“反作弊”)。同样与之相应的，对于承揽O2O广告业务的互联网平台公司，依照目前CPC(CostPer Click，单次点击计费)、CPM(Cost Per Impressions，千次曝光计费)等主流计费方式，反作弊的主要手段以反虚假点击/曝光为主。

业界反作弊系统设计不尽相同，但都拥有图1所示一些模块中的大部分，包括系统平台11、规则平台12、监控系统13、数据系统14及运营系统15，其中的监控系统13和运营系统15组成的监控体系在不同公司的业务场景中都具有举足轻重的作用，决定了是否能扭转由于平台在明而黑产在暗所造成的被动。

上述监控系统一般通过技术手段发现作弊并告警相关人员，从而达到及时止损或补救损失、提升商户体验、降低由于感知异常带来投诉的目的。图2示出相关技术中的反作弊监控流程，包括以下步骤：

在步骤S201中，采集基于监控产生的各业务离线数据；

在步骤S202中，进行特征工程，将离线数据整理清洗成检测及规则识别所需的特征数据，输出给检测或规则模型；

在步骤S203中，基于检测算法和规则识别对于输入特征进行挖掘；其中，检测算法常用采取无监督的各种聚类、图模型等，规则识别则依靠过往的异常挖掘及案例总结的规则进行识别；

在步骤S204中，若识别出可用已知规则覆盖的异常作弊，则直接进行通用规则开发上线或更新；

在步骤S205中，运营系统对新收到的投诉及新发现的攻击案例进行流程处理，整理并存储入异常数据库中；

在步骤S206中，对于汇总到的异常进行数据扩展等处理以便进行分析判断；

在步骤S207中，对于异常相关数据进行统计等提炼总结并发布相关告警或通知，同时技术、产品或运营人员判断是否进行策略迭代或采取其他措施；

在步骤S208中，对于判断为造成一定损失的异常作弊，进行后续补救措施；例如实时回退、返现、冻结下线等。

发明人发现，上述相关技术中的反作弊监控流程至少存在以下缺陷：

1、规则及离线挖掘无法对诸如短时消耗突增等商户能实际感知到的异常做针对性的发现及处理，从而不能实现主动彻底杜绝此类异常；

2、案例收集及离线挖掘受限于反馈和日志时间的延迟，不能快速及时的主动发现新的作弊位置与模式，也不能预警即将到来的规模作弊；

3、在监控体系中太多依赖人工处理，对于新发现的异常需要人工分析判断并操作；以及

4、无法直接给出作弊的影响范围及数量，也就无法预估到没有作弊产生时正常情况下的数据。

发明内容

本公开的目的是提供一种实时反作弊检测监控方法和系统以及计算设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的上述一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。

根据本公开实施例的第二方面，提供一种实时反作弊检测监控装置，包括：数据处理模块，设置为接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；时序检测模块，设置为对所述时序数据进行预估，并检测时序异常；以及策略生成模块，设置为对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果求交生成监控策略。

根据本公开实施例的第三方面，提供一种存储有计算机程序的存储介质，所述计算机程序在由计算机的处理器运行时，使所述计算机执行如上所述的实时反作弊检测监控方法实施例的步骤。

根据本公开实施例的第四方面，提供一种计算设备，包括：

处理器；

存储器，存储有可由所述处理器执行的指令；

其中所述处理器被配置为执行如上所述的实时反作弊检测监控方法实施例的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：联合用于异常召回的时间序列预估和检测，以及用于作弊准确判断的异常分布检测和原因回溯，实现两种异常检测的协调工作，从而达到实时异常召回和策略监控预警的双重效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1为相关技术中反作弊系统的示意框图；

图2为相关技术中反作弊系统的工作流程示意图；

图3为根据本公开实施例的实时反作弊检测监控方法的流程示意图；

图4为根据本公开实施例的实时反作弊检测监控方法中时序异常检测的流程示意图；

图5为根据本公开实施例的实时反作弊检测监控方法中特征异常检测的流程示意图；

图6为根据本公开实施例的实时反作弊检测监控方法中用于特征异常检测的高斯混合模型训练的流程示意图；

图7为根据本公开实施例的实时反作弊检测监控装置的结构框图；

图8为根据本公开实施例的实时反作弊检测监控设备的结构框图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种实时反作弊检测监控方法和系统以及计算设备，可广泛应用于互联网平台的风险控制、O2O广告反作弊以及其他类似的异常检测领域。下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

根据本发明的一个方面，提出一种实时反作弊检测监控方法，其例如可由服务提供商的服务器或与其通信的其他设备来执行。如图3所示，该方法包括以下步骤S301-S303。

在步骤S301中，接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据。

本步骤涉及源数据的产生和预处理，其中源数据例如是所述服务器根据自用户处收到的浏览、点击及其全站浏览、预定等操作而实时产生并不断更新的日志文件。根据后续处理方向的不同，本步骤接收到的源数据分别进行两种预处理；一种是针对时序异常检测流程，这部分源数据(下文也称第一范围数据)与点击和曝光相关，其预处理目标是过滤出商户最关注也最容易引起商户投诉的时序数据；另一种则针对分布异常检测流程，这部分源数据(下文也称第二范围数据)与用户属性相关，其预处理目标是过滤出能够确定异常原因以便据此生成监控策略的特征数据。以O2O广告业务的反作弊应用场景为例，上述第一范围数据例如包括有效曝光、计费点击、消耗、平均点击单价、CTR(Click Through Rate，点击通过率)等，上述第二范围数据例如包括用户属性、设备相关属性统计及分布、O2O地理相关属性统计及分布、用户访问相关属性统计及分布、商户相关属性统计及分布及计费相关属性统计及分布等。

在步骤S302中，对所述时序数据进行预估，并检测时序异常。

本步骤涉及时序异常检测流程，利用预先确定的时间序列模型对步骤S301输出的时序数据进行预估，对预估得到的预估时序数据和后续更新获取的实时时序数据进行比较，经由预设的多种异常检测模型根据比较结果进行异常检测，从而预先快速感知用户可能察觉的所有趋势异常。在一个实施例中，可从多种时间序列模型中确定预估误差最小的一种模型作为本步骤使用的模型。

在步骤S303中，对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。

本步骤涉及分布异常检测流程，在一个实施例中，可使用高斯混合模型对步骤S301输出的特征数据进行异常概率的计算。在监测到异常的特征信息时，一方面还原成文本信息以用于确定异常原因；另一方面与步骤S302输出的时序异常进行求交运算，并根据求交的结果生成监控规则，添加至规则平台，用来实时过滤新增日志中相同的作弊计费。在一个实施例中，上述高斯混合模型的参数可基于存储的历史日志文件进行训练来生成。

根据上述实时反作弊检测监控方法，联合用于异常召回的时间序列预估和检测，以及用于作弊准确判断的异常分布检测和原因回溯，实现两种异常检测的协调工作，从而达到实时异常召回和策略监控预警的双重效果。

在一个实施例中，上述方法中的时序异常检测流程如图4所示，包括以下步骤S401-S405。

在步骤S401中，获取实时源数据日志。

从消息系统获取实时的源数据日志，并通过Storm进行实时的清洗、筛选、聚合等处理，生成原始数据序列。以O2O广告业务的反作弊应用场景为例，这部分原始数据序列主要包括商户最关注也最容易引起投诉的有效曝光、计费点击、消耗、平均点击单价、CTR等数据。在一个实施例中，上述曝光、计费点击、消耗、CTR均按不同维度和一定的小时间窗汇总计算成时间序列数据并持久化存储。此处时间窗的粒度尽可能细，在一个实施例中选择1-3分钟，后续预估检测可在此基础上再进行汇总，例如汇总为15-30分钟。以CTR为例，获取的时间序列数据如下式(1)所示：

其中，n为汇总时间窗口个数，如汇总30分钟序列并按3分钟一个小窗口划分，则汇总n＝10个窗口；PassClick为点击计费；PassImp为有效曝光。

在一个实施例中，所述维度的划分包括但不限于广告主账户、城市、业务线、广告位等组合。

在步骤S402中，监控基础数据。

从持久化存储中获取预估检测所需时间长度的历史序列数据，当前实时新增的时序数据检查重复后添加，再按时间从远至近倒排，最后将原始时序考虑其平稳性再按时间粒度汇总成最终预估检测所使用的序列。

具体而言，在一个实施例中，出于计算周期及趋势等考虑，所述预估检测所需时间长度的历史序列数据可以选取上一个持久化序列点至前14天全部序列点。

进一步，新序列是在历史序列基础上通过实时数据检查重复后添加上去的，新实时数据和历史数据一样为按每个时间粒度(例如3分钟)一个点进行合并；例如，当前时间是16:04，历史序列只有前14天到当天16:00的数据，新序列采集到当天16:00-16:03的数据经过检查重复后添加到老序列，则新实时数据包括前14天到当天16:03的数据序列，以此类推。

最后，在一个实施例中，本步骤所述的汇总可以是将3分钟一个点汇总为15－30分钟一个点。

在步骤S403中，使用多个时间序列模型得到多个时序预估结果，并选用预估误差最小的目标时间序列模型对所述时序数据进行预估。

分别使用多种不同的时间序列预估算法并且同一算法中也会选取不同参数进行预估，系统通过比较不同模型及其参数预估误差，自动选用其中预估误差最小的模型及参数结果并保存，由此可以自动适配不同维度下拥有不同特点的序列数据。在一个实施例中，为保证实时效率，本步骤选优为每小时或每半天执行一次。

具体而言，在一个实施例中，针对所有时序构建模型可按下式(2)-(5)来定义统一的误差(损失)函数Loss。

e_i＝|p_i-y_i| (2)

其中，p_i为当前模型参数在序列点i的预估值，y_i为序列点i的实际值，当模型含有周期参数m时误差计算为否则误差一般为Loss。

以下分别结合多种时间序列预估算法的模型进行阐述。需要说明的是，这些算法本身并不属于本发明的贡献，因此此处仅加以简要叙述，以本领域技术人员能够实施本发明为准。

1.窗口模型

构建一个简单窗口模型包括：遍历序列值对当前序列点y_t预估其后一点y_t+1为其前n个值的加权平均，其中涉及到参数w_i的分配和前向序列个数n的指定，由人工根据该维下序列离线预估分析结果(即Loss可能相对较小)配置一个小范围值，系统线上在范围内按下式(7)逐个计算。

其中，分配的参数w_i>0，∑w_i＝1。最后计算得到的p_i分别带入上式(2)-(5)计算预估窗口内序列Loss值并记录存储。

2.指数滑动模型:

构建一个n次指数滑动模型，n为一至三次，分别依次计算。由于该方法都是基于递推关系，需设定初始值。但指数式的衰减性质表现为越远的序列点对于影响当前序列点能下降越快，只需经过几个序列步长，初始值的影响就会变得微乎其微，故在此将其均设为一个周期的均值，趋势值直接为0即可。

其中也涉及到参数a、β、γ的设定，本实施例建议两种方法，一种为保证系统效率线上在0.2-0.6之间逐步计算选取最优，另一种适当牺牲系统效率但提升准确率，可将其转化为一个最优化问题，通过梯度下降法最小化Loss可以近似逼近找到最优a、β、γ的组合。

在一个实施例中，本步骤使用的递归式分别如下所述。

n为一次时，递归式如下式(8)。

p_i＝ay_i+(1-a)p_i-1 (8)

n为二次(添加趋势项t_i)时，递归式如下式(9)-(11)。

p_i＝αy_i+(1-α)(p_i-1+t_i-1) (9)

t_i＝β(p_i-p_i-1)+(1-β)t_i-1 (10)

p_i+h＝p_i+ht_i (11)

其中，h为向后预估序列点，一般为1或0。

n为三次(添加周期项s_i)时，递归式如下式(12)-(14)。

p_i＝α(y_i-s_i-k)+(1-α)(p_i-1+t_i-1) (12)

t_i＝β(p_i-p_i-1)+(1-β)t_i-1 (13)

s_i＝γ(p_i-p_i-1)+(1-γ)t_i-1 (14)

p_i+h＝p_i+ht_i+s_i+h (15)

其中，h为向后预估序列点，一般为1或0。

将以上三个指数模型分别计算预估序列p，代入上式(2)-(5)计算Loss值并记录存储。

3.自回归移动平均

该模型主要应对一部分非平稳的序列，一般来自于统计量较小的序列，非固定运算。当滑动模型和窗口模型各系数Loss都大于阈值时，检验序列平稳性。若模型ACF为不平稳，则进行额外一阶拆分处理(类似ARIMA)。序列完整拆分后再检验平稳性，若仍不平稳则进行二阶拆分，最多进行二阶。针对拆分后的模型进行预估，完成后回拆并分别计算预估窗口内序列Loss并记录存储。

4.线性回归

该模型为普通线性回归，主要用于特殊情况或异常偏差较大的情况，非固定运算，需要配置使用，同样在MASE过大时采用，如下式(16)所示。

y_t＝a+b₀x₀+b₁x₁+…+c (16)

其中，x₀、x₁等变量选取为周期趋势的同比值，小时一般为24、半小时为48、天级为7等，计算参数与截距采用最小二乘法计算，此处不加以赘述。

在本实施例提供的框架下，只要检测性能效率能够接受可以不断添加各种时序模型参与预估计算，并不以上文所列举的模型为限。

在步骤S404中，得到一条预估时序数据及一条原始时序数据，将原始序列和预估序列一同输入异常检测模型。

在步骤S405中，对输入时序进行异常检测，对整个序列每个点进行异常检测。

本步骤中采用密度算法和高斯密度判别两种算法加上预估差阈值控制一种策略。

一方面，上述阈值控制策略通过判断某点实际值y_i的与预估值p_i差绝对值来筛去影响较小的异常或提取影响较大的异常。

其中，高斯密度判别定义函数如下式(17)。

该函数P(x)为当前序列点下序列值x异常的可能性，σ²为该维序列的方差，μ为均值，都可直接计算，同时结合阈值控制的差值可自动生成异常等级，这里生成的逻辑规则可根据不同场景人为制定。

另一方面，上述密度算法用于使用户在空间中判别异常点，适用于一些由于各种不可预知的原因在长期而言不太稳定的序列。

上述实施例介绍了时序异常检测流程，以下对另一条并行的分布异常检测和策略自动生成流程进行说明，如图5所示，其包括步骤S501-S508。

在步骤S501中，获取实时流日志数据。

本步骤中同样从消息系统获取实时的源数据日志，并通过Storm进行实时的清洗、筛选、加总聚合等处理，但该部分原始数据主要是用于寻找原因的特征。以O2O广告业务的反作弊应用场景为例，这部分原始数据包括用户属性、设备相关属性统计及分布、O2O地理相关属性统计及分布、用户访问相关属性统计及分布、商户相关属性统计及分布及计费相关属性统计及分布，额外划分维度同样包括但不限于城市、业务线、广告位、账户等组合。

在步骤S502中，基于获取的实时流日志数据生成特征。

在一个实施例中，本步骤使用One-Hot特征编码生成特征维Key对应保存特征值Value，进行后续的高斯混合模型异常检测。其中，预先分析建模高斯使用的离线特征计算逻辑与步骤S301中线上实时特征的计算逻辑一致，并且同时人工保存一份特征Key到中文名的映射关系，用于后续将异常特征信息还原为文本信息作为人员可读的异常原因。

在步骤S503中，离线训练高斯混合模型。

在一个实施例中，本步骤中模型通过离线半年的数据利用Hadoop、Spark等现有计算框架将数据抽象成步骤S501所述的特征，并且默认特定某维的特征一定符合某个或多个高斯分布的组合，并逐个交由高斯混合模型用EM(Expectation Maximization，期望最大)算法训练得到模型参数，此流程在时间上可以按天级运行，完成后保存推送至线上实时使用。一个示意的训练流程如图6，包括步骤S601-S602。

在步骤S601中，定义混合高斯模型。

本步骤的概率计算公式如下式(18)。

其中，该函数P(x)为当前特征值x异常的可能性(也称异常概率)，g_k表示均值为μ_k、协方差矩阵为∑k的单高斯模型，w_k是g_k的权重系数k是单高斯模型的个数。

在步骤S602中，采用迭代算法计算模型参数。

本步骤的参数包括K、w_k、μ_k、∑k，相应的分别包括以下步骤S621-S625(图中未示出)。

在步骤S621中，设置初始值K；

假定其对应每个单高斯分布的权重相等：

在步骤S622中，求解μ_k和∑k；

由于该模型没有解析解，即达不到理论的最优。故采取迭代方式逼近最优解(类似于一阶的梯度下降或二阶的拟牛顿)。

在步骤S623中，同样设置初始值μ₁、∑1,μ₂、∑2,……,μ_k、∑k，并引入中间变量z如下式(19)。

其中，k为高斯分布个数，N为该维监控特征值的个数。即在确定各个单高斯分布后，可计算该维特征下所有分布发生的概率(分母)及某个(k)单高斯分布g_k(x_i|u_k,∑k)下某个具体特征值发生的概率(分子)，即为某个(k)分布对该维特征下该具体值x_i发生的概率的贡献。

在步骤S624中，第一轮计算完后，再通过它重新更新每一个单高斯分布。如下式(20)-(21)所示：

在步骤S625中，两组值依次相互更新，重复上述步骤，直至两个迭代间更新差小于某个阈值，即停止，输出该维的KEY和对应参数u_k和∑k并保存。

在步骤S504中，输入特征信息，调用模型文件完成异常概率的计算。

线上部分得到实时的特征维度Key和特征值x，调用上个步骤生成的天级离线模型，通过Key取得参数并代入上式(19)的模型求得P(x)。

在步骤S505中，设置数值转换并判断是否符合异常标准。

本步骤在得到P(x)后可设置一些数值转换，目的是其尽量其符合[0-1]的正态分布，越小越异常，处理后得到P′(x)，并通过阈值控制判断其是否符合异常标准，根据其分布设置异常等级，一般P′(x)需要小于0.1甚至更低才做触发，由系统检测的松严程度决定。需要说明的是，根据系统检测的松严程度还可决定是否进行本步骤，换言之，在系统检测较松时可不进行本步骤。

在步骤S506中，对于监测到异常的特征信息完成文本映射。

在本步骤中，得到输出的符合异常条件的特征Key、特征值Value和P′(x)后，为将该进行编码的Key转换成人员可读的信息，调用离线生成的映射信息生成文本作为异常原因，另将特征值Value作为异常明细信息，同时获取时序检测中该划分维度下的实际序列值和预估序列值，一并作为异常信息的一部分。

在步骤S507中，对于监测到异常的特征信息生成可运行策略，并对生效的策略进行监控及基于时间有效期的上下线管理。

对于步骤S505中的输出异常，其中一部分与步骤S404的时序检测输出中获取到的实际序列值和预估序列值找到其相同的维度(如果有)进行合并。以O2O广告业务的反作弊应用场景为例，假设步骤S404输出的结果指示某一个广告位的曝光序列异常，而步骤S505输出的结果指示同一个广告位的曝光分布也出现异常，则求交后合并输出该广告位的曝光异常结果。

上述求交结果随后用于生成规则平台需要实时生效的规则策略，根据步骤S506生成的规则数据添加到规则平台数据表中上线，生成规则逻辑为系统自动选择步骤S504中输出的异常特征Key和特征值并在步骤S505中取得映射的部分，添加进入规则平台规则生成流程，检测的维度及其特征Key作为平台需要过滤的条件，1-P′(x)作为需要过滤的概率，同时根据维度和条件实时计算扣费的部分生成回退信息，最后策略监控会新增监控：当该策略一段时间内过滤量为0时作为规则下线的时间节点。以O2O广告业务的反作弊应用场景为例：在某个城市业务的广告位维度下发现Ip特征为XX+机型为YY的计费P′(x)为0.05，则生成规则以为95％概率过滤该维度下符合XX Ip机型YY的计费，同时查出该部分已造成扣费的明细记录，及汇总统计损失金额信息，最后规则监控策略新增监听该新规则，当连续24小时该策略过滤量小于规定阈值时下线该策略。

在步骤S508中，将序列检测的异常信息和特征检测异常生成的信息求并分别发布告警通知。

本步骤中序列检测的异常信息和特征检测的异常信息分别基于步骤S404和S507分别求交单独生成，在一个实施例中还可加上损失金额信息及规则生成通知一并发送预警。同时，接收方根据异常关注线上策略过滤的情况是否符合预期。对于判断为部分造成一定损失的，判断是否允许自动操作实时回退，如果不能及时操作也可隔天返红包等补救措施。

综上所述，根据本申请的实时反作弊检测监控方法实施例，从商户能感知结果为导向出发，以多时序预估检测与特征异常挖掘结合的检测算法并通过算法结果自动上线规则并发布影响范围数量及原因告警。该方法通过两条并行流程，一条是利用多种时间序列模型自动选优对多种细分维度下核心指标的进行实时时序预估后交由密度异常检测模型检测时序异常；另一条通过离线利用EM算法训练好的高斯混合模型对实时的多种细分纬度下核心指标检测分布异常并完成策略自动生成；两条流程完成后进行求交来实现实时的结果导向的精准检测并告警，同时产出影响范围、数量和原因；最后检测两者求并能完成作弊的预警，形成完整的闭环。

通过上述不同的实施例及其组合，本申请的实时反作弊检测监控方法至少能够实现以下任一或多种有益效果：

第一，提供新型的反作弊检测监控方法和设计思想，包括负责异常召回的时间序列预估与检测，以及负责作弊准确判断的异常检测与原因回溯，两部分联合工作；

第二，针对各类特征工程数据的混合高斯模型异常检测算法，结合针对时间序列数据的序列预估算法加上针对时间序列数据的异常检测算法，这种联合检测方法提升了异常的召回率以及作弊判断的准确率；

第三，监控时序异常与特征异常后能给予实时的策略上线拦截反制，能做到结果导向的主动彻底杜绝商户能实际感知到的异常；

第四，提供能够确定作弊相关原因的方法，实时或近实时的快速主动发现新的作弊位置与模式，释放人工运营的压力，同时还能预警即将到来的规模作弊；以及

第五，直接给出作弊的影响范围及数量的方法，并且自动生成回退信息并操作商户金额回退。

根据本发明的另一个方面，还提出一种实时反作弊检测监控装置，其例如可实施在服务提供商的服务器或与其通信的其他设备中。

如图7所示，根据一个实施例的实时反作弊检测监控装置包括数据处理模块71、时序检测模块72、策略生成模块73和告警通知模块74。其中，数据处理模块71设置为接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；时序检测模块72设置为对所述时序数据进行预估，并检测时序异常；策略生成模块73设置为对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略；告警通知模块74设置为基于所述时序检测模块检测到的时序异常检测结果以及所述策略生成模块检测到的特征异常分别发布告警通知。

在图7所示的实施例中，数据处理模块71进一步包括：数据获取单元711、第一处理单元712和第二处理单元713。其中，数据获取单元711设置为获取实时源数据日志；第一处理单元712设置为将所述实时源数据日志中与点击和曝光相关的第一范围数据按预设时间窗计算成所述时序数据；第二处理单元713设置为基于所述实时源数据日志中与用户属性相关的第二范围数据使用预设特征编码生成所述实时特征数据。

在图7所示的实施例中，时序检测模块72进一步包括：时序预估单元721、异常检测单元722和阈值控制单元723。其中，时序预估单元721设置为基于所述时序数据使用多个时间序列模型得到多个时序预估结果，并选用预估误差最小的目标时间序列模型对所述时序数据进行预估；异常检测单元722设置为接收所述时序数据和基于所述目标时间序列模型得到的预估数据，并使用所述密度异常检测模型进行异常检测；阈值控制单元723设置为基于阈值控制从所述异常检测单元722得到的异常检测结果中选取影响较大的异常结果。

在图7所示的实施例中，策略生成模块73包括：模型管理单元731、特征检测单元732、归因影响单元733、策略生成单元734、数据过滤单元735和策略监控单元736。其中，模型管理单元731设置为基于所述数据处理模块71存储的历史数据提取历史特征数据，由高斯混合模型训练得到模型参数；特征检测单元732设置为将所述实时特征数据输入已确定所述模型参数的所述高斯混合模型，计算得到异常特征数据；归因影响单元733设置为将所述特征检测单元732检测到的异常特征数据还原成文本信息作为异常原因；策略生成单元734设置为述特征检测单元732检测到的异常特征数据与时序检测模块72检测到的时序异常检测结果进行求交运算以生成监控策略；数据过滤单元735设置为基于所述监控策略对所述数据处理模块后续接收的实时日志文件进行过滤；以及策略监控单元736设置为根据所述数据过滤单元735在预设时间内的过滤量来确定是否删除该监控策略。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本示例实施方式中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可以实现上述任意一个实施例中所述实时反作弊检测监控方法的步骤。所述服务信息提供方法的具体步骤可参考前述实施例中关于上述服务信息提供方法各步骤的详细描述，此处不再赘述。所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本示例实施方式中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述实时反作弊检测监控方法的步骤。该方法的步骤可参考前述方法实施例中的详细描述，此处不再赘述。所述电子设备可以是手机、平板电脑等移动终端，也可以是台式计算机、服务器等终端设备，本示例实施方式中对此不作限制。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的上述方法。

图8示出根据本公开示例实施方式中一种实时反作弊检测监控设备80的示意图。例如，设备80可以被提供为一服务器。参照图8，设备80包括处理组件81，其进一步包括一个或多个处理器，以及由存储器82所代表的存储器资源，用于存储可由处理组件81的执行的指令，例如应用程序。存储器82中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件81被配置为执行指令，以执行上述实时反作弊检测监控方法。

装置80还可以包括有线或无线网络接口83，被配置为将装置80连接到网络。装置80可以操作基于存储在存储器82的操作系统，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

虽然已参照几个典型实施例描述了本公开，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本公开能够以多种形式具体实施而不脱离申请的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (14)

1.一种实时反作弊检测监控方法，包括：

接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；

对所述时序数据进行预估，并检测时序异常；以及

对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。

2.如权利要求1所述的实时反作弊检测监控方法，其中所述接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据包括：

获取实时源数据日志；

将所述实时源数据日志中与点击和曝光相关的第一范围数据按预设时间窗计算成所述时序数据；以及

基于所述实时源数据日志中与用户属性相关的第二范围数据使用预设特征编码生成所述实时特征数据。

3.如权利要求1所述的实时反作弊检测监控方法，其中所述对时序数据进行预估，并检测时序异常包括：基于所述时序数据使用多个时间序列模型得到多个时序预估结果，并选用预估误差最小的目标时间序列模型对所述时序数据进行预估；

接收所述时序数据和基于所述目标时间序列模型得到的预估数据，并使用所述密度异常检测模型进行异常检测；以及

基于阈值控制从异常检测结果中选取影响较大的异常结果。

4.如权利要求1所述的实时反作弊检测监控方法，其中所述对特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略包括：

基于历史日志文件提取历史特征数据，由高斯混合模型训练得到模型参数；

将所述实时特征数据输入已确定所述模型参数的所述高斯混合模型，计算得到异常特征数据；以及将所述异常特征数据与检测到的所述时序异常检测结果进行求交运算以生成监控策略。

5.如权利要求4所述的实时反作弊检测监控方法，其中所述对特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略还包括：

基于所述监控策略对后续接收的实时日志文件进行过滤；以及

根据在预设时间内的过滤量来确定是否删除该监控策略。

6.如权利要求1-5任一项所述的实时反作弊检测监控方法，其中还包括：

基于检测到的所述时序异常检测结果以及所述实时特征数据的分布异常分别发布告警通知。

7.一种实时反作弊检测监控装置，包括：

数据处理模块，设置为接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；

时序检测模块，设置为对所述时序数据进行预估，并检测时序异常；以及

策略生成模块，设置为对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。

8.如权利要求7所述的实时反作弊检测监控装置，其中所述数据处理模块包括：

数据获取单元，设置为获取实时源数据日志；

第一处理单元，设置为将所述实时源数据日志中与点击和曝光相关的第一范围数据按预设时间窗计算成所述时序数据；以及

第二处理单元，设置为基于所述实时源数据日志中与用户属性相关的第二范围数据使用预设特征编码生成所述实时特征数据。

9.如权利要求7所述的实时反作弊检测监控装置，其中所述时序检测模块包括：

时序预估单元，设置为基于所述时序数据使用多个时间序列模型得到多个时序预估结果，并选用预估误差最小的目标时间序列模型对所述时序数据进行预估；

异常检测单元，设置为接收所述时序数据和基于所述目标时间序列模型得到的预估数据，并使用所述密度异常检测模型进行异常检测；以及

阈值控制单元，设置为基于阈值控制从所述异常检测单元得到的异常检测结果中选取影响较大的异常结果。

10.如权利要求7所述的实时反作弊检测监控装置，其中所述策略生成模块包括：

模型管理单元，设置为基于所述数据处理模块存储的历史数据提取历史特征数据，由高斯混合模型训练得到模型参数；

特征检测单元，设置为将所述实时特征数据输入已确定所述模型参数的所述高斯混合模型，计算得到异常特征数据；以及

策略生成单元，设置为将所述特征检测单元检测到的异常特征数据与所述时序检测模块检测到的时序异常检测结果进行求交运算以生成监控策略。

11.如权利要求10所述的实时反作弊检测监控装置，其中所述策略生成模块还包括：

数据过滤单元，设置为基于所述监控策略对所述数据处理模块后续接收的实时日志文件进行过滤；以及

策略监控单元，设置为根据所述数据过滤单元在预设时间内的过滤量来确定是否删除该监控策略。

12.如权利要求7-11任一项所述的实时反作弊检测监控装置，其中还包括：

告警通知模块，设置为基于所述时序检测模块检测到的时序异常检测结果以及所述策略生成模块检测到的特征异常分别发布告警通知。

13.一种存储有计算机程序的存储介质，所述计算机程序在由计算机的处理器运行时，使所述计算机执行如权利要求1-6所述的方法。

14.一种计算设备，包括：

处理器；

存储器，存储有可由所述处理器执行的指令；

其中所述处理器被配置为执行如权利要求1-6所述的方法。