CN108647891A

CN108647891A - 数据异常归因分析方法及装置

Info

Publication number: CN108647891A
Application number: CN201810456688.2A
Authority: CN
Inventors: 张鹏
Original assignee: Word Of Mouth (beijing) Network Technology Co Ltd
Current assignee: Word Of Mouth (beijing) Network Technology Co Ltd
Priority date: 2018-05-14
Filing date: 2018-05-14
Publication date: 2018-10-12
Anticipated expiration: 2038-05-14
Also published as: CN108647891B

Abstract

本发明公开了一种数据异常归因分析方法及装置。其中方法包括：获取待监测指标的第一数据；利用预设数据模型计算第一数据发生数据异常的异常概率；若异常概率大于或等于预设阈值，获取归因指标数据；基于归因指标数据，利用预设归因算法进行归因分析计算，将归因分析结果发送给处理端，能够大大降低公司或企业对数据异常监控所消耗的人力成本，提高准确度，该方法具有很好的普适性。此外，还大大降低了对业务经验的依赖，而且通过量化异常程度，便于对大量指标进行自动准确监控，提高数据监控效率，减轻分析人员的工作量，通过将归因分析结果发送给处理端，可供处理端进行故障排除，提高排障效率。

Description

数据异常归因分析方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据异常归因分析方法及装置。

背景技术

随着互联网的普及，各行各业的公司每时每刻都在生产沉淀海量的数据。为了利用这些数据，不同公司，依据公司的业务偏好从数据中提炼出了大量的不同的数据指标，用于衡量公司业务发展情况，公司产品质量情况等等。

以电子商务网站为例，衡量公司业务的数据指标包含：日活跃用户数，日浏览量，月活跃用户数，月浏览量，用户点击率，用户交易转化率，用户注册转化率，平均用户浏览量，平均浏览深度，平均停留时长，页面停留时间，着陆页跳出率，页面二跳率，用户复购率，平均复购时间等等。

以口碑平台的O2O业务为例，口碑平台拥有百万级别的线下店铺，每个店铺每天会产出与其相关的交易笔数，交易金额，初级营销笔数，初级营销金额，高级营销笔数，高级营销金额，折扣率，作弊笔数，作弊金额等数据指标。

对于数据指标的监控分析，各行各业都存在着大量的需求，传统的方式是将这些指标整理成表格或者可视化为曲线或柱状图或饼图等，人工查看分析；或者以简单的统计指标监控为主，对数据异常的判断相对简单并依赖主观经验。

这里面存在几个问题：第一，有些公司业务指标数量非常多(例如口碑)，靠分析人员逐个观察分析，效率非常低下，而且容易由于疏忽而导致遗漏；第二，分析人员对数据异常的判断主要依靠个人经验，这导致不同分析人员对于数据异常的判断标准不同，也最终会导致分析结果的不同；第三，当某项数据指标异常时，比如电商网站的订单转化率异常下降，当原因非常直接明显单一时，靠分析人员的观察分析可能比较容易得到结论，而当原因错综复杂，而且相对不是很明显时，单单依靠分析人员的经验，往往得不到有效的可量化的归因结论。

以阿里ODPS平台表数据监控为例，ODPS监控平台对表数据的监控仅限于对简单统计量(总数据条数、空值、数据升降百分比等)进行阈值监控(根据业务经验设定)。当需要监控的数据表(字段)相对比较少，业务经验较为充分，并且上述简单统计量能够表现出需要监控的异常时，才能够达到相对较好的效果；而对于如果对大量表(字段)进行监控，并且业务经验相对不足、仅靠简单的统计量无法达到异常监控目的时，则无法进行有效的数据监控(例如口碑平台店铺经营异常的发现任务，由于店铺数量多(百万级别)，每个行业的相应指标波动变化不一致，每个店铺交易额的波动规律也不一致，导致人工定制规则比较困难，而且一刀切式的规则也往往经常设定的不合理)。

因此，如何能够对公司或企业关心的数据指标出现异常时能够自动发现，并且给出产生异常可能的原因，辅助分析人员进行分析诊断，是本发明急需解决的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据异常归因分析方法及装置。

根据本发明的一个方面，提供了一种数据异常归因分析方法，包括：

获取待监测指标的第一数据；

利用预设数据模型计算第一数据发生数据异常的异常概率；

若异常概率大于或等于预设阈值，则获取归因指标数据；

基于归因指标数据，利用预设归因算法进行归因分析计算，将归因分析结果发送给处理端。

可选地，预设数据模型包括：第一预设数据模型和第二预设数据模型；

利用预设数据模型计算第一数据发生数据异常的异常概率进一步包括：验证第一数据的数据平稳性；

若第一数据通过数据平稳性验证，则利用第一预设数据模型计算第一数据发生数据异常的异常概率；

若第一数据未通过数据平稳性验证，则利用第二预设数据模型计算第一数据发生数据异常的异常概率。

可选地，利用第一预设数据模型计算第一数据发生数据异常的异常概率进一步包括：利用第一预设数据模型计算第一数据的置信度；

根据置信度计算第一数据发生数据异常的异常概率。

可选地，利用第二预设数据模型计算第一数据发生数据异常的异常概率进一步包括：利用第二预设数据模型计算第一数据的概率积分，根据概率积分计算第一数据发生数据异常的异常概率。

可选地，在利用预设数据模型计算第一数据发生数据异常的异常概率之前，方法还包括：检测是否已建立预设数据模型且预设数据模型是否失效；

若已建立预设数据模型且预设数据模型未失效，则利用预设数据模型计算第一数据发生数据异常的异常概率；

若未建立预设数据模型或预设数据模型已失效，则获取待监测指标的第二数据；

根据第二数据进行模型拟合处理，得到预设数据模型，利用预设数据模型计算第一数据发生数据异常的异常概率。

可选地，基于归因指标数据，利用预设归因算法进行归因分析计算进一步包括：利用预设归因算法计算归因指标数据与第一数据的相关性；

根据相关性确定导致数据异常的归因分析结果。

可选地，预设归因算法包括：互信息检验、卡方检验、线性相关系数和/或格兰杰因果检验。

可选地，第一数据包括：店铺标识；归因分析结果包括：店铺标识、数据异常描述信息、第一数据；

在将归因分析结果发送给处理端之前，方法还包括：对归因分析结果进行排序处理；

将归因分析结果发送给处理端进一步包括：将排序后的归因分析结果发送给处理端。

可选地，对归因分析结果进行排序处理进一步包括：基于排序特征对店铺进行排序，得到排序后的归因分析结果。

可选地，对归因分析结果进行排序处理进一步包括：利用预设排序模型对店铺进行排序，得到排序后的归因分析结果。

可选地，方法还包括：获取处理端反馈数据；

根据处理端反馈数据对预设排序模型进行优化。

可选地，方法还包括：若异常概率大于或等于预设阈值，则确定第一数据发生异常，向处理端发送报警信息。

根据本发明的另一方面，提供了一种数据异常归因分析装置，包括：

第一获取模块，适于获取待监测指标的第一数据；

异常概率计算模块，适于利用预设数据模型计算第一数据发生数据异常的异常概率；

第二获取模块，适于若异常概率大于或等于预设阈值，则获取归因指标数据；

归因分析计算模块，适于基于归因指标数据，利用预设归因算法进行归因分析计算；

发送模块，适于将归因分析结果发送给处理端。

异常概率计算模块进一步适于：验证第一数据的数据平稳性；

可选地，异常概率计算模块进一步适于：利用第一预设数据模型计算第一数据的置信度；

根据置信度计算第一数据发生数据异常的异常概率。

可选地，异常概率计算模块进一步适于：利用第二预设数据模型计算第一数据的概率积分，根据概率积分计算第一数据发生数据异常的异常概率。

可选地，装置还包括：检测模块，适于检测是否已建立预设数据模型且预设数据模型是否失效；

异常概率计算模块进一步适于：若已建立预设数据模型且预设数据模型未失效，则利用预设数据模型计算第一数据发生数据异常的异常概率；

第一获取模块进一步适于：若未建立预设数据模型或预设数据模型已失效，则获取待监测指标的第二数据；

拟合处理模块，适于根据第二数据进行模型拟合处理，得到预设数据模型；

异常概率计算模块进一步适于：利用预设数据模型计算第一数据发生数据异常的异常概率。

可选地，归因分析计算模块进一步适于：利用预设归因算法计算归因指标数据与第一数据的相关性；

根据相关性确定导致数据异常的归因分析结果。

装置还包括：排序模块，适于对归因分析结果进行排序处理；

发送模块进一步适于：将排序后的归因分析结果发送给处理端。

可选地，排序模块进一步适于：基于排序特征对店铺进行排序，得到排序后的归因分析结果。

可选地，排序模块进一步适于：利用预设排序模型对店铺进行排序，得到排序后的归因分析结果。

可选地，装置还包括：第三获取模块，适于获取处理端反馈数据；

优化处理模块，适于根据处理端反馈数据对预设排序模型进行优化。

可选地，发送模块进一步适于若异常概率大于或等于预设阈值，则确定第一数据发生异常，向处理端发送报警信息。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述数据异常归因分析方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述数据异常归因分析方法对应的操作。

根据本发明提供的方案，利用预设数据模型能够自动计算第一数据是否发生数据异常，并在第一数据发生数据异常的情况下，利用预设归因算法自动进行归因分析计算，将归因分析结果发送给处理端进行处理，能够大大降低公司或企业对数据异常监控所消耗的人力成本，提高准确度，另外该方法具有很好的普适性，各公司或企业可以根据其自身情况进行定制。此外，该方法大大降低了对业务经验的依赖，提升了对数据的依赖度，而且通过量化异常程度，能够便于对大量指标进行自动准确监控，提高数据监控效率，减轻分析人员的工作量，通过将归因分析结果发送给处理端，可供处理端进行故障排除，提高排障效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的数据异常归因分析方法的流程示意图；

图2示出了根据本发明另一个实施例的数据异常归因分析方法的流程示意图；

图3示出了根据本发明一个实施例的数据异常归因分析装置的结构示意图；

图4示出了根据本发明一个实施例的一种计算设备的结构示意图；

图5为店铺在过去11个月中的店铺交易综合金额的经营数据示意图；

图6为利用核密度估计法进行密度拟合得到的概率密度分布示意图；

图7为利用核密度估计得到的第一数据的异常概率的示意图；

图8为待监测指标(店铺交易综合金额)y最近两周的数据示意图；

图9为归因指标(POS机是否异常)x₁最近两周的数据示意图；

图10为归因指标(交易笔单价)x₂最近两周的数据示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的数据异常归因分析方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤S100，获取待监测指标的第一数据。

其中，待监测指标指需要进行监控的指标，针对不同的应用场景，待监测指标可能有所不同，第一数据是时间序列数据，是第一预设时间段内待监测指标所产生的数据，其中，该第一预设时间段的时间终点为当前时间，例如，获取最近两周的数据，这里仅是举例说明，不具有任何限定作用。

步骤S101，利用预设数据模型计算第一数据发生数据异常的异常概率。

正常情况下，待监测指标的第一数据是比较平稳的，并不会发生太大波动，当第一数据波动太大时，很容易出现数据异常的情况，因此，需要计算第一数据发生数据异常的异常概率，以确定是否发生了数据异常现象，以及确定是否需要进行归因分析。

本发明需要预先建立数据模型，该预设数据模型可以用于计算第一数据发生数据异常的异常概率，其中，异常概率表明了数据发生异常的程度，异常概率越高，数据发生异常的程度越高；异常概率越低，数据发生异常的程度也越低。

具体地，在获取到待监测指标的第一数据之后，利用预设数据模型计算第一数据发生数据异常的异常概率。

步骤S102，若异常概率大于或等于预设阈值，则获取归因指标数据。

在计算得到第一数据发生数据异常的异常概率之后，还需要将该异常概率与预设阈值进行比较，其中，预设阈值一般使用统计学上常用的显著性判断阈值(0.95)来设定，也可以根据实际情况要求的严格程度动态调整，若异常概率大于或等于预设阈值，表明第一数据出现了数据异常；若异常概率小于预设阈值，表明第一数据未出现数据异常。

在确定异常概率大于或等于预设阈值的情况下，获取归因指标数据，其中，归因指标用于说明待监测指标发生数据异常可能与哪些原因有关。

步骤S103，基于归因指标数据，利用预设归因算法进行归因分析计算，将归因分析结果发送给处理端。

在获取到归因指标数据后，基于该归因指标数据，利用预设归因算法进行归因分析计算，得到归因分析结果，将归因分析结果发送给处理端，供处理端参考。其中，预设归因算法包括：互信息检验、卡方检验、线性相关系数和/或格兰杰因果检验。

本发明实施例提供的数据异常归因分析方法及装置能够用于任何需要进行数据异常监测分析的场景，例如，用于对应用平台交易数据异常分析。

根据本发明上述实施例提供的方法，利用预设数据模型能够自动计算第一数据是否发生数据异常，并在第一数据发生数据异常的情况下，利用预设归因算法自动进行归因分析计算，将归因分析结果发送给处理端进行处理，能够大大降低公司或企业对数据异常监控所消耗的人力成本，提高准确度，另外该方法具有很好的普适性，各公司或企业可以根据其自身情况进行定制。此外，该方法大大降低了对业务经验的依赖，而且通过量化异常程度，能够便于对大量指标进行自动准确监控，提高数据监控效率，减轻分析人员的工作量，通过将归因分析结果发送给处理端，可供处理端进行故障排除，提高排障效率。

下面将以入驻口碑平台的商家的店铺数据为例，详细介绍数据异常归因分析方法实现过程：

图2示出了根据本发明另一个实施例的数据异常归因分析方法的流程示意图。如图2所示，该方法包括以下步骤：

步骤S200，获取待监测指标的第一数据。

在本发明实施例中，设定待监测指标为店铺交易综合金额(由店铺交易金额与店铺营销金额融合而成)，第一数据为包括店铺标识和店铺日常交易综合金额，举例说明，店铺1最近两周的店铺交易综合金额为[220,230,240,220,250,230,220,210,200,210,100,90,80,80]，这里为了方便后续计算，对店铺交易综合金额进行了取整处理。

在获取到第一数据之后，计算第一数据发生数据异常的异常概率之前，可以先对第一数据进行数据预处理，例如，对第一数据进行归一化和/或标准化处理，以方便后续处理。

步骤S201，检测是否已建立预设数据模型且预设数据模型是否失效，若未建立预设数据模型或预设数据模型已失效，则执行步骤S202；若已建立预设数据模型且预设数据模型未失效，则执行步骤S204。

本发明利用预设数据模型计算第一数据发生数据异常的异常概率，因此，在计算异常概率之前，需要先检测是否已经建立了预设数据模型，且预设数据模型是否失效，具体地，可以根据处理端反馈的异常报警是否准确等信息确定预设数据模型是否已经失效。

如果未建立预设数据模型或预设数据模型已经失效，则需要建立预设数据模型；如果已经建立了预设数据模型，且预设数据模型未失效，则可以利用该预设数据模型计算第一数据发生数据异常的异常概率。

本发明实施例并不具体限定步骤S200和步骤S201的执行顺序，也就是说，可以先执行步骤S200再执行步骤S201，也可以先执行步骤S201再执行步骤S200，或者同时执行步骤S200和步骤S201。

步骤S202，获取待监测指标的第二数据。

其中，第二数据为是第二预设时间段内待监测指标所产生的数据，是历史数据，其中，该第二预设时间段的时间终点为距离当前时间尽可能远的一个时间点，例如，过去一年的数据。

在获取待监测指标的第二数据之后，需要对第二数据进行数据预处理，例如归一化处理、标准化处理，使得第二数据满足模型拟合处理需求。

步骤S203，根据第二数据进行模型拟合处理，得到预设数据模型。

在获取到第二数据之后，可以根据第二数据进行模型拟合处理，具体地，可以采用现有的模型拟合算法(例如，核密度估计即ARIMA模型拟合方法)进行模型拟合处理，这里不再赘述。

在本发明实施例中，预设数据模型包括：第一预设数据模型和第二预设数据模型，根据数据平稳性的不同，选用不同的预设数据模型计算异常概率。

步骤S204，验证第一数据的数据平稳性。

这里验证第一数据的数据平稳性指验证第一数据的均值、方差在时间过程上是否都为常数，且任意两个时刻的协方差是否依赖于计算协方差的实际时间，即协方差不是时间的函数。

若第一数据的均值和方差在时间过程上都是常数，并且在任意两个时刻的协方差值仅依赖于这两个时刻的距离，而不依赖于计算计算协方差的实际时间，则认为第一数据是平稳的，通过数据平稳性验证；否则，则是非平稳的，未通过数据平稳性验证。

其中，数据平稳性指数据是宽平稳的或可以变换为宽平稳的。例如，若通过差分处理(指对时间序列数据进行差分，然后对差分序列进行回归)能够消除数据的不平稳性，则认定数据是宽平稳的。然而，在通过差分处理消除数据的不平稳性时，一般会设定差分处理的上限，即，若对数据进行差分处理的次数达到预设阈值(例如，设置预设阈值为3)，则认为数据是非平稳的(虽然经过多次能够变换为平稳，但在变换过程中会丢失很多信息)，若对数据进行差分处理的次数未达到预设阈值，则认为数据是平稳的。

步骤S205，若第一数据通过数据平稳性验证，则利用第一预设数据模型计算第一数据发生数据异常的异常概率。

其中，第一预设数据模型可以通过以下方法建立：先对数据进行数据平稳性验证，对于通过数据平稳性验证的数据，对数据进行模型拟合、模型选择(例如，ARIMA模型、HOLT-WINTERS模型)、模型检验处理，再经过置信水平检测而得到的。

这里以第一预设数据模型为自回归积分滑动平均模型(AutoregressiveIntegrated Moving Average Model，简记ARIMA模型)为例进行说明。ARIMA模型是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。

ARIMA模型根据原序列是否平稳以及回归中所含部分的不同，包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARMA)以及ARIMA过程。

其中AR(p)过程：

其中，Xt为随机变量X在t时刻的观测值，为常数，p为自回归阶数，为自回归系数，ε_t为白噪声序列。

MA(q)过程：

X_t＝μ+ε_t+θ₁ε_t-1+θ₂ε_t-2...+θ_qε_t-q

s.t.θ_q≠0；E(ε_t)＝0；Var(ε_t)＝σ²；E(ε_sε_t)＝0,s≠t；

其中，X_t为随机变量X在t时刻的观测值，μ为常数项，θ₁…θ_q为模型系数，q为移动平均项数，ε_t为白噪声序列。

ARMA(p,q)过程：

其中，X_t为随机变量X在t时刻的观测值，为常数，p为自回归阶数，为自回归系数，ε_t为白噪声序列，μ为常数项，θ₁…θ_q为模型系数

ARIMA是指在AR、MA过程之前进行d阶差分，使时间序列符合宽平稳条件，其中，d为时间序列成为平稳时所做的差分次数。

具体地，ARIMA模型主要用于平稳时间序列预测，具体地，利用ARIMA模型对稳定数据指标序列或者差分后稳定的第一数据序列进行建模预测得到预测值，计算置信度，将真实值与预测值及置信度进行比较，从而判断第一数据是否发生了数据异常并计算异常概率。

若未通过置信水平检测，则需要建立第二预设数据模型。

步骤S206，若第一数据未通过数据平稳性验证，则利用第二预设数据模型计算第一数据发生数据异常的异常概率。

其中，第二预设数据模型是基于非参数拟合建模得到的，具体地，利用核密度估计法，选取距离当前时间尽可能远的同方差序列段进行高斯核密度估计而得到的。

第一数据未通过数据平稳性验证表明第一数据是非平稳的或者变换为平稳时丢失信息过多，因此，无法利用第一预设数据模型计算第一数据发生数据异常的异常概率，因此，可以利用第二预设数据模型计算第一数据发生数据异常的异常概率，具体地，利用第二预设数据模型计算第一数据的概率积分，根据概率积分计算第一数据发生数据异常的异常概率。

下面结合具体实例详细介绍利用第二预设数据模型计算第一数据发生数据异常的异常概率的实现过程：

图5为店铺在过去11个月中的店铺交易综合金额的经营数据(这个时间周期可以根据数据丰富程度自己定义)，利用高斯核密度估计，对其进行密度拟合(如图6所示)，其中，窗宽的选择为经验选择法。

核密度估计：是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，为独立同分布F的n个样本点，设其概率密度函数为f，核密度估计为：

其中，

其中K(.)为核函数(非负、积分为1，符合概率密度性质，并且均值为0)；h>0为一个平滑参数，称作带宽(bandwidth)，也叫窗口；n为样本点个数；x_i为第i个样本；d为特征维数，在本发明实施例中，店铺交易综合金额为一维数据，因此，d＝1。

其中，在做核密度估计时，某一点的概率由该点及其附近的样本估计而得，带宽即附近的选取范围。

核密度估计完毕后，将要判断异常概率的店铺交易综合金额，对概率密度函数从负无穷到该点进行积分，得到概率积分，该概率积分所得的值是在第一预设时间段之前的待监测指标：店铺交易综合金额的正常概率(深灰色部分表示)，则异常概率＝1-正常概率，如图7所示。

步骤S207，若异常概率大于或等于预设阈值，则确定第一数据发生异常，向处理端发送报警信息。

在计算得到异常概率之后，还需要将该异常概率与预设阈值进行比较，其中，预设阈值一般使用统计学上常用的显著性判断阈值(0.95)来设定，也可以根据实际情况要求的严格程度动态调整，若异常概率大于或等于预设阈值，表明第一数据出现了数据异常；若异常概率小于预设阈值，表明第一数据未出现数据异常。

在确定异常概率大于或等于预设阈值的情况下，可以确定第一数据发生了数据异常，需要向处理端发送报警信息，该报警信息可以用于提示处理端店铺数据发生了数据异常，需要进行故障排除处理，以便于处理端安排时间进程处理。

步骤S208，获取归因指标数据。

口碑平台中数据主要包括以下三个维度：店铺维度：包含店铺的日常经营数据(交易数据、营销数据、POS机具数据，作弊数据)；

服务商小二维度：包含日常巡店记录、物料铺设记录、反馈数据；

其他维度数据：国家法定节假日数据、不同城市门店的掉落规则数据(无动销掉落天数，无拜访掉落天数，例如：某城市的规则为，当门店拜访掉落天数为30天，则如果服务商对该门店拜访的间隔超过30天时，该门店会自动从该服务商门下滑落，无动销掉落规则类似)、口碑返佣比例(是指根据口碑不同的阶段性战略采取的对服务商根据交易类型(基础交易，营销交易)不同给予不同返佣比例的方案，该数据主要用来进行设计问题严重性的指标)。

因此，根据上述数据可以预先设置归因指标集，相应的归因指标用于说明发生店铺的交易综合金额发生异常可能与哪些原因有关，表1简单列举了一些归因指标，当然本发明实施例中的归因指标并不限于表1中所列举的，本领域技术人员可以根据实际需要添加其它归因指标。

表1：

在获取到归因指标数据之后，可以对归因指标数据进行数据预处理，例如，对归因指标数据中的缺失值进行数值填充处理，具体地，可以根据实际需要填充0或1。

在对缺失值进行数值填充处理之后，还需要确定是否对数据进行变换处理，例如，将数据转换为离散型数值数据、无序性类别数据等，以方便后续处理。

另外，针对不同类型的数据，在进行归因分析计算时所使用的归因算法也会有所不同。

步骤S209，利用预设归因算法计算归因指标数据与第一数据的相关性。

这里计算归因指标数据与第一数据的相关性指确定影响第一数据出现数据异常现象，是否是由归因指标导致的。

其中，预设归因算法包括：互信息检验、卡方检验、线性相关系数和/或格兰杰因果检验。

下面详细介绍上述预设归因算法：

互信息检验：互信息的概念来自于信息熵，在概率论和信息论中，互信息是两个随机变量的互信息(Mutual Information，简称MI)或转移信息(Transinformation)是变量间相互依赖性的量度。通俗的来讲：互信息是一个随机变量包含另外一个随机变量的信息量，或者说如果已知一个变量，另外一个变量减少的信息量。

互信息检验的计算公式为：

其中，p(x,y)当前是X和Y的联合概率密度函数，而p(x)和p(y)分别是X和Y的边缘概率密度函数。

卡方检验：用于检测两个变量或样本的独立性。

卡方检验的理论假设是：一个样本中已发生事件的次数分配会遵守某个特定的理论分配。通常的讲：观测频数跟实际频数应该没有区别，除非两个变量不是独立的。

χ²统计值：

自由度：df＝(r-1)(c-1)

其中：O：观察频数，E：理论频数，r，c分别为两个变量的取值种类个数。

线性相关系数：主要衡量两个变量线性相关的程度。

相关系数：

其中：Cov(X,Y)为X，Y的协方差，σ_X、σ_Y分别为X，Y的标准差。

格兰杰因果检验：若在包含了变量X、Y的过去信息的条件下，对变量Y的预测效果要优于只单独由Y的过去信息对Y进行的预测效果，即变量X有助于解释变量Y的将来变化，则认为变量X是引致变量Y的格兰杰原因。

格兰杰因果检验：

其中，白噪音u_1t和u_2t假定为不相关的，x_t-i、y_t-j分别为随机变量x在t-i时刻的观测值、随机变量y在t-j时刻的观测值，α_i、β_j、λ_i、δ_j为回归系数。

式(1)假定当前y与y自身以及x的过去值有关，而式(2)对x也假定了类似的行为。

对式(1)而言，其零假设H0：α₁＝α₂＝…＝α_q＝0。

对式(2)而言，其零假设H0：δ₁＝δ₂＝…＝δ_s＝0。

分四种情形讨论：

x是引起y变化的原因，即存在由x到y的单向因果关系。若式(1)中滞后的x的系数估计值在统计上整体的显著不为零，同时式(2)中滞后的y的系数估计值在统计上整体的显著为零，则称x是引起y变化的原因。

y是引起x变化的原因，即存在由y到x的单向因果关系。若式(2)中滞后的y的系数估计值在统计上整体的显著不为零，同时式(1)中滞后的x的系数估计值在统计上整体的显著为零，则称y是引起x变化的原因。

x和y互为因果关系，即存在由x到y的单向因果关系，同时也存在由y到x的单向因果关系。若式(1)中滞后的x的系数估计值在统计上整体的显著不为零，同时式(2)中滞后的y的系数估计值在统计上整体的显著不为零，则称x和y间存在反馈关系，或者双向因果关系。

x和y是独立的，或x与y间不存在因果关系。若式(1)中滞后的x的系数估计值在统计上整体的显著为零，同时式(2)中滞后的y的系数估计值在统计上整体的显著为零，则称x和y间不存在因果关系。

如果高相关性因素非常多，可以利用格兰杰因果检验可以将单相因果的结果数据提出。

在本发明实施例中，以预设归因算法为皮尔逊相关系数为例，详细介绍利用皮尔逊相关系数计算归因指标数据与第一数据的相关性的过程：

皮尔逊相关系数公式为：

其中，x_i、y_i分别为随机变量X，Y在第i个分量的取值，为随机变量X，Y的期望，n为随机变量XY的维数，X表示归因指标数据，Y表示第一数据。

下面以待监测指标为店铺交易综合金额、归因指标为：POS机是否异常、交易笔单价为例，获取到上述三个变量最近两周的数据：

图8为待监测指标(店铺交易综合金额)y最近两周的数据示意图：

[220.,230.,240.,220.,250.,230.,220.,210.,200.,210.,100.,90.,80.,80.]；

图9为归因指标(POS机是否异常)x₁最近两周的数据示意图：

[0,0,0,0,0,0,0,0,0,0,1,1,1,1]；

图10为归因指标(交易笔单价)x₂最近两周的数据示意图：

[10.2,10.7,10.3,10.2,10.8,10.6,10.9,10.5,10.2,10.1,10.3,10.4,10.5,10.6]。

从数据中可以看出，店铺交易综合金额异常下跌，从数据直观上看交易下跌当天，POS机具数据由0变为1，也就是说POS出现异常很可能就是交易下跌的原因。利用皮尔逊相关系数进行计算，得到：

r(y,x₁)＝-0.979；r(y,x₂)＝(0.077)

皮尔逊相关系数的取值范围是(-1,1)，所计算得到的皮尔逊相关系数越接近1表示越正相关，越接近-1表示越负相关，根据所计算得到的皮尔逊相关系数可知，店铺交易综合金额下跌与POS数据序列呈强烈线性负相关。

在本发明实施例中，针对连续性数值数据，可以利用线性相关系数进行归因分析计算；对于离散型数值数据可以利用相关系数、卡方检验、互信息检验进行归因分析计算；对于无序性类别数据可以利用卡方检验、互信息检验进行归因分析计算。

步骤S210，根据相关性确定导致数据异常的归因分析结果。

在计算得到相关性之后，可以根据相关性确定导致数据异常的归因分析结果，其中，归因分析结果包括：店铺标识、数据异常描述信息、第一数据，例如，归因分析结果为：店铺1，导致店铺交易综合金额异常的原因为POS机异常，店铺交易综合金额最近两周的数据：[220.,230.,240.,220.,250.,230.,220.,210.,200.,210.,100.,90.,80.,80.]。

若存在多个归因指标影响待监测指标的数据异常，可以根据相关性对归因指标进行排序。

步骤S211，对归因分析结果进行排序处理，将排序后的归因分析结果发送给处理端。

往往一个处理端名下有数百店铺，在某一周的异常店铺数可能有数十个，而处理端的业务展示需求可能只有十个左右，这个时候就需要对归因分析结果进行排序处理，主要是针对店铺进行排序，具体地，可以采用以下两种方法中的任意一种方法进行排序：

方法一：基于排序特征对店铺进行排序，得到排序后的归因分析结果。

排序特征为排序参考因素，其中，店铺排序采用的参考因素是：店铺重要性，异常程度，跌0严重性，跌落风险等，初始时对这些变量各自做归一化，然后根据业务经验加权汇总。

举例说明，异常概率表明了数据异常的程度，异常概率越高，店铺的排序越靠前；当然，在排序时还会考虑一些其他排序特征，例如，店铺重要性，举例说明，异常概率均为0.8的两个店铺：店铺1和店铺2，当根据店铺重要性确定了店铺1较店铺2更为重要，那么在排序时，店铺1的位置在店铺2的位置之前，表2简单列举了排序特征。在本发明可选实施例中，还可以对排序特征进行基于城市及二级类目的归一化处理，然后进行店铺排序。

表2：

序号	名称	说明
			1	巡店距离现在天数	排序特征，用于提高即将跌落的门店排序优先级
2	店铺交易跌0天数	排序特征，用于提高即将跌落的门店排序优先级
			3	店铺交易综合金额异常概率	排序特征，衡量本周交易异常的程度的指标
4	店铺重要性	排序特征，主要由店铺交易额计算而来

方法二：

利用预设排序模型对店铺进行排序，得到排序后的归因分析结果。

预设排序模型是根据处理端对店铺的处理顺序进行训练得到的，针对不同处理端所负责的店铺，利用预设排序模型对店铺进行排序，所得到的排序结果不同。

步骤S212，获取处理端反馈数据。

在将排序后的归因分析结果发送给处理端后，处理端可以根据归因分析结果进行相应的故障排除处理，处理端在完成故障排除处理后，可以对服务端发送的归因分析结果进行反馈，主要是评价服务端反馈的归因分析结果的优劣，即排序是否合理。

步骤S213，根据处理端反馈数据对预设排序模型进行优化。

在获取到处理端反馈数据之后，针对不同的处理端，可以根据处理端反馈数据对预设排序模型进行优化。

另外，处理端反馈数据还可以用于优化数据异常归因分析方法。

根据本发明上述实施例提供的方法，利用预设数据模型能够自动计算第一数据是否发生数据异常，并在第一数据发生数据异常的情况下，利用预设归因算法自动进行归因分析计算，将归因分析结果发送给处理端进行处理，能够大大降低公司或企业对数据异常监控所消耗的人力成本，提高准确度，另外该方法具有很好的普适性，各公司或企业可以根据其自身情况进行定制。此外，该方法大大降低了对业务经验的依赖，而且通过量化异常程度，能够便于对大量指标进行自动准确监控，提高数据监控效率，减轻分析人员的工作量，另外，在对数据异常进行归因分析时，能够自动筛选出与异常变化联动比较紧密的指标，辅助处理端快速定位问题原因，提高排障效率，还能够针对店铺进行排序，使处理端在有限时间内优先处理较为重要的店铺或异常程度较为严重的店铺。

图3示出了根据本发明一个实施例的数据异常归因分析装置的结构示意图。如图3所示，该装置包括：第一获取模块300、异常概率计算模块301、第二获取模块302、归因分析计算模块303、发送模块304。

第一获取模块300，适于获取待监测指标的第一数据。

异常概率计算模块301，适于利用预设数据模型计算第一数据发生数据异常的异常概率。

第二获取模块302，适于若异常概率大于或等于预设阈值，则获取归因指标数据。

归因分析计算模块303，适于基于归因指标数据，利用预设归因算法进行归因分析计算。

发送模块304，适于将归因分析结果发送给处理端。

异常概率计算模块301进一步适于：验证第一数据的数据平稳性；

可选地，异常概率计算模块301进一步适于：利用第一预设数据模型计算第一数据的置信度；

根据置信度计算第一数据发生数据异常的异常概率。

可选地，异常概率计算模块301进一步适于：利用第二预设数据模型计算第一数据的概率积分，根据概率积分计算第一数据发生数据异常的异常概率。

可选地，装置还包括：检测模块305，适于检测是否已建立预设数据模型且预设数据模型是否失效；

异常概率计算模块301进一步适于：若已建立预设数据模型且预设数据模型未失效，则利用预设数据模型计算第一数据发生数据异常的异常概率；

第一获取模块300进一步适于：若未建立预设数据模型或预设数据模型已失效，则获取待监测指标的第二数据；

拟合处理模块306，适于根据第二数据进行模型拟合处理，得到预设数据模型；

异常概率计算模块301进一步适于：利用预设数据模型计算第一数据发生数据异常的异常概率。

可选地，归因分析计算模块303进一步适于：利用预设归因算法计算归因指标数据与第一数据的相关性；

根据相关性确定导致数据异常的归因分析结果。

装置还包括：排序模块307，适于对归因分析结果进行排序处理；

发送模块304进一步适于：将排序后的归因分析结果发送给处理端。

可选地，排序模块307进一步适于：基于排序特征对店铺进行排序，得到排序后的归因分析结果。

可选地，排序模块307进一步适于：利用预设排序模型对店铺进行排序，得到排序后的归因分析结果。

可选地，装置还包括：第三获取模块308，适于获取处理端反馈数据；

优化处理模块309，适于根据处理端反馈数据对预设排序模型进行优化。

可选地，发送模块304还适于：若异常概率大于或等于预设阈值，则确定第一数据发生异常，向处理端发送报警信息。

根据本发明上述实施例提供的装置，利用预设数据模型能够自动计算第一数据是否发生数据异常，并在第一数据发生数据异常的情况下，利用预设归因算法自动进行归因分析计算，将归因分析结果发送给处理端进行处理，能够大大降低公司或企业对数据异常监控所消耗的人力成本，提高准确度，另外该方法具有很好的普适性，各公司或企业可以根据其自身情况进行定制。此外，该方法大大降低了对业务经验的依赖，而且通过量化异常程度，能够便于对大量指标进行自动准确监控，提高数据监控效率，减轻分析人员的工作量，通过将归因分析结果发送给处理端，可供处理端进行故障排除，提高排障效率。

本申请实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据异常归因分析方法。

图4示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述数据异常归因分析方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述任意方法实施例中的数据异常归因分析方法。程序410中各步骤的具体实现可以参见上述数据异常归因分析实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据异常归因分析方法设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种数据异常归因分析方法，包括：

获取待监测指标的第一数据；

利用预设数据模型计算所述第一数据发生数据异常的异常概率；

若所述异常概率大于或等于预设阈值，则获取归因指标数据；

基于所述归因指标数据，利用预设归因算法进行归因分析计算，将归因分析结果发送给所述处理端。

2.根据权利要求1所述的方法，其中，所述预设数据模型包括：第一预设数据模型和第二预设数据模型；

所述利用预设数据模型计算第一数据发生数据异常的异常概率进一步包括：验证所述第一数据的数据平稳性；

若所述第一数据通过数据平稳性验证，则利用第一预设数据模型计算所述第一数据发生数据异常的异常概率；

若所述第一数据未通过数据平稳性验证，则利用第二预设数据模型计算所述第一数据发生数据异常的异常概率。

3.根据权利要求2所述的方法，其中，所述利用第一预设数据模型计算所述第一数据发生数据异常的异常概率进一步包括：

利用第一预设数据模型计算所述第一数据的置信度；

根据所述置信度计算所述第一数据发生数据异常的异常概率。

4.根据权利要求2所述的方法，其中，所述利用第二预设数据模型计算所述第一数据发生数据异常的异常概率进一步包括：

利用第二预设数据模型计算第一数据的概率积分，根据所述概率积分计算第一数据发生数据异常的异常概率。

5.根据权利要求1-4中任一项所述的方法，其中，在利用预设数据模型计算第一数据发生数据异常的异常概率之前，所述方法还包括：检测是否已建立预设数据模型且所述预设数据模型是否失效；

若已建立预设数据模型且所述预设数据模型未失效，则利用预设数据模型计算第一数据发生数据异常的异常概率；

若未建立预设数据模型或所述预设数据模型已失效，则获取所述待监测指标的第二数据；

根据所述第二数据进行模型拟合处理，得到预设数据模型，利用预设数据模型计算第一数据发生数据异常的异常概率。

6.根据权利要求1-5中任一项所述的方法，其中，所述基于所述归因指标数据，利用预设归因算法进行归因分析计算进一步包括：

利用预设归因算法计算所述归因指标数据与所述第一数据的相关性；

根据所述相关性确定导致数据异常的归因分析结果。

7.根据权利要求1-6中任一项所述的方法，其中，所述预设归因算法包括：互信息检验、卡方检验、线性相关系数和/或格兰杰因果检验。

8.一种数据异常归因分析装置，包括：

第一获取模块，适于获取待监测指标的第一数据；

异常概率计算模块，适于利用预设数据模型计算所述第一数据发生数据异常的异常概率；

第二获取模块，适于若所述异常概率大于或等于预设阈值，则获取归因指标数据；

归因分析计算模块，适于基于所述归因指标数据，利用预设归因算法进行归因分析计算；

发送模块，适于将归因分析结果发送给所述处理端。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据异常归因分析方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据异常归因分析方法对应的操作。