CN109063886A - 一种异常检测方法、装置以及设备 - Google Patents

一种异常检测方法、装置以及设备 Download PDF

Info

Publication number
CN109063886A
CN109063886A CN201810602459.7A CN201810602459A CN109063886A CN 109063886 A CN109063886 A CN 109063886A CN 201810602459 A CN201810602459 A CN 201810602459A CN 109063886 A CN109063886 A CN 109063886A
Authority
CN
China
Prior art keywords
data
business datum
level
feature
datum feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810602459.7A
Other languages
English (en)
Other versions
CN109063886B (zh
Inventor
周扬
于君泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810602459.7A priority Critical patent/CN109063886B/zh
Publication of CN109063886A publication Critical patent/CN109063886A/zh
Application granted granted Critical
Publication of CN109063886B publication Critical patent/CN109063886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书实施例公开了一种异常检测方法、装置以及设备。方案包括：采集多个数据维度分别的业务数据特征；将业务数据特征输入多个子模型，得到子模型的输出数据，各子模型分别与至少一个所述数据维度具有对应关系；将业务数据特征和输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，业务数据特征、输出数据分别属于具有层级依赖关系的不同层级。

Description

一种异常检测方法、装置以及设备
技术领域
本说明书涉及计算机软件技术领域，尤其涉及一种异常检测方法、装置以及设备。
背景技术
在大数据时代，很多公司的业务复杂程度都更上一层楼，往往涉及了大量数据维度，由此也增加了业务异常的风险，那么针对业务进行异常检测，及时应对以保障用户体验成为需要尽力达成的目标。
在现有技术中，对于多个数据维度下的异常检测，往往将各数据维度分别建模，并配置各数据维度分别的使用条件，再将这些条件组合成一棵决策树，利用该决策树进行预测，以实现异常检测。
基于此，需要更为有效的异常检测方案。
发明内容
本说明书实施例提供一种异常检测方法、装置以及设备，用以解决如下技术问题：需要更为有效的异常检测方案。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种异常检测方法，包括：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
本说明书实施例提供的一种异常检测装置，包括：
特征采集模块，采集多个数据维度分别的业务数据特征；
子模型处理模块，将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
层级融合模型处理模块，将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
本说明书实施例提供的一种异常检测设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：基于层级融合模型，能够结合不同数据维度更具精度和广度地预测业务，并且能够自动构建各子模型的适用条件，同时也考虑了不同数据维度、不同子模型之间的相关性，从而有助于更有效地检测异常。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种异常检测方法的流程示意图；
图2为本说明书实施例提供的一种业务关键绩效指标曲线示意图；
图3为本说明书实施例提供的一种层级融合模型的原理示意图；
图4为本说明书实施例提供的一种实际应用场景下，上述异常检测方法的一种具体实施方案的示意图；
图5为本说明书实施例提供的对应于图1的一种异常检测装置的结构示意图。
具体实施方式
本说明书实施例提供一种异常检测方法、装置以及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
现有技术中的异常检测方案存在一些缺点，包括：子模型之间是割裂的，导致数据维度之间是割裂的，难以达到全局较优的融合；子模型适用条件的精确表达困难，规则需要大量人工介入，同时也难以利用数据之间的相关性辅助表达条件。
本说明书的方案能够基于自己提出的层级融合模型，解决上述问题。层级融合模型，以具有层级依赖关系的至少两个不同层级的数据为输入，经过数据融合和预测，以表示输入所反映的业务异常情况的预测结果为输出。利用基于层级融合模型，能够较好地融合各数据维度的相关数据(既可以包括属于不同层级的数据，也可以包括属于相同层级的数据)，自动构建各子模型的适用条件，有助于更有效地进行异常检测。层级融合模型的实现方式可以是多样的，其比如可以用线性回归模型、梯度提升决策树模型、随机森林模型等模型实现。
下面根据以上思路，对方案进行详细说明。
图1为本说明书实施例提供的一种异常检测方法的流程示意图，这里对执行主体并不做限定，可以有一个或者多个设备参与流程的执行。
图1中的流程可以包括以下步骤：
S102：采集多个数据维度分别的业务数据特征。
在本说明书实施例中，对于数据维度的划分方式，以及方案中具体采用哪些数据维度并不做限定，可以取决于方案的实际应用场景，一般地，可以选择更有助于判断业务异常情况的数据维度。对于支付业务场景，数据维度比如是渠道量、付款量、机构量等；对于社交即时通信业务场景，数据维度比如是聊天记录量、聊天群数量、在线用户量等。
在本说明书实施例中，业务数据特征可以从针对业务所记录的图表、消息、单据、日志等形式的业务数据提取得到。
S104：将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系。
在本说明书实施例中，不同的子模型比如可以分别对应于一个不同的数据维度。子模型以其对应的数据维度的业务数据特征为输入，进行局部的决策，输出局部判断结果。该局部判断结果的实际意义这里不做具体限定，比如可以是对其对应的数据维度的表现是否异常的判断，或者是对其对应的数据维度的降维重新表达等。
S106：将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
在本说明书实施例中，除了业务数据特征所属的层级，以及输出数据所属的层级以外，层级融合模型还可能对更多其他层级的数据(比如，子模型的中间结果数据、额外配置的误差修正数据等)进行融合。在这种情况下，执行步骤S106时，还可以将该其他层级的数据也输入预先训练过的层级融合模型。
具有层级依赖关系可以指一个层级的数据需要依赖于另一个层级的数据得到。需要说明的是，并不要求所有层级之间都有层级依赖关系，比如，上述的其他层级之间可能具有层级依赖关系，而上述的其他层级，与业务数据特征和输出数据分别所属的层级之间可能并不具有层级依赖关系，这种情况也是可以存在的。
通过对不同层级的数据的融合，有利于更全面地利用子模型，以及子模型之间可能存在的关联关系，进而有助于得到全局化的更为可靠的预测结果。
通过图1的方法，基于层级融合模型，能够结合不同数据维度更具精度和广度地预测业务，并且能够自动构建各子模型的适用条件，同时也考虑了不同数据维度、不同子模型之间的相关性，从而有助于更有效地检测异常。
基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
在本说明书实施例中，基于层级融合模型，能够预测业务异常情况，不仅如此，若预测结果表示业务异常，则可以进一步地根据层级融合模型的各输入数据(如步骤S106中的各业务数据特征和/或各输出数据等)分别对于预测结果的贡献度，定位业务异常的引发因素。贡献度比如根据层级融合模型的内部逻辑计算得到。
例如，假定层级融合模型属于线性回归模型，则线性回归模型训练过后，会为输入的各输入数据(分别反映了相应的特征)分别确定权重，表示当相应的特征出现时，引发业务异常的可能性。在这种情况下，业务数据特征、输出数据输入层级融合模型后可以分别作为线性回归的一个或者多个自变量。假定层级融合模型某次预测时表示为函数f(x)＝0.01*x1+0.5*x2-0.1*x3，其中，0.01、0.5、0.1均表示权重，假定f(x)＞0.5时表示业务异常并触发报警，x1＝1、x2＝1、x3＝0表示x1、x2出现但x3未出现，而此时计算得到f(x)＝0.01*1+0.5*1-0.1*0＝0.51会触发报警，定位时可以将0.01*1视为x1的贡献度，将0.5*1视为x2的贡献度，由于x2的贡献度较高，则比如定位为x2是业务异常最主要的引发因素。当然，该例中贡献度的计算方式是示例性的，并非对本申请的限定。
前面提到了业务数据特征的形式可以是多样的。其中，本说明书示例性提供了形式相对直观的业务数据特征，是基于业务关键绩效指标(Key Performance Indicator，KPI)曲线的，以此为例详细说明。
例如，对于步骤S102，所述采集多个数据维度分别的业务数据特征，具体可以包括：采集多个数据维度分别的业务关键绩效指标KPI曲线；按照指定的时间窗口，尝试计算所述业务KPI曲线在所述时间窗口中的以下至少一种特征：周期性、包含突增点、包含突降点、包含阴涨趋势、包含阴跌趋势、局部稳定；根据计算结果，生成特征向量，作为对应的数据维度的业务数据特征。需要说明的是，上面列出的业务KPI曲线在时间窗口中的特征也是示例性的，有利于获得较优的方案效果，但并非限定只能是罗列的那几种。
结合上例，参照图2，图2为本说明书实施例提供的一种业务关键绩效指标曲线示意图。在图2的坐标轴中，横轴比如是以分钟为单位的时间点，纵轴比如是相应时间点的业务量，在其中一段时间(假定属于一个指定的时间窗口内)内，可以看到曲线上存在一个尖刺一样的突起，该突起即可视为突增点，则该时间窗口具有“包含突增点”这个特征。在进一步生成的特征向量中，可以用向量中元素及其取值表示诸如此类特征在各时间窗口的存在情况。
在本说明书实施例中，图1的方法是基于预先训练过的层级融合模型，对于层级融合模型的训练过程，原理与其训练后使用过程也是类似的。比如，可以按照如下方式，训练层级融合模型：获取用于重现业务异常的故障用例，以进行故障注入；获取由于故障注入而相应产生的多个数据维度分别的业务数据特征、将所述业务数据特征输入多个子模型得到的所述子模型的输出数据，以及所述故障用例所标明的故障类型，作为训练数据；利用所述训练数据，对所述层级融合模型进行有监督训练。该例中是通过执行故障用例来获取训练数据的，当然，这并非唯一方案，比如，可以监控并保存实时业务数据，若出现业务异常，后续通过分析成功定位故障类型后，即得到训练数据。
根据前面的说明，为了便于理解，本说明书实施例还提供了一种层级融合模型的原理示意图，以及一种实际应用场景下，上述异常检测方法的一种具体实施方案的示意图，分别如图3、图4所示。
在图3中，最底层表示所选用的多个数据维度，优选地是与业务异常相关性较高的数据维度，黑色单元格表示该数据维度出现异常；子模型从中按需采集自己对应数据维度的业务数据特征，进行局部的决策，输出局部判断结果；最上层的层级融合模型结合业务数据特征和子模型的输出数据，根据训练过的线性回归的各自变量的权重来自动判断子模型生效的条件。
在图4中，从故障库中获取故障用例(带有标明的故障类型，视为真实结果，在训练时作为训练标签)并执行，以实现故障注入，故障注入可以每天按照一定逻辑处理；故障注入后，采集由此产生的业务数据，比如上下文、第三方程序的分析数据等；然后进行业务数据特征计算，并交付对应的子模型处理，得到输出数据，与相应的业务数据特征和故障类型汇总得到训练数据；数据回流至层级融合模型进行离线训练；层级融合模型可以以在线服务的方式提供预测服务，训练后的层级融合模型能够获得更为准确的预测结果。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置，如图5所示。
图5为本说明书实施例提供的对应于图1的一种异常检测装置的结构示意图，虚线方框表示可选的模块，所述装置包括：
特征采集模块501，采集多个数据维度分别的业务数据特征；
子模型处理模块502，将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
层级融合模型处理模块503，将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
可选地，所述装置还包括：
异常定位模块504，若所述预测结果表示业务异常，则根据所述层级融合模型的内部逻辑，分别计算各所述业务数据特征和/或各所述输出数据对于所述预测结果的贡献度并排序；
根据贡献度排序结果，定位业务异常的引发因素。
可选地，所述特征采集模块501采集多个数据维度分别的业务数据特征，具体包括：
所述特征采集模块501采集多个数据维度分别的业务关键绩效指标KPI曲线；
按照指定的时间窗口，尝试计算所述业务KPI曲线在所述时间窗口中的以下至少一种特征：周期性、包含突增点、包含突降点、包含阴涨趋势、包含阴跌趋势、局部稳定；
根据计算结果，生成特征向量，作为对应的数据维度的业务数据特征。
可选地，所述层级融合模型，以具有层级依赖关系的至少两个不同层级的数据为输入，经过数据融合和预测，以表示所述输入所反映的业务异常情况的预测结果为输出；
所述装置还包括：
训练模块505，按照以下方式训练所述层级融合模型：
获取用于重现业务异常的故障用例，以进行故障注入；
获取由于故障注入而相应产生的多个数据维度分别的业务数据特征、将所述业务数据特征输入多个子模型得到的所述子模型的输出数据，以及所述故障用例所标明的故障类型，作为训练数据；
利用所述训练数据，对所述层级融合模型进行有监督训练。
可选地，所述层级融合模型属于以下其中一种模型：线性回归模型、梯度提升决策树模型、随机森林模型。
可选地，若所述层级融合模型属于线性回归模型，则所述业务数据特征、所述输出数据输入所述层级融合模型后分别作为线性回归的一个或者多个自变量。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
本说明书实施例提供的对应于图1的一种异常检测设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
本说明书实施例提供的对应于图1的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种异常检测方法，包括：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
2.如权利要求1所述的方法，若所述预测结果表示业务异常，所述方法还包括：
根据所述层级融合模型的内部逻辑，分别计算各所述业务数据特征和/或各所述输出数据对于所述预测结果的贡献度并排序；
根据贡献度排序结果，定位业务异常的引发因素。
3.如权利要求1所述的方法，所述采集多个数据维度分别的业务数据特征，具体包括：
采集多个数据维度分别的业务关键绩效指标KPI曲线；
按照指定的时间窗口，尝试计算所述业务KPI曲线在所述时间窗口中的以下至少一种特征：周期性、包含突增点、包含突降点、包含阴涨趋势、包含阴跌趋势、局部稳定；
根据计算结果，生成特征向量，作为对应的数据维度的业务数据特征。
4.如权利要求1所述的方法，所述层级融合模型，以具有层级依赖关系的至少两个不同层级的数据为输入，经过数据融合和预测，以表示所述输入所反映的业务异常情况的预测结果为输出；
训练所述层级融合模型，具体包括：
获取用于重现业务异常的故障用例，以进行故障注入；
获取由于故障注入而相应产生的多个数据维度分别的业务数据特征、将所述业务数据特征输入多个子模型得到的所述子模型的输出数据，以及所述故障用例所标明的故障类型，作为训练数据；
利用所述训练数据，对所述层级融合模型进行有监督训练。
5.如权利要求1～4任一项所述的方法，所述层级融合模型属于以下其中一种模型：线性回归模型、梯度提升决策树模型、随机森林模型。
6.如权利要求5所述的方法，若所述层级融合模型属于线性回归模型，则所述业务数据特征、所述输出数据输入所述层级融合模型后分别作为线性回归的一个或者多个自变量。
7.一种异常检测装置，包括：
特征采集模块，采集多个数据维度分别的业务数据特征；
子模型处理模块，将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
层级融合模型处理模块，将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
8.如权利要求7所述的装置，所述装置还包括：
异常定位模块，若所述预测结果表示业务异常，则根据所述层级融合模型的内部逻辑，分别计算各所述业务数据特征和/或各所述输出数据对于所述预测结果的贡献度并排序；
根据贡献度排序结果，定位业务异常的引发因素。
9.如权利要求7所述的装置，所述特征采集模块采集多个数据维度分别的业务数据特征，具体包括：
所述特征采集模块采集多个数据维度分别的业务关键绩效指标KPI曲线；
按照指定的时间窗口，尝试计算所述业务KPI曲线在所述时间窗口中的以下至少一种特征：周期性、包含突增点、包含突降点、包含阴涨趋势、包含阴跌趋势、局部稳定；
根据计算结果，生成特征向量，作为对应的数据维度的业务数据特征。
10.如权利要求7所述的装置，所述层级融合模型，以具有层级依赖关系的至少两个不同层级的数据为输入，经过数据融合和预测，以表示所述输入所反映的业务异常情况的预测结果为输出；
所述装置还包括：
训练模块，按照以下方式训练所述层级融合模型：
获取用于重现业务异常的故障用例，以进行故障注入；
获取由于故障注入而相应产生的多个数据维度分别的业务数据特征、将所述业务数据特征输入多个子模型得到的所述子模型的输出数据，以及所述故障用例所标明的故障类型，作为训练数据；
利用所述训练数据，对所述层级融合模型进行有监督训练。
11.如权利要求7～10任一项所述的装置，所述层级融合模型属于以下其中一种模型：线性回归模型、梯度提升决策树模型、随机森林模型。
12.如权利要求11所述的装置，若所述层级融合模型属于线性回归模型，则所述业务数据特征、所述输出数据输入所述层级融合模型后分别作为线性回归的一个或者多个自变量。
13.一种异常检测设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
采集多个数据维度分别的业务数据特征；
将所述业务数据特征输入多个子模型，得到所述子模型的输出数据，各所述子模型分别与至少一个所述数据维度具有对应关系；
将所述业务数据特征和所述输出数据输入预先训练过的层级融合模型，进行数据融合和预测，输出表示业务异常情况的预测结果，所述业务数据特征、所述输出数据分别属于具有层级依赖关系的不同层级。
CN201810602459.7A 2018-06-12 2018-06-12 一种异常检测方法、装置以及设备 Active CN109063886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810602459.7A CN109063886B (zh) 2018-06-12 2018-06-12 一种异常检测方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810602459.7A CN109063886B (zh) 2018-06-12 2018-06-12 一种异常检测方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN109063886A true CN109063886A (zh) 2018-12-21
CN109063886B CN109063886B (zh) 2022-05-31

Family

ID=64820666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810602459.7A Active CN109063886B (zh) 2018-06-12 2018-06-12 一种异常检测方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN109063886B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948669A (zh) * 2019-03-04 2019-06-28 腾讯科技（深圳）有限公司 一种异常数据检测方法及装置
CN110163471A (zh) * 2019-04-10 2019-08-23 阿里巴巴集团控股有限公司 一种异常识别方法和装置
CN110188793A (zh) * 2019-04-18 2019-08-30 阿里巴巴集团控股有限公司 数据异常分析方法及装置
CN110635952A (zh) * 2019-10-14 2019-12-31 中兴通讯股份有限公司 通信系统的故障根因分析方法、系统和计算机存储介质
CN110826799A (zh) * 2019-11-05 2020-02-21 广州虎牙科技有限公司 业务预测方法、装置、服务器及可读存储介质
CN111401766A (zh) * 2020-03-24 2020-07-10 支付宝(杭州)信息技术有限公司 模型、业务处理方法、装置及设备
CN111666316A (zh) * 2020-06-19 2020-09-15 南京大学 一种隔离分布核构建方法、异常数据检测方法及装置
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN111768366A (zh) * 2020-05-20 2020-10-13 深圳迈瑞生物医疗电子股份有限公司 超声成像系统、bi-rads分级方法及模型训练方法
CN111950641A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 一种业务处理方法、模型训练方法、装置及设备
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112182509A (zh) * 2020-09-16 2021-01-05 支付宝(杭州)信息技术有限公司 一种合规数据的异常检测方法、装置及设备
CN113010389A (zh) * 2019-12-20 2021-06-22 阿里巴巴集团控股有限公司 一种训练方法、故障预测方法、相关装置及设备
CN113076350A (zh) * 2021-03-02 2021-07-06 无锡先导智能装备股份有限公司 焊接异常检测方法、装置、计算机设备和存储介质
CN113157741A (zh) * 2021-04-26 2021-07-23 上海淇馥信息技术有限公司 基于维度转换的业务状态可视化方法、装置和电子设备
CN113179172A (zh) * 2020-01-24 2021-07-27 华为技术有限公司 故障检测模型的训练方法、装置及系统
CN113329221A (zh) * 2020-02-28 2021-08-31 中国移动通信集团福建有限公司 视频问题定界方法、装置及电子设备
CN115510927A (zh) * 2021-06-03 2022-12-23 中国移动通信集团四川有限公司 故障检测方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166142A1 (en) * 2009-09-07 2012-06-28 Hitachi, Ltd. Anomaly Detection and Diagnosis/Prognosis Method, Anomaly Detection and Diagnosis/Prognosis System, and Anomaly Detection and Diagnosis/Prognosis Program
US20120185728A1 (en) * 2010-12-24 2012-07-19 Commonwealth Scientific And Industrial Research Organisation System and method for detecting and/or diagnosing faults in multi-variable systems
US20130132311A1 (en) * 2011-11-18 2013-05-23 Honeywell International Inc. Score fusion and training data recycling for video classification
CN103616187A (zh) * 2013-10-15 2014-03-05 北京化工大学 一种基于多维度信息融合的故障诊断方法
CN106841846A (zh) * 2016-12-19 2017-06-13 广东电网有限责任公司电力调度控制中心 一种变压器状态分析与故障诊断方法及系统
CN107835113A (zh) * 2017-07-05 2018-03-23 中山大学 一种基于网络映射的社交网络中异常用户检测方法
CN107957989A (zh) * 2017-10-23 2018-04-24 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
CN108052979A (zh) * 2017-12-15 2018-05-18 阿里巴巴集团控股有限公司 对模型预测值进行融合的方法、装置和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166142A1 (en) * 2009-09-07 2012-06-28 Hitachi, Ltd. Anomaly Detection and Diagnosis/Prognosis Method, Anomaly Detection and Diagnosis/Prognosis System, and Anomaly Detection and Diagnosis/Prognosis Program
US20120185728A1 (en) * 2010-12-24 2012-07-19 Commonwealth Scientific And Industrial Research Organisation System and method for detecting and/or diagnosing faults in multi-variable systems
US20130132311A1 (en) * 2011-11-18 2013-05-23 Honeywell International Inc. Score fusion and training data recycling for video classification
CN103616187A (zh) * 2013-10-15 2014-03-05 北京化工大学 一种基于多维度信息融合的故障诊断方法
CN106841846A (zh) * 2016-12-19 2017-06-13 广东电网有限责任公司电力调度控制中心 一种变压器状态分析与故障诊断方法及系统
CN107835113A (zh) * 2017-07-05 2018-03-23 中山大学 一种基于网络映射的社交网络中异常用户检测方法
CN107957989A (zh) * 2017-10-23 2018-04-24 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
CN108052979A (zh) * 2017-12-15 2018-05-18 阿里巴巴集团控股有限公司 对模型预测值进行融合的方法、装置和设备

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948669B (zh) * 2019-03-04 2021-07-13 腾讯科技（深圳）有限公司 一种异常数据检测方法及装置
CN109948669A (zh) * 2019-03-04 2019-06-28 腾讯科技（深圳）有限公司 一种异常数据检测方法及装置
CN110163471A (zh) * 2019-04-10 2019-08-23 阿里巴巴集团控股有限公司 一种异常识别方法和装置
CN110163471B (zh) * 2019-04-10 2023-08-18 创新先进技术有限公司 一种异常识别方法和装置
CN110188793B (zh) * 2019-04-18 2024-02-09 创新先进技术有限公司 数据异常分析方法及装置
CN110188793A (zh) * 2019-04-18 2019-08-30 阿里巴巴集团控股有限公司 数据异常分析方法及装置
CN110635952A (zh) * 2019-10-14 2019-12-31 中兴通讯股份有限公司 通信系统的故障根因分析方法、系统和计算机存储介质
WO2021073343A1 (zh) * 2019-10-14 2021-04-22 中兴通讯股份有限公司 通信系统的故障根因分析方法、装置、系统和计算机存储介质
CN110635952B (zh) * 2019-10-14 2021-03-16 中兴通讯股份有限公司 通信系统的故障根因分析方法、系统和计算机存储介质
CN110826799A (zh) * 2019-11-05 2020-02-21 广州虎牙科技有限公司 业务预测方法、装置、服务器及可读存储介质
CN113010389B (zh) * 2019-12-20 2024-03-01 阿里巴巴集团控股有限公司 一种训练方法、故障预测方法、相关装置及设备
CN113010389A (zh) * 2019-12-20 2021-06-22 阿里巴巴集团控股有限公司 一种训练方法、故障预测方法、相关装置及设备
CN113179172A (zh) * 2020-01-24 2021-07-27 华为技术有限公司 故障检测模型的训练方法、装置及系统
CN113329221B (zh) * 2020-02-28 2023-08-15 中国移动通信集团福建有限公司 视频问题定界方法、装置及电子设备
CN113329221A (zh) * 2020-02-28 2021-08-31 中国移动通信集团福建有限公司 视频问题定界方法、装置及电子设备
CN111401766A (zh) * 2020-03-24 2020-07-10 支付宝(杭州)信息技术有限公司 模型、业务处理方法、装置及设备
CN111768366A (zh) * 2020-05-20 2020-10-13 深圳迈瑞生物医疗电子股份有限公司 超声成像系统、bi-rads分级方法及模型训练方法
CN111666316B (zh) * 2020-06-19 2023-09-15 南京大学 一种隔离分布核构建方法、异常数据检测方法及装置
CN111666316A (zh) * 2020-06-19 2020-09-15 南京大学 一种隔离分布核构建方法、异常数据检测方法及装置
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN111950641A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 一种业务处理方法、模型训练方法、装置及设备
CN112182509A (zh) * 2020-09-16 2021-01-05 支付宝(杭州)信息技术有限公司 一种合规数据的异常检测方法、装置及设备
CN112187555B (zh) * 2020-12-01 2021-03-19 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN112187555A (zh) * 2020-12-01 2021-01-05 北京蒙帕信创科技有限公司 一种基于机器学习的实时kpi数据异常检测方法及装置
CN113076350A (zh) * 2021-03-02 2021-07-06 无锡先导智能装备股份有限公司 焊接异常检测方法、装置、计算机设备和存储介质
CN113076350B (zh) * 2021-03-02 2024-05-07 无锡先导智能装备股份有限公司 焊接异常检测方法、装置、计算机设备和存储介质
CN113157741A (zh) * 2021-04-26 2021-07-23 上海淇馥信息技术有限公司 基于维度转换的业务状态可视化方法、装置和电子设备
CN113157741B (zh) * 2021-04-26 2023-04-07 上海淇馥信息技术有限公司 基于维度转换的业务状态可视化方法、装置和电子设备
CN115510927A (zh) * 2021-06-03 2022-12-23 中国移动通信集团四川有限公司 故障检测方法、装置及设备
CN115510927B (zh) * 2021-06-03 2024-04-12 中国移动通信集团四川有限公司 故障检测方法、装置及设备

Also Published As

Publication number Publication date
CN109063886B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109063886A (zh) 一种异常检测方法、装置以及设备
WO2019192261A1 (zh) 一种支付方式推荐方法、装置及设备
CN107526667A (zh) 一种指标异常检测方法、装置以及电子设备
CN106528067B (zh) 一种生成报表的方法及装置
CN110032698A (zh) 信息显示方法和装置、信息处理方法和装置
CN110245279A (zh) 依赖树生成方法、装置、设备及存储介质
CN110119860A (zh) 一种垃圾账号检测方法、装置以及设备
CN107957989A (zh) 基于集群的词向量处理方法、装置以及设备
CN110008080A (zh) 基于时间序列的业务指标异常检测方法、装置和电子设备
CN109711440A (zh) 一种数据异常检测方法和装置
CN110245047A (zh) 时间序列异常检测方法、装置及设备
CN108984658A (zh) 一种智能问答数据处理方法及装置
JP2020501232A (ja) リスク制御イベント自動処理の方法および装置
CN109242519A (zh) 一种异常行为识别方法、装置和设备
CN110390198A (zh) 一种对小程序的风险巡检方法、装置及电子设备
CN109388801A (zh) 相似词集合的确定方法、装置和电子设备
CN108346107A (zh) 一种社交内容风险识别方法、装置以及设备
CN109254986A (zh) 一种异常数据的确定方法及装置
CN110046633A (zh) 一种数据质量检测方法及装置
CN110532295A (zh) 一种计算机实施的信息处理、信息查询的方法及装置
CN110502614A (zh) 文本拦截方法、装置、系统以及设备
CN109492401A (zh) 一种内容载体风险检测方法、装置、设备及介质
CN110134860A (zh) 用户画像生成方法、装置和设备
CN109919357A (zh) 一种数据确定方法、装置、设备及介质
CN109583473A (zh) 一种特征数据的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200930

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200930

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant