CN111444247A - 一种基于kpi指标的根因定位方法、装置及存储介质 - Google Patents
一种基于kpi指标的根因定位方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111444247A CN111444247A CN202010551260.3A CN202010551260A CN111444247A CN 111444247 A CN111444247 A CN 111444247A CN 202010551260 A CN202010551260 A CN 202010551260A CN 111444247 A CN111444247 A CN 111444247A
- Authority
- CN
- China
- Prior art keywords
- root cause
- pruning
- kpi
- search
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000013138 pruning Methods 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000002547 anomalous effect Effects 0.000 claims abstract description 3
- 238000005520 cutting process Methods 0.000 claims description 8
- 244000141353 Prunus domestica Species 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 abstract description 5
- 238000004220 aggregation Methods 0.000 abstract description 5
- 230000005856 abnormality Effects 0.000 description 7
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000018910 keratinopathic ichthyosis Diseases 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Probability & Statistics with Applications (AREA)
- Accounting & Taxation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机技术领域,公开了一种基于KPI指标的根因定位方法、装置及存储介质,其中方法包括如下步骤:通过异常检测得到所有维度组合的异常贡献;将所述异常贡献聚类确定搜索的排序;结合初剪枝,信息熵搜索规则和后剪枝找出根因候选集;在根因候选集中进行相似性组合得到最终结果。由于异常贡献数可加和的特性,使得我们的算法可以在先聚合后搜索和边聚合边搜索之间灵活的适配,针对不同大小的数据集可以在时间和空间之间找到最佳的均衡。
Description
技术领域
本发明涉及计算机技术领域,更具体地说,涉及一种基于KPI指标的根因定位方法、装置及存储介质。
背景技术
KPI指标(交易量,交易成功率,网页访问量等)与多维属性(如源系统、交易类型、交易渠道等),是金融行业常见而重要的业务监测指标。当一个指标的总体值发生异常时,运维人员希望在一个巨大的多维搜索空间内快速准确地定位出根因的属性组合,这对于传统的运维来说是一个极大的挑战。虽然目前也有一些通过机器学习来定位的算法和系统,但是这些方法往往并不通用和可靠。因为它们都受到不实际的根因假设的影响、进行了过于暴力的剪枝;或者只处理基础类型的指标(交易量等),而不处理派生的测量值(成功率等);另外现有的方法大部分都需要手动微调参数,或者速度太慢。
目前针对业务指标多维分析的算法(系统)主要有Adtributor、IDcie、Hotspot、Squeeze等。大多方法主要为理论推导,离实际落地还有一定的距离。
HotSpot和Squeeze都假设预测值准确,再进行后续的搜索步骤,这在现实中是难以达到的,预测/异常检测的准确性会直接决定了后续根因分析的结果。
Adtributor则是只假设根因是一维,而这样的假设是不适合于当前复杂的微服务系统的。Adtributor对于结果仅仅是简单依据奥多姆剃刀原则保留最简洁的那一个。
IDice则针对的是一段时间序列的根因定位,事先并不清楚异常的时间点,和我们的场景不同。这样会带来额外的时间开销。同时IDice采用了极其暴力的剪枝策略去减小搜索空间,用GLR (Generalized Like-lihood Ratio)进行异常检测,例如直接去掉小于某个阈值的节点(支持度),这样的剪枝会影响上层节点的根因判断。本质上更像是在对时间序列进行多维洞察,而不是准确的根因定位。
Adtributor和Squeeze虽然可以对派生指标进行根因定位,但是并不能做到跨指标的根因排序。
在实际的应用场景中,维度变化、取值数量变化以及数据组成变化都会影响资源的使用,之前的算法都没有针对不同数量级的数据做针对性处理,在数据量过大的时候容易导致内存溢出等问题。
发明内容
本发明的目的是解决上述提出的问题,提供一种“异常检测+搜索+聚类”的自动检测方法,本发明提供的技术方案为一种基于KPI指标的根因定位方法,包括:通过异常检测得到所有维度组合的异常贡献;将所述异常贡献聚类确定搜索的排序;结合初剪枝,信息熵搜索规则和后剪枝找出根因候选集;在根因候选集中进行相似性组合得到最终结果。
优选的,所述异常检测包括部分异常检测和全局异常检测,其中所述部分异常检测仅对叶子节点进行异常贡献检测,上层结点的异常贡献通过下层节点的异常贡献加和得到;所述全局异常检测对所有维度组合的异常贡献进行检测。
优选的,所述聚类确定搜索排序的具体方式为:根据聚类中心的大小划定簇,将不同异常贡献的维度组合聚到不同的簇中,优先在最大聚类中心所在的簇中进行搜素。
优选的,所述初剪枝包括预剪枝和聚类剪枝。
优选的,所述预剪枝对异常贡献为0的维度组合进行剪除。
优选的,所述聚类剪枝根据簇的数目及每个簇内的根因上限进行簇的剪除。
优选的,所述信息熵搜索的规则为:
当一个维度组合是候选根因,其信息熵显著大于其同层的其他维度组合的信息熵,并且大于直接相连的上一层节点和所有子节点。当找到一个维度组合满足上述条件时,算法将不会将其所有子节点作为候选根因;
当一个维度组合是候选根因,其解释性和惊奇性高于其他维度组合。
优选的,所述后剪枝包括MCTS(Monte Carlo Tree Search,蒙特卡洛树搜索)剪枝和终剪枝。
优选的,所述MCTS剪枝方式为
为每一个节点定义N和Q两个参数,前者代表每一个节点vi被模拟访问的次数,后者代表每一个节点vi的模拟收益之和,用计算出的异常贡献来表示模拟收益;
选择模拟收益最大的节点继续按所述信息熵规则搜索找到候选根因;
计算每个即将访问的节点的UCT(UCB for Tree,上限信心界树搜索)值,下式中v代表所有节点:
选择UCT值作为下一步搜索的路径,剪除其他节点。
优选的,所述终剪枝方式为:
在搜索出一个候选根因之后,剪除其子节点;
当前节点取值为空则会继续向下搜索;
当前节点只有一个直接点,继续向下搜索,找到所有候选根因集。
优选的,所述相似性组合方式为:
可加和KPI指标使用JS(Jensen-Shannon)散度对不同的维度组合之间做分布相似性度量;
不可加和KPI使用Wasserstein距离衡量相似性;
将相似性的维度组合进行合并得到最终结果。
基于同样的发明构思,本发明另提供一种基于KPI指标的根因定位装置,包括:
异常检测模块,以获取所有维度组合的异常贡献;
聚类排序模块,将所述异常贡献按聚类中心的大小进行搜索的排序;
初剪枝模块、信息熵搜索规则定义模块和后剪枝模块,结合所述初剪枝模块、信息熵搜索规则定义模块和后剪枝模块找出根因候选集;
相似性组合模块,在所述根因候选集中进行相似性组合得到最终结果。
本发明另提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述任一项所述的基于KPI指标的多维异常检测方法。
本发明的有益效果是:
(1)本发明支持的维度在10维以上,典型分析的结果超过3维,是一套完全可实践、在生产上得到验证的方法。
(2)本发明是一种与指标含义无关的异常检测方法,可以在多个指标同时异常时给出统一的异常得分,例如,交易量、成功率、响应时间等。由于异常贡献可加和的特性,使得我们的算法可以在先聚合后搜索和边聚合边搜索之间灵活的适配,针对不同大小的数据集可以在时间和空间之间找到最佳的均衡。
(3)本发明充分考虑了派生测量值如成功率的影响,结果更精确,本发明对这类数据做了应对化的处理,可以准确找到外部根因并给出对应的提示。
(4)对于最终的结果,不仅按照分数大小进行排序,还会根据他们之间数据的相似性和结点关系做出智能的结果合并,以求给出更准确、精细的利于排障的信息。
附图说明
图1为本发明提供的根因定位方法流程图;
图2为本发明提供的根因定位方法聚类图;
图3为本发明提供的信息熵搜索规则中的解释性示意图;
图4为本发明提供的信息熵搜素规则中的惊奇性示意图;
图5为本发明提供的MCTS剪枝示意图;
图6为本发明提供的根因定位方法流程图;
图7为本发明提供的根因定位方法MCTS剪枝步骤流程图;
图8为本发明提供的根因定位方法终剪枝步骤流程图。
具体实施方式
下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明提供一种基于KPI的根因定位方法,如图6所示包括:
S1. 通过异常检测得到所有维度组合的异常贡献;异常检测包括部分异常检测和全局异常检测,部分异常检测仅对叶子节点进行异常贡献检测,上层结点的异常贡献通过下层节点的异常贡献加和得到;全局异常检测对所有维度组合的异常贡献进行检测。
S2. 将所述异常贡献聚类确定搜索的排序,聚类确定搜索排序的具体方式为:根据聚类中心的大小划定簇,将不同异常贡献的维度组合聚到不同的簇中,优先在最大聚类中心所在的簇中进行搜素。
S3. 结合初剪枝,信息熵搜索规则和后剪枝找出根因候选集;
初剪枝包括预剪枝和聚类剪枝;预剪枝对异常贡献为0的维度组合进行剪除。聚类剪枝根据簇的数目及每个簇内的根因上限进行簇的剪除;
一些可选实施例中,信息熵搜索的规则为:
当一个维度组合是候选根因,其信息熵显著大于其同层的其他维度组合的信息熵,并且大于直接相连的上一层节点和所有子节点。当找到一个维度组合满足上述条件时,算法将不会将其所有子节点作为候选根因;
当一个维度组合是候选根因,其解释性和惊奇性高于其他维度组合。
后剪枝包括MCTS剪枝和终剪枝,如图7所示,MCTS剪枝方式为:
S301. 为每一个节点定义N和Q两个参数,前者代表每一个节点被模拟访问的次数,后者代表每一个节点的模拟收益之和,用计算出的异常贡献来表示模拟收益;
S302. 选择模拟收益最大的节点继续按所述信息熵规则搜索找到候选根因;
S303. 计算每个即将访问的节点的UCT值,下式中v代表所有节点:
S304. 选择UCT值作为下一步搜索的路径,剪除其他节点。
如图8所示,终剪枝方式为:
S311. 在搜索出一个候选根因之后,剪除其子节点;
S312. 当前节点取值为空则会继续向下搜索;
S313. 当前节点只有一个直接点,继续向下搜索,找到所有候选根因集。
S4. 在根因候选集中进行相似性组合得到最终结果,相似性组合方式为:
可加和KPI指标使用JS散度对不同的维度组合之间做分布相似性度量;
不可加和KPI使用Wasserstein距离衡量相似性;
将相似性的维度组合进行合并得到最终结果。
基于同样的发明构思,本发明另提供一种基于KPI指标的根因定位装置,包括:
异常检测模块,以获取所有维度组合的异常贡献;
聚类排序模块,将所述异常贡献按聚类中心的大小进行搜索的排序;
初剪枝模块、信息熵搜索规则定义模块和后剪枝模块,结合所述初剪枝模块、信息熵搜索规则定义模块和后剪枝模块找出根因候选集;
相似性组合模块,在所述根因候选集中进行相似性组合得到最终结果。
本发明另提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述任一项所述的基于KPI指标的多维异常检测方法。
实施例1 本实施例提供一种基于KPI指标的根因定位方法
如图1所示,本实施例提出名为Volcano的根因定位方法,区别于现有的大部分算法和系统,采用“异常检测+搜索+聚合”的策略。
当金融系统发生了一个告警,先读取告警前后P+Q分钟的交易明细数据作为输入数据,这里的数据输入源可能是elasticsearch,也可以是kafka或者是指定格式的csv文件。然后会根据告警发生时刻的维度组合对其他时间的数据进行缺失值填充,接着对当前数据规模进行评估。
对于多指标的数据,随着维度及维度取值的增加,叶子结点的数据较少,极端情况下只会有0或者1,这种情况下做异常检测会极为不准确。因此采用需要采用基于“影响力”的自研算法。在不同的KPI间可环比参考。下面详细介绍全局异常检测算法:
首先根据单指标数据历史情况提取出以下特征,以下只列出部分公共特征,针对不同单指标的KPI公共特征,还会添加部分特征进来,例如趋势性、周期性、杂乱性等。
表1 KPI公共特征
利用滑动窗口,提取某一指标当前全部明细数据,即所有维度组合时间序列(P+Q)上每一个点的特征值,记为。对给定训练集X,随机抽取k个样本点构成X的子集Xk,每次随机从Xk中指定一个特征值q,并随机产生一个切割点p。此切割点p生成了一个超平面,将当前数据空间划分为两个子空间:指定维度小于p的样本点放入左子节点,大于或等于p的放入右子节点。直到所有叶子结点只有一个样本点或者到达指定层数后停止分裂,生成了t棵二叉树,记录为T1。
然后提取除当前维度组合Y之外的其他明细数据的特征集合X-Y,重复上述训练步骤,得到T2。对于需要进行异常检测的维度组合,将该维度组合的子节点的xi特征向量分别带入T1和T2,计算该子节点xi在T1和T2中的平均高度h1和h2 ,即树的度数,也可称为最短路径。所有子节点在T1和T2中的平均高度记为c1和c2,c1和c2通过每个子节点或叶子节点在T1和T2中的平均高度加权平均得到。
定义任一维度组合在指标a下的异常对指标a的全局影响或异常贡献分数Ia为:
当异常事故发生,往往多个关联指标异常时,最终得到每个维度组合的异常贡献分数为多个关联指标的影响的平均值。
如图2所示,将异常分数的PDF图进行聚类,确定后续搜索的顺序及根因的选择,不同异常贡献的维度组合会被聚到不同的簇中,每一条实线代表一个聚类中心,这里的聚类方法是先找到异常得分PDF图中的所有极大值和极小值。每一个极大值相邻的两个极小值决定的范围被聚为一个簇。
算法会先在聚类中心最大的簇中搜索根因,模拟信息熵的计算来定义候选根因。当一个维度组合是根因会有如下表现:其信息熵显著大于其同层的其他维度组合的信息商,并且大于其上一层节点和所有子节点。同时,这也是我们剪枝的一部分,当找到一个维度组合满足上述条件时,算法将不会将其所有子节点作为根因候选集。同时算法会综合考虑解释性和惊奇性,即该维度组合能否解释当前整体KPI的变化情况,以及这个变化是否“惊奇”,如图3所示,组合1的解释性高于组合2,因此组合1更有可能是根因,如图4所示,组合2的惊奇性高于组合1,因此组合2更有可能是根因。重复上述过程,找到所有的候选根因集。
Volcano的剪枝是以改良MCTS为主要框架,多种剪枝并行的剪枝策略。
预剪枝:由于Volcano内置的的异常检测算法计算的异常得分都是可向上加和的,所以如果一个结点异常得分等于0,则一定不是根因。利用这种方式对搜索树进行预剪枝,一般来说,可以减掉50%以上的结点。
聚类剪枝:在上述聚类算法中提到会根据结点的异常得分的PDF进行极大极小值巨聚类,在每个簇内部单独进行搜索。Volcano可以根据用户需求配置搜索的簇的数目以及每个簇内部的根因数目上限来达到剪枝的目的。
MCTS剪枝:利用采样的思想模拟搜索,然后反向传播更新每个结点的“收益”,选择“收益”最大的结点继续搜索,直到找到根因为止。如图5所示,深色的点代表已经被搜索过的点,浅色的点是下一步搜索的备选结点。
为每一个结点定义N和Q两个参数。前者代表该节点Vi被模拟访问的次数,后者代表该节点Vi的模拟收益之和,这里用计算出的异常检测得分来表示模拟收益。最后,计算每个备选结点的UCT值,选择UCT值作为下一步搜索的路径,其他的节点会被剪枝掉。
后剪枝:在搜索出一个候选根因之后,其子节点将被剪枝掉而不再被作为根因。为了应对实际情况,后剪枝还做了一些特殊优化,例如如果当前节点取值为空则会继续向下搜索、如果当前节点只有一个直接点(1对1),则继续向下搜索等。
在找到了所有的候选根因集之后,我们会对不同的维度组合之间做分布相似性度量,根据KPI指标的不同,可加和KPI(交易量,失败量,响应时间等)主要使用JS散度。不可加和KPI(成功率,响应率等)使用Wasserstein距离衡量相似性。目的是将相似的维度组合进行合并,精简结果。
在优选的实施例中,提供一种基于KPI指标的根因定位装置,包括:
异常检测模块,以获取所有维度组合的异常贡献;
聚类排序模块,将所述异常贡献按聚类中心的大小进行搜索的排序;
初剪枝模块、信息熵搜索规则定义模块和后剪枝模块,结合所述初剪枝模块、信息熵搜索规则定义模块和后剪枝模块找出根因候选集;
相似性组合模块,在所述根因候选集中进行相似性组合得到最终结果。
其中,
异常检测模块包括部分异常检测模块和全局异常检测模块,异常检测模块仅对叶子节点进行异常贡献检测,上层结点的异常贡献通过下层节点的异常贡献加和得到;全局异常检测模块对所有维度组合的异常贡献进行检测。
聚类排序模块包括簇子模块,根据聚类中心的大小划定簇,将不同异常贡献的维度组合聚到不同的簇中,优先在最大聚类中心所在的簇中进行搜素。
初剪枝模块包括预剪枝模块和聚类剪枝模块,预剪枝模块对异常贡献为0的维度组合进行剪除;聚类剪枝模块根据簇的数目及每个簇内的根因上限进行簇的剪除。
信息熵搜索规则定义模块的规则定义为:
当一个维度组合是候选根因,其信息熵显著大于其同层的其他维度组合的信息熵,并且大于直接相连的上一层节点和所有子节点。当找到一个维度组合满足上述条件时,算法将不会将其所有子节点作为候选根因;
当一个维度组合是候选根因,其解释性和惊奇性高于其他维度组合。
后剪枝模块包括MCTS剪枝模块和终剪枝模块,
MCTS剪枝模块为每一个节点定义N和Q两个参数,前者代表每一个节点被模拟访问的次数,后者代表每一个节点的模拟收益之和,用计算出的异常贡献来表示模拟收益;
选择模拟收益最大的节点继续按所述信息熵规则搜索找到候选根因;
计算每个即将访问的节点的UCT值:
选择UCT值作为下一步搜索的路径,剪除其他节点。
终剪枝模块在搜索出一个候选根因之后,剪除其子节点;
当前节点取值为空则会继续向下搜索;
当前节点只有一个直接点,继续向下搜索,找到所有候选根因集。
相似性组合模块将可加和KPI指标使用JS散度对不同的维度组合之间做分布相似性度量,不可加和KPI使用Wasserstein距离衡量相似性,将相似性的维度组合进行合并得到最终结果。
在更优选的实施例中,提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,计算机程序用于执行上述任一项异常检测方法。
通过对大量金融数据的分析,区别于现有的大部分算法和装置,采用“全局异常检测”的策略。由于金融行业大部分数据都是多指标同时异常的情况,因此本实施例是一种与指标含义无关的异常检测方法。在搜索方面,使用了一套可伸缩的搜索方案,在时间效率和空间效率上灵活切换,以适应不同规模大小的数据,并且引入MCTS来剪枝加快搜索。和之前的“自上而下”的搜索模式不同,Volcano在搜索之前会先进行“自下而上”的聚类,一方面可以更有效的进行根因的搜索,另一方面可以作为剪枝手段来减小搜索空间。最后Volcano还会对结果进行相似性检验,既能够在指标内部对结果进行合并,而且还可以解决多指标相互包含的问题。
以上所述的具体实施例,对本发明的目的,技术方案和有益效果进行了进一步详细说明,此外,应当理解,虽然本说明书按照实施方式加以描述,但上述实施例是示例性的,并不用于限定本发明的保护范围,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下对上述实施例进行的任何变化、修改、替换和变型,均应包含在本发明的保护范围之内。
Claims (13)
1.一种基于KPI指标的根因定位方法,包括:
通过异常检测得到所有维度组合的异常贡献;
将所述异常贡献聚类确定搜索的排序;
结合初剪枝,信息熵搜索规则和后剪枝找出根因候选集;
在根因候选集中进行相似性组合得到最终结果。
2.如权利要求1所述的一种基于KPI指标的根因定位方法,其特征在于:所述异常检测包括部分异常检测和全局异常检测,其中所述部分异常检测仅对叶子节点进行异常贡献检测,上层结点的异常贡献通过下层节点的异常贡献加和得到;所述全局异常检测对所有维度组合的异常贡献进行检测。
3.如权利要求1所述的一种基于KPI指标的根因定位方法,其特征在于:所述聚类确定搜索排序的具体方式为:根据聚类中心的大小划定簇,将不同异常贡献的维度组合聚到不同的簇中,优先在最大聚类中心所在的簇中进行搜素。
4.如权利要求1所述的一种基于KPI指标的根因定位方法,其特征在于:所述初剪枝包括预剪枝和聚类剪枝。
5.如权利要求4所述的一种基于KPI指标的根因定位方法,其特征在于:所述预剪枝对异常贡献为0的子节点进行剪除。
6.如权利要求4所述的一种基于KPI指标的根因定位方法,其特征在于:所述聚类剪枝根据簇的数目及每个簇内的根因上限进行簇的剪除。
7.如权利要求3-6任一所述的一种基于KPI指标的根因定位方法,其特征在于:所述信息熵搜索的规则为:
当一个维度组合是候选根因,其信息熵显著大于其同层的其他维度组合的信息熵,并且大于直接相连的上一层节点和所有子节点,当找到一个维度组合满足上述条件时,算法将不会将其所有子节点作为候选根因;
当一个维度组合是候选根因,其解释性和惊奇性高于其他维度组合。
8.如权利要求7所述的一种基于KPI指标的根因定位方法,其特征在于:所述后剪枝包括MCTS剪枝和终剪枝。
10.如权利要求8所述的一种基于KPI指标的根因定位方法,其特征在于:所述终剪枝方式为:
在搜索出一个候选根因之后,剪除其子节点;
当前节点取值为空则会继续向下搜索;
当前节点只有一个直接点,继续向下搜索,找到所有候选根因集。
11.如权利要求8-10任一所述的一种基于KPI指标的根因定位方法,其特征在于:所述相似性组合方式为:
可加和KPI指标使用JS散度对不同的维度组合之间做分布相似性度量;
不可加和KPI使用Wasserstein距离衡量相似性;
将相似性的维度组合进行合并得到最终结果。
12.一种基于KPI指标的根因定位装置,包括:
异常检测模块,以获取所有维度组合的异常贡献;
聚类排序模块,将所述异常贡献按聚类中心的大小进行搜索的排序;
初剪枝模块、信息熵搜索规则定义模块和后剪枝模块,结合所述初剪枝模块、信息熵搜索规则定义模块和后剪枝模块找出根因候选集;
相似性组合模块,在所述根因候选集中进行相似性组合得到最终结果。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1至11任一项所述的基于KPI指标的根因定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010551260.3A CN111444247B (zh) | 2020-06-17 | 2020-06-17 | 一种基于kpi指标的根因定位方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010551260.3A CN111444247B (zh) | 2020-06-17 | 2020-06-17 | 一种基于kpi指标的根因定位方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444247A true CN111444247A (zh) | 2020-07-24 |
CN111444247B CN111444247B (zh) | 2023-10-17 |
Family
ID=71655387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010551260.3A Active CN111444247B (zh) | 2020-06-17 | 2020-06-17 | 一种基于kpi指标的根因定位方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444247B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897673A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技(深圳)有限公司 | 运维故障根因识别方法、装置、计算机设备和存储介质 |
CN112702198A (zh) * | 2020-12-18 | 2021-04-23 | 北京达佳互联信息技术有限公司 | 异常根因定位方法、装置、电子设备及存储介质 |
CN112929363A (zh) * | 2021-02-04 | 2021-06-08 | 北京字跳网络技术有限公司 | 视频领域性能参数异常的根因分析方法及设备 |
CN113032238A (zh) * | 2021-05-25 | 2021-06-25 | 南昌惠联网络技术有限公司 | 基于应用知识图谱的实时根因分析方法 |
CN113128875A (zh) * | 2021-04-22 | 2021-07-16 | 阳光保险集团股份有限公司 | 一种面向多维数据集的指标异常的根因定位方法及装置 |
CN113157473A (zh) * | 2021-03-25 | 2021-07-23 | 清华大学 | 一种对多维日志的故障根因定位方法和装置 |
CN113179179A (zh) * | 2021-04-22 | 2021-07-27 | 南京大学 | 一种用于定位服务调用成功率指标异常线索的算法 |
CN113448761A (zh) * | 2021-06-17 | 2021-09-28 | 新浪网技术(中国)有限公司 | 一种根因定位方法及装置 |
CN113516518A (zh) * | 2021-07-28 | 2021-10-19 | 阳光保险集团股份有限公司 | 参数异常原因的确定方法、装置、电子设备及存储介质 |
CN113537685A (zh) * | 2020-10-10 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN113824583A (zh) * | 2021-02-22 | 2021-12-21 | 京东科技控股股份有限公司 | 根因元素的定位方法、装置、计算机设备及存储介质 |
WO2022160675A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京达佳互联信息技术有限公司 | 根因确定方法及装置 |
CN115277245A (zh) * | 2022-08-10 | 2022-11-01 | 清华大学 | 基于属性的多维异常根因定位方法、系统及存储介质 |
WO2022262869A1 (zh) * | 2021-06-18 | 2022-12-22 | 工业互联网创新中心(上海)有限公司 | 数据处理方法、装置、网络设备及存储介质 |
CN115756919A (zh) * | 2022-11-10 | 2023-03-07 | 上海鼎茂信息技术有限公司 | 一种面向多维数据的根因定位方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992479A (zh) * | 2019-03-31 | 2019-07-09 | 西安电子科技大学 | 一种多维度kpi数据异常定位方法、装置及计算机设备 |
CN111064614A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 一种故障根因定位方法、装置、设备及存储介质 |
-
2020
- 2020-06-17 CN CN202010551260.3A patent/CN111444247B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992479A (zh) * | 2019-03-31 | 2019-07-09 | 西安电子科技大学 | 一种多维度kpi数据异常定位方法、装置及计算机设备 |
CN111064614A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 一种故障根因定位方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
YONGQIAN SUN 等: "HotSpot: Anomaly Localization for Additive KPIs With Multi-Dimensional Attributes", 《IEEE ACCESS》 * |
ZEYAN LI 等: "Generic and Robust Localization of Multi-dimensional Root Causes", 《2019 IEEE 30TH INTERNATIONAL SYMPOSIUM ON SOFTWARE RELIABILITY ENGINEERING》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897673A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技(深圳)有限公司 | 运维故障根因识别方法、装置、计算机设备和存储介质 |
CN113537685A (zh) * | 2020-10-10 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和装置 |
CN112702198A (zh) * | 2020-12-18 | 2021-04-23 | 北京达佳互联信息技术有限公司 | 异常根因定位方法、装置、电子设备及存储介质 |
CN112702198B (zh) * | 2020-12-18 | 2023-03-14 | 北京达佳互联信息技术有限公司 | 异常根因定位方法、装置、电子设备及存储介质 |
WO2022160675A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京达佳互联信息技术有限公司 | 根因确定方法及装置 |
CN112929363A (zh) * | 2021-02-04 | 2021-06-08 | 北京字跳网络技术有限公司 | 视频领域性能参数异常的根因分析方法及设备 |
CN112929363B (zh) * | 2021-02-04 | 2022-05-17 | 北京字跳网络技术有限公司 | 视频领域性能参数异常的根因分析方法及设备 |
CN113824583A (zh) * | 2021-02-22 | 2021-12-21 | 京东科技控股股份有限公司 | 根因元素的定位方法、装置、计算机设备及存储介质 |
CN113157473A (zh) * | 2021-03-25 | 2021-07-23 | 清华大学 | 一种对多维日志的故障根因定位方法和装置 |
CN113179179B (zh) * | 2021-04-22 | 2023-01-06 | 南京大学 | 一种用于定位服务调用成功率指标异常线索的方法 |
CN113179179A (zh) * | 2021-04-22 | 2021-07-27 | 南京大学 | 一种用于定位服务调用成功率指标异常线索的算法 |
CN113128875A (zh) * | 2021-04-22 | 2021-07-16 | 阳光保险集团股份有限公司 | 一种面向多维数据集的指标异常的根因定位方法及装置 |
CN113128875B (zh) * | 2021-04-22 | 2024-02-27 | 阳光保险集团股份有限公司 | 一种面向多维数据集的指标异常的根因定位方法及装置 |
CN113032238A (zh) * | 2021-05-25 | 2021-06-25 | 南昌惠联网络技术有限公司 | 基于应用知识图谱的实时根因分析方法 |
CN113448761A (zh) * | 2021-06-17 | 2021-09-28 | 新浪网技术(中国)有限公司 | 一种根因定位方法及装置 |
CN113448761B (zh) * | 2021-06-17 | 2024-07-19 | 新浪技术(中国)有限公司 | 一种根因定位方法及装置 |
WO2022262869A1 (zh) * | 2021-06-18 | 2022-12-22 | 工业互联网创新中心(上海)有限公司 | 数据处理方法、装置、网络设备及存储介质 |
CN113516518A (zh) * | 2021-07-28 | 2021-10-19 | 阳光保险集团股份有限公司 | 参数异常原因的确定方法、装置、电子设备及存储介质 |
CN113516518B (zh) * | 2021-07-28 | 2024-04-05 | 阳光保险集团股份有限公司 | 参数异常原因的确定方法、装置、电子设备及存储介质 |
CN115277245A (zh) * | 2022-08-10 | 2022-11-01 | 清华大学 | 基于属性的多维异常根因定位方法、系统及存储介质 |
CN115756919A (zh) * | 2022-11-10 | 2023-03-07 | 上海鼎茂信息技术有限公司 | 一种面向多维数据的根因定位方法及系统 |
CN115756919B (zh) * | 2022-11-10 | 2023-10-31 | 上海鼎茂信息技术有限公司 | 一种面向多维数据的根因定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111444247B (zh) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444247A (zh) | 一种基于kpi指标的根因定位方法、装置及存储介质 | |
CN111506637B (zh) | 一种基于kpi指标的多维异常检测方法、装置及存储介质 | |
US10311368B2 (en) | Analytic system for graphical interpretability of and improvement of machine learning models | |
JP7090936B2 (ja) | Esg基盤の企業評価遂行装置及びその作動方法 | |
CN106021364B (zh) | 图片搜索相关性预测模型的建立、图片搜索方法和装置 | |
CN110069690B (zh) | 一种主题网络爬虫方法、装置及介质 | |
CN111581545A (zh) | 一种召回文档的排序方法及相关设备 | |
CN110909125B (zh) | 推文级社会媒体谣言检测方法 | |
US10748166B2 (en) | Method and system for mining churn factor causing user churn for network application | |
US11288266B2 (en) | Candidate projection enumeration based query response generation | |
Yin et al. | Classification of eye tracking data using a convolutional neural network | |
CN115563610B (zh) | 入侵检测模型的训练方法、识别方法和装置 | |
CN110647995A (zh) | 规则训练方法、装置、设备及存储介质 | |
CN116702132A (zh) | 网络入侵检测方法及系统 | |
CN111752995A (zh) | 一种学生数据挖掘系统及方法 | |
Gowtham Sethupathi et al. | Efficient rainfall prediction and analysis using machine learning techniques | |
CN107704872A (zh) | 一种基于相对最离散维分割的K‑means聚类初始中心选取方法 | |
Saravanan et al. | Prediction of insufficient accuracy for human activity recognition using convolutional neural network in compared with support vector machine | |
CN111863135B (zh) | 一种假阳性结构变异过滤方法、存储介质及计算设备 | |
CN103678709B (zh) | 一种基于时序数据的推荐系统攻击检测方法 | |
CN113743453A (zh) | 一种基于随机森林的人口数量预测方法 | |
CN112287036A (zh) | 一种基于谱聚类的离群点检测方法 | |
CN114996029B (zh) | 一种基于多主机负载数据分析的进程优化方法及系统 | |
CN110427964A (zh) | 一种基于互信息的多元时间序列变量选择方法 | |
CN110111192A (zh) | 多过滤器结合nsd指标的信贷客户特征选择方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |