CN112256748B - 一种异常检测方法、装置、电子设备及存储介质 - Google Patents
一种异常检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112256748B CN112256748B CN202011027825.4A CN202011027825A CN112256748B CN 112256748 B CN112256748 B CN 112256748B CN 202011027825 A CN202011027825 A CN 202011027825A CN 112256748 B CN112256748 B CN 112256748B
- Authority
- CN
- China
- Prior art keywords
- index
- monitoring
- root cause
- data
- cause analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种异常检测方法、装置、电子设备及存储介质。所述方法,包括:针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,监控指标维度在每个指标属性值时的数据量的真实值;针对任一监控周期,根据监控周期之前预设时间段内的数据量的真实值,获取监控周期内数据量的预测值和警报阈值范围,警报阈值范围包括监控周期内的全部数据量的警报阈值范围;响应于监控周期内全部数据量的真实值超出警报阈值范围,根据监控周期内每个监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取监控周期的多维度根因分析结果。从而准确定位数据异常的指标维度组合,以实现异常数据的精准打击。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种异常检测方法、装置、电子设备及存储介质。
背景技术
在风控场景下,其体系流程主要有风险感知、问题分析、风险识别三个阶段。第一阶段为风险感知即发现风险问题,第二阶段为问题分析即对发现的问题进行归纳分析总结类型,第三阶段为风险识别即构建风险识别模型,进行线上拦截。其中,风险感知作为风控体系的前置阶段有着重要的作用。当前风险感知的方式主要通过日常巡检抽样发现问题,该方式的时效低且覆盖率有限,并且考虑到黑产行为具有对抗性强、形变速度快等的特性,所以需要一种高时效、高覆盖率的自动发现风险的能力。
相关技术中,一般通过基于ARIMA(Autoregressive Integrated Moving AverageModel,自回归移动平均模型)时序预测进行异常检测,也即风险感知。
但是,上述方案适用于粗粒度(例如天粒度)的流量预估,对于细粒度(例如小时粒度)的短期流量的预测效果欠佳,而且无法自适应确认波动上下阈值,也无法拟合节假日特殊流量的波动,此外也没有对异常波动指标进行根因分析。由此可见,相关技术中的异常检测过程的时效性、覆盖率较差。
发明内容
本发明实施例提供一种异常检测方法、装置、电子设备及存储介质,以解决现有的异常检测过程的时效性、覆盖率较差的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种异常检测方法,包括:
针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值;
针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围;
响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果;
其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
可选地,所述根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围的步骤,包括:
根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
可选地,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
可选地,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述方法还包括:
针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;
其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
可选地,所述方法还包括:
根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
可选地,所述根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种的步骤,包括:
获取所述根因分析结果对应的数据明细;
根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
可选地,所述多维度根因分析算法包括HotSpot根因分析算法。
第二方面,本发明实施例提供了一种异常检测装置,包括:
监控指标模块,用于针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值;
时序预测模块,用于针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围;
多维度根因分析模块,用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果;
其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
可选地,所述时序预测模块,具体用于:
根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
可选地,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
可选地,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述装置还包括:
单维度根因分析模块,用于针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;
其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
可选地,所述装置还包括:
监控指标调整模块,用于根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
可选地,所述监控指标调整模块,包括:
数据明细获取子模块,用于获取所述根因分析结果对应的数据明细;
监控指标调整子模块,用于根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
可选地,所述多维度根因分析算法包括HotSpot根因分析算法。
第三方面,本发明实施例另外提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的异常检测方法的步骤。
第四方面,本发明实施例另外提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的异常检测方法的步骤。
在本发明实施例中,针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,监控指标维度在每个指标属性值时的数据量的真实值;针对任一监控周期,根据监控周期之前预设时间段内的数据量的真实值,获取监控周期内数据量的预测值和警报阈值范围,警报阈值范围包括监控周期内的全部数据量的警报阈值范围;响应于监控周期内全部数据量的真实值超出警报阈值范围,根据监控周期内每个监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取监控周期的多维度根因分析结果。从而准确定位数据异常的指标维度组合,以实现异常数据的精准打击。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种异常检测方法的步骤流程图;
图2是本发明实施例中的另一种异常检测方法的步骤流程图;
图3是本发明实施例中的一种用于异常检测的HotSpot架构示意图;
图4是本发明实施例中的一种数据异常检测的架构示意图;
图5是本发明实施例中的一种异常检测装置的结构示意图;
图6是本发明实施例中的另一种异常检测装置的结构示意图;
图7是本发明实施例中的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明实施例中一种异常检测方法的步骤流程图。
步骤110,针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值。
步骤120,针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围。
步骤130,响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果。其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
如上述,在风控场景下,考虑到黑产行为具有对抗性强、形变速度快等的特性,所以需要一种高时效、高覆盖率的自动发现风险的能力。
例如,在微聊场景等社交平台而言,黑产行为对抗性强、形变速度快,已有的线上策略无法拦截形变的黑产,并且发现其行为部分存在着集中爆发的现象,比如短时间内B端骚扰C端进行灌水。
其中,黑产行为可以理解为制造网络黑产的行为,网络黑产,指以互联网为媒介,以网络技术为主要手段,为计算机信息系统安全和网络空间管理秩序,甚至国家安全、社会政治稳定带来潜在威胁(重大安全隐患)的非法行为,主要有“黑客攻击”、“盗取账号”、“钓鱼网站”等。B端指的是企业用户商家(Business),顾名思义就是面向商家、企业级、业务部门提供的服务产品,是间接服务于用户的。C端指的是消费者个人用户(Consumer)。顾名思义就是面向个人用户提供服务的产品,是直接服务于用户的。灌水可以理解为向论坛中发大量无意义的帖子的意思,为一种黑产行为。
所以需要一种基于波动检测的漏出风险的发现能力,以提供产品运营侧有效线索来进行形变黑产的快速打击。因此在本发明实施例中,通过序列预测,结合多维度根因分析进行数据的异常检测,以快速、近实时定位形变黑产并且给出根因,提供运营侧关键线索,给予精准打击处理。
而且一般而言,在进行异常检测时,可以根据需求预先设置监控指标体系,其中可以包含一个或多个监控指标维度。例如,可以设置多个不同城市、端口IP号、用户身份、终端类型、年龄段等作为不同的监控指标维度。而且对于不同的指标监控维度还可以设置不同的指标属性值,例如,对于城市而言,可以设置指标属性值包括北京、上海、广州、深圳等城市名,对于用户身份而言,可以设置指标属性值包括vip用户、非vip用户,等等。那么在基于监控指标维度对数据进行划分时,可以获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值。当然,在本发明实施例中,也可以根据待检测数据自身对应的指标属性值,划分待检测数据。例如,可以根据各个待检测数据的生成位置所属的全部城市名,作为城市监控指标维度下的指标属性值。
例如,对于对于城市而言,可以分别获取每个时间单位内,根据每个待检测数据的生成位置所属的城市名,对待检测数据进行聚合归类,得到待检测数据中在北京、上海、广州、深圳等每个城市下的数据量的真实值;相应地,对于用户身份而言,可以分别获取每个时间单位内,vip用户产生的数据量的真实值、非vip用户产生的数据量的真实值,等等。
其中的数据量可以理解为数据的数量。时间单位的时间长度可以根据需求进行自定义设置,对此本发明实施例不加以限定。例如,对于上述的微聊场景,各个监控指标维度下的数据量的统计口径为微聊消息的数量。监控指标维度可以有城市、IP端口、用户类型(例如是否为vip(very important person,重要人物)、用户性别等)等。可以设置时间单位为1分钟,监控指标维度为城市,且指标属性值为北京时,其对应的数据量的真实值可以包括每1分钟内北京的用户消息量为100w(万),等等。
而且,在本发明实施例中,可以通过任何可用方式获取各个监控指标维度在每个指标属性值时的数据量的真实值,对此本发明实施例不加以限定。例如,针对每个监控指标维度,可以根据该监控指标维度下的指标属性值,按照各个数据所属的指标属性值,对每个时间单位内的数据进行划分,进而可以统计每个时间单位内的数据在每个监控指标维度下的每个指标属性值时的数据量,等等。
而且,为了针对数据进行异常检测,针对任一监控周期,可以回溯其之前的历史时间段内的数据量的真实值,预测该监控周期内的数据量,并且可以给出报警上下阈值,也即警报阈值范围。也即,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围。其中,为了方便后续进行根因分析时定位异常数据所在的监控指标维度,可以设置预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围则可以包括针对所述监控周期内的全部数据量的警报阈值范围。
而且,为了获取每个所述监控指标维度在每个指标属性值时的数据量的预测值,可以针对每个监控指标维度下的每个指标属性值,根据监控周期之前预设时间段内该监控指标维度在该指标属性值时的数据量的真实值,预测该监控周期内的该监控指标维度在该指标属性值时的数据量的预测值、警报阈值范围等,为了获取监控周期内的全部数据量的警报阈值范围,则可以根据该监控周期之前预设时间段内的全部数据量的真实值,预测得到相应监控周期内的全部数据量的警报阈值范围。
其中,监控周期和预设时间段的时间长度均可以根据需求进行自定义设置,对此本发明实施例不加以限定。例如,可以设置监控周期为上述的时间单位,或者可以为时间单位的整数倍,等等。例如,可以设置监控周期为5分钟,预设时间段为相应监控周期的前一周,等等。
而且,在本发明实施例中,可以通过任何可用方式根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,对此本发明实施例不加以限定。例如,可以通过时序预测,也即基于[T-t,…,T-1]时刻的历史时间序列数据预测T时刻,也即当前的监控周期的数据量的预测值,得到每个监控周期内数据量的预测值和警报阈值范围,等等。
如果该监控周期内全部数据量的真实值超出其警报阈值范围,为了准确定位产生异常的指标维度,则可以根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的数据异常的多维度根因分析结果,所述多维度根因分析结果包括至少一个指标维度组合,每个所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
比如一个指标维度组合可以由北京、联通这两个指标属性值的组合造成了总流量的波动异常。且其中“北京”为监控指标维度“城市”下的指标属性值,“联通”为监控指标维度“通讯服务商”下的指标属性值。
其中,多维度根因分析算法包括任意一种多维度根因分析算法,例如蒙特卡洛树搜索(MCTS)定位多维指标异常、AIOps(Artificial Intelligence for IT Operations,智能化运维)多维指标突变定位、利用聚类算法(比如Affinity Propagation)定位多维指标异常,等等。
参照图2,在本发明实施例中,所述步骤120进一步可以包括:
步骤121,根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
相比于ARIMA时序预测,时间序列模型Prophet不仅能自适应产出预测值和报警上下阈值,也即警报阈值范围,而且时间序列模型Prophet还可以充分考虑节假日等特殊日期内数据的合理变化情况,极大提升时序预测的准确率。
用Prophet做出的预测,能够以对普通人更加直观的方式进行定制。Prophet有针对周期性的平滑参数(smoothing parameters for seasonality),允许开发者调整与历史周期的匹配程度。它还有针对趋势的平滑参数,能够调整对历史趋势变化的紧跟程度。对于增长曲线(growth curves),能根据需求自定义设置上限,即capacities,把关于“该预测如何增长(或下降)”的先验信息注入进去。最后,还能设置不规则日期,来对超级碗、感恩节、黑色星期五之类的特殊日子进行建模。
在它的核心,Prophet是一个可加回归模型(additive regression model),它有四个组成部分:一个分段的线性或逻辑增长曲线趋势。Prophet通过提取数据中的转变点,自动检测趋势变化。一个按年的周期组件,可以使用傅里叶级数(Fourier series)建模而成。一个按周的周期组件,可以使用虚拟变量(dummy variables)。用户根据需求自定义设置的重要节日表,其中可以包括节假日信息。
另外,在本发明实施例中,也可以根据具体的应用场景设置根据需求设置Prophet中包含的周期组件,对此本发明实施例不加以限定。例如,如果为了预估小时粒度的短期数据量,可以设置Prophet中包含一个按小时的周期组件,而如果预估分钟粒度的短期数据量,可以设置Prophet中包含一个按分钟的周期组件,等等。
可选地,在本发明实施例中,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
如上述,在本发明实施例中,为了提高充分考虑节假日等特殊日期内数据的合理变化情况,极大提升时序预测的准确率。在进行数据预测时,还可以设置时间序列模型Prophet的输入参数在包括监控周期之前预设时间段内的数据量的真实值之外,还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。其中的节假日类型可以根据需求进行自定义设置,对此本发明实施例不加以限定。例如,可以设置节假日类型包括周末、清明节、劳动节、国庆节、周年庆、黑色星期五,等等。而且,在本发明实施例中,可以通过任何可用方式获取每个监控周期的日期属性,对此本发明实施例不加以限定。
另外,在本发明实施例中,根据需求也可以设置时间序列模型Prophet的输入参数还包括监控周期之前的预设时间段的日期属性,对此本发明实施例不加以限定。
参照图2,在本发明实施例中,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述方法还可以包括:
步骤140,针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
如上述,在进行数据监控时,可以分别根据不同的监控指标维度进行数据监控,也即获取监控指标体系内包含的各个监控指标维度在其对应的各个指标属性值时的数据量的真实值,而且在数据预测时,也可以针对每个所述监控指标维度,获取其在每个指标属性值时的数据量的预测值,以及每个监控指标维度下的数据量的警报阈值范围。那么在进行异常检测时,为了准确定位至每个指标监控维度,也可以监控指标维度为单位进行数据分析。
具体地,针对每个所述监控指标维度,如果某一监控指标维度在某一指标属性值时的数据量的真实值超出该其警报阈值范围,则可以该监控指标维度下的该指标属性值作为导致所述监控周期内的数据异常的单个指标维度。通过对每个监控指标维度下的每个指标属性值进行上述分析的情况下,则可以得到单维度根因分析结果,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
此时,通过多维度根因分析算法可以获取得到组合根因,也即导致所述监控周期内的数据异常的多维度根因分析结果,比如由北京、联通这两个不同监控指标维度下的指标属性值的组合造成了全部数据量整体的波动异常。而通过针对每个监控指标维度下的数据量的预测比较,可以产出单维度报警,也即确定导致数据异常,也即数据量波动的单个指标维度。
可选地,在本发明实施例中,所述多维度根因分析算法包括HotSpot根因分析算法,也即多维属性的KPI异常定位(HotSpot:Anomaly Localization for Additive KPIsWith Multi-Dimensional Attributes)算法。其中,KPI即为Key Performance Indicators(关键绩效指标),在本发明实施例中,KPI可以包括上述的各个监控指标维度。
其中,在HotSpot算法中,提出了一个假设Ripple Effect(连锁反应):如果维度组合(A=a,*,*)是异常的,那么维度组合(A=a,B=b,C=c)都会以相同的比例出现异常变化基于Ripple Effect,这个工作提出了一个评估一个维度组合集合是不是根因的指标叫potential score(潜在得分)。在HotSpot算法中,异常定位是一个大空间的搜索问题,采用MCTS(Monte Carlo Tree Search,蒙特卡罗树搜索)作为基本搜索算法,提出了一个潜在的分数度量(在异常定位中具有物理意义),也即上述的potential score metric作为每个集合的潜在度量和MCTS中的值函数,应用层次修剪方法(hierarchical pruning approach,类似于Apriori算法原理)来减少搜索空间。搜索从第一层开始,逐层进行,在每个长方体内应用MCTS,如图3所示为一种异常检测(anomaly detection)的HotSpot架构示意图。各个参数的含义如表(1)所示。
其中,上述表(1)中的属性可以理解本发明实施例中的监控指标维度(例如城市、端口IP、用户身份、设备类型、年龄),而属性值则可以为监控指标维度的指标属性值,例如城市的指标属性值可以包括北京、上海、广东、深圳,等等。那么此时在获取监控指标体系内包含的各个监控指标维度下的数据量的真实值时,可以监控指标维度为单位,获取相应监控指标维度分别在不同指标属性值的情况下的数据量的真实值,例如对于监控指标维度中的城市而言,则可以分别获取北京、上海、广东、深圳,等等各个具体城市下的数据量的真实值,相应地进行数据预测时,也可以获取监控指标维度为单位,获取相应监控指标维度分别在不同指标属性值的情况下的数据量的预测值和警报阈值范围。最终得到的导致所述监控周期内的数据异常的一个或多个指标维度组合,也即得到多维度根因分析结果(RootCauseSet)。
表(1)
参照图2,在本发明实施例中,所述方法还可以包括:
步骤150,根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
在实际应用中,导致数据异常的原因可能仅限于部分原因,例如部分城市的数据异常、或者是部分端口的数据异常等,那么在进行数据监控时,为了降低监控成本,可以重点监控上述城市、端口等存在较高异常风险下的数据。
因此,在本发明实施例中,在获取得到根因分析结果之后,可以根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。其中,根因分析结果可以包括上述的多维度根因分析结果、单维度根因分析结果中的至少一种。具体的调整策略可以根据需求进行自定义设置,对此本发明实施例不加以限定。
例如,针对每个监控周期的根因分析结果内包含的指标属性值,以及每个所述指标属性值所属的监控指标维度,将监控指标体系内包含的其他监控指标维度删除,仅保留根因分析结果内包含的指标属性值所属的监控指标维度,而且进一步地可以将保留下来的监控指标维度内的其他指标属性值删除,仅保留当前的根因分析结果内包含的指标属性值。
而且,由于根因分析结果可以实时产生并更新,也即随着时间的增长,可以不断获取每个监控周期的根因分析结果,在本发明实施例中,可以在每次获取一个监控周期的根因分析结果之后,即根据当前的根因分析结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种,也可以根据需求设置监控指标体系的调整周期,根据每个调整周期内的根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种,对此本发明实施例不加以限定。
其中,调整周期的时间长度可以根据需求进行自定义设置,对此本发明实施例不加以限定。一般而言可以设置调整周期为上述的监控周期的整数倍。
可选地,在本发明实施例中,所述步骤150进一步可以包括:
步骤151,获取所述根因分析结果对应的数据明细;
步骤152,根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
基于HotSpot算法等多维度根因分析算法的根因分析能有效找出组合根因,缩小黑产范围以达到精准打击。但是,在实际应用中,可能存在部分数据异常是由于特殊业务需求导致的,那么在基于上述异常分析过程则容易将上述数据认为是黑产行为导致的黑产数据,影响数据监控的准确性。
因此,在本发明实施例中,在对监控指标体系进行调整之前,还可以根据根因分析结果,获取与之对应的数据明细,进而根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,获取最终需要进行监控的监控指标维度,以及每个监控指标维度的指标属性值。具体的评估方式可以根据需求进行自定义设置,对此本发明实施例不加以限定。
其中,数据明细可以理解为与根因分析结果对应的数据相关的任何可用信息,例如数据内容、数据的生成时间、数据所属业务、数据在每个监控指标维度下所属的指标属性值,等等。
例如,可以通过多个样本数据训练一用于评估监控指标维度和指标属性值的机器学习模块,进而通过该机器学习模型对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
当然,在本发明实施例中,也可以基于异常产出的黑产明细进行抽样人审,对各监控指标维度和指标属性值的数据做准确率评估,以此反馈调整监控指标体系。
如图4所示为一种数据异常检测的架构示意图。其中,(1)监控指标模块用于设置监控指标体系,并基于监控指标体系进行数据监控。(2)时序预测模块,基于监控指标体系获得各维度时序数据,通过prophet算法回溯历史一周预测当前时刻消息量,并且给出报警上下阈值,也即警报阈值范围。(3)报警模块。若当前实际值偏离prophet预测的上下阈值则产生流量异常报警。其中子流量报警主要为城市、ip端口等单个监控指标维度的数据量异常报警,总流量报警是指不区分维度的总消息量异常报警。当总流量发生异常报警时可以触发根因分析算法模块。(4)异常产出模块。总流量异常的根因分析算法模块产出组合根因,比如由北京、联通这两个根因组合造成了总流量的波动异常。子流量异常产出单维度报警。并且可以将组合维度和单维度报警的黑产明细对产品运营侧进行推送。基于HotSpot算法的根因分析能有效找出组合根因,缩小黑产范围以达到精准打击。(5)最终基于异常产出的黑产明细进行抽样人审等方式,对各维度指标产出做准确率评估,以此反馈调整监控指标体系。
相比于ARIMA时序预测,该波动检测框架下的prophet算法不仅能自适应产出报警上下阈值并且充分考虑了节假日,极大提升了时序预测的准确率。此外增加了HotSpot算法的根因分析模块,快速提供形变黑产线索给予精准打击。并且波动检测系统自动能大部分感知漏出风险。
参照图5,示出了本发明实施例中一种异常检测装置的结构示意图。
本发明实施例的异常检测装置包括:监控指标模块210、时序预测模块220和多维度根因分析模块230。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
监控指标模块210,用于针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值;
时序预测模块220,用于针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围;
多维度根因分析模块230,用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果;其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
参照图6,在本发明实施例中,所述时序预测模块220,具体用于:根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
可选地,在本发明实施例中,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
参照图6,在本发明实施例中,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述装置还可以包括:
单维度根因分析模块240,用于针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
参照图6,在本发明实施例中,所述装置还可以包括:
监控指标调整模块250,用于根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
可选地,在本发明实施例中,所述监控指标调整模块250,进一步可以包括:
数据明细获取子模块,用于获取所述根因分析结果对应的数据明细;
监控指标调整子模块,用于根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
可选地,在本发明实施例中,所述多维度根因分析算法包括HotSpot根因分析算法。
本发明实施例提供的异常检测装置能够实现图1至图2的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
优选的,本发明实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述异常检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述异常检测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
图7为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在电子设备500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图7中,触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备500包括一些未示出的功能模块,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种异常检测方法,其特征在于,包括:
针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值;
针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围;
响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果;
其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
2.根据权利要求1所述的方法,其特征在于,所述根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围的步骤,包括:
根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
3.根据权利要求2所述的方法,其特征在于,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述方法还包括:
针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;
其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
6.根据权利要求5所述的方法,其特征在于,所述根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种的步骤,包括:
获取所述根因分析结果对应的数据明细;
根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
7.根据权利要求权利要求1-3中任一项所述的方法,其特征在于,所述多维度根因分析算法包括HotSpot根因分析算法。
8.一种异常检测装置,其特征在于,包括:
监控指标模块,用于针对预设的监控指标体系内包含的任一监控指标维度,获取每个时间单位内,所述监控指标维度在每个指标属性值时的数据量的真实值;
时序预测模块,用于针对任一监控周期,根据所述监控周期之前预设时间段内的数据量的真实值,获取所述监控周期内数据量的预测值和警报阈值范围,所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值,所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围;
多维度根因分析模块,用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围,根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值,通过多维度根因分析算法,获取所述监控周期的多维度根因分析结果;
其中,所述监控周期为所述时间单位的整数倍,所述多维度根因分析结果包括至少一个指标维度组合,所述指标维度组合内包括多个指标属性值,且每个所述指标属性值所属的监控指标维度不完全相同。
9.根据权利要求8所述的装置,其特征在于,所述时序预测模块,具体用于:
根据所述监控周期之前预设时间段内的数据量的真实值,通过时间序列模型Prophet,获取所述监控周期内数据量的预测值和警报阈值范围。
10.根据权利要求9所述的装置,其特征在于,所述时间序列模型Prophet的输入参数还包括所述监控周期的日期属性,所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
11.根据权利要求8-10中任一项所述的装置,其特征在于,所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围,所述装置还包括:
单维度根因分析模块,用于针对任一所述监控指标维度,以及所述监控指标维度下的任一指标属性值,响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围,以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果;
其中,所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
监控指标调整模块,用于根据根因分析结果,调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种;所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
13.根据权利要求12所述的装置,其特征在于,所述监控指标调整模块,包括:
数据明细获取子模块,用于获取所述根因分析结果对应的数据明细;
监控指标调整子模块,用于根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估,并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
14.根据权利要求权利要求8-10中任一项所述的装置,其特征在于,所述多维度根因分析算法包括HotSpot根因分析算法。
15.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的异常检测方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011027825.4A CN112256748B (zh) | 2020-09-25 | 2020-09-25 | 一种异常检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011027825.4A CN112256748B (zh) | 2020-09-25 | 2020-09-25 | 一种异常检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256748A CN112256748A (zh) | 2021-01-22 |
CN112256748B true CN112256748B (zh) | 2023-06-30 |
Family
ID=74234203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011027825.4A Active CN112256748B (zh) | 2020-09-25 | 2020-09-25 | 一种异常检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256748B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022160675A1 (zh) * | 2021-01-29 | 2022-08-04 | 北京达佳互联信息技术有限公司 | 根因确定方法及装置 |
CN115576850B (zh) * | 2022-11-21 | 2023-03-14 | 舟谱数据技术南京有限公司 | 数据指标测试方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
CN110362454A (zh) * | 2019-06-29 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种支持可配置的决策引擎的报警方法、装置和电子设备 |
CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
-
2020
- 2020-09-25 CN CN202011027825.4A patent/CN112256748B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
CN110362454A (zh) * | 2019-06-29 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种支持可配置的决策引擎的报警方法、装置和电子设备 |
CN111338878A (zh) * | 2020-02-21 | 2020-06-26 | 平安科技(深圳)有限公司 | 异常检测方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
一种无监督的数据库用户行为异常检测方法;李海斌;李琦;汤汝鸣;吴;吕志远;裴丹;史俊杰;董旭;房双德;杨一飞;吴烨;;小型微型计算机系统(11);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112256748A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2698016B1 (en) | Adaptive notifications | |
CN111368290B (zh) | 一种数据异常检测方法、装置及终端设备 | |
CN108255382B (zh) | 一种悬浮菜单内容推荐方法及装置 | |
CN111726341B (zh) | 一种数据检测方法、装置、电子设备及存储介质 | |
CN111614634B (zh) | 流量检测方法、装置、设备及存储介质 | |
CN110995810B (zh) | 一种基于人工智能的对象识别方法和相关装置 | |
CN112256748B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN108616448B (zh) | 一种信息分享的路径推荐方法及移动终端 | |
CN111125523B (zh) | 搜索方法、装置、终端设备及存储介质 | |
CN112256732B (zh) | 一种异常检测方法、装置、电子设备及存储介质 | |
CN105447583A (zh) | 一种预测用户离网的方法及装置 | |
CN111753520B (zh) | 一种风险预测方法、装置、电子设备及存储介质 | |
CN109428871B (zh) | 防御策略确定方法及装置 | |
CN109067979A (zh) | 一种提示方法及移动终端 | |
CN112351441B (zh) | 一种数据处理方法、装置及电子设备 | |
CN106484688B (zh) | 一种数据处理方法及系统 | |
CN109660657B (zh) | 一种应用程序控制方法及装置 | |
CN115118636B (zh) | 网络抖动状态的确定方法、装置、电子设备及存储介质 | |
CN114661515B (zh) | 告警信息收敛方法、装置、电子设备及存储介质 | |
CN111818548B (zh) | 一种数据的处理方法、装置及设备 | |
CN112131482B (zh) | 一种时效确定方法和相关装置 | |
CN112311935B (zh) | 一种异常检测方法、装置及电子设备 | |
CN112825537A (zh) | 移动终端、安全监护方法以及装置 | |
CN111368211B (zh) | 关系链确定方法、装置及存储介质 | |
CN113095517B (zh) | 计费错误码的监控及预警方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |