CN116127270A - 异常检测方法、装置、设备、介质及产品 - Google Patents
异常检测方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN116127270A CN116127270A CN202310075340.XA CN202310075340A CN116127270A CN 116127270 A CN116127270 A CN 116127270A CN 202310075340 A CN202310075340 A CN 202310075340A CN 116127270 A CN116127270 A CN 116127270A
- Authority
- CN
- China
- Prior art keywords
- curve
- index
- time
- mutation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种异常检测方法、装置、设备、介质及产品,属于数据处理技术领域。该方法包括:在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,一阶差分曲线的纵坐标为一阶差分值,一阶差分值用于表征指标曲线中相邻两个时间点的指标值的变化量;采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,得到性能指标的多个突变量;确定多个突变量中满足预设突变条件的目标突变量,将目标突变量对应的时间点确定为异常时间点。根据本申请实施例,能够对指标曲线进行简单快速地异常排查,有效提升指标曲线的异常检测效率。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种异常检测方法、装置、设备、介质及产品。
背景技术
在应用系统运维过程中,运维人员需定期查看系统性能指标的指标曲线,以对指标值的异常变动及时进行排查,从而及时发现并解决应用系统存在的故障隐患。
相关技术中,随着应用系统及其指标曲线的数量增多,通过人工回顾指标曲线排查异常,所耗费的时间越来越长,异常检测效率较低。因此,如何对系统性能指标的指标曲线进行快速检查,提升异常检测效率,成为当前亟需解决的问题。
发明内容
本申请实施例提供一种异常检测方法、装置、设备、介质及产品,能够对系统性能指标的指标曲线进行快速检查,提升异常检测效率。
第一方面,本申请实施例提供一种异常检测方法,该方法包括:
在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,其中,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,一阶差分值用于表征指标曲线中相邻两个时间点的指标值的变化量;
采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,得到性能指标的多个突变量;
确定多个突变量中满足预设突变条件的目标突变量,将目标突变量对应的时间点确定为异常时间点。
第二方面,本申请实施例提供一种异常检测装置,该装置包括:
确定模块,用于在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,其中,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,一阶差分值用于表征指标曲线中相邻两个时间点的指标值的变化量;
确定模块,还用于采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,得到性能指标的多个突变量;
检测模块,还用于确定多个突变量中满足预设突变条件的目标突变量,将目标突变量对应的时间点确定为异常时间点。
第三方面,本申请实施例提供一种电子设备,包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现第一方面所示的异常检测方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面所示的异常检测方法的步骤。
第五方面,本申请实施例提供一种计算机程序产品,计算机程序产品被存储在非易失的存储介质中,计算机程序产品被至少一个处理器执行时实现如第一方面所示的异常检测方法的步骤。
第六方面,本申请实施例提供一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的异常检测方法的步骤。
本申请实施例提供一种异常检测方法、装置、设备、介质及产品,在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,该一阶差分值用于表征指标曲线中相邻两个时间点的指标值变化量,因此一阶差分曲线能够反映指标值变化量的变化情况。在此基础上,本申请采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,使用滑动时间窗口计算累积差分值,得到性能指标的多个突变量,该突变量即为指标值变化量在各个滑动时间窗口内的和值,能够准确反映指标值在某一段时间内的变化程度。例如若该和值较大,则说明位于滑动时间窗口内的多个指标值变化量较大,也即位于该滑动时间窗口内的连续多个时间点的指标值呈增长趋势。因此,通过判断突变量是否满足预设突变条件,能够有效衡量指标曲线中指标值是否存在突变异常,例如指标值突增或突降,最终确定满足预设突变条件的目标突变量对应的时间点确定为异常时间点,无需人工查看指标曲线进行排查,简单快速,能够有效提升指标曲线的异常检测效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请第一方面提供的异常检测方法的一实施例的流程图;
图2为本申请第一方面提供的异常检测方法的另一实施例的流程图;
图3为本申请第一方面提供的异常检测方法的再一实施例的流程图;
图4为本申请第一方面提供的异常检测方法的再一实施例的流程图;
图5为本申请第一方面提供的异常检测方法的再一实施例的流程图;
图6为本申请第一方面提供的异常检测方法的指标曲线与基准曲线的示例的示意图;
图7为本申请第一方面提供的异常检测方法的再一实施例的流程图;
图8为本申请第一方面提供的异常检测方法的指标曲线与基准曲线的另一示例的示意图;
图9为本申请第一方面提供的异常检测方法的再一实施例的流程图;
图10为本申请第二方面提供的异常检测装置的一实施例的结构示意图;
图11为本申请第三方面提供的电子设备的一实施例的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
随着应用系统及其指标曲线的数量增多,通过人工回顾指标曲线排查异常,所耗费的时间越来越长,异常检测效率较低。因此,如何对系统性能指标的指标曲线进行快速检查,提升异常检测效率,成为当前亟需解决的问题。
基于上述出现的问题,本申请实施例提供一种异常检测方法、装置、设备、介质及产品,采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,使用滑动时间窗口计算累积差分值,得到性能指标的多个突变量,该突变量即为指标值变化量在各个滑动时间窗口内的和值,能够准确反映指标值在某一段时间内的变化程度。例如若该和值较大,则说明位于滑动时间窗口内的多个指标值变化量较大,也即位于该滑动时间窗口内的连续多个时间点的指标值呈增长趋势。因此,通过判断突变量是否满足预设突变条件,能够有效衡量指标曲线中指标值是否存在突变异常,例如指标值突增或突降,最终确定满足预设突变条件的目标突变量对应的时间点确定为异常时间点,无需人工查看指标曲线进行排查,简单快速,能够有效提升指标曲线的异常检测效率。
本申请实施例中的异常检测方法可以应用于对应用系统的性能指标的指标曲线进行异常检测的场景,下面结合附图,通过具体的实施例对本申请实施例提供的异常检测方法进行详细地说明。
本申请第一方面提供一种异常检测方法,可应用于电子设备,即该异常检测方法可由电子设备执行。需要说明的是,上述执行主体并不构成对本申请的限定。
例如,该电子设备可以为应用系统侧的服务器。
图1为本申请第一方面提供的异常检测方法的一实施例的流程图。如图1所示,该异常检测方法可以包括步骤110-步骤130。
步骤110,在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线。
其中,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,一阶差分值用于表征指标曲线中相邻两个时间点的指标值的变化量。
步骤120,采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,得到性能指标的多个突变量。
步骤130,确定多个突变量中满足预设突变条件的目标突变量,将目标突变量对应的时间点确定为异常时间点。
本申请实施例提供的异常检测方法,在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,该一阶差分值用于表征指标曲线中相邻两个时间点的指标值变化量,因此一阶差分曲线能够反映指标值变化量的变化情况。在此基础上,本申请采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,使用滑动时间窗口计算累积差分值,得到性能指标的多个突变量,该突变量即为指标值变化量在各个滑动时间窗口内的和值,能够准确反映指标值在某一段时间内的变化程度。例如若该和值较大,则说明位于滑动时间窗口内的多个指标值变化量较大,也即位于该滑动时间窗口内的连续多个时间点的指标值呈增长趋势。因此,通过判断突变量是否满足预设突变条件,能够有效衡量指标曲线中指标值是否存在突变异常,例如指标值突增或突降,最终确定满足预设突变条件的目标突变量对应的时间点确定为异常时间点,无需人工查看指标曲线进行排查,简单快速,能够有效提升指标曲线的异常检测效率。同时,本申请在异常定位时不局限在时间段,而是可以具体定位到时间点,有效提升异常检测精度。
下面结合实施例,对上述步骤的具体实现方式进详细说明,具体如下所示。
在步骤110中,性能指标为能够反映应用系统的系统性能的指标;电子设备可以获取应用系统的性能指标的时间序列数据,该时间序列数据可以包括应用系统的某一性能指标在不同时间点对应的指标值,因此通过该时间序列数据可以生成该性能指标的指标曲线,指标曲线的横坐标即为时间点,纵坐标为性能指标的指标值,该指标曲线即为待检测曲线,本申请通过对指标曲线反映的指标值变化进行分析,即可确定异常时间点。
在一些示例中,性能指标可以为文件句柄打开数、传输控制协议(TCP,Transmission Control Protocol)连接数、文件系统容量(即磁盘空间使用率)、中央处理器(central processing unit,CPU)使用率等。
在一些示例中,电子设备可以获取文件系统容量的时间序列数据,该时间序列数据的粒度为1分钟,时间周期为每天的00:00:00至23:59:00,也即每分钟采集一次应用系统的文件系统容量,每天在00:00:00至23:59:00的1440个时间点可以采集到1440个文件系统容量,构成时间序列数据,基于该时间序列数据可以得到文件系统容量的指标曲线,该指标曲线的横坐标为时间点,纵坐标为在该时间点采集的文件系统容量,因此可以包括1440个坐标点。
在本申请的一些实施例中,若时间序列数据中存在指标值缺失,则可以使用相邻时间点的指标值对其进行替代;针对指标值明显错误的问题,可以对其进行数据删除和数据填补的操作。
如此,可以降低对待检测指标曲线的要求,容忍原始指标曲线中较多数据缺失,故适用范围较广。
在本申请的一些实施例中,为了避免因指标值差异过大影响到异常检测效果,可在获取到性能指标的时间序列数据后,在基于时间序列数据生成指标曲线之前,对时间序列数据中的指标值进行归一化处理,将所有指标值标准化在[0,1]区间。
在本申请的一些实施例中,步骤110可以具体包括:计算指标曲线的相邻两个时间点的指标值之差,得到一阶差分值;基于一阶差分值,生成一阶差分曲线。
其中,相邻两个时间点可以包括第一时间点和第二时间点,第一时间点早于第二时间点,一阶差分曲线的横坐标为第一时间点,纵坐标为第一时间点与第二时间点对应的一阶差分值。
示例性地,对于包括1440个时间点的指标曲线,通过计算相邻两个时间点之间的文件系统容量之差,得到1339个一阶差分值,生成包含1339个坐标点的一阶差分曲线。
在步骤120中,预设时间窗口可以根据具体需求进行设置,例如设置为5min、10min或其他数值,本申请对此不做具体限定。预设时间窗口可在一阶差分曲线上滑动,由曲线开端滑动至曲线末尾,每次滑动,均可以计算一阶差分曲线在预设时间窗口内的纵坐标的和值,该和值即为性能指标在该预设时间窗口内的突变量。突变量可以用于表征指标值在预设时间窗口内的变化程度。
示例性地,在文件系统容量的指标曲线中,00:01至00:06对应的指标值分别为0.25、0.27、0.33、0.40、0.55、0.57,则可以得到00:01至00:05对应的一阶差分值分别为0.02、0.06、0.07、0.15、0.02。若预设时间窗口为5min,则在00:01至00:05的时间窗口,突变量为5个一阶差分值的和值0.32,以此类推,通过滑动时间窗口,可以继续得到文件系统容量在00:05至00:09、00:09至00:13等各个滑动时间窗口的突变量。
在步骤130中,预设突变条件可以包括突变量大于第一突变阈值,或者,突变量小于第二突变阈值,第一突变阈值与第二突变阈值为相反数,第一突变阈值和第二突变阈值可以根据具体需求进行设置,例如将第一突变阈值设置为0.3,将第二突变阈值设置为-0.3,或者将第一突变阈值设置为0.35,将第二突变阈值设置为-0.35,本申请对此不做具体限定。
在本申请的一些实施例中,步骤130可以具体包括下述步骤:在目标突变量大于第一突变阈值的情况下,确定目标突变量对应的时间点为指标值突增的异常时间点;在目标突变量小于第二突变阈值的情况下,确定目标突变量对应的时间点为指标值突降的异常时间点。
其中,目标突变量即为大于第一突变阈值的突变量,或者,目标突变量小于第二突变阈值的突变量。
在本申请实施例中,若目标突变量大于第一突变阈值,则说明在产生目标突变量的时间段内,指标值持续升高,其上涨幅度较大,因此可认为在该时间段内发生指标值突增,从而准确判别目标突变量对应的时间点为指标值突增的异常时间点;若目标突变量小于第二突变阈值,则说明在产生目标突变量的时间段内,指标值持续下降,其下降幅度较大,因此可认为在该时间段内发生指标值突降,从而准确判别目标突变量对应的时间点为指标值突降的异常时间点。如此,本申请可以在突变异常检测过程中,明确异常点的位置,精准定位异常时间点,并识别其为突增异常还是突降异常,给出具体异常类型,对异常时间点的解释性较强,相比于相关技术只能整体判断曲线是否异常的情况,有效提升异常检测精度。相比于业界采用两点差分并使用均值和标准差自定义计算突变指标,进行突变异常检测的方式,本申请创新性的采用累积差分方法,并使用滑动时间窗口计算累积差分值(即突变量),衡量突变并检查异常,该方法简单快速、误报率低,非常适合异常点的初筛。
在一些实施例中,时间点可以为至少一个,步骤130可以具体包括以下任意一项:确定目标突变量对应的异常时间段内的初始时间点为异常时间点;确定目标突变量对应的异常时间段内的结束时间点为异常时间点;确定目标突变量对应的异常时间段内的起始时间点和结束时间点为异常时间点;确定目标突变量对应的异常时间段内的所有时间点为异常时间点。
参照上述示例,00:01至00:05对应的一阶差分值分别为0.02、0.06、0.07、0.15、0.02。若预设时间窗口为5min,则在00:01至00:05的时间窗口,突变量为5个一阶差分值的和值0.32。若第一突变阈值为0.3,则在滑动时间窗口00:01至00:05的突变量为目标突变量,此时可以将00:01至00:05的起始时间点00:01作为异常时间点,或者,将结束时间点00:05作为异常时间点,或者,将起始时间点00:01和结束时间点00:05作为异常时间点,或者,将00:01、00:02、00:03、00:04、00:05均作为异常时间点。
在本申请的一些实施例中,在步骤130之后,该方法还可以具体包括:根据预设过滤条件对异常时间点进行过滤,展示过滤后的异常时间点。
具体地,可以依据人工研判,对某些预期内的异常检查结果,进一步自定义设定过滤条件,如可根据主机、异常类型、异常时刻等条件,避免异常结果过度展示。
示例性地,分布式数据库UPProxy连接数在23点左右存在较大波动,明显与历史曲线差异较大,因此23点被确定为异常时间点,但经咨询系统负责人,当晚23点应用系统处于实施变更状态,因此23点不作为异常时间点进行展示。
在本申请的一些实施例中,为了在突变异常检测的基础上,降低异常时间点的误报率,图2为本申请第一方面提供的异常检测方法的另一实施例的流程图,步骤110可以具体包括图2所示的步骤210-步骤230。
步骤210,在指标曲线为平缓型曲线的情况下,基于指标曲线确定一阶差分曲线。
步骤220,在指标曲线为波动型曲线的情况下,确定指标曲线相对于基准曲线的最大平移量。
其中,基准曲线基于性能指标的历史时间序列曲线生成,历史时间序列曲线基于第一预设时间段内的历史时间序列数据生成,第一预设时间段可以根据具体需求进行设置,本申请对此不做具体限定。
步骤230,在最大平移量大于预设平移阈值的情况下,对指标曲线进行逆向平移,并基于逆向平移后的指标曲线确定一阶差分曲线。
其中,预设平移阈值可以根据具体需求进行设置,本申请对此不做具体限定。若指标曲线相对于基准曲线为左平移,则对指标曲线进行右平移,若指标曲线相对于基准曲线为右平移,则对指标曲线进行左平移。
在本申请实施例中,针对波动型曲线,通常会因曲线平移导致出现异常时间点误判的情况。基于此,本申请在突变异常检测之前,通过计算指标曲线相对于基准曲线的最大平移量,判断指标曲线是否发生平移,例如因应用系统的业务逻辑变动导致指标曲线的峰值发生平移,在该场景下可对指标曲线进行逆向平移,并基于逆向平移后的指标曲线进行突变异常检测,在突变异常检测中减少因曲线平移产生的异常误报情况,进而降低误报率。
需要说明的是,本申请不对步骤210和步骤220的执行顺序进行具体限定,步骤210可以在步骤220之前,也可以在步骤220之后。
在本申请的一些实施例中,为了准确判别指标曲线的曲线类型,图3为本申请第一方面提供的异常检测方法的再一实施例的流程图,如图3所示,在步骤210确定指标曲线的一阶差分曲线之前,该方法还可以包括步骤310-步骤350。
步骤310,将指标曲线划分为N个时间区间,并获取每个时间区间的区间最大值与区间最小值。
其中,N为正整数,该时间区间可以根据具体需求进行设置,例如设置为30min、1h或者其它数值等,本申请对此不做具体限定。每个时间区间内的所有时间点对应的指标值中,指标值最大的为区间最大值,指标值最小的为区间最小值。
步骤320,计算每个时间区间的区间最大值与区间最小值之间的差值,得到N个时间区间对应的N个差值。
其中,该差值可以用于表征指标值在时间区间内的最大变动幅度。
步骤330,确定N个时间区间中目标时间区间的第一数量,其中,目标时间区间对应差值大于第一预设阈值。
其中,第一数量为目标时间区间的数量,第一预设阈值可以根据具体需求进行设置,例如设置为0.5、0.6或者其它数值等,本申请对此不做具体限定。
步骤340,在第一数量与N的比值小于或等于第一比率的情况下,确定指标曲线为平缓型曲线。
其中,第一比率可以根据具体需求进行设置,例如设置为0.7、0.8或者其它数值等,本申请对此不做具体限定。
步骤350,在第一数量与N的比值大于第一比率的情况下,确定指标曲线为波动型曲线。
示例性地,指标曲线的横坐标为时间点,纵坐标为在该时间点采集的文件系统容量,指标曲线包括1440个时间点。若时间区间为40min,则可将指标曲线划分为36个时间区间。第一预设阈值可以为0.5,第一比率为0.8,若36个时间区间对应的36个差值中,有超过28个目标时间区间的差值大于0.5,则该指标曲线为波动型曲线,否则为平缓型曲线。
在本申请实施例中,通过计算每个时间区间的区间最大值与区间最小值之差,可以得到能够表征指标值在时间区间内的最大变动幅度的差值。若目标时间区间的第一数量与N比值大于第一比率,说明目标区间的数量较多,也即存在较多时间区间对应差值较大,性能指标的指标值在多数时间区间内的变化幅度均较大,指标值波动次数较多,因此可准确判断出该指标曲线即为波动型曲线。相比于业界采用计算整体曲线的标准差来衡量曲线的波动性,本申请中的第一预设阈值和第一比率可灵活调整,因此基于第一预设阈值和第一比率进行曲线类型判别的方式也更为灵活。
在本申请的一些实施例中,为了获取基准曲线,在步骤220确定指标曲线相对于基准曲线的最大平移量之前,该方法还可以包括下述步骤:获取性能指标在第一预设时间段内的历史时间序列数据;基于第一预设时间段内的历史时间序列数据,生成性能指标的P条历史时间序列曲线,其中,历史时间序列曲线的横坐标为时间点,纵坐标为性能指标的指标值;计算P条历史时间序列曲线中,每个时间点对应的P个指标值的平均值;将P个指标值的平均值作为纵坐标,生成基准曲线。
其中,P为正整数,指标曲线可以基于第三预设时间段内的时间序列数据生成,第一预设时间段可以在第三预设时间段之前,第一预设时间段可以根据具体需求进行设置,例如设置为第三预设时间段之前的7天,本申请对此不做具体限定。
示例性地,指标曲线可以基于8号内的时间序列数据生成,则第一预设时间段可以为1号至7号,因此基于应用系统在1号至7号的七天历史时间序列数据,可以生成P=7条历史时间序列曲线。计算7条历史时间序列曲线中,每天相同时间点对应的7个指标值的平均值,例如获取历史时间序列曲线中每天00:10:00时刻的指标值,得到7个指标值,计算其平均值。基于所有时间点对应的7个指标值的平均值,得到基准曲线。
在本申请实施例中,在基于历史时间序列数据生成多条历史时间序列曲线后,通过计算多条历史时间序列曲线中,相同时间点对应的指标值平均值,得到基准曲线。由于该基准曲线,能够反映指标值的历史变化规律,也即正常波动规律,因此基于该基准曲线对指标曲线进行曲线平移量检测时,能够计算指标曲线相较于正常波动的基准曲线的平移量,使计算得到的最大平移量更具有说服性,准确度更高。
在本申请的一些实施例中,为了准确计算指标曲线相对于基准曲线的最大平移量,图4为本申请第一方面提供的异常检测方法的再一实施例的流程图,步骤220确定指标曲线相对于基准曲线的最大平移量,可以具体包括图4所示的步骤410和步骤420。
步骤410,基于动态时间归整DTW算法,计算指标曲线与基准曲线的相似度,得到指标曲线与基准曲线的最短距离,以及指标曲线与基准曲线之间的映射路径。
其中,映射路径用于表征指标曲线与基准曲线整体上的最短距离,映射路径用于表征为达到上述最短距离,指标曲线中坐标点与基准曲线中坐标点的映射关系。
动态时间归整(DynamicTimeWrapping,DTW)算法是一种衡量两个时间序列之间的相似度的方法,在这里可以用于计算指标曲线与基准曲线之间的相似度。
步骤420,基于映射路径,计算指标曲线相对于基准曲线的最大平移量。
在本申请实施例中,考虑到采用DTW算法可以计算得到最短距离,可以用于衡量两曲线之间的相似度,本申请在得到该最短距离之后,基于该最短距离确定指标曲线与基准曲线之间的映射路径,从而根据该映射路径准确计算指标曲线相对于基准曲线的最大平移量,实现对波动型指标曲线的异常平移量检测。如此,能够在指标曲线相对基准曲线平移较大的场景下,对指标曲线进行逆向平移,并基于逆向平移后的指标曲线进行突变异常检测,在突变异常检测中减少因曲线平移产生的异常误报情况,进而降低误报率。
在本申请的一些实施例中,映射路径用于表征第一坐标点与第二坐标点的映射关系,第一坐标点为指标曲线中的坐标点,第二坐标点为基准曲线中的坐标点,图5为本申请第一方面提供的异常检测方法的再一实施例的流程图,上述步骤420可以具体包括图5所示的步骤510-步骤540。
步骤510,在至少两个第一坐标点与同一第二坐标点均具有映射关系的情况下,确定指标曲线相对于基准曲线产生平移。
具体地,为使指标曲线与基准曲线在整体上达到最短距离,第一坐标点与第二坐标点需要建立映射关系,每个第二坐标点可以与至少一个第一坐标点具有映射关系。若连续多个第一坐标点的纵坐标比较接近,则该连续多个第一坐标点可以与同一第二坐标点建立映射关系。
步骤520,获取基准曲线对应的多个第二坐标点中,与每个第二坐标点具有映射关系的第一坐标点的数量,得到每个第二坐标点对应的第二数量。
其中,第二数量为与第二坐标点具有映射关系的第一坐标点的数量。
在一些示例中,指标曲线中的第一坐标点包括a1、a2…a1440,基准曲线中的第二坐标点包括b1、b2…b1440,指标曲线与基准曲线之间的映射路径为[(a1,b1)、(a2,b2)、(a3,b3)、(a4,b3)、(a5,b3)、(a6,b3)、(a7,b3)、(a8,b4)、(a9,b5)...(a1440,b1440)]。由于第二坐标点b3与五个第一坐标点a3、a4、a5、a6、a7均具有映射关系,因此第二坐标点b3对应的第二数量为5。
步骤530,确定多个第二坐标点中的第二目标坐标点。
其中,第二目标坐标点对应的第二数量最大,也即,与最多第一坐标点具有映射关系的第二坐标点,为第二目标坐标点。
在另一些示例中,如图6所示,曲线601为指标曲线,曲线602为基准曲线,横坐标为时间点,纵坐标为时间点对应的指标值。在指标曲线601中,00:00:00至06:00:00之间的连续多个时间点对应的指标值都为0.45,因此00:00:00至06:00:00之间的多个第一坐标点可以与同一第二坐标点A1建立映射关系。在图6中,A1为与最多第一坐标点具有映射关系的第二坐标点,因此A1对应的第二数量最大,A1即为第二目标坐标点。
步骤540,基于第二目标坐标点对应的第二数量,计算最大平移量。
在本申请的一些实施例中,基于第二目标坐标点对应的第二数量,计算最大平移量,可以具体包括:确定第二目标坐标点对应的第二数量与1的差值,为最大平移量。
示例性地,第二坐标点b3与五个第一坐标点a3、a4、a5、a6、a7均具有映射关系,因此第二坐标点b3对应的第二数量为5,则可以认为相较于基准曲线,指标曲线在a3向右平移了4个距离,即平移量为4。若b3为第二目标坐标点,则最大平移量即为4。
在本申请实施例中,若连续多个第一坐标点与同一第二坐标点具有映射关系,则说明连续多个第一坐标点的指标值相近,也即指标曲线中的指标值处于恒定不变状态,指标曲线相对基准曲线发生平移。因此,与第二坐标点具有映射关系的第一坐标点的数量,也即第二数量,能够准确反映指标曲线相对基准曲线产生的平移量大小,基于该第二数量即可准确确定指标曲线相对基准曲线的最大平移量。
在本申请的一些实施例中,为了降低异常时间点的漏报率,图7为本申请第一方面提供的异常检测方法的再一实施例的流程图,如图7所示,在步骤530之后,该方法还可以包括步骤710和步骤720。
步骤710,获取指标曲线对应的多个第一坐标点中的第一目标坐标点。
其中,第一目标坐标点为与第二目标坐标点具有映射关系的第一坐标点。
步骤720,在最大平移量大于预设平移阈值的情况下,确定指标曲线中的第一目标时间点为异常时间点。
其中,预设平移阈值可以根据具体需求进行设置,本申请对此不做具体限定,第一目标时间点为第一目标坐标点的横坐标。
继续参见图6,基准曲线602中的第二坐标点A1为第二目标坐标点,则在指标曲线601中,与A1具有映射关系的第一坐标点即为第一目标坐标点,因此第一目标坐标点的横坐标,也即00:00:00至06:00:00之间的时间点即为存在异常的第一目标时间点。
在本申请实施例中,若指标曲线相对基准曲线产生的最大平移量较小,则可以认为是正常现象,若指标曲线相对基准曲线产生的最大平移量大于预设平移阈值,也即超出限值,则可以认为应用系统因业务逻辑变动导致指标曲线相对基准曲线产生较大平移,也即应用系统出现异常,因此可将指标值未变化的连续多个时间点,也即第一目标时间点确定为异常时间点,避免异常时间点的遗漏,降低异常时间点的漏报率。
在本申请的一些实施例中,第一目标坐标点的数量为M,M为正整数,M个第一目标坐标点对应M个第一目标时间点,第二目标坐标点的横坐标为第二目标时间点,步骤230中对指标曲线进行逆向平移,可以具体包括下述步骤:在M个第一目标时间点大于或等于第二目标时间点的情况下,确定指标曲线相对于基准曲线产生右平移,则将指标曲线向左平移最大平移量;在M个第一目标时间点小于或等于第二目标时间点的情况下,确定指标曲线相对于基准曲线产生左平移,则将指标曲线向右平移最大平移量。
继续参见图6,基准曲线602中的第二坐标点A1为第二目标坐标点,A1的横坐标00:00:00即为第二目标时间点。在指标曲线601中,与A1具有映射关系的第一坐标点即为第一目标坐标点,因此第一目标坐标点的横坐标,也即00:00:00至06:00:00之间的时间点即为存在异常的第一目标时间点。由于00:00:00至06:00:00之间的时间点均大于或等于第二目标时间点00:00:00,因此可确定指标曲线601相对于基准曲线产生右平移,需对指标曲线进行逆向平移,即对其进行左平移,如图8所示,801即为逆向平移后的指标曲线。
在本申请实施例中,通过比较第一目标时间点与所有第二目标时间点的大小关系,可以准确判断出指标曲线相对于基准曲线产生左平移还是右平移,从而基于最大平移量对指标曲线进行逆向平移,解决指标曲线中存在的指标值异常,从而在正常指标曲线的基础上,对指标曲线进行突变异常检测,降低突变异常检测时的误报率。
在本申请的一些实施例中,为了降低异常时间点的误报率,图9为本申请第一方面提供的异常检测方法的再一实施例的流程图,如图9所示,在步骤130将目标突变量对应的时间点确定为异常时间点之后,该方法还可以包括步骤910-步骤950。
步骤910,获取性能指标在第二预设时间段内的历史时间序列数据。
其中,第二预设时间段与第一预设时间段,可以相同,也可以不同,本申请对此不做具体限定。
步骤920,基于第二预设时间段内的历史时间序列数据,生成性能指标的Q条历史时间序列曲线。
其中,Q为正整数,历史时间序列曲线和指标曲线的横坐标均为时间点,纵坐标均为性能指标的指标值。
步骤930,计算Q条历史时间序列曲线中,每个时间点对应的Q个指标值的平均值和标准差。
步骤940,基于每个时间点对应的Q个指标值的平均值和标准差,计算每个时间点对应的上区间值和下区间值,得到每个时间点对应的基准区间。
具体地,上区间值可以为Q个指标值的平均值与第一数值的和值,下区间值可以为Q个指标值的平均值与第一数值的差值,第一数值为标准差与预设系数的乘积,该预设系数可以根据具体需求进行设置,例如设置为3、5或其它数值,本申请对此不做具体限定。
示例性地,第二预设时间段为历史7天,Q为7,历史时间序列曲线中每天00:10:00时刻的指标值,共计7个,计算其平均值avg和标准差sigma,上区间值为avg+3*sigma,下区间值为avg-3*sigma,则00:10:00对应的基准区间为avg-3*sigma至avg+3*sigma。
在本申请的一些实施例中,在步骤940之后,该方法还可以具体包括:基于每个时间点对应的上区间值生成上区间基准曲线,并基于每个时间点对应的下区间值生成下区间基准曲线;若指标曲线中的指标值不在上区间基准曲线与下区间基准曲线之间,则确定该指标值不在基准区间。
步骤950,在指标曲线中连续R个时间点的指标值均不在基准区间,且R大于预设数量的情况下,确定连续R个时间点为异常点。
其中,R为正整数,预设数量具体可以根据需求进行设置,例如设置为6、8或者其它数值,本申请对此不做具体限定。
业界在进行区间异常检测时,仅在某一时间点的指标值不在基准区间时,就将其判定为异常时间点,如此误报可能性较大。在本申请实施例中,在业界区间异常检测方案的基础上,设置只有连续超出预设数量个时间点的指标值均不在基准区间内,才认为存在异常,并确认连续多个时间点为异常时间点,提升区间异常检测的标准,减少误判情况的发生,进而降低误报率,提升区间异常检测的准确性。同时,对不同类型的曲线进行分类后,根据不同检查算法适用不同类型曲线的特点,组合多个异常检查算法对波动性曲线进行检查,保证准确率的同时降低误报率。若后续出现除平缓型和波动型的曲线,也可引入明确区分该类型曲线的度量指标将其分类,并针对性得对其组合定制新检查算法,可拓展性强。
在本申请的一些实施例中,该方法还可以包括:将历史时间序列数据作为训练样本数据,对异常检测模型进行训练,得到训练好的目标异常检测模型;向目标异常检测模型输入性能指标的指标曲线,以使目标异常检测模型对指标曲线进行分类后,在指标曲线为平缓型曲线的情况下,对指标曲线进行突变异常检测得到异常时间点;在指标曲线为波动型曲线的情况下,对指标曲线先后进行平移量异常检测、突变异常检测和区间异常检测,得到异常时间点。
在本申请实施例中,训练异常检测模型的样本数据无需进行标注,且模型简单。通过目标异常检测模型,除了可以进行异常时间点的检测外,还可以进行大数据量的并行自动化异常标注,为更复杂的有监督模型和多指标的异常检查模型提供标注异常的训练样本数据。
基于同样的发明构思,本申请第二方面提供一种异常检测装置。图10为本申请第二方面提供的异常检测装置的一实施例的结构示意图。
如图10所示,该异常检测装置1000具体可以包括:确定模块1010和检测模块1020。
其中,确定模块1010,用于在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,其中,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,一阶差分值用于表征指标曲线中相邻两个时间点的指标值的变化量;
确定模块1010,还用于采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,得到性能指标的多个突变量;
检测模块1020,还用于确定多个突变量中满足预设突变条件的目标突变量,将目标突变量对应的时间点确定为异常时间点。
本申请实施例提供的异常检测装置,在获取到性能指标的指标曲线的情况下,确定指标曲线的一阶差分曲线,指标曲线基于性能指标的时间序列数据生成,一阶差分曲线的纵坐标为一阶差分值,该一阶差分值用于表征指标曲线中相邻两个时间点的指标值变化量,因此一阶差分曲线能够反映指标值变化量的变化情况。在此基础上,本申请采用预设时间窗口在一阶差分曲线上滑动,在滑动过程中确定一阶差分曲线在预设时间窗口内的纵坐标的和值,使用滑动时间窗口计算累积差分值,得到性能指标的多个突变量,该突变量即为指标值变化量在各个滑动时间窗口内的和值,能够准确反映指标值在某一段时间内的变化程度。例如若该和值较大,则说明位于滑动时间窗口内的多个指标值变化量较大,也即位于该滑动时间窗口内的连续多个时间点的指标值呈增长趋势。因此,通过判断突变量是否满足预设突变条件,能够有效衡量指标曲线中指标值是否存在突变异常,例如指标值突增或突降,最终确定满足预设突变条件的目标突变量对应的时间点确定为异常时间点,无需人工查看指标曲线进行排查,简单快速,能够有效提升指标曲线的异常检测效率。
在本申请的一些实施例中,确定模块1010包括:确定子模块,用于在指标曲线为平缓型曲线的情况下,基于指标曲线确定一阶差分曲线;确定子模块,还用于在指标曲线为波动型曲线的情况下,确定指标曲线相对于基准曲线的最大平移量,基准曲线基于性能指标的历史时间序列曲线生成;平移子模块,用于在最大平移量大于预设平移阈值的情况下,对指标曲线进行逆向平移,并基于逆向平移后的指标曲线确定一阶差分曲线。
在本申请的一些实施例中,装置还包括:划分模块,用于在确定指标曲线的一阶差分曲线之前,将指标曲线划分为N个时间区间,并获取每个时间区间的区间最大值与区间最小值;计算模块,用于计算每个时间区间的区间最大值与区间最小值之间的差值,得到N个时间区间对应的N个差值;确定模块1010,还用于确定N个时间区间中目标时间区间的第一数量,其中,目标时间区间对应差值大于第一预设阈值;确定模块1010,还用于在第一数量与N的比值小于或等于第一比率的情况下,确定指标曲线为平缓型曲线;确定模块1010,还用于在第一数量与N的比值大于第一比率的情况下,确定指标曲线为波动型曲线。
在本申请的一些实施例中,装置还包括:获取模块,用于在确定指标曲线相对于基准曲线的最大平移量之前,获取性能指标在第一预设时间段内的历史时间序列数据;生成模块,用于基于第一预设时间段内的历史时间序列数据,生成性能指标的P条历史时间序列曲线,其中,历史时间序列曲线的横坐标为时间点,纵坐标为性能指标的指标值;计算模块,用于计算P条历史时间序列曲线中,每个时间点对应的P个指标值的平均值;生成模块,还用于将P个指标值的平均值作为纵坐标,生成基准曲线。
在本申请的一些实施例中,确定子模块包括:计算单元,用于基于动态时间归整DTW算法,计算指标曲线与基准曲线的相似度,得到指标曲线与基准曲线的最短距离,以及指标曲线与基准曲线之间的映射路径;计算单元,还用于基于映射路径,计算指标曲线相对于基准曲线的最大平移量。
在本申请的一些实施例中,映射路径用于表征第一坐标点与第二坐标点的映射关系,第一坐标点为指标曲线中的坐标点,第二坐标点为基准曲线中的坐标点,计算单元具体用于:在至少两个第一坐标点与同一第二坐标点均具有映射关系的情况下,确定指标曲线相对于基准曲线产生平移;获取基准曲线对应的多个第二坐标点中,与每个第二坐标点具有映射关系的第一坐标点的数量,得到每个第二坐标点对应的第二数量;确定多个第二坐标点中的第二目标坐标点,其中,第二目标坐标点对应的第二数量最大;基于第二目标坐标点对应的第二数量,计算最大平移量。
在本申请的一些实施例中,装置还包括:获取模块,还用于获取指标曲线对应的多个第一坐标点中的第一目标坐标点,其中,第一目标坐标点为与第二目标坐标点具有映射关系的第一坐标点;确定模块1010,还用于在最大平移量大于预设平移阈值的情况下,确定指标曲线中的第一目标时间点为异常时间点,其中,第一目标时间点为第一目标坐标点的横坐标。
在本申请的一些实施例中,第一目标坐标点的数量为M,M个第一目标坐标点对应M个第一目标时间点,平移子模块具体用于:在M个第一目标时间点大于或等于第二目标时间点的情况下,确定指标曲线相对于基准曲线产生右平移,则将指标曲线向左平移最大平移量;在M个第一目标时间点小于或等于第二目标时间点的情况下,确定指标曲线相对于基准曲线产生左平移,则将指标曲线向右平移最大平移量。
在本申请的一些实施例中,装置还包括:获取模块,还用于在将目标突变量对应的时间点确定为异常时间点之后,获取性能指标在第二预设时间段内的历史时间序列数据;生成模块,用于基于第二预设时间段内的历史时间序列数据,生成性能指标的Q条历史时间序列曲线,其中,历史时间序列曲线和指标曲线的横坐标均为时间点,纵坐标均为性能指标的指标值;计算模块,用于计算Q条历史时间序列曲线中,每个时间点对应的Q个指标值的平均值和标准差;计算模块,还用于基于每个时间点对应的Q个指标值的平均值和标准差,计算每个时间点对应的上区间值和下区间值,得到每个时间点对应的基准区间;确定模块1010,还用于在指标曲线中连续R个时间点的指标值均不在基准区间,且R大于预设数量的情况下,确定连续R个时间点为异常点。
在本申请的一些实施例中,预设突变条件包括突变量大于第一突变阈值,或者,突变量小于第二突变阈值,确定模块1010具体用于:在目标突变量大于第一突变阈值的情况下,确定目标突变量对应的时间点为指标值突增的异常时间点;在目标突变量小于第二突变阈值的情况下,确定目标突变量对应的时间点为指标值突降的异常时间点;其中,第一突变阈值与第二突变阈值为相反数
本申请第三方面还提供了一种电子设备。图11为本申请第三方面提供的电子设备的一实施例的结构示意图。如图11所示,电子设备1100包括存储器1101、处理器1102及存储在存储器1101上并可在处理器1102上运行的计算机程序。
在一个示例中,上述处理器1102可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1101可包括只读存储器(Read-Only Memory,ROM),随机存取存储器(Random Access Memory,RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请第一方面的实施例中异常检测方法所描述的操作。
处理器1102通过读取存储器1101中存储的可执行程序代码来运行与可执行程序代码对应的计算机程序,以用于实现上述第一方面的实施例中的异常检测方法。
在一些示例中,电子设备1100还可包括通信接口1103和总线1104。其中,如图11所示,存储器1101、处理器1102、通信接口1103通过总线1104连接并完成相互间的通信。
通信接口1103,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。也可通过通信接口1103接入输入设备和/或输出设备。
总线1104包括硬件、软件或两者,将电子设备1100的部件彼此耦接在一起。举例来说而非限制,总线1104可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(Enhanced Industry Standard Architecture,EISA)总线、前端总线(Front Side Bus,FSB)、超传输(Hyper Transport,HT)互连、工业标准架构(Industry Standard Architecture,ISA)总线、无限带宽互连、低引脚数(Low pin count,LPC)总线、存储器总线、微信道架构(Micro Channel Architecture,MCA)总线、外围组件互连(Peripheral Component Interconnect,PCI)总线、PCI-Express(PCI-E)总线、串行高级技术附件(Serial Advanced Technology Attachment,SATA)总线、视频电子标准协会局部(Video Electronics Standards Association Local Bus,VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线1104可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
本申请第四方面提供一种计算机可读存储介质,该计算机可读存储介质上存储有程序或指令,该程序或指令被处理器执行时可实现上述第一方面所示的异常检测方法,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,上述计算机可读存储介质可包括非暂态计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等,在此并不限定。
本申请第五方面提供一种计算机程序产品,该计算机程序产品被存储在非易失的存储介质中,计算机程序产品被至少一个处理器执行时实现如第一方面所示的异常检测方法的步骤,异常检测方法的具体内容可参见上述实施例中的相关说明,在此不再赘述。
本申请第六方面提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所示的异常检测方法的实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要明确的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。对于装置实施例、用户终端实施例、设备实施例、系统实施例和计算机可读存储介质实施例而言,相关之处可以参见方法实施例的说明部分。本申请并不局限于上文所描述并在图中示出的特定步骤和结构。本领域的技术人员可以在领会本申请的精神之后,作出各种改变、修改和添加,或者改变步骤之间的顺序。并且,为了简明起见,这里省略对已知方法技术的详细描述。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
本领域技术人员应能理解,上述实施例均是示例性而非限制性的。在不同实施例中出现的不同技术特征可以进行组合,以取得有益效果。本领域技术人员在研究附图、说明书及权利要求书的基础上,应能理解并实现所揭示的实施例的其他变化的实施例。在权利要求书中,术语“包括”并不排除其他装置或步骤;数量词“一个”不排除多个;术语“第一”、“第二”用于标示名称而非用于表示任何特定的顺序。权利要求中的任何附图标记均不应被理解为对保护范围的限制。权利要求中出现的多个部分的功能可以由一个单独的硬件或软件模块来实现。某些技术特征出现在不同的从属权利要求中并不意味着不能将这些技术特征进行组合以取得有益效果。
Claims (14)
1.一种异常检测方法,其特征在于,所述方法包括:
在获取到性能指标的指标曲线的情况下,确定所述指标曲线的一阶差分曲线,其中,所述指标曲线基于所述性能指标的时间序列数据生成,所述一阶差分曲线的纵坐标为一阶差分值,所述一阶差分值用于表征所述指标曲线中相邻两个时间点的指标值的变化量;
采用预设时间窗口在所述一阶差分曲线上滑动,在滑动过程中确定所述一阶差分曲线在所述预设时间窗口内的纵坐标的和值,得到所述性能指标的多个突变量;
确定所述多个突变量中满足预设突变条件的目标突变量,将所述目标突变量对应的时间点确定为异常时间点。
2.根据权利要求1所述的方法,其特征在于,所述确定所述指标曲线的一阶差分曲线,包括:
在所述指标曲线为平缓型曲线的情况下,基于所述指标曲线确定所述一阶差分曲线;
在所述指标曲线为波动型曲线的情况下,确定所述指标曲线相对于基准曲线的最大平移量,所述基准曲线基于所述性能指标的历史时间序列曲线生成;
在所述最大平移量大于预设平移阈值的情况下,对所述指标曲线进行逆向平移,并基于逆向平移后的指标曲线确定所述一阶差分曲线。
3.根据权利要求2所述的方法,其特征在于,在所述确定所述指标曲线的一阶差分曲线之前,所述方法还包括:
将所述指标曲线划分为N个时间区间,并获取每个时间区间的区间最大值与区间最小值;
计算每个时间区间的区间最大值与区间最小值之间的差值,得到所述N个时间区间对应的N个差值;
确定所述N个时间区间中目标时间区间的第一数量,其中,所述目标时间区间对应差值大于第一预设阈值;
在所述第一数量与N的比值小于或等于第一比率的情况下,确定所述指标曲线为平缓型曲线;
在所述第一数量与N的比值大于所述第一比率的情况下,确定所述指标曲线为波动型曲线。
4.根据权利要求2所述的方法,其特征在于,在所述确定所述指标曲线相对于基准曲线的最大平移量之前,所述方法还包括:
获取所述性能指标在第一预设时间段内的历史时间序列数据;
基于所述第一预设时间段内的历史时间序列数据,生成所述性能指标的P条历史时间序列曲线,其中,所述历史时间序列曲线的横坐标为时间点,纵坐标为所述性能指标的指标值;
计算所述P条历史时间序列曲线中,每个时间点对应的P个指标值的平均值;
将所述P个指标值的平均值作为纵坐标,生成所述基准曲线。
5.根据权利要求2或4所述的方法,其特征在于,所述确定所述指标曲线相对于基准曲线的最大平移量,包括:
基于动态时间归整DTW算法,计算所述指标曲线与所述基准曲线的相似度,得到所述指标曲线与所述基准曲线的最短距离,以及所述指标曲线与所述基准曲线之间的映射路径;
基于所述映射路径,计算所述指标曲线相对于所述基准曲线的最大平移量。
6.根据权利要求5所述的方法,其特征在于,所述映射路径用于表征第一坐标点与第二坐标点的映射关系,所述第一坐标点为所述指标曲线中的坐标点,所述第二坐标点为所述基准曲线中的坐标点,所述基于所述映射路径,计算所述指标曲线相对于所述基准曲线的最大平移量,包括:
在至少两个第一坐标点与同一第二坐标点均具有映射关系的情况下,确定所述指标曲线相对于所述基准曲线产生平移;
获取所述基准曲线对应的多个第二坐标点中,与每个第二坐标点具有映射关系的第一坐标点的数量,得到每个第二坐标点对应的第二数量;
确定所述多个第二坐标点中的第二目标坐标点,其中,所述第二目标坐标点对应的第二数量最大;
基于所述第二目标坐标点对应的第二数量,计算所述最大平移量。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取所述指标曲线对应的多个第一坐标点中的第一目标坐标点,其中,所述第一目标坐标点为与所述第二目标坐标点具有映射关系的第一坐标点;
在所述最大平移量大于预设平移阈值的情况下,确定所述指标曲线中的第一目标时间点为异常时间点,其中,所述第一目标时间点为所述第一目标坐标点的横坐标。
8.根据权利要求7所述的方法,其特征在于,所述第一目标坐标点的数量为M,M个第一目标坐标点对应M个第一目标时间点,所述第二目标坐标点的横坐标为第二目标时间点,所述对所述指标曲线进行逆向平移,包括:
在所述M个第一目标时间点大于或等于所述第二目标时间点的情况下,确定所述指标曲线相对于所述基准曲线产生右平移,则将所述指标曲线向左平移所述最大平移量;
在所述M个第一目标时间点小于或等于所述第二目标时间点的情况下,确定所述指标曲线相对于所述基准曲线产生左平移,则将所述指标曲线向右平移所述最大平移量。
9.根据权利要求1所述的方法,其特征在于,在所述将所述目标突变量对应的时间点确定为异常时间点之后,所述方法还包括:
获取所述性能指标在第二预设时间段内的历史时间序列数据;
基于所述第二预设时间段内的历史时间序列数据,生成所述性能指标的Q条历史时间序列曲线,其中,所述历史时间序列曲线和所述指标曲线的横坐标均为时间点,纵坐标均为所述性能指标的指标值;
计算所述Q条历史时间序列曲线中,每个时间点对应的Q个指标值的平均值和标准差;
基于所述每个时间点对应的Q个指标值的平均值和标准差,计算每个时间点对应的上区间值和下区间值,得到每个时间点对应的基准区间;
在所述指标曲线中连续R个时间点的指标值均不在所述基准区间,且R大于预设数量的情况下,确定所述连续R个时间点为异常点。
10.根据权利要求1所述的方法,其特征在于,所述预设突变条件包括所述突变量大于第一突变阈值,或者,所述突变量小于第二突变阈值,所述将所述目标突变量对应的时间点确定为异常时间点,包括:
在所述目标突变量大于所述第一突变阈值的情况下,确定所述目标突变量对应的时间点为指标值突增的异常时间点;
在所述目标突变量小于所述第二突变阈值的情况下,确定所述目标突变量对应的时间点为指标值突降的异常时间点;
其中,所述第一突变阈值与所述第二突变阈值为相反数。
11.一种异常检测装置,其特征在于,所述装置包括:
确定模块,用于在获取到性能指标的指标曲线的情况下,确定所述指标曲线的一阶差分曲线,其中,所述指标曲线基于所述性能指标的时间序列数据生成,所述一阶差分曲线的纵坐标为一阶差分值,所述一阶差分值用于表征所述指标曲线中相邻两个时间点的指标值的变化量;
所述确定模块,还用于采用预设时间窗口在所述一阶差分曲线上滑动,在滑动过程中确定所述一阶差分曲线在所述预设时间窗口内的纵坐标的和值,得到所述性能指标的多个突变量;
检测模块,用于确定所述多个突变量中满足预设突变条件的目标突变量,将所述目标突变量对应的时间点确定为异常时间点。
12.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1至10中任意一项所述的异常检测方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至10中任意一项所述的异常检测方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品被存储在非易失的存储介质中,所述计算机程序产品被至少一个处理器执行时实现如权利要求1至10中任意一项所述的异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310075340.XA CN116127270A (zh) | 2023-01-18 | 2023-01-18 | 异常检测方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310075340.XA CN116127270A (zh) | 2023-01-18 | 2023-01-18 | 异常检测方法、装置、设备、介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116127270A true CN116127270A (zh) | 2023-05-16 |
Family
ID=86307789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310075340.XA Pending CN116127270A (zh) | 2023-01-18 | 2023-01-18 | 异常检测方法、装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116127270A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117195008A (zh) * | 2023-11-08 | 2023-12-08 | 山东神光航天科技有限公司 | 一种用于空气质量监测的异常数据处理方法 |
-
2023
- 2023-01-18 CN CN202310075340.XA patent/CN116127270A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117195008A (zh) * | 2023-11-08 | 2023-12-08 | 山东神光航天科技有限公司 | 一种用于空气质量监测的异常数据处理方法 |
CN117195008B (zh) * | 2023-11-08 | 2024-03-12 | 山东神光航天科技有限公司 | 一种用于空气质量监测的异常数据处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109905269B (zh) | 确定网络故障的方法和装置 | |
US8248228B2 (en) | Method and device for optimizing the alarm configuration | |
EP2992340B1 (en) | System and method for ups battery monitoring and data analysis | |
US20180095454A1 (en) | Pre-processor and diagnosis device | |
CN110059293B (zh) | 基金估值数据的数据质量的确定方法、装置和服务器 | |
CN111811567B (zh) | 一种基于曲线拐点比对的设备检测方法及相关装置 | |
CN111090685A (zh) | 一种数据异常特征的检测方法及装置 | |
CN111860698B (zh) | 确定学习模型的稳定性的方法和装置 | |
CN116127270A (zh) | 异常检测方法、装置、设备、介质及产品 | |
CN107276779B (zh) | 一种监控方法、系统及设备 | |
US20220405715A1 (en) | Inspection related systems and methods | |
CN111797889A (zh) | 基于分段线性表示的单变量报警系统性能评价方法及系统 | |
CN114037219A (zh) | 一种数据评估方法、装置及电子设备 | |
CN108399115B (zh) | 一种运维操作检测方法、装置及电子设备 | |
CN115081673B (zh) | 一种油气管道的异常预测方法、装置、电子设备及介质 | |
CN117421616A (zh) | 一种矿山竖井井筒检测系统及方法 | |
CN110399903B (zh) | 异常数据的检测方法及装置、计算机可读存储介质 | |
CN118008478A (zh) | 一种煤矿采空区温度监测方法、装置、电子设备以及介质 | |
CN112486722B (zh) | 一种系统故障检测方法及相关装置 | |
CN117110736A (zh) | 一种基于配电网避雷器的检测预警方法及系统 | |
CN113515554A (zh) | 用于不规则采样的时间序列的异常检测方法和系统 | |
CN116680599A (zh) | 运维故障的识别方法、装置、设备及可读存储介质 | |
CN116955050A (zh) | 检测指标的不可信时段 | |
CN115309957A (zh) | 一种试验测试数据质量监测方法 | |
CN114118720A (zh) | 一种核电厂循环水泵运行状态综合评价方法、装置及电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |