CN113554128A - 一种非常规异常检测方法、系统及存储介质 - Google Patents

一种非常规异常检测方法、系统及存储介质 Download PDF

Info

Publication number
CN113554128A
CN113554128A CN202111102881.4A CN202111102881A CN113554128A CN 113554128 A CN113554128 A CN 113554128A CN 202111102881 A CN202111102881 A CN 202111102881A CN 113554128 A CN113554128 A CN 113554128A
Authority
CN
China
Prior art keywords
abnormal
abnormal point
point
feature
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111102881.4A
Other languages
English (en)
Other versions
CN113554128B (zh
Inventor
吴勇
史晨阳
彭晓
王岗
孙纪周
潘竹
周放
冯震
巩政杰
魏耀辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Everbright Bank Co Ltd
Original Assignee
China Everbright Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Everbright Bank Co Ltd filed Critical China Everbright Bank Co Ltd
Priority to CN202111102881.4A priority Critical patent/CN113554128B/zh
Publication of CN113554128A publication Critical patent/CN113554128A/zh
Application granted granted Critical
Publication of CN113554128B publication Critical patent/CN113554128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种非常规异常检测方法、系统及存储介质,包括:S1检测输入数据存在异常维度的异常点;S2确定异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点;S3确定特征提取模型;S4采用S3的特征提取模型计算第二异常点的特征指标数据;S5聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点;S6排除与第一异常点重叠的第三异常点,确定为非常规异常。本发明解决了难以对发生频率低、单个指标异常程度不高、交易小的故障情况进行准确有效异常检测的技术问题,对非常规异常检测的针对性强、准确率高、识别速度快。

Description

一种非常规异常检测方法、系统及存储介质
技术领域
本发明涉及异常检测,具体涉及一种非常规异常检测方法、系统及存储介质。
背景技术
金融领域异常检测的一种常见方法为,通过交易量失败情况统计故障,进而分析上述故障的各项指标情况。系统异常的判断通常通过指标的阈值程度确定,即,当异常超过一定阈值时,认为属于系统异常,否则则认为属于可接收的故障场景。例如,当特定时间区间内,发生的失败交易频率大于指定阈值,或单笔交易的异常程度大于指定阈值等,则为判断系统异常的常规方法。现有场景中,出现了部分发生频率低、单个指标异常程度不高、交易小、样本数量少的故障情况。这类故障的识别难度在于:难以通过通常的超过阈值的检测方法将其有效识别;难以与不需要被判定为系统异常的正常的刷卡失败情况加以准确区分。因此,针对这类故障程度不足以被确定为系统异常的非常规故障在系统异常检测时,容易被海量情况淹没,无法准确、有效地针对该类特定系统异常进行识别。
发明内容
为解决现有技术存在的难以对发生频率低、单个指标异常程度不高、交易小的故障情况进行准确有效异常检测的技术问题,本发明提供1.一种非常规异常检测方法,其特征在于,包括:
S1检测输入数据存在异常维度的异常点;
S2确定异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点;
S3确定特征提取模型;
S4 采用S3的特征提取模型计算第二异常点的特征指标数据;
S5聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点;
S6排除与第一异常点重叠的第三异常点,确定为非常规异常;
所述特征提取模型通过最小化损失函数降低特征扩展后减枝的工作量,所述损失函数与第三异常点及第三异常点对应的真实出现的非常规异常的第四异常点的相似度正相关,与第三异常点及第一异常点的相似度负相关。
优选的,所述非常规异常检测方法还包括S7:聚合评价所述S6确定的非常规异常,所述聚合评价的方法为,计算第三异常点与第一异常点的相似度,或/且,计算第三异常点与第四异常点的相似度;所述第四异常点为真实出现的非常规异常。
优选的,所述聚合评价方法还包括:
统计第四异常点;所述第四异常点的统计方法为:当前时间窗口下统计获得第一聚合结果;在扩展时间窗口内统计获得第二聚合结果;在泛化空间区间下统计获得第三聚合结果。
优选的,所述S3确定特征提取模型的方法为,根据历史数据及聚合评价的结果优化特征提取模型。
优选的,所述特征提取模型的确定方法包括:
识别异常点特征;
对异常点的特征进行排列组合,获得第一特征指标向量;
对第一特征指向量标进行剪枝,获得第二特征指标向量。
优选的,所述计算针对第二特征指标向量的权重向量的方法为,以损失函数最小时的权重向量作为对第二特征指标向量进行剪枝的权重向量;所述损失函数为:
Loss_weight = Loss_cls +Lamda_reg*Loss_reg;
其中,Loss_weight为损失函数,Loss_cls为精度损失函数,Lamda_reg为超参数,Loss_reg为计算量约束量。
优选的,所述S6包括:
S6.1获取第三异常点及第三异常点周边点的特征数据;
S6.2动态匹配第三异常点及第三异常点周边数据的特征数据;
S6.3去除与第一异常点重叠的第三异常点及第三异常点周边点。
一种非常规异常检测系统,包括:
异常检测模块,被配置为检测输入数据存在异常维度的异常点;
异常判断模块,被配置为执行异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点;
特征提取模型;
特征提取模块,被配置为根据特征模型提取模型计算第二异常点的特征指标数据;
聚合模块,被配置为聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点;
非常规异常判断模块,被配置为排除与第一异常点重叠的第三异常点,确定为非常规异常;
聚合评价模块,被配置为通过计算第三异常点与第一异常点的相似度,或/且,计算第三异常点与第四异常点的相似度,评价聚合结果;所述第四异常点为真实出现的非常规异常。
优选的,所述特征提取模型包括:特征识别模块、特征扩展模块、剪枝模块、权重向量计算模块。
一种存储介质,其存储有计算机程序;当所述计算机程序被计算设备中的处理器执行时,计算设备执行如上述任一项所述的方法。
本发明通过优化特征提取模型重新对特征进行组合进行提取,并对提取后的离散、低异常程度的异常点的特征进行聚合,以及对常规异常的排除,有效、准确地针对低频发、低阈值异常信号、少样本数量的系统异常进行有针对性识别。
附图说明
为了更清楚地说明发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种非常规异常检测方法流程图;
图2是本发明实施例一提供的特征提取模型确定方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本实施例提供了一种非常规异常检测方法,流程如图1-2所示。
本实施例针对金融交易数据中,针对低频发、低阈值异常信号的故障进行识别聚合后有效识别。例如,单次、小交易的POS刷卡失败的原因可能为卡内余额不足或无效卡,该类情况即使出现故障返回码,也无需被认定为异常。但实际场景中,在某些短时间区间内,某些区域内或特定POS机,出现小范围多次无法有效刷卡的情况,该类情况发生频率低,异常程度低,交易数额小,样本数量少。识别难度在于一来难以通过通常的超过阈值的检测方法将其有效识别,二来难以与不需要被判定为系统异常的失败情况加以准确区分。本实施例通过优化特征提取模型重新对特征进行组合提取,并对提取后的离散、低异常程度的异常点的特征进行聚合,以及对常规异常的排除,有效、准确地针对上述非常规异常点进行有针对性识别。
本实施例提供的检测方法流程如下:
S1检测输入数据存在异常维度的异常点;所述异常点检测选择的阈值远低于通常的系统异常检测采用的阈值,目的在于全面囊括各种的故障情况,即包括高频发高异常程度的异常点,也包括可能由于余额不足,或失效卡所带来的正常的无需被识别为系统故障的异常点。S1的输入数据为海量的交易数据,输出数据基于KPI的异常检测算法的获得的异常点的各指标的时间序列。
S2确定异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点。
第一异常点即为通常情况下认定的系统异常,其发生频率高,或样本数量多,或特定指标异常程度大。第二类异常点包括可能后续被识别为的非常规异常,也包括无需被识别为异常的简单故障。第一类异常点与第二类异常点同通过大于第一阈值或小于第一阈值区分。S2识别的第一类异常点,即,常规异常点的目的包括:作为S6的排除项,有效滤除该类常规异常点,提高输出的非常规异常的精准性;用于S7的聚合效果评价,进而优化特征提取模型,使得迭代后的特征提取模型更有针对性地对非常规异常进行特征提取,通过优化剪枝过程及权重向量,避免引入常规异常情况的识别,提高后续利用该特征提取模型识别非常规异常的准确性。
S3确定特征提取模型;所述S3确定特征提取模型的方法为,根据历史数据及聚合评价优化特征提取模块。历史数据为包括出现非常规异常的过往的海量交易数据,聚合评价为通过反馈上次聚合结果与真实值(真实出现的非常规异常)的对比,以及聚合结果与第二类异常点(高频发的常规异常)的对比,优化损失函数的计算量约束。
所述特征提取模型的确定方法包括:
识别异常点特征;
对异常点的特征进行排列组合,获得第一特征指标向量;
对第一特征指向量标进行剪枝,获得第二特征指标向量。
所述计算针对第二特征指标向量的权重向量的方法为,以损失函数最小时的权重向量作为第二特征指标向量的权重向量。
具体的,所述特征提取模型的确定流程如图2所示:
实时输入异常点,对异常点进行数据收集和特征抽取,并在特征空间对抽取的特征进行排列T1,T2,T3,T4,T5……,Tn。在特征空间维度组合和权重排列组合过程中,同时考虑历史特征颗粒数据。对权重特征进行扩展,形成特征指标,扩展的方式可以为:(T1,T2,T3),(T1,T8),(T9),(T2,T8,T10)……。上述仅为特征扩展的部分表现,实际计算过程中,上述特征扩展可包括多种、不同数量的特征的单一或组合打包,每个单一或组合包包括的特征数量、组合包的数量等均不影响本实施例的实现,扩展程度的颗粒度影响特征提取模型的精度,通常情况下,颗粒度越细,提取模型精度越高的可能性越大。由于特征扩展为后续的剪枝提供基础,故而,扩展增广的特征指标数量应较大,以便于后续的模型优化。针对扩展后的特征指标向量,采用历史数据进行训练,采用聚合评价进行优化,最终确定对特征指标向量进行的剪枝的权重向量。
计算针对权重向量的方法为,以损失函数最小时的权重向量作为权重向量。优选的,损失函数为:
Loss_weight = Loss_cls +Lamda_reg*Loss_reg;
其中,Loss_weight为损失函数,Loss_cls为精度损失函数,Lamda_reg为第一超参数,Loss_reg为计算量约束量;所述精度损失函数可选自常规训练模型的精度损失函数,所述第一超参数为逐次训练前预设定义的常数,所述计算量约束量的计算方式为:
Loss_reg = sigma*diff真实值+ (1-sigma)/diff常规异常
其中,sigma为第二超参数,范围为[0,1],diff真实值为第三异常点与第三异常点对应的真实出现的非常规异常的第四异常点的相似度;diff常规异常为第三异常点与第一异常点的相似度,范围为[-a,+a],相似度可以通过对比函数、欧式距离等相似度计算函数或其组合计算。
通过以损失函数最小时的权重向量作为权重向量,设定低于指定阈值的权重为0,并基于此对第一特征指标向量进行剪枝,获得第二特征指标向量及对应第二特征指标向量的权重向量。
将第二特征指标向量和对应第二特征指标向量的权重向量的结合作为特征提取模型。本实施例特征提取模型的确定方法对识别的特征维度进行丰富,避免了单一维度的片面性,增强维度间的关联性。此外,本实施例优化特征提取模型的确定方法,在特征扩展后大量特征指标的基础上,通过有效的损失函数,采用历史数据训练及聚合反馈进行优化。针对非常规异常的特点对大量特征指标赋予权重,一方面不引入过多指标导致计算速度降低,另一方面在保持计算效率的同时,提高了特定于非常规异常的识别精度。
S4 采用S3的特征提取模型计算第二异常点的特征指标数据。其中,特征提取模型包括第二特征指标向量和对应第二特征指标向量的权重向量。基于特征提取模型提取输出每个异常点j对应的第j特征指标数据。第j特征指标数据可以为(j,I1,I2,……Ik),其中I1,I2,……Ik为第1-k个特征指标。
S5聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点。
聚合的输入数据为基于特征提取模型提取输出每个异常点及每个异常点周边点的特征指标数据形成的特征列表,根据输入的特征指标进行动态匹配。
S6排除与第一异常点重叠的第三异常点,确定为非常规异常。
S6.1获取第三异常点及第三异常点周边数据的特征指标数据;
S6.2动态匹配第三异常点及第三异常点周边数据的特征指标数据;
S6.3通过词频逆文本频率指数去除高频第三异常点及第三异常点周边数据的特征指标数据。
在异常检测时,对非常规异常进行周边数据的扩展,该扩展可能导致与常规高频发的异常出现重叠。为避免高频发的常规异常对检测结果产生影响,需对该类异常进行排除。去除方式可以采用高频特征维度的去除方法,或边界阈值的去除方法等任一可排除高频发、大异常程度的异常点均可,高频特征维度去除方法可采用TF-IDF。
S7:采用聚合评价结果优化特征提取模型,所述聚合评价方法为,第三异常点与第一异常点的相似度,或对比第三异常点与第四异常点的相似度。具体包括:
S7.1统计历史数据真实出现非常规异常的第四异常点;所述第四异常点统计方法为:
对当前的每个异常点及每个异常点周边的特征进行聚合,获得列表1;
对当前及当前向前拉伸n倍时间窗口的时间区间内,每个异常点及每个异常点周边的特征进行聚合,获得列表2;
对空间泛化多个KPI后,当前的每个异常点及每个异常点周边的特征进行聚合,获得列表3;
对当前及当前向前拉伸n倍时间窗口的时间区间内,空间泛化多个KPI后每个异常点及每个异常点周边的特征进行聚合,获得列表4。
聚合结果的对比涉及以下原则:若同时存在于列表1-列表4中,则对该结果赋较高权重;若列表1中存在但不存在在列表2-列表4中,或列表1中不存在但存在在列表2-4中,则对该结果赋较低权重;若均不存在于列表1-4中,则忽略该结果。
S7.2计算第三异常点与第四异常点的相似度;计算第三异常点与第一异常点的相似度。
聚合评价分为两类,一是评价聚合结果与真实发生的非常规异常之间的有效命中情况,二是评价聚合结果与常规异常之间的错误命中情况。对第一类聚合评价来说,其聚合评价反馈特征模型,对特征的扩展、采用的权重向量的确定有优化作用,有效提高真实命中非常规异常的准确性。对第二来聚合评价来说,除与第一类聚合评价相似的,提高命中非常规异常的准确性避免命中常规异常外,还包括考虑附近的常规异常点数据的某些特征对非常规异常点特征提取时的影响,通过聚合评价的反馈避免周边点特征的关联干扰。
实施例二
本实施例提供一种非常规异常检测系统,包括:
异常检测模块,被配置为检测输入数据存在异常维度的异常点。所述异常点检测选择的阈值远低于通常的系统异常检测采用的阈值,目的在于全面囊括各种的故障情况,即包括高频发高异常程度的异常点,也包括可能由于余额不足,或失效卡所带来的正常的无需被识别为系统故障的异常点。S1的输入数据为海量的交易数据,输出数据基于KPI的异常检测算法的获得的异常点的各指标的时间序列。
异常判断模块,被配置为执行异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点。第一异常点即为通常情况下认定的系统异常,其发生频率高,或样本数量多,或特定指标异常程度大。第二类异常点包括可能后续被识别为的非常规异常,也包括无需被识别为异常的简单故障。第一类异常点与第二类异常点同通过大于第一阈值或小于第一阈值加以区分。S2识别的第一类异常点,即,常规异常点的目的包括:作为S6的排除项,有效滤除该类常规异常点,提高输出的非常规异常的精准性;用于S7的聚合效果评估进而优化特征提取模型,使得迭代后的特征提取模型更有针对性地对非常规异常进行特征提取,通过优化剪枝过程及权重向量,避免引入常规异常情况的识别,提高后续利用该特征提取模型识别非常规异常的准确性。
特征提取模型。所述特征提取模型包括:特征识别模块、特征扩展模块、剪枝模块、权重向量计算模块。所述特征提取模型的确定包括以下步骤:实时输入异常点,对异常点进行数据收集和特征抽取,并在特征空间对抽取的特征进行排列T1,T2,T3,T4,T5……,Tn。在特征空间维度组合和权重排列组合过程中,同时考虑历史特征颗粒数据。对权重特征进行扩展,形成特征指标,扩展的方式可以为:(T1,T2,T3),(T1,T8),(T9),(T2,T8,T10)……。上述仅为特征扩展的部分表现,实际计算过程中,上述特征扩展可包括多种、不同数量的特征的单一或组合打包,每个单一或组合包包括的特征数量、组合包的数量等均不影响本实施例的实现,扩展程度的颗粒度影响特征提取模型的精度,通常情况下,颗粒度越细,提取模型精度越高的可能性越大。由于特征扩展为后续的剪枝提供基础,故而,扩展增广的特征指标数量应较大,以便于后续的模型优化。针对扩展后的特征指标向量,采用历史数据进行训练,采用聚合评价进行优化,最终确定对特征指标向量进行的剪枝的权重向量。针对历史数据的训练,及聚合评价,确定基于权重向量的剪枝模块,输出的特征提取模型包括第二特征指标向量和对应第二特征指标向量的权重向量。本实施例特征提取模型的确定方法对识别的特征维度进行丰富,避免了单一维度的片面性,增强维度间的关联性。此外,本实施例优化特征提取模型的确定方法,在特征扩展后大量特征指标的基础上,通过有效的损失函数,采用历史数据训练及聚合反馈进行优化。针对非常规异常的特点对大量特征指标赋予权重,一方面不引入过多指标导致计算速度降低,另一方面在保持计算效率的同时,提高了特定于非常规异常的识别精度。
特征提取模块,被配置为采用特征提取模型计算第二异常点的特征指标数据。其中,特征提取模型包括第二特征指标向量和对应第二特征指标向量的权重向量。基于特征提取模型提取输出每个异常点j对应的第j特征指标数据。第j特征指标数据可以为(j,I1,I2,……Ik),其中I1,I2,……Ik为第1-k个特征指标。
聚合模块,被配置为聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点。
非常规异常判断模块,被配置为排除与第一异常点重叠的第三异常点,确定为非常规异常。具体执行:获取第三异常点及第三异常点周边数据的特征数据;动态匹配第三异常点及第三异常点周边数据的特征数据;通过词频逆文本频率指数去除高频第三异常点及第三异常点周边数据的特征数据。在异常检测时,对非常规异常进行周边数据的扩展,该扩展可能导致与常规高频发的异常出现重叠,为避免高频发的常规异常对检测结果产生影响,对该类异常进行排除。
聚合评价模块被配置为通过计算第三异常点与第一异常点的相似度,或/且,计算第三异常点与第四异常点的相似度,评价聚合结果;所述第四异常点为真实出现的非常规异常。采用聚合评价结果优化特征提取模型。所述聚合评价方法为统计历史数据真实出现非常规异常的第四异常点;对当前的每个异常点及每个异常点周边的特征进行聚合,获得列表1;对当前及当前向前拉伸n倍时间窗口的时间区间内,每个异常点及每个异常点周边的特征进行聚合,获得列表2;对空间泛化多个KPI后,当前的每个异常点及每个异常点周边的特征进行聚合,获得列表3;对当前及当前向前拉伸n倍时间窗口的时间区间内,空间泛化多个KPI后每个异常点及每个异常点周边的特征进行聚合,获得列表4。聚合结果的对比涉及以下原则:若同时存在于列表1-列表4中,则对该结果赋较高权重;若列表1中存在但不存在在列表2-列表4中,或列表1中不存在但存在在列表2-4中,则对该结果赋较低权重;若均不存在于列表1-4中,则忽略该结果。计算第三异常点与第四异常点的相似度;计算第三异常点与第一异常点的相似度。聚合评价分为两类,一是评价聚合结果与真实发生的非常规异常之间的有效命中情况,二是评价聚合结果与常规异常之间的错误命中情况。对第一类聚合评价来说,其聚合评价反馈特征模型,对特征的扩展、采用的权重向量的确定有优化作用,有效提高真实命中非常规异常的准确性。对第二来聚合评价来说,除与第一类聚合评价相似的,提高命中非常规异常的准确性避免命中常规异常外,还包括考虑附近的常规异常点数据的某些特征对非常规异常点特征提取时的影响,通过聚合评价的反馈避免周边点特征的关联干扰。
实施例三
本实施例提供一种计算机可读存储介质,其存储有计算机程序;当所述计算机程序被计算设备中的处理器执行时,使得计算设备执行实施例一任一所述的方法。
实施例一至三通过优化特征提取模型重新对特征进行组合进行提取,并对提取后的离散、低异常程度的异常点的特征进行聚合,以及对常规异常的排除,有效、准确地针对低频发、低阈值异常信号、少样本数量的系统异常进行有针对性识别。
为了说明的目的,前述描述使用具体命名以提供对所述实施方案的透彻理解。然而,对于本领域的技术人员而言将显而易见的是,不需要具体细节即可实践所述实施方案。因此,出于例示和描述的目的,呈现了对本文所述的具体实施方案的前述描述。这些描述并非旨在是穷举性的或将实施方案限制到所公开的精确形式。对于本领域的普通技术人员而言将显而易见的是,鉴于上面的教导内容,许多修改和变型是可行的。另外,当在本文中用于指部件的位置时,上文和下文的术语或它们的同义词不一定指相对于外部参照的绝对位置,而是指部件的参考附图的相对位置。
此外,前述附图和描述包括许多概念和特征,其可以多种方式组合以实现多种有益效果和优点。因此,可组合来自各种不同附图的特征,部件,元件和/或概念,以产生未必在本说明书中示出或描述的实施方案或实施方式。此外,在任何特定实施方案和/或实施方式中,不一定需要具体附图或说明中所示的所有特征,部件,元件和/或概念。应当理解,此类实施方案和/或实施方式落入本说明书的范围。

Claims (10)

1.一种非常规异常检测方法,其特征在于,包括:
S1检测输入数据存在异常维度的异常点;
S2确定异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点;
S3确定特征提取模型;
S4 采用S3的特征提取模型计算第二异常点的特征指标数据;
S5聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点;
S6排除与第一异常点重叠的第三异常点,确定为非常规异常;
所述特征提取模型通过最小化损失函数降低特征扩展后减枝的工作量,所述损失函数与第三异常点及第三异常点对应的真实出现的非常规异常的第四异常点的相似度正相关,与第三异常点及第一异常点的相似度负相关。
2.根据权利要求1所述的非常规异常检测方法,其特征在于,所述非常规异常检测方法还包括S7:聚合评价所述S6确定的非常规异常,所述聚合评价的方法为,计算第三异常点与第一异常点的相似度,或/且,计算第三异常点与第四异常点的相似度;所述第四异常点为真实出现的非常规异常。
3.根据权利要求2所述的非常规异常检测方法,其特征在于,所述聚合评价方法还包括:
统计第四异常点;所述第四异常点的统计方法为:当前时间窗口下统计获得第一聚合结果;在扩展时间窗口内统计获得第二聚合结果;在泛化空间区间下统计获得第三聚合结果。
4.根据权利要求2所述的非常规异常检测方法,其特征在于,所述S3确定特征提取模型的方法为,根据历史数据及聚合评价的结果优化特征提取模型。
5.根据权利要求1所述的非常规异常检测方法,其特征在于,所述特征提取模型的确定方法包括:
识别异常点特征;
对异常点的特征进行排列组合,获得第一特征指标向量;
对第一特征指向量标进行剪枝,获得第二特征指标向量。
6.根据权利要求5所述的非常规异常检测方法,其特征在于,所述计算针对第二特征指标向量的权重向量的方法为,以损失函数最小时的权重向量作为对第二特征指标向量进行剪枝的权重向量;所述损失函数为:
Loss_weight = Loss_cls +Lamda_reg*Loss_reg;
其中,Loss_weight为损失函数,Loss_cls为精度损失函数,Lamda_reg为超参数,Loss_reg为计算量约束量。
7.根据权利要求1所述的非常规异常检测方法,其特征在于,所述S6包括:
S6.1获取第三异常点及第三异常点周边点的特征数据;
S6.2动态匹配第三异常点及第三异常点周边数据的特征数据;
S6.3去除与第一异常点重叠的第三异常点及第三异常点周边点。
8.一种非常规异常检测系统,其特征在于,包括:
异常检测模块,被配置为检测输入数据存在异常维度的异常点;
异常判断模块,被配置为执行异常程度超过第一阈值的异常点为第一异常点,异常程度未超过第一阈值的异常点为第二异常点;
特征提取模型;
特征提取模块,被配置为根据特征模型提取模型计算第二异常点的特征指标数据;
聚合模块,被配置为聚合第二异常点的特征指标数据,若聚合后的第二异常点的特征指标数据超过第二阈值,则确定为第三异常点;
非常规异常判断模块,被配置为排除与第一异常点重叠的第三异常点,确定为非常规异常;
聚合评价模块,被配置为通过计算第三异常点与第一异常点的相似度,或/且,计算第三异常点与第四异常点的相似度,评价聚合结果;所述第四异常点为真实出现的非常规异常。
9.根据权利要求8所述的非常规异常检测系统,其特征在于,所述特征提取模型包括:特征识别模块、特征扩展模块、剪枝模块、权重向量计算模块。
10.一种存储介质,其特征在于,其存储有计算机程序;
当所述计算机程序被计算设备中的处理器执行时,计算设备执行如权利要求1-7任一项所述的方法。
CN202111102881.4A 2021-09-22 2021-09-22 一种非常规异常检测方法、系统及存储介质 Active CN113554128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102881.4A CN113554128B (zh) 2021-09-22 2021-09-22 一种非常规异常检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102881.4A CN113554128B (zh) 2021-09-22 2021-09-22 一种非常规异常检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113554128A true CN113554128A (zh) 2021-10-26
CN113554128B CN113554128B (zh) 2022-03-15

Family

ID=78106402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102881.4A Active CN113554128B (zh) 2021-09-22 2021-09-22 一种非常规异常检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113554128B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080290A (zh) * 2022-06-07 2022-09-20 吉林大学 一种基于智能算法的异常数据检测方法及系统
CN117455497A (zh) * 2023-11-12 2024-01-26 北京营加品牌管理有限公司 一种交易风险检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
CN112163624A (zh) * 2020-09-30 2021-01-01 上海交通大学 基于深度学习和极值理论的数据异常判断方法及系统
CN112700252A (zh) * 2021-03-25 2021-04-23 腾讯科技(深圳)有限公司 一种信息安全性检测方法、装置、电子设备和存储介质
CN112862019A (zh) * 2021-04-25 2021-05-28 北京必示科技有限公司 一种动态筛选非周期性异常方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
CN112163624A (zh) * 2020-09-30 2021-01-01 上海交通大学 基于深度学习和极值理论的数据异常判断方法及系统
CN112700252A (zh) * 2021-03-25 2021-04-23 腾讯科技(深圳)有限公司 一种信息安全性检测方法、装置、电子设备和存储介质
CN112862019A (zh) * 2021-04-25 2021-05-28 北京必示科技有限公司 一种动态筛选非周期性异常方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080290A (zh) * 2022-06-07 2022-09-20 吉林大学 一种基于智能算法的异常数据检测方法及系统
CN117455497A (zh) * 2023-11-12 2024-01-26 北京营加品牌管理有限公司 一种交易风险检测方法及装置

Also Published As

Publication number Publication date
CN113554128B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
US11275639B2 (en) Real-time anomaly detection and correlation of time-series data
US11403160B2 (en) Fault predicting system and fault prediction method
CN113554128B (zh) 一种非常规异常检测方法、系统及存储介质
US10719774B2 (en) Method and system for health monitoring and fault signature identification
US11561954B2 (en) Method and system to estimate the cardinality of sets and set operation results from single and multiple HyperLogLog sketches
CN113255848B (zh) 基于大数据学习的水轮机空化声信号辨识方法
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
CA2931624A1 (en) Systems and methods for event detection and diagnosis
KR102079359B1 (ko) 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법
CN107710089B (zh) 工厂设备诊断装置以及工厂设备诊断方法
SG176797A1 (en) Automatic fault detection and classification in a plasma processing system and methods thereof
Gowid et al. A novel robust automated FFT-based segmentation and features selection algorithm for acoustic emission condition based monitoring systems
CN112801316A (zh) 基于多指标数据的故障定位方法、系统设备及存储介质
CN115237717A (zh) 一种微服务异常检测方法和系统
CN111160329A (zh) 一种根因分析的方法及装置
CN109902731B (zh) 一种基于支持向量机的性能故障的检测方法及装置
US11449781B2 (en) Plant abnormality prediction system and method
WO2023136871A1 (en) Multi-dimensional root cause analysis based on cross-metrics
CN111046947A (zh) 分类器的训练系统及方法、异常样本的识别方法
CN116107847A (zh) 多元时间序列数据异常检测方法、装置、设备及存储介质
Febriansyah et al. Outlier detection and decision tree for wireless sensor network fault diagnosis
CN115982224A (zh) 为多变量时序数据异常检测提供解释性
CN114090377A (zh) 一种数据监控方法及装置
Yang et al. Analysing business process anomalies using discrete-time markov chains
US11288159B2 (en) System model evaluation system, operation management system, system model evaluation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant