CN113079129B - 数据异常检测方法、装置、系统及电子设备 - Google Patents

数据异常检测方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN113079129B
CN113079129B CN202010012938.0A CN202010012938A CN113079129B CN 113079129 B CN113079129 B CN 113079129B CN 202010012938 A CN202010012938 A CN 202010012938A CN 113079129 B CN113079129 B CN 113079129B
Authority
CN
China
Prior art keywords
data
time sequence
abnormal
determining
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010012938.0A
Other languages
English (en)
Other versions
CN113079129A (zh
Inventor
宋晓旻
高井坤
文青松
杨波
何凯
李岩
卞娟娟
孙亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010012938.0A priority Critical patent/CN113079129B/zh
Publication of CN113079129A publication Critical patent/CN113079129A/zh
Application granted granted Critical
Publication of CN113079129B publication Critical patent/CN113079129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design

Abstract

本申请公开了数据异常检测系统、相关方法和装置。其中,系统通过客户端确定目标时序数据,向服务端发送针对目标时序数据的异常检测请求;服务端响应该请求,确定目标时序数据的数据类型;确定与数据类型对应的时序异常检测参数和时序异常检测模型;根据检测参数,通过检测模型确定目标时序数据包括的异常点,向客户端回送异常点;客户端接收异常点,以便于根据异常点执行异常处理。采用这种处理方式,使得自动对时序数据进行分类,针对不同类型的数据自动采用不同的异常检测方式,避免通过统一方式对具有不同异常检测需求的不同类型数据进行异常检测;因此,可以有效降低各种时序数据的异常漏报率和误报率,提升异常检测的准确度。

Description

数据异常检测方法、装置、系统及电子设备
技术领域
本申请涉及数据处理技术领域,具体涉及数据异常检测方法和装置,数据异常检测系统,以及电子设备。
背景技术
数据,已经渗透到当今每一个行业和应用职能领域,成为重要的生产因素。数据技术时代将数据作为生产资料,解决“感知”和“协同”智慧的问题,使效率大幅提升并能完成应用的创新。在数据技术时代,数据主要都是随时间变化的时序数据,日常的时序数据异常检测非常重要,一旦发生数据异常影响不可估量。
所谓异常检测就是监测并发现数据中不符合正常行为的异常模式。它已广泛用于交易监测、故障诊断、疾病检测、入侵检测、身份辨识等领域。例如商家退货比例飙升可能是竞争对手恶意刷单,网络流量的异常可能意味着受攻击主机上敏感信息的泄密,信用卡的异常消费等欺诈行为会导致巨大的经济损失。
目前,一种典型的时序异常检测技术是,基于统一的时序异常检测算法对各种高噪声“机器”数据做时序异常检测的技术。机器数据的噪音(起伏)较大,用户关心的往往是持续一段时间的整体变化,而对于之前单个的起伏不定的单个异常不感兴趣。由于机器数据类型比较简单,因此采用统一的异常检测处理方式即可满足各种机器数据的异常检测需求,能够区分用户感兴趣的异常和一般的噪音。
然而,在实现本发明过程中,发明人发现该技术方案至少存在如下问题:该方案对各种机器数据采用统一的处理方式进行时序异常检测,而商业数据一方面来源多样化,异常定义多样化,不同种类商业数据的异常检测处理具有特定需求,另一方面,异常出现的更加频繁,敏感度要求非常准确,对漏报和误报的要求都很高,因此并不能简单的复用机器数据上的异常检测处理方式。综上所述,现有技术更适于机器数据的异常检测场景,而不适用于商业数据异常检测场景,通过现有技术对商业数据进行异常检测,将导致较高的商业数据异常漏报率和误报率,无法满足商业数据异常检测需求。
发明内容
本申请提供数据异常检测系统,以解决现有技术存在的商业数据异常漏报率和误报率较高的问题。本申请另外提供数据异常检测方法、装置和系统,以及电子设备。
本申请还提供一种数据异常检测系统,包括:
服务端,用于接收第一客户端发送的针对目标时序数据的异常检测请求;确定所述目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点;向所述第一客户端回送所述异常点;
第一客户端,用于确定所述目标时序数据,向服务端发送所述异常检测请求;接收所述异常点,以便于根据所述异常点执行异常处理。
可选的,
第二客户端,用于确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数,向服务端发送针对目标数据类型的参数设置请求;
所述服务端,还用于接收所述参数设置请求,存储所述目标数据类型、所述特征值、所述检测参数、及所述检测模型动作参数间的对应关系;以及,确定与所述数据类型对应的检测模型动作参数;根据所述动作参数,确定所述检测模型。
可选的,
第二客户端,用于确定目标数据类型及其对应的特征值、检测参数和检测模型,向服务端发送针对目标数据类型的参数设置请求;
所述服务端,还用于接收所述参数设置请求,存储所述目标数据类型、所述特征值、所述检测参数、及所述检测模型标识三者间的对应关系;以及,具体用于根据所述检测模型标识,确定所述检测模型。
本申请还提供一种数据异常检测方法,包括:
接收客户端发送的针对目标时序数据的异常检测请求;
确定目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点;
向所述客户端回送所述异常点。
可选的,所述确定目标时序数据的数据类型,包括:
确定目标时序数据的特征数据;
根据所述特征数据,确定所述时序数据的数据类型。
可选的,所述特征数据包括以下数据的至少一个:
时序数据采样率,时序数据是否具有每天归零的特性,时序数据是否具有稀疏性,时序数据噪音值,时序数据是否具有周期性。
可选的,所述根据所述特征数据,确定所述时序数据的数据类型,包括:
根据特征优先级和所述特征数据,确定所述数据类型。
可选的,还包括:
从时序数据与数据类型标注信息之间的对应关系集中,学习得到数据类型预测模型;所述预测模型包括特征提取子网络和类型预测子网络;
通过所述特征提取子网络,确定所述特征数据;
通过所述类型预测子网络,根据所述特征数据,确定所述数据类型。
可选的,所述数据类型包括:日常平稳数据,实时累积数据,周期数据,稀疏数据,机器数据,非周期数据。
可选的,所述检测参数包括:检测敏感度,HP滤波的宽度,T检测的右窗口宽度,T检测的左窗口宽度。
可选的,还包括:
确定与所述数据类型对应的检测模型动作参数;
根据所述动作参数,确定所述检测模型。
可选的,所述动作参数包括:去周期处理,去趋势处理,去噪声处理,差分处理,平滑度确定处理,异常点检测算法标识,动作顺序。
可选的,所述数据类型包括:日常平稳数据;
所述检测参数包括:检测敏感度为第一检测敏感度,T检测的右窗口宽度为第一右窗口宽度,T检测的左窗口宽度为第一左窗口宽度;
所述动作参数包括:去趋势处理,T检测;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
确定所述时序数据的去除趋势分量的剩余数据;
通过T检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
可选的,所述数据类型包括:机器数据;
所述检测参数包括:平滑度阈值,检测敏感度为第二检测敏感度,T检测的右窗口宽度为第二右窗口宽度,T检测的左窗口宽度为第二左窗口宽度;
所述动作参数包括:平滑度确定处理,若平滑度小于平滑度阈值,则执行去周期处理,T检测;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
确定机器数据的平滑度;
若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
通过T检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
可选的,所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,还包括:
若所述平滑度大于或者等于平滑度阈值,则通过T检测算法,至少根据第二检测敏感度、第一右窗口宽度和第一左窗口宽度,确定所述机器数据的异常点。
可选的,所述数据类型包括:实时累积数据;
所述检测参数包括:检测敏感度为第三检测敏感度,去周期时参照历史周期的第三长度,T检测的右窗口宽度为第三右窗口宽度,T检测的左窗口宽度为第三左窗口宽度;
所述动作参数包括:差分处理,去周期处理,检测算法为T检测;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
确定与实时累积数据对应的累积前数据;
根据所述第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
通过T检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
可选的,所述数据类型包括:周期性数据;
所述检测参数包括:去周期时参照历史周期的第四长度,检测敏感度为第四检测敏感度,T检测的右窗口宽度为第四右窗口宽度,T检测的左窗口宽度为第四左窗口宽度;
所述动作参数包括:去周期处理,T检测;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
根据所述第四长度,确定所述时序数据的去除周期分量的剩余数据;
通过T检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
可选的,所述数据类型包括:稀疏性数据;
所述检测参数包括:检测敏感度为第五检测敏感度,T检测的右窗口宽度为第五右窗口宽度,T检测的左窗口宽度为第五左窗口宽度;
所述动作参数包括:常量滤除处理,去周期处理,T检测;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
确定所述时序数据的常量数据;
滤除所述时序数据包括的小于或者等于常量的数据点;
通过T检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
可选的,所述数据类型包括:可能存在方差变化型异常的数据类型;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
通过F检测算法,确定所述异常点。
可选的,所述数据类型包括:可能存在长期单调趋势型异常的数据类型;
所述通过所述检测模型,并根据所述检测参数,并确定所述时序数据的异常点,包括:
通过MK检测算法,确定所述异常点。
可选的,还包括:
接收针对目标数据类型的参数设置请求;所述请求包括目标数据类型、特征值、检测参数和检测模型动作参数;
存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
可选的,所述方法的执行主体部署在云服务器中;
接收多个数据方的客户端发送的所述异常检测请求;所述多个数据方的时序数据属于不同的数据类型。
可选的,还包括:
根据所述多个数据方的时序数据的异常检测结果,确定不同时序数据之间的关联关系。
可选的,还包括:
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点,确定所述其它时序数据的异常点。
可选的,所述异常关联关系采用如下步骤确定:
获取多个时序数据各自对应的元数据间的相关性信息;
根据所述相关性信息,确定所述异常关联关系。
可选的,还包括:
确定所述目标时序数据与其它时序数据间的关联关系;
接收客户端发送的针对所述异常点的异常原因设置请求;
存储异常数据与异常原因间的对应关系;
根据所述关联关系,将异常原因推送至与所述目标时序数据相关的其它时序数据的客户端。
可选的,还包括:
所述异常检测请求包括数据名;
根据所述数据名,确定所述数据类型;
根据数据名与检测服务费用间的对应关系,确定检测费用。
本申请还提供一种数据异常检测方法,包括:
确定所述目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
可选的,所述方法的执行主体部署在局域网服务器中。
本申请还提供一种数据异常检测方法,包括:
确定目标时序数据;
向服务端发送针对目标时序数据的异常检测请求;
接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
本申请还提供一种数据异常检测方法,包括:
确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;
向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
本申请还提供一种数据异常检测方法,包括:
确定待处理的日常平稳的商业时序数据;
确定所述时序数据的去除趋势分量的剩余数据;
通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
本申请还提供一种网站成交金额异常检测方法,包括:
确定待处理的成交金额时序数据;
确定所述时序数据的去除趋势分量的剩余数据;
通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
本申请还提供一种数据异常检测方法,包括:
确定待处理的稀疏性的商业时序数据;
确定所述时序数据的常量数据;
滤除所述时序数据包括的小于或者等于常量的数据点;
通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
本申请还提供一种应用程序访问量异常检测方法,包括:
确定待处理的应用程序访问量时序数据;
确定所述时序数据的常量数据;
滤除所述时序数据包括的小于或者等于常量的数据点;
通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
本申请还提供一种数据异常检测方法,包括:
确定待处理的周期性的商业时序数据;
根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
本申请还提供一种交通数据异常检测方法,包括:
确定待处理的公共交通客流量时序数据;
根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
本申请还提供一种数据异常检测方法,包括:
确定待处理的实时累积的商业时序数据;
确定与实时累积数据对应的累积前数据;
根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
本申请还提供一种网页访问量异常检测方法,包括:
确定待处理的实时累积的网页访问量的第一时序数据;
确定各个时刻的未累积的网页访问量,形成第二时序数据;
根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
本申请还提供一种网页独立访客量异常检测方法,包括:
确定待处理的实时累积的网页独立访客量的第一时序数据;
根据所述第一时序数据,确定各个时刻的未累积的网页独立访客量,形成第二时序数据;
根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
本申请还提供一种数据异常检测方法,包括:
确定待处理的机器时序数据;
确定所述时序数据的平滑度;
若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
本申请还提供一种CPU负载异常检测方法,包括:
确定待处理的CPU负载时序数据;
确定所述时序数据的平滑度;
若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
本申请还提供一种数据异常检测方法,包括:
确定待处理的具有时间关联关系的多个数据;
确定所述多个数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
可选的,所述方法的执行主体部署在云服务器中;
所述执行主体接收多个数据方的待检测数据;所述多个数据方的待检测数据对应不同的数据类型;
根据所述多个数据方的待检测数据,确定所述具有时间关联关系的多个数据。
本申请还提供一种数据异常检测装置,包括:
请求接收单元,用于接收客户端发送的针对目标时序数据的异常检测请求;
数据类型确定单元,用于确定目标时序数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点;
异常点回送单元,用于向所述客户端回送所述异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:接收客户端发送的针对目标时序数据的异常检测请求;确定目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点;向所述客户端回送所述异常点。
本申请还提供一种数据异常检测装置,包括:
数据类型确定单元,用于确定所述目标时序数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定所述目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定目标时序数据;
请求发送单元,用于向服务端发送针对目标时序数据的异常检测请求;
异常点接收单元,用于接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定目标时序数据;向服务端发送针对目标时序数据的异常检测请求;接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
本申请还提供一种数据异常检测装置,包括:
参数设置单元,用于确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;
请求存储单元,用于向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的日常平稳的商业时序数据;
数据分解单元,用于确定所述时序数据的去除趋势分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的日常平稳的商业时序数据;确定所述时序数据的去除趋势分量的剩余数据;通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的成交金额时序数据;
数据分解单元,用于确定所述时序数据的去除趋势分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的成交金额时序数据;确定所述时序数据的去除趋势分量的剩余数据;通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
本申请还提供一种数据异常检测装置,包括:
时序数据确定单元,用于确定待处理的稀疏性的商业时序数据;
常量数据确定单元,用于确定所述时序数据的常量数据;
常量数据滤除单元,用于滤除所述时序数据包括的小于或者等于常量的数据点;
异常点确定单元,用于通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的稀疏性的商业时序数据;确定所述时序数据的常量数据;滤除所述时序数据包括的小于或者等于常量的数据点;通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
本申请还提供一种数据异常检测装置,包括:
时序数据确定单元,用于确定待处理的应用程序访问量时序数据;
常量数据确定单元,用于确定所述时序数据的常量数据;
常量数据滤除单元,用于滤除所述时序数据包括的小于或者等于常量的数据点;
异常点确定单元,用于通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的应用程序访问量时序数据;确定所述时序数据的常量数据;滤除所述时序数据包括的小于或者等于常量的数据点;通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的周期性的商业时序数据;
数据分解单元,用于根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的周期性的商业时序数据;根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的公共交通客流量时序数据;
数据分解单元,用于根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的公共交通客流量时序数据;根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的商业时序数据;
数据还原单元,用于确定与实时累积数据对应的累积前数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的商业时序数据;确定与实时累积数据对应的累积前数据;根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的网页访问量的第一时序数据;
数据还原单元,用于确定各个时刻的未累积的网页访问量,形成第二时序数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的网页访问量的第一时序数据;确定各个时刻的未累积的网页访问量,形成第二时序数据;根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的网页独立访客量的第一时序数据;
数据还原单元,用于根据所述第一时序数据,确定各个时刻的未累积的网页独立访客量,形成第二时序数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的网页独立访客量的第一时序数据;根据所述第一时序数据,确定各个时刻的未累积的网页独立访客量,形成第二时序数据;根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的机器时序数据;
平滑度确定单元,用于确定所述时序数据的平滑度;
数据分解单元,用于若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的机器时序数据;确定所述时序数据的平滑度;若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的CPU负载时序数据;
平滑度确定单元,用于确定所述时序数据的平滑度;
数据分解单元,用于若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的CPU负载时序数据;确定所述时序数据的平滑度;若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
本申请还提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的具有时间关联关系的多个数据;
数据类型确定单元,用于确定所述多个数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
本申请还提供一种电子设备,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的具有时间关联关系的多个数据;确定所述多个数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种方法。
与现有技术相比,本申请具有以下优点:
本申请提供的数据异常检测系统,通过客户端确定目标时序数据,向服务端发送针对目标时序数据的异常检测请求;服务端响应该请求,确定目标时序数据的数据类型;确定与数据类型对应的时序异常检测参数和时序异常检测模型;根据检测参数,通过检测模型确定目标时序数据包括的异常点,向客户端回送异常点;客户端接收异常点,以便于根据异常点执行异常处理;这种处理方式,使得对时序数据进行分类,针对不同类型的数据采用不同的异常检测方式,避免通过统一方式对具有不同异常检测需求的不同类型数据进行异常检测;因此,可以有效降低各种时序数据的异常漏报率和误报率,提升异常检测的准确度,满足不同类型的数据对异常检测的特定需求。此外,系统可对多种时序数据建立异常关联关系,实现不同时序数据的合并报警处理,因此可以有效提升异常检测的准确度和检测效率。
本申请实施例提供的数据异常检测方法,通过确定待处理的具有时间关联关系的多个数据;确定所述多个数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据;这种处理方式,使得自动检测出不同数据构成的数据序列中的异常点;因此,可以有效提升异常检测的准确度。
附图说明
图1是本申请提供的一种数据异常检测系统的实施例的示意图;
图2是本申请提供的一种数据异常检测系统的实施例的应用场景示意图;
图3是本申请提供的一种数据异常检测系统的实施例的设备交互示意图;
图4是本申请提供的一种数据异常检测系统的实施例的具体示意图;
图5是本申请提供的一种数据异常检测系统的实施例的又一设备交互图;
图6是本申请提供的一种数据异常检测系统的实施例的参数设置示意图;
图7是本申请提供的一种数据异常检测系统的实施例的异常检测流程图;
图8a是现有技术的日常平稳类商业数据的异常检测结果示意图;
图8b是本申请提供的一种数据异常检测系统的实施例中日常平稳类商业数据的异常检测结果示意图;
图9a是现有技术的实时累积类商业数据的异常检测结果示意图;
图9b是本申请提供的一种数据异常检测系统的实施例中实时累积类商业数据的异常检测结果示意图;
图10a是现有技术的机器数据的异常检测结果示意图;
图10b是本申请提供的一种数据异常检测系统的实施例中机器数据的异常检测结果示意图;
图11a是现有技术的稀疏类商业数据的异常检测结果示意图;
图11b是本申请提供的一种数据异常检测系统的实施例中稀疏类商业数据的异常检测结果示意图;
图12a是本申请提供的一种数据异常检测系统的实施例的未经过去除趋势处理的异常检测结果示意图;
图12b是本申请提供的一种数据异常检测系统的实施例的经过去除趋势处理的异常检测结果示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请中,提供了数据异常检测系统、相关方法和装置,以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参考图1,其为本申请提供的一种数据异常检测系统的实施例的示意图。本申请提供的一种数据异常检测系统,包括:服务端1和客户端2。
所述服务端1,可以是部署在云服务器中的服务端。所述第一客户端2,包括但不限于移动通讯设备、个人电脑、PAD、i Pad、RF枪等终端设备,也可以是具有时序数据异常检测需求的服务器。
请参考图2,其为本申请提供的一种数据异常检测系统的实施例的应用场景示意图。在本实施例中,所述系统包括多个第一客户端2,该客户端可以是网络服务的数据分析客户端,如电商平台数据分析客户端等等;也可以是非网络服务的数据分析客户端,如某个大型连锁超市的数据分析客户端等等。客户端用户通过客户端指定目标时序数据,并通过该客户端向服务端发送所述异常检测请求;服务端1对目标时序数据进行异常检测处理,将检测结果回送值第一客户端展示给用户。
图2示出了两个客户端,一个是电商平台每日成交额、页面浏览量PV、独立访客量UV等等数据的分析客户端,另一个是某个移动应用APP的访问量分析客户端,此外还可以包括某个大型连锁超市的服务器CPU负载、某个商品的日销售额等等数据的分析客户端,等等。在本实施例中,以图标方式,向数据分析人员展示各个客户端指定时序数据的异常检测结果,该结果可作为后续异常处理的依据。
请参考图3,其为本申请提供的一种数据异常检测系统的实施例的设备交互示意图。所述第一客户端2确定目标时序数据,向服务端发送针对所述目标时序数据的异常检测请求;相应的,所述服务端1接收并相应该请求;确定所述目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述目标时序数据包括的异常点;向所述第一客户端回送所述异常点;相应的,所述第一客户端2接收所述异常点,以便于根据所述异常点执行异常处理。
时序数据又称为时间序列(time series),是一系列按时间顺序记录的有序数据。从采样时间角度而言,时序数据可以是等时间间隔的采样数据,也可以是非等间隔的采样数据,可标注每个数据点的时间刻度。从时间粒度角度而言,时序数据的观察时间可以是任何时间形式,如小时、日、周、月、年等等。
在一个示例中,数据检测需求方通过所述客户端2指定待检测的时序数据名,如用户指定数据名为“电子商务平台的日成交额”,向服务端1请求对该数据进行异常检测。在这种情况下,所述异常检测请求包括数据名信息,服务端1可首先确定该数据名的最近时间点的数据、及此前一段时间内的历史数据,如从相应数据源中获取这些数据;然后,再根据这些历史数据,判断最近时间点的数据是否为异常点。
其中,数据源可以是位于其它服务端中的数据源,如电商平台的服务端等等。本申请实施例将数据端称为异常检测服务端,将包括数据源的服务端称为数据源服务端,异常检测服务端1具有从数据源服务端获取目标时序数据的权限。
在另一个示例中,数据检测需求方通过所述客户端2指定待检测的时序数据名和数据时间范围,如数据名为“电子商务平台的日成交额”、时间范围为“2019/10/1至2019/11/10”。在这种情况下,所述异常检测请求包括数据名信息和时间范围信息,所述服务端1根据数据名和时间范围这两种方面信息,获得目标时序数据为:电子商务平台从2019/10/1至2019/11/10的每日总成交额数据。
在又一个示例中,数据检测需求方通过所述客户端2指定由一系列数据点构成的时序数据,向服务端1请求对该时序数据进行异常检测。在这种情况下,所述异常检测请求包括一系列数据点,服务端从所述异常检测请求中获得待检测的一系列数据点,对这些数据进行异常检测处理,发现其中的异常点。
从数据性质角度而言,所述时序数据可以是商业数据,也可以是机器数据。在实现本发明过程中,发明人发现商业数据异常检测处理具有以下特定需求:1)商业数据来源多样化,异常的定义也多样化,不可能同一组参数/算法来涵盖所有商业数据的异常检测需求;2)商业数据相对机器数据,虽然噪音较小,但是异常出现的更加频繁,异常检测敏感度要求非常准确,对漏报和误报的要求都很高;3)有的商业数据在一段时间内随时间单调上升(或下降),现有技术会在持续上升(或下降)后报警数据发生异常,但实际上对某些商业数据(如电商平台的日成交额)而言,这种情况并非真正的异常,不要求报警,此时的置信区间应该能够自动跟随数据的趋势发生变化(如上升或下降)。发明人将以上需求归纳为技术上的挑战,即:如何让数据自动分类与参数推荐;如何让置信区间自动跟随数据的趋势。
在本实施例中,至少基于对各种商业数据的异常定义的分析,发明人将时序数据分为以下类型:日常平稳数据(如GMV每日成交额),实时累积数据(如PV\UV等每天清零并累积的数),周期数据(如某些有周期性的交易或交通数据等),稀疏数据(如APP访问量等),机器数据(如CPU负载,网络流量等基础设施的数据,一般抖动/噪音较大),非周期数据。
需要说明的是,所述时序数据的类型并不限于上述类型,在实际应用中,也可以根据异常定义的变化,调整已有数据类型或者增加新的数据类型。
请参考图4,其为本申请提供的一种数据异常检测系统的实施例的具体示意图。在一个示例中,所述系统还可包括第二客户端3。如图5所示,该客户端3用于确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数,向服务端1发送针对目标数据类型的参数设置请求;所述服务端1还用于接收该请求,存储所述目标数据类型、所述特征值、所述检测参数、及所述检测模型动作参数三者间的对应关系。表1示出了本实施例的所述目标数据类型、所述特征值、所述检测参数、及所述检测模型动作参数三者间的对应关系。
表1、数据类型、特征值、检测参数、及检测模型动作参数间的对应关系
由表1可见,不同数据类型可具有不同的特征及特征值,对应不同的检测参数及参数值,对应不同的模型动作及动作顺序。如图6所示,与数据类型对应的特征值、检测参数、及检测模型动作参数,均可以调整。此外,也可以新增新的数据类型,删除无效的数据类型。相应的,所述服务端1具体用于根据所述动作参数,确定所述检测模型。
在另一个示例中,所述第二客户端用于确定目标数据类型及其对应的特征值、检测参数和检测模型,向服务端发送针对目标数据类型的参数设置请求;相应的,所述服务端1还用于接收所述参数设置请求,存储所述目标数据类型、所述特征值、所述检测参数、及所述检测模型标识(如模型A,模型B,等等)三者间的对应关系;以及,具体用于根据所述检测模型标识,确定所述检测模型。
请参考图7,其为本申请提供的一种数据异常检测系统的实施例的异常检测流程示意图。所述服务端1在接收到所述异常检测请求后,可先对目标数数据进行数据预处理,如时间戳检验,缺失值处理(一些时间片段数据的缺失),规范化数据等等。接下来,服务器1可针对预处理后的目标时序数据,确定该目标时序数据的数据类型。所述数据类型,可以是所述系统根据所述目标时序数据的自身数据特点,自动确定的数据类型,也可以是由人工指定的数据类型。
在一个示例中,可由用户指定时序数据的数据类型。具体实施时,可以是用户通过所述客户端2指定目标时序数据、及其数据类型,向服务端1发送针对目标时序数据的类型设置请求,所述请求携带所述目标时序数据和数据类型;所述服务端1还用于接收该请求,存储所述目标时序数据和数据类型间的对应关系。表2示出了本实施例的时序数据和数据类型间的对应关系。
表2、时序数据和数据类型间的对应关系
在预先设定时序数据和数据类型间对应关系的情况下,服务端1可根据数据名到表2中查询匹配的数据类型。
所述服务端1接入的数据类型错综复杂,既有商业数据,也有机器数据;商业数据中也有很多种类。用户需求以及对异常的定义也不尽相同。在大规模部署的时候,不可能每一条都去人工识别和配置。在本实施例中,所述系统根据所述目标时序数据的自身数据特点,自动确定时序数据的数据类型。
所述自动确定目标时序数据的数据类型的步骤,可包括如下子步骤:1)确定目标时序数据的特征数据;2)根据所述特征数据,确定所述时序数据的数据类型。具体实施时,可以采用白盒方法实现数据分类,如基于人工构建的数据特征进行数据分类;也可以是采用数据驱动的黑盒方法实现数据分类,如通过机器学习算法提取数据特征并进行数据分类。下面分别对这两种数据分类方法进行说明。
1、白盒方法。
白盒方法可以是人工构建数据特征。所述时序数据可包括多个特征数据,这些特征数据包括但不限于以下数据的至少一个:时序数据采样率,时序数据是否具有每天归零的特性,时序数据是否具有稀疏性,时序数据噪音值,时序数据是否具有周期性,还可根据实际需求增加新的数据特征。上述各种特征数据之间并非相互排斥,一个时序数据可以同时存在采样率、稀疏性、噪音值等等多个特征数据。在采用白盒方法进行数据分类时,可依据预先设定的特征优先级,根据所述多个特征数据确定所述数据类型。
所述特征优先级,包括但不限于:如果时序数据具有等时间间隔的采样时间(如采样率为每日、每周等等),则将时间数据作为日常平稳数据,不会对其它特征进行判断,等等。具体实施时,可根据异常检测需求设置特征优先级。
下面对几种常用数据类型的确定方法进行说明。需要说明的是,具体实施时,也可以采用其它实施方式确定时序数据的数据类型。
(1)数据类型:机器数据。
具体实施时,可以包括如下步骤:1)将所述时序数据划分为时间长度为时长阈值的多个子时序数据,如每10个数据点为一个时间段,则具有100个数据点的时序数据,可以分为10个子时序数据;2)确定相邻子时序数据之间的相似度(数据噪音),如通过卷积算法,计算相差一格(相邻)的两个子时序数据间的相似度;3)若所述相似度小于相似度阈值,则确定所述时序数据的数据类型为机器数据,如相似度阈值为0.6,相似度为0.58,则表示该时序数据噪音较大,将该时序数据视为机器数据。
(2)数据类型:日常平稳数据。
具体实施时,可以包括如下步骤:1)确定所述时序数据的采样率;2)若所述采样率为相同时间间隔的采样时间,则确定所述时序数据的数据类型为日常平稳数据。例如,采样率是一天,则将时序数据作为天级别平稳数据。
(3)数据类型:实时累积数据。
具体实施时,可以包括如下步骤:1)判断所述时序数据是否具有周期性;2)若上述判断结果为是,则判断一个周期的起点数据是否为零、且数据在一个周期内是否呈上升趋势;3)若上述判断结果为是,则确定所述时序数据的数据类型为实时累积数据。采用这种处理方式,可以判断数据日常(如每天)归零的特性,然后就可以确定数据是否为实时累积数据。
(4)数据类型:周期数据。
具体实施时,可以包括如下步骤:1)判断所述时序数据是否具有周期性;2)若上述判断结果为是,则确定所述时序数据的数据类型为周期数据。采用这种处理方式,如果时序数据有周期性,但在周期的起始点不归零,就可以确定数据为周期数据。
(5)数据类型:稀疏数据。
具体实施时,可以包括如下步骤:1)确定所述时序数据中第一数据的数据量和第二数据的数据量;2)若第一数据量与第二数据量的比值小于比值阈值,则确定所述时序数据的数据类型为稀疏数据。采用这种处理方式,可以测量时序数据的稀疏性,确定时序数据是否为稀疏数据。
至此,对白盒方法进行了说明,下面对黑盒方法进行说明。
2、黑盒方法。
黑盒方法是数据驱动的数据分类方法。在应用黑盒方法进行数据分类时,所述服务端1还可用于从时序数据与数据类型标注信息之间的对应关系集中,学习得到数据类型预测模型;所述预测模型包括特征提取子网络和类型预测子网络;通过所述特征提取子网络,确定所述特征数据;通过所述类型预测子网络,根据所述特征数据,确定所述数据类型。表3示出了本实施例的时序数据与数据类型标注信息间的对应关系。
时序数据 数据类型
T1,1:d1,1,t1,2:d1,2,…,t1,n:d1,n 日常平稳数据
Tm,1:dm,1,tm,2:dm,2,…,tm,o:dm,o 日常平稳数据
Tm+1,1:dm+1,1,tm+1,2:dm+1,2,…,tm+1,q:dm+1,q 实时累积数据
Tp,1:dp,1,tp,2:dp,2,…,tp,h:dp,h 实时累积数据
表3、时序数据与数据类型标注信息间的对应关系
由表3可见,所述预测模型的训练数据可包括多个数据类型各自对应的多条时序数据。
所述预测模型可以是一个多分类模型。具体实施时,可通过深度学习算法,从训练数据中学习得到。其中,所述特征提取子网络可采用卷积神经网络等等网络结果,该子网络的输入数据为时序数据,输出数据为数据特征;所述类型预测子网络可包括全连接层及softmax层等等,该子网络的输入数据为特征数据,输出数据为数据类型。
至此,对利用黑盒方法进行数据分类的处理过程进行了说明。
具体实施时,无论采用何种方法确定数据类型,在确定数据类型后,均可存储时序数据名与数据类型间的对应关系,以便于后期处理同一数据名的不同时间范围的时序数据时,无需再进行数据分类处理,而是可以直接查询该对应关系,确定数据类型,这样可以有效提升数据类型确定速度,从而提升异常检测速度。
服务端1确定时序数据的数据类型后,就可以采用与数据类型对应的异常处理方式,对时序数据进行异常检测处理,以降低异常漏报率和误报率,提升数据异常检测的准确性。
如图7所示,在本实施例中,服务端1可通过赋参模块,确定与所述数据类型对应的时序异常检测参数,确定与所述数据类型对应的时序异常检测模型;然后,再通过转换管线模块,基于数据类型对时序数据进行分解和转换,把时序数据按照设定的流程进行变换(如所述检测模型包括的分解除周期,去趋势,平滑,去噪音,差分,等等);最后,再通过所述检测模型包括的基于统计的异常检测算法(如T检验,F检验,MK检验,等等),根据所述检测参数,确定所述目标时序数据包括的异常点。
所述时序异常检测模型,包括异常检测的处理步骤,如表1所示的对于日常平稳数据的处理步骤为:1、去趋势;2、T检验,等等。
所述检测参数,包括但不限于异常检测过程中涉及的算法参数,如T检验算法中的检测敏感度参数α,左窗口宽度,右窗口宽度,HP滤波的宽度,等等。
对于任意一种数据类型而言,通过与数据类型对应的时序异常检测参数和时序异常检测模型,可确定该数据类型的特有异常检测方式。需要强调的是,对于同一时序数据而言,不同检测方式可检测出不同的异常点。在实际应用中,可根据不同时序数据对异常的特有定义方式,确定各种数据类型的时序异常检测参数和时序异常检测模型。此外,还需要说明的是,不同数据类型可对应同一检测模块,但检测参数可能不同。
在一个示例中,服务端1并不存储各种不同的所述时序异常检测模型,而是如表1所示,存储与数据类型对应的检测模型动作参数,以及存储各种动作模块,如去周期模块、去趋势模块、差分模块、T检验模块、F检验模块、MK检验模块等等。服务端1根据数据类型可确定所述动作参数,再根据这些动作参数,运行相应的动作模块,时序异常检测模型包括这些动作模块。
在另一个示例中,服务端1存储各种不同的所述时序异常检测模型,并为不同数据类型指定不同的时序异常检测模型名,这样服务端1可直接根据数据类型,确定相应的检测模型名,并调用相应的检测模型,对时序数据进行异常检测处理。
下面对本实施例的各种数据类型的检测参数和检测模型进行说明。
1、数据类型:日常平稳数据。
日常平稳数据通常是商业数据,如电商平台的每日成交额等等。日常平稳数据可能具有长期的趋势,其对异常的特定需求,包括但不限于:a)允许数据在一段时间内随时间单调上升(或下降),要求其置信区间应该能够自动跟随数据的长趋势发生变化(如上升或下降),检测单点的突起,违反趋势的点;b)避免漏报异常点,等等。
相应的,所述检测参数包括但不限于:检测敏感度为第一检测敏感度,T检测的右窗口宽度为第一右窗口宽度,T检测的左窗口宽度为第一左窗口宽度,以确保较低漏报率;所述动作参数包括但不限于:去趋势处理,检测算法为T检测,以确保置信区间应该能够自动跟随数据的趋势发生变化。
相应的,检测模型执行如下处理步骤:
步骤1、确定所述时序数据的去除趋势分量的剩余数据。
所述时序数据,可包括多个分量(因子),如趋势分量(trend component)、周期性分量(seasonal component)和余项分量(remainder component)。其中,趋势因子能捕捉到长期变化;季节性因子能捕捉到一年内的周期性变化;余项因子能捕捉到那些不能被趋势或季节效应解释的变化。
要使得置信区间应该能够自动跟随数据的趋势发生变化(如上升或下降),就需要去除日常平稳数据中的趋势分量,这样才能将异常显现出来。
在本实施例中,可通过时序分解算法对日常平稳数据进行分解,减去时序数据中的趋势分量,确定出所述时序数据的去除趋势分量的剩余数据。所述时序分解算法,可以是RSTL算法,或者HP滤波(HP filter)的除趋势detrend技术。如果采用HP滤波,则检测参数还可包括HP滤波的宽度。由于时序分解算法属于较为成熟的现有技术,因此此处不再赘述。
不同分量数据存在不同的异常类型,可根据时序数据的异常需求,确定感兴趣的异常类型,从而确定要保留、去除的分量,并确定适用的检测算法。表4示出了异常类型、时序分量与检测算法之间的对应关系。
/>
表4、异常类型、时序分量与统计检测算法之间的对应关系
步骤2、通过T检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
检测敏感度是T检测算法的重要参数,关系到异常检测结果的准确度。本实施例将日常平稳数据的检测敏感度设置为第一检测敏感度。通过T检测算法可确定置信区间的上下界,真实数据在上下界之间是正常,超出了就是异常。由于T检测算法属于较为成熟的现有技术,因此此处不再赘述。
请参见图8a和图8b,其对比了现有技术与本发明的系统对于日常平稳数据的异常检测效果。在3月2~3日,交易量有了大幅的上升(图8b中的矩形框),陡增了20%,这是一个异常。由图8a可见,现有技术未经过去除趋势的处理,上下界很不稳定,不是很合理,上界随着数据向上移动,下界过于宽松,因此没有检测出这个异常。由图8b可见,本发明的系统根据数据近期的波动振幅自动调整安全区间的上下界,上下界稳定,宽度合理,正确的识别出3月2号的这个异常。
请参见图12a和图12b,其对比了现有技术与本发明的系统对于日常平稳数据的异常检测效果。该图示出了过年期间daily平稳数据的异常检测,图中示出了原数据、上界和下界,原数据超过上下界为异常。图12a未经过去除趋势的处理,上下界很不稳定;图12b经过了去除趋势的处理,上下界稳定。
2、数据类型:实时累积数据。
实时累积数据通常也是商业数据,该类数据可每日清零、并实时累积得到,如网页访问量PV、网页独立访客量UV等等。实时累积数据对异常的特定需求,包括但不限于:a)允许数据在一段时间内随时间单调上升(或下降),要求其置信区间应该能够自动跟随数据的趋势发生变化(如上升或下降);b)区间灵敏度要求高,以避免漏报,等等。
相应的,所述检测参数包括但不限于:检测敏感度为第三检测敏感度,去周期时参照历史周期的第三长度,T检测的右窗口宽度为第三右窗口宽度,T检测的左窗口宽度为第三左窗口宽度,以确保较低漏报率;所述动作参数包括但不限于:差分处理,去周期处理,检测算法为T检测。
相应的,检测模型执行如下处理步骤:
步骤1、确定与实时累积数据对应的累积前数据。
该步骤通过差分处理模块执行差分算法,确定与实时累积数据对应的累积前数据。所述累积前数据,可以是每个时间点的原始数据,如t1时刻为PV1,t2时刻为PV2;而原始的目标时序数据,是每个时间点的累积数据,如t1时刻为PV1,t2时刻为PV1+PV2,t3时刻为PV1+PV2+PV3,等等。
步骤2、根据所述第三长度,确定所述累积前数据的去除周期性分量的剩余数据。
通过时序分解算法对累积前数据进行分解,减去累积前数据中的周期性分量,确定出所述时序数据的去除周期性分量的剩余数据。
步骤3、通过T检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
请参见图9a和图9b,其对比了现有技术与本发明的系统对于实时累积数据的异常检测效果。由图9a可见,现有技术的上下界过宽,会漏掉很多异常。由图9b可见,本发明的系统的上下界离真实数据非常近,可确保不漏报。
3、数据类型:机器数据。
机器数据,如CPU负载,内存使用率,网络流量等等。机器数据对异常的特定需求,包括但不限于:识别高噪音数据等等。
相应的,所述检测参数包括但不限于:平滑度阈值,检测敏感度为第二检测敏感度,T检测的右窗口宽度为第二右窗口宽度,T检测的左窗口宽度为第二左窗口宽度;所述动作参数包括:平滑度确定处理;若平滑度小于平滑度阈值,则执行去周期处理;T检测,以确保检测出高噪音异常。需要说明的是,机器数据应用的T检测右窗口宽度要显著宽于其它数据类型。
相应的,检测模型执行如下处理步骤:
步骤1、确定机器数据的平滑度。
所述平滑度是衡量机器数据的噪声程度的指标。具体实施时,可将信号噪声方差率作为所述平滑度。
步骤2、若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据。
步骤3、通过T检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
在这种情况下,如果所述平滑度大于或者等于平滑度阈值,则可通过T检测算法,至少根据第二检测敏感度、第一右窗口宽度和第一左窗口宽度,确定所述机器数据的异常点。
请参见图10a和图10b,其对比了现有技术与本发明的系统对于机器数据的异常检测效果。由图10a可见,现有技术的上下界随着高噪音数据上下跳动,不可靠,基本不可用。图10b可见,本发明的系统的上下界非常稳定,且不受大促(3/4)的高点影响;这种处理方式,使得自动识别高噪音数据,合理设置数据上限安全区间。
4、数据类型:稀疏性数据。
稀疏数据又可称为离散数据,通常也是商业数据,如应用程序的访问量等等。由于稀疏数据具有稀疏性,因此现有技术无法识别出其中的异常点。
相应的,所述检测参数包括但不限于:检测敏感度为第五检测敏感度,T检测的右窗口宽度为第五右窗口宽度,T检测的左窗口宽度为第五左窗口宽度,以确保较低漏报率;所述动作参数包括但不限于:常量滤除处理,去周期处理,T检测。
相应的,检测模型执行如下处理步骤:
步骤1、确定所述时序数据的常量数据。
所述常量数据,包括稀疏数据点以外的大部分数据点,常量数值通常要低于稀疏数据点的数值。
步骤2、滤除所述时序数据包括的小于或者等于常量的数据点。
在确定常量数值后,根据各个数据点的数值大小,即可滤除所述时序数据包括的小于或者等于常量的数据点,剩下稀疏的数据点。
步骤3、通过T检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
本步骤只对稀疏数据中的高点进行判断,从中发现异常点。
请参见图11a和图11b,其对比了现有技术与本发明的系统对于稀疏性数据的异常检测效果。由图11a可见,现有技术无法对稀疏数据的进行检测。图11b可见,本发明的系统可以提取稀疏数据中的高点,进行判断,减少了大量的误报。
5、数据类型:周期性数据。
周期数据通常也是商业数据,可以是存在季节性因素的时间序列,如月度数据、季度数据、周期性的交易数据、周期性的交通数据等等。
相应的,所述检测参数包括但不限于:去周期时参照历史周期的第四长度,检测敏感度为第四检测敏感度,T检测的右窗口宽度为第四右窗口宽度,T检测的左窗口宽度为第四左窗口宽度,以确保较低漏报率;所述动作参数包括但不限于:去周期处理,T检测。
相应的,检测模型执行如下处理步骤:
步骤1、根据所述第四长度,确定所述时序数据的去除周期分量的剩余数据。采用这种处理方式,使得更准确地去除周期分量,以便于基于更准确的剩余数据进行异常检测。
步骤2、通过T检测算法,至少根据第四检测敏感度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
6、数据类型:可能存在方差变化型异常的数据类型。
该类数据也可以是商业数据。相应的,检测模型执行如下处理步骤:通过F检测算法,确定所述异常点。
7、数据类型:可能存在长期单调趋势型异常的数据类型。
该类数据也可以是商业数据。相应的,检测模型执行如下处理步骤:通过MK检测算法,确定所述异常点。
至此,对本实施例中出现的各种数据类型及各自对应的异常检测方式进行了说明。需要说明的是,数据类型并不限于上述列举的数据类型,也可以根据实际场景,确定新的数据类型及其异常检测方式,或者是,调整已有数据类型的异常检测方式,等等。
服务端1检测得到所述目标时序数据的异常点后,就可以向所述第一客户端2回送所述异常点;相应的,所述第一客户端2接收所述异常点,以便于根据所述异常点执行异常处理。
异常检测在各个方面都对企业的运营有巨大的帮助:对于商业数据,它能更快的发现/溯源问题,帮助商业决策,赋能商业效益;对于机器数据:在运维层面可以更快的发现、定位、排查问题,减少人力,提高服务质量;对于保障数据安全:它能监控敏感数据,及时发现安全隐患。
在一个示例中,时序数据为云服务的运维数据,如果检测到CPU使用过量,就需要启动备用CPU。
在另一个示例中,时序数据为电商平台的商家交易数据,如果商家交易数据异常高,就需要检查交易内容,防止非法刷单等等。
需要注意的是,在现有技术中,各个数据方可能根据其具体的异常检测需求,各自开发适用于其数据的专用异常检测方法。然而,这样处理方式使得每个专用方法只关注单一种类的数据,无法挖掘不同数据之间的关系,无法根据数据间关系进行诸如检测参数、检测模型的整体调优、及异常数据关联处理等等,因而缺乏全局观点,从而导致误报、漏报的情况发生。
为了解决上述问题,所述服务端具体可接收多个数据方的客户端发送的异常检测请求,其中各个数据方的时序数据可属于不同的数据类型。此外,所述服务端还可用于根据所述多个数据方的时序数据的异常检测结果,确定不同时序数据之间的关联关系。例如,两种时序数据的异常点具有某种规律,一种数据在某个时刻为异常数据时,另一种异常数据相应也会呈现异常现象,那么这两种数据间就具有关联关系。将不同数据间建立关联关系后,就可以据此进行相关的智能决策。例如,数据A出现异常时,数据B的拥有者就可以进行异常处理,如调整系统参数等等。
在一个示例中,所述服务端还可用于确定所述目标时序数据与其它时序数据间的异常关联关系;根据所述目标时序数据的异常点,确定所述其它时序数据的异常点。
例如,日常平稳数据A(如成交金额)和日常平稳数据B(如非成交金额数据)之间具有异常关联关系,如数据A正常,则数据B也正常,或者是,如果数据A异常,则数据B也异常。此外,还可以是不同数据类型间的异常关联关系,如日常平稳数据A和稀疏数据C等等。
再例如,某个电商平台在大促期间(如双十一),交易量远远大于平时,会有大量的异常报警,此时可将同平台或同部门的、有相关性的报警合并处理。在这种情况下,可根据目标时序数据、及多种时序数据间的相关性,将不同时序报警合并。例如,获取多个时序数据各自对应的元数据间的相关性,根据元数据间的相关性,确定所述异常关联关系。
本申请实施例提供的所述系统,通过服务端确定所述目标时序数据与其它时序数据间的异常关联关系,并根据所述目标时序数据的异常点,确定所述其它时序数据的异常点;这种处理方式,使得在并未主动要求对数据进行异常检测的情况下,仍然可以经由其它数据的异常检测结果,自动的获得异常数据,实现相关数据的异常报警合并处理;因此,可以有效提升异常检测的准确度和检测效率。
在一个示例中,所述服务端还可用于确定所述目标时序数据与其它时序数据间的关联关系;接收客户端发送的针对所述异常点的异常原因设置请求;存储异常数据与异常原因间的对应关系;根据所述关联关系,将异常原因推送至与所述目标时序数据相关的其它时序数据的客户端。采用这种处理方式,使得在发现数据A异常时,允许用户填写异常产生原因,并将该原因推给与该数据具有关联关系的其它数据方,使得其它数据方可根据该原因确定系统调整方式等等,这样就可以有效减少异常数据的数量。例如,可收集与搜索推荐有关的异常数据产生原因,将该原因推给数据关联方。
在一个示例中,所述异常检测请求包括数据名;所述服务端具体用于根据所述数据名,确定所述数据类型;根据数据名与检测服务费用间的对应关系,确定检测费用。例如,系统的接入方为铁路部门,该数据方将铁路客流量的时序数据发送至所述系统,并指定要对该数据进行异常检测,则所述系统可根据“铁路客流量”数据名,确定数据类型为周期数据,同时可确定铁路客流量异常数据检测费用。
从上述实施例可见,本申请提供的数据异常检测系统,通过客户端确定目标时序数据,向服务端发送针对目标时序数据的异常检测请求;服务端响应该请求,确定目标时序数据的数据类型;确定与数据类型对应的时序异常检测参数和时序异常检测模型;根据检测参数,通过检测模型确定目标时序数据包括的异常点,向客户端回送异常点;客户端接收异常点,以便于根据异常点执行异常处理;这种处理方式,使得对时序数据进行分类,针对不同类型的数据采用不同的异常检测方式,避免通过统一方式对具有不同异常检测需求的不同类型数据进行异常检测;因此,可以有效降低各种时序数据的异常漏报率和误报率,提升异常检测的准确度,满足不同类型的数据对异常检测的特定需求。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第二实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限与服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1、接收客户端发送的针对目标时序数据的异常检测请求。
所述方法的执行主体可部署在云服务器中;接收多个数据方的客户端发送的所述异常检测请求;所述多个数据方的时序数据属于不同的数据类型。
步骤2、确定目标时序数据的数据类型。
所述数据类型,包括但不限于:日常平稳数据,实时累积数据,周期数据,稀疏数据,机器数据,非周期数据。
在一个示例中,步骤2可包括如下子步骤:2.1)确定目标时序数据的特征数据;2.2)根据所述特征数据,确定所述时序数据的数据类型。
在一个示例中,所述特征数据包括但不限于以下数据的至少一个:时序数据采样率,时序数据是否具有每天归零的特性,时序数据是否具有稀疏性,时序数据噪音值,时序数据是否具有周期性。相应的,可根据特征优先级和所述特征数据,确定所述数据类型。
在一个示例中,所述方法还可包括如下步骤:从时序数据与数据类型标注信息之间的对应关系集中,学习得到数据类型预测模型;所述预测模型包括特征提取子网络和类型预测子网络;相应的,可通过所述特征提取子网络,确定所述特征数据;以及,通过所述类型预测子网络,根据所述特征数据,确定所述数据类型。
步骤3、确定与所述数据类型对应的时序异常检测参数和时序异常检测模型。
所述检测参数,包括但不限于:检测敏感度,HP滤波的宽度,T检测的右窗口宽度,T检测的左窗口宽度。
在一个示例中,所述方法还可包括如下步骤:1)确定与所述数据类型对应的检测模型动作参数;2)根据所述动作参数,确定所述检测模型。
所述动作参数,包括但不限于:去周期处理,去趋势处理,去噪声处理,差分处理,平滑度确定处理,异常点检测算法标识,动作顺序。
步骤4、通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点。
在一个示例中,所述数据类型包括:日常平稳数据;相应的,所述检测参数包括:检测敏感度为第一检测敏感度,T检测的右窗口宽度为第一右窗口宽度,T检测的左窗口宽度为第一左窗口宽度;所述动作参数包括:去趋势处理,T检测;步骤4可包括如下子步骤:4.1)确定所述时序数据的去除趋势分量的剩余数据;4.2)通过T检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
在一个示例中,所述数据类型包括:机器数据;所述检测参数包括:平滑度阈值,检测敏感度为第二检测敏感度,T检测的右窗口宽度为第二右窗口宽度,T检测的左窗口宽度为第二左窗口宽度;所述动作参数包括:平滑度确定处理,若平滑度小于平滑度阈值,则执行去周期处理,T检测;步骤4可包括如下子步骤:4.1)确定机器数据的平滑度;4.2)若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;4.3)通过T检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
具体实施时,步骤4还可包括如下子步骤:4.4)若所述平滑度大于或者等于平滑度阈值,则通过T检测算法,至少根据第二检测敏感度、第一右窗口宽度和第一左窗口宽度,确定所述机器数据的异常点。
在一个示例中,所述数据类型包括:实时累积数据;所述检测参数包括:检测敏感度为第三检测敏感度,去周期时参照历史周期的第三长度,T检测的右窗口宽度为第三右窗口宽度,T检测的左窗口宽度为第三左窗口宽度;所述动作参数包括:差分处理,去周期处理,检测算法为T检测;步骤4可包括如下子步骤:4.1)确定与实时累积数据对应的累积前数据;4.2)根据所述第三长度,确定所述累积前数据的去除周期性分量的剩余数据;4.3)通过T检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
在一个示例中,所述数据类型包括:周期性数据;所述检测参数包括:去周期时参照历史周期的第四长度,检测敏感度为第四检测敏感度,T检测的右窗口宽度为第四右窗口宽度,T检测的左窗口宽度为第四左窗口宽度;所述动作参数包括:去周期处理,T检测;步骤4可包括如下子步骤:4.1)根据所述第四长度,确定所述时序数据的去除周期分量的剩余数据;4.2)通过T检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
在一个示例中,所述数据类型包括:稀疏性数据;所述检测参数包括:检测敏感度为第五检测敏感度,T检测的右窗口宽度为第五右窗口宽度,T检测的左窗口宽度为第五左窗口宽度;所述动作参数包括:常量滤除处理,去周期处理,T检测;步骤4可包括如下子步骤:4.1)确定所述时序数据的常量数据;4.2)滤除所述时序数据包括的小于或者等于常量的数据点;4.3)通过T检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
在一个示例中,所述数据类型包括:可能存在方差变化型异常的数据类型;步骤4可采用如下方式实现:通过F检测算法,确定所述异常点。
在一个示例中,所述数据类型包括:可能存在长期单调趋势型异常的数据类型;步骤4可采用如下方式实现:通过MK检测算法,确定所述异常点。
步骤5、向所述客户端回送所述异常点。
在一个示例中,所述方法还可包括如下步骤:1)接收针对目标数据类型的参数设置请求;所述请求包括目标数据类型、特征值、检测参数和检测模型动作参数;2)存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
在一个示例中,所述方法的执行主体接收多个数据方的客户端发送的所述异常检测请求;所述多个数据方的时序数据属于不同的数据类型;所述方法还可包括如下步骤:根据所述多个数据方的时序数据的异常检测结果,确定不同时序数据之间的关联关系。采用这种方式,使得收集不同数据间的关联关系,以便于进行智能决策。
在一个示例中,所述方法还可包括如下步骤:1)确定所述目标时序数据与其它时序数据间的异常关联关系;2)根据所述目标时序数据的异常点,确定所述其它时序数据的异常点。
在一个示例中,所述异常关联关系采用如下步骤确定:获取多个时序数据各自对应的元数据间的相关性信息;根据所述相关性信息,确定所述异常关联关系。
在一个示例中,所述方法还可包括如下步骤:1)确定所述目标时序数据与其它时序数据间的关联关系;2)接收客户端发送的针对所述异常点的异常原因设置请求;3)存储异常数据与异常原因间的对应关系;4)根据所述关联关系,将异常原因推送至与所述目标时序数据相关的其它时序数据的客户端。
在一个示例中,所述异常检测请求包括数据名;所述方法还可包括如下步骤:1)根据所述数据名,确定所述数据类型;2)根据数据名与检测服务费用间的对应关系,确定检测费用。
第三实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
请求接收单元,用于接收客户端发送的针对目标时序数据的异常检测请求;
数据类型确定单元,用于确定目标时序数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点;
异常点回送单元,用于向所述客户端回送所述异常点。
第四实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:接收客户端发送的针对目标时序数据的异常检测请求;确定目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述时序数据的异常点;向所述客户端回送所述异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第五实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于客户端,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定目标时序数据;
步骤2:向服务端发送针对目标时序数据的异常检测请求;
步骤3:接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
第六实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
数据确定单元,用于确定目标时序数据;
请求发送单元,用于向服务端发送针对目标时序数据的异常检测请求;
异常点接收单元,用于接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
第七实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定目标时序数据;向服务端发送针对目标时序数据的异常检测请求;接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第八实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于客户端,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;
步骤2:向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
第九实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
参数设置单元,用于确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;
请求存储单元,用于向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
第十实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数;向服务端发送针对目标数据类型的参数设置请求,以便于所述服务端存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第十一实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定所述目标时序数据的数据类型;
步骤2:确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
步骤3:根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
所述方法的执行主体可部署在局域网服务器中,相对部署在云端的实现方式,可将局域网部署方式称为客户端部署方式。
第十二实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
数据类型确定单元,用于确定所述目标时序数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
第十三实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定所述目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;根据所述检测参数,通过所述检测模型,确定所述目标时序数据包括的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第十四实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的日常平稳的商业时序数据;
步骤2:确定所述时序数据的去除趋势分量的剩余数据;
步骤3:通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
第十五实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
数据确定单元,用于确定待处理的日常平稳的商业时序数据;
数据分解单元,用于确定所述时序数据的去除趋势分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
第十六实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的日常平稳的商业时序数据;确定所述时序数据的去除趋势分量的剩余数据;通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种网站成交金额异常检测方法。该方法是与上述系统的实施例相对应。
第十七实施例
本申请提供一种网站成交金额异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种网站成交金额异常检测方法,包括:
步骤1:确定待处理的成交金额时序数据;
步骤2:确定所述时序数据的去除趋势分量的剩余数据;
步骤3:通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
第十八实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种装置,包括:
数据确定单元,用于确定待处理的成交金额时序数据;
数据分解单元,用于确定所述时序数据的去除趋势分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
第十九实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的成交金额时序数据;确定所述时序数据的去除趋势分量的剩余数据;通过异常点检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为异常成交金额。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第二十实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的稀疏性的商业时序数据;
步骤2:确定所述时序数据的常量数据;
步骤3:滤除所述时序数据包括的小于或者等于常量的数据点;
步骤4:通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
第二十一实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
时序数据确定单元,用于确定待处理的稀疏性的商业时序数据;
常量数据确定单元,用于确定所述时序数据的常量数据;
常量数据滤除单元,用于滤除所述时序数据包括的小于或者等于常量的数据点;
异常点确定单元,用于通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
第二十二实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的稀疏性的商业时序数据;确定所述时序数据的常量数据;滤除所述时序数据包括的小于或者等于常量的数据点;通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种应用程序访问量异常检测方法。该方法是与上述系统的实施例相对应。
第二十三实施例
本申请提供一种应用程序访问量异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种应用程序访问量异常检测方法,包括:
步骤1:确定待处理的应用程序访问量时序数据;
步骤2:确定所述时序数据的常量数据;
步骤3:滤除所述时序数据包括的小于或者等于常量的数据点;
步骤4:通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
第二十四实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
时序数据确定单元,用于确定待处理的应用程序访问量时序数据;
常量数据确定单元,用于确定所述时序数据的常量数据;
常量数据滤除单元,用于滤除所述时序数据包括的小于或者等于常量的数据点;
异常点确定单元,用于通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
第二十五实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的应用程序访问量时序数据;确定所述时序数据的常量数据;滤除所述时序数据包括的小于或者等于常量的数据点;通过异常点检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为异常访问量。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第二十六实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的周期性的商业时序数据;
步骤2:根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
步骤3:通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点
第二十七实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的周期性的商业时序数据;
数据分解单元,用于根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
第二十八实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的周期性的商业时序数据;根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种交通数据异常检测方法。该方法是与上述系统的实施例相对应。
第二十九实施例
本申请提供一种交通数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种交通数据异常检测方法,包括:
步骤1:确定待处理的公共交通客流量时序数据;
步骤2:根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
步骤3:通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
第三十实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的公共交通客流量时序数据;
数据分解单元,用于根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
第三十一实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的公共交通客流量时序数据;根据去周期时参照历史周期的第四长度,确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为异常客流量。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种交通数据异常检测方法。该方法是与上述系统的实施例相对应。
第三十二实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的实时累积的商业时序数据;
步骤2:确定与实时累积数据对应的累积前数据;
步骤3:根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
步骤4:通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
第三十三实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的商业时序数据;
数据还原单元,用于确定与实时累积数据对应的累积前数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
第三十四实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的商业时序数据;确定与实时累积数据对应的累积前数据;根据去周期时参照历史周期的第三长度,确定所述累积前数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种交通数据异常检测方法。该方法是与上述系统的实施例相对应。
第三十五实施例
本申请提供一种网页访问量异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种网页访问量异常检测方法,包括:
步骤1:确定待处理的实时累积的网页访问量的第一时序数据;
步骤2:确定各个时刻的未累积的网页访问量,形成第二时序数据;
步骤3:根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
步骤4:通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
第三十六实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的网页访问量的第一时序数据;
数据还原单元,用于确定各个时刻的未累积的网页访问量,形成第二时序数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
第三十七实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的网页访问量的第一时序数据;确定各个时刻的未累积的网页访问量,形成第二时序数据;根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为第一时序数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种网页独立访客量异常检测方法。该方法是与上述系统的实施例相对应。
第三十八实施例
本申请提供一种网页独立访客量异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种网页独立访客量异常检测方法,包括:
步骤1:确定待处理的实时累积的网页独立访客量的第一时序数据;
步骤2:根据所述第一时序数据,确定各个时刻的未累积的网页独立访客量,形成第二时序数据;
步骤3:根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
步骤4:通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
第三十九实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的实时累积的网页独立访客量的第一时序数据;
数据还原单元,用于确定各个时刻的未累积的网页独立访客量,形成第二时序数据;
数据分解单元,用于根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
第四十实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的实时累积的网页独立访客量的第一时序数据;根据所述第一时序数据,确定各个时刻的未累积的网页独立访客量,形成第二时序数据;根据去周期时参照历史周期的第三长度,确定第二时序数据的去除周期性分量的剩余数据;通过异常点检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为异常的实时累积网页独立访客量。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第四十一实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的机器时序数据;
步骤2:确定所述时序数据的平滑度;
步骤3:若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
步骤4:通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
第四十二实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的机器时序数据;
平滑度确定单元,用于确定所述时序数据的平滑度;
数据分解单元,用于若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
第四十三实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的机器时序数据;确定所述时序数据的平滑度;若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种CPU负载异常检测方法。该方法是与上述系统的实施例相对应。
第四十四实施例
本申请提供一种CPU负载异常检测方法,其执行主体包括但不限于局域网服务器,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种CPU负载异常检测方法,包括:
步骤1:确定待处理的CPU负载时序数据;
步骤2:确定所述时序数据的平滑度;
步骤3:若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
步骤4:通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
第四十五实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的CPU负载时序数据;
平滑度确定单元,用于确定所述时序数据的平滑度;
数据分解单元,用于若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
异常点确定单元,用于通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
第四十六实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的CPU负载时序数据;确定所述时序数据的平滑度;若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;通过异常点检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为异常CPU负载。
在上述的实施例中,提供了一种数据异常检测系统,与之相对应的,本申请还提供一种数据异常检测方法。该方法是与上述系统的实施例相对应。
第四十七实施例
本申请提供一种数据异常检测方法,其执行主体包括但不限于云服务器中,也可以是能够执行所述方法的任意设备。由于方法实施例基本相似于系统实施例,所以描述得比较简单,相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本申请提供一种数据异常检测方法,包括:
步骤1:确定待处理的具有时间关联关系的多个数据;
所述执行主体云服务器可接收来自多个数据方的待检测数据;所述多个数据方的待检测数据可以是相同类型的数据,也可以是不同类型的数据,如有些数据是日常平稳数据,有些数据是稀疏性数据,有些数据是周期性数据等等。根据所述多个数据方的待检测数据,可确定所述具有时间关联关系的多个数据。所述具有时间关联关系的多个数据,可以是不同时刻的各种数据类型的数据,也可以是同一时刻的各种数据类型的数据,如t1时刻的网页访问量、网页独立访客量、GMV等等。
步骤2:确定所述多个数据的数据类型。
在获得具有时间关联关系的多个数据后,就可以通过实施例一提供的方案,自动确定这个数据序列所属的数据类型,如日常平稳型、稀疏性数据、周期性数据等等。
步骤3:确定与所述数据类型对应的时序异常检测参数和时序异常检测模型。
相应的,可以通过实施例一提供的方案,自动确定与所述数据类型对应的时序异常检测参数和时序异常检测模型。
步骤4:通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
相应的,可以通过实施例一提供的方案,通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
从上述实施例可见,本申请实施例提供的数据异常检测方法,通过确定待处理的具有时间关联关系的多个数据;确定所述多个数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据;这种处理方式,使得自动检测出不同数据构成的数据序列中的异常点;因此,可以有效提升异常检测的准确度。
第四十八实施例
与上述数据异常检测方法相对应,本申请还提供一种数据异常检测装置。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种数据异常检测装置,包括:
数据确定单元,用于确定待处理的具有时间关联关系的多个数据;
数据类型确定单元,用于确定所述多个数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;
异常点确定单元,用于通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
第四十九实施例
与上述数据异常检测方法相对应,本申请还提供一种电子设备。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备,该电子设备包括:处理器和存储器;所述存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定待处理的具有时间关联关系的多个数据;确定所述多个数据的数据类型;确定与所述数据类型对应的时序异常检测参数和时序异常检测模型;通过所述检测模型,根据所述检测参数,确定所述多个数据中的异常数据。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (27)

1.一种数据异常检测系统,其特征在于,包括:
服务端,用于确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;接收第一客户端发送的针对目标时序数据的异常检测请求;确定所述目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;根据所述动作顺序,对所述目标时序数据进行分解;根据所述检测参数和分解后的数据,通过所述异常点检测算法,确定所述目标时序数据包括的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;向所述第一客户端回送所述异常点;根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;确定所述目标时序数据与其它时序数据间的异常关联关系;根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式;
第一客户端,用于确定所述目标时序数据,向服务端发送所述异常检测请求;接收所述异常点,以便于根据所述异常点执行异常处理。
2.根据权利要求1所述的系统,其特征在于,
第二客户端,用于确定目标数据类型及其对应的特征值、检测参数和检测模型动作参数,向服务端发送针对目标数据类型的参数设置请求;
所述服务端,还用于接收所述参数设置请求,存储所述目标数据类型、所述特征值、所述检测参数、及所述检测模型动作参数间的对应关系;以及,确定与所述数据类型对应的检测模型动作参数;根据所述动作参数,确定所述检测模型。
3.一种数据异常检测方法,其特征在于,包括:
确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、周期性数据、实时累积数据、稀疏数据和机器数据中的至少两个;
接收客户端发送的针对目标时序数据的异常检测请求;
确定目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;
根据所述动作顺序,对所述目标时序数据进行分解;
通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;
向所述客户端回送所述异常点;
根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;
将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
4.根据权利要求3所述的方法,其特征在于,所述确定目标时序数据的数据类型,包括:
确定目标时序数据的特征数据;
根据所述特征数据,确定所述目标时序数据的数据类型。
5.根据权利要求4所述的方法,其特征在于,
所述特征数据包括以下数据的至少一个:
时序数据采样率,时序数据是否具有每天归零的特性,时序数据是否具有稀疏性,时序数据噪音值,时序数据是否具有周期性。
6.根据权利要求4所述的方法,其特征在于,所述根据所述特征数据,确定所述目标时序数据的数据类型,包括:
根据特征优先级和所述特征数据,确定所述数据类型。
7.根据权利要求4所述的方法,其特征在于,还包括:
从时序数据与数据类型标注信息之间的对应关系集中,学习得到数据类型预测模型;所述预测模型包括特征提取子网络和类型预测子网络;
通过所述特征提取子网络,确定所述特征数据;
通过所述类型预测子网络,根据所述特征数据,确定所述数据类型。
8.根据权利要求3所述的方法,其特征在于,
所述检测参数包括:检测敏感度,HP滤波的宽度,T检测的右窗口宽度,T检测的左窗口宽度。
9.根据权利要求3所述的方法,其特征在于,还包括:
确定与所述数据类型对应的检测模型动作参数;
根据所述动作参数,确定所述检测模型。
10.根据权利要求3所述的方法,其特征在于,
所述数据类型包括:日常平稳数据;
所述检测参数包括:检测敏感度为第一检测敏感度,T检测算法的右窗口宽度为第一右窗口宽度,T检测算法的左窗口宽度为第一左窗口宽度;
所述动作参数包括:去趋势处理,T检测算法;
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,包括:
确定所述时序数据的去除趋势分量的剩余数据;
通过T检测算法,至少根据第一检测敏感度、第一右窗口宽度、第一左窗口宽度,确定所述剩余数据包括的异常点,作为日常平稳数据的异常点。
11.根据权利要求3所述的方法,其特征在于,
所述数据类型包括:机器数据;
所述检测参数包括:平滑度阈值,检测敏感度为第二检测敏感度,T检测算法的右窗口宽度为第二右窗口宽度,T检测算法的左窗口宽度为第二左窗口宽度;
所述动作参数包括:平滑度确定处理,T检测算法,若平滑度小于平滑度阈值,则执行去周期处理;
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,包括:
确定机器数据的平滑度;
若所述平滑度小于平滑度阈值,则确定所述时序数据的去除周期分量的剩余数据;
通过T检测算法,至少根据第二检测敏感度、第二右窗口宽度和第二左窗口宽度,确定所述剩余数据包括的异常点,作为机器数据的异常点。
12.根据权利要求11所述的方法,其特征在于,
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,还包括:
若所述平滑度大于或者等于平滑度阈值,则通过T检测算法,至少根据第二检测敏感度、第一右窗口宽度和第一左窗口宽度,确定所述机器数据的异常点。
13.根据权利要求3所述的方法,其特征在于,
所述数据类型包括:实时累积数据;
所述检测参数包括:检测敏感度为第三检测敏感度,去周期时参照历史周期的第三长度,T检测算法的右窗口宽度为第三右窗口宽度,T检测算法的左窗口宽度为第三左窗口宽度;
所述动作参数包括:差分处理,去周期处理,T检测算法;
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,包括:
确定与实时累积数据对应的累积前数据;
根据所述第三长度,确定所述累积前数据的去除周期性分量的剩余数据;
通过T检测算法,至少根据第三检测敏感度、第三右窗口宽度和第三左窗口宽度,确定所述剩余数据包括的异常点,作为实时累积数据的异常点。
14.根据权利要求3所述的方法,其特征在于,
所述数据类型包括:周期性数据;
所述检测参数包括:去周期时参照历史周期的第四长度,检测敏感度为第四检测敏感度,T检测算法的右窗口宽度为第四右窗口宽度,T检测算法的左窗口宽度为第四左窗口宽度;
所述动作参数包括:去周期处理,T检测算法;
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,包括:
根据所述第四长度,确定所述时序数据的去除周期分量的剩余数据;
通过T检测算法,至少根据第四检测敏感度、第四右窗口宽度和第四左窗口宽度,确定所述剩余数据包括的异常点,作为周期数据的异常点。
15.根据权利要求3所述的方法,其特征在于,
所述数据类型包括:稀疏性数据;
所述检测参数包括:检测敏感度为第五检测敏感度,T检测算法的右窗口宽度为第五右窗口宽度,T检测算法的左窗口宽度为第五左窗口宽度;
所述动作参数包括:常量滤除处理,去周期处理,T检测算法;
所述通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,包括:
确定所述时序数据的常量数据;
滤除所述时序数据包括的小于或者等于常量的数据点;
通过T检测算法,至少根据第五检测敏感度、第五右窗口宽度和第五左窗口宽度,确定滤除常量后数据包括的异常点,作为稀疏性数据的异常点。
16.根据权利要求3所述的方法,其特征在于,还包括:
接收针对目标数据类型的参数设置请求;所述请求包括目标数据类型及其特征值、检测参数和检测模型动作参数;
存储所述目标数据类型、所述特征值、所述检测参数、及所述动作参数间的对应关系。
17.根据权利要求3所述的方法,其特征在于,
所述方法的执行主体部署在云服务器中;
接收多个数据方的客户端发送的所述异常检测请求;所述多个数据方的时序数据属于不同的数据类型。
18.根据权利要求17所述的方法,其特征在于,还包括:
根据所述多个数据方的时序数据的异常检测结果,确定不同时序数据之间的关联关系。
19.根据权利要求3所述的方法,其特征在于,还包括:
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点,确定所述其它时序数据的异常点。
20.根据权利要求19所述的方法,其特征在于,所述异常关联关系采用如下步骤确定:
获取多个时序数据各自对应的元数据间的相关性信息;
根据所述相关性信息,确定所述异常关联关系。
21.根据权利要求3或18所述的方法,其特征在于,还包括:
确定所述目标时序数据与其它时序数据间的关联关系;
接收客户端发送的针对所述异常点的异常原因设置请求;
存储异常数据与异常原因间的对应关系;
根据所述关联关系,将异常原因推送至与所述目标时序数据相关的其它时序数据的客户端。
22.根据权利要求3所述的方法,其特征在于,还包括:
所述异常检测请求包括数据名;
根据所述数据名,确定所述数据类型;
根据数据名与检测服务费用间的对应关系,确定检测费用。
23.一种数据异常检测方法,其特征在于,包括:
确定目标时序数据;
向服务端发送针对目标时序数据的异常检测请求;
接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理;
所述服务端执行如下处理:
确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;
接收客户端发送的针对目标时序数据的异常检测请求;
确定目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;
根据所述动作顺序,对所述目标时序数据进行分解;
通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;
向所述客户端回送所述异常点;
根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;
将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
24.一种数据异常检测装置,其特征在于,包括:
请求接收单元,用于确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;接收客户端发送的针对目标时序数据的异常检测请求;
数据类型确定单元,用于确定目标时序数据的数据类型;
检测参数及模型确定单元,用于确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;
异常点确定单元,用于根据所述动作顺序,对所述目标时序数据进行分解;通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;
异常点回送单元,用于向所述客户端回送所述异常点;根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;确定所述目标时序数据与其它时序数据间的异常关联关系;根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
25.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;接收客户端发送的针对目标时序数据的异常检测请求;确定目标时序数据的数据类型;确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;根据所述动作顺序,对所述目标时序数据进行分解;通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点;向所述客户端回送所述异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;向所述客户端回送所述异常点;根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;确定所述目标时序数据与其它时序数据间的异常关联关系;根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
26.一种数据异常检测装置,其特征在于,包括:
数据确定单元,用于确定目标时序数据;
请求发送单元,用于向服务端发送针对目标时序数据的异常检测请求;
异常点接收单元,用于接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理;
所述服务端执行如下处理:
确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;
接收客户端发送的针对目标时序数据的异常检测请求;
确定目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;
根据所述动作顺序,对所述目标时序数据进行分解;
通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;
向所述客户端回送所述异常点;
根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;
将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
27.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储实现数据异常检测方法的程序,该设备通电并通过所述处理器运行该方法的程序后,执行下述步骤:确定目标时序数据;向服务端发送针对目标时序数据的异常检测请求;接收所述服务端回送的所述目标时序数据的异常点,以便于根据所述异常点执行异常处理;
所述服务端执行如下处理:
确定数据类型、时序异常检测参数、及检测模型动作参数间的对应关系;所述数据类型包括日常平稳数据、实时累积数据、稀疏数据和机器数据中的至少两个;
接收客户端发送的针对目标时序数据的异常检测请求;
确定目标时序数据的数据类型;
确定与所述数据类型对应的时序异常检测参数和检测模型动作参数;所述动作参数包括动作顺序、异常点检测算法标识,动作参数还包括常量滤除处理、去趋势处理、去周期处理、差分处理、去噪声处理和平滑度确定处理中的至少一个;所述异常点检测算法包括T检测算法;
根据所述动作顺序,对所述目标时序数据进行分解;
通过所述异常点检测算法,根据所述检测参数和分解后的数据,确定所述目标时序数据的异常点,不同数据类型对应的相同异常点检测算法的检测参数不同;
向所述客户端回送所述异常点;
根据异常数据与异常原因间的对应关系,确定所述目标时序数据包括的异常点的异常原因;
确定所述目标时序数据与其它时序数据间的异常关联关系;
根据所述目标时序数据的异常点和所述异常关联关系,确定与所述目标时序数据相关的其它时序数据的异常点;
将所述异常原因和所述其它时序数据的异常点推送至所述其它时序数据的客户端,使得其它数据方可根据所述异常原因确定系统调整方式。
CN202010012938.0A 2020-01-06 2020-01-06 数据异常检测方法、装置、系统及电子设备 Active CN113079129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010012938.0A CN113079129B (zh) 2020-01-06 2020-01-06 数据异常检测方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010012938.0A CN113079129B (zh) 2020-01-06 2020-01-06 数据异常检测方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN113079129A CN113079129A (zh) 2021-07-06
CN113079129B true CN113079129B (zh) 2023-08-08

Family

ID=76608897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010012938.0A Active CN113079129B (zh) 2020-01-06 2020-01-06 数据异常检测方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN113079129B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技(深圳)有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110266552A (zh) * 2019-08-15 2019-09-20 华为技术有限公司 流量异常检测的方法、模型训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10241887B2 (en) * 2013-03-29 2019-03-26 Vmware, Inc. Data-agnostic anomaly detection
US10917419B2 (en) * 2017-05-05 2021-02-09 Servicenow, Inc. Systems and methods for anomaly detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技(深圳)有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110266552A (zh) * 2019-08-15 2019-09-20 华为技术有限公司 流量异常检测的方法、模型训练方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
水文序列ARIMA模型应用中存在的问题与改进方式;王红瑞等;《系统工程理论与实践》;20081015(第10期);第166-174页 *

Also Published As

Publication number Publication date
CN113079129A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108647891B (zh) 数据异常归因分析方法及装置
WO2021212756A1 (zh) 指标异常分析方法、装置、电子设备及存储介质
US20190228296A1 (en) Significant events identifier for outlier root cause investigation
US10241887B2 (en) Data-agnostic anomaly detection
US11256596B2 (en) Systems and techniques for adaptive identification and prediction of data anomalies, and forecasting data trends across high-scale network infrastructures
US10248528B2 (en) System monitoring method and apparatus
US9378079B2 (en) Detection of anomalies in error signals of cloud based service
AU2017274576B2 (en) Classification of log data
CN111325466A (zh) 智能预警方法与系统
US9672242B2 (en) System for automatically detecting abnormalities statistical data on usage, method therefor, and apparatus applied to same
CN109522190B (zh) 异常用户行为识别方法及装置、电子设备、存储介质
US20140096146A1 (en) Translating time-stamped events to performance indicators
CN112084229A (zh) 一种识别城镇燃气用户异常用气行为的方法及装置
US20150186907A1 (en) Data mining
JP6082341B2 (ja) 異常検出装置及び異常検出方法
CN106327230B (zh) 一种异常用户检测方法及设备
CN110399268A (zh) 一种异常数据检测的方法、装置及设备
CN110909306A (zh) 业务异常检测方法、装置、电子设备和存储设备
CN110688846B (zh) 周期词挖掘方法、系统、电子设备及可读存储介质
CN113079129B (zh) 数据异常检测方法、装置、系统及电子设备
CN113076349A (zh) 数据异常检测方法、装置、系统及电子设备
Lee et al. Detecting anomaly teletraffic using stochastic self-similarity based on Hadoop
CN115238815A (zh) 异常交易数据获取方法、装置、设备、介质和程序产品
Miao et al. Automatic baseline correction of strain gauge signals
CN112988536B (zh) 一种数据异常检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant