CN106104496A - 用于任意时序的不受监督的异常检测 - Google Patents

用于任意时序的不受监督的异常检测 Download PDF

Info

Publication number
CN106104496A
CN106104496A CN201580014770.4A CN201580014770A CN106104496A CN 106104496 A CN106104496 A CN 106104496A CN 201580014770 A CN201580014770 A CN 201580014770A CN 106104496 A CN106104496 A CN 106104496A
Authority
CN
China
Prior art keywords
data
exception
abnormal
sequential
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580014770.4A
Other languages
English (en)
Other versions
CN106104496B (zh
Inventor
V·弗里诺夫
P·佩里欧来里斯
D·斯塔罗斯京
A·德贝纳斯特
E·阿克初林
A·克利莫弗
T·明卡
A·施彭格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106104496A publication Critical patent/CN106104496A/zh
Application granted granted Critical
Publication of CN106104496B publication Critical patent/CN106104496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Computer Security & Cryptography (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)

Abstract

从执行中的程序检查表示性能计数器的时序序列可提供关于潜在的故障、在网络上流量方面的繁忙时间段、密集的处理周期等的重要线索。不受监督的异常检测器可检测任意时序的异常。来自统计数据、信号处理和机器学习的已知技术的组合可被用于标识不受监督的数据上的异常值，并用于捕捉类似于边缘检测、尖峰检测和模式误差异常之类的异常。关于异常是否被检测到的布尔和概率结果可被提供。

Description

用于任意时序的不受监督的异常检测
背景
异常(也知晓为：离群值、新奇事物、噪音、偏差、罕见值或例外)可被定义为与预期不同的任何事物。在计算机科学中，异常检测指的是标识不符合预期模式或不符合组中的其他项的数据、事件或条件。在一些情况下遇到异常指示处理不正常并由此可呈现用于调查的起始点。传统地，异常可由人类研究踪迹来检测。踪迹是可来自于应用、进程、操作系统、硬件组件和/或网络的信息的日志。鉴于当今计算机系统的当前复杂性，这从来不是件容易的工作，而是正快速变得对于人类而言近似不可能完成的工作。
基于用作用于定义什么是正常以及什么是异常的基线的参考数据的可用性，异常检测被分类为受监督的、半受监督的或不受监督的。受监督的异常检测通常涉及基于被标记为“正常”的第一类型的数据以及被标记为“不正常”的第二类型的数据来训练分类器。半受监督的异常检测通常涉及从一种类型的经标记的数据中构造表示正常行为的模型：从被标记为正常的数据中或从被标记为不正常的数据中，但是这两种类型的经标记的数据不被提供。不受监督的异常检测检测数据中的异常，其中数据不被用户手动地标记。
概述
用于不受监督的异常检测的系统和方法实现对于在任意时序序列中高度可能不正常的值的自动检测。如本文中使用的，一序列指集合中值的进展。时序序列或时序指任意数据序列，其中该序列中的每个项与时间点相关联。异常可通过监视并处理对应的时序来被实时地检测，即使时序具有发展中的分布，即时序不是固定的而是随着时间改变或发展。时序中的数据在被处理前不被标记。时序中的数据在被处理后不被标记。数据被评分，而不使用经标记的数据。不使用用于合并反馈或先验知识的系统。统计学、信号处理和机器学习技术可被应用来标识时序中的异常。异常检测可基于使用Z测试和处理遵循高斯分布模式的时序的技术的组合。
Z测试是基于计算当前点的实际值与对应序列的平均值之间的距离(以其标准偏差为单位)的统计测试(知晓为z分数)。Z测试的结果是指示当前点是异常值还是不是异常值的布尔值。遵循高斯类型的分布的数据指落在对称钟形曲线形状中的数据。
一个或多个异常的正式数学定义可被捕捉，而无需监督。取自于统计数据、信号处理和机器学习的统计方法可被用于建模时序并分析其分布来检测数据中的异常。输入时序的投影可基于各种算法，包括但不限于，线性预测编码、一阶导数、二阶导数等。投影指传入数据在其通过流水线中的各个阶段时取决于所应用的处理的转换。对评分(即，异常检测结果)频率的控制可基于使用变量范围的时间窗口的缓冲。算法的校准和/或训练可基于来自十个或更多个数据点中的可指定数量的数据点。当异常被标识时，布尔和概率结果的组合可被产生，从而潜在地提升可靠性。结果可基于分布以及检测到的异常的类型来被分类。时序的分布的改变可被动态地监视，使得对性能计数器数据点的处理的动态且自动的调整可发生。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
在附图中：
图1a示出根据本文中描述的主题的各方面的系统100的一示例，其监视一组件和并检测由该组件产生的时序中的异常；
图1b示出根据本文中描述的主题的各方面的系统101的一部分的更加详细的示例；
图2a示出了根据本文中公开的主题的各方面的检测异常的方法200的示例；
图2b示出根据本文中公开的主题的各方面的异常显示230的示例；
图3是根据本文公开的主题的各方面的计算环境的示例的框图。
具体实施方式
概览
可在时序中标识异常，而无需事先知晓特定序列的异常是什么。取自于统计数据、信号处理和机器学习的统计方法可被用于建模时序、分析其分布并预测异常是什么。本文中描述的各技术可广泛地应用：本文中描述的不受监督的异常检测器可检测任意执行中的应用或服务中的异常。为了给出一个非限制示例，一个应用是云计算平台和基础结构，诸如但不限于微软公司创建的AZURE。AZURE可被用于构建、部署和管理应用和服务。
执行中的应用产生数个称为性能计数器的数据序列。性能计数器可反映运行在特定硬件上的对应的应用实例的健康。性能计数器可包括与CPU(中央处理单元)负载、存储器、网络I/O(输入/输出)、例外率、堆中的字节、存储器存储中的对象以及本领域的技术人员已知的许多其他事物相关联的计数器。通常，对于单个应用，针对每个硬件单元可使用多于一百个的计数器。自动地检测时序值中的异常可使得问题能够被更快速地发现并可使得问题能够在它们发生时就被修复。当今计数器通常被记录并在之后以离线方式来检查。这种方式在当今可能是不够的。许多其中性能计数器被监视的情况需要非常及时地检测异常、诊断问题并且改正情况。自动地检测被持续监视的组件中的异常可使得组件的所有者或操作者能够在异常行为发生时被通知该异常行为，并可因此产生降低的平均检测时间(MTTD)和减少平均缓解时间(MTTM)。
描述应用在过去如何表现的历史数据可能不可用。根据本文中描述的主题的各方面的不受监督的异常检测器可在应用或其他类型的组件运行时确定应用应当如何表现。快速地推断组件的正常和不正常行为表明，通常没有足够的时间来等待大量的统计样本以做出关于时序内数据段的特征(正常相较于异常)的预测。本文中描述的异常检测器可基于从如十个数据点那么少的数据点中的可指定数量的数据点来校准和/或训练分类器。本文中描述的异常检测器可适于顺应动态地改变的时序。假肯定(被错误标记为异常的正常值)被最小化并且几乎没有假否定(被错误标记为正常的异常值)被产生。
可在任意执行中的组件执行或操作时通过持续地监视和处理性能计数器数据点来在针对该组件的任意性能计数器中检测到异常。当异常被检测到时，该异常可被存储。异常可与任意相关信息一起被显示给观察者(例如，客户、用户界面、应用等)。检测到的异常的类型可至少包括：范围外值异常、尖峰异常、模式误差异常以及陡然变化或边缘异常。
本文中描述的异常检测器可被实现为监视基础结构内的规则。这样的规则可封装被应用到时序的逻辑片段。规则可处理特定组件的特定性能计数器的数据点。根据本文中描述的主题的一些方面，在规则内，在一个阶段中数据的分布被检测，在另一个阶段中预处理被执行，在另一阶段中异常被检测并且在另一个阶段中后处理被执行。结果或另一类型的异常的指示可被提供。
在以上列出的第一阶段中，性能计数器的时序的分布可被确定。时序的分布可以是每个可能值出现的相对次数的描述。例如，在CPU性能计数器的情况中，98％使用的值是罕见的，而20％-70％范围中的值可被认为是正常且常见的。在预处理步骤中，可从数据点中提取特征，诸如但不限于当前数据点值到时序的平均值的距离。异常检测算法可被应用到异常检测阶段中的数据。如果结果是肯定的(即，指示异常的标识的肯定)，则结果可被发送到后处理阶段。取决于检测到的异常的类型，可跟随不同的处理路径。如果数据点被表征为多于一个的异常，(例如，尖峰和范围外值两者)，则后处理可确保只产生一个异常事件，从而减少噪音。
不同的分析处理路径可并行地执行。处理路径可将所有传入的性能计数器时序作为输入来接收。可在初始“预热阶段”中观察到时序的正常行为。在预热阶段期间，根据本文中描述的主题的一些方面，不产生异常警报。传入的数据点可被用于使用Z测试和高斯分布算法来训练分类器。在预热阶段之后，对异常的检测可开始。
边缘检测、尖峰检测和模式误差处理路径可处理其时序遵循高斯分布模式的数据。因为不是所有的性能计数器都遵循高斯分布模式，所以可提供附加的异常检测处理路径。这个路径可接收任意时序分布。为了确定数据流所展示的行为以及因而将时序分类为遵循高斯分布模式的一种或不遵循高斯分布的一种，标准Z测试算法可被应用在原始数据上。正常值的标准偏差可被估计并与在预热阶段期间被动态确定的阈值进行比较。例如，对于散布有偶尔的1的全0序列，正常值的标准偏差将保持为0，即低于阈值并且没有异常产生。无法将一技术(诸如Z测试)应用在原始数据上可加宽尖峰并可在过滤隔离的异常值时生成更多噪音。
传入的数据点可被并行地发送到Z测试算法(范围外检测)和基于高斯的处理路径。Z测试正常值(正常的值)可被传递到确定序列的统计分布的分布分析组件。这可持续地完成。对于非高斯序列而言切换到经高斯模式化的序列是可能的。同时，传入的数据点可被发送到平滑数据信号的组件，从而移除噪音。
对于高斯处理路径中的每一者，包括但不限于平均值、距平均值的距离、标准偏差等在内的特征可被接收。预处理结果可被发送到一对算法，该对算法包括Z测试算法以及致力于处理遵循高斯分布模式的数据的算法。在操作中，根据本文中描述的主题的一些方面，各对算法中的每一对根据独立于其他处理路径接收自每个处理路径的数据被训练(例如，在预热阶段期间)。
在后处理阶段期间，由异常检测处理路径和分布检测组件产生的所有结果可被处理。如果异常被检测到，检测到异常的处理路径可被确定。如果流的分布是高斯并且异常由高斯处理路径中的一个或多个检测到，则产生异常事件。如果检测到的异常匹配其他分布(离散值、零值、二进制)并且异常由范围外处理路径检测到，则异常事件也可被允许来传播相同或另一性能存储。所有其他检测到的异常可被忽略。
Z测试、线性预测编码(用于标识模式中的误差)、低通滤波器和Kolmogorov-Smirnov(柯莫果夫-史迈诺夫)测试(用于标识到标准化的高斯分布的距离的算法)是机器学习和信号处理领域中详细描述的标准算法。
用于任意时序的不受监督的异常检测
图1a示出根据本文中描述的主题的各方面的系统100的一示例，其监视一组件和/或检测由该组件产生的时序中的异常。系统100的全部或部分可以驻留在诸如下面参考图3所描述的计算机之类的一个或多个计算机或计算设备上。系统100或其部分可以被提供为独立系统或插件或附件。
系统100或其部分可包括从某一服务(如云中)获得的信息或可在云计算环境中操作。云计算环境可以是其中计算服务不被拥有但被按需提供的环境。例如，信息可驻留在联网云中的多个设备上，和/或数据可被存储在云内的多个设备上。
系统100可包括一个或多个计算设备，如计算设备102。所构想的计算设备包括但不限于台式计算机、平板计算机、膝上型计算机、笔记本计算机、个人数字助理、智能电话、蜂窝电话、移动电话等。诸如计算设备102等计算设备可包括一个或多个处理器(如处理器142等)和与该一个或多个处理器通信的存储器(如存储器144)。
系统100可包括下列各项中的一个或多个：组件(诸如组件150)、监视器(诸如监视器152)、数据(诸如数据154)、异常检测器(诸如异常检测器156)、异常存储(诸如异常存储156)和/或显示器160。系统100可包括一个或多个程序模块，该一个或多个程序模块包括监视器152。监视器152可监视组件(诸如组件150)的执行或操作。监视器152可持续地或间歇地或按需来监视组件150。监视器152可收集由组件150产生的或与组件150相关联的数据154。监视器152可被合并在异常检测器156内。
组件150可以是应用、进程、操作系统、硬件部件、网络、网络交换机或产生数据154或伴有数据154的产生的任意组件，该数据154包括但不限于性能计数器。性能计数器可包括与CPU负载、存储器、网络I/O相关联的性能计数器以及本领域的技术人员已知的多种其他类型的性能计数器。数据154可包括踪迹数据。数据154可包括可作为数字或字符串的时序来查看的踪迹事件序列。数据154可被异常检测器156使用来提供关于组件150的信息，诸如组件150是正常地操作还是发生故障。数据154可被持续地或间歇地或按需地或其组合地收集。由监视器152收集的数据154中的一些或全部可被提供到异常检测器，诸如异常检测器156。
异常检测器156可处理接收自监视器152的数据154中的一些或全部。异常检测器156可自动地检测时序数据中在预期值的正常范围之外的值。即使缺乏描述组件150在过去如何表现的历史数据，异常检测器156依然能自动地检测时序数据中在预期值的正常范围之外的值。异常检测器156可在组件正在执行时动态地自动检测时序数据中在预期值的正常范围之外的值。异常检测器156可自动地适应由组件150产生的或与组件150相关联的数据中的改变。异常检测器156可通过持续地监视并评估性能计数器数据点来实时地自动检测任一应用中任一性能计数器中的异常。异常检测器156可使用时序数据来分析问题的原因，在问题发生之前预测该问题或与问题被检测到一样迅速地来对该问题作出反应。异常检测器156可将与异常相关联的信息存储在异常存储(诸如异常存储158)中。与异常相关联的信息可被显示在显示器160上。组件150、监视器152、数据154、异常检测器156、异常存储158和显示器160中的全部或一些可以在相同的计算设备上或在不同的计算设备上。
图1b示出根据此处所公开的主题的各方面的检测任意时序中的异常的系统101的一示例的框图。系统101的全部或部分可以驻留在诸如下面参考图3所描述的计算机之类的一个或多个计算机或计算设备上。系统101或其部分可以被提供为独立系统或插件或附件。
系统101或其部分可包括从某一服务(如云中)获得的信息或可在云计算环境中操作。云计算环境可以是其中计算服务不被拥有但被按需提供的环境。例如，信息可驻留在联网云中的多个设备上，和/或数据可被存储在云内的多个设备上。
系统101可包括一个或多个计算设备，如计算设备102。所构想的计算设备包括但不限于台式计算机、平板计算机、膝上型计算机、笔记本计算机、个人数字助理、智能电话、蜂窝电话、移动电话等。诸如计算设备102等计算设备可包括一个或多个处理器(如处理器142等)和与该一个或多个处理器通信的存储器(如存储器144)。
系统101可包括一个或多个程序模块，该一个或多个程序模块包括异常检测器(诸如异常检测器103)。异常检测器103可包括从数据中提取性能计数器数据点的一个或多个程序模块(未显示)。替代地，数据提取程序模块可以在异常检测器103的外部。所提供的数据可来自于监视器，诸如但不限于图1a的监视器152。异常检测器103可包括检测数据的分布的一个或多个程序模块(未显示)。替代地，数据分布程序模块可以在异常检测器103的外部。性能计数器的时序的分布可以是每个值出现的相对次数的描述。在例如中央处理单元(CPU)的情况下，98％使用的值相对于处于20-70％的范围中的值而言是罕见的。由此，处于20％到70％的范围中的值可被认为是正常的，而98％使用的值可被认为是异常的。
异常检测器130可包括执行预处理阶段的一个或多个程序模块(诸如预处理模块104)、执行异常检测阶段的一个或多个程序模块(诸如异常检测阶段模块106)以及执行后处理阶段的一个或多个模块(诸如异常检测输出分析模块130)。异常检测器103还可包括一个或多个异常存储(诸如性能计数器存储132)。
预处理模块104可包括下列各项中的一个或多个：数据平滑模块112、Z测试模块114、模式误差检测模块116、尖峰检测模块118和/或边缘检测模块120。异常检测阶段模块106可包括以下中的一个或多个：组合的、Z测试和/或高斯分布处理模块，诸如Z测试、高斯模块122和/或分布检测器模块128。结果可被显示在显示设备(诸如显示器126)上。预处理模块104可从数据点中提取特征。特征可包括诸如当前数据点值到时序的平均值的距离之类的特征。
异常检测器103可接收数据(诸如数据110)。数据110可以是任意时序数据。数据110可以是数据序列，包括但不限于由执行中的或操作中的组件(诸如图1a的组件150)产生的性能计数器。性能计数器可包括与CPU加载、存储器、网络I/O(输入/输出)等相关联的计数器。性能计数器可接收自应用、进程、操作系统、硬件组件、网络交换机等。
数据110可接收自监视一个或多个组件(诸如执行中的应用(未显示))的性能监视系统、一个或多个处理器(诸如处理器142等)、存储器(诸如存储器144等)。数据110可接收自云计算平台和基础结构，诸如但不限于由Microsoft Corporation(微软公司)创建的AZURE。数据110可接收自一个或多个计算机或计算设备。数据110可被提供到可减少噪音的数据平滑模块(诸如数据平滑模块112)。数据平滑模块112可以是低通滤波器。数据110内不理想的频率可基于设计(诸如但不限于Chebychev(切匹雪夫)滤波器的设计)来使用低通滤波器被移除。Chebychev滤波器是在滤波器的范围上最小化理想的和实际滤波器特征之间的误差、但在通带中具有波纹的模拟或数字滤波器。根据本文中描述的主题的一些方面的低通滤波器是预处理阶段的一部分。低通滤波器可滤除输入时序中的小的变化。(这些小的变化可能以其他方式恶化异常值处理路径的性能结果。)使用低通滤波器的过滤可减少假肯定的数量。根据本文中描述的主题的一些方面，20阶的横向滤波器可被使用。横向滤波器可出于其稳定性而替代自回归滤波器被选择。因为没有输入时序的先验统计知识可用，所以自回归滤波器对于某些输入顺序而言可变得不稳定。数据110可同时被提供到Z测试模块，诸如z测试模块114。
根据本文中描述的主题的一些方面，多个处理路径可并行运行。处理路径中的每一个检测单个类型的异常。第一类型的处理路径可处理遵循高斯分布模式的数据，而第二类型的处理路径可处理不遵循高斯分布的数据。处理路径(数据110到Z测试模块114到分布检测模块128)可基于各个数据点来检测范围外的异常。在这个处理路径中，可检测到范围外异常(例如，单个数据点的值明显地在范围外)。范围外异常可按每个数据点来计算。如果当前数据点的值与对应性能计数器的时序的平均值之间的差的绝对值大于阈值，则可产生“范围外”类型的异常。
根据本文中描述的主题的一些方面，其他处理路径(针对遵循高斯分布的数据)可基于经平滑的数据点来检测异常。处理路径2(数据110到数据平滑模块112到边缘检测模块120)可检测边缘异常。边缘异常指的是性能计数器时序中急降或急升的出现。如果该下降或该上升的绝对值大于性能计数器时序的标准偏差乘以预热阶段期间计算的阈值，则可产生“边缘检测”类型的异常。
处理路径3(数据110到数据平滑模块112到尖峰检测模块118)可检测尖峰异常。尖峰异常对应于性能计数器序列中正的或负的尖峰的存在。如果平均值的一序列被标识为尖峰，则可产生“尖峰检测”类型的异常。技术上，这等效于将平均值的二阶导数与预热阶段期间计算的阈值进行比较。超过该阈值指示异常。
处理路径4(数据110到数据平滑模块112到模式误差检测模块116)可检测线性预测误差或模式误差异常。线性预测误差异常可以是性能计数器序列中非预期模式的出现的结果。这在信号是重复模式时可能尤其明显。时序可在预热阶段期间被建模为具有高斯噪音的自回归过程。假设该序列在整个执行阶段期间保持固定，则自回归过程可预测每个即将到来的数据点的预期值。如果预期值和实际值之间的差的绝对值大于在预热阶段期间定义的阈值，则可产生“预测误差”类型的异常。
被组合使用来用于在异常检测阶段中检测异常的算法可包括：致力于处理遵循高斯分布的数据的算法和Z测试算法。高斯算法可输出指示数据点是正常值或异常值的概率的变量。接着可基于概率值来做出决策以确定是否产生一事件。
Z测试是基于计算当前点的实际值与对应序列的平均值之间的距离(以其标准偏差为单位)的统计测试(知晓为z分数)。结果是指示实际点是否是异常值的布尔值。
在算法训练(预热阶段)期间，路径中所涉及的算法可基于对应性能计数器序列的实际值来校准它们的内部参数。预热阶段可使得分析性能计数器的算法能够确定计数器的典型或正常行为是什么并针对性能计数器值的正常分布来进行比较。预热阶段使得能够获得准确的结果，从而减少假肯定。假肯定是错误地产生异常。预热阶段还可被称为训练阶段。根据本文中描述的主题的各方面的预热阶段完全是自动化的。不需要人为干预或附加信息。本文中描述的路径可在预热阶段结束之后开始检测异常。预热阶段的默认持续时间可被设为30分钟，即大约30个数据点(给定每分钟1个数据点的速率)。根据本文中描述的主题的各方面，默认预热时间段可通过改变配置文件中的值来被改变。算法可被进一步训练并可在初始预热阶段之外来继续学习。
针对预热阶段的输入可以是原始性能计数器值。第一可配置数量的数据点可被收集在缓冲器中并被用于校准各个异常检测算法。虽然从预热阶段中没有生成输出，但是异常检测算法的内部状态可被影响。异常检测算法的状态可由几个数据类型double(双精度)的值来表示。对于一些算法(诸如高斯分布算法)，状态可以是6个数据类型double的值和3个数据类型integer(整数)的值的集合，而对于Z测试，状态可以是4个数据类型double的值的集合。这种状态的持续存在可确保算法维持对性能计数器的整个历史的知晓，即使在重新循环和重新部署之外。
对应于检测到的各类型的异常的多个路径可被实现。每个路径集可检测单个组件的单个性能计数器序列中的异常。根据本文中描述的主题的一些方面，每个性能计数器可被部署一个路径集。
对于“范围外”类型的异常，每个数据点可被顺序地处理。根据本文中描述的主题的一些方面，不需要缓冲。假设从对应于单个性能计数器和单个组件的规则中检索到来自一对象的数据序列。该序列中的每个数据点可被提供到Z测试，其可确定数据点是否是异常值。异常值可被发送到后处理以用于异常检测输出分析。Z测试可使用布尔值(真或假)来指示结果。正常值(正常的值)可被发送到分布分析组件。
对于边缘检测路径，假设从对应于单个性能计数器和单个组件的规则中接收到来自一对象的数据序列。该序列可使用30分钟的翻转(重用)窗口来被缓冲。假设每分钟一数据点的采样速率，缓冲器大小将包括30个数据点。缓冲器上的算术平均值可被计算。所得到的序列的采样速率是每个窗口持续时间一个值，即，每30分钟一个值。在这个得到的序列上，一阶导数可被计算，其对应于当前缓冲器的各值的平均值与先前缓冲器的各值的平均值之间的差。结果可被提供到Z测试以及可确定一阶导数值是否是异常值的高斯异常值检测器。Z测试可使用布尔值(真或假)来指示结果。同时，高斯异常值检测器可推断一阶导数值对应于异常值的概率。
对于尖峰检测路径，计算二阶导数而非一阶导数。该路径的所有其他组件均与边缘检测路径的相同。
对于模式误差检测路径，数据可以与在其他路径中相同的方式被处理。附加算法可被使用来确定平均值序列上的预测误差。每时间窗口所确定的平均值可被提供到线性预测编码器，其可生成预期值。这个值和实际值之间的差的绝对值将被提供到Z测试以及可确定其是否是异常值的高斯异常值检测器。对异常值的检测可对应于原始序列中的错误模式。线性预测编码器的状态可被存储在类型double的一维数组中。
为了产生异常事件，任意策略可被应用到路径的结果来确定数据点是否指示异常。一个选项是利用匿名策略，其中路径在异常事件被产生之前将数据点表征为不正常。其他策略可应用。Z测试算法可输出布尔值(真或假)。高斯算法可输出其值的范围从0到1的概率。为了使得异常检测更加可靠，以下推理可被应用：如果概率超过预先定义的阈值(例如，高于65％)并且Z测试确认数据点是异常，则异常事件可被产生并可被发送以用于后处理。
所产生的异常事件可包括至少以下字段：
1.时间戳。在窗口操作已经被应用的情况下，该时间戳将对应于窗口的结束，
2.对应于异常的类型的路径标识符(“边缘检测”、“范围外”、“尖峰检测”、“预测误差”)，
3.性能计数器名称。
每个流水线可产生其自己的异常事件。后处理可以是最终步骤，其中产生自每个路径的异常事件被聚集。在数据点在多于一个的路径中被声明为是异常的情况下，异常事件可被组合成单个事件，该单个事件携带其在其中被检测到的路径的所有标识符。
图2示出了根据本文公开的主题的各方面的用于不受监督的异常检测的方法200的示例。图2a中所述的方法可由诸如但不限于参考图1a和1b中所述的那些系统之类的系统来实施。尽管方法200描述了顺序执行的一系列操作，但要理解，方法200不受所示顺序的次序的限制。例如，一些操作可以与所描述的不同的次序发生。另外，一个操作可以与另一操作并发发生。在一些实例中，不是所有的所描述操作都被执行。
在操作202，一组件可被监视，如以上更充分描述的。该组件可以与数据相关联或可产生数据，该数据包括性能计数器。性能计数器数据可从由该组件产生的数据中提取。该数据可作为数字或字符串的时序来查看。该数据可由异常检测器来接收，如以上更充分描述的。性能计数器数据点可从接收到的数据中提取。在操作204，该数据所遵循的数据分布可被确定。根据本文中描述的主题的一些方面，为了确定数据流所展示的行为，Z测试算法可被应用到原始数据。正常值的标准偏差可与可在预热阶段期间被动态确定的阈值进行比较。例如，对于具有偶尔1的全0序列，正常值的标准偏差将保持为0，即低于阈值并且没有异常值产生。传入的数据点可被并行地发送到Z测试算法(范围外检测)和数据平滑模块两者，如以上更充分描述的。
在操作206，预处理可被执行。在预处理操作期间，可从数据点中提取特征。特征可包括诸如当前数据点值到时序的平均值的距离。在操作208，异常可被检测。根据本文中描述的主题的一些方面，可在异常检测期间使用四条分析流水线来检测四种不同类型的异常。四条流水线可并行地执行。每条流水线可将传入的性能计数器时序取为输入。在异常检测期间，每条流水线可尝试在初始预热阶段中学习时序的正常行为。根据本文中描述的主题的一些方面，在预热阶段期间，不产生异常警报。在预热阶段期间，传入的数据点可被用于训练组合的Z测试/高斯分布算法。根据本文中描述的主题的一些方面，预热阶段可通常持续30到60分钟。
在预热阶段之后，分析流水线可开始检测异常。边缘检测、尖峰检测和模式误差流水线可对其时序遵循高斯分布模式的数据进行工作。其时序不遵循高斯分布的数据可被范围外的流水线处理。如果异常检测操作的结果是肯定的(异常已经被标识)，则异常可在操作210被发送到后处理。在一数据点被多于一个的异常表征的情况下(例如，一数据点值对应于尖峰并对应于范围外值)，后处理操作可确保只有一个异常事件产生，其可减少噪音。在操作212，结果可被提供。结果可以视觉或电子格式来提供。
图2b示出可针对所选时间间隔02/5 7:30am 252到02/5 7:45am 254所显示的异常结果250的示例。异常结果可以任意有形形式来提供。表格256可包括可针对组件258被跟踪的度量(“性能度量存储”)。在异常结果250中，可跟踪的度量可包括，例如：％总处理器时间260、％代理/主机处理器时间261、可用字节262、请求执行时间(总)263、％处理器时间264、％处理器时间(总)265、建立的连接(平均)266、建立的连接(总)267、线程计数268、正在执行的请求269等等。在异常结果250中，一个度量(即建立的连接(总)267)被选择(如被单选按钮279指示的)。描绘该度量如何改变以及检测到的异常的计数的图表被显示在图表270中。在图表270中，在由两条垂直线(垂直线272a和垂直线272b)指示的间隔内检测到了两个异常。将指针悬停在垂直线之一的上方可触发异常的值以及异常所发生的时间的显示。
检测到的异常包括执行中的应用中的不正常的行为：在第一异常之前，在区域273处，由运行该应用的计算机建立的网络连接的总数徘徊于1000之下。在指示第一所显示的异常的点274处，连接的数量急剧地增加到>5000并接着仅仅在两分钟之后在指示第二异常的点275处急剧地跌落回去。发生了一些可能需要应用的所有者或操作者注意的事情。可以理解，图2b中示出的显示是可被提供给用户来提供关于检测到的异常的信息的显示的非限制示例。
合适的计算环境的示例
为了提供有关本文所公开主题的各方面的上下文，图3以及以下讨论旨在提供其中可以实现本文所公开主题的各实施例的合适计算环境510的简要概括描述。尽管本文所公开的主题是在诸如程序模块等由一个或多个计算机或其他计算设备执行的计算机可执行指令的通用上下文中描述的，但本领域技术人员将认识到，本文所公开的主题的各部分还能够结合其他程序模块和/或硬件和软件的组合来实现。通常，程序模块包括执行特定任务或实现特定数据类型的例程、程序、对象、物理人为产物、数据结构等。通常，程序模块的功能可在各个实施例中按需进行组合或分布。计算环境510只是合适的操作环境的一个示例，并且不旨在对此处所公开的主题的使用范围或功能提出任何限制。
参考图3，描述了计算机512形式的计算设备。计算机512可包括至少一个处理单元514、系统存储器516和系统总线518。至少一个处理单元514可执行被存储在诸如但不限于系统存储器516之类的存储器中的指令。处理单元514可以是各种可用处理器中的任何一种。例如，处理单元514可以是图形处理单元(GPU)。这些指令可以是用于实现被描述为由上述一个或多个组件或模块所执行的功能的指令或用于实现上述方法中的一个或多个的指令。也可以使用双微处理器及其他多处理器体系结构作为处理单元514。计算机512可被用于支持在显示屏上呈现图形的系统中。在另一示例中，计算设备的至少一部分可以用在包括图形处理单元的系统中。系统存储器516可包括易失性存储器520和非易失性存储器522。非易失性存储器522可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)或闪存。易失性存储器520可包括可充当外高速缓冲存储器的随机存取存储器(RAM)。系统总线518将包括系统存储器516的系统物理人为产物耦合到处理单元514。系统总线518可以是几种类型的总线结构中的任何一种，包括存储器总线、存储控制器、外围总线、外总线或局部总线，并且可以使用各种可用总线体系结构中的任一种。计算机512可包括处理单元514可通过系统总线518访问的数据存储。数据存储可包括用于图形呈现的可执行指令、3D模型、素材、材质等。
计算机512通常包括各种计算机可读介质，诸如易失性和非易失性介质、可移动和不可移动介质。计算机可读介质可以通过用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现。计算机可读介质包括计算机可读存储介质(也称为计算机存储介质)以及通信介质。计算机存储介质包括物理(有形)介质，诸如但不限于可存储所希望的数据以及可由计算机512访问的RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储设备。通信介质包括诸如但不限于通信信号、调制载波或可被用于传递所希望的信息以及可由计算机512访问的任何其他无形介质之类的介质。
将理解，图3描述了可充当用户与计算机资源之间的媒介的软件。该软件可以包括可存储在盘存储524上的操作系统528，该操作系统可分配计算机512的资源。盘存储524可以是通过诸如接口526等不可移动存储器接口连接到系统总线518的硬盘驱动器。系统应用530利用由操作系统528通过存储在系统存储器516或者存储在磁盘存储524上的程序模块532和程序数据534对资源的管理。可以理解，计算机可用各种操作系统或操作系统的组合来实现。
用户可通过输入设备536向计算机512输入命令或信息。输入设备536包括但不限于定点设备，诸如鼠标、跟踪球、指示笔、触摸垫、键盘、话筒、语音识别和姿势识别系统等。这些及其他输入设备通过系统总线518经由接口端口538连接到处理单元514。接口端口538可表示串行端口、并行端口、通用串行总线(USB)等。输出设备540可与输入设备使用相同类型的端口。提供输出适配器542以举例说明存在像监视器、扬声器、以及打印机的需要特定适配器的一些输出设备540。输出适配器542包括但不限于，在输出设备540和系统总线518之间提供连接的视频卡和声卡。其他设备和/或系统和/或设备，诸如远程计算机544，可提供输入和输出两种能力。
计算机512可以使用到诸如远程计算机544之类的一个或多个远程计算机的逻辑连接来在联网环境中操作。远程计算机544可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，并且通常包括许多或所有以上相对于计算机512所描述的元件，但在图3中仅示出了存储器存储设备546。远程计算机544可经由通信连接550逻辑地连接。网络接口548涵盖诸如局域网(LAN)和广域网(WAN)这样的通信网络，但也可包括其他网络。通信连接550是指用来将网络接口548连接到总线518的硬件/软件。通信连接550可以在计算机512内或外并且包括诸如调制解调器(电话、电缆、DSL和无线)和ISDN适配器、以太网卡等内和外技术。
可以理解，所示网络连接仅是示例，并且可以使用在计算机之间建立通信链路的其他手段。本领域的普通技术人员可以理解，计算机512或其他客户机设备可作为计算机网络的一部分来部署。在这一点上，本文所公开的主题涉及具有任意数量的存储器或存储单元以及在任意数量的存储单元或卷上发生的任意数量的应用和进程的任何计算机系统。本文所公开的主题的各方面可应用于具有部署在网络环境中的具有远程或本地存储的服务器计算机和客户计算机的环境。本文所公开的主题的各方面也可应用于具有编程语言功能、解释和执行能力的独立计算设备。
本文所述的各种技术可结合硬件或软件，或在适当时以其组合来实现。由此，本文所公开的方法和装置或其特定方面或部分可采取包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式，其中当程序代码被加载到诸如计算机等机器内并由其执行时，该机器成为用于实现本文所公开的主题的各方面的装置。如此出所用的，术语“机器可读存储介质”应被用来排除提供(即存储和/或传输)任何形式的传播信号的任何机制。在程序代码在可编程计算机上执行的情况下，计算设备通常将包括处理器、该处理器可读的存储介质(包括易失性和非易失性的存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。可例如通过使用数据处理API等来利用域专用编程模型各方面的创建和/或实现的一个或多个程序可用高级过程语言或面向对象的编程语言来实现以与计算机系统通信。然而，如果需要，该程序可以用汇编语言或机器语言来实现。在任何情形中，语言可以是编译语言或解释语言，且与硬件实现相结合。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种系统，包括：
至少一个处理器；
连接到所述至少一个处理器的存储器；以及
包括异常检测器的至少一个模块，所述至少一个模块被加载到所述至少一个处理器内时致使所述至少一个处理器通过以下来标识包括由一组件生成的性能计数器的时序中的未预期值的异常：
确定所述时序内数据点的分布；
执行所述时序的预处理；
检测所述时序内的异常；以及
执行所检测的异常的后处理。
2.如权利要求1所述的系统，其特征在于，提供给所述异常检测器以供训练的数据仅仅是未经标记的数据。
3.如权利要求1所述的系统，其特征在于，由所述异常检测器检测到的异常是以下之一：
范围外异常、尖峰异常、边缘异常或模式误差异常。
4.如权利要求1所述的系统，其特征在于，进一步包括：
模块，所述模块在被加载到所述至少一个处理器时致使所述至少一个处理器：
使用包括Z测试和高斯分布技术的技术的组合来检测异常。
5.如权利要求1所述的系统，其特征在于，进一步包括：
模块，所述模块在被加载到所述至少一个处理器时致使所述至少一个处理器：
检测具有发展中的分布的时序内的异常。
6.一种方法，包括：
由计算设备的处理器接收包括时序的未经标记的性能计数器；
确定所述时序内数据点的分布；
并行地将输入数据提供到多个处理路径；
在缺乏定义异常数据的经标记的数据以及缺乏定义正常数据的经标记的数据的情况下标识所述时序内的异常；
提供关于异常检测的布尔或概率结果中的至少一个。
7.如权利要求6所述的方法，其特征在于，所标识的异常中的一个异常是边缘异常、范围外异常、模式误差异常或尖峰异常中的至少一个。
8.如权利要求6所述的方法，其特征在于，进一步包括：
适配于具有发展中的分布的时序。
9.如权利要求6所述的方法，其特征在于，进一步包括：
使用包括Z测试和高斯分布技术的技术的组合来检测异常。
10.一种包括计算机可读指令的计算机可读存储介质，所述计算机可执行指令在被执行时使计算设备的至少一个处理器：
确定性能计数器的时序序列内的数据点的分布；
执行预处理，包括基于所述时序的统计测试对所述时序的分类；
检测所述时序内的异常，
其中范围外异常通过确定当前数据点的值与对应性能计数器的所述时序的平均值之间的差的绝对值是否大于在异常检测的训练阶段期间计算的阈值来被检测，
其中边缘异常通过确定跌落或上升的绝对值是否大于所述时序的标准偏差乘以在异常检测的训练阶段期间计算的阈值来被检测，
其中尖峰异常通过确定平均值的二阶导数是否超过在异常检测的训练阶段期间计算的阈值来被检测。
其中模式误差异常通过在异常检测的预热阶段期间将序列建模为具有高斯噪音的自回归进程来被检测，
预测所述时序中每个即将到来的数据点的预期值以及
确定所述预期值与实际值之间的差的绝对值大于在异常检测的训练阶段期间定义的阈值。
CN201580014770.4A 2014-03-18 2015-03-13 用于任意时序的不受监督的异常检测 Active CN106104496B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/218,119 US9652354B2 (en) 2014-03-18 2014-03-18 Unsupervised anomaly detection for arbitrary time series
US14/218,119 2014-03-18
PCT/US2015/020314 WO2015142627A1 (en) 2014-03-18 2015-03-13 Unsupervised anomaly detection for arbitrary time series

Publications (2)

Publication Number Publication Date
CN106104496A true CN106104496A (zh) 2016-11-09
CN106104496B CN106104496B (zh) 2019-07-30

Family

ID=52808130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580014770.4A Active CN106104496B (zh) 2014-03-18 2015-03-13 用于任意时序的不受监督的异常检测

Country Status (4)

Country Link
US (1) US9652354B2 (zh)
EP (2) EP3671466B1 (zh)
CN (1) CN106104496B (zh)
WO (1) WO2015142627A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108387342A (zh) * 2018-01-08 2018-08-10 联创汽车电子有限公司 Eps非接触式扭矩传感器故障识别系统及其识别方法
CN108875367A (zh) * 2018-06-13 2018-11-23 苏州若依玫信息技术有限公司 一种基于时序的云计算智能安全系统
CN110383789A (zh) * 2017-02-09 2019-10-25 微软技术许可有限责任公司 对可疑的出站业务的接近实时的检测
CN111103851A (zh) * 2018-10-25 2020-05-05 帕洛阿尔托研究中心公司 基于联合历史和时间序列分析的异常表征的系统和方法
CN111183510A (zh) * 2017-10-05 2020-05-19 应用材料公司 错误检测分类
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
CN111523747A (zh) * 2019-01-23 2020-08-11 通用电气公司 成本分析系统和检测异常成本信号的方法
CN112005181A (zh) * 2018-01-26 2020-11-27 威盖特技术美国有限合伙人公司 异常检测
CN112036426A (zh) * 2019-06-04 2020-12-04 帕洛阿尔托研究中心公司 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统
CN112105939A (zh) * 2018-01-22 2020-12-18 西门子股份公司 用于监测致动器系统的装置、用于提供用于监测致动器系统的装置的方法以及用于监测致动器系统的方法
CN113227978A (zh) * 2018-12-20 2021-08-06 微软技术许可有限责任公司 计算机处理管线中的自动异常检测
CN113228006A (zh) * 2018-12-17 2021-08-06 华为技术有限公司 检测连续事件中的异常的装置和方法及其计算机程序产品
CN113806122A (zh) * 2020-06-17 2021-12-17 奥多比公司 利用稀疏分解的鲁棒性的异常和变化检测
CN113811829A (zh) * 2019-04-11 2021-12-17 斯凯孚公司 使用在线机器学习检测和预测机器故障
CN113821396A (zh) * 2020-06-18 2021-12-21 中车株洲电力机车研究所有限公司 处理器运行状态监视诊断方法及装置
US11363059B2 (en) * 2019-12-13 2022-06-14 Microsoft Technology Licensing, Llc Detection of brute force attacks

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396320B2 (en) 2013-03-22 2016-07-19 Nok Nok Labs, Inc. System and method for non-intrusive, privacy-preserving authentication
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9887983B2 (en) 2013-10-29 2018-02-06 Nok Nok Labs, Inc. Apparatus and method for implementing composite authenticators
US9961077B2 (en) 2013-05-30 2018-05-01 Nok Nok Labs, Inc. System and method for biometric authentication with device attestation
DE102014208034A1 (de) * 2014-04-29 2015-10-29 Siemens Aktiengesellschaft Verfahren zum Bereitstellen von zuverlässigen Sensordaten
US9413533B1 (en) 2014-05-02 2016-08-09 Nok Nok Labs, Inc. System and method for authorizing a new authenticator
US9577999B1 (en) 2014-05-02 2017-02-21 Nok Nok Labs, Inc. Enhanced security for registration of authentication devices
US9654469B1 (en) 2014-05-02 2017-05-16 Nok Nok Labs, Inc. Web-based user authentication techniques and applications
US9779361B2 (en) * 2014-06-05 2017-10-03 Mitsubishi Electric Research Laboratories, Inc. Method for learning exemplars for anomaly detection
US10148630B2 (en) 2014-07-31 2018-12-04 Nok Nok Labs, Inc. System and method for implementing a hosted authentication service
US9749131B2 (en) 2014-07-31 2017-08-29 Nok Nok Labs, Inc. System and method for implementing a one-time-password using asymmetric cryptography
US9875347B2 (en) * 2014-07-31 2018-01-23 Nok Nok Labs, Inc. System and method for performing authentication using data analytics
US9455979B2 (en) 2014-07-31 2016-09-27 Nok Nok Labs, Inc. System and method for establishing trust using secure transmission protocols
US9736154B2 (en) 2014-09-16 2017-08-15 Nok Nok Labs, Inc. System and method for integrating an authentication service within a network architecture
US10284584B2 (en) 2014-11-06 2019-05-07 International Business Machines Corporation Methods and systems for improving beaconing detection algorithms
US10439898B2 (en) * 2014-12-19 2019-10-08 Infosys Limited Measuring affinity bands for pro-active performance management
US10795890B2 (en) 2015-02-25 2020-10-06 Sumo Logic, Inc. User interface for event data store
US10270668B1 (en) * 2015-03-23 2019-04-23 Amazon Technologies, Inc. Identifying correlated events in a distributed system according to operational metrics
US10193912B2 (en) * 2015-05-28 2019-01-29 Cisco Technology, Inc. Warm-start with knowledge and data based grace period for live anomaly detection systems
EP3323047A4 (en) * 2015-07-14 2019-03-27 Sios Technology Corporation DISTRIBUTED MACHINE LEARNING ANALYSIS FRAMEWORK FOR ANALYZING STREAMING DATA SETS FROM A COMPUTER ENVIRONMENT
US10057142B2 (en) * 2015-08-19 2018-08-21 Microsoft Technology Licensing, Llc Diagnostic framework in computing systems
US9838409B2 (en) 2015-10-08 2017-12-05 Cisco Technology, Inc. Cold start mechanism to prevent compromise of automatic anomaly detection systems
CN106776480B (zh) * 2015-11-25 2019-07-19 中国电力科学研究院 一种无线电干扰现场测量异常值的剔除方法
FR3044437B1 (fr) * 2015-11-27 2018-09-21 Bull Sas Procede et systeme d'aide a la maintenance et a l'optimisation d'un supercalculateur
WO2017095374A1 (en) * 2015-11-30 2017-06-08 Hewlett Packard Enterprise Development Lp Alignment and deduplication of time-series datasets
US10146826B1 (en) * 2015-12-28 2018-12-04 EMC IP Holding Company LLC Storage array testing
US9960952B2 (en) 2016-03-17 2018-05-01 Ca, Inc. Proactive fault detection and diagnostics for networked node transaction events
US10783532B2 (en) * 2016-04-06 2020-09-22 Chicago Mercantile Exchange Inc. Detection and mitigation of effects of high velocity value changes based upon match event outcomes
US10372524B2 (en) * 2016-07-28 2019-08-06 Western Digital Technologies, Inc. Storage anomaly detection
US10769635B2 (en) 2016-08-05 2020-09-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
US10637853B2 (en) 2016-08-05 2020-04-28 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
US10565046B2 (en) * 2016-09-01 2020-02-18 Intel Corporation Fault detection using data distribution characteristics
CN106371939B (zh) * 2016-09-12 2019-03-22 山东大学 一种时序数据异常检测方法及其系统
US10565513B2 (en) * 2016-09-19 2020-02-18 Applied Materials, Inc. Time-series fault detection, fault classification, and transition analysis using a K-nearest-neighbor and logistic regression approach
WO2018124672A1 (en) 2016-12-28 2018-07-05 Samsung Electronics Co., Ltd. Apparatus for detecting anomaly and operating method for the same
US10237070B2 (en) 2016-12-31 2019-03-19 Nok Nok Labs, Inc. System and method for sharing keys across authenticators
US10091195B2 (en) 2016-12-31 2018-10-02 Nok Nok Labs, Inc. System and method for bootstrapping a user binding
US10326787B2 (en) 2017-02-15 2019-06-18 Microsoft Technology Licensing, Llc System and method for detecting anomalies including detection and removal of outliers associated with network traffic to cloud applications
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
EP3407273A1 (de) * 2017-05-22 2018-11-28 Siemens Aktiengesellschaft Verfahren und anordnung zur ermittlung eines anomalen zustands eines systems
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
CN107526667B (zh) 2017-07-28 2020-04-28 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
US10699040B2 (en) * 2017-08-07 2020-06-30 The Boeing Company System and method for remaining useful life determination
WO2019040534A1 (en) * 2017-08-22 2019-02-28 Curemetrix, Inc. DEVICES, SYSTEMS AND METHODS FOR GENERATING SYNTHETIC 2D IMAGES
US10587484B2 (en) * 2017-09-12 2020-03-10 Cisco Technology, Inc. Anomaly detection and reporting in a network assurance appliance
CN109542740B (zh) * 2017-09-22 2022-05-27 阿里巴巴集团控股有限公司 异常检测方法及装置
US11868995B2 (en) 2017-11-27 2024-01-09 Nok Nok Labs, Inc. Extending a secure key storage for transaction confirmation and cryptocurrency
FR3074316B1 (fr) * 2017-11-27 2021-04-09 Bull Sas Procede et dispositif de surveillance d'un processus generateur de donnees d'une metrique pour la prediction d'anomalies
JP6878260B2 (ja) * 2017-11-30 2021-05-26 パラマウントベッド株式会社 異常判定装置、プログラム
CN109976986B (zh) * 2017-12-28 2023-12-19 阿里巴巴集团控股有限公司 异常设备的检测方法及装置
US11831409B2 (en) 2018-01-12 2023-11-28 Nok Nok Labs, Inc. System and method for binding verifiable claims
US11481571B2 (en) 2018-01-12 2022-10-25 Microsoft Technology Licensing, Llc Automated localized machine learning training
US20190228353A1 (en) * 2018-01-19 2019-07-25 EMC IP Holding Company LLC Competition-based tool for anomaly detection of business process time series in it environments
US11368474B2 (en) 2018-01-23 2022-06-21 Rapid7, Inc. Detecting anomalous internet behavior
AT520746B1 (de) * 2018-02-20 2019-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erkennung von anormalen Betriebszuständen
US10628289B2 (en) * 2018-03-26 2020-04-21 Ca, Inc. Multivariate path-based anomaly prediction
US20190334759A1 (en) * 2018-04-26 2019-10-31 Microsoft Technology Licensing, Llc Unsupervised anomaly detection for identifying anomalies in data
US11860971B2 (en) * 2018-05-24 2024-01-02 International Business Machines Corporation Anomaly detection
US10904113B2 (en) 2018-06-26 2021-01-26 Microsoft Technology Licensing, Llc Insight ranking based on detected time-series changes
US11362910B2 (en) 2018-07-17 2022-06-14 International Business Machines Corporation Distributed machine learning for anomaly detection
US11768936B2 (en) * 2018-07-31 2023-09-26 EMC IP Holding Company LLC Anomaly-based ransomware detection for encrypted files
US10776196B2 (en) 2018-08-29 2020-09-15 International Business Machines Corporation Systems and methods for anomaly detection in a distributed computing system
CN110874674B (zh) * 2018-08-29 2023-06-27 阿里巴巴集团控股有限公司 一种异常检测方法、装置及设备
US11989289B2 (en) 2018-12-03 2024-05-21 British Telecommunications Public Limited Company Remediating software vulnerabilities
WO2020114920A1 (en) 2018-12-03 2020-06-11 British Telecommunications Public Limited Company Detecting vulnerable software systems
US11973778B2 (en) 2018-12-03 2024-04-30 British Telecommunications Public Limited Company Detecting anomalies in computer networks
EP3663951B1 (en) * 2018-12-03 2021-09-15 British Telecommunications public limited company Multi factor network anomaly detection
WO2020114921A1 (en) 2018-12-03 2020-06-11 British Telecommunications Public Limited Company Detecting vulnerability change in software systems
WO2020122287A1 (ko) * 2018-12-13 2020-06-18 주식회사 알고리고 미세 분포 변화를 이용한 비정상 데이터 구분 장치 및 방법
EP3681124B8 (en) 2019-01-09 2022-02-16 British Telecommunications public limited company Anomalous network node behaviour identification using deterministic path walking
US12041039B2 (en) 2019-02-28 2024-07-16 Nok Nok Labs, Inc. System and method for endorsing a new authenticator
US20200285997A1 (en) * 2019-03-04 2020-09-10 Iocurrents, Inc. Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence
US11277424B2 (en) * 2019-03-08 2022-03-15 Cisco Technology, Inc. Anomaly detection for a networking device based on monitoring related sets of counters
US11720461B2 (en) 2019-03-12 2023-08-08 Microsoft Technology Licensing, Llc Automated detection of code regressions from time-series data
DE102019107363B4 (de) * 2019-03-22 2023-02-09 Schaeffler Technologies AG & Co. KG Verfahren und System zum Bestimmen einer Eigenschaft einer Maschine, insbesondere einer Werkzeugmaschine, ohne messtechnisches Erfassen der Eigenschaft sowie Verfahren zum Bestimmen eines voraussichtlichen Qualitätszustands eines mit einer Maschine gefertigten Bauteils
US11792024B2 (en) 2019-03-29 2023-10-17 Nok Nok Labs, Inc. System and method for efficient challenge-response authentication
CN110245844B (zh) * 2019-05-27 2023-03-28 创新先进技术有限公司 异常指标检测方法及装置
US11237897B2 (en) 2019-07-25 2022-02-01 International Business Machines Corporation Detecting and responding to an anomaly in an event log
US11521254B2 (en) * 2019-08-08 2022-12-06 Ebay Inc. Automatic tuning of machine learning parameters for non-stationary e-commerce data
US11086948B2 (en) 2019-08-22 2021-08-10 Yandex Europe Ag Method and system for determining abnormal crowd-sourced label
US11710137B2 (en) 2019-08-23 2023-07-25 Yandex Europe Ag Method and system for identifying electronic devices of genuine customers of organizations
US11941502B2 (en) 2019-09-04 2024-03-26 Optum Services (Ireland) Limited Manifold-anomaly detection with axis parallel
US11347718B2 (en) 2019-09-04 2022-05-31 Optum Services (Ireland) Limited Manifold-anomaly detection with axis parallel explanations
US11108802B2 (en) 2019-09-05 2021-08-31 Yandex Europe Ag Method of and system for identifying abnormal site visits
RU2757007C2 (ru) 2019-09-05 2021-10-08 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для определения вредоносных действий определенного вида
US11334559B2 (en) 2019-09-09 2022-05-17 Yandex Europe Ag Method of and system for identifying abnormal rating activity
US11128645B2 (en) 2019-09-09 2021-09-21 Yandex Europe Ag Method and system for detecting fraudulent access to web resource
CN112819491B (zh) * 2019-11-15 2024-02-09 百度在线网络技术（北京）有限公司 一种转化数据处理的方法、装置、电子设备及存储介质
RU2752241C2 (ru) 2019-12-25 2021-07-23 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для выявления вредоносной активности предопределенного типа в локальной сети
US20210209486A1 (en) * 2020-01-08 2021-07-08 Intuit Inc. System and method for anomaly detection for time series data
WO2021155576A1 (en) * 2020-02-07 2021-08-12 Alibaba Group Holding Limited Automatic parameter tuning for anomaly detection system
US11716337B2 (en) * 2020-02-10 2023-08-01 IronNet Cybersecurity, Inc. Systems and methods of malware detection
US11620581B2 (en) 2020-03-06 2023-04-04 International Business Machines Corporation Modification of machine learning model ensembles based on user feedback
US11374953B2 (en) 2020-03-06 2022-06-28 International Business Machines Corporation Hybrid machine learning to detect anomalies
US11422992B2 (en) 2020-03-16 2022-08-23 Accenture Global Solutions Limited Auto reinforced anomaly detection
US11851096B2 (en) * 2020-04-01 2023-12-26 Siemens Mobility, Inc. Anomaly detection using machine learning
US11575697B2 (en) 2020-04-30 2023-02-07 Kyndryl, Inc. Anomaly detection using an ensemble of models
US11645558B2 (en) * 2020-05-08 2023-05-09 International Business Machines Corporation Automatic mapping of records without configuration information
US11231985B1 (en) 2020-07-21 2022-01-25 International Business Machines Corporation Approach to automated detection of dominant errors in cloud provisions
US11243986B1 (en) 2020-07-21 2022-02-08 International Business Machines Corporation Method for proactive trouble-shooting of provisioning workflows for efficient cloud operations
US11768915B1 (en) 2020-08-03 2023-09-26 Amdocs Development Limited System, method, and computer program for anomaly detection in time-series data with mixed seasonality
US11748568B1 (en) 2020-08-07 2023-09-05 Amazon Technologies, Inc. Machine learning-based selection of metrics for anomaly detection
KR20220019560A (ko) 2020-08-10 2022-02-17 삼성전자주식회사 네트워크 모니터링 장치 및 방법
EP3958100A1 (en) * 2020-08-21 2022-02-23 Microsoft Technology Licensing, LLC Anomaly detection for sensor systems
US11374919B2 (en) * 2020-11-18 2022-06-28 Okta, Inc. Memory-free anomaly detection for risk management systems
CN112416643A (zh) * 2020-11-26 2021-02-26 清华大学 无监督异常检测方法与装置
CN112464248B (zh) * 2020-12-04 2024-08-13 中国科学院信息工程研究所 一种处理器漏洞利用威胁检测方法及装置
WO2022215063A1 (en) * 2021-04-04 2022-10-13 Stardat Data Science Ltd. A machine learning model blind-spot detection system and method
CN113139158B (zh) * 2021-04-21 2023-05-05 国网安徽省电力有限公司 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统
US11640387B2 (en) * 2021-04-23 2023-05-02 Capital One Services, Llc Anomaly detection data workflow for time series data
KR102525187B1 (ko) * 2021-05-12 2023-04-24 네이버클라우드 주식회사 시계열 기반 이상 탐지 방법 및 시스템
CN113342610B (zh) * 2021-06-11 2023-10-13 北京奇艺世纪科技有限公司 一种时序数据异常检测方法、装置、电子设备及存储介质
US11595283B2 (en) * 2021-07-26 2023-02-28 Cisco Technology, Inc. Message bus subscription management with telemetry inform message
US11727011B2 (en) 2021-08-24 2023-08-15 Target Brands, Inc. Data analysis tool with precalculated metrics
CN116125499B (zh) * 2021-11-12 2024-04-09 北京六分科技有限公司 检测中频数据的方法、装置及系统
US11902127B2 (en) 2021-11-23 2024-02-13 Cisco Technology, Inc. Automatic detection and tracking of anomalous rectifiable paths using time-series dynamics
WO2023107937A1 (en) * 2021-12-06 2023-06-15 Jpmorgan Chase Bank, N.A. Systems and methods for collecting and processing application telemetry
CN114689968A (zh) * 2022-03-16 2022-07-01 河南翔宇医疗设备股份有限公司 一种电磁兼容试验中的滤波方法及相关装置
US20230349608A1 (en) * 2022-04-29 2023-11-02 Fortive Corporation Anomaly detection for refrigeration systems
WO2024030588A1 (en) * 2022-08-03 2024-02-08 Aviatrix Systems, Inc. Systems and methods for improved monitoring features for of a network topology and corresponding user interfaces
US20240184682A1 (en) * 2022-12-06 2024-06-06 Jpmorgan Chase Bank, N.A. Systems and methods for collecting and processing application telemetry
CN116975545B (zh) * 2023-07-31 2024-08-27 长沙穗城轨道交通有限公司 一种站台门异常检测方法、装置、电子设备及存储介质
CN118132987A (zh) * 2024-03-05 2024-06-04 京源中科科技股份有限公司 热能表热量数据采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103729A1 (en) * 2006-10-31 2008-05-01 Microsoft Corporation Distributed detection with diagnosis
US20080208526A1 (en) * 2007-02-28 2008-08-28 Microsoft Corporation Strategies for Identifying Anomalies in Time-Series Data
CN102945320A (zh) * 2012-10-29 2013-02-27 河海大学 一种时间序列数据异常检测方法与装置
US20140006330A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Detecting anomalies in real-time in multiple time series data with automated thresholding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110178967A1 (en) 2001-05-24 2011-07-21 Test Advantage, Inc. Methods and apparatus for data analysis
JP3821225B2 (ja) 2002-07-17 2006-09-13 日本電気株式会社 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置
US8185348B2 (en) 2003-10-31 2012-05-22 Hewlett-Packard Development Company, L.P. Techniques for monitoring a data stream
US8869276B2 (en) 2005-06-29 2014-10-21 Trustees Of Boston University Method and apparatus for whole-network anomaly diagnosis and method to detect and classify network anomalies using traffic feature distributions
US20070289013A1 (en) 2006-06-08 2007-12-13 Keng Leng Albert Lim Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms
US7788198B2 (en) * 2006-12-14 2010-08-31 Microsoft Corporation Method for detecting anomalies in server behavior using operational performance and failure mode monitoring counters
US7917338B2 (en) 2007-01-08 2011-03-29 International Business Machines Corporation Determining a window size for outlier detection
US7620523B2 (en) 2007-04-30 2009-11-17 Integrien Corporation Nonparametric method for determination of anomalous event states in complex systems exhibiting non-stationarity
WO2011128922A1 (en) 2010-04-15 2011-10-20 Neptuny S.R.L. Automated upgrading method for capacity of it system resources
GB201012519D0 (en) 2010-07-26 2010-09-08 Ucl Business Plc Method and system for anomaly detection in data sets
US8949677B1 (en) * 2012-05-23 2015-02-03 Amazon Technologies, Inc. Detecting anomalies in time series data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103729A1 (en) * 2006-10-31 2008-05-01 Microsoft Corporation Distributed detection with diagnosis
US20080208526A1 (en) * 2007-02-28 2008-08-28 Microsoft Corporation Strategies for Identifying Anomalies in Time-Series Data
US20140006330A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Detecting anomalies in real-time in multiple time series data with automated thresholding
CN102945320A (zh) * 2012-10-29 2013-02-27 河海大学 一种时间序列数据异常检测方法与装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383789B (zh) * 2017-02-09 2022-01-07 微软技术许可有限责任公司 对可疑的出站业务的接近实时的检测
CN110383789A (zh) * 2017-02-09 2019-10-25 微软技术许可有限责任公司 对可疑的出站业务的接近实时的检测
CN111183510A (zh) * 2017-10-05 2020-05-19 应用材料公司 错误检测分类
CN111183510B (zh) * 2017-10-05 2023-11-17 应用材料公司 错误检测分类
CN111527478A (zh) * 2017-10-13 2020-08-11 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
CN111527478B (zh) * 2017-10-13 2022-08-09 华为技术有限公司 云设备协同实时用户体验和性能异常检测的系统和方法
US11321210B2 (en) 2017-10-13 2022-05-03 Huawei Technologies Co., Ltd. System and method for cloud-device collaborative real-time user experience and performance abnormality detection
CN108387342A (zh) * 2018-01-08 2018-08-10 联创汽车电子有限公司 Eps非接触式扭矩传感器故障识别系统及其识别方法
CN112105939B (zh) * 2018-01-22 2023-07-28 西门子股份公司 监测致动器系统的装置、方法和用于提供该装置的方法
CN112105939A (zh) * 2018-01-22 2020-12-18 西门子股份公司 用于监测致动器系统的装置、用于提供用于监测致动器系统的装置的方法以及用于监测致动器系统的方法
CN112005181B (zh) * 2018-01-26 2024-04-30 威盖特技术美国有限合伙人公司 异常检测
CN112005181A (zh) * 2018-01-26 2020-11-27 威盖特技术美国有限合伙人公司 异常检测
CN108875367A (zh) * 2018-06-13 2018-11-23 苏州若依玫信息技术有限公司 一种基于时序的云计算智能安全系统
CN111103851B (zh) * 2018-10-25 2022-05-03 帕洛阿尔托研究中心公司 基于联合历史和时间序列分析的异常表征的系统和方法
CN111103851A (zh) * 2018-10-25 2020-05-05 帕洛阿尔托研究中心公司 基于联合历史和时间序列分析的异常表征的系统和方法
CN113228006A (zh) * 2018-12-17 2021-08-06 华为技术有限公司 检测连续事件中的异常的装置和方法及其计算机程序产品
CN113227978A (zh) * 2018-12-20 2021-08-06 微软技术许可有限责任公司 计算机处理管线中的自动异常检测
CN113227978B (zh) * 2018-12-20 2024-04-16 微软技术许可有限责任公司 计算机处理管线中的自动异常检测
CN111523747A (zh) * 2019-01-23 2020-08-11 通用电气公司 成本分析系统和检测异常成本信号的方法
CN113811829A (zh) * 2019-04-11 2021-12-17 斯凯孚公司 使用在线机器学习检测和预测机器故障
CN112036426B (zh) * 2019-06-04 2024-05-17 帕洛阿尔托研究中心公司 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统
CN112036426A (zh) * 2019-06-04 2020-12-04 帕洛阿尔托研究中心公司 利用高维传感器数据的多数表决进行无监督异常检测和责任的方法和系统
US11363059B2 (en) * 2019-12-13 2022-06-14 Microsoft Technology Licensing, Llc Detection of brute force attacks
US11757931B2 (en) * 2019-12-13 2023-09-12 Microsoft Technology Licensing, Llc Detection of brute force attacks
US20220329620A1 (en) * 2019-12-13 2022-10-13 Microsoft Technology Licensing, Llc Detection of brute force attacks
CN113806122A (zh) * 2020-06-17 2021-12-17 奥多比公司 利用稀疏分解的鲁棒性的异常和变化检测
CN113821396A (zh) * 2020-06-18 2021-12-21 中车株洲电力机车研究所有限公司 处理器运行状态监视诊断方法及装置

Also Published As

Publication number Publication date
US20150269050A1 (en) 2015-09-24
WO2015142627A1 (en) 2015-09-24
EP3671466A1 (en) 2020-06-24
CN106104496B (zh) 2019-07-30
EP3120248B1 (en) 2020-01-08
EP3120248A1 (en) 2017-01-25
US9652354B2 (en) 2017-05-16
EP3671466B1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN106104496A (zh) 用于任意时序的不受监督的异常检测
CN107528722B (zh) 一种时间序列中异常点检测方法及装置
CN109858244B (zh) 一种容器内进程异常行为检测方法与系统
US10679135B2 (en) Periodicity analysis on heterogeneous logs
US9323652B2 (en) Iterative bottleneck detector for executing applications
CN106415507B (zh) 日志分析装置、攻击检测装置、攻击检测方法以及程序
US11294754B2 (en) System and method for contextual event sequence analysis
Wang et al. An IoT application for fault diagnosis and prediction
US20140258187A1 (en) Generating database cluster health alerts using machine learning
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN106341414A (zh) 一种基于贝叶斯网络的多步攻击安全态势评估方法
AU2017274576B2 (en) Classification of log data
US10929258B1 (en) Method and system for model-based event-driven anomalous behavior detection
CN107016298B (zh) 一种网页篡改监测方法及装置
CN103679030A (zh) 一种基于动态语义特征的恶意代码分析检测方法
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
Atzmueller et al. Anomaly detection and structural analysis in industrial production environments
Qin et al. Remaining useful life prediction for rotating machinery based on optimal degradation indicator
Yazdanbakhsh et al. On deterministic chaos in software reliability growth models
Song et al. Design of anomaly detection and visualization tool for IoT blockchain
CN105825130A (zh) 一种信息安全预警方法及装置
US10042842B2 (en) Theft detection via adaptive lexical similarity analysis of social media data streams
US20170242932A1 (en) Theft detection via adaptive lexical similarity analysis of social media data streams
US20220050763A1 (en) Detecting regime change in time series data to manage a technology platform
CN116108376A (zh) 一种反窃电的监测系统、方法、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant