CN112363893B - 时序指标异常检测方法、设备及装置 - Google Patents

时序指标异常检测方法、设备及装置 Download PDF

Info

Publication number
CN112363893B
CN112363893B CN202110029227.9A CN202110029227A CN112363893B CN 112363893 B CN112363893 B CN 112363893B CN 202110029227 A CN202110029227 A CN 202110029227A CN 112363893 B CN112363893 B CN 112363893B
Authority
CN
China
Prior art keywords
time sequence
index information
sequence index
working node
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110029227.9A
Other languages
English (en)
Other versions
CN112363893A (zh
Inventor
肖政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuya Information Technology Co Ltd
Original Assignee
Hangzhou Tuya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Tuya Information Technology Co Ltd filed Critical Hangzhou Tuya Information Technology Co Ltd
Priority to CN202110029227.9A priority Critical patent/CN112363893B/zh
Publication of CN112363893A publication Critical patent/CN112363893A/zh
Application granted granted Critical
Publication of CN112363893B publication Critical patent/CN112363893B/zh
Priority to US17/536,140 priority patent/US11940890B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076—Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0763—Error or fault detection not based on redundancy by bit configuration check, e.g. of formats or tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种时序指标异常检测方法、设备及装置，该方法包括：获取待检测业务的多个时序指标信息；依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件；将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件；将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应；将同一预设的工作节点上的第一时序指标信息进行异常检测；确定是否输出异常提示。通过该方法实现适用各种业务场景时序指标异常的检测。

Description

时序指标异常检测方法、设备及装置
技术领域
本申请涉及软件系统监控领域，特别是涉及一种时序指标异常检测方法、设备及装置。
背景技术
时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，可以揭示数据的趋势性、规律性、异常性、进行大数据分析和机器学习等。在网络技术领域中，时序指标异常检测旨在发现各种业务的异常，是智能监控系统中的重要环节。随着技术的发展，运维数据规模大，爆发增长，时序指标类别增多，然而时序指标特征多而繁杂，时序指标特征包括的内容越来越丰富，给时序指标的异常检测带来了巨大的挑战。
发明内容
本申请主要解决的技术问题是提供一种时序指标异常检测方法、设备及装置，实现适用各种业务场景时序指标的异常检测。
为解决上述技术问题，本申请采用的技术方案是提供一种时序指标异常检测方法，该方法包括：获取待检测业务的多个时序指标信息；依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件；将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件；将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应；将同一预设的工作节点上的第一时序指标信息进行异常检测；确定是否输出异常提示。
其中，将同一预设的工作节点上的第一时序指标信息进行异常检测，包括：将同一预设的工作节点上的第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息；将第二时序指标信息进行异常检测。
其中，将第二时序指标信息进行异常检测，确定是否输出异常提示，包括：将第二时序指标信息进行异常检测，将检测结果添加于第二时序指标信息，形成第三时序指标信息，并存储；判断第三时序指标信息是否符合异常条件；若是，输出异常提示。
其中，异常检测的条件的数量至少为两个；将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应；将同一预设的工作节点上的第一时序指标信息进行异常检测；确定是否输出异常提示，包括：将第一时序指标信息转发至至少两个预设工作节点上，预设的工作节点与标签一一对应；将同一预设的工作节点上的第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息；将每个预设的工作节点上的第二时序指标信息进行异常检测；确定每个工作节点是否输出异常提示。
其中，异常检测的条件的数量至少为两个；将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应；将同一预设的工作节点上的第一时序指标信息进行异常检测，包括：将包含不同标签的第一时序指标信息转发至同一预设工作节点上；将同一预设工作节点上的第一时序指标信息按照标签过滤；将同一预设的工作节点上的过滤后的第一时序指标信息进行异常检测。
其中，将同一预设的工作节点上的第一时序指标信息进行异常检测，包括：将同一预设的工作节点上的第一时序指标信息按照预设策略进行异常检测，预设策略依据异常检测的条件选定。
其中，预设策略包括阈值触发策略，抖动触发策略，同比触发策略或环比触发策略中的任意一种或几种的组合。
其中，输出异常检测提示，包括：输出异常提示和异常结果信息。
此外，本申请还包括第二种技术方案，提供一种计算机设备，计算机设备存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现时序指标异常检测方法的步骤。
此外，本申请还包括第三种技术方案，提供一种具有存储功能的装置，装置存储有程序，程序被执行时能够实现时序指标异常检测。
本申请的有益效果是：本实施例提供了一种时序指标异常检测方法，该方法中通过过滤层对时序指标进行过滤，因为进行过滤的过滤层是无状态的，过滤层中的节点可以根据数据量进行水平扩容；该方法中可以将不同的时序指标信息的压力分散到不同的工作层工作节点上，因此工作层也可以水平扩容。该方法剥离了过滤层与工作层，利用分布式的方式实现时序指标的异常检测，可以对多个异常检测的条件同时进行检测，从而避免了在时序指标数量庞大时的系统瓶颈问题，减少时序数据库的压力；工作节点上的第一时序指标信息不依赖于时序数据库，使得在异常检测条件过多、时序指标信息数据量庞大时所造成的时序数据库宕机的情况下，也能保证时序检测系统的正常运行。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请时序指标异常检测方法第一实施例的流程示意图；
图2是本申请时序指标异常检测方法第二实施例的流程示意图；
图3是本申请时序指标异常检测方法第三实施例的流程示意图；
图4是本申请时序指标异常检测方法第四实施例的流程示意图；
图5是本申请时序指标异常检测方法第五实施例的流程示意图；
图6是本申请时序指标异常检测方法第六实施例的流程示意图；
图7是本申请提供的计算机设备一实施例的结构示意图；
图8是本申请提供的具有存储功能的装置一实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
参阅图1，图1为本申请时序指标异常检测方法第一实施例的流程示意图。本实施方式包括如下步骤：
步骤110：获取待检测业务的多个时序指标信息。
本申请实施例中，待检测业务可以是消费订单数量、流量的使用情况、语音设备的运行情况等。时序指标信息可以包含指标的名称、时间戳、业务的维度信息、状态和指标数值。指标名称主要用来区分待检测业务的种类。获取的时序指标信息同时被存储到时序数据库中。
步骤120：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
本申请实施例中，过滤层依据预设过滤条件对时序指标进行过滤，过滤条件可以是一个或者多个。过滤层的主要作用是在时序指标信息的多个维度中过滤出符合预设过滤条件的时序指标信息，预设过滤条件为预先设定的过滤条件。由于过滤层是无状态的，只需要处理时序指标信息是否匹配预设过滤条件这样简单的逻辑，所以过滤层中的节点可以根据数据量进行水平扩容。过滤条件与异常检测的条件可以相同或者不同。
步骤130：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
本申请实施例中，将过滤出的符合预设过滤条件的时序指标信息添加标签，标签用来区分异常检测的条件，同一时序指标信息上可以有一个标签或者是多个标签；本申请实施例中标签数目的种类与异常检测条件数目相同。
步骤140：将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应。
本申请实施例中，第一时序指标信息转发至预设的工作层的工作节点上，使用的是哈希路由规则。该方法能够通过计算取模确定第一时序指标信息在预设工作节点上处理。上述方法可以将时序指标信息的压力分散到不同的工作层节点上，因此工作层可以水平扩容。当设备停止运行时，可以手动增加工作层的工作节点，启动设备后实现工作层水平扩容。
步骤150：将同一预设的工作节点上的第一时序指标信息进行异常检测。
本申请实施例中，根据标签识别异常检测的条件，根据异常检测的条件，对第一时序指标信息进行异常检测。本申请实施例中，第一时序指标信息并不依赖时序数据库，能够独立运行，和时序数据库数据可以相互佐证，即使时序数据库宕机也能正常进行异常检测。
步骤160：确定是否输出异常提示。
本申请实施例中，根据异常检测的结果确定是否输出异常提示。
本实施例提供了一种时序指标异常检测方法，该方法中进行过滤的过滤层是无状态的，过滤层中的节点可以根据数据量进行水平扩容；该方法中将时序指标的压力分散到不同的工作层工作节点上，因此工作层也可以水平扩容。该方法剥离了过滤层与工作层，利用分布式的方式实现时序指标的异常检测，可以对多个异常检测的条件同时进行检测，从而避免了在时序指标数量庞大时的系统瓶颈问题，减少时序数据库的压力；工作节点上的第一时序指标信息不依赖于时序数据库，使得在异常检测条件过多、时序指标信息数据量庞大时所造成的时序数据库宕机的情况下，也能保证时序检测系统的正常运行，实现适用各种业务场景时序指标异常的检测。
在本申请第二实施例中，参阅图2，时序指标异常检测方法包括以下步骤：
步骤210：获取待检测业务的多个时序指标信息。
本申请实施例中，待检测业务是消费订单数量。共获取二个时序指标信息，第一个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“成功”和指标数值“2”。第二个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“成功”和指标数值“9”。获取的时序指标信息同时被存储到时序数据库中。本申请实施例仅为举例，待检测业务的维度信息包含0组或者多组，每组有两个值构成（tagKey，tagValue), tagKey描述值的含义，tagValue描述对应场景的值，如(item, orange)、(host, machineA)等。
步骤220：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
本申请实施例中，异常检测的条件是两分钟内订单状态成功数目大于10，则认为是异常；因此，本申请实施例中，预设的过滤条件是订单状态为成功的时序指标信息，本申请实施例中只要保留在两分钟内订单状态为成功的时序指标信息以供后续运算。具体地，本申请实施例，依据过滤条件对两个时序指标信息进行过滤。保留第一个订单状态为成功的第一个时序指标信息和订单状态为成功的第二个时序指标信息。
步骤230：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
本申请实施例中，用标签“Tag1”标识两分钟内订单状态成功数目大于10的异常检测的条件，将过滤出的第一个时序指标信息添加标签Tag1，第二个时序指标信息添加标签Tag1，形成第一时序指标信息，本申请实施例中第一时序指标信息与过滤前的时序指标信息对应。本申请实施例中标签具体可以根据业务场景需求进行设定，例如机器A。
步骤240：将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应。
本申请实施例中，根据哈希路由的规则将标签为Tag1的两个第一时序指标信息转发至第一个工作节点上。本申请实施例仅为举例，在其他实施例中，可以发送含有标签为Tag1的多个第一时序指标信息转发至第一个工作节点上。
步骤2501：将同一预设的工作节点上的第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息。
本申请实施例中，将在第一个工作节点上的标签为Tag1的第一时序指标信息在两分钟的预设周期内按照聚合条件进行聚合。本申请实施例中，聚合条件为订单状态成功数目的总和，其中，标签为Tag1有两个第一时序指标信息，一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“成功”的指标数值“2”；另一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“成功”的指标数值“9”，将两个第一时序指标信息的指标数据聚合，订单状态成功数目为11，得到订单状态失败数目为11的第二时序指标信息。
步骤2502：将第二时序指标信息进行异常检测。
本申请实施例中，异常检测的条件是两分钟内订单状态成功数目大于10。依据该异常检测条件对第二时序指标信息进行异常检测，将本次两分钟内订单状态成功数目11与10做比较。本申请实施例中，在进行异常检测时，可以去除第二时序指标信息上的标签；或在上述步骤中，在聚合时，可以将第一时序指标信息上的标签去除。
步骤260：确定是否输出异常提示。
将本申请实施例中，两分钟内订单状态成功数目与10比较，判断是否异常，本申请实施例中，两分钟内订单状态成功数目11＞10，满足异常检测的条件，输出异常提示。如果不满足异常检测的条件，则不输出异常提示。
本实施例提供了一种时序指标异常检测方法，该方法中同一预设的工作节点上标签相同的第一时序指标信息能够在预设周期内按照预设聚合条件进行聚合，实现时序指标信息的整合，能够满足更多业务场景的时序指标异常检测。
在本申请另一实施例中，如图3所示，时序指标异常检测方法包括以下步骤：
步骤310：获取待检测业务的多个时序指标信息。
本申请实施例中，待检测业务是消费订单数量。两分钟内共获取三个时序指标信息，第一个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“2”。第二个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“1”。第三个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“成功”和指标数值“1”。获取的时序指标信息同时被存储到时序数据库中。本申请实施例仅为举例，待检测业务的维度信息包含0组或者多组，每组有两个值构成（tagKey，tagValue), tagKey描述值的含义，tagValue描述对应场景的值，如(item, orange)、(host, machineA)等。
步骤320：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
本申请实施例中，异常检测的条件是两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1，则认为是异常；因此，本申请实施例中，预设的过滤条件是订单状态为失败的时序指标信息，本申请实施例中只保留在两分钟内订单状态为失败的时序指标信息以供后续运算。具体地，本申请实施例，依据过滤条件对三个时序指标信息进行过滤。保留订单状态为失败的第一个时序指标信息和订单状态为失败的第二个时序指标信息。
步骤330：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
本申请实施例中，用标签“Tag1”标识两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的异常检测的条件，将过滤出的第一个时序指标信息添加标签Tag1，第二个时序指标信息添加标签Tag1，形成第一时序指标信息，本申请实施例中第一时序指标信息与过滤前的时序指标信息对应。本申请实施例中标签具体可以根据业务场景需求进行设定，例如机器A。
步骤340：将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应。
本申请实施例中，根据哈希路由的规则将标签为Tag1的两个第一时序指标信息转发至第一个工作节点上。本申请实施例仅为举例，在其他实施例中，可以发送含有标签为Tag1的多个第一时序指标信息转发至第一个工作节点上。
步骤3501：将同一预设的工作节点上的第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息。
本申请实施例中，将在第一个工作节点上的标签为Tag1的第一时序指标信息在两分钟的预设周期内按照聚合条件进行聚合。本申请实施例中，聚合条件为订单状态失败数目的总和，其中，标签为Tag1有两个第一时序指标信息，一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“失败”的指标数值“2”；另一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“失败”的指标数值“1”，将两个第一时序指标信息的指标数据聚合，订单状态失败数目为3，得到订单状态失败数目为3的第二时序指标信息。
步骤3502：将第二时序指标信息进行异常检测，将检测结果添加于第二时序指标信息，形成第三时序指标信息，并存储。
本申请实施例中，异常检测的条件是两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1。本申请实施例中，上一次两分钟内订单状态失败数目为1，依据该异常检测条件对第二时序指标信息进行异常检测，将本次两分钟内订单状态失败数目3与上一次两分钟内订单状态失败数目1做差计算，即，两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目比上次多2。将检测结果加于第二时序指标信息中，形成第三时序指标信息，并存储，以备下一阶段的异常检测使用。
步骤3503：判断第三时序指标信息是否符合异常条件。
本申请实施例中，将第三时序指标信息与异常检测的条件进行比较，判断是否异常，本申请实施例中，两分钟内订单状态失败数目与上一次两分钟内订单状态失败数目的差值2大于1，满足异常检测的条件。
步骤361：若是，输出异常提示。
满足异常的条件，输出异常提示，如果不满足异常检测的条件，则不输出异常提示。
在本申请再一实施例中，异常检测的条件的数量至少为两个，例如可以是两个，三个、四个或五个以上异常检测的条件。至少两个异常检测的条件可以同时进行。具体地，本申请实施例中，如图4所示，一种时序指标异常检测方法，包括以下步骤：
步骤410：获取待检测业务的多个时序指标信息。
本申请实施例中，待检测业务是消费订单数量。共获取三个时序指标信息，第一个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“2”。第二个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“1”。第三个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“11”。获取的时序指标信息同时被存储到时序数据库中。本申请实施例仅为举例，待检测业务的维度信息包含0组或者多组，每组有两个值构成（tagKey，tagValue), tagKey描述值的含义，tagValue描述对应场景的值，如(item, orange)、(host, machineA)等。
步骤420：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
本申请实施例中，第一个异常检测的条件是两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1，则认为是异常。第二个异常检测的条件是两分钟内订单状态失败数目大于10，则认为是异常；因此，本申请实施例中，预设的过滤条件是订单状态为失败的时序指标信息，本申请实施例中只要保留在两分钟内订单状态为失败的时序指标信息以供后续运算。具体地，本申请实施例，依据过滤条件对三个时序指标信息进行过滤。保留订单状态为失败的第一个时序指标信息、订单状态为失败的第二个时序指标信息和订单状态失败的第三个时序指标信息。
步骤430：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
本申请实施例中，用标签“Tag1”标识两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的异常检测的条件，用标签“Tag2”标识两分钟内订单状态失败数目大于10的异常检测的条件。将过滤出的第一个时序指标信息添加标签Tag1，第二个时序指标信息添加标签Tag1，形成第一时序指标信息。将过滤出的第三个时序指标信息添加标签Tag2，形成第一时序指标信息。本申请实施例中第一时序指标信息与过滤前的时序指标信息对应。本申请实施例中标签具体可以根据业务场景需求进行设定，例如机器A。
步骤441：将第一时序指标信息转发至至少两个预设工作节点上，预设的工作节点与标签一一对应。
本申请实施例中，标签相同的时序指标信息被转发至同一个预设工作节点上。根据哈希路由的规则将标签为Tag1的两个第一时序指标信息转发至第一个工作节点上；将标签为Tag2的第一时序指标信息转发至第二个工作节点上。
步骤4501：将同一预设的工作节点上的第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息。
本申请实施例中，将在第一个工作节点上的标签为Tag1的第一时序指标信息在两分钟的预设周期内按照聚合条件进行聚合。本申请实施例中，聚合条件为订单状态失败数目的总和，其中，标签为Tag1有两个第一时序指标信息，一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“失败”的指标数值“2”；另一个含有标签“Tag1”的第一时序指标信息状态“订单数量”“失败”的指标数值“1”，将两个第一时序指标信息的指标数据聚合，订单状态失败数目为3，得到订单状态失败数目为3的第二时序指标信息。将在第二个工作节点上的标签为Tag2的第一时序指标信息在两分钟的预设周期内按照聚合条件进行聚合。本申请实施例中，聚合条件为订单状态失败数目大于10的订单状态成功数目总和，其中，标签为Tag2有一个第一时序指标信息，“订单数量”“失败”的指标数值“11”将该第一时序指标信息的指标数据聚合，订单状态失败数目为11，得到订单状态成功数目为11的第二时序指标信息。
步骤4502：将每个预设的工作节点上的第二时序指标信息进行异常检测。
本申请实施例中，依据异常检测的条件对第二时序指标进行异常检测，标签“Tag1”标识两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的异常检测的条件，标签“Tag2”标识两分钟内订单状态失败数目大于10的异常检测的条件。本申请实施例中，上一次两分钟内订单状态失败数目为1，依据异常检测条件对在第一个工作节点上标签为Tag1的第二时序指标信息进行异常检测，将本次两分钟内订单状态失败数目3与上一次两分钟内订单状态失败数目1做差计算，即，两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目比上次多2。依据异常检测条件对在第二个工作节点上标签为Tag2的第二时序指标信息进行异常检测，将本次两分钟内订单状态失败数目11与10做比较。
步骤461：确定每个工作节点是否输出异常提示。
本申请实施例中，在第一个工作节点，将第二时序指标信息与异常检测的条件进行比较，判断是否异常，本申请实施例中，两分钟内订单状态失败数目与上一次两分钟内订单状态失败数目的差值2大于1，满足异常检测的条件，输出异常提示，如果不满足异常检测的条件，则不输出异常提示。在第二个工作节点，两分钟内订单状态失败数目与10比较，判断是否要异常，本申请实施例中，两分钟内订单状态失败数目11＞10，满足异常检测的条件，输出异常提示，如果不满足异常检测的条件，则不输出异常提示。
本申请实施例提供了一种时序指标异常检测方法，由于具有不同检测条件的时序指标能够发送到不同的节点进行处理，实现了工作节点的水平扩容，拓宽了该方法所应用的范围和场景。
在本申请又一实施例中，如图5所示，时序指标异常检测方法包括以下步骤：
步骤510：获取待检测业务的多个时序指标信息。
本申请实施例中，待检测业务是消费订单数量。共获取二个时序指标信息，第一个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“2”。第二个时序指标信息包含指标的名称“订单数量”、时间戳“1234”、业务的维度信息“item2”、状态“失败”和指标数值“11”。获取的时序指标信息同时被存储到时序数据库中。本申请实施例仅为举例，待检测业务的维度信息包含0组或者多组，每组有两个值构成（tagKey，tagValue), tagKey描述值的含义，tagValue描述对应场景的值，如(item, orange)、(host, machineA)等。
步骤520：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
本申请实施例中，异常检测的条件的数量至少为两个。第一个异常检测的条件是两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1，则认为是异常。第二个异常检测的条件是两分钟内订单状态失败数目大于10，则认为是异常；因此，本申请实施例中，预设的过滤条件是订单状态为失败的时序指标信息，本申请实施例中只要保留在两分钟内订单状态为失败的时序指标信息以供后续运算。具体地，本申请实施例，依据过滤条件对二个时序指标信息进行过滤。保留订单状态为失败的第一个时序指标信息，保留订单状态为失败的第二个时序指标信息。
步骤530：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
本申请实施例中。用标签“Tag1”标识两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的异常检测的条件，用标签“Tag2”标识两分钟内订单状态失败数目大于10的异常检测的条件。将过滤出的第一个时序指标信息添加标签Tag1，形成第一时序指标信息。将过滤出的第二个时序指标信息添加标签Tag2，形成第一时序指标信息。本申请实施例中第一时序指标信息与过滤前的时序指标信息对应。本申请实施例中标签具体可以根据业务场景需求进行设定，例如机器A。
步骤5401：将包含不同标签的第一时序指标信息转发至同一预设工作节点上。
本申请实施例中，根据哈希路由的规则将标签为Tag1第一时序指标信息转发至第一个工作节点上，标签为Tag2的第一时序指标信息也转发至第一个工作节点上。
本申请实施例是以两个异常检测的条件和一个工作节点为例，在其他实施例中，也可以有多个异常检测的条件和两个以上的工作节点，当异常检测的条件数量大于工作节点的数量，或当异常检测的条件数量与工作节点的数量相等，或异常检测的条件数量小于工作节点的数量相等时。
例如，当异常检测的条件分别为条件一，条件二，条件三，条件四时，分别用标签“01”、“02”、“03”、“04”以标识时序指标信息的第一时序指标信息，工作节点数量为三个，分别为工作节点一、工作节点二和工作节点三，本申请实施例可以将含有标签“01”的第一时序指标信息，含有标签“02”的第一时序指标信息分别发送至工作节点一，将含有标签“03”的第一时序指标信息发送至工作节点二，将含有标签“04”的第一时序指标信息发送至工作节点三。
步骤5402：将同一预设工作节点上的第一时序指标信息按照标签过滤。
本申请实施例中，在第一个工作节点上，当执行两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的异常检测的条件时，只保留标签为Tag1的第一时序指标信息，当执行两分钟内订单状态失败数目大于10的异常检测的条件时，只保留标签为Tag2的第一时序指标信息。
若工作节点一含有标签“01”的第一时序指标信息和含有标签“02”的第一时序指标信息，则本申请实施例中，通过过滤，可以只保留标签为“01”的第一时序指标信息。也可以通过过滤，可以只保留标签为“02”的第一时序指标信息。
步骤551：将同一预设的工作节点上的过滤后的所述第一时序指标信息进行异常检测。
本申请实施例中，将第一个工作节点上的过滤后的第一时序指标信息按照异常检测的条件进行检测。当过滤后保留的是标签为Tag1的第一时序指标信息时，按照两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目多1的检测条件进行检测。本申请实施例中，上一次两分钟内订单状态失败数目为1，将本次两分钟内订单状态失败数目2与上一次两分钟内订单状态失败数目1做差计算，即，两分钟内订单状态失败数目比上一次两分钟内订单状态失败数目比上次多1。
步骤561：输出异常提示和异常结果信息。
本申请实施例中，标签为Tag1的第一时序指标信息两分钟内订单状态失败数目与上一次两分钟内订单状态失败数目的差值1不大于1，不满足异常检测的条件，不输出异常提示，如果满足异常检测的条件，则输出异常提示。
本实施例提供了一种时序指标异常检测方法，该方法能将包含不同标签的第一时序指标信息转发至同一预设工作节点上并且在同一预设节点上按照标签过滤，可以实现一个工作节点上同时处理多个业务时序指标的异常检测，提高了异常检测的效率，改善异常检测的条件的数量大于工作节点的数量的情况，仍然可以进行异常检测。
在本申请又一实施例中，如图6所示，将同一预设的工作节点上的第一时序指标信息进行异常检测包括：
步骤610：获取待检测业务的多个时序指标信息。
具体过程与上述实施例相同，在此不再赘述。
步骤620：依据过滤条件，对多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，过滤条件对应异常检测的条件。
具体过程与上述实施例相同，在此不再赘述。
步骤630：将符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，标签用于标识异常检测的条件。
具体过程与上述实施例相同，在此不再赘述。
步骤640：将第一时序指标信息转发至预设工作节点上，预设的工作节点与标签对应。
具体过程与上述实施例相同，在此不再赘述。
步骤6501：将同一预设的工作节点上的第一时序指标信息按照预设策略进行异常检测，预设策略依据异常检测的条件选定。
步骤6502：预设策略包括阈值触发策略，抖动触发策略，同比触发策略或环比触发策略中的任意一种或几种的组合。
阈值触发策略，根据实时异常阈值以及当前时刻时序指标数据，确定当前时刻异常检测结果。同比触发策略或环比触发策略，同比，是指在相邻时段中的某一相同时间点进行比较。环比，就是相邻时间段的对比。预设策略异常检测的条件进行选定，可以是其中任意一种或几种策略的组合。例如，异常检测条件是订单状态成功数目小于10的时序指标，可以选用阈值触发策略。异常检测条件是订单状态失败数目比上次多1，可以选用环比触发策略。异常检测条件是订单状态成功数目比上次多1且大于10，可以选用阈值触发策略与环比触发策略的组合。
步骤660：确定是否输出异常提示。
具体过程与上述实施例相同，在此不再赘述。
本实施例提供了一种时序指标异常检测方法，该方法在时序指标进行异常检测时，可以方便的配置多个触发策略，并制定策略间的触发关系，即同时满足触发或满足任意一个触发，进一步满足了不同场景时序指标异常检测的需求。
参阅图7，图7是本申请提供的计算机设备一实施例的结构示意图，该计算机设备700包括存储器710和处理器720。计算机设备存储器710用于存储计算机程序；计算机设备处理器720用于执行计算机程序时实现时序指标异常检测方法的步骤。
本申请实施例中，存储器710存储有用于实现上述任一实施例的方法的计算机程序；处理器720用于执行存储器710存储的计算机程序以实现上述方法实施例的步骤。处理器720还可以称为CPU（Central Processing Unit，中央处理单元）。处理器720可能是一种集成电路芯片，具有信号的处理能力。处理器720还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8，图8是本申请提供的具有存储功能的装置一实施例的结构示意图，该装置800存储有程序810，该程序810被执行时能够实现时序指标异常检测。
本申请实施例中的装置800存储有程序810，该程序810被执行时能够实现时序指标异常检测。其中，该计算机程序810可以形成程序文件以软件产品的形式存储在上述装置800中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的装置800包括：U盘、移动硬盘、只读存储器（ROM Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种时序指标异常检测方法，其特征在于，包括：
获取待检测业务的多个时序指标信息；
依据过滤条件，对所述多个时序指标信息进行过滤，保留符合预设过滤条件的时序指标信息，其中，所述过滤条件对应异常检测的条件；
将所述符合预设过滤条件的时序指标信息添加标签，形成第一时序指标信息，其中，所述标签用于标识所述异常检测的条件；
将所述第一时序指标信息转发至预设的工作节点上，所述预设的工作节点与所述标签对应；
将同一所述预设的工作节点上的所述第一时序指标信息进行异常检测；
确定是否输出异常检测提示。
2.根据权利要求1所述的时序指标异常检测方法，其特征在于，所述将同一所述预设的工作节点上的所述第一时序指标信息进行异常检测，包括：
将同一所述预设的工作节点上的所述第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息；
将所述第二时序指标信息进行异常检测。
3.根据权利要求2所述的时序指标异常检测方法，其特征在于，所述将所述第二时序指标信息进行异常检测，确定是否输出异常检测提示，包括：
所述将所述第二时序指标信息进行异常检测，
将检测结果添加于所述第二时序指标信息，形成第三时序指标信息，并存储；
判断所述第三时序指标信息是否符合异常条件；
若是，输出异常检测提示。
4.根据权利要求1所述的时序指标异常检测方法，其特征在于，所述异常检测的条件的数量至少为两个；所述将所述第一时序指标信息转发至预设的工作节点上，所述预设的工作节点与所述标签对应；将同一所述预设的工作节点上的所述第一时序指标信息进行异常检测；确定是否输出异常检测提示，包括：
将所述第一时序指标信息转发至至少两个预设的工作节点上，所述预设的工作节点与所述标签一一对应；
将同一所述预设的工作节点上的所述第一时序指标信息在预设周期内按照预设聚合条件进行聚合，形成第二时序指标信息；
将每个所述预设的工作节点上的所述第二时序指标信息进行异常检测；
确定每个工作节点是否输出异常检测提示。
5.根据权利要求1所述的时序指标异常检测方法，其特征在于，
所述异常检测的条件的数量至少为两个；
所述将所述第一时序指标信息转发至预设的工作节点上，所述预设的工作节点与所述标签对应；将同一所述预设的工作节点上的所述第一时序指标信息进行异常检测，包括：
将包含不同标签的所述第一时序指标信息转发至同一预设的工作节点上；
将同一预设的工作节点上的所述第一时序指标信息按照所述标签过滤；
将同一所述预设的工作节点上的过滤后的所述第一时序指标信息进行异常检测。
6.根据权利要求1所述的时序指标异常检测方法，其特征在于，
所述将同一所述预设的工作节点上的所述第一时序指标信息进行异常检测，包括：
将同一所述预设的工作节点上的所述第一时序指标信息按照预设策略进行异常检测，所述预设策略依据所述异常检测的条件选定。
7.根据权利要求6所述的时序指标异常检测方法，其特征在于，所述预设策略包括阈值触发策略，抖动触发策略，同比触发策略和环比触发策略中的任意一种或几种的组合。
8.根据权利要求3所述的时序指标异常检测方法，其特征在于，所述输出异常检测提示，包括：
输出异常提示和异常结果信息。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-8任意一项所述的时序指标异常检测方法的步骤。
10.一种具有存储功能的装置，其特征在于，所述装置存储有程序，所述程序被执行时能够实现如权利要求1-8任意一项所述的时序指标异常检测方法。
CN202110029227.9A 2021-01-11 2021-01-11 时序指标异常检测方法、设备及装置 Active CN112363893B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110029227.9A CN112363893B (zh) 2021-01-11 2021-01-11 时序指标异常检测方法、设备及装置
US17/536,140 US11940890B2 (en) 2021-01-11 2021-11-29 Timing index anomaly detection method, device and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110029227.9A CN112363893B (zh) 2021-01-11 2021-01-11 时序指标异常检测方法、设备及装置

Publications (2)

Publication Number Publication Date
CN112363893A CN112363893A (zh) 2021-02-12
CN112363893B true CN112363893B (zh) 2021-04-27

Family

ID=74534704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110029227.9A Active CN112363893B (zh) 2021-01-11 2021-01-11 时序指标异常检测方法、设备及装置

Country Status (2)

Country Link
US (1) US11940890B2 (zh)
CN (1) CN112363893B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254253B (zh) * 2021-07-14 2021-11-02 云智慧（北京）科技有限公司 一种数据处理方法、系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078133A1 (en) * 2012-09-17 2014-03-20 Novatek Microelectronics Corp. Panel display apparatus
US20180009323A1 (en) * 2012-01-17 2018-01-11 Shwu-Jian Liang Managing and monitoring car-battery to effectively and safely supply energy to electrically powered vehicles
CN108664603A (zh) * 2018-05-09 2018-10-16 北京奇艺世纪科技有限公司 一种修复时序数据的异常聚合值的方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867659A (en) * 1996-06-28 1999-02-02 Intel Corporation Method and apparatus for monitoring events in a system
EP1286498A1 (de) * 2001-08-21 2003-02-26 Alcatel Verfahren, Dienst-Agent und Netzwerk-Management-System zur Bedienung eines Telekommunikationsnetzes
CN101192227B (zh) * 2006-11-30 2011-05-25 阿里巴巴集团控股有限公司 一种基于分布式计算网络的日志文件分析方法和系统
US9384112B2 (en) * 2010-07-01 2016-07-05 Logrhythm, Inc. Log collection, structuring and processing
US8478800B1 (en) * 2010-09-27 2013-07-02 Amazon Technologies, Inc. Log streaming facilities for computing applications
WO2012121901A1 (en) * 2011-03-04 2012-09-13 Waters Technologies Corporation Techniques for event notification
US20130227352A1 (en) * 2012-02-24 2013-08-29 Commvault Systems, Inc. Log monitoring
US10303533B1 (en) * 2016-12-06 2019-05-28 Amazon Technologies, Inc. Real-time log analysis service for integrating external event data with log data for use in root cause analysis
CN108664375B (zh) * 2017-03-28 2021-05-18 瀚思安信（北京）软件技术有限公司 用于检测计算机网络系统用户的异常行为的方法
US11321198B2 (en) * 2020-07-21 2022-05-03 Sap Se Event failover service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180009323A1 (en) * 2012-01-17 2018-01-11 Shwu-Jian Liang Managing and monitoring car-battery to effectively and safely supply energy to electrically powered vehicles
US20140078133A1 (en) * 2012-09-17 2014-03-20 Novatek Microelectronics Corp. Panel display apparatus
CN108664603A (zh) * 2018-05-09 2018-10-16 北京奇艺世纪科技有限公司 一种修复时序数据的异常聚合值的方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备

Also Published As

Publication number Publication date
US11940890B2 (en) 2024-03-26
US20220222159A1 (en) 2022-07-14
CN112363893A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109587008B (zh) 检测异常流量数据的方法、装置及存储介质
CN110213068B (zh) 一种消息中间件的监控方法及相关设备
CN111158977A (zh) 一种异常事件根因定位方法及装置
CN111240876B (zh) 微服务的故障定位方法、装置、存储介质及终端
CN112751711B (zh) 告警信息处理方法和装置、存储介质和电子设备
CN106878038B (zh) 一种通信网络中故障定位方法及装置
CN105183619A (zh) 一种系统故障预警方法和系统
CN112328425A (zh) 一种基于机器学习的异常检测方法和系统
CN113297042B (zh) 一种告警消息的处理方法、装置及设备
CN111711540B (zh) 政企业务告警识别方法和装置
CN112363893B (zh) 时序指标异常检测方法、设备及装置
CN111258798A (zh) 监控数据的故障定位方法、装置、计算机设备及存储介质
CN112579327B (zh) 一种故障检测方法、装置及设备
CN112769615B (zh) 一种异常分析方法及装置
CN112487265B (zh) 数据处理方法、装置、计算机存储介质及电子设备
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN111935279B (zh) 基于区块链和大数据的物联网络维护方法及计算节点
CN114510364A (zh) 文本聚类结合链路调用的异常数据根因分析方法及装置
CN113572628A (zh) 数据关联方法、装置、计算设备及计算机存储介质
CN111835566A (zh) 一种系统故障管理方法、装置及系统
CN113806196B (zh) 根因分析方法及系统
CN115514617A (zh) 一种通用的异常根因定位及分析方法及装置
CN114598588B (zh) 服务器故障确定方法、装置及终端设备
CN116846741B (zh) 一种告警收敛方法、装置、设备及存储介质
CN112988506B (zh) 一种大数据服务器节点性能监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210212

Assignee: Guangdong Graffiti Intelligent Information Technology Co.,Ltd.

Assignor: HANGZHOU TUYA INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2022330000777

Denomination of invention: Abnormal detection method, equipment and device of time sequence index

Granted publication date: 20210427

License type: Common License

Record date: 20221214

EE01 Entry into force of recordation of patent licensing contract