CN113986671B - 运维数据异常检测方法、装置、设备及介质 - Google Patents

运维数据异常检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN113986671B
CN113986671B CN202111267256.5A CN202111267256A CN113986671B CN 113986671 B CN113986671 B CN 113986671B CN 202111267256 A CN202111267256 A CN 202111267256A CN 113986671 B CN113986671 B CN 113986671B
Authority
CN
China
Prior art keywords
data
maintenance data
detected
maintenance
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111267256.5A
Other languages
English (en)
Other versions
CN113986671A (zh
Inventor
欧阳梦云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202111267256.5A priority Critical patent/CN113986671B/zh
Publication of CN113986671A publication Critical patent/CN113986671A/zh
Application granted granted Critical
Publication of CN113986671B publication Critical patent/CN113986671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了运维数据异常检测方法、装置、设备、可读存储介质和程序产品，可以应用于大数据技术领域和金融领域。该异常运维数据检测方法包括：根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，第一待测运维数据中包括数据类型信息；根据数据类型信息从规则配置数据库中获取阈值规则，其中，阈值规则包括针对数据类型信息设置的运维数据阈值范围；在第一待测运维数据的变化特征满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据；根据变化特征和异常运维数据更新阈值规则；以及基于更新后的阈值规则对时序运维数据中的第二待测运维数据进行异常检测。

Description

运维数据异常检测方法、装置、设备及介质
技术领域
本公开涉及大数据技术领域，具体地涉及一种运维数据异常检测方法、装置、设备、可读存储介质和程序产品。
背景技术
随着信息化时代的到来以及人工智能技术、分布式、大数据、云计算等技术不断落地实践，计算机系统部署架构更加复杂，使得每分钟产生的数据量不断增加，对于系统的运行和维护工作增加了难度。
目前运维数据异常检测方式使为计算机系统的每个运维指标设定静态阈值，当实时运维数据超出静态阈值范围时，则判断该时段的运维数据出现异常，进行告警。
但是，这种方式在实践过程中会出现误报或漏报异常的情况，而且，由于每个系统对硬件的需求和要求存在一定差异，导致设定的静态阈值数量多且混乱，造成系统管理成本高、灵活度差以及跨系统支持能力差的问题。
发明内容
鉴于上述问题，本公开提供了提高运维数据异常检测方法、装置、设备、可读存储介质和程序产品。
根据本公开的第一个方面，提供了一种运维数据异常检测方法，包括：
根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，上述第一待测运维数据中包括数据类型信息；
根据上述数据类型信息从规则配置数据库中获取阈值规则，其中，上述阈值规则包括针对上述数据类型信息设置的运维数据阈值范围；
在上述第一待测运维数据的变化特征满足上述阈值规则的情况下，将上述第一待测运维数据标记为异常运维数据；
根据上述变化特征和上述异常运维数据更新上述阈值规则；以及
基于更新后的阈值规则对上述时序运维数据中的第二待测运维数据进行异常检测。
根据本公开的实施例，在根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据之前，上述方法还包括：
根据上述待测运维数据的数据类型信息确定目标历史运维数据，其中，上述待测运维数据与上述目标历史运维数据的数据类型相同；
从上述规则配置数据库中获取目标历史运维数据的流式周期；
根据上述目标历史运维数据的流式周期和上述待测运维数据的流式周期确定上述滑动窗口。
根据本公开的实施例，上述变化特征包括上述待测运维数据的累积动态偏差，上述待测运维数据的累积动态偏差的计算方法包括：
计算上述第一待测运维数据的平均值；
根据上述第一待测运维数据和上述第一待测运维数据的平均值计算上述第一待测运维数据的累积动态偏差。
根据本公开的实施例，上述至少一组第一待测运维数据包括两组，上述变化特征包括上述第一待测运维数据的累积动态偏差，上述第一待测运维数据的累积动态偏差的计算方法包括：
计算每一组上述第一待测运维数据的平均值；
根据两组上述第一待测运维数据的平均值的变化率确定上述上述第一待测运维数据的累积动态偏差。
根据本公开的实施例，上述第一待测运维数据的平均值的变化率包括至少任意一种：平均值的增长率、平均值的比值。
根据本公开的实施例，获取历史异常运维数据；
将上述历史异常运维数据按照不同的数据类型进行分类标记，确定每个数据类型的上述历史异常运维数据的预设滑动窗口和预设流式周期；
根据上述预设滑动窗口从上述历史异常运维数据中获取多组第一类型样本数据；
通过计算每一组上述第一类型样本数据的平均值，确定第一类型运维数据的阈值范围；
根据上述阈值范围、上述第一类型样本数据的数据类型信息，建立针对上述第一类型运维数据的阈值规则。
根据本公开的实施例，上述根据上述变化特征和上述异常运维数据更新上述阈值规则，包括：根据上述变化特征调整上述阈值规则中的运维数据上限阈值和/或上述运维数据下限阈值，以更新上述阈值规则。
本公开的第二方面提供了一种运维数据异常检测装置，包括：第一获取模块、第二获取模块、标记模块、更新模块、检测模块。其中，第一获取模块，用于根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，上述第一待测运维数据中包括数据类型信息。第二获取模块，用于根据上述数据类型信息从规则配置数据库中获取阈值规则，其中，上述阈值规则包括针对上述数据类型信息设置的运维数据阈值范围。标记模块，用于在上述第一待测运维数据的变化特征满足上述阈值规则的情况下，将上述第一待测运维数据标记为异常运维数据。更新模块，用于根据上述变化特征和上述异常运维数据更新上述阈值规则。检测模块，用于基于更新后的阈值规则对上述时序运维数据中的第二待测运维数据进行异常检测。
根据本公开实施例，上述第一获取模块包括第一确定单元、第一获取单元和第二确定单元。其中，第一确定单元，用于根据上述待测运维数据的数据类型信息确定目标历史运维数据，其中，上述待测运维数据与上述目标历史运维数据的数据类型相同。第一获取单元，用于从上述规则配置数据库中获取目标历史运维数据的流式周期。第二确定单元，用于根据上述目标历史运维数据的流式周期和上述待测运维数据的流式周期确定上述滑动窗口。
根据本公开实施例，上述标记模块包括第一计算单元、第二计算单元、第一标记单元。其中，第一计算单元，用于计算上述第一待测运维数据的平均值。第二计算单元，用于根据上述第一待测运维数据和上述第一待测运维数据的平均值计算上述第一待测运维数据的累积动态偏差。第一标记单元，用于在上述第一待测运维数据的累积动态偏差满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。
根据本公开实施例，上述标记模块包括第三计算单元、第四计算单元、第二标记单元。其中，第三计算单元，用于计算每一组第一待测运维数据的平均值。第四计算单元，用于根据两组上述第一待测运维数据的平均值的变化率确定上述第一待测运维数据的累积动态偏差。第二标记单元，用于在上述第一待测运维数据的平均值的变化率满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。
根据本公开实施例，上述运维数据异常检测装置还包括第三获取模块、第一确定模块、第四获取模块、第二确定模块、建立模块。其中，所述第三获取模块，用于获取历史异常运维数据。第一确定模块，用于将上述历史异常运维数据按照不同的数据类型进行分类标记，确定每个数据类型的上述历史异常运维数据的预设滑动窗口和预设流式周期。第四获取模块，用于根据上述预设滑动窗口从上述历史异常运维数据中获取多组第一类型样本数据。第二确定模块，用于通过计算每一组上述第一类型样本数据的平均值，确定第一类型运维数据的阈值范围。建立模块，用于根据上述阈值范围、上述第一类型样本数据的数据类型信息，建立针对上述第一类型运维数据的阈值规则。
本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述运维数据异常检测方法。
本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述运维数据异常检测方法。
本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述运维数据异常检测方法。
根据本公开实施例，通过先根据滑动窗口从时序运维数据中获取待测运维数据，并根据该组待测运维数据从规则配置数据库中获取阈值规则，在该组待测运维数据的变化特征满足该阈值规则的情况下，将该组待测运维数据标记为异常运维数据，并根据该组待测运维数据的变化特征和异常运维数据更新阈值规则，再基于更新之后的阈值规则对时序运维数据中的下一组待测运维数据进行异常检测的技术手段，可以实现根据实际检测到的异常运维数据以及运维数据的变化特征不断更新阈值规则，提高异常检测的精准度，解决了相关技术中配置静态阈值数量过多且混乱，造成系统管理成本高、灵活度差以及跨系统支持能力差的问题。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的运维数据异常检测方法、装置、设备、介质和程序产品的应用场景图；
图2示意性示出了根据本公开实施例的运维数据异常检测方法的流程图；
图3示意性示出了根据本公开实施例的确定滑动窗口方法的流程图；
图4示意性示出了根据本公开实施例的建立阈值规则方法的流程图；
图5示意性示出了根据本公开实施例的运维数据异常检测方法的逻辑框图；
图6示意性示出了根据本公开实施例的运维数据异常检测装置的结构框图；以及
图7示意性示出了根据本公开实施例的适于实现运维数据异常检测方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在对本公开的实施例进行详细阐述之前，先对本公开实施例提供的方法所涉及的系统结构以及应用场景进行如下介绍。
图1示意性示出了根据本公开实施例的运维数据异常检测方法的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到时序运维数据进行检测，并将检测结果(例如将时序运维数据中的异常运维数据标记)反馈给终端设备。
需要说明的是，本公开实施例所提供的运维数据异常检测方法一般可以由服务器105执行。相应地，本公开实施例所提供的运维数据异常检测装置一般可以设置于服务器105中。本公开实施例所提供的运维数据异常检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的运维数据异常检测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
需要说明的是，本公开的异常运维数据检测方法及装置涉及大数据技术领域，可用于金融技术领域，也可用于除大数据技术领域和金融技术领域之外的任意领域，本公开对异常运维数据检测方法及装置的应用领域不做限定。
以下将基于图1描述的场景，通过图2～图5对公开实施例的运维数据异常检测方法进行详细描述。
图2示意性示出了根据本公开实施例的运维数据异常检测方法的流程图。
如图2所示，该实施例的运维数据异常检测方法包括操作S201～操作S205。
在操作S201中，根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，第一待测运维数据中包括数据类型信息。
在操作S202中，根据数据类型信息从规则配置数据库中获取阈值规则，其中，阈值规则包括针对数据类型信息设置的运维数据阈值范围。
在操作S203中，在第一待测运维数据的变化特征满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。
在操作S204中，根据变化特征和异常运维数据更新阈值规则。
在操作S205中，基于更新后的阈值规则对时序运维数据中的第二待测运维数据进行异常检测。
根据本公开实施例，以磁盘存储运维数据为例，根据滑动窗口从时序运维数据中获取一组待测运维数据，从规则配置数据库中获取磁盘存储运维数据的运维数据阈值范围为1.0～1.2。如果待测运维数据的变化特征为1.01，则满足规则配置数据中的阈值范围，将该组待测运维数据标记为异常运维数据。同时，根据变化特征更新阈值规则，更新之后的磁盘存储运维数据阈值范围为1.01～1.2。然后，基于磁盘存储运维数据的阈值范围1.01～1.2对时序运维数据中的下一组磁盘存储运维数据进行异常检测。
根据本公开实施例，通过先根据滑动窗口从时序运维数据中获取待测运维数据，并根据该组待测运维数据从规则配置数据库中获取阈值规则，在该组待测运维数据的变化特征满足该阈值规则的情况下，将该组待测运维数据标记为异常运维数据，并根据该组待测运维数据的变化特征和异常运维数据更新阈值规则，再基于更新之后的阈值规则对时序运维数据中的下一组待测运维数据进行异常检测的技术手段，可以实现根据实际检测到的异常运维数据以及运维数据的变化特征不断更新阈值规则，提高异常检测的精准度，解决了相关技术中配置静态阈值数量过多且混乱，造成系统管理成本高、灵活度差以及跨系统支持能力差的问题。
图3示意性示出了根据本公开实施例的确定滑动窗口方法的流程图。
如图3所示，该方法包括操作S301～S303。
在操作S301中，根据待测运维数据的数据类型信息确定目标历史运维数据，其中，待测运维数据与目标历史运维数据的数据类型相同。
在操作S302中，从规则配置数据库中获取目标历史运维数据的流式周期。
在操作S303中，根据目标历史运维数据的流式周期和待测运维数据的流式周期确定滑动窗口。
需要说明的是，本公开中的流式周期可以为单位时间内采集到的时序运维数据的数量。例如，5s内可以采集到10个时序运维数据，则该时序运维数据的流式周期为2个/s。
根据本公开实施例，例如从规则配置数据库中获取目标历史运维数据的流式周期为ti，待测运维数据的流式周期为t0，则滑动窗口的大小可以按式(一)确定。
其中，x表示滑动窗口的大小。在实际计算过程中，当流式周期ti与流式周期t0无法整除时，则x取大于商值的最小整数。
根据本公开实施例，通过根据待测运维数据的流式周期与目标历史运维数据的流式周期确定滑动窗口，将不同系统中配置的采集器的流式周期与规则配置数据库中的目标历史数据的流式周期的差异对异常运维数据检测的影响进行修正，提高运维数据异常检测精度的同时，提高了该方法适用系统的灵活性。
根据本公开实施例，变化特征包括待测运维数据的累积动态偏差，待测运维数据的累积动态偏差的计算方法包括：计算第一待测运维数据的平均值；根据第一待测运维数据和第一待测运维数据的平均值计算第一待测运维数据的累积动态偏差。
根据本公开实施例，第一待测运维数据的平均值按式(二)计算：
其中，x表示滑动窗口的大小，dataj表示每一个待测运维数据的数值。
第一待测运维数据的累积动态偏差按式(三)计算：
其中，D表示累积动态偏差，dataj表示每一个待测运维数据的数值。
根据本公开实施例，通过计算一组待测运维数据中每个运维数据的数值与平均值变化率，将变化率最大值作为累积动态偏差的方法，能够检测到运维数据中在某个时间点突变的异常运维数据，提高运维数据检测精度，降低异常运维数据检测的漏检率。
根据本公开实施例，该方法中的第一待测运维数据可以包括两组，变化特征包括第一待测运维数据的累积动态偏差，第一待测运维数据的累积动态偏差的计算方法包括：计算每一组第一待测运维数据的平均值；根据两组第一待测运维数据的平均值的变化率确定第一待测运维数据的累积动态偏差。
根据本公开实施例，每一组第一待测运维数据的平均值仍然按式(二)进行计算，得到S1、S2。
第一待测运维数据的累积动态偏差按照式(四)计算：
根据本公开实施例，第一待测运维数据的累积动态偏差还可以按照式(五)计算：
根据本公开实施例，通过将两组待测运维数据的平均值的增长率作为累积动态偏差的方法，能够检测到运维数据中在较大时间段内的异常变化情况，减小异常运维数据检测的误差，提高运维数据检测的准确度。
图4示意性示出了根据本公开实施例的建立阈值规则方法的流程图。
如图4所示，该方法包括操作S401～S405。
在操作S401中，获取历史异常运维数据。
在操作S402中，将历史异常运维数据按照不同的数据类型进行分类标记，确定每个数据类型的历史异常运维数据的预设滑动窗口和预设流式周期。
根据本公开实施例，历史异常运维数据中可以包括网络异常运维数据、CPU异常运维数据、存储异常运维数据等等。
根据本公开实施例，以历史异常运维数据为CPU异常运维数据为例，可以将这些CPU历史异常运维数据的滑动窗口和流式周期作为预设滑动窗口和预设流式周期，例如，CPU历史异常运维数据的滑动窗口为5，流式周期为2个/s，则确定CPU异常运维数据的预设滑动窗口为5，预设流式周期为2个/s。
在操作S403中，根据预设滑动窗口从历史异常运维数据中获取多组第一类型样本数据。
在操作S404中，通过计算每一组第一类型样本数据的平均值，确定第一类型运维数据的阈值范围。
根据本公开实施例，以CPU异常运维数据为例，假设获取五组CPU异常运维数据，通过计算得到五组CPU异常运维数据的平均值分别为1.0、1.01、1.05、1.08、1.1，则可以确定CPU异常运维数据的阈值范围为0.7～1.2。
在操作S405中，根据阈值范围、第一类型样本数据的数据类型信息，建立针对第一类型运维数据的阈值规则。
根据本公开实施例，以CPU异常运维数据为例，可以以数据类型为CPU运维数据的阈值范围为0.7～1.2建立阈值规则。
根据本公开实施例，通过分析历史异常运维数据的变化规律根据数据类型的不同建立阈值规则，形成规则阈值数据库，以便实现本公开的检测方法中根据实时运维数据的异常检测结果对阈值规则的动态更新。
根据本公开实施例，根据变化特征和异常运维数据更新阈值规则，包括：根据变化特征调整阈值规则中的运维数据上限阈值和/或运维数据下限阈值，以更新阈值规则。
根据本公开实施例，例如，以CPU异常运维数据为例，规则配置数据库中的阈值规则中的阈值范围为0.7～1.2。但是在实际运维检测中得到的累积动态偏差为1.0，可以将阈值规则中的阈值范围调整为1.0～1.2，再进行下一次检测。
根据本公开实施例，通过根据变化特征和异常运维数据不断更新阈值规则，可以使运维数据的异常检测精度提高，减少误报率和漏报率。
图5示意性示出了根据本公开实施例的运维数据异常检测方法的逻辑框图。
如图5所示，该运维数据异常检测方法包括：
首先根据滑动窗口从时序运维数据中获取一组第一待测运维数据，并根据数据类型信息从规则配置数据库中获取阈值规则。
然后计算第一待测运维数据的平均值和累积动态偏差，判断累积动态偏差是否在阈值规则规定的阈值范围内。
若累积动态偏差在阈值规则规定的阈值范围内，则将第一待测运维数据标记为异常运维数据，并根据累积动态偏差值更新阈值规则，基于更新之后的阈值规则对时序运维数据中的第二待测运维数据进行异常检测；
若累积动态偏差不在阈值规则规定的阈值范围内，则基于原始规则配置数据库中的阈值规则对时序运维数据中的第二待测运维数据进行异常检测。
基于上述运维数据异常检测方法，本公开还提供了一种运维数据异常检测装置。以下将结合图6对该装置进行详细描述。
图6示意性示出了根据本公开实施例的运维数据异常检测装置的结构框图。
如图6所示，该实施例的运维数据异常检测装置600包括第一获取模块601、第二获取模块602、标记模块603、更新模块604和检测模块605。
第一获取模块601，用于根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，第一待测运维数据中包括数据类型信息。在一实施例中，第一获取模块601可以用于执行前文描述的操作S201，在此不再赘述。
第二获取模块602，用于根据数据类型信息从规则配置数据库中获取阈值规则，其中，阈值规则包括针对数据类型信息设置的运维数据阈值范围。在一实施例中，第二获取模块602可以用于执行前文描述的操作S202，在此不再赘述。
标记模块603，用于在第一待测运维数据的变化特征满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。在一实施例中，标记模块603可以用于执行前文描述的操作S203，在此不再赘述。
更新模块604，用于根据变化特征和异常运维数据更新阈值规则。在一实施例中，更新模块604可以用于执行前文描述的操作S204。
检测模块605，用于基于更新后的阈值规则对时序运维数据中的第二待测运维数据进行异常检测。在一实施例中，标记模块605可以用于执行前文描述的操作S205，在此不再赘述。
根据本公开实施例，上述第一获取模块包括第一确定单元、第一获取单元和第二确定单元。其中，第一确定单元，用于根据上述待测运维数据的数据类型信息确定目标历史运维数据，其中，上述待测运维数据与上述目标历史运维数据的数据类型相同。第一获取单元，用于从上述规则配置数据库中获取目标历史运维数据的流式周期。第二确定单元，用于根据上述目标历史运维数据的流式周期和上述待测运维数据的流式周期确定上述滑动窗口。
根据本公开实施例，上述标记模块包括第一计算单元、第二计算单元、第一标记单元。其中，第一计算单元，用于计算上述第一待测运维数据的平均值。第二计算单元，用于根据上述第一待测运维数据和上述第一待测运维数据的平均值计算上述第一待测运维数据的累积动态偏差。第一标记单元，用于在上述第一待测运维数据的累积动态偏差满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。
根据本公开实施例，上述标记模块包括第三计算单元、第四计算单元、第二标记单元。其中，第三计算单元，用于计算每一组第一待测运维数据的平均值。第四计算单元，用于根据两组上述第一待测运维数据的平均值的变化率确定上述第一待测运维数据的累积动态偏差。第二标记单元，用于在上述第一待测运维数据的平均值的变化率满足阈值规则的情况下，将第一待测运维数据标记为异常运维数据。
根据本公开实施例，上述运维数据异常检测装置还包括第三获取模块、第一确定模块、第四获取模块、第二确定模块、建立模块。其中，所述第三获取模块，用于获取历史异常运维数据。第一确定模块，用于将上述历史异常运维数据按照不同的数据类型进行分类标记，确定每个数据类型的上述历史异常运维数据的预设滑动窗口和预设流式周期。第四获取模块，用于根据上述预设滑动窗口从上述历史异常运维数据中获取多组第一类型样本数据。第二确定模块，用于通过计算每一组上述第一类型样本数据的平均值，确定第一类型运维数据的阈值范围。建立模块，用于根据上述阈值范围、上述第一类型样本数据的数据类型信息，建立针对上述第一类型运维数据的阈值规则。
根据本公开的实施例，第一获取模块601、第二获取模块602、标记模块603、更新模块604和检测模块605中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块601、第二获取模块602、标记模块603、更新模块604和检测模块605中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块601、第二获取模块602、标记模块603、更新模块604和检测模块605中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现运维数据异常检测方法的电子设备的方框图。
如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分707。通信部分707经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。
在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分707被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分707从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。电应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种运维数据异常检测方法，包括：
根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，所述第一待测运维数据中包括数据类型信息；
根据所述数据类型信息从规则配置数据库中获取阈值规则，其中，所述阈值规则包括针对所述数据类型信息设置的运维数据阈值范围；
在所述第一待测运维数据的变化特征满足所述阈值规则的情况下，将所述第一待测运维数据标记为异常运维数据；
根据所述变化特征和所述异常运维数据更新所述阈值规则；以及
基于更新后的阈值规则对所述时序运维数据中的第二待测运维数据进行异常检测；
其中，所述变化特征包括所述待测运维数据的累积动态偏差，所述待测运维数据的累积动态偏差的计算方法包括：
计算所述第一待测运维数据的平均值；
根据所述第一待测运维数据和所述第一待测运维数据的平均值计算所述第一待测运维数据的累积动态偏差。
2.根据权利要求1所述的方法，在根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据之前，所述方法还包括：
根据所述待测运维数据的数据类型信息确定目标历史运维数据，其中，所述待测运维数据与所述目标历史运维数据的数据类型相同；
从所述规则配置数据库中获取目标历史运维数据的流式周期；
根据所述目标历史运维数据的流式周期和所述待测运维数据的流式周期确定所述滑动窗口。
3.根据权利要求1所述的方法，其中，所述至少一组第一待测运维数据包括两组，所述变化特征包括所述第一待测运维数据的累积动态偏差，所述第一待测运维数据的累积动态偏差的计算方法包括：
计算每一组所述第一待测运维数据的平均值；
根据两组所述第一待测运维数据的平均值的变化率确定所述所述第一待测运维数据的累积动态偏差。
4.根据权利要求3所述的方法，其中，所述第一待测运维数据的平均值的变化率包括至少任意一种：
平均值的增长率、平均值的比值。
5.根据权利要求1所述的方法，还包括：
获取历史异常运维数据；
将所述历史异常运维数据按照不同的数据类型进行分类标记，确定每个数据类型的所述历史异常运维数据的预设滑动窗口和预设流式周期；
根据所述预设滑动窗口从所述历史异常运维数据中获取多组第一类型样本数据；
通过计算每一组所述第一类型样本数据的平均值，确定第一类型运维数据的阈值范围；
根据所述阈值范围、所述第一类型样本数据的数据类型信息，建立针对所述第一类型运维数据的阈值规则。
6.根据权利要求1所述的方法，其中，所述根据所述变化特征和所述异常运维数据更新所述阈值规则，包括：
根据所述变化特征调整所述阈值规则中的运维数据上限阈值和/或所述运维数据下限阈值，以更新所述阈值规则。
7.一种运维数据异常检测装置，包括：
第一获取模块，用于根据滑动窗口从时序运维数据中获取至少一组第一待测运维数据，其中，所述第一待测运维数据中包括数据类型信息；
第二获取模块，用于根据所述数据类型信息从规则配置数据库中获取阈值规则，其中，所述阈值规则包括针对所述数据类型信息设置的运维数据阈值范围；
标记模块，用于在所述第一待测运维数据的变化特征满足所述阈值规则的情况下，将所述第一待测运维数据标记为异常运维数据；
更新模块，用于根据所述变化特征和所述异常运维数据更新所述阈值规则；
检测模块，用于基于更新后的阈值规则对所述时序运维数据中的第二待测运维数据进行异常检测；
其中，所述变化特征包括所述待测运维数据的累积动态偏差，所述标记模块包括：
第一计算单元，用于计算所述第一待测运维数据的平均值；
第二计算单元，用于根据所述第一待测运维数据和所述第一待测运维数据的平均值计算所述第一待测运维数据的累积动态偏差。
8.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有可执行指令，所述指令被处理器执行时使处理器实现权利要求1至6任一项所述的方法。
10.一种计算机程序产品，包括：
计算机可执行指令，所述指令在被执行时使用于实现权利要求1至6任一项所述的方法。
CN202111267256.5A 2021-10-28 2021-10-28 运维数据异常检测方法、装置、设备及介质 Active CN113986671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111267256.5A CN113986671B (zh) 2021-10-28 2021-10-28 运维数据异常检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111267256.5A CN113986671B (zh) 2021-10-28 2021-10-28 运维数据异常检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113986671A CN113986671A (zh) 2022-01-28
CN113986671B true CN113986671B (zh) 2024-08-20

Family

ID=79743949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111267256.5A Active CN113986671B (zh) 2021-10-28 2021-10-28 运维数据异常检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113986671B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114844810B (zh) * 2022-05-30 2024-04-26 中国建设银行股份有限公司 心跳数据处理方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN113515399A (zh) * 2021-04-26 2021-10-19 中国工商银行股份有限公司 数据异常检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338878A (zh) * 2020-02-21 2020-06-26 平安科技（深圳）有限公司 异常检测方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN113515399A (zh) * 2021-04-26 2021-10-19 中国工商银行股份有限公司 数据异常检测方法及装置

Also Published As

Publication number Publication date
CN113986671A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN110163457B (zh) 一种业务指标的异常定位方法和装置
CN113515399A (zh) 数据异常检测方法及装置
US20160070817A1 (en) Supervised change detection in graph streams
US20140351414A1 (en) Systems And Methods For Providing Prediction-Based Dynamic Monitoring
CN113986671B (zh) 运维数据异常检测方法、装置、设备及介质
CN116302893A (zh) 设备性能评估方法、装置、电子设备及存储介质
CN115174353A (zh) 故障根因确定方法、装置、设备及介质
CN117573477A (zh) 异常数据监控方法、装置、设备、介质和程序产品
CN111160410A (zh) 一种物体检测方法和装置
CN113495825A (zh) 线路告警的处理方法、装置、电子设备及可读存储介质
CN113763077B (zh) 用于检测虚假交易订单的方法和装置
CN117667573A (zh) 基于ai语言模型的集群运维方法及装置
CN115981970B (zh) 运维数据分析方法、装置、设备和介质
CN116155628B (zh) 网络安全检测方法、训练方法、装置、电子设备和介质
CN116304910A (zh) 运维数据的异常检测方法、装置、设备及存储介质
CN116029151B (zh) 水流阻力预测方法、训练方法、流量预测方法及装置
CN116561635A (zh) 微服务架构下故障检测模型的训练方法、装置及设备
CN114581711A (zh) 目标对象检测方法、装置、设备、存储介质以及程序产品
CN117853573A (zh) 一种视频处理方法、装置、电子设备及计算机可读介质
CN115426161A (zh) 异常设备识别方法、装置、设备、介质和程序产品
CN114898390A (zh) 表格生成方法、装置、电子设备及存储介质
CN113900905A (zh) 日志监控方法、装置、电子设备及存储介质
CN112414391B (zh) 一种机器人的重定位方法及装置
CN118229171B (zh) 电力设备存放区域信息展示方法、装置与电子设备
CN113360770B (zh) 内容推荐的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant