CN111045894A - 数据库异常检测方法、装置、计算机设备和存储介质 - Google Patents

数据库异常检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111045894A
CN111045894A CN201911285381.1A CN201911285381A CN111045894A CN 111045894 A CN111045894 A CN 111045894A CN 201911285381 A CN201911285381 A CN 201911285381A CN 111045894 A CN111045894 A CN 111045894A
Authority
CN
China
Prior art keywords
value
monitoring
monitoring value
sequence
running state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911285381.1A
Other languages
English (en)
Other versions
CN111045894B (zh
Inventor
黎雄勋
卢伟开
徐晖
周英耀
张华兵
韩海洋
张月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Guangsi Information Network Co Ltd Guangzhou Branch
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Guizhou Guangsi Information Network Co Ltd Guangzhou Branch
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Guangsi Information Network Co Ltd Guangzhou Branch, Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Guizhou Guangsi Information Network Co Ltd Guangzhou Branch
Priority to CN201911285381.1A priority Critical patent/CN111045894B/zh
Publication of CN111045894A publication Critical patent/CN111045894A/zh
Application granted granted Critical
Publication of CN111045894B publication Critical patent/CN111045894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请涉及一种数据库异常检测方法、装置、计算机设备和存储介质。方法包括：获取数据库的异常监控值检测序列；异常监控值检测序列包括：数据库的运行状态历史预测值序列和运行状态实际监控值；将异常监控值检测序列拆分为多条监控值子序列；至少一条监控值子序列包含有运行状态实际监控值；当多条监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定运行状态实际监控值异常，并进行异常预警，以指示用户对数据库的异常进行处理。采用本方法能够对数据库的运行状态监控值进行实时异常检测，当发现异常时，及时进行预警，无需等到运行状态监控值达到固定的阈值时才发现异常，导致用户来不及处理的问题。

Description

数据库异常检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据库技术领域，特别是涉及一种数据库异常检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机领域的发展，大量业务系统的核心数据保存到数据库中，从微服务到大集中，从大数据到大中台，云计算，数据湖等各种新技术架构不断涌现，数据库架构越来越复杂，对数据库安全性，可靠性，可用性的运行保障也带来了极大的挑战。
传统对数据库进行检测的方法是人工预先设定一个固定的阈值，然后获取数据库当前运行的状态数据，判断当前状态数据是否超出设定的固定阈值，当超出固定阈值时，判定数据库异常。
然而，由于各业务系统数据库存在硬件、软件、业务数据量、系统使用人数、业务高峰期等等诸多的差异，固定的阈值检查已无法应对复杂的应用场景。例如存储IO的带宽(从普通硬盘的几十MB每秒到高档存储的几十GB每秒),空间使用率(空间分配使用从几十GB到几十TB)，CPU使用率(某些系统业务高峰期可以允许达到90％)等，监控指标的范围跨度较大，无法设定一个固定的阈值。并且，固定的阈值无法准确有效地反映数据库的运行变化情况，如某个监控指标突然超过阈值，就有可能出现没有足够的时间去解除告警和避免故障的情况。
因此，传统的通过单一固定阈值判定数据库是否异常的方法存在无法精确预警、无法准确有效地反映数据库的运行变化情况的问题。
发明内容
基于此，有必要针对上述固定阈值无法准确有效地反映数据库的运行变化情况的技术问题，提供一种数据库异常检测方法、装置、计算机设备和存储介质。
一种数据库异常检测方法，所述方法包括：
获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
在其中一个实施例中，还包括：
将所述异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；所述第二监控值子序列包含有所述运行状态实际监控值；
确定所述第二监控值子序列相对于所述第一监控值子序列的均值差值，以及，确定所述第一监控值子序列的标准差；
当所述均值差值超出所述标准差时，则判定多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件。
在其中一个实施例中，所述确定所述第二监控值子序列相对于所述第一监控值子序列的均值差值，包括：
计算所述第一监控值子序列的的平均值，作为第一平均值，以及，计算所述第二监控值子序列的平均值，作为第二平均值；
计算所述第二平均值相对于所述第一平均值的差值，作为所述均值差值。
在其中一个实施例中，所述确定所述第一监控值子序列的标准差，包括：
计算所述第一监控值子序列中各个监控值相对于所述第一平均值的差值，作为序列差值；
计算所述序列差值的平方值之和，作为序列平方和，以及，计算所述序列平方和的均值，作为平方均值；
计算所述平方均值的算术平方根，作为所述第一监控值子序列的标准差。
在其中一个实施例中，所述获取所述数据库的异常监控值检测序列，包括：
将所述运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；
将所述运行状态实际监控值排列在所述运行状态历史预测值时间序列的最后一个监控值之后，构成所述异常监控值检测序列。
在其中一个实施例中，所述将所述异常监控值检测序列拆分为多条监控值子序列，包括：
确定所述异常监控值检测序列的多个拆分时间点；
根据所述拆分时间点将所述异常监控值检测序列拆分为多条所述监控值子序列。
在其中一个实施例中，还包括：
获取所述数据库的运行状态历史值；
基于预设的预测模型，根据所述运行状态历史值计算运行状态预测值；
获取多个所述运行状态预测值，形成所述运行状态历史预测值序列。
一种数据库异常检测装置，所述装置包括：
序列获取模块，用于获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
序列拆分模块，用于将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
异常判断模块，用于当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
上述数据库异常检测方法、装置、计算机设备和存储介质，通过将数据库的运行状态实际监控值与运行状态历史预测值序列构成异常监控值检测序列，进而对异常监控值检测序列进行分析，将其拆分为多条监控值子序列，其中，至少一条所述监控值子序列包含有所述运行状态实际监控值。最后根据多条所述监控值子序列的监控值波动幅度之间的差异是否符合设定条件，判定数据库的运行状态实际监控值是否异常，并进行异常预警。本方案通过对数据库的运行状态实际监控值进行实时异常检测，当发现异常时，及时进行预警，无需等到运行状态实际监控值达到固定的阈值时才发现异常，导致用户来不及处理的问题。并且本方案通过序列的波动程度进行异常判断，可解决只根据预测值对运行状态实际监控值进行异常判断的方法中，预测值不准确或异常，导致对运行状态实际监控值的异常判断失误，出现误报的问题。
附图说明
图1为一个实施例中数据库异常检测方法的应用场景图；
图2为一个实施例中数据库异常检测方法的原理示意图；
图3为一个实施例中数据库异常检测方法的流程示意图；
图4为一个实施例中数据库异常检测方法的实现流程图；
图5为一个实施例中异常检测的设计原理图；
图6为一个实施例中异常检测的模型结构图；
图7为一个实施例中异常检测的比较器结构原理图；
图8为一个实施例中基于数据分析的异常检测流程图；
图9为一个实施例中数据库异常检测装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据库异常检测方法，可以应用于如图1所示的应用环境中。其中，监控系统服务器102上部署有监控系统，该监控系统用于实现本申请的数据库异常检测方法，业务系统服务器104上部署有待检测的业务系统数据库。其中，监控服务器102通过网络与业务系统服务器104进行通信。其中，监控系统服务器102和业务系统服务器104都可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请的数据库异常检测方法，可以以图2的方法原理示意图对本申请的实现方案作进一步说明。其中，业务系统服务器104上可以部署多个业务系统数据库。其中，监控系统可对多个业务系统数据库进行异常检测。具体实现中，监控系统服务器102下发脚本给业务系统服务器104，由业务系统服务器104执行该脚本，生成原始监控数据。进而监控系统服务器102可采集该原始监控数据。由监控系统服务器102对原始监控数据进行处理(异常数据、重复数据的剔除、缺失值补充等)，得到规范化的监控数据，将该规范化监控数据导入监控系统数据库中，为对业务系统数据库异常检测作准备。当检测到业务系统数据库异常时，在监控系统客户端显示异常信息，以提示用户根据该异常信息对所检测的业务系统数据库进行异常处理工作。
在一个实施例中，如图3所示，提供了一种数据库异常检测方法，以该方法应用于图1中的监控系统服务器102为例进行说明，可以包括以下步骤：
步骤S302，获取数据库的异常监控值检测序列；异常监控值检测序列包括：数据库的运行状态历史预测值序列和运行状态实际监控值。
其中，运行状态实际监控值可以为所采集的业务系统数据库的运行状态的当前值，可用监控指标可以反映数据库的运行状态。具体地，监控指标可以为数据库CPU使用率、空间使用率、存储IO的带宽等。
其中，运行状态历史预测值表示对业务系统数据库的运行状态进行预测所得到的运行状态预测值的历史值。
其中，运行状态历史预测值序列可表示按照对运行状态监控值的采集时间先后顺序排列的时间序列。
具体实现中，监控系统服务器102从业务系统服务器104中采集业务系统数据库在运行过程中，所产生的运行状态监控值，作为运行状态原始监控数据，并将该原始监控数据存储在监控系统数据库中。并且，根据所采集到的历史监控数据进行预测，得到不同时间点的运行状态预测值，并将该运行状态预测值存储在监控系统数据库中。由监控系统服务器102从监控系统数据库中提取距离运行状态实际监控值的时间点最近的设定时间内的运行状态预测值，得到不同时间点对应的运行状态历史预测值，从而形成运行状态历史预测值序列。将该运行状态历史预测值序列与运行状态实际监控值按照时间顺序进行排列，构成异常监控值检测序列。
可选地，根据所采集的业务系统数据库运行状态历史值构建预测模型，采用该预测模型对业务系统数据库的运行状态进行预测，得到不同时间点的运行状态预测值，将该运行状态预测值存储在监控系统数据库中，当进行异常检测时，再从监控系统数据库中提取出来。
步骤S304，将异常监控值检测序列拆分为多条监控值子序列；至少一条监控值子序列包含有运行状态实际监控值。
具体实现中，监控系统服务器102在获得异常监控值检测序列后，首先确定对该异常监控值检测序列进行拆分的多个拆分时间点，从该多个拆分时间点处将异常监控值检测序列进行拆分，得到多条监控值子序列。其中，至少一条监控值子序列包含有数据库的运行状态实际监控值。
优选地，将异常监控值检测序列拆分为两个监控值子序列。首先确定拆分时间点，将小于该拆分时间点的序列作为第一序列，将大于该拆分时间点的序列作为第二序列。则第二序列包含有数据库的运行状态实际监控值。
步骤S306，当多条监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定运行状态实际监控值异常，并进行异常预警，以指示用户对数据库的异常进行处理。
其中，波动幅度用于反映一个序列的稳定性，波动幅度越大，说明该序列的稳定性越差。
具体实现中，在将异常监控值检测序列拆分为多条监控值子序列后，由监控系统服务器102比较各监控值子序列之间的差异，判定业务系统数据库的运行状态实际监控值是否异常。更具体地，将包含有数据库运行状态实际监控值的第二监控值子序列相对于第一监控值子序列的均值差值，与第一监控值子序列的标准差进行比较，当该均值差值超出该标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件，确定运行状态实际监控值异常，同时，可进行异常预警，以通知用户对业务系统数据库的异常进行处理，消除异常。反之，若该均值差值未超出该标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异不符合设定条件，则说明业务系统数据库的运行状态趋势正常，无需进行异常预警。
上述数据库异常检测方法中，通过将数据库的运行状态实际监控值与运行状态历史预测值序列构成异常监控值检测序列，进而对异常监控值检测序列进行分析，将其拆分为多条监控值子序列，其中，至少一条监控值子序列包含有运行状态实际监控值。最后根据多条监控值子序列的监控值波动幅度之间的差异是否符合设定条件，判定数据库的运行状态实际监控值是否异常，并进行异常预警。本方案通过对数据库的运行状态实际监控值进行实时异常检测，当发现异常时，及时进行预警，无需等到运行状态实际监控值达到固定的阈值时才发现异常，导致用户来不及处理的问题。并且本方案通过序列的波动程度进行异常判断，可解决只根据预测值对运行状态实际监控值进行异常判断的方法中，预测值不准确或异常，导致对运行状态实际监控值的异常判断失误，出现误报的问题。
在一个实施例中，上述方法还包括：将异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；第二监控值子序列包含有运行状态实际监控值；确定第二监控值子序列相对于第一监控值子序列的均值差值，以及，确定第一监控值子序列的标准差；当均值差值超出标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。
具体实现中，监控系统服务器102在将异常监控值检测序列拆分为两条监控值子序列后，首先计算包含有运行状态实际监控值的第二监控值子序列相对于第一监控值子序列的均值差值，并计算第一监控值子序列的标准差。将该均值差值与标准差进行比较，根据比较结果，判定判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。更具体地，当均值差值超出标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。
其中，确定第一监控值子序列标准差的方法为：首先计算第一监控值子序列中各个数值相对于第一监控值子序列的平均值的差值，记为序列差值；然后计算该序列差值的平方值之和，得到序列平方和，并计算该序列平方和的均值，作为平方均值；最后计算该平方均值的算术平方根，作为第一监控值子序列的标准差。
实际应用中，可通过比较第二监控值子序列的均值差值是否大于第一监控值子序列的标准差的设定倍数，进行判定多条监控值子序列的监控值波动幅度之间的差异是否符合设定条件。
本实施例中，通过比较包含有运行状态实际监控值的第二监控值子序列的均值差值和第一监控值子序列的波动幅度差异，进而对数据库是否异常进行判断。该方法可提高对业务系统数据库运行状态实际监控值是否异常的判断结果的准确度，避免只根据预测值判断运行状态实际监控值异常情况的传统方法中，预测值不准确或异常导致对业务系统数据库的运行状态实际监控值是否异常判断错误，出现误报的问题。
在一个实施例中，上述确定第二监控值子序列相对于第一监控值子序列的均值差值，包括：计算第一监控值子序列的的平均值，作为第一平均值，以及，计算第二监控值子序列的平均值，作为第二平均值；计算第二平均值相对于第一平均值的差值，作为均值差值。
具体实现中，监控系统服务器102计算监控值子序列的步骤为:首先计算监控值子序列中各个监控值之和，进而用所得到的数值之和除以该监控值子序列中数值的总数，从而得到该监控值子序列的平均值。将第一监控值子序列的均值，作为第一平均值，将包含有运行状态实际监控值的子序列的均值，作为第二平均值，用第二平均值减去第一平均值，所得到的差值，即为均值差值。
本实施例中，通过确定第一监控值子序列和第二监控值子序列的均值差值，便于根据该均值差值对多条监控值子序列的监控值波动幅度之间的差异是否符合设定条件进行判断，进而根据判断结果确定业务系统数据库的异常情况。
在一个实施例中，确定第一监控值子序列的标准差，包括：计算第一监控值子序列中各个监控值相对于第一平均值的差值，作为序列差值；计算序列差值的平方值之和，作为序列平方和，以及，计算序列平方和的均值，作为平方均值；计算平方均值的算术平方根，作为第一监控值子序列的标准差。
本实施例中，通过确定第一监控值子序列的标准差，便于根据该标准差对多条监控值子序列的监控值波动幅度之间的差异是否符合设定条件进行判断，进而根据判断结果确定业务系统数据库的异常情况。
在一个实施例中，上述获取数据库的异常监控值检测序列，包括：将运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；将运行状态实际监控值排列在运行状态历史预测值时间序列的最后一个监控值之后，构成异常监控值检测序列。
具体实现中，监控系统服务器102在对业务系统数据库的运行状态进行预测时，同时将得到的运行状态预测值进行预测时间标记。在获取运行状态历史预测值序列后，根据该预测时间将该运行状态历史预测值序列按照时间先后顺序进行排列，得到一个运行状态历史预测值的时间序列，并将获取的运行状态实际监控值排列在该时间序列的最后一个监控值之后，将得到的序列作为异常监控值检测序列。
本实施例中，通过将运行状态历史预测值序列按照预测时间的先后顺序进行排列，可以反映数据库的运行状态的趋势，便于之后对拆分的子序列波动程度的差异进行判断。
在一个实施例中，上述将异常监控值检测序列拆分为多条监控值子序列，包括：确定异常监控值检测序列的多个拆分时间点；根据拆分时间点将异常监控值检测序列拆分为多条监控值子序列。
具体实现中，在采集业务系统数据库的运行状态监控值时，该运行状态监控值携带有采集时间戳。监控系统服务器102在获取异常监控值检测序列后，首先确定对该异常监控值检测序列进行拆分的多个拆分时间点，根据该拆分时间点将异常监控值检测序列拆分为多条监控值子序列。
优选地，首先确定一个拆分时间点，将该异常监控值检测序列拆分为两个监控值子序列，将采集时间戳大于该拆分时间点的监控值形成的序列作为第一监控值子序列，将采集时间戳大于该拆分时间点的监控值形成的序列作为第二监控值子序列，则第二监控值子序列包含有数据库的运行状态实际监控值。
例如，异常监控值检测序列为1,2,3,4,5,6,7,30，其中，数值30表示运行状态实际监控值，1,2,3,4,5,6,7表示运行状态历史预测值序列。则可将该运行状态历史预测值序列拆分为e1＝(1,2,3,4)和e2＝(5,6,7,30)两个监控值子序列，将e1作为第一监控值子序列，e2作为第二监控值子序列。
本实施例中，通过确定异常监控值检测序列的拆分时间点，便于根据该拆分时间点对异常监控值检测序列进行拆分，得到多条监控值子序列，便于通过比较多条监控值子序列的波动幅度差异，从而根据比较结果，判断业务系统数据库是否异常，以及时通知用户介入，为用户提供充足的时间进行处理，避免故障的发生。
在一个实施例中，上述方法还包括：获取数据库的运行状态历史值；基于预设的预测模型，根据运行状态历史值计算运行状态预测值；获取多个运行状态预测值，形成运行状态历史预测值序列。
具体实现中，监控系统服务器102从业务系统服务器104中获取业务系统数据库的运行状态历史值，并将该运行状态历史值存储在监控系统数据库中。根据该运行状态历史值构建预测模型，并采用预测模型对业务系统数据库的运行状态值进行预测，得到运行状态预测值，将该运行状态预测值存储在监控系统数据库中。在对业务系统数据库的运行状态监控值的异常情况进行判定时，从监控系统数据库中提取出该运行状态实际监控值对应的时间节点之前，设定时间内的运行状态历史预测值，形成历史运行状态预测值序列。
本实施例中，通过将运行状态预测值进行存储至监控系统数据库中，当进行异常检测时，从监控系统数据库中提取运行状态历史预测值，形成运行状态历史预测值序列，便于异常监控值检测序列的构建，从而可根据异常监控值检测序列对业务系统数据库的运行状态实际监控值的异常情况进行判定。
为了更好地理解上述方法，以下将对本申请的数据库异常检测方法进行详细阐述。
参考图4，示出了一个本申请的方案实现流程图，本申请主要由数据采集、数据处理、数据入库、数据分析、数据展示五个模块组成，其中，
数据采集模块，包括编写采集脚本，上传脚本，下发脚本，执行脚本，生成监控数据文件，传输监控数据文件六个步骤。首先用户按规范编写好采集监控数据的脚本，然后上传到监控系统服务器，再通过监控系统服务器下发脚本的各业务系统数据库服务器，然后通过监控系统服务器定时触发各业务系统数据库执行脚本，脚本执行完后将自动生成带有时间戳的监控数据文件，监控数据文件使用csv文件保存，最后将监控数据文件传输到监控系统服务器进行进一步数据处理。
其中，从各业务系统数据库采集的数据包括：
主机部分：CPU、内存、IO、SWAP，文件系统空间，TOP进程等运行信息。
数据库部分：会话、进程、TOP event、TOP Sql、DBtime、逻辑读、物理读、Sql响应时间、事务响应时间、备份状态、数据同步状态、表空间分配使用、归档日志空间使用、数据库内存分配使用、数据库集群、数据库实例和数据库运行日志等运行信息。
数据处理模块，用于在监控数据文件传输到监控系统服务器后，对其进行完整性检查，检查文件是否缺失，是否损坏、文件格式是否一致，数据是否完整，并针对异常做对应的处理，对处理后符合规范的指标数据文件导入数据库，为数据分析模块提供数据。
数据库模块，用于存储历史数据、实时数据、根据历史数据构造的建模数据和预测数据，为数据分析模块提供数据和保存过程数据。
数据分析模块，用于从数据库里面获取历史监控指标数据，通过数据预处理，得到有效的准确的数据，然后通过特征工程模块构建建模使用的特征，再选择合适的预测算法对构造出来的特征数据进行建模，经过模型评估最后得到可靠的预测模型。当有新的实时监控数据入库时，先生成可以用来预测的特征，然后利用前面得到的预测模型对其进行预测，再将预测的结果和实际值进行比较，如果预测值和实际值不符合，即视为异常，最后将异常报告输出到数据展示模块。
数据展示模块，用于将异常检测的结果展示给用户。
如图5所示，提供了一个异常检测的设计原理示意图，包括：比较器和与预测器两部分。其中，Xt为实时实际值，经过预测器预测得到一个预测值Pt，然后把实际值Xt和预测值Pt输入到比较器进行比较，通过比较判断得到布尔值Yt，即Yt输出为0为异常，1为正常。
如图6所示，提供了一个异常检测模型的结构图，应用上述数据库异常检测方法的实时异常检测流程可以包括如下几个步骤：
1.从数据库中获取最新的监控数据，包括指标属性和值。
2.将监控数据指标属性转换成预测模型的特征。
3.分别采用Holt-Winters和LSTM模型对传进来的特征进行预测，预测结果输出到异常判断模块。
4.异常判断
将预测值和实际值进行比较，来判断实际值是否异常。
为了提高判断结果的准确度，在离散度过滤器的基础上，可增加一个阈值过滤器进行比较判断，如图7所示，只有当两个过滤器都认为运行状态实际监控值异常时，才进行报警。
其中，阈值过滤器可根据误差绝对值是否超过某个阈值过滤出可能的异常点。阈值过滤器设计了一个分段阈值函数y＝f(x)，对于实际值x和预测值p，只有当|x-p|>f(x)时报警。
通过增加阈值过滤器，对数据库的运行状态实际监控值进行第二次判断，从而，进一步提高对数据库异常判断的准确程度。
在一个实施例中，提供了一个数据分析的异常检测流程图，如图8所示，该异常检测流程分为离线模型训练流程和实时异常检测流程两个子流程。
其中，离线模型训练流程主要包括如下步骤：
1.从数据库里面取最近一个月的监控历史数据。
2.对历史数据进行预处理。
异常值剔除：在各业务系统正常运行时，各监控指标数据基本平稳，服从或近似正态分布，所以采用3σ准则对异常值(即出现概率为0.003的值)进行剔除，然后使用牛顿插值法进行填补。
3σ算法：
p(|x-u|>3σ)≤0.003
牛顿插值算法：
Ln(x)＝f(x0)+f[x0,x1]w1(x)+…+f[x0,x1…xn]wn(x)
wn(x)＝(x-x0)(x-x1)…(x-xn-1)
缺失值补全：同样使用牛顿插值法补全。
数据标准化：主要有两种，z-score和min-max。
其中，z-score，用于最大值和最小值不确定的情况，将每一项指标数据减去其均值μ，然后除以其方差σ。最终使得指标数据都聚集在0附近，方差值为1。
Figure BDA0002317833780000141
其中，min-max，用于最小值和最大值相差比较大的情况，将指标数据通过min-max标准化映射成在区间[0,1]中，其公式为:新数据＝(原数据-最小值)/(最大值-最小值)。
Figure BDA0002317833780000142
3.根据指标属性构造建模使用的特征属性。
其中，原始特征，表示把指标直接用来作为建模的特征。
其中，统计特征，表示使用统计方法如通过求和，差值运算等构造新的特征。
如：
sum＝xt1+xt2+…+xtn
diff＝xtn-xtn-1
其中，拟合特征，通过多个指标拟合成一个新的特征。如通过指标x,y拟合成一个新的特征z。
z＝ay+bx+c
4.模型构建，构建预测模型。结合监控数据时序的规律特点，本申请主要采用Holt-Winters和LSTM两种算法。
其中，Holt-Winters季节性方法包括预测方程和三个平滑方程(一个用于水平lt，一个用于趋势bt，另一个用于季节性分量st)，相应的平滑参数分别为α，β*和γ。可用m来表示季节频率，即一年中包含的季节数。例如，季度数据的m＝4，月度数据的m＝12。该方法有两种不同的季节性组成部分。当季节变化在该时间序列中大致保持不变时，通常选择加法模型；而当季节变化与时间序列的水平成比例变化时，通常选择乘法模型。在加法模型中，季节性分量在观测序列的尺度上以绝对值表示，在水平方程中，时间序列通过减去季节分量进行季节性调整，并且每年的季节性分量加起来大约为零。在乘法模型中，季节性分量用相对数(百分比)表示，时间序列通过除以季节性分量来进行季节性调整，并且每年的季节性分量加起来约为m。结合实际情况，本申请使用Holt-Winters的乘法模型。
Holt-Winters的乘法模型可表示为：
Figure BDA0002317833780000151
Figure BDA0002317833780000152
bt＝β*(lt-lt-1)+(1-β*)bt-1
Figure BDA0002317833780000153
其中，长短时记忆模型(long short term memory networks，LSTM)是一种时间递归神经网络，是RNN的一个变种，非常适合处理和预测时间序列中间隔和延迟非常长的事件。
5.模型评估
采用F1-score对模型进行可靠性评估，其中，F1-score是精确率和召回率的调和平均数，最大为1，最小为0，F1-score越接近1，说明模型越可靠。
计算过程:
(1)首先定义以下几个概念：
TP(True Positive)：预测答案正确
FP(False Positive)：错将其他类预测为本类
FN(False Negative)：本类标签预测为其他类标
(2)通过第一步的统计值计算每个类别下的precision和recall
精准度/查准率(precision)：表示被分类器判定正例中的正样本的比重，可用下式表示：
Figure BDA0002317833780000161
召回率/查全率(recall)：表示被预测为正例的占总的正例的比重。
Figure BDA0002317833780000162
准确率(accuracy)：表示分类器对整个样本判断正确的比重。
Figure BDA0002317833780000163
计算每个类别下的F1-score：
Figure BDA0002317833780000164
对各个类别下的F1-score求均值，得到最后的评测结果，计算方式如下：
Figure BDA0002317833780000165
在采用上述Holt-Winters和LSTM预测结果后，可采用加权投票方法对预测结果进行综合判断：
Figure BDA0002317833780000166
其中，ai表示各模型权重，取值0～1；Pi表示各模型异常检测结果，取值0或1；P表示综合预测结果，如果P<0.5，则预测正常，否则异常。
其中，权重处理方法为：
情形1：存在得分大于0.5的模型的条件下，若某个模型的训练集得分小于0.5，则对应的的权重置为0。
情形2：若所有模型的得分小于0.5，则取4个模型中得分最高的作为预测模型，对应的其他模型的权重置为0。
通过综合两种预测方式的预测结果，有效地提高了预测的稳定性和可靠性。
应该理解的是，虽然图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种数据库异常检测装置，包括：序列获取模块902、序列拆分模块904和异常判断模块906，其中：
序列获取模块902，用于获取数据库的异常监控值检测序列；异常监控值检测序列包括：数据库的运行状态历史预测值序列和运行状态实际监控值。
序列拆分模块904，用于将异常监控值检测序列拆分为多条监控值子序列；至少一条监控值子序列包含有运行状态实际监控值。
异常判断模块906，用于当多条监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定运行状态实际监控值异常，并进行异常预警，以指示用户对数据库的异常进行处理。
在一个实施例中，还包括：
序列拆分子模块，用于将异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；第二监控值子序列包含有运行状态实际监控值；
数值确定模块，用于确定第二监控值子序列相对于第一监控值子序列的均值差值，以及，确定第一监控值子序列的标准差；
条件判断模块，用于当均值差值超出标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。
在一个实施例中，上述数值确定模块，具体用于：计算第一监控值子序列的的平均值，作为第一平均值，以及，计算第二监控值子序列的平均值，作为第二平均值；计算第二平均值相对于第一平均值的差值，作为均值差值。
在一个实施例中，上述数值确定模块，还用于：计算第一监控值子序列中各个监控值相对于第一平均值的差值，作为序列差值；计算序列差值的平方值之和，作为序列平方和，以及，计算序列平方和的均值，作为平方均值；计算平方均值的算术平方根，作为第一监控值子序列的标准差。
在一个实施例中，上述序列获取模块902，具体用于：将运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；将运行状态实际监控值排列在运行状态历史预测值时间序列的最后一个监控值之后，构成异常监控值检测序列。
在一个实施例中，上述序列拆分模块904，具体用于确定异常监控值检测序列的多个拆分时间点；根据拆分时间点将异常监控值检测序列拆分为多条监控值子序列。
在一个实施例中，上述序列获取模块902，还用于：获取数据库的运行状态历史值；基于预设的预测模型，根据运行状态历史值计算运行状态预测值；获取多个运行状态预测值，形成运行状态历史预测值序列。
需要说明的是，本申请的数据库异常检测装置与本申请的数据库异常检测方法一一对应，在上述数据库异常检测方法的实施例阐述的技术特征及其有益效果均适用于数据库异常检测装置的实施例中，具体内容可参见本申请方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述数据库异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种XXX方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取数据库的异常监控值检测序列；异常监控值检测序列包括：数据库的运行状态历史预测值序列和运行状态实际监控值；
将异常监控值检测序列拆分为多条监控值子序列；至少一条监控值子序列包含有运行状态实际监控值；
当多条监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定运行状态实际监控值异常，并进行异常预警，以指示用户对数据库的异常进行处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；第二监控值子序列包含有运行状态实际监控值；确定第二监控值子序列相对于第一监控值子序列的均值差值，以及，确定第一监控值子序列的标准差；当均值差值超出标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算第一监控值子序列的的平均值，作为第一平均值，以及，计算第二监控值子序列的平均值，作为第二平均值；计算第二平均值相对于第一平均值的差值，作为均值差值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算第一监控值子序列中各个监控值相对于第一平均值的差值，作为序列差值；计算序列差值的平方值之和，作为序列平方和，以及，计算序列平方和的均值，作为平方均值；计算平方均值的算术平方根，作为第一监控值子序列的标准差。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；将运行状态实际监控值排列在运行状态历史预测值时间序列的最后一个监控值之后，构成异常监控值检测序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定异常监控值检测序列的多个拆分时间点；根据拆分时间点将异常监控值检测序列拆分为多条监控值子序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取数据库的运行状态历史值；基于预设的预测模型，根据运行状态历史值计算运行状态预测值；获取多个运行状态预测值，形成运行状态历史预测值序列。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取数据库的异常监控值检测序列；异常监控值检测序列包括：数据库的运行状态历史预测值序列和运行状态实际监控值；
将异常监控值检测序列拆分为多条监控值子序列；至少一条监控值子序列包含有运行状态实际监控值；
当多条监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定运行状态实际监控值异常，并进行异常预警，以指示用户对数据库的异常进行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；第二监控值子序列包含有运行状态实际监控值；确定第二监控值子序列相对于第一监控值子序列的均值差值，以及，确定第一监控值子序列的标准差；当均值差值超出标准差时，则判定多条监控值子序列的监控值波动幅度之间的差异符合设定条件。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算第一监控值子序列的的平均值，作为第一平均值，以及，计算第二监控值子序列的平均值，作为第二平均值；计算第二平均值相对于第一平均值的差值，作为均值差值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算第一监控值子序列中各个监控值相对于第一平均值的差值，作为序列差值；计算序列差值的平方值之和，作为序列平方和，以及，计算序列平方和的均值，作为平方均值；计算平方均值的算术平方根，作为第一监控值子序列的标准差。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；将运行状态实际监控值排列在运行状态历史预测值时间序列的最后一个监控值之后，构成异常监控值检测序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定异常监控值检测序列的多个拆分时间点；根据拆分时间点将异常监控值检测序列拆分为多条监控值子序列。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取数据库的运行状态历史值；基于预设的预测模型，根据运行状态历史值计算运行状态预测值；获取多个运行状态预测值，形成运行状态历史预测值序列。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据库异常检测方法，其特征在于，所述方法包括：
获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述异常监控值检测序列拆分为第一监控值子序列和第二监控值子序列；所述第二监控值子序列包含有所述运行状态实际监控值；
确定所述第二监控值子序列相对于所述第一监控值子序列的均值差值，以及，确定所述第一监控值子序列的标准差；
当所述均值差值超出所述标准差时，则判定多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第二监控值子序列相对于所述第一监控值子序列的均值差值，包括：
计算所述第一监控值子序列的的平均值，作为第一平均值，以及，计算所述第二监控值子序列的平均值，作为第二平均值；
计算所述第二平均值相对于所述第一平均值的差值，作为所述均值差值。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第一监控值子序列的标准差，包括：
计算所述第一监控值子序列中各个监控值相对于所述第一平均值的差值，作为序列差值；
计算所述序列差值的平方值之和，作为序列平方和，以及，计算所述序列平方和的均值，作为平方均值；
计算所述平方均值的算术平方根，作为所述第一监控值子序列的标准差。
5.根据权利要求1所述的方法，其特征在于，所述获取所述数据库的异常监控值检测序列，包括：
将所述运行状态历史预测值序列按照预测时间的先后顺序进行排列，形成运行状态历史预测值时间序列；
将所述运行状态实际监控值排列在所述运行状态历史预测值时间序列的最后一个监控值之后，构成所述异常监控值检测序列。
6.根据权利要求1所述的方法，其特征在于，所述将所述异常监控值检测序列拆分为多条监控值子序列，包括：
确定所述异常监控值检测序列的多个拆分时间点；
根据所述拆分时间点将所述异常监控值检测序列拆分为多条所述监控值子序列。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述数据库的运行状态历史值；
基于预设的预测模型，根据所述运行状态历史值计算运行状态预测值；
获取多个所述运行状态预测值，形成所述运行状态历史预测值序列。
8.一种数据库异常检测装置，其特征在于，所述装置包括：
序列获取模块，用于获取所述数据库的异常监控值检测序列；所述异常监控值检测序列包括：所述数据库的运行状态历史预测值序列和运行状态实际监控值；
序列拆分模块，用于将所述异常监控值检测序列拆分为多条监控值子序列；至少一条所述监控值子序列包含有所述运行状态实际监控值；
异常判断模块，用于当多条所述监控值子序列的监控值波动幅度之间的差异符合设定条件时，则判定所述运行状态实际监控值异常，并进行异常预警，以指示用户对所述数据库的异常进行处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911285381.1A 2019-12-13 2019-12-13 数据库异常检测方法、装置、计算机设备和存储介质 Active CN111045894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911285381.1A CN111045894B (zh) 2019-12-13 2019-12-13 数据库异常检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911285381.1A CN111045894B (zh) 2019-12-13 2019-12-13 数据库异常检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111045894A true CN111045894A (zh) 2020-04-21
CN111045894B CN111045894B (zh) 2024-02-13

Family

ID=70236289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911285381.1A Active CN111045894B (zh) 2019-12-13 2019-12-13 数据库异常检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111045894B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832615A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于前景背景特征融合的样本扩充方法及系统
CN112101468A (zh) * 2020-09-18 2020-12-18 刘吉耘 一种在序列组合中判定异常序列的方法
CN112308126A (zh) * 2020-10-27 2021-02-02 深圳前海微众银行股份有限公司 故障识别模型训练方法、故障识别方法、装置及电子设备
CN113064834A (zh) * 2021-04-22 2021-07-02 中国工商银行股份有限公司 异常检测方法、装置、电子设备、介质和程序产品
CN113687609A (zh) * 2021-07-21 2021-11-23 浙江微科机电有限公司 应用于异常环境下的物联网智能监测系统及监测方法
CN113934573A (zh) * 2021-09-17 2022-01-14 南方电网深圳数字电网研究院有限公司 一种内存数据库的数据恢复方法及装置
CN114091930A (zh) * 2021-11-25 2022-02-25 深圳前海微众银行股份有限公司 业务指标预警方法、装置、电子设备和存储介质
CN114626487A (zh) * 2022-05-16 2022-06-14 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN115858303A (zh) * 2022-12-24 2023-03-28 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005098828A (ja) * 2003-09-25 2005-04-14 Jfe Steel Kk 回転速度検出器のオンライン状態監視方法及び装置
CN107341444A (zh) * 2017-06-07 2017-11-10 北京星网锐捷网络技术有限公司 数据异常预警方法及装置
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN109615226A (zh) * 2018-12-12 2019-04-12 焦点科技股份有限公司 一种运营指标异常监测方法
CN110008096A (zh) * 2018-11-29 2019-07-12 阿里巴巴集团控股有限公司 数据监测方法、装置、电子设备及计算机可读存储介质
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005098828A (ja) * 2003-09-25 2005-04-14 Jfe Steel Kk 回転速度検出器のオンライン状態監視方法及び装置
CN107341444A (zh) * 2017-06-07 2017-11-10 北京星网锐捷网络技术有限公司 数据异常预警方法及装置
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110008096A (zh) * 2018-11-29 2019-07-12 阿里巴巴集团控股有限公司 数据监测方法、装置、电子设备及计算机可读存储介质
CN109615226A (zh) * 2018-12-12 2019-04-12 焦点科技股份有限公司 一种运营指标异常监测方法
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHSIN MUNIR ET AL: "DeepAnT A Deep Learning Approach for Unsupervised Anomaly Detection in Time Series" *
韩亚爽: "桥梁结构健康监测海量数据预处理与挖掘分析" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832615A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于前景背景特征融合的样本扩充方法及系统
CN112101468A (zh) * 2020-09-18 2020-12-18 刘吉耘 一种在序列组合中判定异常序列的方法
CN112101468B (zh) * 2020-09-18 2024-04-16 刘吉耘 一种在序列组合中判定异常序列的方法
CN112308126A (zh) * 2020-10-27 2021-02-02 深圳前海微众银行股份有限公司 故障识别模型训练方法、故障识别方法、装置及电子设备
CN113064834B (zh) * 2021-04-22 2022-08-05 中国工商银行股份有限公司 异常检测方法、装置、电子设备、介质
CN113064834A (zh) * 2021-04-22 2021-07-02 中国工商银行股份有限公司 异常检测方法、装置、电子设备、介质和程序产品
CN113687609A (zh) * 2021-07-21 2021-11-23 浙江微科机电有限公司 应用于异常环境下的物联网智能监测系统及监测方法
CN113934573A (zh) * 2021-09-17 2022-01-14 南方电网深圳数字电网研究院有限公司 一种内存数据库的数据恢复方法及装置
CN114091930A (zh) * 2021-11-25 2022-02-25 深圳前海微众银行股份有限公司 业务指标预警方法、装置、电子设备和存储介质
CN114626487B (zh) * 2022-05-16 2023-09-05 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN114626487A (zh) * 2022-05-16 2022-06-14 南昌工程学院 基于随机森林分类算法的线变关系校核方法
CN115858303A (zh) * 2022-12-24 2023-03-28 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统
CN115858303B (zh) * 2022-12-24 2023-08-22 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统

Also Published As

Publication number Publication date
CN111045894B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
US20190228296A1 (en) Significant events identifier for outlier root cause investigation
CN106951984B (zh) 一种系统健康度动态分析预测方法及装置
US9600394B2 (en) Stateful detection of anomalous events in virtual machines
CN105677538B (zh) 一种基于故障预测的云计算系统自适应监测方法
US9720823B2 (en) Free memory trending for detecting out-of-memory events in virtual machines
US8078913B2 (en) Automated identification of performance crisis
US20080140362A1 (en) Method and apparatus for predicting remaining useful life for a computer system
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
CN111459700A (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN110400005B (zh) 业务指标的时间序列预测方法、装置及设备
CA2471013A1 (en) Method and system for analyzing and predicting the behavior of systems
CN113010389A (zh) 一种训练方法、故障预测方法、相关装置及设备
CN111314173A (zh) 监控信息异常的定位方法、装置、计算机设备及存储介质
US7617313B1 (en) Metric transport and database load
CN108009063B (zh) 一种电子设备故障阈值检测的方法
Chouliaras et al. Real-time anomaly detection of NoSQL systems based on resource usage monitoring
CN113268403A (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN113949652B (zh) 基于人工智能的用户异常行为检测方法、装置及相关设备
KR101960755B1 (ko) 미취득 전력 데이터 생성 방법 및 장치
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
CN110413482B (zh) 检测方法和装置
US20230267029A1 (en) Operation management system, operation management method, and storage medium
JP7062505B2 (ja) 設備管理支援システム
CN114676021A (zh) 作业日志监控方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant