CN114610561A - 系统监测方法、装置、电子设备及计算机可读存储介质 - Google Patents
系统监测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114610561A CN114610561A CN202110955202.1A CN202110955202A CN114610561A CN 114610561 A CN114610561 A CN 114610561A CN 202110955202 A CN202110955202 A CN 202110955202A CN 114610561 A CN114610561 A CN 114610561A
- Authority
- CN
- China
- Prior art keywords
- target
- basic data
- data
- mapper
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/328—Computer systems status display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种系统监测方法、装置、电子设备及计算机可读存储介质,涉及网络运维技术领域。该方法包括:获取运维系统的目标基础数据以及目标基础数据的目标数据类型;根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的;根据目标基础数据以及目标阈值区间,确定运维系统监测结果。本申请实施例提高了运维系统监测结果的准确率。
Description
技术领域
本申请涉及网络运维技术领域,具体而言,本申请涉及一种系统监测方法、装置、电子设备及计算机可读存储介质。
背景技术
在网络的基础设施建设完成之后,整个网络处于运行状态,IT(InternetTechnology,互联网技术)部门采用相关的管理方法对运行环境(包括物理网络,软硬件环境等)、业务系统等进行维护管理,这种IT管理的工作简称为IT运维管理。其主要包括对网络设备、服务器设备、操作系统运行状况进行监控,对企业自身核心业务系统运行情况的监控与管理等。
IT运维管理通过采集网络设备或业务系统的运行指标数据进行运维管理;现有技术中的运维系统,通常采用静态阈值检测方式来对所采集的上述运行指标数据进行监测和管理,如果阈值设置不合理,常会导致故障漏报或误报,影响运维系统监测结果的准确率。
发明内容
本申请提供了一种系统监测的方法、装置、电子设备及计算机可读存储介质,用于解决运维系统监测结果不准确的技术问题。
根据本申请的第一方面,提供了一种系统监测方法,该方法包括:
获取运维系统的目标基础数据以及目标基础数据的目标数据类型;
根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的;
根据目标基础数据以及目标阈值区间,确定运维系统监测结果。
在一个可能的实现方式中,上述获取运维系统的目标基础数据以及目标基础数据的目标数据类型,包括:
采集运维系统的目标基础数据;
对目标基础数据进行分类,得到目标基础数据的目标数据类型。
在一个可能的实现方式中,上述预设映射器是基于如下方式训练得到的:
确定目标数据类型对应的初始映射器,获取运维系统的历史基础数据;
根据历史基础数据,对初始映射器进行数据训练,得到预设映射器。
在另一个可能的实现方式中,上述确定目标数据类型对应的初始映射器,包括:
确定目标数据类型对应的比较条件和基础映射器;
若目标基础数据满足比较条件,将基础映射器作为初始映射器;
若目标基础数据不满足比较条件,获取历史基础数据的阈值标签,基于历史基础数据和阈值标签确定初始映射器。
在另一个可能的实现方式中,上述基于历史基础数据和阈值标签确定初始映射器,包括:
获取目标数据类型所对应的候选映射器集合;
分别基于候选映射器集合中的每一候选映射器,确定历史基础数据对应的输出阈值集合;
从输出阈值集合中选取与阈值标签相匹配的输出阈值作为初始阈值;
确定初始阈值对应的候选映射器为初始映射器。
在又一个可能的实现方式中,上述获取历史基础数据的阈值标签,包括:
提取历史基础数据的数据特征;
基于数据特征对历史基础数据进行分类,得到历史基础数据的特征类别;
基于特征类别确定历史基础数据的阈值标签。
在又一个可能的实现方式中,上述根据目标基础数据以及目标阈值区间,确定运维系统监测结果,包括:
当目标基础数据超出目标阈值区间的范围,则运维系统监测结果为运维系统异常运行;
基于运维系统监测结果发送报警信息到指定的终端。
根据本申请的第二方面,提供了一种系统监测装置,该装置包括:
获取模块,用于获取运维系统的目标基础数据以及目标基础数据的目标数据类型;
映射模块,用于根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的;
监测模块,用于根据目标基础数据以及目标阈值区间,确定运维系统监测结果。
在一个可能的实现方式中,上述获取模块,具体用于:
采集运维系统的目标基础数据;
对目标基础数据进行分类,得到目标基础数据的目标数据类型。
在一个可能的实现方式中,上述系统监测装置还包括训练模块,具体包括:
确定单元,用于确定目标数据类型对应的初始映射器,获取运维系统的历史基础数据;
训练单元,用于根据历史基础数据,对初始映射器进行数据训练,得到预设映射器。
在另一个可能的实现方式中,上述确定单元,具体用于:
确定目标数据类型对应的比较条件和基础映射器;
若目标基础数据满足比较条件,将基础映射器作为初始映射器;
若目标基础数据不满足比较条件,获取历史基础数据的阈值标签,基于历史基础数据和阈值标签确定初始映射器。
在另一个可能的实现方式中,上述确定单元,还用于:
获取目标数据类型所对应的候选映射器集合;
分别基于候选映射器集合中的每一候选映射器,确定历史基础数据对应的输出阈值集合;
从输出阈值集合中选取与阈值标签相匹配的输出阈值作为初始阈值;
确定初始阈值对应的候选映射器为初始映射器。
在又一个可能的实现方式中,上述确定单元,还用于:
提取历史基础数据的数据特征;
基于数据特征对历史基础数据进行分类,得到历史基础数据的特征类别;
基于特征类别确定历史基础数据的阈值标签。
在又一个可能的实现方式中,上述监测模块,具体用于:
当目标基础数据超出目标阈值区间的范围,则运维系统监测结果为运维系统异常运行;
基于运维系统监测结果发送报警信息到指定的终端。
根据本申请的第三方面,提供了一种电子设备,该电子设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本申请第一方面所示的系统监测方法。
根据本申请的第四方面,提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现本申请第一方面所示的系统监测的方法。
根据本申请的第五方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面的各种可选实现方式中提供的方法。
本申请提供的技术方案带来的有益效果是:
本申请实施例基于目标基础数据的目标数据类型确定预设映射器,使得预设映射器表征的基础数据和阈值区间之间的映射关系与目标基础数据更加匹配;由于目标基础数据是不断变化的,当目标基础数据发生改变,所对应的目标阈值区间也随之动态改变,故最终得到的运维系统监测结果也更加准确。相比于现有技术中,采用固定的静态阈值监测的方式进行监测和管理,本申请实施例基于随目标基础数据动态改变的目标阈值区间来进行系统监测,有效提升了运维系统检测结果的准确率,避免了故障漏报或误报的情况发生,提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种系统监测方法的应用场景图;
图2为本申请实施例提供的一种系统监测方法的流程示意图;
图3为本申请实施例提供的一种系统监测方法中确认初始映射器的流程示意图;
图4为本申请实施例提供的一种系统监测方法中确认初始映射器的另一流程示意图;
图5为本申请实施例提供的一种系统监测方法中周期型数据的时域变化图;
图6为本申请实施例提供的一种系统监测方法中平稳型数据的时域变化图;
图7为本申请实施例提供的一种系统监测方法中非周期型数据的时域变化图;
图8为本申请实施例提供的一种系统监测方法中非周期型数据的上下界即阈值的时域变化图;
图9为本申请实施例提供的一个示例中的系统监测方法的流程示意图;
图10为本申请实施例提供的一种系统监测装置的结构示意图;
图11为本申请实施例提供的一种系统监测电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在网络的基础设施建设完成之后,整个网络处于运行状态,IT(InternetTechnology,互联网技术)部门采用相关的管理方法对运行环境(包括物理网络,软硬件环境等)、业务系统等进行维护管理,这种IT管理的工作简称为IT运维管理。其主要包括对网络设备、服务器设备、操作系统运行状况进行监控,对企业自身核心业务系统运行情况的监控与管理等。
IT运维管理是时下IT界最热门的话题之一,随着IT建设的不断深入和完善,计算机硬软件系统的运行维护已经成为了各行各业各单位领导和信息服务部门普遍关注和不堪重负的问题。由于这是一个随着计算机信息技术的深入应用而产生的新课题,因此如何进行有效的IT运维管理,这方面的知识积累和应用技术还刚刚起步。对这一领域的研究和探索,将具有广阔的发展前景和巨大的现实意义。
IT运维监控(也称:IT综合管理系统)是一系列IT管理产品的统称,它所包含的产品功能强大、易于使用、解决方案齐全,可一站式满足用户的各种IT管理需求。IT运维监控具有性能稳定、用户界面友好、跨平台、易实施、易集成等特点,可极大地简化IT设施和业务系统的监控管理、提高用户的IT管理效率、通过故障预警和快速定位,确保用户的网络设备和业务系统的正常运行,特别适合于电信、电力、教育、服务机构、金融/银行、医疗、交通、政府等众多行业客户。越来越多的客户都在考虑或采纳业务集中的方案。
IT运维监控通过采集网络设备或业务系统的运行指标数据进行运维管理;现有技术中的IT运维监控系统,通常采用静态阈值检测方式来对所采集的上述运行指标数据进行监测和管理,如果阈值设置不合理,常会导致故障漏报或误报,影响运维系统监测结果的准确率。
本申请提供的系统监测方法、装置、电子设备和计算机可读存储介质,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
如图1所示,本申请的系统监测方法,可以应用于图1所示的场景中,具体的,服务器102在获取到运维系统101的目标基础数据和目标基础数据的目标数据类型之后,通过与目标数据类型对应的预设映射器确定目标阈值区间,进而基于目标阈值区间以及目标基础数据确定运维系统监测结果并将该监测结果发送到客户端103,提高运维人员对运维系统101的管控效率。
图1所示的场景中,上述前端界面的生成方法可以在服务器中进行,在其他的场景中,也可以在终端中进行。
本技术领域技术人员可以理解,这里所使用的“终端”可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、MID(Mobile Internet Device,移动互联网设备)等;“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中提供了一种系统监测方法,如图2所示,该方法可以包括如下步骤:
S201,获取运维系统的目标基础数据以及目标基础数据的目标数据类型。
具体的,目标基础数据可以是运维系统实时采集的,用于进行系统监测的服务器或终端从运维系统的服务器或数据库中获取上述目标基础数据,并确定目标基础数据的目标数据类型。
其中,目标基础数据可以包括业务量数据、网络运行的数据、主机的运行数据等;目标数据类型可以包括状态类指标、性能类指标、容量类指标、流量类指标、错误率指标以及延时指标等。例如,主机的运行数据中包括的进程状态数据属于状态类指标数据,网络运行数据中的连通探测失败率属于错误率指标数据。
在一些实施方式中,基础数据和数据类型可以以键值对的形式存储在表格中,用于进行系统监测的服务器或终端可以基于目标基础数据预设的标签查询得到目标数据类型;
在另一些实施方式中,用于进行系统监测的服务器或终端可以对目标基础数据进行分类以确定目标数据类型,其中目标基础数据的具体分类过程将在下文进行详细阐述。
S202,根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的。
具体的,用于进行系统监测的服务器或终端可以基于目标数据类型确定预设映射器,预设映射器可以为卷积神经网络,根据预设映射器对目标基础数据进行预测,得到与目标基础数据相匹配的目标阈值区间。
其中,每一目标数据类型可以对应一个映射器;每一目标数据类型还可以对应多个映射器,用于进行系统监测的服务器或终端可以从多个映射器中筛选得到预设映射器。
S203,根据目标基础数据以及目标阈值区间,确定运维系统监测结果。
具体的,用于进行系统监测的服务器或终端可以基于目标阈值区间对目标基础数据进行数据过滤,得到运维系统监测结果。
本申请实施例基于目标基础数据的目标数据类型确定预设映射器,使得预设映射器表征的基础数据和阈值区间之间的映射关系与目标基础数据更加匹配;由于目标基础数据是不断变化的,当目标基础数据发生改变,所对应的目标阈值区间也随之动态改变,故最终得到的运维系统监测结果也更加准确。相比于现有技术中,采用固定的静态阈值监测的方式进行监测和管理,本申请实施例基于随目标基础数据动态改变的目标阈值区间来进行系统监测,有效提升了运维系统检测结果的准确率,避免了故障漏报或误报的情况发生,提升了用户体验。
本申请实施例中提供了一种可能的实现方式,上述步骤S201中的获取运维系统的目标基础数据以及目标基础数据的目标数据类型,包括:
(1)采集运维系统的目标基础数据。
其中,目标基础数据可以是运维系统实时采集并存储在运维系统的服务器或数据库中的数据。目标基础数据的具体种类和来源可以依据用户的需求进行设定,例如可以为来源于业务量数据、网络运行的数据、主机的运行数据等。
(2)对目标基础数据进行分类,得到目标基础数据的目标数据类型。
具体的,可以基于神经网络模型对目标基础数据进行分类,可以先获取运维系统的样本基础数据和对应的数据类型标签,然后基于样本基础数据和数据类型标签对初始分类网络进行训练,得到训练好的目标分类网络;进而将目标基础数据输入到目标分类网络,输出得到目标基础数据的目标数据类型。
其中,数据类型可以包括:状态类指标、性能类指标、容量类指标、流量类指标、错误率指标以及延时指标。
当目标基础数据为状态类指标,可以包括:进程状态、服务状态、端口状态;
当目标基础数据为性能类指标,可以包括:使用率、延时、IOPS(Input/OutputOperations Per Second,每秒进行读写操作的次数)、吞吐量等;
当目标基础数据为容量类指标,可以包括:文件系统使用率、吞吐量等;
当目标基础数据为流量类指标,可以包括:业务量、请求数、TCP(TransmissionControl Protocol,传输控制协议)发生包,磁盘I/O(Input/Output,输入/输出接口)等;
当目标基础数据为错误率指标,可以包括:请求错误率,连通探测失败率、命中率等;
当目标基础数据为延时指标,可以包括:查询延时、HTTP(Hyper Text TransferProtocol,超文本传输协议)请求延时等。
本申请实施例中,基于神经网络模型对目标基础数据自动进行精细的分类,提升了基础数据的处理效率,有利于后续基于目标数据类型确定适合的映射器,从而得到与目标基础数据相匹配的目标阈值区间,提升了运维系统监测结果的准确率。
本申请实施例中提供了一种可能的实现方式,上述步骤S202中的预设映射器是基于如下方式训练得到的:
(1)确定目标数据类型对应的初始映射器,获取运维系统的历史基础数据。
具体的,可以基于目标数据类型确定初始映射器,并获取运维系统的历史基础数据。其中历史基础数据可以用于初始映射器的确定和训练。
本申请实施例中提供了又一种可能的实现方式,如图3所示,上述确定目标数据类型对应的初始映射器,包括:
a、确定目标数据类型对应的比较条件和基础映射器。
具体的,可以基于目标数据类型的标签从预设数据库中查询得到对应的基础映射器和比较条件。
其中,基础映射器是目标数据类型所对应的当前最适配映射器,且每一目标数据类型预设有比较条件。
其中,比较条件可以表征基础数据适用的比较阈值区间,且比较条件可以基于异常点检测算法对基础数据进行检测得到。异常检测算法可以为正态检测算法、IQR(interquartile range,四分位距)算法、3sigma(3倍标准差)模型、移动平均值算法等算法,在本实施例中不做具体限定。
b、若目标基础数据满足比较条件,将基础映射器作为初始映射器。
具体的,当目标基础数据没有超过比较条件所表征的比较阈值区间,则表明目标基础数据与比较条件对应的基础映射器相匹配,将该基础映射器作为初始映射器。
c、若目标基础数据不满足比较条件,获取历史基础数据的阈值标签,基于历史基础数据和阈值标签确定初始映射器。
具体的,当目标基础数据超出了比较条件所表征的比较阈值区间,则表明目标基础数据与比较条件对应的基础映射器不匹配,并基于历史基础数据和历史基础数据的阈值标签确定初始映射器。其中,确定历史基础数据对应的阈值标签的过程将在下文中详细说明。
(2)根据历史基础数据,对初始映射器进行数据训练,得到预设映射器。
具体的,以初始映射器为卷积神经网络为例进行具体说明。卷积神经网络是一个多层的神经网络,每层由多个二维平面(特征映射)组成,而每个平面由多个独立神经元组成。卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层等,卷积神经网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对二维形状的平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
其中,初始映射器的训练步骤可以包括:
将历史数据输入到初始映射器,得到初始映射器输出的实时阈值;
基于历史基础数据的阈值标签和该实时阈值确定损失函数;
基于上述损失函数对初始映射器的参数进行调节,直至损失函数符合收敛条件,即阈值标签与实时阈值的差距最小,得到预设映射网络。
本申请实施例中,采用卷积神经网络作为映射器,实现了基础数据到阈值区间的准确映射,且基于历史基础数据对初始映射器进行训练,使得预设映射器能够快速自动预测出目标基础数据的阈值区间,增强了系统监测的高效性和准确性。
本申请实施例中提供了又一种可能的实现方式,如图4所示,上述基于历史基础数据和阈值标签确定初始映射器,包括:
(1)获取目标数据类型所对应的候选映射器集合。
具体的,每一目标数据类型对应至少一个候选映射器,该候选映射器是属于目标数据类型的所有历史基础数据所对应的历史初始映射器,即历史基础数据最适配的映射器。
(2)分别基于候选映射器集合中的每一候选映射器,确定历史基础数据对应的输出阈值集合。
其中,历史基础数据可以属于目标数据类型。
具体的,将历史基础数据分别输入到每一候选映射器,得到每一候选映射器输出的输出阈值,进而确定输出阈值集合。
(3)从输出阈值集合中选取与阈值标签相匹配的输出阈值作为初始阈值。
具体的,分别计算历史基础数据的阈值标签与输出阈值集合中每一输出阈值的差值,当该差值最小时,则认为此输出阈值与阈值标签相匹配,并将该输出阈值作为初始阈值。
(4)确定初始阈值对应的候选映射器为初始映射器。
具体的,在确定了初始阈值之后,可以将初始阈值对应的候选映射器作为初始映射器,并将初始映射器标记为最新的基础映射器,以便在对后续的基础数据进行检测时使用。
本申请实施例中,当目标基础数据不满足比较条件,取消当前的基础映射器的标记。由于历史基础数据属于目标数据类型,通过历史基础数据对候选映射器集合进行比较和筛选,可以从输出阈值集合中筛选出与历史基础数据的阈值标签差距最小的初始阈值,使得根据初始阈值对应的候选映射器与目标基础数据更加适配。此时,可以将该初始映射器标记为最新的基础映射器,以便后续采集的基础数据的处理。
本申请实施例中提供了另一种可能的实现方式,上述获取历史基础数据的阈值标签,包括:
(1)提取历史基础数据的数据特征。
具体的,在提取历史基础数据的数据特征之前,可以先对历史基础数据进行数据清洗,采用滤波器对历史基础数据的峰值进行过滤,以避免批处理或专家在收集数据时(例如在文档数字化过程中)引入的随机错误。
其中,历史基础数据的数据特征可以是时域数据特征也可以是频域数据特征,下面以时域数据特征为例进行具体说明。
时域是描述数学函数或物理信号对时间的关系。例如一个信号的时域波形可以表达信号随着时间的变化。而评估数字产品的性能时,通常在时域中进行分析,因为产品的性能最终就是在时域中测量的。时域分析是以时间轴为坐标表示动态信号的关系,一般来说,时域的表示较为形象与直观。
具体的,可以基于基本统计的方法如归一化、差分、方差、中位数的统计计算方法提取时域数据特征。
(2)基于数据特征对历史基础数据进行分类,得到历史基础数据的特征类别。
具体的,以数据特征为时域数据特征为例,可以基于时域数据特征对历史基础数据分为三大类:周期型、平稳型和非周期型。
其中,周期型历史基础数据是指有明显的规律性数据,如图5所示,周期型历史基础数据特征在于固定时间周期内数据变化趋势具有明显的相似性;
平稳型历史基础数据指一段时间内相对平稳的数据,也称为阶梯型数据,如图6所示,其在一定时间内不会发现明显变化;
非周期型历史基础数据,如图7所示,其一般为无规律的随机性数据。
(3)基于特征类别确定历史基础数据的阈值标签。
具体的,以数据特征为时域数据特征,特征类别为周期型、平稳型和非周期型为例进行具体说明:
a、当数据类别为周期型数据,基于历史基础数据的变化周期确定阈值标签。
对于周期型数据,由于数据是周期性变化的,其阈值也可以为周期性动态改变的.例如,当历史基础数据的变化周期为T时,其阈值标签A可以由周期函数计算得到,周期函数的表征形式如公式(1)所示,其中x为时间变量,T为变化周期,A为阈值。
A=f(x)=f(x+T) (1)
b、当数据类别为非周期型数据,采用窗口函数对历史基础数据进行分析,确定阈值标签。
对于非周期型数据,历史基础数据的时间序列含有趋势性,但无明显周期性,可以基于固定的移动窗口函数计算移动平均值和移动标准差,基于移动平均值和移动标准差计算非周期型数据的上下界,如图8所示,根据数据的上下界得到阈值标签,该阈值标签会受到移动窗口大小设定的影响,并随着时间动态改变。
c、当数据类别为平稳型数据,基于历史基础数据的平稳数值确定阈值标签。
对于平稳型数据,其历史基础数据无趋势性,近似平稳,可以根据历史基础数据在各个时间段内的平稳数值,配置在平稳时间内的恒定阈值作为阈值标签。
本申请实施例中,依据历史基础数据的数据特征对历史基础数据进行分类,然后基于数据类别确定历史基础数据的阈值标签,由于将基础数据分为了平稳型、周期型和非周期型,充分分析了基础数据的时域特征,使得阈值标签更加准确,后续基于阈值标签和历史基础数据对映射器进行训练,能够提升映射器的训练效果,提高映射器的准确性。
本申请实施例中提供了另一种可能的实现方式,上述步骤S203中的根据目标基础数据以及目标阈值区间,确定运维系统监测结果,包括:
(1)当目标基础数据超出目标阈值区间的范围,则运维系统监测结果为运维系统异常运行。
具体的,用于进行系统监测的服务器或终端可以将目标基础数据发送到指定客户端,以便客户端对目标基础数据进行显示,方便运维人员实时查看所采集的目标基础数据。当目标基础数据超出目标阈值区间的范围,用于进行系统监测的服务器或终端还可以将运维系统异常运行的检测结果发送到该客户端,运维人员可以及时了解到故障状态。
(2)基于运维系统监测结果发送报警信息到指定的终端。
具体的,运维系统异常运行的检测结果的生成可以触发用于进行系统监测的服务器或终端向指定终端发送报警信息,该报警信息可以以短信、邮件或语音的方式发送。
其中,指定的终端可以是运维人员的手机或电脑等终端设备,在此实施例中不做具体限制。
为了更清楚阐释本申请的系统监测方法,以下将结合具体示例对系统监测方法进行进一步说明。
在一个实施例中,本申请提供系统监测方法,如图9所示,包括如下步骤:
S901,采集运维系统的目标基础数据;
S902,对目标基础数据进行分类,得到目标基础数据的目标数据类型;
S903,确定目标数据类型对应的初始映射器,获取运维系统的历史基础数据;
S904,根据历史基础数据,对初始映射器进行数据训练,得到与目标数据类型对应的预设映射器;其中,预设映射器指示基础数据与阈值区间之间的映射关系;
S905,根据预设映射器,确定与目标基础数据对应的目标阈值区间;
S906,当目标基础数据超出目标阈值区间的范围,则运维系统监测结果为运维系统异常运行;
S907,基于运维系统监测结果发送报警信息到指定的终端。
本申请实施例基于目标基础数据的目标数据类型确定预设映射器,使得预设映射器表征的基础数据和阈值区间之间的映射关系与目标基础数据更加匹配;由于目标基础数据是不断变化的,当目标基础数据发生改变,所对应的目标阈值区间也随之动态改变,故最终得到的运维系统监测结果也更加准确。相比于现有技术中,采用固定的静态阈值监测的方式进行监测和管理,本申请实施例基于随目标基础数据动态改变的目标阈值区间来进行系统监测,有效提升了运维系统检测结果的准确率,避免了故障漏报或误报的情况发生,提升了用户体验。
本申请实施例提供了一种系统监测装置,如图10所示,该系统监测装置100可以包括:获取模块1001、映射模块1002以及监测模块1003,其中,
获取模块1001,用于获取运维系统的目标基础数据以及目标基础数据的目标数据类型;
映射模块1002,用于根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的;
监测模块1003,用于根据目标基础数据以及目标阈值区间,确定运维系统监测结果。
本申请实施例中提供了一种可能的实现方式,上述获取模块1001,具体可以用于:
采集运维系统的目标基础数据;
对目标基础数据进行分类,得到目标基础数据的目标数据类型。
本申请实施例中提供了一种可能的实现方式,上述系统监测装置100还可以包括训练模块,具体包括:
确定单元,用于确定目标数据类型对应的初始映射器,获取运维系统的历史基础数据;
训练单元,用于根据历史基础数据,对初始映射器进行数据训练,得到预设映射器。
本申请实施例中提供了又一种可能的实现方式,上述确定单元,具体可以用于:
确定目标数据类型对应的比较条件和基础映射器;
若目标基础数据满足比较条件,将基础映射器作为初始映射器;
若目标基础数据不满足比较条件,获取历史基础数据的阈值标签,基于历史基础数据和阈值标签确定初始映射器。
本申请实施例中提供了又一种可能的实现方式,上述确定单元,还可以用于:
获取目标数据类型所对应的候选映射器集合;
分别基于候选映射器集合中的每一候选映射器,确定历史基础数据对应的输出阈值集合;
从输出阈值集合中选取与阈值标签相匹配的输出阈值作为初始阈值;
确定初始阈值对应的候选映射器为初始映射器。
本申请实施例中提供了另一种可能的实现方式,上述确定单元,还可以用于:
提取历史基础数据的数据特征;
基于数据特征对历史基础数据进行分类,得到历史基础数据的特征类别;
基于特征类别确定历史基础数据的阈值标签。
本申请实施例中提供了另一种可能的实现方式,上述监测模块1003,具体可以用于:
当目标基础数据超出目标阈值区间的范围,则运维系统监测结果为运维系统异常运行;
基于运维系统监测结果发送报警信息到指定的终端。
本实施例的系统监测装置可执行本申请前述实施例所示的系统监测方法,其实现原理相类似,此处不再赘述。
本申请实施例基于目标基础数据的目标数据类型确定预设映射器,使得预设映射器表征的基础数据和阈值区间之间的映射关系与目标基础数据更加匹配;由于目标基础数据是不断变化的,当目标基础数据发生改变,所对应的目标阈值区间也随之动态改变,故最终得到的运维系统监测结果也更加准确。相比于现有技术中,采用固定的静态阈值监测的方式进行监测和管理,本申请实施例基于随目标基础数据动态改变的目标阈值区间来进行系统监测,有效提升了运维系统检测结果的准确率,避免了故障漏报或误报的情况发生,提升了用户体验。
本申请实施例中提供了一种电子设备,该电子设备包括:存储器和处理器;至少一个程序,存储于存储器中,用于被处理器执行时,与现有技术相比可实现:本申请实施例基于目标基础数据的目标数据类型确定预设映射器,使得预设映射器表征的基础数据和阈值区间之间的映射关系与目标基础数据更加匹配;由于目标基础数据是不断变化的,当目标基础数据发生改变,所对应的目标阈值区间也随之动态改变,故最终得到的运维系统监测结果也更加准确。相比于现有技术中,采用固定的静态阈值监测的方式进行监测和管理,本申请实施例基于随目标基础数据动态改变的目标阈值区间来进行系统监测,有效提升了运维系统检测结果的准确率,避免了故障漏报或误报的情况发生,提升了用户体验。
在一个可选实施例中提供了一种电子设备,如图11所示,图11所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码(计算机程序),并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于诸如移动电话、笔记本电脑、PAD等等移动终端以及诸如数字TV、台式计算机等等固定终端。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行时实现如下情况:
获取运维系统的目标基础数据以及目标基础数据的目标数据类型;
根据与目标数据类型对应的预设映射器,确定与目标基础数据对应的目标阈值区间;其中,预设映射器指示基础数据与阈值区间之间的映射关系;预设映射器为对运维系统的历史基础数据进行数据训练得到的;
根据目标基础数据以及目标阈值区间,确定运维系统监测结果。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种系统监测方法,其特征在于,包括:
获取运维系统的目标基础数据以及所述目标基础数据的目标数据类型;
根据与所述目标数据类型对应的预设映射器,确定与所述目标基础数据对应的目标阈值区间;其中,所述预设映射器指示基础数据与阈值区间之间的映射关系;所述预设映射器为对所述运维系统的历史基础数据进行数据训练得到的;
根据所述目标基础数据以及所述目标阈值区间,确定所述运维系统监测结果。
2.根据权利要求1所述的系统监测方法,其特征在于,所述获取运维系统的目标基础数据以及所述目标基础数据的目标数据类型,包括:
采集所述运维系统的目标基础数据;
对所述目标基础数据进行分类,得到所述目标基础数据的目标数据类型。
3.根据权利要求1所述的系统监测方法,其特征在于,所述预设映射器是基于如下方式训练得到的:
确定所述目标数据类型对应的初始映射器,获取所述运维系统的历史基础数据;
根据所述历史基础数据,对所述初始映射器进行数据训练,得到预设映射器。
4.根据权利要求3所述的系统监测方法,其特征在于,所述确定所述目标数据类型对应的初始映射器,包括:
确定所述目标数据类型对应的比较条件和基础映射器;
若所述目标基础数据满足所述比较条件,将所述基础映射器作为初始映射器;
若所述目标基础数据不满足所述比较条件,获取所述历史基础数据的阈值标签,基于所述历史基础数据和所述阈值标签确定初始映射器。
5.根据权利要求4所述的系统监测方法,其特征在于,所述基于所述历史基础数据和所述阈值标签确定初始映射器,包括:
获取所述目标数据类型所对应的候选映射器集合;
分别基于候选映射器集合中的每一候选映射器,确定所述历史基础数据对应的输出阈值集合;
从所述输出阈值集合中选取与所述阈值标签相匹配的输出阈值作为初始阈值;
确定所述初始阈值对应的候选映射器为初始映射器。
6.根据权利要求4所述的系统监测方法,其特征在于,所述获取所述历史基础数据的阈值标签,包括:
提取所述历史基础数据的数据特征;
基于所述数据特征对所述历史基础数据进行分类,得到所述历史基础数据的特征类别;
基于所述特征类别确定所述历史基础数据的阈值标签。
7.根据权利要求1所述的系统监测方法,其特征在于,所述根据所述目标基础数据以及所述目标阈值区间,确定所述运维系统监测结果,包括:
当所述目标基础数据超出所述目标阈值区间的范围,则所述运维系统监测结果为运维系统异常运行;
基于所述运维系统监测结果发送报警信息到指定的终端。
8.一种系统监测装置,其特征在于,包括:
获取模块,用于获取运维系统的目标基础数据以及所述目标基础数据的目标数据类型;
映射模块,用于根据与所述目标数据类型对应的预设映射器,确定与所述目标基础数据对应的目标阈值区间;其中,所述预设映射器指示基础数据与阈值区间之间的映射关系;所述预设映射器为对所述运维系统的历史基础数据进行数据训练得到的;
监测模块,用于根据所述目标基础数据以及所述目标阈值区间,确定所述运维系统监测结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述的系统监测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现权利要求1至7中任一项所述的系统监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110955202.1A CN114610561A (zh) | 2021-08-19 | 2021-08-19 | 系统监测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110955202.1A CN114610561A (zh) | 2021-08-19 | 2021-08-19 | 系统监测方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114610561A true CN114610561A (zh) | 2022-06-10 |
Family
ID=81858034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110955202.1A Pending CN114610561A (zh) | 2021-08-19 | 2021-08-19 | 系统监测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114610561A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168059A (zh) * | 2022-09-07 | 2022-10-11 | 平安银行股份有限公司 | 系统内核监测方法、装置、终端设备及存储介质 |
CN115190038A (zh) * | 2022-06-23 | 2022-10-14 | 联想(北京)有限公司 | 一种状态确定方法以及装置 |
WO2024093971A1 (zh) * | 2022-11-04 | 2024-05-10 | 中车长春轨道客车股份有限公司 | 一种车载超导磁体监测系统的确定方法、系统及存储介质 |
-
2021
- 2021-08-19 CN CN202110955202.1A patent/CN114610561A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115190038A (zh) * | 2022-06-23 | 2022-10-14 | 联想(北京)有限公司 | 一种状态确定方法以及装置 |
CN115190038B (zh) * | 2022-06-23 | 2024-04-19 | 联想(北京)有限公司 | 一种状态确定方法以及装置 |
CN115168059A (zh) * | 2022-09-07 | 2022-10-11 | 平安银行股份有限公司 | 系统内核监测方法、装置、终端设备及存储介质 |
WO2024093971A1 (zh) * | 2022-11-04 | 2024-05-10 | 中车长春轨道客车股份有限公司 | 一种车载超导磁体监测系统的确定方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11150974B2 (en) | Anomaly detection using circumstance-specific detectors | |
CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
CN114610561A (zh) | 系统监测方法、装置、电子设备及计算机可读存储介质 | |
CN103513983B (zh) | 用于预测性警报阈值确定工具的方法和系统 | |
CN110806954B (zh) | 评估云主机资源的方法、装置、设备及存储介质 | |
US20190095266A1 (en) | Detection of Misbehaving Components for Large Scale Distributed Systems | |
US20160352760A1 (en) | Tracking Users over Network Hosts Based on User Behavior | |
US20160094431A1 (en) | Service Analyzer Interface | |
CN112839014B (zh) | 建立识别异常访问者模型的方法、系统、设备及介质 | |
Al-Ghuwairi et al. | Intrusion detection in cloud computing based on time series anomalies utilizing machine learning | |
EP4073978B1 (en) | Intelligent conversion of internet domain names to vector embeddings | |
CN114169604A (zh) | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 | |
CN114090601B (zh) | 一种数据筛选方法、装置、设备以及存储介质 | |
CN114448657B (zh) | 一种配电通信网络安全态势感知与异常入侵检测方法 | |
CN117170915A (zh) | 数据中心设备故障预测方法、装置和计算机设备 | |
CN112948223A (zh) | 一种监测运行情况的方法和装置 | |
Lee et al. | ATMSim: An anomaly teletraffic detection measurement analysis simulator | |
CN113111139A (zh) | 一种基于物联传感器的告警检测方法和装置 | |
US20120078912A1 (en) | Method and system for event correlation | |
CN116471174B (zh) | 一种日志数据监测系统、方法、装置和存储介质 | |
Lee et al. | Detecting anomaly teletraffic using stochastic self-similarity based on Hadoop | |
CN116843395A (zh) | 一种业务系统的告警分级方法、装置、设备及存储介质 | |
CN110677271A (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
EP3493082A1 (en) | A method of exploring databases of time-stamped data in order to discover dependencies between the data and predict future trends | |
CN115051863A (zh) | 异常流量检测的方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |