CN113704048B - 数据动态监测方法、装置、计算机设备和存储介质 - Google Patents
数据动态监测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113704048B CN113704048B CN202110354839.5A CN202110354839A CN113704048B CN 113704048 B CN113704048 B CN 113704048B CN 202110354839 A CN202110354839 A CN 202110354839A CN 113704048 B CN113704048 B CN 113704048B
- Authority
- CN
- China
- Prior art keywords
- value
- target data
- data
- dynamic
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 241
- 238000000034 method Methods 0.000 title claims abstract description 144
- 238000003860 storage Methods 0.000 title claims abstract description 37
- 230000002159 abnormal effect Effects 0.000 claims abstract description 144
- 230000008859 change Effects 0.000 claims abstract description 128
- 230000008569 process Effects 0.000 claims abstract description 76
- 230000001960 triggered effect Effects 0.000 claims abstract description 33
- 238000012806 monitoring device Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 57
- 230000035945 sensitivity Effects 0.000 claims description 46
- 230000003068 static effect Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000009499 grossing Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请涉及一种数据动态监测方法、装置、计算机设备和存储介质。所述方法包括:显示在工作过程中所产生的目标数据的数据变化曲线;响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。采用本方法能够实现对目标数据的动态监测。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据动态监测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,在互联网公司里面,通常会对成千上万的业务数据和产品数据进行监测,以实时了解业务、产品资源、应用程序性能和产品运行状况,从而保证整个系统的稳定性。
目前在对任一对象的采集数据进行监测时,通常是使用恒定的阈值来确定异常数据,并基于所确定的异常数据进行告警。当被监控的对象的采集数据波动性较大时,使用恒定的阈值则无法有效的确定出异常数据,比如针对具有周期性波动的采集数据,当所设置的阈值较低时会触发大量的误告警,当所设置的阈值较高时,则会放宽告警条件增加漏告警的可能性,从而导致对数据监测的准确性较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据监测准确性的数据动态监测方法、装置、计算机设备和存储介质。
一种数据动态监测方法,所述方法包括:
显示在工作过程中所产生的目标数据的数据变化曲线;
响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;
当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
在一个实施例中,所述方法还包括:
获取预配置的静态上边界值和静态下边界值;
将所述静态上边界值分别与每个不同时间点的所述上边界值进行对比,并从对比的结果中选取最小值作为所述动态阈值区域中动态阈值的上边界值;以及,
将所述静态下边界值分别与每个不同时间点的所述下边界值进行对比,并从对比的结果中选取最大值作为所述动态阈值区域中动态阈值的下边界值。
一种数据动态监测装置,所述装置包括:
数据变化曲线显示模块,用于显示在工作过程中所产生的目标数据的数据变化曲线;
动态阈值区域展示模块,用于响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;
异常提示模块,用于当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
在一个实施例中,所述数据变化曲线显示模块还用于:
显示数据监测页面;
响应于在所述数据监测页面上触发的配置操作,在所述数据监测页面的配置区域显示监测参数;所述监测参数用于触发异常提示;
将在工作过程中所产生的目标数据的数据变化曲线,显示于所述数据监测页面的内容显示区域。
在一个实施例中,所述监测参数包括所述预设时间阈值;所述异常提示模块,还用于:
当所述数据变化曲线超出所述动态阈值区域的上边界或下边界时,对超出所述上边界或下边界的数据变化曲线进行突出显示;以及,
获取超出所述上边界或所述下边界时所对应的时长;
当所述时长达到所述预设时间阈值时,则对在工作过程中所产生的所述目标数据发出异常提示。
在一个实施例中,所述装置还包括:
动态权重值确定模块,用于获取在历史时段内所产生的历史目标数据;通过时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值;确定所述历史目标数据和所述历史目标数据的拟合值之间的差值;依据所述差值和预设加权值确定所述动态权重值。
在一个实施例中,所述差值包括绝对差值和平方差值;所述动态权重值确定模块,还用于:
基于所述预设加权值对所述平方差值进行加权处理,得到加权平方差值;
将所述加权平方差值与所述绝对差值之间的和值确定为所述动态权重值。
在一个实施例中,所述数据变化曲线显示于数据监测页面;所述数据监测页面上还显示监测参数,所述监测参数包括灵敏度参数;所述动态权重值确定模块,还用于:
基于所述灵敏度参数调整所述预设加权值;
所述动态权重值确定模块,还用于:
基于调整后的所述预设加权值对所述平方差值进行加权处理。
在一个实施例中,所述装置还包括:
数据预处理模块,用于若所述历史目标数据中出现数据缺失,确定与缺失的数据对应的填充数据;将所述填充数据添加至所述历史目标数据的缺失位置;
所述动态权重值确定模块,还用于:
通过时间序列模型对添加所述填充数据的历史目标数据进行拟合。
在一个实施例中,所述装置还包括:
数据预处理模块,用于若所述历史目标数据中出现数据异常,确定所述历史目标数据中的异常值、上分位值和下分位值;
当所述异常值大于所述上分位值时,将所述异常值进行上分位值替换处理;
当所述异常值小于所述下分位值时,将所述异常值进行下分位值替换处理;
所述动态权重值确定模块,还用于:
通过时间序列模型,对经过上分位值替换处理后的历史目标数据和/或下分位值替换处理后的历史目标数据进行拟合。
在一个实施例中,所述历史目标数据包括不同历史时间点的目标数据;所述动态权重值确定模块,还用于:
确定不同历史时间点的所述历史目标数据所对应的历史权重值;
基于各所述历史权重值对不同历史时间点的所述历史目标数据进行加权处理,得到所述拟合值。
在一个实施例中,所述上下边界值包括上边界值和下边界值;所述装置还包括:
边界值确定模块,用于将所述历史目标数据与所述动态权重值之间的和值,确定为所述动态阈值区域中动态阈值的上边界值;将所述历史目标数据与所述动态权重值之间的差值,确定为所述动态阈值区域中动态阈值的下边界值;
所述动态阈值区域展示模块,还用于:
在相应于所述数据变化曲线的显示位置处,展示基于所述上边界值和所述下边界值确定的、用于监测所述目标数据状态的动态阈值区域。
在一个实施例中,所述目标数据包括资源利用率;所述装置还包括:
边界值调整模块,当所述下边界值小于零时,将所述下边界值修改为不小于零的值;
所述异常提示模块,还用于:
当所述数据变化曲线超出所述动态阈值区域的上边界、且超出所述上边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述资源利用率发出异常提示。
在一个实施例中,所述目标数据包括业务成功率;所述边界值调整模块,还用于:
当所述上边界值大于一时,将所述上边界值修改为不大于一的值;
所述异常提示模块,还用于:
所述当所述数据变化曲线超出所述动态阈值区域的下边界、且超出所述下边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述业务成功率发出异常提示。
在一个实施例中,所述边界值调整模块,还用于:
获取预配置的静态上边界值和静态下边界值;
将所述静态上边界值分别与每个不同时间点的所述上边界值进行对比,并从对比的结果中选取最小值作为所述动态阈值区域中动态阈值的上边界值;以及,
将所述静态下边界值分别与每个不同时间点的所述下边界值进行对比,并从对比的结果中选取最大值作为所述动态阈值区域中动态阈值的下边界值。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
显示在工作过程中所产生的目标数据的数据变化曲线;
响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;
当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
显示在工作过程中所产生的目标数据的数据变化曲线;
响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;
当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
一种计算机程序,所述计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中,计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行以下步骤:
显示在工作过程中所产生的目标数据的数据变化曲线;
响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值是依据所述历史目标数据与所述历史目标数据的拟合值所得;
当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
上述数据动态监测方法、装置、计算机设备和存储介质,在显示在工作过程中所产生的目标数据的数据变化曲线之后,通过响应于触发的动态监测操作,生成动态阈值以确定异常数据,从而在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域;其中,动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示,从而实现对目标数据的动态监测,提高了对目标数据监测的准确性。
附图说明
图1为一个实施例中数据动态监测方法的应用环境图;
图2为一个实施例中数据动态监测方法的流程示意图;
图3为一个实施例中平滑处理前数据示意图;
图4为一个实施例中平滑处理后数据示意图;
图5为一个实施例中数据监测页面示意图;
图6为一个实施例中确定动态阈值区域步骤的流程示意图;
图7为一个实施例中数据缺失场景示意图;
图8为一个实施例中灵敏度配置页面示意图;
图9为一个实施例中数据监测页面示意图;
图10为另一个实施例中数据监测页面示意图;
图11为一个实施例中数据动态监测方法的流程示意图;
图12为一个实施例中用框架示意图;
图13为一个实施例中数据动态监测装置的结构框图;
图14为另一个实施例中数据动态监测装置的结构框图;
图15为一个实施例中计算机设备的内部结构图;
图16为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据动态监测方法能够基于云技术来实现。其中,云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS(Infrastructure as a Service,基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Software as a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
本申请实施例提供的方案涉及人工智能的机器学习等技术,具体通过如下实施例进行说明:本申请提供的数据动态监测方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102显示在工作过程中所产生的目标数据的数据变化曲线;响应于触发的动态监测操作,从服务器104获取所生成的动态阈值以确定异常数据,终端102在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域;动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得;当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示。
其中,终端102可以以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的无人驾驶、自动驾驶、无人机、机器人、智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
在一个实施例中,如图2所示,提供了一种数据动态监测方法,以该方法应用于图1中的计算机设备(包括终端和服务器)为例进行说明,包括以下步骤:
S202,显示在工作过程中所产生的目标数据的数据变化曲线。
其中,工作过程是指计算机设备执行某个任务或计算机设备上某个应用程序运行的过程,目标数据是用于衡量任务完成情况或计算机设备运行状态的指标数据。目标数据可以是时间序列数据,时间序列数据是在不同时间点上收集到的数据,用于描述现象随时间变化的情况,这类数据反映了某一事物、现象随时间的变化或程度,通常时间序列数据中相邻时间点的时间间隔是恒定的,比如时间间隔为1秒钟、1分钟或5分钟,可以理解的是,相邻时间点的时间间隔即为数据采集周期。
目标对象为被监测的指标对象,其中用于衡量任务完成情况的目标对象称为业务对象,用于衡量计算机设备运行状态的目标对象称为产品对象。可以理解的是,当目标对象为业务对象时,目标数据即为该业务对象所对应的业务数据,当目标对象为产品对象时,目标数据即为该产品对象所对应的产品数据。
产品对象可以是基于计算机资源、计算机运行状况所需要监测的数据对象,比如产品对象为网络系统、服务器资源、数据库资源,相应的目标数据为CPU利用率、内存利用率、磁盘利用率、网络流量使用量、带宽、连接数等数据。
业务对象可以是基于不同业务所要监测的数据对象,比如业务对象为订单生成、报表生成、数据收发等批量处理的业务,相应的目标数据可以是订单生成数量、报表生成数量等批量处理业务的处理数量,以及书发送成功率、数据收取成功率等业务成功率。
具体地,服务器实时采集被监测的计算机设备在工作过程中所产生的目标数据,并将所采集到的目标数据发送给终端,终端在接收到目标数据之后,基于目标数据中各观测值以及各观测值所对应的时间点,生成数据变化曲线,并将所生成的数据变化曲线通过终端进行显示。其中,时间点可以是以时间戳的形式进行记录。
在一个实施例中,用户可以通过终端对所要监测的目标数据进行监测配置,并触发监测操作,终端响应于监测操作生成针对目标数据的监测请求,并将所生成的数据监测请求发送给服务器,服务器基于所接收到的数据监测请求,对被监测的计算机设备在工作过程中所产生的目标数据进行采集,并将采集到的目标数据反馈给终端,以使终端显示在目标数据的数据变化曲线。
在一个实施例中,服务器在接收到数据监测请求之后,获取数据监测请求中所携带的监测设备标识、监测对象标识和数据采集周期,按照数据采集周期对监测设备标识所对应的计算机设备所产生的、且与监测对象标识所对应的目标数据进行采集,并将采集到的目标数据反馈给终端,以使终端显示在目标数据的数据变化曲线。
下表示出了一个实施例中所采集的目标数据,其中,数据采集周期为1分钟,所采集的目标数据包括时间戳和各时间戳所对应的目标数据的观测值,比如时间戳“2020/11/24-10:00:00”对应的观测值为“98”,时间戳“2020/11/24-10:01:00”对应的观测值为“99”,时间戳“2020/11/24-10:02:00”对应的观测值为“95”,时间戳“2020/11/24-20:00:00”对应的观测值为“95”。
Timestamp | Value |
2020/11/24-10:00:00 | 98 |
2020/11/24-10:01:00 | 99 |
2020/11/24-10:02:00 | 95 |
··· | ··· |
2020/11/24-20:00:00 | 95 |
在一个实施例中,计算机设备在获取到工作过程中所产生的目标数据之后,依据目标数据中各时间点所对应的观测值,生成数据变化曲线,并在数据监测页面对所生成的数据变化曲线进行显示。
S204,响应于触发的动态监测操作,在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域。
其中,动态监测操作用于触发对目标数据采用动态阈值进行监测;动态阈值区域为上下阈值边界线所确定的阈值区域,上下阈值边界线包括上阈值边界线和下阈值边界线,上阈值边界线可以称为动态阈值区域的上边界,下阈值边界线可以称为动态阈值区域的下边界,动态阈值区域为上边界和下边界之间的区域;上下边界为基于各个时间点所对应的上下边界值所确定的阈值边界线,上下边界值包括上边界值和下边界值,上边界为基于各个时间点所对应的上边界值所确定的阈值边界曲线,下边界为基于各个时间点所对应的下边界值所确定的阈值边界曲线。需要说明的是,本申请中所说的“上”和“下”之间在数值是不同的,具体可以是“上”所对应的数值大于“下”所对应的数值,比如,针对同一时间点所对应的上边界值和下边界值,上边界值的数据值大于下边界值的数值。
动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得。
具体地,计算机设备在通过数据监测页面对数据变化曲线进行显示之后,用户可以通过数据监测页面触发对目标数据的动态监测操作,终端响应于触发的动态监测操作,获取历史时段内的历史目标数据,并基于历史目标数据确定当前时段中用于监测目标数据的状态的动态阈值区域,并在相应于目标数据的数据变化曲线的显示位置处,展示所确定的动态阈值区域。
在一个实施例中,计算机设备响应于触发的动态监测操作,获取历史时段内的历史目标数据,并对历史目标数据进行拟合,得到历史目标数据在历史时段内各个历史时间点所对应的拟合值,并基于历史目标数据和历史目标数据的拟合值确定各个历史时间点所对应的动态权重值,基于所确定的动态权重值和历史目标数据确定各个历史时间点所对应的上下边界值,基于各个历史时间点所对应的上下边界值,确定当前时段内各个时间点所对应的上下边界值,并根据上边界值生成上边界,根据下边界值生成下边界,将上边界和下边界之间的区域确定为当前时段中用于监测目标数据的状态的动态阈值区域,并在相应于目标数据的数据变化曲线的显示位置处,展示所确定的动态阈值区域。
在一个实施例中,计算机设备在获取历史时段内的历史目标数据之后,对历史目标数据进行数据预处理,得到预处理后历史目标数据,并基于预处理后历史目标数据确定当前时段中用于监测目标数据的状态的动态阈值区域,并在相应于目标数据的数据变化曲线的显示位置处,展示所确定的动态阈值区域。
其中,数据预处理的处理方式包括缺失值填充处理、异常值替换处理和数据平滑处理中的至少一种,缺失值填充处理是指对历史目标数据中所缺失的数据值进行填充,异常值替换处理是使用替换值对历史目标数据中的异常值进行替换,数据平滑处理是对历史目标数据中的噪声数据进行平滑,以使后续的数据拟合结果更准确。
在一个实施例中,计算机设备采用中心化移动平均方法对历史数据进行数据平滑处理,中心化移动平均方法以需要赋值的目标时间点为中心,选取目标时间点前后若干个时间点为候选时间点,并计算各候选时间点对应的历史数值的平均值,并将计算所得的平均值作为平滑处理后的目标时间点所对应的平滑值,具体可采用公式(1)实现对历史目标数据的数据平滑处理:
其中,Qt是目标平滑时间点t的平滑值,Yt是目标平滑时间点t对应的历史值,也称为目标平滑时间点t对应的观测值,2q+1是每次用来平均的观测值的个数。
参考图3所示的平滑处理前数据示意图,以及图4所示的平滑处理后数据示意图,图3中的数据变化曲线是基于历史时段内各个历史时间点所对应的观测值所生成的,图4中的数据变化曲线是基于历史时段内各个历史时间点所对应的平滑值所生成的。
在一个实施例中,计算机设备在获取历史时段内的历史目标数据之后,对历史目标数据进行缺失值填充处理和异常值替换处理中的至少一种,得到初步预处理后历史目标数据,然后中心化移动平均方法对初步预处理后历史目标数据进行数据平滑处理,得到预处理后历史目标数据,并基于预处理后历史目标数据确定当前时段中用于监测目标数据的状态的动态阈值区域,并在相应于目标数据的数据变化曲线的显示位置处,展示所确定的动态阈值区域。
S206,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示。
其中,预设时间阈值大于等于对目标数据的数据采集周期,当预设时间阈值等于目标数据的数据采集周期时,则目标数据中只要存在异常观测值就会进行异常提示;当预设时间阈值大于目标数据的数据采集周期时,则目标数据中连续出现异常观测值,且出现次数达到次数阈值时才会进行异常提示。
在一个实施例中,计算机设备在确定出当前时段所对应的动态阈值区域之后,确定所显示的数据变化曲线未在动态阈值区域的异常曲线段,并将各异常曲线段所对应的时长确定为异常时间段,当存在异常时间段达到预设时间阈值时,则对在工作过程中产生的目标数据发出异常提示。
在一个实施例中,计算机设备按照时间顺序依次确定各个观测值是否在动态阈值区域之内,并将未在阈值区域内的观测值确定为异常观测值,统计连续出现的异常观测值的个数,当连续出现的异常观测值的个数达到预设次数阈值时,则对在工作过程中产生的目标数据发出异常提示。
其中,预设次数阈值可以基于预设时间阈值和目标数据的数据采集周期进行确定,具体可以将预设时间阈值与数据采集周期的比值作为预设次数阈值。比如,对目标数据的数据采集周期为5分钟,即每隔5分钟采集一个目标数据的观测值,当预设时间阈值为5分钟时,则目标数据中只要出现不在动态阈值区域内的异常观测值,就会进行异常提示;当预设时间阈值为10分钟时,则目标数据中只要连续两次出现不在动态阈值区域内异常观测值,就会进行异常提示。
上述实施例中,计算机设备在显示在工作过程中所产生的目标数据的数据变化曲线之后,通过响应于触发的动态监测操作,生成动态阈值以确定异常数据,从而在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域;其中,动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示,从而实现对目标数据的动态监测,提高了对目标数据监测的准确性。
在一个实施例中,计算机设备显示数据监测页面;响应于在数据监测页面上触发的配置操作,在数据监测页面的配置区域显示监测参数;监测参数用于触发异常提示;将在工作过程中所产生的目标数据的数据变化曲线,显示于数据监测页面的内容显示区域。其中,监测参数包括预设时间阈值。
具体地,计算机设备所显示的数据监测页面中展示有监测参数输入框,用户可以通过监测参数输入框输入针对目标数据的监测参数,触发监测参数的配置操作,计算机设备响应于在数据监测页面上所触发的配置操作,获取用户配置的监测参数,并在数据监测页面的配置区域显示所获取的监测参数。
在一个实施例中,计算机设备显示数据监测页面;响应于在数据监测页面上触发的配置操作,在数据监测页面的配置区域显示监测对象、数据采集周期和监测参数,并按照数据采集周期采集在工作过程中监测对象所对应的目标数据,并基于所采集的目标数据生成数据变化曲线,并将所生成的数据变化曲线显示于数据监测页面的内容显示区域。
上述实施例中,计算机设备通过显示数据监测页面,响应于在数据监测页面上触发的配置操作,在数据检测页面的配置显示区域显示监测参数,从而既可以方便用户进行监测参数的配置,进而基于所配置的监测参数触发异常提示,又可以方便用户实时查看到监测参数,进而对存在的异常进行溯源分析。
在一个实施例中,S206包括以下步骤:当数据变化曲线超出动态阈值区域的上边界或下边界时,对超出上边界或下边界的数据变化曲线进行突出显示;以及,获取超出上边界或下边界时所对应的时长;当时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示。
其中,突出显示是将动态阈值区域外的异常曲线段与动态阈值区域内的正常曲线段进行区别显示,具体可以是,对动态阈值区域内的正常曲线段以第一状态进行显示,对动态阈值区域外的异常曲线段以第二状态进行显示。比如,动态阈值区域内的正常曲线段显示为黑色,动态阈值区域外的异常曲线段显示为红色。
具体地,计算机设备在确定出当前时段所对应的动态阈值区域之后,将数据变化曲线中超出动态阈值区域的上边界或者下边界的部分确定为异常曲线段,将数据变化曲线中未超出动态阈值区域的上边界和下边界的部分确定为正常曲线段,并对异常曲线段进行突出显示,以及确定各个异常曲线段所对应的时长,当存在异常曲线段所对应的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示。参考图5所示的数据监测页面,图中对动态阈值区域内的正常曲线段以实线进行显示,对动态阈值区域外的异常曲线段以虚线进行显示。
上述实施例中,计算机设备通过超出上边界或下边界的数据变化曲线进行突出显示;以及,获取超出上边界或下边界时所对应的时长;当时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示,从而能够使得用户及时查看目标数据所发生的异常情况,进而可以及时对异常现象进行处理。
在一个实施例中,数据监测页面还设置有动态监测控件,通过触发该动态监测控件可以触发对目标数据的动态监测操作,计算机设备响应于触发的动态监测操作,获取在历史时段内所产生的历史目标数据,并基于历史目标数据确定用于监测目标数据状态的动态阈值区域。如图6所示,计算机设备基于历史目标数据确定用于监测目标数据状态的动态阈值区域的过程包括以下步骤:
S602,获取在历史时段内所产生的历史目标数据。
S604,通过时间序列模型对历史目标数据进行拟合,得到历史目标数据的拟合值。
其中,时间序列模型可以是机器学习模型,具体可以是统计机器学习模型,包括指数加权移动平均(exponentially weighted moving average,EWMA)模型、霍尔特-温特(Holt-Winters)模型、STL(Seasonal-Trend decomposition procedure based on Loess)模型、卡尔曼滤波模型、极端梯度提升(eXtreme Gradient Boosting,XGBoost)模型、长短时记忆网络(Long Short Term Memory Network,LSTM)模型中的任意一种。
在一个实施例中,计算机设备采用指数加权移动平均模型对历史目标数据进行拟合,得到历史数据的拟合值,拟合过程具体包括以下步骤:确定不同历史时间点的历史目标数据所对应的历史权重值;基于各历史权重值对不同历史时间点的历史目标数据进行加权处理,得到拟合值。
其中,历史权重值表征在进行拟合时,历史目标数据中各个观测值的参考程度,比如,对于目标拟合时间点,在采用指数加权移动平均模型对历史数据进行拟合得到该目标拟合时间点的拟合值时,距离该目标拟合时间点越远的历史时间点,其所对应的观测值的历史权重值越小,具体可以是呈指数形式下降。
具体地,计算机设备在获取到历史目标数据之后,对历史目标数据所对应的时间序列Y进行拟合,具体可以采用公式(2)进行拟合:
其中,St为目标拟合时间点t所对应的拟合值,Yt是目标拟合时间点t的观测值,α是一个介于(0,1)之间的权重系数,St-1是上一个拟合时间点t-1的拟合值。由公式(2)可以看出,EMA的一个好处就是,可以由目标拟合时间点的观测值和上一拟合时间点的EMA值,计算出目标拟合时间点的EMA值,相比需要知道所有观测值,才能计算出的算术平均值,EMA节省了很多存储空间,且计算简单。
对上述公式(2)进行展开可以得到公式(3):
St=α[Yt-1+(1-α)Yt-2+(1-α)2Yt-3+…+(1-α)kYt-(k+1)]+(1-α)kSt-(k+1) (3)
其中,St为目标拟合时间点t所对应的拟合值,(1-α)k为拟合时间点t-(k+1)的观测值所对应的历史权重值,St-(k+1)是拟合时间点t-(k+1)的拟合值。
上述实施例中,计算机设备通过确定历史目标数据在不同历史时间点所对应的历史权重值,基于各历史权重值对历史目标数据在不同历史时间点进行加权处理,得到各个历史时间点所对应的拟合值,从而实现对历史数据的更加准确地拟合,进而可以基于历史目标数据的拟合值和历史目标数据确定出用于监测目标数据状态的动态阈值区域,实现对目标数据的动态监测,提高对目标数据监测的准确性。
S606,确定历史目标数据和历史目标数据的拟合值之间的差值。
其中,历史目标数据和历史目标数据的拟合值之间的差值包括绝对差值、平均差值和平方差值,绝对差值具体为平均绝对差值,平方差值具体可以是标准差值。
在一个实施例中,计算机设备在得到历史目标数据和历史目标数据的拟合值之后,采用公式(4)计算历史目标数据的观测值与历史目标数据的拟合值之间的平均绝对差值:
其中,mae为平均绝对差值,St为目标拟合时间点t所对应的拟合值,Yt为目标拟合时间点t所对应的观测值,n为历史目标数据对应的历史时间点的个数。
在一个实施例中,计算机设备在得到历史目标数据和历史目标数据的拟合值之后,采用公式(5)计算历史目标数据的观测值与历史目标数据的拟合值之间的标准差值:
其中,std为标准差值,St为目标拟合时间点t所对应的拟合值,Yt为目标拟合时间点t所对应的观测值,n为历史目标数据对应的历史时间点的个数,μ为历史目标数据和历史目标数据的拟合值之间的平均差值,μ具体可以采用公式(6)进行计算得到:
其中,μ为历史目标数据和历史目标数据的拟合值之间的平均差值,St为目标拟合时间点t所对应的拟合值,Yt为目标拟合时间点t所对应的观测值,n为历史目标数据对应的历史时间点的个数。
S608,依据差值和预设加权值确定动态权重值。
在一个实施例中,计算机设备在计算出历史目标数据和历史目标数据的拟合值之间的绝对差值和平方差值之后,基于预设加权值对平方差值进行加权处理,得到加权平方差值;将加权平方差值与绝对差值之间的和值确定为动态权重值。
其中,预设加权值可以是用户预先设置的针对目标数据的权重值。
具体地,计算机设备可以通过公式(7)计算加权平方差值:
s=scale·std (7)
其中,s为加权平方差值,scale为预设加权值,std为标准差值。
计算机设备在计算出加权平法差值之后,还可以通过公式(8)计算出动态权重值:
β=(mae+s)=(mae+scale·std) (8)
其中,β为动态权重值,mae为平均绝对差值,s为加权平方差值,scale为预设加权值,std为标准差值。
上述实施例中,计算机设备通过基于预设加权值对平方差值进行加权处理,得到加权平方差值;将加权平方差值与绝对差值之间的和值确定为动态权重值,进而可以基于动态权重值确定出用于监测目标数据状态的动态阈值区域,实现对目标数据的动态监测,提高对目标数据监测的准确性。
S610,基于动态权重值和所获取的历史目标数据,确定用于监测目标数据状态的动态阈值区域。
具体地,计算机设备在计算出动态权重值之后,基于动态权重值和历史目标数据中各个历史时间点的观测值,确定各个历史时间点所对应的上边界值和下边界值,并基于各个历史时间点所对应的上边界值和下边界值,确定出当前时间段内各个时间点所对应的上边界值和下边界值,基于当前时间段内各个时间点所对应的上边界值和下边界值分别生成上边界和下边界,并将上边界和下边界之间的区域确定为用于监测目标数据状态的动态阈值区域。
在一个实施例中,计算机设备将历史目标数据与动态权重值之间的和值,确定为动态阈值区域中动态阈值的上边界值;将历史目标数据与动态权重值之间的差值,确定为动态阈值区域中动态阈值的下边界值,并在相应于数据变化曲线的显示位置处,展示基于上边界值和下边界值确定的、用于监测目标数据状态的动态阈值区域。
具体地,计算机设备通过公式(9)计算各个历史时间点所对应的上边界值:
Th-Upt=Yt+β=Yt+(mae+scale·std) (9)
其中,Th-Upt为历史时间点t所对应的上边界值,Yt为历史时间点t所对应的观测值,mae为平均绝对差值,scale为预设加权值,std为标准差值。
计算机设备通过公式(10)计算各个历史时间点所对应的下边界值:
Th-Downt=Yt-β=Yt-(mae+scale·std) (10)
其中,Th-Downt为历史时间点t所对应的下边界值,Yt为历史时间点t所对应的观测值,mae为平均绝对差值,scale为预设加权值,std为标准差值。
在一个实施例中,计算机设备在得到各个历史时间点所对应的上边界值和下边界值之后,通过公式(11)确定出当前时间段内各个时间点所对应的上边界值和下边界值:
其中,T为目标数据的数据观测周期,kT表示k个数据观测周期T,t+kT为当前时段中与历史时间点t相差k个数据观测周期T的时间点,Th-Upt为历史时间点t所对应的上边界值,Th-Upt+kT为当前时段中时间点t+kT对应的上边界值,Th-Downt为历史时间点t所对应的下边界值,Th-Downt+kT为当前时段中时间点t+kT对应的下边界值。比如,目标数据为具有周期性的数据,数据观测周期与目标数据的周期一致,目标数据的周期性为7天,则对应的数据观测周期也为7天,则将历史目标数据的历史周中的周一上午十点所对应的上边界值,确定为目标数据当前周中的周一上午十点所对应的上边界值,则将历史目标数据的历史周中的周一上午十点所对应的下边界值,确定为目标数据当前周中的周一上午十点所对应的下边界值。
上述实施例中,计算机设备通过获取在历史时段内所产生的历史目标数据;通过时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值;确定所述历史目标数据和所述历史目标数据的拟合值之间的差值;依据所述差值和预设加权值确定所述动态权重值,从而可以基于动态权重值和所获取的历史目标数据,确定出用于监测目标数据状态的动态阈值区域,进而可以实现基于动态阈值区域对目标数据的动态监测,提高了对目标数据监测的准确性。
在一个实施例中,计算机设备通过数据监测页面显示数据变化曲线,并在数监测页面上显示监测参数,其中所显示的监测参数还包括灵敏度参数,计算机设备在基于预设加权值对平方差值进行加权处理之前,还可以基于灵敏度参数调整预设加权值,得到调整后的预设加权值,探后基于调整后的预设加权值对平方差值进行加权处理。
其中,灵敏度参数影响基于动态阈值区域进行异常提示的敏感程度,因此也可以将灵敏度参数称谓动态阈值的敏感度参数。灵敏度参数包括高、中和低三种参数,当灵敏度参数为高时,动态阈值区域对目标数据的数据变化曲线比较敏感,容易触发异常提示;当灵敏度参数为中时,动态阈值区域对目标数据的变化曲线敏感程度适中,触发异常提示的次数也适中;当灵敏度参数为高时,动态阈值区域对目标数据的变化曲线敏感程度较低,不易触发异常提示。
具体地,计算机设备在基于灵敏度参数调整预设加权值包括以下步骤:当灵敏度参数为高时,将预设加权值调小,得到调整后的预设加权值;当灵敏度参数为中时,将预设加权值保持不变;当灵敏度参数为高时,将预设加权值调大,得到调整后的预设加权值。
上述实施例中,计算机设备通过基于灵敏度参数条调整预设加权值,从而可以基于调整后预设加权值对平方差值进行加权处理,进而实现对动态阈值区域的调整,从而调整异常提示的触发频次,使得异常提示的触发频次更好地符合实际需求,提高了对目标数据检测的效率。
在一个实施例中,用户可以直接在数据监测页面对灵敏度参数进行配置,比如直接在数据监测页面,选择监测目标数据时所需要的灵敏度参数;或者通过触发数据监测页面中的灵敏度参数配置控件,计算机设备响应于对灵敏度参数配置控件的触发操作,进行入灵敏度参数配置页面,参考图8所示的灵敏度配置页面,灵敏度参数配置页面中展示有灵敏度配置滑块,用户可以拖动灵敏度配置滑块实现对灵敏度参数的配置,其中,灵敏度参数的取值可以在0-100%之间进行调整。
在一个实施例中,用户可以在数据监测页面配置所要监测的目标数据,计算机设备响应于在数据监测页面上触发的配置操作,获取所要监测的目标数据,并根据预先存储的监测数据与灵敏度对应关系,确定与所要监测的目标数据所对应的灵敏度参数。其中监测数据与灵敏度对应关系可以是函数映射关系。
上述实施例中,计算机设备通过为用户提供配置度参数的页面,使得用户可以根据对目标数据的监测需求配置相应的灵敏度参数,从而调整基于动态阈值区域触发异常提示的频次,使得异常提示的频次更好地符合对目标数据的监测需求,提高了对目标数据检测的效率。
在一个实施例中,计算机设备对历史目标数据进行缺失值填充处理的过程包括以下步骤:若历史目标数据中出现数据缺失,确定与缺失的数据对应的填充数据;将填充数据添加至历史目标数据的缺失位置。
具体地,计算机设备在得到历史目标数据之后,确定该历史数据中是否出现观测值缺失,若存在观测值缺失,则确定缺失的观测值所对应的缺失时间点,并基于缺失时间点在历史目标数据的时间序列中的位置,确定与缺失的观测值所对应的填充数据,并将填充数据确定为缺失时间点所对应的观测值。
参考图7所示的数据缺失示意图,图中虚线表示数据缺失,具体包括数据头部缺失、数据中间缺失和数据尾部缺失三中数据缺失场景,针对数据头部缺失的场景,计算机设备可将历史目标数据中第一个出现的观测值或者预先设置的默认头部数值确定为填充值,并将该填充值添加至历史目标数据的头部位置;针对数据中间缺失的场景,计算机设备可采用预先设置的默认中间数值填充、众数填充、平均值填充、线性插值等方式进行缺失值填充处理;针对数据尾部缺失的场景,计算机设备可将历史目标数据中最后一个出现的观测值或者预先设置的默认尾部数值确定为填充值,并将该填充值添加至历史目标数据的尾部位置。
在一个实施例中,计算机设备对历史目标数据进行缺失值填充处理的过程包括以下步骤:若历史目标数据中出现数据缺失,采用STL时间序列分解方法对历史目标数据进行周期项、趋势项分解,并利用提取出的周期项对缺失值进行填充。
上述实施例中,在历史目标数据中出现数据缺失时,计算机设备通过确定与缺失的数据对应填充数据,并将填充数据添加至历史目标数据的缺失位置,进而可以对添加填充数据的历史目标数据进行拟合,从而达到更好的拟合效果,进而使得基于拟合结果所确定出的动态阈值区域能够更加准确,提高了对目标数据动态监测的准确性。
在一个实施例中,计算机设备对历史目标数据进行异常值替换的过程包括以下步骤:若历史目标数据中出现数据异常,确定历史目标数据中的异常值、上分位值和下分位值;当异常值大于上分位值时,将异常值进行上分位值替换处理;当异常值小于下分位值时,将异常值进行下分位值替换处理。
其中,分位值是统计学中随机变量的特征数之一,本申请实施例中,计算机设备在得到历史目标数据之后,可以以观测值为横坐标,以各观测值所出现的次数为纵坐标,确定历史目标数据中观测值的分布曲线,并将分布曲线与横轴包围的面积沿横轴按照预设等分数量进行等分,得到若干分位值。比如预设等分数量为100,则对分布曲线进行等分后可得到99个分位值,其中,各个分位值中最大则为上99分位值,最小的则为下99分位值。
具体地,计算机设备可以采用99分位确定出历史目标数据中的上99分位值和下99分位值,并将大于上99分位值的历史观测值确定为上异常历史观测值,将小于下99分位值的历史观测值确定为下异常历史观测值,将上异常历史观测值替换为上99分位值,将下异常历史观测值替换为下99分位值,从而得到异常值替换后的历史目标数据。
上述实施例中,计算机设备通过确定历史目标数据中的异常值、上分位值和下分位值;当异常值大于上分位值时,将异常值进行上分位值替换处理;当异常值小于下分位值时,将异常值进行下分位值替换处理,进而可以异常值处理后的历史目标数据进行拟合,从而达到更好的拟合效果,进而使得基于拟合结果所确定出的动态阈值区域能够更加准确,提高了对目标数据动态监测的准确性。
在一个实施例中,计算机设备对历史目标数据进行异常值替换的过程包括以下步骤:若历史目标数据中出现数据异常,则采用3-sigma的方式确定历史目标数据中的异常值,并对历史数据中的异常值进行替换,得到异常值替换后的历史目标数据。
在一个实施例中,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,还可以对各上边界值和下边界值进行调整,根据调整后的上边界值和下边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示。
在一个实施例中,目标数据为资源利用率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,当存在下边界值小于零时,则将下边界值修改为不小于零的值,并根据调整后的下边界值和上边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,对在工作过程中产生的资源利用率发出异常提示。
在一个实施例中,目标数据为资源利用率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,可以直接将各个下边界值修改为零,并根据调整后的下边界值和上边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,对在工作过程中产生的资源利用率发出异常提示。
在一个实施例中,目标数据为资源利用率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,当不存在下边界值小于零时,则确定各下边界值中的最小下边界值,并将各个下边界值修改为最小下边界值,并根据调整后的下边界值和上边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,对在工作过程中产生的资源利用率发出异常提示。
参考图9所示的数据监测页面和图10所示的数据监测页面,图9中的动态阈值区域的下边界未进行调整,图10的动态阈值区域是对图9中的动态阈值区域的下边界进行调整后所得到的。
上述实施例中,当目标数为资源利用率时,计算机设备通过将下边界值修改为不小于零的值,并在数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,对在工作过程中所产生的资源利用率发出异常提示,从而可以实现对资源利用率更好的动态监测,提高了对资源利用率监测的准确性。
在一个实施例中,目标数据为业务成功率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,当存在上边界值大于一时,则将该上边界值修改为不大于一的值,并根据调整后的上边界值和下边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,对在工作过程中产生的业务成功率发出异常提示。
在一个实施例中,目标数据为资源利用率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,可以直接将各个上边界值修改为一,并根据调整后的上边界值和下边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,对在工作过程中产生的业务成功率发出异常提示。
在一个实施例中,目标数据为资源利用率,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,则确定各上边界值中的最大上边界值,并将各个上边界值修改为最大下边界值,并根据调整后的上边界值和下边界值确定出动态阈值区域,并对所确定的动态阈值区域进行展示,当数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,对在工作过程中产生的业务成功率发出异常提示。
上述实施例中,当目标数为业务成功率时,计算机设备通过将上边界值修改为不大于一的值,并在数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,对在工作过程中所产生的业务成功率发出异常提示,从而可以实现对业务成功率更好的动态监测,提高了对业务成功率监测的准确性。
在一个实施例中,计算机设备在计算出当前时段内各时间点所对应的上边界值和下边界值之后,还可以获取预配置的静态上边界值和静态下边界值;将静态上边界值分别与每个不同时间点的上边界值进行对比,并从对比的结果中选取最小值作为动态阈值区域中动态阈值的上边界值;以及,将静态下边界值分别与每个不同时间点的下边界值进行对比,并从对比的结果中选取最大值作为动态阈值区域中动态阈值的下边界值。
上述实施例中,计算机设备基于配置的静态上边界值和静态下边界值,以及计算出的上边界值和下边界值,确定出动态阈值区域的动态阈值的上下边界值,使得最终所确定出的动态阈值区域能够更好的实现对目标数据的动态监测,提高了对目标数据监测的准确性。
在一个实施例中,如图11所示,提供了一种数据动态监测方法,以该方法应用于图1中的计算机设备(包括终端和服务器)为例进行说明,包括以下步骤:
S1102,显示数据监测页面;数据监测页面上还显示监测参数,监测参数包括预设时间阈值和灵敏度参数。
S1104,响应于在数据监测页面上触发的配置操作,在数据监测页面的配置区域显示监测参数。
S1106,将在工作过程中所产生的目标数据的数据变化曲线,显示于数据监测页面的内容显示区域。
S1108,响应于触发的动态监测操作,获取在历史时段内所产生的历史目标数据。
S1110,通过时间序列模型对历史目标数据进行拟合,得到历史目标数据的拟合值。
S1112,确定历史目标数据和历史目标数据的拟合值之间的绝对差值和平方差值。
S1114,基于灵敏度参数调整预设加权值,得到调整后的加权平方差值。
S1116,基于调整后的加权平方差值预设加权值对平方差值进行加权处理,得到加权平方差值。
S1118,将加权平方差值与绝对差值之间的和值确定为动态权重值。
S1120,基于动态权重值和所获取的历史目标数据,确定当前时段中各个时间点对应的上边界值和下边界值。
S1122,对上边界值和下边界值进行调整,根据调整后的上边界值和下边界值确定用于监测目标数据状态的动态阈值区域。
S1124,在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域。
S1126,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示。
本申请还提供一种应用场景,该应用场景应用上述的数据动态监测方法。
具体地,该数据动态监测方法在该应用场景的应用如下:
用户可以通过终端配置对CPU利用率的数据采集周期,并向服务器发送CPU利用率监测请求,服务器按照CPU利用率监测请求中的数据采集周期,采集被监测计算机设备在工作过程中的CPU利用率的观测值,并将所采集的CPU利用率的观测值和对应的观测时间点发送给终端,终端基于所接收到的CPU利用率的观测值和对应的观测时间点生成CPU利用率变化曲线,并将该CPU利用率变化曲线显示于数据监测页面,终端响应于数据监测页面触发的动态监测操作,向服务器发送动态阈值获取请求,服务器基于动态阈值获取请求中获取历史时段内的历史CPU利用率的历史观测值和对应的观测时间点,并根据历史CPU利用率的历史观测值和对应的观测时间点确定用于监测当前时段内CPU利用率的状态的动态阈值区域,并通过终端在相应于CPU利用率变化曲线的显示位置处,展示所确定的动态阈值区域,当CPU利用率变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,则对在工作过程中所产生的CPU利用率发出异常提示。
本申请还提供一种应用框架,该应用框架用于确定动态阈值区域。具体地,通过该应用框架实现确定动态阈值区域步骤的过程如下:
参考图12所示的应用框架图,计算机设备采集历史目标数据,并对历史目标数据进行异常值处理和/或缺失值处理,得到预处理后历史目标数据,然后对预处理后历史目标数据进行中心化移动平均处理,得到平滑处理后的历史目标数据,然后采用EWMA拟合方法对平滑处理后的历史目标数据进行拟合,得到历史目标数据所对应的拟合值,获取用户设置的灵敏度参数,基于灵敏度参数和所得到的拟合值计算出初始动态阈值区域的上下边界值,然后采用边界缩放或者结合静态阈值对计算出的上下边界值进行调整,得到用于监测目标数据状态的动态阈值区域。
应该理解的是,虽然图2、图6和图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图6和图11中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种数据动态监测装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:数据变化曲线显示模块1302、动态阈值区域展示模块1304和异常提示模块1306,其中:
数据变化曲线显示模块1302,用于显示在工作过程中所产生的目标数据的数据变化曲线。
动态阈值区域展示模块1304,用于响应于触发的动态监测操作,在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域;动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得。
异常提示模块1306,用于当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的目标数据发出异常提示。
上述实施例中,计算机设备在显示在工作过程中所产生的目标数据的数据变化曲线之后,通过响应于触发的动态监测操作,生成动态阈值以确定异常数据,从而在相应于数据变化曲线的显示位置处,展示用于监测目标数据状态的动态阈值区域;其中,动态阈值区域中动态阈值的上下边界值是基于动态权重值和目标数据中的历史目标数据所得,动态权重值是依据历史目标数据与历史目标数据的拟合值所得,当数据变化曲线超出动态阈值区域、且超出动态阈值区域的时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示,从而实现对目标数据的动态监测,提高了对目标数据监测的准确性。
在一个实施例中,数据变化曲线显示模块1302还用于:显示数据监测页面;响应于在数据监测页面上触发的配置操作,在数据监测页面的配置区域显示监测参数;监测参数用于触发异常提示;将在工作过程中所产生的目标数据的数据变化曲线,显示于数据监测页面的内容显示区域。
上述实施例中,计算机设备通过显示数据监测页面,响应于在数据监测页面上触发的配置操作,在数据检测页面的配置显示区域显示监测参数,从而既可以方便用户进行监测参数的配置,进而基于所配置的监测参数触发异常提示,又可以方便用户实时查看到监测参数,进而对存在的异常进行溯源分析。
在一个实施例中,监测参数包括预设时间阈值;异常提示模块1306,还用于:当数据变化曲线超出动态阈值区域的上边界或下边界时,对超出上边界或下边界的数据变化曲线进行突出显示;以及,获取超出上边界或下边界时所对应的时长;当时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示。
上述实施例中,计算机设备通过超出上边界或下边界的数据变化曲线进行突出显示;以及,获取超出上边界或下边界时所对应的时长;当时长达到预设时间阈值时,则对在工作过程中所产生的目标数据发出异常提示,从而能够使得用户及时查看目标数据所发生的异常情况,进而可以及时对异常现象进行处理。
在一个实施例中,如图14所示,装置还包括:动态权重值确定模块1308,其中:动态权重值确定模块1308,用于获取在历史时段内所产生的历史目标数据;通过时间序列模型对历史目标数据进行拟合,得到历史目标数据的拟合值;确定历史目标数据和历史目标数据的拟合值之间的差值;依据差值和预设加权值确定动态权重值。
上述实施例中,计算机设备通过获取在历史时段内所产生的历史目标数据;通过时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值;确定所述历史目标数据和所述历史目标数据的拟合值之间的差值;依据所述差值和预设加权值确定所述动态权重值,从而可以基于动态权重值和所获取的历史目标数据,确定出用于监测目标数据状态的动态阈值区域,进而可以实现基于动态阈值区域对目标数据的动态监测,提高了对目标数据监测的准确性。
在一个实施例中,差值包括绝对差值和平方差值;动态权重值确定模块1308,还用于:基于预设加权值对平方差值进行加权处理,得到加权平方差值;加权平方差值与绝对差值之间的和值确定为动态权重值。
在一个实施例中,上下边界值包括上边界值和下边界值;如图14所示,装置还包括:边界值确定模块1312,用于将历史目标数据与动态权重值之间的和值,确定为动态阈值区域中动态阈值的上边界值;将历史目标数据与动态权重值之间的差值,确定为动态阈值区域中动态阈值的下边界值;动态阈值区域展示模块1304,还用于:在相应于数据变化曲线的显示位置处,展示基于上边界值和下边界值确定的、用于监测目标数据状态的动态阈值区域。
上述实施例中,计算机设备通过基于预设加权值对平方差值进行加权处理,得到加权平方差值;将加权平方差值与绝对差值之间的和值确定为动态权重值,进而可以基于动态权重值确定出用于监测目标数据状态的动态阈值区域,实现对目标数据的动态监测,提高对目标数据监测的准确性。
在一个实施例中,数据变化曲线显示于数据监测页面;数据监测页面上还显示监测参数,监测参数包括灵敏度参数;动态权重值确定模块1308,还用于:基于灵敏度参数调整预设加权值;动态权重值确定模块1308,还用于:基于调整后的预设加权值对平方差值进行加权处理。
上述实施例中,计算机设备通过基于灵敏度参数条调整预设加权值,从而可以基于调整后预设加权值对平方差值进行加权处理,进而实现对动态阈值区域的调整,从而调整异常提示的触发频次,使得异常提示的触发频次更好地符合实际需求,提高了对目标数据检测的效率。
在一个实施例中,如图14所示,装置还包括:数据预处理模块1310,其中:数据预处理模块1310,用于若历史目标数据中出现数据缺失,确定与缺失的数据对应的填充数据;将填充数据添加至历史目标数据的缺失位置;动态权重值确定模块1308,还用于:通过时间序列模型对添加填充数据的历史目标数据进行拟合。
上述实施例中,在历史目标数据中出现数据缺失时,计算机设备通过确定与缺失的数据对应填充数据,并将填充数据添加至历史目标数据的缺失位置,进而可以对添加填充数据的历史目标数据进行拟合,从而达到更好的拟合效果,进而使得基于拟合结果所确定出的动态阈值区域能够更加准确,提高了对目标数据动态监测的准确性。
在一个实施例中,装置还包括:数据预处理模块1310,用于若历史目标数据中出现数据异常,确定历史目标数据中的异常值、上分位值和下分位值;当异常值大于上分位值时,将异常值进行上分位值替换处理;当异常值小于下分位值时,将异常值进行下分位值替换处理;动态权重值确定模块1308,还用于:通过时间序列模型,对经过上分位值替换处理后的历史目标数据和/或下分位值替换处理后的历史目标数据进行拟合。
上述实施例中,计算机设备通过确定历史目标数据中的异常值、上分位值和下分位值;当异常值大于上分位值时,将异常值进行上分位值替换处理;当异常值小于下分位值时,将异常值进行下分位值替换处理,进而可以异常值处理后的历史目标数据进行拟合,从而达到更好的拟合效果,进而使得基于拟合结果所确定出的动态阈值区域能够更加准确,提高了对目标数据动态监测的准确性。
在一个实施例中,历史目标数据包括不同历史时间点的目标数据;动态权重值确定模块1308,还用于:确定不同历史时间点的历史目标数据所对应的历史权重值;基于各历史权重值对不同历史时间点的历史目标数据进行加权处理,得到拟合值。
上述实施例中,计算机设备通过确定历史目标数据在不同历史时间点所对应的历史权重值,基于各历史权重值对历史目标数据在不同历史时间点进行加权处理,得到各个历史时间点所对应的拟合值,从而实现对历史数据的更加准确地拟合,进而可以基于历史目标数据的拟合值和历史目标数据确定出用于监测目标数据状态的动态阈值区域,实现对目标数据的动态监测,提高对目标数据监测的准确性。
在一个实施例中,目标数据包括资源利用率;如图14所示,装置还包括:边界值调整模块1314,其中:边界值调整模块1314,当下边界值小于零时,将下边界值修改为不小于零的值;异常提示模块1306,还用于:当数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,则对在工作过程中所产生的资源利用率发出异常提示。
上述实施例中,当目标数为资源利用率时,计算机设备通过将下边界值修改为不小于零的值,并在数据变化曲线超出动态阈值区域的上边界、且超出上边界的时长达到预设时间阈值时,对在工作过程中所产生的资源利用率发出异常提示,从而可以实现对资源利用率更好的动态监测,提高了对资源利用率监测的准确性。
在一个实施例中,目标数据包括业务成功率;边界值调整模块1314,还用于:当上边界值大于一时,将上边界值修改为不大于一的值;异常提示模块1306,还用于:当数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,则对在工作过程中所产生的业务成功率发出异常提示。
上述实施例中,当目标数为业务成功率时,计算机设备通过将上边界值修改为不大于一的值,并在数据变化曲线超出动态阈值区域的下边界、且超出下边界的时长达到预设时间阈值时,对在工作过程中所产生的业务成功率发出异常提示,从而可以实现对业务成功率更好的动态监测,提高了对业务成功率监测的准确性。
在一个实施例中,边界值调整模块1314,还用于:获取预配置的静态上边界值和静态下边界值;将静态上边界值分别与每个不同时间点的上边界值进行对比,并从对比的结果中选取最小值作为动态阈值区域中动态阈值的上边界值;以及,将静态下边界值分别与每个不同时间点的下边界值进行对比,并从对比的结果中选取最大值作为动态阈值区域中动态阈值的下边界值。
上述实施例中,计算机设备基于配置的静态上边界值和静态下边界值,以及计算出的上边界值和下边界值,确定出动态阈值区域的动态阈值的上下边界值,使得最终所确定出的动态阈值区域能够更好的实现对目标数据的动态监测,提高了对目标数据监测的准确性。
关于数据动态监测装置的具体限定可以参见上文中对于数据动态监测方法的限定,在此不再赘述。上述数据动态监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据动态监测方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据动态监测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15或图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (27)
1.一种数据动态监测方法,其特征在于,所述方法包括:
显示在工作过程中所产生的目标数据的数据变化曲线;所述目标数据为计算机运行中的业务数据或产品数据;
响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得,所述动态权重值通过采用时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值,并确定所述历史目标数据和所述历史目标数据的拟合值之间的差值,依据所述差值和预设加权值确定的;
当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
显示数据监测页面;
响应于在所述数据监测页面上触发的配置操作,在所述数据监测页面的配置区域显示监测参数;所述监测参数用于触发异常提示;
所述显示在工作过程中所产生的目标数据的数据变化曲线包括:
将在工作过程中所产生的目标数据的数据变化曲线,显示于所述数据监测页面的内容显示区域。
3.根据权利要求2所述的方法,其特征在于,所述监测参数包括所述预设时间阈值;所述当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示包括:
当所述数据变化曲线超出所述动态阈值区域的上边界或下边界时,对超出所述上边界或下边界的数据变化曲线进行突出显示;以及,
获取超出所述上边界或所述下边界时所对应的时长;
当所述时长达到所述预设时间阈值时,则对在工作过程中所产生的所述目标数据发出异常提示。
4.根据权利要求1所述的方法,其特征在于,所述差值包括绝对差值和平方差值;所述依据所述差值和预设加权值确定所述动态权重值包括:
基于所述预设加权值对所述平方差值进行加权处理,得到加权平方差值;
将所述加权平方差值与所述绝对差值之间的和值确定为所述动态权重值。
5.根据权利要求4所述的方法,其特征在于,所述数据变化曲线显示于数据监测页面;所述数据监测页面上还显示监测参数,所述监测参数包括灵敏度参数;所述方法还包括:
基于所述灵敏度参数调整所述预设加权值;
所述基于所述预设加权值对所述平方差值进行加权处理包括:
基于调整后的所述预设加权值对所述平方差值进行加权处理。
6.根据权利要求1所述的方法,其特征在于,所述采用时间序列模型对所述历史目标数据进行拟合之前,所述方法还包括:
若所述历史目标数据中出现数据缺失,确定与缺失的数据对应的填充数据;
将所述填充数据添加至所述历史目标数据的缺失位置;
所述通过时间序列模型对所述历史目标数据进行拟合包括:
通过时间序列模型对添加所述填充数据的历史目标数据进行拟合。
7.根据权利要求1所述的方法,其特征在于,所述采用时间序列模型对所述历史目标数据进行拟合之前,所述方法还包括:
若所述历史目标数据中出现数据异常,确定所述历史目标数据中的异常值、上分位值和下分位值;
当所述异常值大于所述上分位值时,将所述异常值进行上分位值替换处理;
当所述异常值小于所述下分位值时,将所述异常值进行下分位值替换处理;
所述通过时间序列模型对所述历史目标数据进行拟合包括:
通过时间序列模型,对经过上分位值替换处理后的历史目标数据和/或下分位值替换处理后的历史目标数据进行拟合。
8.根据权利要求1所述的方法,其特征在于,所述历史目标数据包括不同历史时间点的目标数据;所述通过时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值包括:
确定不同历史时间点的所述历史目标数据所对应的历史权重值;
基于各所述历史权重值对不同历史时间点的所述历史目标数据进行加权处理,得到所述拟合值。
9.根据权利要求1所述的方法,其特征在于,所述上下边界值包括上边界值和下边界值;所述方法还包括:
将所述历史目标数据与所述动态权重值之间的和值,确定为所述动态阈值区域中动态阈值的上边界值;
将所述历史目标数据与所述动态权重值之间的差值,确定为所述动态阈值区域中动态阈值的下边界值;
所述在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域包括:
在相应于所述数据变化曲线的显示位置处,展示基于所述上边界值和所述下边界值确定的、用于监测所述目标数据状态的动态阈值区域。
10.根据权利要求9所述的方法,其特征在于,所述目标数据包括资源利用率;所述方法还包括:
当所述下边界值小于零时,将所述下边界值修改为不小于零的值;
所述当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,则对在工作过程中所产生的所述目标数据发出异常提示包括:
当所述数据变化曲线超出所述动态阈值区域的上边界、且超出所述上边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述资源利用率发出异常提示。
11.根据权利要求9所述的方法,其特征在于,所述目标数据包括业务成功率;所述方法还包括:
当所述上边界值大于一时,将所述上边界值修改为不大于一的值;
所述当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示包括:
当所述数据变化曲线超出所述动态阈值区域的下边界、且超出所述下边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述业务成功率发出异常提示。
12.根据权利要求9所述的方法,其特征在于,所述方法还包括:
获取预配置的静态上边界值和静态下边界值;
将所述静态上边界值分别与每个不同时间点的所述上边界值进行对比,并从对比的结果中选取最小值作为所述动态阈值区域中动态阈值的上边界值;以及,
将所述静态下边界值分别与每个不同时间点的所述下边界值进行对比,并从对比的结果中选取最大值作为所述动态阈值区域中动态阈值的下边界值。
13.一种数据动态监测装置,其特征在于,所述装置包括:
数据变化曲线显示模块,用于显示在工作过程中所产生的目标数据的数据变化曲线;所述目标数据为计算机运行中的业务数据或产品数据;
动态阈值区域展示模块,用于响应于触发的动态监测操作,在相应于所述数据变化曲线的显示位置处,展示用于监测所述目标数据状态的动态阈值区域;所述动态阈值区域中动态阈值的上下边界值是基于动态权重值和所述目标数据中的历史目标数据所得;
动态权重值确定模块,用于通过采用时间序列模型对所述历史目标数据进行拟合,得到所述历史目标数据的拟合值,并确定所述历史目标数据和所述历史目标数据的拟合值之间的差值,依据所述差值和预设加权值确定的所述动态权重值;
异常提示模块,用于当所述数据变化曲线超出所述动态阈值区域、且超出所述动态阈值区域的时长达到预设时间阈值时,对在工作过程中所产生的所述目标数据发出异常提示。
14.根据权利要求13所述的装置,其特征在于,所述数据变化曲线显示模块,还用于:
显示数据监测页面;
响应于在所述数据监测页面上触发的配置操作,在所述数据监测页面的配置区域显示监测参数;所述监测参数用于触发异常提示;
将在工作过程中所产生的目标数据的数据变化曲线,显示于所述数据监测页面的内容显示区域。
15.根据权利要求14所述的装置,其特征在于,所述监测参数包括所述预设时间阈值;所述异常提示模块,还用于:
当所述数据变化曲线超出所述动态阈值区域的上边界或下边界时,对超出所述上边界或下边界的数据变化曲线进行突出显示;以及,
获取超出所述上边界或所述下边界时所对应的时长;
当所述时长达到所述预设时间阈值时,则对在工作过程中所产生的所述目标数据发出异常提示。
16.根据权利要求13所述的装置,其特征在于,所述差值包括绝对差值和平方差值;所述动态权重值确定模块,还用于:
基于所述预设加权值对所述平方差值进行加权处理,得到加权平方差值;
将所述加权平方差值与所述绝对差值之间的和值确定为所述动态权重值。
17.根据权利要求16所述的装置,其特征在于,所述数据变化曲线显示于数据监测页面;所述数据监测页面上还显示监测参数,所述监测参数包括灵敏度参数;所述动态权重值确定模块,还用于:
基于所述灵敏度参数调整所述预设加权值;
基于调整后的所述预设加权值对所述平方差值进行加权处理。
18.根据权利要求13所述的装置,其特征在于,所述采用时间序列模型对所述历史目标数据进行拟合之前,所述装置还包括:
数据预处理模块,用于若所述历史目标数据中出现数据缺失,确定与缺失的数据对应的填充数据;将所述填充数据添加至所述历史目标数据的缺失位置;
所述动态权重值确定模块还用于:
通过时间序列模型对添加所述填充数据的历史目标数据进行拟合。
19.根据权利要求13所述的装置,其特征在于,所述采用时间序列模型对所述历史目标数据进行拟合之前,所述装置还包括数据预处理模块,用于:
若所述历史目标数据中出现数据异常,确定所述历史目标数据中的异常值、上分位值和下分位值;
当所述异常值大于所述上分位值时,将所述异常值进行上分位值替换处理;
当所述异常值小于所述下分位值时,将所述异常值进行下分位值替换处理;
所述动态权重值确定模块,用于:
通过时间序列模型,对经过上分位值替换处理后的历史目标数据和/或下分位值替换处理后的历史目标数据进行拟合。
20.根据权利要求13所述的装置,其特征在于,所述历史目标数据包括不同历史时间点的目标数据;所述动态权重值确定模块,还用于:
确定不同历史时间点的所述历史目标数据所对应的历史权重值;
基于各所述历史权重值对不同历史时间点的所述历史目标数据进行加权处理,得到所述拟合值。
21.根据权利要求13所述的装置,其特征在于,所述上下边界值包括上边界值和下边界值;所述装置还包括边界值确定模块,用于:
将所述历史目标数据与所述动态权重值之间的和值,确定为所述动态阈值区域中动态阈值的上边界值;
将所述历史目标数据与所述动态权重值之间的差值,确定为所述动态阈值区域中动态阈值的下边界值;
所述动态阈值区域展示模块,还用于:
在相应于所述数据变化曲线的显示位置处,展示基于所述上边界值和所述下边界值确定的、用于监测所述目标数据状态的动态阈值区域。
22.根据权利要求21所述的装置,其特征在于,所述目标数据包括资源利用率;所述装置还包括边界值调整模块,用于:
当所述下边界值小于零时,将所述下边界值修改为不小于零的值;
所述异常提示模块,还用于:
当所述数据变化曲线超出所述动态阈值区域的上边界、且超出所述上边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述资源利用率发出异常提示。
23.根据权利要求22所述的装置,其特征在于,所述目标数据包括业务成功率;所述边界值调整模块,还用于:
当所述上边界值大于一时,将所述上边界值修改为不大于一的值;
所述异常提示模块,还用于:
当所述数据变化曲线超出所述动态阈值区域的下边界、且超出所述下边界的时长达到预设时间阈值时,则对在工作过程中所产生的所述业务成功率发出异常提示。
24.根据权利要求22所述的装置,其特征在于,所述边界值调整模块,还用于:
获取预配置的静态上边界值和静态下边界值;
将所述静态上边界值分别与每个不同时间点的所述上边界值进行对比,并从对比的结果中选取最小值作为所述动态阈值区域中动态阈值的上边界值;以及,
将所述静态下边界值分别与每个不同时间点的所述下边界值进行对比,并从对比的结果中选取最大值作为所述动态阈值区域中动态阈值的下边界值。
25.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
26.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
27.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110354839.5A CN113704048B (zh) | 2021-03-31 | 2021-03-31 | 数据动态监测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110354839.5A CN113704048B (zh) | 2021-03-31 | 2021-03-31 | 数据动态监测方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704048A CN113704048A (zh) | 2021-11-26 |
CN113704048B true CN113704048B (zh) | 2024-06-07 |
Family
ID=78647928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110354839.5A Active CN113704048B (zh) | 2021-03-31 | 2021-03-31 | 数据动态监测方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704048B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024102505A (ja) * | 2023-01-19 | 2024-07-31 | カシオ計算機株式会社 | 電子機器、睡眠状態判定方法及びプログラム |
CN116369874B (zh) * | 2023-03-27 | 2023-12-12 | 浙江想能睡眠科技股份有限公司 | 一种基于床垫数据的人体健康检测方法、系统和存储介质 |
CN116933107B (zh) * | 2023-07-24 | 2024-05-10 | 水木蓝鲸(南宁)半导体科技有限公司 | 数据分布边界确定方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180076172A (ko) * | 2016-12-27 | 2018-07-05 | 주식회사 씨에스리 | 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법 |
CN109446046A (zh) * | 2018-10-24 | 2019-03-08 | 哈工大机器人(山东)智能装备研究院 | 一种基于极差的自适应阈值方法及系统 |
CN111625413A (zh) * | 2020-04-23 | 2020-09-04 | 平安科技(深圳)有限公司 | 指标异常分析方法、装置及存储介质 |
CN112188531A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 异常检测方法、装置、电子设备及计算机存储介质 |
CN112414694A (zh) * | 2020-06-12 | 2021-02-26 | 北京航空航天大学 | 基于多元状态估计技术的设备多级异常状态识别方法及装置 |
WO2021051945A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7092472B2 (en) * | 2003-09-16 | 2006-08-15 | Rambus Inc. | Data-level clock recovery |
GB2470675B (en) * | 2008-06-09 | 2011-05-11 | Gnodal Ltd | Method of data delivery across a network |
US10628475B2 (en) * | 2017-10-03 | 2020-04-21 | International Business Machines Corporation | Runtime control of automation accuracy using adjustable thresholds |
US11341374B2 (en) * | 2018-05-29 | 2022-05-24 | Microsoft Technology Licensing, Llc | Data anomaly detection |
-
2021
- 2021-03-31 CN CN202110354839.5A patent/CN113704048B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180076172A (ko) * | 2016-12-27 | 2018-07-05 | 주식회사 씨에스리 | 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법 |
CN109446046A (zh) * | 2018-10-24 | 2019-03-08 | 哈工大机器人(山东)智能装备研究院 | 一种基于极差的自适应阈值方法及系统 |
CN112188531A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 异常检测方法、装置、电子设备及计算机存储介质 |
WO2021051945A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
CN111625413A (zh) * | 2020-04-23 | 2020-09-04 | 平安科技(深圳)有限公司 | 指标异常分析方法、装置及存储介质 |
CN112414694A (zh) * | 2020-06-12 | 2021-02-26 | 北京航空航天大学 | 基于多元状态估计技术的设备多级异常状态识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的容器网络异常检测;韦玉梅等;《电信技术》;20191231;第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113704048A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113704048B (zh) | 数据动态监测方法、装置、计算机设备和存储介质 | |
US11157782B2 (en) | Anomaly detection in multidimensional time series data | |
Ambrosin et al. | On the feasibility of attribute-based encryption on internet of things devices | |
Grindrod et al. | Communicability across evolving networks | |
Rajagopal et al. | FedSDM: Federated learning based smart decision making module for ECG data in IoT integrated Edge–Fog–Cloud computing environments | |
CN112650762B (zh) | 数据质量监控的方法、装置、电子设备以及存储介质 | |
CN110266752B (zh) | 区块链信息推送方法、装置、计算机设备和存储介质 | |
CN110852374B (zh) | 数据检测方法、装置、电子设备以及存储介质 | |
CN114331761B (zh) | 一种专变采集终端的设备参数分析调整方法及系统 | |
CN106650350B (zh) | 一种身份认证方法及系统 | |
KR20180118597A (ko) | 네트워크 액세스 행동을 식별하는 방법 및 장치, 서버와 저장 매체 | |
US8898808B1 (en) | System and method for assessing effectiveness of online advertising | |
Xuejie et al. | Reliability evaluation of cloud computing systems using hybrid methods | |
CN103258027A (zh) | 基于智能终端的情境感知服务平台 | |
Alcaraz et al. | WASAM: A dynamic wide-area situational awareness model for critical domains in Smart Grids | |
KR20210057080A (ko) | 익명의 생체인식 데이터 및/또는 행동 데이터를 처리하기 위한 시스템 및 방법 | |
US20220215408A1 (en) | Realtime Busyness for Places | |
Kim et al. | Extending data quality management for smart connected product operations | |
CN105426284A (zh) | 监视设备、服务器、监视系统、监视方法和程序记录介质 | |
CN113823396A (zh) | 医疗设备管理方法、装置、计算机设备和存储介质 | |
Wang et al. | Concept drift-based runtime reliability anomaly detection for edge services adaptation | |
Unuvar et al. | Selecting optimum cloud availability zones by learning user satisfaction levels | |
JPWO2021192191A5 (ja) | 異常アクセス予測システム、異常アクセス予測方法および異常アクセス予測プログラム | |
CN114430331A (zh) | 一种基于知识图谱的网络安全态势感知方法及系统 | |
CN118171221A (zh) | 一种基于工业物联网的设备管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |