CN109783324B - 系统运行预警方法及装置 - Google Patents
系统运行预警方法及装置 Download PDFInfo
- Publication number
- CN109783324B CN109783324B CN201811512909.XA CN201811512909A CN109783324B CN 109783324 B CN109783324 B CN 109783324B CN 201811512909 A CN201811512909 A CN 201811512909A CN 109783324 B CN109783324 B CN 109783324B
- Authority
- CN
- China
- Prior art keywords
- monitoring parameter
- log
- data
- sample
- parameter set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及系统监控技术领域,具体揭示了一种系统运行预警方法及装置,包括:获取从所运行系统的日志中所提取的多项运行数据;根据所述多项运行数据统计得到系统监控参数集;通过神经网络模型对所述系统监控参数集进行所述系统的运行状态识别,以确定所述系统的运行状态;若所述运行状态指示所述系统运行异常,则进行所述系统的预警提示。从而实时对系统运行状态进行识别,并对应进行预警,在系统运行异常时可以及时发现。
Description
技术领域
本公开涉及系统监控技术领域,特别涉及一种系统运行预警方法及装置。
背景技术
系统在运行过程中,可能会由于用户访问量过大导致系统出现异常。但是现有技术中,无合理的方法对系统运行情况进行监控预警,仅在系统异常情况严重的时候,直接影响到用户使用的时候,通过用户的反馈获知系统的运行情况,例如有用户反馈系统响应时间长、或者反馈系统无法访问等,然后根据用户的反馈进行系统运行异常的分析处理。一方面无法及时地发现系统的异常运行状态,另一方面,在用户反馈系统异常时,系统的异常情况往往比较严重,从而无法及时发现系统异常的运行状态也导致了系统的维护费用高。
由上可知,如何对系统的运行情况进行监控和预警的问题还有待解决。
发明内容
为了解决相关技术中存在的问题,本公开提供了一种系统运行预警方法及装置。
第一方面,一种系统运行预警方法,包括:
获取从所运行系统的日志中所提取的多项运行数据;
根据所述多项运行数据统计得到系统监控参数集;
通过神经网络模型对所述系统监控参数集进行所述系统的运行状态识别,以确定所述系统的运行状态;
若所述运行状态指示所述系统运行异常,则进行所述系统的预警提示。
第二方面,一种系统运行预警装置,包括:
获取模块,被配置为:获取从所运行系统的日志中所提取的多项运行数据;
统计模块,被配置为:根据所述多项运行数据统计得到系统监控参数集;
识别模块,被配置为:通过神经网络模型对所述系统监控参数集进行所述系统的运行状态识别,以确定所述系统的运行状态;
预警模块,被配置为:若所述运行状态指示所述系统运行异常,则进行所述系统的预警提示。
在一实施例中,所述系统运行预警装置还包括:
监控模块,被配置为:对所运行的所述系统进行日志更新监控;
日志类型标识获取模块,被配置为:如果监控模块监控到日志更新,则获取所更新日志所对应的日志类型标识;
查找模块,被配置为:在配置文件中进行所述日志类型标识所对应数据提取信息的查找;
提取模块,被配置为:如果查找到所述日志类型标识所对应的数据提取信息,则根据所述数据提取信息对所述所更新日志进行若干项所述运行数据的提取;
存储模块,被配置为:将所提取的若干项所述运行数据存储于所配置的数据库表中。
在一实施例中,所述日志类型标识所对应的数据提取信息包括所述运行数据在所述日志类型标识所指示日志类型的日志中的位置信息,所述提取模块包括:
定位单元,被配置为:在所述所更新的日志中根据所述位置信息进行所述运行数据的定位;
输出单元,被配置为:输出所定位到的所述运行数据。
在一实施例中,所述系统运行预警装置还包括:
传输和显示模块,被配置为:将所述系统监控参数集传输至监控端,并可视化显示所述系统监控参数集。
在一实施例中,所述神经网络模型包括特征提取层和分类层,所述识别模块包括:
构建单元,被配置为:通过所述特征提取层构建所述系统监控参数集的特征向量;
分类预测单元,被配置为:通过所述分类层对所述特征向量进行分类预测,得到所述系统的运行标签;
运行状态确定单元,被配置为:根据所述运行标签确定所述系统的运行状态。
在一实施例中,所述系统运行预警装置还包括:
第二获取模块,被配置为:获取若干样本系统监控参数集以及为每一所述样本系统监控参数集所标注的样本运行标签;
训练模块,被配置为:通过所述若干样本系统监控参数集和所标注的所述样本运行标签进行所述神经网络模型的训练,直至所述神经网络模型收敛。
在一实施例中,所述系统运行预警装置还包括:
标注模块,被配置为:若所述运行状态指示所述系统运行异常,则在所述数据库表中对所述多项运行数据进行标注。
第三方面,一种系统运行预警装置,包括:
处理器;及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述的系统运行预警方法。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的系统运行预警方法。
根据从日志中提取的多项运行数据来统计得到系统监控参数集,并通过神经网络模型根据系统监控参数集来对系统的运行状态进行识别,并进行相应的预警提示,由于系统的日志是实时生成的,而且包含了丰富的与系统运行相关的数据,从而实现了实时进行系统运行状态的识别,并在系统运行异常时进行实时的预警。从而可以避免现有技术中在系统运行异常情况严重的时候才发现系统运行异常,从而由于发现不及时所造成的系统维护费用高的问题。而且通过神经网络模型来对进行运行状态的识别,可以保证运行状态的识别的精度,
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种服务器的框图;
图2是根据一示例性实施例示出的一种系统运行预警方法的流程图;
图3是图2对应实施例的步骤S110之前步骤的流程图;
图4是图3对应实施例的步骤S040的流程图;
图5是图2对应实施例的步骤S150的流程图;
图6是图2对应实施例的步骤S150之前步骤的流程图;
图7是根据一示例性实施例示出的一种系统运行预警装置的框图;
图8是根据另一示例性实施例示出的一种系统运行预警装置的框图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述,这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种服务器的框图。具有此硬件结构的服务器200可用于执行本公开的系统运行预警方法,其中系统运行于服务器中,从而为系统的各个终端提供服务,从而在系统运行过程中产生日志,而服务器可以根据所产生的日志按照本公开的方法进行运行预警。当然,本公开系统运行预警方法的执行主体并不限于图1所示的服务器,本公开方法的执行主体还可以是具备逻辑运算处理能力的设备,例如台式电脑、笔记本电脑、由多个服务器构成的服务器集群、云端服务器等,在此不进行具体限定。
需要说明的是,该服务器只是一个适配于本公开的示例,不能认为是提供了对本公开使用范围的任何限制。该服务器也不能解释为需要依赖于或者必须具有图2中示出的示例性的服务器200中的一个或者多个组件。
该服务器的硬件结构可因配置或者性能的不同而产生较大的差异,如图2所示,服务器200包括:电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,CentralProcessing Units)270。
其中,电源210用于为服务器200上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口231、至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等,用于与外部设备通信,例如与终端100进行数据传输。
存储器250作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统251、应用程序253及数据255等,存储方式可以是短暂存储或者永久存储。其中,操作系统251用于管理与控制服务器200上的各硬件设备以及应用程序253,以实现中央处理器270对海量数据255的计算与处理,其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图2中未示出),每个模块都可以分别包含有对服务器200的一系列计算机可读指令。数据255可以是存储于磁盘中的日志等。
中央处理器270可以包括一个或多个以上的处理器,并设置为通过总线与存储器250通信,用于运算与处理存储器250中的海量数据255。
如上面所详细描述的,适用本公开的服务器200将通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成系统运行预警方法。
在示例性实施例中,服务器200可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述系统运行预警方法。因此,实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
图2是根据一示例性实施例示出的一种系统运行预警方法的流程图。该xx方法的适用范围和执行主体(例如,该方法用于图1所示实施环境的移动终端110。如图3所示,该提醒方法,可以由移动终端110执行,可以包括以下步骤:
步骤S110,获取从所运行系统的日志中所提取的多项运行数据。
系统设有多个任务节点,从而在系统运行过程中,在各个任务节点执行对应的逻辑运算,例如接收请求、对请求进行处理、下发指令、传输数据等。同时,系统在运行过程中,根据所进行的逻辑运算,对应生成日志,例如在接收到请求时生成的请求接收日志,用户登录时生成的用户登录日志,对请求成功处理的处理成功日志,等等。因而系统所产生的日志直接与系统的运行相关。
在系统的运行过程中,需要通过系统请求处理失败信息、数据库读写错误、系统所处理的业务请求量等信息来了解系统的运行情况。而本公开的方法即实现了从系统所产生的日志中来提取多项运行数据来对系统的运行状态进行监控,从而实现系统运行预警。
其中运行数据即是从系统所产生的日志中提取的可以用于反映系统运行状态的数据,例如用户登录时间、登录的用户、请求类型、系统的处理结果(成功或失败)、系统针对某一请求的响应时间、系统对某一请求处理失败的原因等信息。为了准确的反映系统的运行状态,单一维度的运行数据并不能准确反应,所以需要利用多项运行数据来统计得到系统监控参数集,从多个维度的数据来反应系统的运行状态。
步骤S130,根据多项运行数据统计得到系统监控参数集。
系统监控参数集是由多个系统监控参数所构成的集合,而每一个系统监控参数是根据所提取的运行数据统计分析得到的。其中系统监控参数例如是系统的请求处理成功的数量、系统请求处理失败的数量、登录用户的数量、某一请求类型下请求处理成功的数量、某一段时间内的系统业务请求总量、系统平均响应的时间、同一原因下的处理失败量等等,针对不同的系统,其中所设定的用于预测系统运行状态所使用的系统监控参数集可以是以上所列举的多个系统监控参数的集合,或者是以上所列举的系统监控参数与其他系统监控参数的集合,在此不进行具体限定。
本公开的系统运行预警方法可以是针对系统运行中的某一个运行节点、某多个运行节点、或者全部的系统运行节点所进行的运行预警。对应的,根据所要进行的运行预警,从系统在对应节点所生成的日志中提取与该节点运行相关的多项运行数据,从而根据所提取的多项运行数据统计分析得到系统监控参数集合。当然,针对不同的运行节点所进行的系统运行预警所使用的多个系统监控参数是与该运行节点相关的。
步骤S150,通过神经网络模型对系统监控参数集进行系统的运行状态识别,以确定系统的运行状态。
其中所采用的神经网络模型可以是循环神经网络模型、卷积神经网络模型、随机森林网络模型、递归神经网络模型等,在此不进行具体限定。
在神经网络模型通过样本进行训练之后,即可对具体的系统监控参数集进行系统的运行状态识别。
系统的运行状态识别即识别系统是否正常运行。对应的,系统的运行状态包括正常运行状态和异常运行状态,在具体实施例中,为了反映系统运行异常的程度,还可以设定多级的异常运行状态,从而可以让监控端根据识别的结果直接了解到系统运行异常的程序。
由于系统监控参数集中包括多个系统监控参数,系统监控参数之间存在相互关联关系,从而通过神经网络模型来根据系统监控参数集进行运行状态识别,而不需要对系统监控参数集中的各个系统监控参数进行分析来确定系统的运行状态,从而保证可以高效快速的识别并确定系统的运行状态。
在一实施例中,神经网络模型包括特征提取层和分类层,如图5所示,步骤S150包括:
步骤S151,通过特征提取层构建系统监控参数集的特征向量。
步骤S152,通过分类层对特征向量进行分类预测,得到系统的运行标签。
步骤S153,根据运行标签确定系统的运行状态。
特征向量是根据系统监控参数集中的各个系统监控参数所构建得到的,用于反映系统监控参数集的特征。
为了确定系统的运行状态,在神经网络模型中配置每一个运行状态对应的运行标签。举例来说,如果系统的运行状态包括系统的正常运行状态和系统的异常运行状态,则分别对系统的正常运行状态配置指示系统正常运行的运行标签,和对系统的异常运行装填配置指示系统运行异常的运行标签。当然,对于系统运行状态包括两种以上的运行状态,则对应的为每个运行状态配置一个运行标签,而运行标签与运行状态是一一对应的,即一个运行标签唯一对应一种运行状态,一种运行状态也唯一对应于一个运行标签。
在步骤S152中,对特征向量进行分类预测,即通过计算分析得到该特征向量对应于每一个运行标签的概率,然后进行遍历每个运行标签的概率,以概率最大值所在的运行标签即得到针对该系统监控参数集所预测得到的系统运行标签。
由于运行标签和运行状态是一一对应的,从而根据所预测得到的运行标签即可确定系统的运行状态。
步骤S170,若运行状态指示系统运行异常,则进行系统的预警提示。
其中预警提示可以是生成预警提示信息,并将该预警提示信息发送至监控端,从而及时提醒监控端系统运行异常,从而可以使监控端的管理员及时采取措施。在具体实施例中,在确定系统的运行状态为系统异常运行时,通过调用所配置的外部接口(例如邮箱接口、电话通信接口、OA办公系统接口等)向监控端的管理员发送提示信息。从而监控端的管理员根据提示信息及时对系统进行分析处理,避免出现更严重的问题,实现异常及时发现及时解决。
根据从日志中提取的多项运行数据来统计得到系统监控参数集,并通过神经网络模型根据系统监控参数集来对系统的运行状态进行识别,并进行相应的预警提示,由于系统的日志是实时生成的,而且包含了丰富的与系统运行相关的数据,从而实现了实时确定系统运行状态,并在系统运行异常时进行实时的预警。从而可以避免现有技术中在系统运行异常情况严重的时候才发现系统运行异常,从而由于发现不及时所造成的系统维护费用高的问题。而且通过神经网络模型来对进行运行状态的识别,可以保证运行状态的识别的精度,
在一实施例中,如图3所示,步骤S110之前,还包括:
步骤S010,对所运行的系统进行日志更新监控。
步骤S020,如果监控到日志更新,则获取所更新日志所对应的日志类型标识。
根据系统所执行的逻辑运算的不同,或者说系统所处理的任务不同,系统对应生成不同日志类型的日志。例如在用户登录到系统后生成的用户登录类型的日志:
20180904-11:21:用户jenny登陆了系统
在对用户所发起的请求处理成功之后生成的处理成功类型的日志:
20180904-14:00:用户Amy发起了产品新建的请求,处理成功,响应时间2.2秒在对用户所发起的请求处理失败之后生成的处理失败类型的日志:
20180904-14:05:用户Jack发起了产品新建的请求,处理失败,失败原因:用户无权限进行此类操作
在一具体实施例中,通过所生成日志中的关键字作为日志类型标识,例如对于用户登录类型的日志,将关键字“登录”作为该登录类型日志的标识,例如在处理成功类型的日志中,将关键字“请求”和“处理成功”作为该处理成功类型日志的标识。
在另一实施例中,可以为每一种日志类型的日志配置唯一的日志类型标识,从而,在日志生成后,根据日志所属的日志类型,将该日志类型对应的日志类型标识添加至日志中,从而可以直接从所生成的日志中获取日志类型标识。例如配置用户登录类型日志的日志类型标识为“1”,配置处理成功类型日志的日志类型标识为“2”,处理失败类型日志的日志类型为“3”等等。
在另一实施例中,还可以通过深度学习的方式来获取日志类型标识。即通过配置日志类型识别的神经网络模型,将日志输入到所配置的神经网络模型中,神经网络模型对所输入的日志进行日志类型识别,从而输出该日志所述日志类型对应的日志类型标识。
步骤S030,在配置文件中进行日志类型标识所对应数据提取信息的查找。
配置文件中包括若干需要运行数据提取的多种日志类型日志所配置的数据提取信息,即配置文件中为每一需要进行运行数据提取的日志类型的日志配置数据提取信息。从而在步骤S020中,获取到所更新日志的日志类型标识后,在配置文件中按照日志类型标识查找该日志类型标识所指示日志类型对应的数据提取信息。
步骤S040,如果查找到日志类型标识所对应的数据提取信息,则根据数据提取信息对所更新日志进行若干项运行数据的提取。
对应于每一种日志类型日志的数据提取信息,其中所要提取的运行数据可以是一项,也可以是多项。例如在用户登录类型的日志:“20180904-11:21:用户jenny登陆了系统”中,可以提取登录时间“20180904-11:21”,以及登录用户“jenny”,所提取得到的登录时间“20180904-11:21”以及登录用户“jenny”即为所提取的运行数据。
在一实施例中,日志类型标识所对应的数据提取信息包括运行数据在日志类型标识所指示日志类型的日志中的位置信息,如图4所示,步骤S040包括:
步骤S041,在所更新的日志中根据位置信息进行运行数据的定位。
步骤S042,输出所定位到的运行数据。
在一具体实施中,某一日志类型日志的数据提取信息是根据该日志类型日志的格式来配置的,即为每一待提取的运行数据配置变量,并利用所配置变量来替代日志中的运行数据,得到该日志类型日志所对应的数据提取信息,即日志类型标识所对应的数据提取信息。从而,该日志类型标识所对应的数据提取信息中包括了每一待提取的运行数据的位置信息。从而,在根据数据提取信息进行运行数据提取时,直接根据位置信息进行运行数据的定位。
举例来说,若需要从用户登录类型的日志中提取登陆时间和登录用户这两项运行数据,则配置得到针对该日志类型的数据提取信息为:
Metrics.login.pattern=%timestamp%:用户%username%登陆了系统
Metrics.login.index=timestamp,username
其中,timestamp为对登录时间这一数据项配置的变量,username为对登录用户这一数据项所配置的变量。在数据提取信息的第一行即实现了在日志中,利用为数据项所配置的变量替换待提取的运行数据。即相当于将该运行数据赋值为所配置的变量。数据提取信息中的第二行即定义了输出的变量,即将需要提取为登陆时间所配置的变量和为登陆用户所配置的变量作为输出变量,从而在按照数据提取信息进行运行数据提取时,首先根据数据提取信息中变量所在的位置定位到所要提取的运行数据,并对应的输出所定位到的运行数据,实现运行数据的提取。
步骤S050,将所提取的若干项运行数据存储于所配置的数据库表中。
即配置数据库表,从而将所提取的运行数据存储于数据库表中,从而在步骤S110中,可以直接从数据库表中获取运行数据。
在一具体实施例中,根据每一进行运行数据提取的日志类型日志配置对应的数据库表,从而来源于该日志类型日志的若干项运行数据存储于该数据库表中。实现了运行数据的结构化存储,从而便于步骤S130中对运行数据进行统计得到系统监控参数集中的各个系统监控参数。
在一实施例中,步骤S130之后,还包括:
将系统监控参数集传输至监控端,并可视化显示系统监控参数集。
由于系统监控参数集中包括多个系统监控参数,从而在监控端,可视化显示各个系统监控参数,便于监控端的管理员可以直观明了地获知各个系统监控参数。其中,可以通过直方图、折线图、扇形图或者直接显示系统监控参数的方式进行可视化显示。
在一实施例中,如图6所示,步骤S150之前,还包括:
步骤S210,获取若干样本系统监控参数集以及为每一样本系统监控参数集所标注的样本运行标签。
步骤S230,通过若干样本系统监控参数集和所标注的样本运行标签进行神经网络模型的训练,直至神经网络模型收敛。
在训练过程中,神经网络模型对每一样本系统监控参数集进行分类预测,得到该样本系统监控参数集的运行标签,如果所预测得到的运行标签与所标注的样本运行标签不相同,则调整神经网络模型的参数,直至所预测得到的运行标签与所标注的样本运行标签一致。
训练一段时间之后,对神经网络模型进行预测精度测试,即将若干样本系统监控参数集输入到神经网络模型中,神经网络模型预测得到每一样本系统监控参数集的运行标签,并将每一样本系统监控参数集的运行标签与对该样本系统监控参数集所标注的样本运行标签进行对比,如果一致,则该神经网络模型对该样本系统监控参数集的预测准确,如果不一致,则该神经网络模型对该样本系统监控参数集的预测错误,从而统计得到神经网络模型的预测准确率(预测准确率=预测准确的测样本系统监控参数集数量/样本系统监控参数集总数量),如果所得到的预测准确率满足设定的准确率要求,则该训练之后的神经网络模型收敛,从而结束该神经网络模型的训练,并将结束训练的神经网络模型用于步骤S150中对系统监控参数集进行运行状态识别。
通过样本系统监控参数集以及对应的样本运行标签对神经网络模型进行训练,从而可以保证神经网络模型的运行状态识别精度。当然,为了进一步提高神经网络模型的识别精度,通过增加神经网络模型训练的时间和/或增加样本系统监控参数集的数量。
在一实施例中,系统运行预警方法还包括:
若运行状态指示系统运行异常,则在数据库表中对多项运行数据进行标注。
每一系统监控参数集是从数据库表中获取的多项运行参数统计得到的,即每一系统监控参数集是来源于从数据库表中所获取的多项运行数据,其中每一系统监控参数集可以是针对指定实际长度内从日志中所提取的多项运行数据,在此不进行具体限定。而在神经网络模型根据系统监控参数集识别到系统运行异常后,则对系统监控参数集所来源的多项运行数据进行标注,例如以醒目颜色,从而便于监控端的管理员在查看数据库表时,可以直接针对数据库表中被标注多项运行数据进行查看和对应分析。
下述为本公开装置实施例,可以部署于图1所示的服务器中用于本公开的系统运行预警方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开系统运行预警方法实施例。
图7是根据一示例性实施例示出的一种系统运行预警装置的框图,该系统运行预警装置可以部署于用于图1所示的装置200中,执行以上系统运行预警方法实施例中任一所示的系统运行预警方法的全部或者部分步骤。如图7所示,该装置包括但不限于:获取模块110、统计模块130、识别模块150以及预警模块170。
获取模块110,被配置为:获取从所运行系统的日志中所提取的多项运行数据。
统计模块130,该模块与获取模块110相连,被配置为:根据多项运行数据统计得到系统监控参数集。
识别模块150,该模块与统计模块130相连,被配置为:通过神经网络模型对系统监控参数集进行系统的运行状态识别,以确定系统的运行状态。
预警模块170,该模块与识别模块150相连,被配置为:若运行状态指示系统运行异常,则进行系统的预警提示。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的中央处理器270所执行的存储在存储器250中的程序。
在一实施例中,系统运行预警装置还包括:
监控模块,被配置为:对所运行的系统进行日志更新监控。
日志类型标识获取模块,被配置为:如果监控模块监控到日志更新,则获取所更新日志所对应的日志类型标识。
查找模块,被配置为:在配置文件中进行日志类型标识所对应数据提取信息的查找。
提取模块,被配置为:如果查找到日志类型标识所对应的数据提取信息,则根据数据提取信息对所更新日志进行若干项运行数据的提取。
存储模块,被配置为:将所提取的若干项运行数据存储于所配置的数据库表中。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
在一实施例中,日志类型标识所对应的数据提取信息包括运行数据在日志类型标识所指示日志类型的日志中的位置信息,提取模块包括:
定位单元,被配置为:在所更新的日志中根据位置信息进行运行数据的定位;
输出单元,被配置为:输出所定位到的运行数据。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
在一实施例中,系统运行预警装置还包括:
传输和显示模块,被配置为:将系统监控参数集传输至监控端,并可视化显示系统监控参数集。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
在一实施例中,神经网络模型包括特征提取层和分类层,识别模块包括:
构建单元,被配置为:通过特征提取层构建系统监控参数集的特征向量;
分类预测单元,被配置为:通过分类层对特征向量进行分类预测,得到系统的运行标签;
运行状态确定单元,被配置为:根据运行标签确定系统的运行状态。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
在一实施例中,系统运行预警装置还包括:
第二获取模块,被配置为:获取若干样本系统监控参数集以及为每一样本系统监控参数集所标注的样本运行标签;
训练模块,被配置为:通过若干样本系统监控参数集和所标注的样本运行标签进行神经网络模型的训练,直至神经网络模型收敛。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
在一实施例中,系统运行预警装置还包括:
标注模块,被配置为:若运行状态指示系统运行异常,则在数据库表中对多项运行数据进行标注。
上述装置中各个模块的功能和作用的实现过程具体详见上述系统运行预警方法中对应步骤的实现过程,在此不再赘述。
可选的,本公开还提供一种系统运行预警装置,该装置可以部署于图1所示的装置200中,执行以上方法实施例中任一所示的系统运行预警方法的全部或者部分步骤。如图8所示,从系统运行预警装置1000包括:
处理器1001;及
存储器1002,存储器1002上存储有计算机可读指令,计算机可读指令被处理器1001执行时实现以上方法实施中任一项的方法。
其中,可执行指令被处理器1001执行时实现以上任一实施例中的方法。其中可执行指令比如是计算机可读指令,在处理器1001执行时,处理器通过与存储器之间所连接的通信线/总线1003读取存储于存储器中的计算机可读指令。
该实施例中的装置的处理器执行操作的具体方式已经在有关该生产数据表标识的方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上任一方法实施例中的从日志中提取数据的方法。其中计算机可读存储介质例如包括计算机程序的存储器250,上述指令可由服务器200的中央处理器270执行以实现上述系统运行预警方法。
该实施例中的处理器执行操作的具体方式已经在有关该系统运行预警方法的实施例中执行了详细描述,此处将不做详细阐述说明。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (4)
1.一种系统运行预警方法,其特征在于,包括:
对所运行的所述系统进行日志更新监控;
如果监控到日志更新,则获取所更新日志所对应的日志类型标识;
在配置文件中进行所述日志类型标识所对应数据提取信息的查找;
所述日志类型标识所对应的数据提取信息包括运行数据在所述日志类型标识所指示日志类型的日志中的位置信息,如果查找到所述日志类型标识所对应的数据提取信息,则在所述所更新的日志中根据所述位置信息进行所述运行数据的定位;输出所定位到的所述运行数据;
将所提取的若干项所述运行数据存储于所配置的数据库表中;
获取从所运行系统的日志中所提取的多项运行数据;
根据所述多项运行数据统计得到系统监控参数集;
将所述系统监控参数集传输至监控端,并可视化显示所述系统监控参数集;
获取若干样本系统监控参数集以及为每一所述样本系统监控参数集所标注的样本运行标签;
通过所述若干样本系统监控参数集和所标注的所述样本运行标签进行神经网络模型的训练,包括:将每一样本系统监控参数集的运行标签与对所述样本系统监控参数集所标注的样本运行标签进行对比,如果一致,则所述神经网络模型对所述样本系统监控参数集的预测准确,如果不一致,则所述神经网络模型对所述样本系统监控参数集的预测错误;根据如下公式计算得到所述神经网络模型的预测准确率:预测准确率=预测准确的测样本系统监控参数集数量/样本系统监控参数集总数量;若所述预测准确率满足设定的准确率要求,则所述神经网络模型收敛;
通过神经网络模型对所述系统监控参数集进行所述系统的运行状态识别,以确定所述系统的运行状态,包括:所述神经网络模型包括特征提取层和分类层,通过所述特征提取层构建所述系统监控参数集的特征向量;
通过所述分类层对所述特征向量进行分类预测,得到所述系统的运行标签;
根据所述运行标签确定所述系统的运行状态;
若所述运行状态指示所述系统运行异常,则进行所述系统的预警提示;并在所述数据库表中对所述多项运行数据进行标注。
2.一种系统运行预警装置,其特征在于,包括:
监控模块,被配置为:对所运行的所述系统进行日志更新监控;
日志类型标识获取模块,被配置为:如果监控到日志更新,则获取所更新日志所对应的日志类型标识;
查找模块,被配置为:在配置文件中进行所述日志类型标识所对应数据提取信息的查找;
定位单元,被配置为:所述日志类型标识所对应的数据提取信息包括运行数据在所述日志类型标识所指示日志类型的日志中的位置信息,如果查找到所述日志类型标识所对应的数据提取信息,则在所述所更新的日志中根据所述位置信息进行所述运行数据的定位;
输出单元,被配置为:输出所定位到的所述运行数据;
存储模块,被配置为:将所提取的若干项所述运行数据存储于所配置的数据库表中;
获取模块,被配置为:获取从所运行系统的日志中所提取的多项运行数据;
统计模块,被配置为:根据所述多项运行数据统计得到系统监控参数集;
传输和显示模块,被配置为:将所述系统监控参数集传输至监控端,并可视化显示所述系统监控参数集;
第二获取模块,被配置为:获取若干样本系统监控参数集以及为每一所述样本系统监控参数集所标注的样本运行标签;
训练模块,被配置为:通过所述若干样本系统监控参数集和所标注的所述样本运行标签进行神经网络模型的训练,包括:将每一样本系统监控参数集的运行标签与对所述样本系统监控参数集所标注的样本运行标签进行对比,如果一致,则所述神经网络模型对所述样本系统监控参数集的预测准确,如果不一致,则所述神经网络模型对所述样本系统监控参数集的预测错误;根据如下公式计算得到所述神经网络模型的预测准确率:预测准确率=预测准确的测样本系统监控参数集数量/样本系统监控参数集总数量;若所述预测准确率满足设定的准确率要求直至,则所述神经网络模型收敛;
识别模块,被配置为:通过神经网络模型对所述系统监控参数集进行所述系统的运行状态识别,以确定所述系统的运行状态;
所述神经网络模型包括特征提取层和分类层,所述识别模块包括:
构建单元,被配置为:通过所述特征提取层构建所述系统监控参数集的特征向量;
分类预测单元,被配置为:通过所述分类层对所述特征向量进行分类预测,得到所述系统的运行标签;
运行状态确定单元,被配置为:根据所述运行标签确定所述系统的运行状态;
预警模块,被配置为:若所述运行状态指示所述系统运行异常,则进行所述系统的预警提示;
标注模块,被配置为:若所述运行状态指示所述系统运行异常,则在所述数据库表中对所述多项运行数据进行标注。
3.一种系统运行预警装置,其特征在于,包括:
处理器;及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1所述的方法。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811512909.XA CN109783324B (zh) | 2018-12-11 | 2018-12-11 | 系统运行预警方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811512909.XA CN109783324B (zh) | 2018-12-11 | 2018-12-11 | 系统运行预警方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109783324A CN109783324A (zh) | 2019-05-21 |
CN109783324B true CN109783324B (zh) | 2022-08-26 |
Family
ID=66495863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811512909.XA Active CN109783324B (zh) | 2018-12-11 | 2018-12-11 | 系统运行预警方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109783324B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389876B (zh) * | 2019-06-18 | 2022-07-19 | 平安科技(深圳)有限公司 | 基础资源容量监管方法、装置、设备及存储介质 |
CN110389840B (zh) * | 2019-07-25 | 2022-02-01 | 中国工商银行股份有限公司 | 负载消耗预警方法、装置、计算机设备和存储介质 |
CN111968735A (zh) * | 2020-01-07 | 2020-11-20 | 济南鸿泰医疗管理集团有限公司 | 一种设备状态管理方法及装置 |
CN111290930A (zh) * | 2020-02-17 | 2020-06-16 | 京东数字科技控股有限公司 | 一种进程处理方法、装置、系统及存储介质 |
CN111580894A (zh) * | 2020-04-02 | 2020-08-25 | 深圳壹账通智能科技有限公司 | 数据分析预警方法、装置、计算机系统及可读存储介质 |
CN114116431B (zh) * | 2022-01-25 | 2022-05-27 | 深圳市明源云科技有限公司 | 系统运行健康检测方法、装置、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其系统、存储介质、电子设备 |
CN108228325A (zh) * | 2017-10-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 应用管理方法和装置、电子设备、计算机存储介质 |
CN108259194A (zh) * | 2016-12-28 | 2018-07-06 | 普天信息技术有限公司 | 网络故障预警方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11226975B2 (en) * | 2015-04-03 | 2022-01-18 | Oracle International Corporation | Method and system for implementing machine learning classifications |
US9973521B2 (en) * | 2015-12-28 | 2018-05-15 | International Business Machines Corporation | System and method for field extraction of data contained within a log stream |
CN105743699A (zh) * | 2016-01-27 | 2016-07-06 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种虚拟化环境的故障预警方法及系统 |
US10289509B2 (en) * | 2016-04-06 | 2019-05-14 | Nec Corporation | System failure prediction using long short-term memory neural networks |
CN107729206A (zh) * | 2017-09-04 | 2018-02-23 | 上海斐讯数据通信技术有限公司 | 告警日志的实时分析方法、系统和计算机处理设备 |
CN108960455B (zh) * | 2018-08-10 | 2022-04-26 | 北京奇虎科技有限公司 | 业务运行状态分析方法、装置、计算设备及存储介质 |
-
2018
- 2018-12-11 CN CN201811512909.XA patent/CN109783324B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108259194A (zh) * | 2016-12-28 | 2018-07-06 | 普天信息技术有限公司 | 网络故障预警方法及装置 |
CN107766299A (zh) * | 2017-10-24 | 2018-03-06 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其系统、存储介质、电子设备 |
CN108228325A (zh) * | 2017-10-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 应用管理方法和装置、电子设备、计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109783324A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783324B (zh) | 系统运行预警方法及装置 | |
US20220036264A1 (en) | Real-time adaptive operations performance management system | |
US20190018729A1 (en) | Anomaly remediation using device analytics | |
US10552390B2 (en) | Root cause analysis of performance problems | |
US20150347212A1 (en) | Error classification in a computing system | |
CN109960635B (zh) | 实时计算平台的监控和报警方法、系统、设备及存储介质 | |
CN110704390B (zh) | 获取服务器维护脚本的方法、装置、电子设备及介质 | |
CN109543891B (zh) | 容量预测模型的建立方法、设备及计算机可读存储介质 | |
US10439876B2 (en) | System and method for determining information technology component dependencies in enterprise applications by analyzing configuration data | |
JP2022100301A (ja) | ソフトウェア・アップグレードがコンピューティング・デバイスに与える潜在的な影響を判定するための方法、コンピュータ・プログラム、および更新推奨コンピュータ・サーバ(ソフトウェア・アップグレードの安定性の推奨) | |
CN111209153B (zh) | 异常检测处理方法、装置及电子设备 | |
CN110716868A (zh) | 异常程序行为检测方法、装置 | |
CN111654495B (zh) | 用于确定流量产生来源的方法、装置、设备及存储介质 | |
CN105164647A (zh) | 生成表示应用对外部服务的故障的模拟的响应的指纹 | |
CN116401113B (zh) | 一种异构众核架构加速卡的环境验证方法、装置及介质 | |
CN117407245A (zh) | 模型训练任务异常检测方法及系统、电子设备和存储介质 | |
CN116975081A (zh) | 一种日志诊断集更新方法、装置、设备及存储介质 | |
CN110177006B (zh) | 基于接口预测模型的节点测试方法及装置 | |
US10637741B2 (en) | Instance usage facilitating system | |
CN115576831A (zh) | 一种测试案例推荐方法、装置、设备及存储介质 | |
US20220398132A1 (en) | Server Classification Using Machine Learning Techniques | |
US10255128B2 (en) | Root cause candidate determination in multiple process systems | |
CN114706856A (zh) | 故障处理方法及装置、电子设备和计算机可读存储介质 | |
US20240256418A1 (en) | Efficient single user metric usage for high precision service incident detection | |
US20240004747A1 (en) | Processor System and Failure Diagnosis Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |