CN109101390B - 基于高斯分布的定时任务异常监控方法、电子装置及介质 - Google Patents

基于高斯分布的定时任务异常监控方法、电子装置及介质 Download PDF

Info

Publication number
CN109101390B
CN109101390B CN201810694778.5A CN201810694778A CN109101390B CN 109101390 B CN109101390 B CN 109101390B CN 201810694778 A CN201810694778 A CN 201810694778A CN 109101390 B CN109101390 B CN 109101390B
Authority
CN
China
Prior art keywords
timing task
preset
current
mean
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810694778.5A
Other languages
English (en)
Other versions
CN109101390A (zh
Inventor
刘洪晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810694778.5A priority Critical patent/CN109101390B/zh
Priority to PCT/CN2018/108209 priority patent/WO2020000738A1/zh
Publication of CN109101390A publication Critical patent/CN109101390A/zh
Application granted granted Critical
Publication of CN109101390B publication Critical patent/CN109101390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种基于高斯分布的定时任务异常监控方法、电子装置及可读存储介质,该方法包括:采集监控的当前定时任务的各个预设参数数据;根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;基于所述概率叠加值分析监控的当前定时任务是否异常。本发明实现智能计算判定出定时任务是否异常,无需由运营人员人工分析判断,节约了人工和时间成本,提高了效率。

Description

基于高斯分布的定时任务异常监控方法、电子装置及介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于高斯分布的定时任务异常监控方法、电子装置及可读存储介质。
背景技术
现有技术中对定时任务进行异常监控时,一般是简单的对资源指标设定阈值,若超过阈值,则向运营人员发布预警提示,由运营人员人工分析来综合判断该定时任务是否异常,这种判断异常的方式不够准确,且需依靠人工分析判断,提高了人工和时间成本,效率低下。
发明内容
本发明的目的在于提供一种基于高斯分布的定时任务异常监控方法、电子装置及可读存储介质,旨在自动准确地判断出异常定时任务。
为实现上述目的,本发明提供一种电子装置,所述电子装置包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的基于高斯分布的定时任务异常监控系统,所述基于高斯分布的定时任务异常监控系统被所述处理器执行时实现如下步骤:
采集监控的当前定时任务的各个预设参数数据;
根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
基于所述概率叠加值分析监控的当前定时任务是否异常。
优选地,所述根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值的步骤包括:
将采集的各个预设参数数据按预设分段转换方式转换成对应的属性数值点,并将转换得到的各个属性数值点代入如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1至an为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点,A1至An为预设归档数据库中所有正常定时任务对应的第1至n个预设参数数据转换后的参考属性数值点的集合;
Gauss(an,mean(An),mean((an-mean(An))^2))为所述当前定时任务中第n个预设参数数据转换后的属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点的出现概率值的叠加值。
优选地,所述基于所述概率叠加值分析监控的当前定时任务是否异常的步骤包括:
若P大于预设概率阈值,则判断所述当前定时任务为正常定时任务;
若P小于或等于预设概率阈值,则判断所述当前定时任务为异常定时任务。
优选地,所述预设参数数据包括:
所述当前定时任务的当前cpu使用率与预先为所述当前定时任务分配的内存使用率的比值、当前内存使用率与磁盘I/O使用率的比值、当前执行时间与历史平均执行时间的比值、当前cpu使用比例与历史cpu使用比例的比值、当前内存使用比例与历史内存使用比例的比值中的至少一个。
此外,为实现上述目的,本发明还提供一种基于高斯分布的定时任务异常监控方法,所述基于高斯分布的定时任务异常监控方法包括:
采集监控的当前定时任务的各个预设参数数据;
根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
基于所述概率叠加值分析监控的当前定时任务是否异常。
优选地,所述根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值的步骤包括:
将采集的各个预设参数数据按预设分段转换方式转换成对应的属性数值点,并将转换得到的各个属性数值点代入如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1至an为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点,A1至An为预设归档数据库中所有正常定时任务对应的第1至n个预设参数数据转换后的参考属性数值点的集合;
Gauss(an,mean(An),mean((an-mean(An))^2))为所述当前定时任务中第n个预设参数数据转换后的属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点的出现概率值的叠加值。
优选地,所述基于所述概率叠加值分析监控的当前定时任务是否异常的步骤包括:
若P大于预设概率阈值,则判断所述当前定时任务为正常定时任务;
若P小于或等于预设概率阈值,则判断所述当前定时任务为异常定时任务。
优选地,该方法还包括:
若判断所述当前定时任务为异常定时任务,则发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端,以提醒运营人员及时处理异常定时任务。
优选地,所述预设参数数据包括:
所述当前定时任务的当前cpu使用率与预先为所述当前定时任务分配的内存使用率的比值、当前内存使用率与磁盘I/O使用率的比值、当前执行时间与历史平均执行时间的比值、当前cpu使用比例与历史cpu使用比例的比值、当前内存使用比例与历史内存使用比例的比值中的至少一个。
进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有基于高斯分布的定时任务异常监控系统,所述基于高斯分布的定时任务异常监控系统可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于高斯分布的定时任务异常监控方法的步骤。
本发明提出的基于高斯分布的定时任务异常监控方法、电子装置及可读存储介质,通过采集监控的当前定时任务的各个预设参数数据;根据预设计算公式计算出所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;基于所述概率叠加值分析监控的当前定时任务是否异常。由于能根据当前定时任务的各个预设参数数据获取其在对应高斯分布的概率空间中的概率值,并依据各个概率值的叠加值来自动判断当前定时任务是否异常,实现智能计算判定出定时任务是否异常,无需由运营人员人工分析判断,节约了人工和时间成本,提高了效率。
附图说明
图1为本发明基于高斯分布的定时任务异常监控系统较佳实施例的运行环境示意图;
图2为本发明基于高斯分布的定时任务异常监控方法一实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种基于高斯分布的定时任务异常监控系统。请参阅图1,是本发明基于高斯分布的定时任务异常监控系统10较佳实施例的运行环境示意图。
在本实施例中,所述的基于高斯分布的定时任务异常监控系统10安装并运行于电子装置1中。该电子装置1可包括,但不仅限于,存储器11、处理器12及显示器13。图1仅示出了具有组件11-13的电子装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器11为至少一种类型的可读计算机存储介质,所述存储器11在一些实施例中可以是所述电子装置1的内部存储单元,例如该电子装置1的硬盘或内存。所述存储器11在另一些实施例中也可以是所述电子装置1的外部存储设备,例如所述电子装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括所述电子装置1的内部存储单元也包括外部存储设备。所述存储器11用于存储安装于所述电子装置1的应用软件及各类数据,例如所述基于高斯分布的定时任务异常监控系统10的程序代码等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器11中存储的程序代码或处理数据,例如执行所述基于高斯分布的定时任务异常监控系统10等。
所述显示器13在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器13用于显示在所述电子装置1中处理的信息以及用于显示可视化的用户界面,例如当前定时任务的各个预设参数数据、当前定时任务是否异常的判断结果等。所述电子装置1的部件11-13通过系统总线相互通信。
基于高斯分布的定时任务异常监控系统10包括至少一个存储在所述存储器11中的计算机可读指令,该至少一个计算机可读指令可被所述处理器12执行,以实现本申请各实施例。
其中,上述基于高斯分布的定时任务异常监控系统10被所述处理器12执行时实现如下步骤:
步骤S1,采集监控的当前定时任务的各个预设参数数据;
步骤S2,根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
步骤S3,基于所述概率叠加值分析监控的当前定时任务是否异常。
本实施例中预先将对定时任务进行异常监控的观测数据整合为若干具有代表性的参数即采集的各个预设参数数据。例如,各个预设参数数据可包括定时任务的当前cpu使用率,或当前cpu使用率与预先为该定时任务分配的内存使用率的比值;该定时任务的当前内存占用大小,或当前内存使用率与磁盘I/O使用率的比值;该定时任务的当前执行时间,或当前执行时间与历史平均执行时间的比值;该定时任务的当前cpu使用比例与历史cpu使用比例的比值;该定时任务的当前内存使用比例与历史使用比例的比值,等等。每个参数都存在着一个高斯分布的概率空间,采集到当前定时任务的各个预设参数数据后,可根据各个预设参数数据获取其在对应高斯分布的概率空间中的概率值,并依据各个概率值来自动判断当前定时任务是否异常。本实施例中能整合出如cpu占用率等各个监控参数,并动态智能计算判定出定时任务是否异常,无需由运营人员人工分析判断。
具体地,由于异常定时任务和正常定时任务在执行时比起来一定会具有较大差异,而正常定时任务在执行时的情况都存在相似性。因此,若将各个定时任务中的若干具有代表性的参数(如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换成各个数值点,则在一定区域内,在历史数据记录的若干正常定时任务中每个出现的点空间内周围存在着一个高斯分布的概率空间。基于此原理,本实施例中,定时任务异常监控系统采集当前定时任务的各个预设参数数据(如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等),并可获取各个预设参数数据对应的数值点,有以下两种可选的实施方式:1、可直接将各个预设参数数据的值作为对应的数值点,例如,当前定时任务的cpu使用率为0.05,则对应的数值点为0.05。2、还可按预设分段转换方式将预设参数数据转换成对应的属性数值点,例如,以分段的方式来转换成数值点,在此以预设参数为“执行时间”来举例说明,如执行时间为0-5分钟的标识为1;5-10分钟的标识为2;10-17分钟的标识为3;18-25分钟的标识为4;25-30分钟的标识为5;30分钟及以上的标识为6。根据不同监控参数的特征,可选择合适的实施方式1或2来进行数值点的转换,在此不做限定。
在过往历史数据的预设归档数据库中保存有曾经进行过定时任务异常判断的历史案例信息,找出历史案例中的所有正常定时任务。在对当前定时任务进行异常监控时,有如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*…Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1,a2至an为需监控的当前定时任务中第1,2至n个预设参数(例如,选择几个较为重要的属性如与当前定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换后的属性数值点,A1,A2至An为预设归档数据库中所有正常定时任务对应的第1,2至n个预设属性信息(与提取的当前定时任务中相同的属性,如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换后的参考属性数值点的集合。公式中,mean(A1)为求A1的均值,决定了高斯分布(即正态分布)概率图的位置,mean((a1-mean(A1))^2)为求a1与mean(A1)的标准差,也是高斯分布(即正态分布)的分布的幅度。Gauss(an,mean(An),mean((an-mean(An))^2))为需监控的当前定时任务中第n个预设参数属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为需监控的当前定时任务中第1,2…n个预设参数属性数值点的出现概率值的叠加值;最终计算得到的P值即为需监控的当前定时任务为正常定时任务的概率。
由于在一定区域内,在历史数据记录的若干正常定时任务中每个出现的点空间内周围存在着一个高斯分布的概率空间,即正常定时任务间存在相似性,可利用当前需监控的定时任务是否与历史数据记录的正常定时任务相似来判断当前需监控的定时任务是否异常。也即当前需监控的定时任务中各个数值点出现在历史数据记录的若干正常定时任务中每个点附近空间位置的概率越高,则当前需监控的定时任务与正常定时任务的相似度越高。具体在公式中,各个点的概率值叠加得到的参数P越高,则当前需监控的定时任务为正常定时任务的可能性越大。
因此,本实施例中可预先设定一个合理的预设概率阈值,若计算得到的当前需监控的定时任务为正常定时任务的概率即P值小于该预设概率阈值,则判断当前需监控的定时任务与正常定时任务不相似,即自动判断当前需监控的定时任务为异常定时任务;若P值大于该预设概率阈值,则判断当前需监控的定时任务与正常定时任务相似,即自动判断当前需监控的定时任务为正常定时任务。
在预先设定概率阈值时,可将历史数据记录的若干定时任务(包括异常定时任务和正常定时任务)利用公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*…Gauss(an,mean(An),mean((an-mean(An))^2))来不断训练及验证概率阈值的合理性,在达到一定准确性后,即可设定好一合理的预设概率阈值。当然,在后续实际应用过程中,该预设概率阈值也可以被用户根据不同应用场景的需要进行调整,如在对定时任务的执行要求较严格的场景中,可适当调高该阈值;在对定时任务的执行要求不太严格的场景中,可适当调低该阈值。更加灵活、实用。
本实施例通过采集监控的当前定时任务的各个预设参数数据;根据预设计算公式计算出所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;基于所述概率叠加值分析监控的当前定时任务是否异常。由于能根据当前定时任务的各个预设参数数据获取其在对应高斯分布的概率空间中的概率值,并依据各个概率值的叠加值来自动判断当前定时任务是否异常,实现智能计算判定出定时任务是否异常,无需由运营人员人工分析判断,节约了人工和时间成本,提高了效率。
在一可选的实施例中,在上述图1的实施例的基础上,所述基于高斯分布的定时任务异常监控系统10被所述处理器12执行时,还包括:
若判断所述当前定时任务为异常定时任务,则发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端,以提醒运营人员及时处理异常定时任务。
本实施例中,智能计算判定出当前定时任务为异常定时任务时,可通过短信、微信、QQ消息、邮件等方式发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端如运营人员的手机、手持终端等,以提醒运营人员及时处理异常定时任务。
进一步地,本实施例中,除了通过设置概率阈值的方式来判定当前需监控的定时任务是否为异常定时任务之外,还可结合排序判断进行预警,例如,将需监控的当前定时任务中各个预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值按高低顺序进行排序,排序中排在后几位的参数为需监控的当前定时任务中可能出现异常的参数,则将可能出现异常的参数发送至向运营人员以进行预警提示。或者,在另一种实施方式中,还可设定各个预设参数对应的异常概率阈值,若有预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值高于其对应的异常概率阈值,则将该参数发送至向运营人员以进行预警提示。
如图2所示,图2为本发明基于高斯分布的定时任务异常监控方法一实施例的流程示意图,该基于高斯分布的定时任务异常监控方法包括以下步骤:
步骤S10,采集监控的当前定时任务的各个预设参数数据;
步骤S20,根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
步骤S30,基于所述概率叠加值分析监控的当前定时任务是否异常。
本实施例中预先将对定时任务进行异常监控的观测数据整合为若干具有代表性的参数即采集的各个预设参数数据。例如,各个预设参数数据可包括定时任务的当前cpu使用率,或当前cpu使用率与预先为该定时任务分配的内存使用率的比值;该定时任务的当前内存占用大小,或当前内存使用率与磁盘I/O使用率的比值;该定时任务的当前执行时间,或当前执行时间与历史平均执行时间的比值;该定时任务的当前cpu使用比例与历史cpu使用比例的比值;该定时任务的当前内存使用比例与历史使用比例的比值,等等。每个参数都存在着一个高斯分布的概率空间,采集到当前定时任务的各个预设参数数据后,可根据各个预设参数数据获取其在对应高斯分布的概率空间中的概率值,并依据各个概率值来自动判断当前定时任务是否异常。本实施例中能整合出如cpu占用率等各个监控参数,并动态智能计算判定出定时任务是否异常,无需由运营人员人工分析判断。
具体地,由于异常定时任务和正常定时任务在执行时比起来一定会具有较大差异,而正常定时任务在执行时的情况都存在相似性。因此,若将各个定时任务中的若干具有代表性的参数(如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换成各个数值点,则在一定区域内,在历史数据记录的若干正常定时任务中每个出现的点空间内周围存在着一个高斯分布的概率空间。基于此原理,本实施例中,定时任务异常监控系统采集当前定时任务的各个预设参数数据(如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等),并可获取各个预设参数数据对应的数值点,有以下两种可选的实施方式:1、可直接将各个预设参数数据的值作为对应的数值点,例如,当前定时任务的cpu使用率为0.05,则对应的数值点为0.05。2、还可按预设分段转换方式将预设参数数据转换成对应的属性数值点,例如,以分段的方式来转换成数值点,在此以预设参数为“执行时间”来举例说明,如执行时间为0-5分钟的标识为1;5-10分钟的标识为2;10-17分钟的标识为3;18-25分钟的标识为4;25-30分钟的标识为5;30分钟及以上的标识为6。根据不同监控参数的特征,可选择合适的实施方式1或2来进行数值点的转换,在此不做限定。
在过往历史数据的预设归档数据库中保存有曾经进行过定时任务异常判断的历史案例信息,找出历史案例中的所有正常定时任务。在对当前定时任务进行异常监控时,有如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*…Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1,a2至an为需监控的当前定时任务中第1,2至n个预设参数(例如,选择几个较为重要的属性如与当前定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换后的属性数值点,A1,A2至An为预设归档数据库中所有正常定时任务对应的第1,2至n个预设属性信息(与提取的当前定时任务中相同的属性,如与定时任务相关的CPU、内存、磁盘I/O占用率、执行时间等)转换后的参考属性数值点的集合。公式中,mean(A1)为求A1的均值,决定了高斯分布(即正态分布)概率图的位置,mean((a1-mean(A1))^2)为求a1与mean(A1)的标准差,也是高斯分布(即正态分布)的分布的幅度。Gauss(an,mean(An),mean((an-mean(An))^2))为需监控的当前定时任务中第n个预设参数属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为需监控的当前定时任务中第1,2…n个预设参数属性数值点的出现概率值的叠加值;最终计算得到的P值即为需监控的当前定时任务为正常定时任务的概率。
由于在一定区域内,在历史数据记录的若干正常定时任务中每个出现的点空间内周围存在着一个高斯分布的概率空间,即正常定时任务间存在相似性,可利用当前需监控的定时任务是否与历史数据记录的正常定时任务相似来判断当前需监控的定时任务是否异常。也即当前需监控的定时任务中各个数值点出现在历史数据记录的若干正常定时任务中每个点附近空间位置的概率越高,则当前需监控的定时任务与正常定时任务的相似度越高。具体在公式中,各个点的概率值叠加得到的参数P越高,则当前需监控的定时任务为正常定时任务的可能性越大。
因此,本实施例中可预先设定一个合理的预设概率阈值,若计算得到的当前需监控的定时任务为正常定时任务的概率即P值小于该预设概率阈值,则判断当前需监控的定时任务与正常定时任务不相似,即自动判断当前需监控的定时任务为异常定时任务;若P值大于该预设概率阈值,则判断当前需监控的定时任务与正常定时任务相似,即自动判断当前需监控的定时任务为正常定时任务。
在预先设定概率阈值时,可将历史数据记录的若干定时任务(包括异常定时任务和正常定时任务)利用公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*…Gauss(an,mean(An),mean((an-mean(An))^2))来不断训练及验证概率阈值的合理性,在达到一定准确性后,即可设定好一合理的预设概率阈值。当然,在后续实际应用过程中,该预设概率阈值也可以被用户根据不同应用场景的需要进行调整,如在对定时任务的执行要求较严格的场景中,可适当调高该阈值;在对定时任务的执行要求不太严格的场景中,可适当调低该阈值。更加灵活、实用。
本实施例通过采集监控的当前定时任务的各个预设参数数据;根据预设计算公式计算出所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;基于所述概率叠加值分析监控的当前定时任务是否异常。由于能根据当前定时任务的各个预设参数数据获取其在对应高斯分布的概率空间中的概率值,并依据各个概率值的叠加值来自动判断当前定时任务是否异常,实现智能计算判定出定时任务是否异常,无需由运营人员人工分析判断,节约了人工和时间成本,提高了效率。
在一可选的实施例中,在上述实施例的基础上,该方法还包括:
若判断所述当前定时任务为异常定时任务,则发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端,以提醒运营人员及时处理异常定时任务。
本实施例中,智能计算判定出当前定时任务为异常定时任务时,可通过短信、微信、QQ消息、邮件等方式发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端如运营人员的手机、手持终端等,以提醒运营人员及时处理异常定时任务。
进一步地,本实施例中,除了通过设置概率阈值的方式来判定当前需监控的定时任务是否为异常定时任务之外,还可结合排序判断进行预警,例如,将需监控的当前定时任务中各个预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值按高低顺序进行排序,排序中排在后几位的参数为需监控的当前定时任务中可能出现异常的参数,则将可能出现异常的参数发送至向运营人员以进行预警提示。或者,在另一种实施方式中,还可设定各个预设参数对应的异常概率阈值,若有预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值高于其对应的异常概率阈值,则将该参数发送至向运营人员以进行预警提示。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有基于高斯分布的定时任务异常监控系统,所述基于高斯分布的定时任务异常监控系统可被至少一个处理器执行,以使所述至少一个处理器执行如上述实施例中的基于高斯分布的定时任务异常监控方法的步骤,该基于高斯分布的定时任务异常监控方法的步骤S10、S20、S30等具体实施过程如上文所述,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。另外,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质,可以有多种变型方案实现本发明,比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。

Claims (8)

1.一种电子装置,其特征在于,所述电子装置包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的基于高斯分布的定时任务异常监控系统,所述基于高斯分布的定时任务异常监控系统被所述处理器执行时实现如下步骤:
采集监控的当前定时任务的各个预设参数数据;
根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
基于所述概率叠加值分析监控的当前定时任务是否异常;
所述根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值的步骤包括:
将采集的各个预设参数数据按预设分段转换方式转换成对应的属性数值点,并将转换得到的各个属性数值点代入如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1至an为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点,A1至An为预设归档数据库中所有正常定时任务对应的第1至n个预设参数数据转换后的参考属性数值点的集合;
Gauss(an,mean(An),mean((an-mean(An))^2))为所述当前定时任务中第n个预设参数数据转换后的属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点的出现概率值的叠加值;
所述基于高斯分布的定时任务异常监控系统被所述处理器执行时还实现如下步骤:
将当前定时任务中各个预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值按高低顺序进行排序,将排序中排在后面的预设数量的参数作为当前定时任务中可能出现异常的参数,将所述可能出现异常的参数发送至预设终端以进行预警提示。
2.如权利要求1所述的电子装置,其特征在于,所述基于所述概率叠加值分析监控的当前定时任务是否异常的步骤包括:
若P大于预设概率阈值,则判断所述当前定时任务为正常定时任务;
若P小于或等于预设概率阈值,则判断所述当前定时任务为异常定时任务。
3.如权利要求1-2任一项所述的电子装置,其特征在于,所述预设参数数据包括:
所述当前定时任务的当前cpu使用率与预先为所述当前定时任务分配的内存使用率的比值、当前内存使用率与磁盘I/O使用率的比值、当前执行时间与历史平均执行时间的比值、当前cpu使用比例与历史cpu使用比例的比值、当前内存使用比例与历史内存使用比例的比值中的至少一个。
4.一种基于高斯分布的定时任务异常监控方法,其特征在于,所述基于高斯分布的定时任务异常监控方法包括:
采集监控的当前定时任务的各个预设参数数据;
根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值;所述概率叠加值为所述当前定时任务的各个预设参数数据在预设正常定时任务的高斯分布概率空间中的出现概率值的叠加值;
基于所述概率叠加值分析监控的当前定时任务是否异常;
所述根据预设计算公式计算出所述当前定时任务的各个预设参数数据的概率叠加值的步骤包括:
将采集的各个预设参数数据按预设分段转换方式转换成对应的属性数值点,并将转换得到的各个属性数值点代入如下公式:
P=Gauss(a1,mean(A1),mean((a1-mean(A1))^2))*Gauss(a2,mean(A2),mean((a2-mean(A2))^2))*Gauss(an,mean(An),mean((an-mean(An))^2))
其中,a1至an为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点,A1至An为预设归档数据库中所有正常定时任务对应的第1至n个预设参数数据转换后的参考属性数值点的集合;
Gauss(an,mean(An),mean((an-mean(An))^2))为所述当前定时任务中第n个预设参数数据转换后的属性数值点在对应的第n个参考属性数值点的集合的高斯分布概率空间中的出现概率值,P为所述当前定时任务中第1至n个预设参数数据转换后的属性数值点的出现概率值的叠加值;
所述方法还包括:
将当前定时任务中各个预设参数属性数值点在对应的参考属性数值点的集合的高斯分布概率空间中的出现概率值按高低顺序进行排序,将排序中排在后面的预设数量的参数作为当前定时任务中可能出现异常的参数,将所述可能出现异常的参数发送至预设终端以进行预警提示。
5.如权利要求4所述的基于高斯分布的定时任务异常监控方法,其特征在于,所述基于所述概率叠加值分析监控的当前定时任务是否异常的步骤包括:
若P大于预设概率阈值,则判断所述当前定时任务为正常定时任务;
若P小于或等于预设概率阈值,则判断所述当前定时任务为异常定时任务。
6.如权利要求5所述的基于高斯分布的定时任务异常监控方法,其特征在于,还包括:
若判断所述当前定时任务为异常定时任务,则发送包含所述当前定时任务及所述当前定时任务的各个预设参数数据的预警提示信息至预设终端,以提醒运营人员及时处理异常定时任务。
7.如权利要求4-6中任一项所述的基于高斯分布的定时任务异常监控方法,其特征在于,所述预设参数数据包括:
所述当前定时任务的当前cpu使用率与预先为所述当前定时任务分配的内存使用率的比值、当前内存使用率与磁盘I/O使用率的比值、当前执行时间与历史平均执行时间的比值、当前cpu使用比例与历史cpu使用比例的比值、当前内存使用比例与历史内存使用比例的比值中的至少一个。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于高斯分布的定时任务异常监控系统,所述基于高斯分布的定时任务异常监控系统被处理器执行时实现如权利要求4至7中任一项所述的基于高斯分布的定时任务异常监控方法的步骤。
CN201810694778.5A 2018-06-29 2018-06-29 基于高斯分布的定时任务异常监控方法、电子装置及介质 Active CN109101390B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810694778.5A CN109101390B (zh) 2018-06-29 2018-06-29 基于高斯分布的定时任务异常监控方法、电子装置及介质
PCT/CN2018/108209 WO2020000738A1 (zh) 2018-06-29 2018-09-28 基于高斯分布的定时任务异常监控方法、电子装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810694778.5A CN109101390B (zh) 2018-06-29 2018-06-29 基于高斯分布的定时任务异常监控方法、电子装置及介质

Publications (2)

Publication Number Publication Date
CN109101390A CN109101390A (zh) 2018-12-28
CN109101390B true CN109101390B (zh) 2021-08-24

Family

ID=64845179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810694778.5A Active CN109101390B (zh) 2018-06-29 2018-06-29 基于高斯分布的定时任务异常监控方法、电子装置及介质

Country Status (2)

Country Link
CN (1) CN109101390B (zh)
WO (1) WO2020000738A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857618B (zh) * 2019-02-02 2022-07-08 中国银行股份有限公司 一种监控方法、装置及系统
CN110008082B (zh) * 2019-03-16 2022-06-17 平安科技(深圳)有限公司 异常任务智能监测方法、装置、设备及存储介质
CN110569114B (zh) * 2019-08-15 2023-03-31 平安普惠企业管理有限公司 一种业务处理方法、装置、设备及存储介质
CN114998839B (zh) * 2022-07-06 2023-01-31 北京原流科技有限公司 一种基于层级分布的数据管理方法以及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033433A1 (en) * 2012-09-03 2014-03-06 Isis Innovation Limited System monitoring
CN104376504A (zh) * 2014-11-06 2015-02-25 国家电网公司 一种基于解析法的配电系统概率可靠性评估方法
CN105071983A (zh) * 2015-07-16 2015-11-18 清华大学 一种面向云计算在线业务的异常负载检测方法
CN107103658A (zh) * 2017-04-25 2017-08-29 哈尔滨工业大学 基于深度学习与高斯分布的航空发动机气路异常检测方法
CN107197473A (zh) * 2017-06-15 2017-09-22 三星电子(中国)研发中心 一种终端异常状态确定方法和装置
CN107526667A (zh) * 2017-07-28 2017-12-29 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
CN107704953A (zh) * 2017-09-20 2018-02-16 河海大学 Ewt分位数回归森林的短期风电功率概率密度预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423532B (zh) * 2013-09-06 2017-02-01 中国移动通信集团公司 移动终端的电源管理方法、装置及系统
CN103592545B (zh) * 2013-11-22 2016-05-11 国家电网公司 一种基于概率统计的变压器温升异常监测诊断方法
CN106383951B (zh) * 2016-09-20 2019-08-06 北京理工大学 一种电力驱动交通工具的故障诊断方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014033433A1 (en) * 2012-09-03 2014-03-06 Isis Innovation Limited System monitoring
CN104376504A (zh) * 2014-11-06 2015-02-25 国家电网公司 一种基于解析法的配电系统概率可靠性评估方法
CN105071983A (zh) * 2015-07-16 2015-11-18 清华大学 一种面向云计算在线业务的异常负载检测方法
CN107103658A (zh) * 2017-04-25 2017-08-29 哈尔滨工业大学 基于深度学习与高斯分布的航空发动机气路异常检测方法
CN107197473A (zh) * 2017-06-15 2017-09-22 三星电子(中国)研发中心 一种终端异常状态确定方法和装置
CN107526667A (zh) * 2017-07-28 2017-12-29 阿里巴巴集团控股有限公司 一种指标异常检测方法、装置以及电子设备
CN107704953A (zh) * 2017-09-20 2018-02-16 河海大学 Ewt分位数回归森林的短期风电功率概率密度预测方法

Also Published As

Publication number Publication date
CN109101390A (zh) 2018-12-28
WO2020000738A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
CN109101390B (zh) 基于高斯分布的定时任务异常监控方法、电子装置及介质
CN107918382B (zh) 一种汽车故障诊断方法、汽车故障诊断装置及电子设备
CN107844634B (zh) 多元通用模型平台建模方法、电子设备及计算机可读存储介质
CN108388598B (zh) 电子装置、数据存储方法及存储介质
US8332503B2 (en) Message abnormality automatic detection device, method and program
CN109918279B (zh) 电子装置、基于日志数据识别用户异常操作的方法及存储介质
CN112052111B (zh) 服务器异常预警的处理方法、装置、设备及存储介质
JP5913145B2 (ja) ログ可視化装置及び方法及びプログラム
CN108491301B (zh) 电子装置、基于redis的异常预警方法及存储介质
CN108415925B (zh) 电子装置、数据调用日志生成及查询方法及存储介质
CN102479138A (zh) 利用图像进行错误侦测的系统及方法
CN108256813B (zh) 任务提醒方法和服务器
CN108491304B (zh) 电子装置、业务系统风险控制方法及存储介质
CN110069925B (zh) 软件监测方法、系统及计算机可读存储介质
CN111475401A (zh) 一种测试方法及相关设备
CN109784634A (zh) 服务区域划分方法、电子装置及可读存储介质
CN113094248A (zh) 用户行为数据分析方法、装置、电子设备及介质
CN109194703B (zh) 云平台主机间通信负载的处理方法、电子装置及介质
CN111784042A (zh) 一种用电节点安全风险预测方法、装置及存储介质
CN115309506A (zh) 一种应用于云服务的容器动态扩缩容方法及系统
CN115643172A (zh) 一种异常检测方法、装置、终端设备及存储介质
CN114387522A (zh) 一种工作现场的智能预警方法、装置、设备及介质
CN112863223B (zh) 公交车信息提示方法、装置、存储介质及程序产品
CN113094088A (zh) 数据库配置信息采集方法、装置、计算机设备及存储介质
CN109522014B (zh) 基于新产品开发的算法处理方法、电子装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant