CN109039727B - 基于深度学习的消息队列监控方法及装置 - Google Patents

基于深度学习的消息队列监控方法及装置 Download PDF

Info

Publication number
CN109039727B
CN109039727B CN201810818214.8A CN201810818214A CN109039727B CN 109039727 B CN109039727 B CN 109039727B CN 201810818214 A CN201810818214 A CN 201810818214A CN 109039727 B CN109039727 B CN 109039727B
Authority
CN
China
Prior art keywords
message queue
data
monitoring data
queue
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810818214.8A
Other languages
English (en)
Other versions
CN109039727A (zh
Inventor
王润元
胡京
刘云涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201810818214.8A priority Critical patent/CN109039727B/zh
Publication of CN109039727A publication Critical patent/CN109039727A/zh
Application granted granted Critical
Publication of CN109039727B publication Critical patent/CN109039727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/133Protocols for remote procedure calls [RPC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于深度学习的消息队列监控方法及装置,消息队列监控方法包括:对预设时段内的消息队列的历史监控数据进行预处理;根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;以及,根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。本发明能够有效提高消息队列监控的可靠性及准确性,避免针对消息队列的漏报警和无效报警。

Description

基于深度学习的消息队列监控方法及装置
技术领域
本发明涉及计算机数据处理技术领域,具体涉及一种基于深度学习的消息队列监控方法及装置。
背景技术
“消息”是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象;消息被发送到队列中,“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。
现有消息队列深度监控通常采用设定固定阀值的方法,当消息队列深度超过该阀值,则报警。事实上,由于系统整体业务变化、系统性能变化、瞬时消息收发不确定性等因素,固定阀值监控弊端明显,无法满足预期监控目标,主要表现是误报率、漏报率高。特别地,当系统数量较多、关联关系复杂时,阀值设置较低,则无效报警会爆发式增加,不仅消耗报警处理人员大量精力,而且容易淹没其他有效报警,对监控成本以及监控效率影响大,显著增加人力成本和系统风险;阀值设置高时,漏报警风险加剧,增大系统风险,失去监控有效性。
因此,如何提供一种更为可靠地消息队列监控方法,是亟待解决的问题。
发明内容
针对现有技术中的问题,本发明提供一种基于深度学习的消息队列监控方法及装置,能够有效提高消息队列监控的可靠性及准确性,避免针对消息队列的漏报警和无效报警。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供一种基于深度学习的消息队列监控方法,所述消息队列监控方法包括:
对预设时段内的消息队列的历史监控数据进行预处理;
根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;
采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;
以及,根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
一实施例中,所述历史监控数据包含有:消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合。
一实施例中,所述对预设时段内的消息队列的历史监控数据进行预处理,包括:
采集预设时段内的消息队列的历史监控数据;
以及,对所述历史监控数据进行离散化处理,得到所述预测模型的训练集。
一实施例中,所述对所述历史监控数据进行离散化处理,得到所述预测模型的训练集,包括:
获取各项历史监控数据分别在预设时段内对应的直方图,并根据各个所述直方图分别对各项历史监控数据进行离散化处理,得到各项历史监控数据各自分别对应的离散化数据;
将各项离散化数据组成用于机器学习模型的训练数集。
一实施例中,所述根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型,包括:
根据经预处理的历史监控数据,应用在线序列-极限学习机OS-ELM学习算法对预设的预测模型进行训练;
以及,根据训练结果更新预设的预测模型,得到用于预测所述消息队列的增速的预测模型。
一实施例中,所述根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理,包括:
根据当前消息队列的预测增速,判断当前消息队列的深度下的最后一笔消息是否满足按时处理的要求;
若否,则进行针对当前消息队列的报警处理。
一实施例中,所述根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理,包括:
根据当前消息队列的预测增速,判断当前消息队列被阻塞的剩余时间是否高于或等于阈值;
若否,则进行针对当前消息队列的报警处理。
第二方面,本发明提供一种基于深度学习的消息队列监控系统,所述消息队列监控系统包括:
数据预处理模块,用于对预设时段内的消息队列的历史监控数据进行预处理;
模型更新模块,用于根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;
预测模块,用于采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;
报警模块,用于根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述基于深度学习的消息队列监控方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述基于深度学习的消息队列监控方法的步骤。
由上述技术方案可知,本发明提供一种基于深度学习的消息队列监控方法,通过对预设时段内的消息队列的历史监控数据进行预处理;根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;以及,根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理,能够有效提高消息队列监控的可靠性及准确性,通过提高监控告警的有效性,达到提升系统可靠性、节约人力资源消耗的目的,并能够有效避免对消息队列设置固定深度阀值而引起的漏报警和无效报警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例中的一种基于深度学习的消息队列监控方法的流程示意图。
图2为本发明的消息队列监控方法中步骤100的流程示意图。
图3为本发明的消息队列监控方法中步骤102的流程示意图。
图4为本发明的消息队列监控方法中步骤200的流程示意图。
图5为本发明的消息队列监控方法中步骤400的第一种具体实施方式的流程示意图。
图6为本发明的消息队列监控方法中步骤400的第二种具体实施方式的流程示意图。
图7为本发明的消息队列监控方法中步骤400的第三种具体实施方式的流程示意图。
图8为本发明的基于深度学习的消息队列监控方法的具体应用实例的流程示意图。
图9为本发明的具体应用实例中的入队学习模型训练数据中的{X0,TI0}举例示意图。
图10为本发明的具体应用实例中的入队学习模型训练数据中的{X1,TI1}举例示意图。
图11为本发明的具体应用实例中的出队学习模型训练数据中的{X0,TO0}举例示意图。
图12为本发明的具体应用实例中的出队学习模型训练数据中的{X1,TO1}举例示意图。
图13为本发明的实施例中的一种基于深度学习的消息队列监控系统的结构示意图。
图14为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供一种基于深度学习的消息队列监控方法的具体实施方式,参见图1,所述基于深度学习的消息队列监控方法具体包括如下内容:
步骤100:对预设时段内的消息队列的历史监控数据进行预处理。
在步骤100中,基于深度学习的消息队列监控系统对预设时段内的消息队列的历史监控数据进行预处理(data preprocessing)。可以理解的是,所述基于深度学习的消息队列监控系统可以体现为一种服务器,所述基于深度学习的消息队列监控系统的硬件组成中也可以包括终端设备,所述终端设备可以具有显示功能。具体地,所述终端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
所述服务器可以与所述终端设备进行通信。所述服务器与所述终端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS 协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议 (Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
可以理解的是,所述历史监控数据包含有:消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合。
在一种具体举例中,为提高预测模型输出预测结果的准确性,如表1所示,所述历史监控数据中包含有消息队列深度值数据A1、历史交易量数据A2、CPU使用率数据A3、内存占用率数据A4、消息放置端线程池队列深度数据A5、消息取出端程池队列深度数据A6、消息入队数量数据A7和消息出队数量数据A8。
表1
编号 历史监控数据
1 消息队列深度值数据A1
2 历史交易量数据A2
3 CPU使用率数据A3
4 内存占用率数据A4
5 消息放置端线程池队列深度数据A5
6 消息取出端程池队列深度数据A6
7 消息入队数量数据A7
8 消息出队数量数据A8
步骤200:根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型。
在步骤200中,所述基于深度学习的消息队列监控系统根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型。可以理解的是,所述单隐层神经网络机器学习算法可以为超限学习机(ExtremeLearning Machine,ELM)或在线序列-极限学习机OS-ELM(Online Sequential ExtremeLearning Machine)学习算法。
ELM算法在模型训练速度、预测精度以及泛化性能等方面都具有良好性能,在回归以及分类方面效果出色。批处理的ELM假设所有的训练数据(N个样本)在模型训练开始前是都可得到的。在实际应用中,由于训练数据会不断新增,因此训练更有效的学习模型,需要利用新增的数据完成模型训练。根据批处理ELM的学习方式,凡是有新到的训练数据,学习模型的更新必须是新旧数据一起再次计算,显然在重新计算旧数据的过程中会带来计算和存储相关资源浪费。为了解决这个问题,研究人员提出了OS-ELM学习算法,它能够以固定大小或变化大小的一块一块地或者一个一个地(块学习的特殊情形)学习,输出权重的计算在旧数据训练所得模型基础上,仅仅需要新获得的数据。即OS-ELM的运行分为两部分,首先,OS-ELM像ELM标准算法一样通过给定的训练数据计算输出权重;随后在在线学习的过程中,每当有新的数据块被接收,就重新运行一次ELM并得到新的输出权重,最后新旧输出权重会进行组合从而完成对神经网络的更新,有些算法会在更新数据时加入遗忘函数。
步骤300:采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。
在步骤300中,所述基于深度学习的消息队列监控系统采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。可以理解的是,当新的输入向量输入该学习获得的预测模型之后,会输出一个预测增速值。
步骤400:根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
在步骤400中,所述基于深度学习的消息队列监控系统根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。可以理解的是,消息队列深度预警机制由两个场景组成:根据模型预测出当前时间点消息队列增长速度后,计算出当前队列深度下最后一笔消息是否可以按时处理,如果不能则报警;同时,计算消息队列被阻塞的剩余时间,如果低于某一阈值则报警。场景一旨在满足消息事务完成要求,当新进入队列的消息无法在指定时间内完成处理要求,则表明当前队列深度已经实际阻塞了消息传输,需要系统维护人员进行干预,此时报警。场景二旨在针对消息没有严格处理时限的事务,当预测的消息队列增速太大,距离将消息队列完全阻塞剩余时间小于某一时限的时候,需要系统维护人员在该段时间内快速响应,此时报警。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控方法,能够有效提高消息队列监控的可靠性及准确性,通过提高监控告警的有效性,达到提升系统可靠性、节约人力资源消耗的目的,并能够有效避免对消息队列设置固定深度阀值而引起的漏报警和无效报警。
在一种具体实施方式中,本发明还提供基于深度学习的消息队列监控方法中的步骤100的具体实施方式,参见图2,所述步骤100具体包括如下内容:
步骤101:采集预设时段内的消息队列的历史监控数据。
在步骤101中,所述基于深度学习的消息队列监控系统可从现有监控工具中获得预设时段内的消息队列的历史监控数据,并将预设时段内的消息队列的历史监控数据存储在数据库中,以及,在选取历史监控数据的过程中,还可以考虑增加除消息队列深度增长速度与历史交易量、CPU使用率、内存占用率、消息放置端线程池队列深度、消息取出端程池队列深度之外的监控指标,以更合适预测消息队列深度变化。
步骤102:对所述历史监控数据进行离散化处理,得到所述预测模型的训练集。
在步骤102中,所述基于深度学习的消息队列监控系统需要对收集的各项历史数据处理为离散化统计数据,离散化统计方法不仅将原始数据转化为满足机器学习模型的输入数据,而且可有效降低由偶然原因引起的数据噪声。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控方法,能够快速且可靠地获取预设时段内的消息队列的历史监控数据,能够保证后续预测模型建立或更新的准确性及处理效率。
在一种具体实施方式中,本发明还提供基于深度学习的消息队列监控方法中的步骤102的具体实施方式,参见图3,所述步骤102具体包括如下内容:
步骤102a:获取各项历史监控数据分别在预设时段内对应的直方图,并根据各个所述直方图分别对各项历史监控数据进行离散化处理,得到各项历史监控数据各自分别对应的离散化数据。
在步骤102a中,所述基于深度学习的消息队列监控系统对于消息入队数量、消息出队数量数据,以时间维度,采用统计直方图方式进行离散化,最终生成当前时间点消息入队值、消息出队值两组离散数据。同理,采用统计直方图方式对消息队列深度值进行离散化,生成当前时间点对应的平均消息队列深度值离散数据;采用统计直方图方式对交易量进行离散化,生成当前时间点对应的平均交易量离散数据;对CPU使用率离散化,生成当前时间点对应的平均CPU使用率离散数据;对内存使用率离散化,生成当前时间点对应的平均内存使用率离散数据;对消息放置端线程池队列深度数据离散化,生成当前时间点对应的平均消息放置端线程池队列深度离散数据;对消息取出端线程池队列深度数据离散化,生成当前时间点对应的平均消息取出端线程池队列深度离散数据。其中,在数据预处理阶段,通过调整数据离散化直方图频度,以找到最合适进行预测消息队列深度变化的频率,满足实际生产需要。
可以理解的是,直方图分析算法中,将直方图分析算法递归地用于每一部分,自动地产生多级概念分层,直到到达一个预先设定的概念层数,过程终止。也可以对每一层使用最小区间长度来控制递归过程。最小区间长度设定每层每部分的最小宽度,或每层每部分中值的最少数目。
步骤102b:将各项离散化数据组成用于机器学习模型的训练数集。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控方法,能够有效降低原始数据噪声,保证了学习数据的准确性,奠定了学习模型预测精度的基础。
在一种具体实施方式中,本发明还提供基于深度学习的消息队列监控方法中的步骤200的具体实施方式,参见图4,所述步骤200具体包括如下内容:
步骤201:根据经预处理的历史监控数据,应用在线序列-极限学习机OS-ELM 学习算法对预设的预测模型进行训练。
步骤202:根据训练结果更新预设的预测模型,得到用于预测所述消息队列的增速的预测模型。
在步骤201和202中,所述基于深度学习的消息队列监控系统采用序列化超限学习机,即对大批量数据分块为若干小组,该方法不仅大大降低模型训练时间,而且对于已生成的训练模型,只需训练新增数据,即可完成模型的更新,满足实际生产中模型快速迭代更新的要求,并在机器学习模型训练阶段,调整OS-ELM模型中固定参数,得到适合本发明案例的最佳参数配置,以提高学习模型预测精度。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控方法,序列化超限学习机学习模型的选择,满足了实际应用中低成本、速度快、可以实时更新训练模型的优点,支持智能化监控快速迭代。在一种具体实施方式中,本发明还提供基于深度学习的消息队列监控方法中的步骤400的第一种具体实施方式,参见图5,所述步骤400的第一种具体实施方式包括如下内容:
步骤401a:根据当前消息队列的预测增速,判断当前消息队列的深度下的最后一笔消息是否满足按时处理的要求;
若否,则执行步骤402;
步骤402:进行针对当前消息队列的报警处理。
在一种具体实施方式中,本发明还提供基于深度学习的消息队列监控方法中的步骤400的第二种具体实施方式,参见图6,所述步骤400的第二种具体实施方式包括如下内容:
步骤401b:根据当前消息队列的预测增速,判断当前消息队列被阻塞的剩余时间是否高于或等于阈值;
若否,则执行步骤402;
步骤402:进行针对当前消息队列的报警处理。
可以理解的是,参见图7,所述步骤400的第一种具体实施方式和第二种具体实施方式可以同时进行,以进一步保证消息队列的报警的准确性和可靠性。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控方法,所提出的预警机制同时支持消息同步、异步处理等消息处理场景,相比于固定深度阈值监控,适用性更广。
为进一步地说明本方案,本发明还提供一种基于深度学习的消息队列监控方法的具体应用实例,所述基于深度学习的消息队列监控方法的具体应用实例具体包括如下内容:
步骤0:根据离散化处理后的消息队列的历史监控数据,建立用于预测所述消息队列的增速的预测模型。可以理解的是,所述用于预测所述消息队列的增速的预测模型的建立过程与更新过程大致相同。
参见图8,所述基于深度学习的消息队列监控方法具体包括:
(一)采集历史监控指标数据:
步骤1:采集预设时段内的消息队列的历史监控数据。
所述历史监控数据包含有:消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合。
(二)预处理后历史监控指标数据:
步骤2:获取各项历史监控数据分别在预设时段内对应的直方图,并根据各个所述直方图分别对各项历史监控数据进行离散化处理,得到各项历史监控数据各自分别对应的离散化数据。
(三)预处理后历史监控指标数据:
步骤3:将各项离散化数据组成用于机器学习模型的训练集。
步骤4:根据经预处理的历史监控数据,应用在线序列-极限学习机OS-ELM学习算法对预设的预测模型进行训练。
(四)生成在线序列化机器学习模型:
步骤5:根据训练结果更新预设的预测模型,得到用于预测所述消息队列的增速的在线序列化机器学习模型。
(五)输入实时监控指标数据以及(六)消息队列入队、出队速度预测:
步骤6:采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。
(七)监控预警条件判断,若满足,则报警,若不满足,则不报警:
步骤7:根据当前消息队列的预测增速,判断当前消息队列的深度下的最后一笔消息是否可以按时处理;若否,则执行步骤9。
步骤8:根据当前消息队列的预测增速,判断当前消息队列被阻塞的剩余时间是否高于或等于阈值;若否,则执行步骤9。
步骤9:进行告警。
在一种具体举例中,所述基于深度学习的消息队列监控方法共包括四大步,分别为:
一、历史监控数据收集
将基本监控工具获得的监控数据按照采样时间点依次存储在数据库表 RowData中,RowData表结构定义如表2所示:
表2
Figure GDA0003120944440000111
按照采样时间顺序将所有记录插入RowData表中。
二、数据预处理
对RowData表中的行按照时间间隔计算统计平均值。计算单位时间内所有记录的消息队列深度值的平均值,得到平均消息队列深度值;计算单位时间内所有记录的历史交易量的平均值,得到平均交易量;计算单位时间内所有记录的CPU使用率的平均值,得到平均CPU使用率;计算单位时间内所有记录的内存占用率的平均值,得到平均内存占用率;计算单位时间内所有记录的消息放置端线程池队列深度的平均值,得到平均消息放置端线程池队列深度;计算单位时间内所有记录的消息取出端线程池队列深度的平均值,得到平均消息取出端线程池队列深度;计算单位时间内所有记录的消息入队数量的平均值,得到平均消息入队数量;计算单位时间内所有记录的消息出队数量的平均值,得到平均消息出队数量。将计算值存储在ProData表中,ProData表结构定义如表3所示:
表3
编号 字段名 类型 说明
1 CurDepth NUMBER 平均消息队列深度值
2 TraNumber NUMBER 平均交易量
3 CPURate NUMBER 平均CPU使用率
4 MEMRate NUMBER 平均内存占用率
5 IThdDepth NUMBER 平均消息放置端线程池队列深度
6 OThdDepth NUMBER 平均消息取出端线程池队列深度
7 IQueNumber NUMBER 平均消息入队数量
8 OQueNumber NUMBER 平均消息出队数量
三、机器学习模型训练
近几年来,学者提出的超限学习机(Extreme Learning Machine,ELM)受到越来越多的研究人员关注,ELM算法在模型训练速度、预测精度以及泛化性能等方面都具有良好性能,在回归以及分类方面效果出色。
批处理的ELM假设所有的训练数据(N个样本)在模型训练开始前是都可得到的。在实际应用中,由于训练数据会不断新增,因此训练更有效的学习模型,需要利用新增的数据完成模型训练。根据批处理ELM的学习方式,凡是有新到的训练数据,学习模型的更新必须是新旧数据一起再次计算,显然在重新计算旧数据的过程中会带来计算和存储相关资源浪费。为了解决这个问题,研究人员提出了 OS-ELM学习算法,它能够以固定大小或变化大小的一块一块地或者一个一个地 (块学习的特殊情形)学习,输出权重的计算在旧数据训练所得模型基础上,仅仅需要新获得的数据。该算法的参数训练过程和方法如下。
对于一组由平均消息队列深度值、平均交易量、平均CPU使用率、平均内存占用率、平均消息放置端线程池队列深度、平均消息取出端线程池队列深度组成的训练数据x,经过激励函数为g(x)映射后的第i个隐藏结点的输出可表示如下:
G(ai,bi,x)=g(ai·x+bi)
其中,αi是连接输入层与第i个隐藏层结点之间的权重向量,而bi是第i个隐藏层结点的偏差。对于多组训练数据X,X0和X1,则可将经激励函数映射后的隐藏层输出分别表示如下:
H=G(X)
H0=G(X0)
H1=G(X1)
假定有一块初始训练集B0={X0,T0},按照批处理ELM的计算方式,最小化 ||H0β(0)-T0||的解为
Figure GDA0003120944440000131
其中
Figure GDA0003120944440000132
当得到另外一块训练集 B1={X1,T1},结合第一块数据集,最优的β可通过计算下式获得:
Figure GDA0003120944440000133
按照批处理ELM计算方式,同时考虑两个训练数据集B0和B1,输出权重β为
Figure GDA0003120944440000134
Figure GDA0003120944440000135
将上式拓展到一般情况表示,则假设第(k+1)块数据集Bk={Xk,Tk},那么更新输出权重β的迭代公式下:
Figure GDA0003120944440000136
Figure GDA0003120944440000137
上述迭代公式即为本发明中使用到的OS-ELM学习算法训练模型。
本举例中,按照ProData表时间间隔为半年的所有记录作为一个数据块进行模型训练,则一年内的记录分为2个数据块X0,X1完成模型训练。利用训练数据 {X0,TI0},{X1,TI1}训练得到β(I1),为平均消息入队数量预测模型;利用训练数据 {X0,TO0},{X1,TO1}训练得到β(O1),为平均消息出队数量预测模型。其中,入队学习模型训练数据中的{X0,TI0}举例参见图9,入队学习模型训练数据中的{X1,TI1}举例参见图10;出队学习模型训练数据中的{X0,TO0}举例参见图11,出队学习模型训练数据中的{X1,TO1}举例参见图12。
四、预警计划制定
对于训练好的学习模型,输入新获取的监控指标后,则可计算当前消息队列入队速度预测值vIt=HItβ(I1),当前消息队列出队速度预测值vOt=HOtβ(O1)。据此对两种消息队列深度场景进行监控预警。
场景一:消息处理时效要求高场景。针对这一种场景,假设t时刻队列深度为CurDeptht,定义T1为消息处理最大容忍时间,则满足下式则报警。
Figure GDA0003120944440000141
场景二:防止消息队列发生阻塞场景。针对这一场景,假设t时刻队列深度为CurDeptht,消息队列最大可容纳深度为MaxDepth,定义T2为消息阻塞应急时间,满足下式则报警。
Figure GDA0003120944440000142
从上述描述可知,本发明的应用举例提供的基于深度学习的消息队列监控方法,根据交易量、系统性能等因素预测消息队列吞吐速度,可自适应地预测消息处理情况,有效减少误报警、避免漏报警。此外,上述四个步骤中,数据预处理、机器学习模型生成和预警机制确定三个方面也为本发明的特点与难点。数据预处理方式降低了原始数据噪声,保证了学习数据的准确性,奠定了学习模型预测精度的基础;序列化超限学习机学习模型的选择,满足了实际应用中低成本、速度快、可以实时更新训练模型的优点,支持智能化监控快速迭代;所提出的预警机制同时支持消息同步、异步处理等消息处理场景,相比于固定深度阈值监控,适用性更广。即利用机器学习方法,根据历史监控数据来预测消息队列增长情况,从而自动地调整消息队列监控阈值;所设计消息队列深度预警机制能够适应不同场景下消息队列监控需求,应用范围广泛;本申请的基于深度学习的消息队列监控方法,有效地降低数据噪声,使得训练出的数据模型鲁棒性更强;本申请采用的在线序列学习方法,能够使用更低计算成本、更快计算速度完成学习模型更新,有利于监控模型更新迭代。
本发明的实施例提供一种能够实现基于深度学习的消息队列监控方法的基于深度学习的消息队列监控系统的具体实施方式,参见图13,所述基于深度学习的消息队列监控系统具体包括如下内容:
数据预处理模块10,用于对预设时段内的消息队列的历史监控数据进行预处理。
模型更新模块20,用于根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型。
预测模块30,用于采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。
报警模块40,用于根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
本申请提供的基于深度学习的消息队列监控系统的实施例具体可以用于执行上述实施例中的基于深度学习的消息队列监控方法的实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
从上述描述可知,本发明的实施例提供的基于深度学习的消息队列监控系统,能够有效提高消息队列监控的可靠性及准确性,通过提高监控告警的有效性,达到提升系统可靠性、节约人力资源消耗的目的,并能够有效避免对消息队列设置固定深度阀值而引起的漏报警和无效报警。
本申请的实施例提供能够实现上述实施例中的基于深度学习的消息队列监控方法中全部步骤的一种电子设备的具体实施方式,参见图14,所述电子设备具体包括如下内容:
处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和通信总线1204;
其中,所述处理器1201、存储器1202、通信接口1203通过所述通信总线1204 完成相互间的通信;所述通信接口1203用于实现基于深度学习的消息队列监控系统、相关服务器及数据库等相关设备之间的信息传输;
所述处理器1201用于调用所述存储器1202中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例一中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:对预设时段内的消息队列的历史监控数据进行预处理。
步骤200:根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型。
步骤300:采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。
步骤400:根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
从上述描述可知,本发明的实施例提供的电子设备,能够有效提高消息队列监控的可靠性及准确性,通过提高监控告警的有效性,达到提升系统可靠性、节约人力资源消耗的目的,并能够有效避免对消息队列设置固定深度阀值而引起的漏报警和无效报警。
本申请的实施例四提供能够实现上述实施例中的基于深度学习的消息队列监控方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例一的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:对预设时段内的消息队列的历史监控数据进行预处理。
步骤200:根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型。
步骤300:采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速。
步骤400:根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
从上述描述可知,本发明的实施例提供的计算机可读存储介质,能够有效提高消息队列监控的可靠性及准确性,通过提高监控告警的有效性,达到提升系统可靠性、节约人力资源消耗的目的,并能够有效避免对消息队列设置固定深度阀值而引起的漏报警和无效报警。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM) 和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

Claims (7)

1.一种基于深度学习的消息队列监控方法,其特征在于,所述消息队列监控方法包括:
采集预设时段内的消息队列的历史监控数据;以及,获取各项历史监控数据分别在预设时段内对应的直方图,并根据各个所述直方图分别对各项历史监控数据进行离散化处理,得到各项历史监控数据各自分别对应的离散化数据;
将各项离散化数据组成用于机器学习模型的训练数集;所述历史监控数据包含有:消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端线 程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合;
根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;
采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;
以及,根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
2.根据权利要求1所述的消息队列监控方法,其特征在于,所述根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型,包括:
根据经预处理的历史监控数据,应用在线序列-极限学习机OS-ELM学习算法对预设的预测模型进行训练;
以及,根据训练结果更新预设的预测模型,得到用于预测所述消息队列的增速的预测模型。
3.根据权利要求1所述的消息队列监控方法,其特征在于,所述根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理,包括:
根据当前消息队列的预测增速,判断当前消息队列的深度下的最后一笔消息是否满足按时处理的要求;
若否,则进行针对当前消息队列的报警处理。
4.根据权利要求1所述的消息队列监控方法,其特征在于,所述根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理,包括:
根据当前消息队列的预测增速,判断当前消息队列被阻塞的剩余时间是否高于或等于阈值;
若否,则进行针对当前消息队列的报警处理。
5.一种基于深度学习的消息队列监控系统,其特征在于,所述消息队列监控系统包括:
数据预处理模块,用于采集预设时段内的消息队列的历史监控数据;以及,获取各项历史监控数据分别在预设时段内对应的直方图,并根据各个所述直方图分别对各项历史监控数据进行离散化处理,得到各项历史监控数据各自分别对应的离散化数据;将各项离散化数据组成用于机器学习模型的训练数集;所述历史监控数据包含有:消息队列深度值数据、历史交易量数据、CPU使用率数据、内存占用率数据、消息放置端线程池队列深度数据、消息取出端线 程池队列深度数据、消息入队数量数据和消息出队数量数据中的任意一项或任意组合;
模型更新模块,用于根据经预处理的历史监控数据,应用单隐层神经网络机器学习算法训练得到用于预测所述消息队列的增速的预测模型;
预测模块,用于采集当前消息队列的实时监控数据,并将所述实时监控数据输入所述预测模型,得到当前消息队列的预测增速;
报警模块,用于根据当前消息队列的预测增速,基于预设规则判断是否进行针对当前消息队列的报警处理。
6.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4任一项所述基于深度学习的消息队列监控方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述基于深度学习的消息队列监控方法的步骤。
CN201810818214.8A 2018-07-24 2018-07-24 基于深度学习的消息队列监控方法及装置 Active CN109039727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810818214.8A CN109039727B (zh) 2018-07-24 2018-07-24 基于深度学习的消息队列监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810818214.8A CN109039727B (zh) 2018-07-24 2018-07-24 基于深度学习的消息队列监控方法及装置

Publications (2)

Publication Number Publication Date
CN109039727A CN109039727A (zh) 2018-12-18
CN109039727B true CN109039727B (zh) 2021-08-06

Family

ID=64645482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810818214.8A Active CN109039727B (zh) 2018-07-24 2018-07-24 基于深度学习的消息队列监控方法及装置

Country Status (1)

Country Link
CN (1) CN109039727B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109861878B (zh) * 2019-01-17 2022-03-25 平安科技(深圳)有限公司 kafka集群的topic数据的监控方法及相关设备
CN110059847B (zh) * 2019-03-01 2021-07-13 创新先进技术有限公司 模型预测加速方法和装置
CN111212390B (zh) * 2019-12-23 2022-08-26 北京健康之家科技有限公司 消息队列的处理方法、装置及设备
CN111782488B (zh) * 2020-07-10 2024-02-02 中国工商银行股份有限公司 消息队列监控方法、装置、电子设备和介质
CN112906971B (zh) * 2021-03-09 2022-02-18 清华大学 批处理作业中运行时间的预测方法、装置和电子设备
CN113676419B (zh) * 2021-09-03 2024-08-27 中国人民银行清算总中心 一种消息传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447202A (zh) * 2016-09-29 2017-02-22 国网山东省电力公司 基于数据挖掘和主成分分析的电力设备状态评估方法
CN106845144A (zh) * 2017-03-17 2017-06-13 泉州装备制造研究所 一种基于工业大数据挖掘的状态预测方法
CN107608862A (zh) * 2017-10-13 2018-01-19 众安信息技术服务有限公司 监控告警方法、监控告警装置及计算机可读存储介质
CN107832200A (zh) * 2017-10-24 2018-03-23 平安科技(深圳)有限公司 告警处理方法、装置、计算机设备及存储介质
CN107885642A (zh) * 2017-11-29 2018-04-06 小花互联网金融服务(深圳)有限公司 基于机器学习的业务监控方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219668B2 (en) * 2012-10-19 2015-12-22 Facebook, Inc. Predicting the future state of a mobile device user
CN107707541A (zh) * 2017-09-28 2018-02-16 小花互联网金融服务(深圳)有限公司 一种流式的基于机器学习的攻击行为日志实时检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447202A (zh) * 2016-09-29 2017-02-22 国网山东省电力公司 基于数据挖掘和主成分分析的电力设备状态评估方法
CN106845144A (zh) * 2017-03-17 2017-06-13 泉州装备制造研究所 一种基于工业大数据挖掘的状态预测方法
CN107608862A (zh) * 2017-10-13 2018-01-19 众安信息技术服务有限公司 监控告警方法、监控告警装置及计算机可读存储介质
CN107832200A (zh) * 2017-10-24 2018-03-23 平安科技(深圳)有限公司 告警处理方法、装置、计算机设备及存储介质
CN107885642A (zh) * 2017-11-29 2018-04-06 小花互联网金融服务(深圳)有限公司 基于机器学习的业务监控方法及系统

Also Published As

Publication number Publication date
CN109039727A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109039727B (zh) 基于深度学习的消息队列监控方法及装置
Karim et al. BHyPreC: a novel Bi-LSTM based hybrid recurrent neural network model to predict the CPU workload of cloud virtual machine
CN110008259A (zh) 可视化数据分析的方法及终端设备
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN111915004B (zh) 神经网络的训练方法、装置、存储介质及电子设备
EP4068160A1 (en) Neural network training and face detection method and apparatus, and device and storage medium
US11636377B1 (en) Artificial intelligence system incorporating automatic model updates based on change point detection using time series decomposing and clustering
CN112288163A (zh) 目标对象的目标因子预测方法及相关设备
CN110210661A (zh) 一种基于用户用能特性的中长期负荷预测方法及装置
Matei et al. Multi-layered data mining architecture in the context of Internet of Things
CN115983497A (zh) 一种时序数据预测方法和装置、计算机设备、存储介质
Pooranian et al. Independent task scheduling in grid computing based on queen bee algorithm
CN115883392B (zh) 算力网络的数据感知方法、装置、电子设备及存储介质
CN116542362A (zh) 一种负荷预测方法、装置、电子设备及存储介质
CN113986704A (zh) 基于TS-Decomposition的数据中心高频故障时域预警方法及系统
CN111709787B (zh) 用于生成用户留存时间的方法、装置、电子设备和介质
Abdelkhalek et al. Optimized Evidential AIRS with Feature Selection and Genetic Algorithm
CN111709785B (zh) 用于确定用户留存时间的方法、装置、设备和介质
Chai et al. Prediction of frequent items to one dimensional stream data
CN114331379B (zh) 用于输出待办任务的方法、模型训练方法和装置
CN111796995B (zh) 基于集成学习的循环序列号使用量预警方法及系统
CN118094444B (zh) 异常账户检测模型训练方法、装置、电子设备及存储介质
CN117667606B (zh) 基于用户行为的高性能计算集群能耗预测方法及系统
US20230306432A1 (en) Transmitting notifications based on machine learning model outputs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant