CN111258854A - 模型训练方法、基于预测模型的报警方法和相关装置 - Google Patents

模型训练方法、基于预测模型的报警方法和相关装置 Download PDF

Info

Publication number
CN111258854A
CN111258854A CN202010071729.3A CN202010071729A CN111258854A CN 111258854 A CN111258854 A CN 111258854A CN 202010071729 A CN202010071729 A CN 202010071729A CN 111258854 A CN111258854 A CN 111258854A
Authority
CN
China
Prior art keywords
time point
monitoring data
training
time
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010071729.3A
Other languages
English (en)
Other versions
CN111258854B (zh
Inventor
于敬延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010071729.3A priority Critical patent/CN111258854B/zh
Publication of CN111258854A publication Critical patent/CN111258854A/zh
Application granted granted Critical
Publication of CN111258854B publication Critical patent/CN111258854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种模型训练方法包括:基于在时间分割点之前的第一时间分段中的多个训练时间点以及至少两个时间间隔确定训练时间点序列;从全部监测数据中基于训练时间点序列选取监测数据;基于训练时间点序列中各时间点的监测数据和训练时间点的监测数据确定预测模型的输入权值;基于在时间分割点之后的第二时间分段中的测试时间点以及至少两个时间间隔确定测试时间点序列;基于测试时间点序列获取监测数据;基于测试时间点序列中各时间点的监测数据和输入权值确定在测试时间点的预测值;将预测值与在测试时间点的监测数据进行比对;如比对结果满足模型收敛条件,则完成模型训练。本发明还提供一种可以实现上述模型训练方法的相关装置。

Description

模型训练方法、基于预测模型的报警方法和相关装置
技术领域
本申请涉及信息处理领域,尤其涉及模型训练方法、基于预测模型的报警方法以及相关装置。
背景技术
随着网络技术的发展,网络服务为日常生活提供了很多便利。为了保证网络服务的可靠性,需要对提供网络服务的服务器进行监控。
现有监控方法大致如下:对于每种服务器数据配置对应的预设阈值。若检测到服务器数据与预设阈值的关系满足预设的报警规则,则进行报警。例如,用户登录服务的预设阈值为99.8%。当用户登录的成功率达到99.8%以下时报警。
在实际应用中,由于不同时段对服务器的访问量相差很大,对登录服务成功率的阈值也存在不同要求,按照上述固定阈值难以满足上述要求,因此难以根据实际需求进行准确报警。
发明内容
本申请提供了一种模型训练方法、基于预测模型的报警方法以及相关装置,能够预测在不同时刻的服务器数据阈值,根据动态的服务器数据阈值对异常事件进行报警,由此能够适用于动态报警场景,也可以提高报警的准确度。
第一方面提供一种模型训练方法,包括:
确定时间分割点;
基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列,第一时间分段为早于时间分割点的时间分段;
从全部监测数据中基于训练时间点序列选取监测数据;
基于训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值;
基于第二时间分段中的测试时间点以及所述至少两个时间间隔确定测试时间点对应的测试时间点序列,所述第二时间分段为所述时间分割点之后的时间分段;
基于测试时间点序列获取监测数据;
基于所述测试时间点序列中各时间点的监测数据和所述输入权值确定在所述测试时间点的预测值;
将所述预测值与在所述测试时间点的监测数据进行比对;
如比对结果满足模型收敛条件,则完成模型训练。
在一种可能的实现方式中,在所述从全部监测数据中基于所述训练时间点序列选取监测数据之前,所述方法还包括:
对所述全部监测数据进行数据去噪;
对去噪后的全部监测数据进行归一化处理。
在另一种可能的实现方式中,所述基于所述训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值包括:
获取预设的输入权值,每个所述监测数据对应一个输入权值;
基于所述训练时间点序列中各时间点的监测数据、所述输入权值和所述训练时间点的监测数据确定损失值;
基于所述损失值更新所述输入权值,触发执行所述基于所述训练时间点序列中各时间点的监测数据、所述输入权值和所述训练时间点的监测数据确定损失值的步骤;
当所述损失值小于或等于预设阈值时,确定当前的输入权值为预测模型的输入权值。
在第一方面中,所述监测数据为服务器的网络连接数、CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或TCP重传率中的至少一种。
第二方面提供一种基于预测模型的报警方法,包括:
确定目标时间点;
基于所述目标时间点和至少两个时间间隔,确定与所述目标时间点对应的时间点序列;
获取与所述时间点序列对应的监测数据;
基于预测模型的输入权值和所述时间点序列对应的监测数据确定在所述目标时间点的预测值;
获取所述目标时间点的监测数据;
将所述目标时间点的监测数据与所述目标时间点的预测值进行比对;
基于比对结果进行报警。
在一种可能的实现方式中,所述基于比对结果进行报警包括:
当所述比对结果为所述目标时间点的监测数据与所述目标时间点的预测值的差值且所述差值大于预设误差时,输出报警信号。
在第二方面中,所述监测数据为服务器的网络连接数、CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或TCP重传率中的至少一种。
第三方面提供一种模型训练装置,其特征在于,包括:
确定模块,用于确定时间分割点;
所述确定模块,还用于基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列,所述第一时间分段为早于所述时间分割点的时间分段;
获取训练数据模块,还用于从全部监测数据中基于所述训练时间点序列选取监测数据;
训练模块,用于基于所述训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值;
所述确定模块,还用于基于第二时间分段中的测试时间点以及所述至少两个时间间隔确定测试时间点对应的测试时间点序列,所述第二时间分段为所述时间分割点之后的时间分段;
获取测试数据模块,还用于基于测试时间点序列获取监测数据;
测试模块,用于基于所述测试时间点序列中各时间点的监测数据和所述输入权值确定在所述测试时间点的预测值;
所述测试模块,还用于将所述预测值与在所述测试时间点的监测数据进行比对;如比对结果满足模型收敛条件,则完成模型训练。
第四方面提供一种报警装置,其特征在于,包括:
确定模块,用于确定目标时间点;
所述确定模块,还用于基于所述目标时间点和至少两个时间间隔,确定与所述目标时间点对应的时间点序列;
获取模块,用于获取与所述时间点序列对应的监测数据;
预测模块,用于基于预测模型的输入权值和所述时间点序列对应的监测数据确定在所述目标时间点的预测值;
所述获取模块,还用于获取所述目标时间点的监测数据;
对比模块,用于将所述目标时间点的监测数据与所述目标时间点的预测值进行比对;
报警模块,用于基于比对结果进行报警。
在一种可能的实现方式中,所述基于比对结果进行报警包括:
当所述比对结果为所述目标时间点的监测数据与所述目标时间点的预测值的差值且所述差值大于预设误差时,输出报警信号。
在以上实现方式中,所述监测数据为服务器的网络连接数、CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或TCP重传率中的至少一种。
第五方面提供一种计算机存储介质,所述计算机存储介质存储有指令。当计算机执行所述计算机存储介质存储的指令时,使计算机执行如第一方面或第一方面的实施方式中所述的方法。
以上可以看出,本申请具有以下优点:
确定时间分割点;基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列;从全部监测数据中基于训练时间点序列选取监测数据;基于训练时间点序列中各时间点的监测数据和训练时间点的监测数据确定预测模型的输入权值;基于第二时间分段中的测试时间点以及至少两个时间间隔确定测试时间点对应的测试时间点序列;基于测试时间点序列获取监测数据;基于测试时间点序列中各时间点的监测数据和输入权值确定在测试时间点的预测值;将预测值与在测试时间点的监测数据进行比对;如比对结果满足模型收敛条件,则完成模型训练。这样能够对监测数据(即服务器数据)进行训练得到预测模型,利用该预测模型能够预测在不同时刻的服务器数据阈值,利用动态的服务器数据阈值能够提高报警的准确度。
附图说明
图1为本申请的实施例中监控场景的一个示意图;
图2为本申请的实施例中模型训练方法的一个流程示意图;
图3为本申请的实施例中基于预测模型的报警方法的一个流程示意图;
图4为本申请的实施例中模型训练装置的一个示意图;
图5为本申请的实施例中报警装置的一个示意图;
图6为本申请的实施例中服务器的一个示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请的方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请提供的模型训练方法和基于预测模型的报警方法可以应用于具有工作服务器的场景。在图1所示的监控场景中,监控装置10通过网络20与工作服务器30连接。
工作服务器30是用于提供各种服务的服务器,例如Web服务器,存储服务器或业务服务器等。工作服务器30的数量可以是一个或多个。
工作服务器30可以通过网络20将监测数据发送给监控装置10。网络20可以是有线网络或者无线网络。
监控装置10可以是监控服务器或监控终端。监控装置10可以接收和存储上述监测数据。监控装置10按照本申请的模型训练方法和基于预测模型的报警方法可以对上述工作服务器30进行监控和报警。
监测数据是指工作服务器30的服务器数据。服务器数据可以是但不限于:服务器的网络连接数,中央处理器(Central Processing Unit,CPU)使用率,CPU空闲率,磁盘使用率,内存使用率,传输控制协议(Transmission Control Protocol,TCP)重传率等,每秒查询数(Query Per Second,QPS),吞吐量或响应时间。吞吐量是指工作服务器30在单位时间内处理请求的数量。QPS是指工作服务器30在每秒处理的流量大小。响应时间是指工作服务器30对请求做出响应的时间。具体可以是一个时段的平均响应时间,或者是最大响应时间。
针对采用固定阈值导致不能准确报警的问题,本申请提供了一种模型训练方法以及基于预测模型进行报警的方法,能够根据历史监测数据训练出符合历史监测数据变化规律的预测模型,能够根据预测模型对服务器数据阈值进行预测,然后基于动态的服务器数据阈值进行报警,从而提高报警的准确度。下面进行详细介绍:
请参阅图2,本申请提供的模型训练方法的一个实施例包括:
步骤201、确定时间分割点。
本实施例中,时间分割点为预设的一个时间点,具体可以根据实际情况进行设置。根据时间分割点可以划分时间段,将早于时间分割点的一个时间分段作为第一时间分段,将时间分割点之后的一个时间分段作为第二时间分段。
步骤202、基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列。
其中,每个训练时间点对应一个训练时间点序列。训练时间点序列不是由多个训练时间点构成的,而是与训练时间点对应的时间点序列。
时间间隔的数量可以根据经验进行设置。时间间隔的大小可以根据实际情况进行设置,例如五分钟、十分钟、半小时、一小时、三小时、一天、七天等,具体不作限定。
根据每个训练时间点和时间间隔可以确定训练时间点序列中的所有时间点,例如训练时间点为T_10,多个时间间隔分别为Δt1,Δt2,Δt3,Δt4,Δt1≠Δt2≠Δt3≠Δt4。训练时间点序列的时间点分别为T_11、T_12、T_13、T_14,则T_10、T_11、T_12、T_13、T_14满足以下公式:T_11=T_10-Δt1。T_12=T_10-Δt2。T_13=T_10-Δt3。T_14=T_10-Δt4。可以看出,这样根据每个时间间隔可以确定训练时间点序列中的一个时间点。
步骤203、从全部监测数据中基于训练时间点序列选取监测数据。
基于训练时间点序列中的每个时间点,获取在每个时间点的监测数据。
步骤204、基于训练时间点序列中各时间点的监测数据和训练时间点的监测数据确定预测模型的输入权值。
基于多个训练时间点序列,可以获取用于训练的大量监测数据。将训练时间点序列中各时间点的监测数据作为输入数据,训练时间点的监测数据作为输出数据,对于每个输入数据,预先设置有一个对应的输入权值。基于输入数据和输出数据对预设的输入权值进行修正,可以得到预测模型的输入权值。预设的输入权值可以是在(0,1)之间的数值,具体可以根据经验进行设置,本申请不作限定。
步骤205、基于第二时间分段中的测试时间点以及至少两个时间间隔确定测试时间点对应的测试时间点序列。
测试时间点的数量可以是一个或多个。每个测试时间点对应一个测试时间点序列。测试时间点序列不是由多个测试时间点构成的,而是与测试时间点对应的时间点序列。
步骤206、基于测试时间点序列获取监测数据。
步骤205和步骤206是获取测试数据的过程,步骤202至步骤204是获取训练数据和训练预测模型的过程,两个过程并无固定先后顺序,步骤205和步骤206也可以在步骤202、步骤203或步骤204之前执行,本申请不作限定。
步骤207、基于测试时间点序列中各时间点的监测数据和输入权值确定在测试时间点的预测值。
步骤208、将预测值与在测试时间点的监测数据进行比对。
步骤209、如比对结果满足模型收敛条件,则完成模型训练。
具体的,判断比对结果是否满足模型收敛条件可以为:当预测值与在测试时间点的监测数据的差值小于或等于预设阈值时,确定比对结果满足模型收敛条件。当预测值与在测试时间点的监测数据的差值大于预设阈值时,确定比对结果不满足模型收敛条件。
如比对结果不满足模型收敛条件,则对预设的输入权值进行调整,触发执行步骤204,从而调整预测模型的输入权值。使用调整后的预测模型的输入权值对测试时间点序列中各时间点的监测数据进行预测,直至在测试时间点的预测值与监测数据之间的比对结果满足模型收敛条件为止。
本实施例中,从第一时间分段的监测数据中选取训练时间点的监测数据和训练时间点序列的监测数据进行训练,这样训练得到的预测模型能够输出符合实际且动态变化的服务器数据阈值,基于该动态的服务器数据阈值进行报警能够提高报警的准确度。
其次,采用不同于训练数据的测试数据对预测模型进行修正,可以防止预测模型过拟合的情况,从而保障预测模型的准确度。
在一个可选实施例中,在从全部监测数据中基于训练时间点序列选取监测数据之前,上述模型训练方法还包括:对全部监测数据进行数据去噪;对去噪后的全部监测数据进行归一化处理。
在实际应用中,服务器数据可能出现异常。例如在上线过程中某些机器的QPS会出现大幅下降,然后回升。在选取用于训练的监测数据之前,将全部监测数据进行数据去噪,能够得到平滑的监测数据,这样能够减少异常数据对预测模型的影响,提高预测模型的准确度。
在数据去噪后,对全部监测数据进行归一化处理。归一化处理能够加快模型收敛,提升训练速度。归一化处理可以是但不限于z-score标准化。
在一个可选实施例中,步骤204包括:
步骤2041、获取预设的输入权值,每个监测数据对应一个输入权值。
步骤2042、基于训练时间点序列中各时间点的监测数据、输入权值和训练时间点的监测数据确定损失值。
步骤2043、基于损失值更新输入权值,触发执行步骤2042。
步骤2044、当损失值小于或等于预设阈值时,确定当前的输入权值为预测模型的输入权值。
本实施例中,对于训练时间点序列中各时间点对应的监测数据可以预先设置初始权值。Δt1,Δt2,Δt3,Δt4分别为五分钟,半小时,一天,七天,五分钟前的监测数据设置的初始权值记为q1,半小时前前的监测数据设置的初始权值记为q2,一天前的监测数据设置的初始权值记为q3,七天前的监测数据设置的初始权值记为q4。
以CPU空闲率为例,训练时间点记为IDLE_10,其对应的训练时间点序列包括的4个时间点分别为T_11,T_12,T_13,T_14,该训练时间点序列对应的监测数据分别记为IDLE_11,IDLE_12,IDLE_13,IDLE_14。
训练时间点序列中各时间点的监测数据和输入权值满足以下公式:
IDLE_11*q1+IDLE_12*q2+IDLE_13*q3+IDLE_14*q4=参考预测值。
然后根据参考预测值和训练时间点的监测数据计算损失值。可选的,参考预测值、训练时间点的监测数据和损失值满足以下公式:损失值=(参考预测值-IDLE_10)*(参考预测值-IDLE_10)/2。可以理解的是,损失值的计算方式不限于以上公式。
当损失值大于预设阈值时,根据损失值计算出新的输入权值,在更新输入权值后,继续执行步骤2042,直至损失值小于或等于预设阈值。当所述损失值小于或等于预设阈值时,表示预测模型能够对输入数据和输出数据进行准确拟合。其中,根据损失值计算出新的输入权值的方法可以是反向传播算法。反向传播算法也称为反向梯度传播算法。按照以上方法能够计算出预测模型的输入权值,从而生成预测模型。
需要说明的是,本申请还可以采用卷积神经网络算法对训练时间点序列中各时间点的监测数据和训练时间点的监测数据进行训练,训练时间点序列中各时间点的监测数据作为输入数据,训练时间点的监测数据作为输出数据。当采用卷积神经网络算法对输入数据和输出数据进行处理时,配置依次连接的卷积层、池化层和全连接层,在卷积层对输入数据进行卷积处理,在池化层对卷积层输出的数据进行池化处理,在全连接层对池化层输出的数据进行处理得到输出数据。采用卷积神经网络算法对输入数据进行卷积和池化处理,能够进一步提高预测模型的准确度。
从以上实施例可以看出,本申请的模型训练方法能够训练出预测模型,下面对基于该预测模型的报警方法进行介绍。参阅图3,本申请提供的基于预测模型的报警方法的一个实施例包括:
步骤301、确定目标时间点。
步骤302、基于目标时间点和至少两个时间间隔,确定与目标时间点对应的时间点序列。
步骤303、获取与时间点序列对应的监测数据。
步骤304、基于预测模型的输入权值和时间点序列对应的监测数据确定在目标时间点的预测值。
步骤305、获取目标时间点的监测数据。
步骤306、将目标时间点的监测数据与目标时间点的预测值进行比对。
步骤307、基于比对结果进行报警。
在一个可选实施例中,步骤307包括:当比对结果为目标时间点的监测数据与目标时间点的预测值的差值且差值大于预设误差时,输出报警信号。
其中,目标时间点的预测值表示服务器数据阈值。当差值大于预设误差时,表示实际监测数据偏离服务器正常运行时的取值区间,此时判定该时间点服务器发生异常,进行报警。当差值小于或等于预设误差时,表示实际监测数据在服务器正常运行时的取值区间内,此时判断该时间点服务器运行正常,不进行报警。
除了差值之外,还可以使用该差值的绝对值与预设误差进行比较,当该差值的绝对值大于预设误差时报警,当该差值的绝对值小于或等于预设误差时,确定服务器运行正常,不进行报警。
需要说明的是,本申请还可以采用其他方式判断服务器是否运行异常,例如,当上述差值与预测值之比大于预设比例值时,确定服务器运行异常,输出报警信号。当上述差值与预测值之比小于或等于预设比例值时,确定服务器运行正常。预设比例值可以根据实际情况进行设置,在此不作限定。
本申请提供一种模型训练装置,能够实现以上实施例中的模型训练方法。参阅图4,本申请的模型训练装置400的一个实施例包括:
确定模块401,用于确定时间分割点;
确定模块401,还用于基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列,第一时间分段为早于所述时间分割点的时间分段;
获取训练数据模块402,用于从全部监测数据中基于训练时间点序列选取监测数据;
训练模块403,用于基于训练时间点序列中各时间点的监测数据和训练时间点的监测数据确定预测模型的输入权值;
确定模块401,还用于基于第二时间分段中的测试时间点以及至少两个时间间隔确定测试时间点对应的测试时间点序列,第二时间分段为时间分割点之后的时间分段;
获取测试数据模块404,用于基于测试时间点序列获取监测数据;
测试模块405,用于基于测试时间点序列中各时间点的监测数据和输入权值确定在测试时间点的预测值;
测试模块405,还用于将预测值与在测试时间点的监测数据进行比对;如比对结果满足模型收敛条件,则完成模型训练。
本实施例中,监测数据为服务器的网络连接数、CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或TCP重传率中的至少一种。
在一个可选实施例中,上述模型训练装置400还包括:
去噪模块,用于对全部监测数据进行数据去噪;
归一化处理模块,用于对去噪后的全部监测数据进行归一化处理。
在另一个可选实施例中,训练模块403具体用于获取预设的输入权值,每个监测数据对应一个输入权值;基于训练时间点序列中各时间点的监测数据、输入权值和训练时间点的监测数据确定损失值;基于损失值更新输入权值,触发执行基于训练时间点序列中各时间点的监测数据、输入权值和训练时间点的监测数据确定损失值的步骤;当损失值小于或等于预设阈值时,确定当前的输入权值为预测模型的输入权值。
本申请还提供一种报警装置能够实现以上实施例中基于预测模型的报警方法。参阅图5,本申请的报警装置500的一个实施例包括:
确定模块501,用于确定目标时间点;
确定模块501,还用于基于目标时间点和至少两个时间间隔,确定与目标时间点对应的时间点序列;
获取模块502,用于获取与时间点序列对应的监测数据;
预测模块503,用于基于预测模型的输入权值和时间点序列对应的监测数据确定在目标时间点的预测值;
获取模块502,还用于获取目标时间点的监测数据;
对比模块504,用于将目标时间点的监测数据与目标时间点的预测值进行比对;
报警模块505,用于基于比对结果进行报警。
其中,监测数据为服务器的网络连接数、CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或TCP重传率中的至少一种。
本实施例中,确定模块501和获取训练数据模块502可以获取监测数据,预测模块503可以基于预测模型对目标时间点的服务器数据阈值进行预测,对比模块504可以将目标时间点的监测数据与目标时间点的预测值进行比对,报警模块505可以基于比对结果进行报警。这样能够对每个时间点的服务器数据阈值进行预测,从而得到动态的服务器数据阈值,基于动态的服务器数据阈值进行报警能够满足实际应用中对服务器数据阈值的要求,提高报警的准确度。
在一个可选实施例中,报警模块505具体用于当比对结果为目标时间点的监测数据与目标时间点的预测值的差值且差值大于预设误差时,输出报警信号。
本申请公开一种服务器能够实现图2所示实施例或可选实施例中的模型训练方法,也可以实现图3所示实施例或可选实施例中基于预测模型的报警方法。
参阅图6,服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或多个中央处理器622和存储器632,一个或多个用于存储应用程序642或数据644的存储介质630。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质630通信,在服务器600上执行存储介质630中的一系列指令操作。
服务器600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,和/或,一个或一个以上操作系统641,例如Windows Server TM,Mac OS X TM,Unix TM,Linux TM,FreeBSD TM等等。
本申请还提供一种计算机存储介质,当计算机执行计算机存储介质存储的指令时,使得计算机能够执行如图2所示实施例或可选实施例中的模型训练方法,或者使得所述计算机能够执行如图3所示实施例或可选实施例中所述的基于预测模型的报警方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种模型训练方法,其特征在于,包括:
确定时间分割点;
基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列,所述第一时间分段为早于所述时间分割点的时间分段;
从全部监测数据中基于所述训练时间点序列选取监测数据;
基于所述训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值;
基于第二时间分段中的测试时间点以及所述至少两个时间间隔确定测试时间点对应的测试时间点序列,所述第二时间分段为所述时间分割点之后的时间分段;
基于测试时间点序列获取监测数据;
基于所述测试时间点序列中各时间点的监测数据和所述输入权值确定在所述测试时间点的预测值;
将所述预测值与在所述测试时间点的监测数据进行比对;
如比对结果满足模型收敛条件,则完成模型训练。
2.根据权利要求1所述的方法,其特征在于,在所述从全部监测数据中基于所述训练时间点序列选取监测数据之前,所述方法还包括:
对所述全部监测数据进行数据去噪;
对去噪后的全部监测数据进行归一化处理。
3.根据权利要求1所述的方法,其特征在于,所述基于所述训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值包括:
获取预设的输入权值,每个所述监测数据对应一个输入权值;
基于所述训练时间点序列中各时间点的监测数据、所述输入权值和所述训练时间点的监测数据确定损失值;
基于所述损失值更新所述输入权值,触发执行所述基于所述训练时间点序列中各时间点的监测数据、所述输入权值和所述训练时间点的监测数据确定损失值的步骤;
当所述损失值小于或等于预设阈值时,确定当前的输入权值为预测模型的输入权值。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述监测数据为服务器的网络连接数、中央处理器CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或传输控制协议TCP重传率中的至少一种。
5.一种基于预测模型的报警方法,其特征在于,包括:
确定目标时间点;
基于所述目标时间点和至少两个时间间隔,确定与所述目标时间点对应的时间点序列;
获取与所述时间点序列对应的监测数据;
基于预测模型的输入权值和所述时间点序列对应的监测数据确定在所述目标时间点的预测值;
获取所述目标时间点的监测数据;
将所述目标时间点的监测数据与所述目标时间点的预测值进行比对;
基于比对结果进行报警。
6.根据权利要求5所述的方法,其特征在于,所述基于比对结果进行报警包括:
当所述比对结果为所述目标时间点的监测数据与所述目标时间点的预测值的差值且所述差值大于预设误差时,输出报警信号。
7.根据权利要求5或6所述的方法,其特征在于,所述监测数据为服务器的网络连接数、中央处理器CPU使用率、CPU空闲率、每秒查询数、吞吐量、响应时间、磁盘使用率、内存使用率或传输控制协议TCP重传率中的至少一种。
8.一种模型训练装置,其特征在于,包括:
确定模块,用于确定时间分割点;
所述确定模块,还用于基于第一时间分段中的多个训练时间点以及至少两个时间间隔确定每个训练时间点对应的训练时间点序列,所述第一时间分段为早于所述时间分割点的时间分段;
获取训练数据模块,用于从全部监测数据中基于所述训练时间点序列选取监测数据;
训练模块,用于基于所述训练时间点序列中各时间点的监测数据和所述训练时间点的监测数据确定预测模型的输入权值;
所述确定模块,还用于基于第二时间分段中的测试时间点以及所述至少两个时间间隔确定测试时间点对应的测试时间点序列,所述第二时间分段为所述时间分割点之后的时间分段;
获取测试数据模块,用于基于测试时间点序列获取监测数据;
测试模块,用于基于所述测试时间点序列中各时间点的监测数据和所述输入权值确定在所述测试时间点的预测值;
所述测试模块,还用于将所述预测值与在所述测试时间点的监测数据进行比对;如比对结果满足模型收敛条件,则完成模型训练。
9.一种报警装置,其特征在于,包括:
确定模块,用于确定目标时间点;
所述确定模块,还用于基于所述目标时间点和至少两个时间间隔,确定与所述目标时间点对应的时间点序列;
获取模块,用于获取与所述时间点序列对应的监测数据;
预测模块,用于基于预测模型的输入权值和所述时间点序列对应的监测数据确定在所述目标时间点的预测值;
所述获取模块,还用于获取所述目标时间点的监测数据;
对比模块,用于将所述目标时间点的监测数据与所述目标时间点的预测值进行比对;
报警模块,用于基于比对结果进行报警。
10.一种计算机存储介质,所述计算机存储介质存储有指令,其特征在于,当指令在计算机上运行时,使计算机执行如权利要求1至7中任一项所述的方法。
CN202010071729.3A 2020-01-21 2020-01-21 模型训练方法、基于预测模型的报警方法和相关装置 Active CN111258854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071729.3A CN111258854B (zh) 2020-01-21 2020-01-21 模型训练方法、基于预测模型的报警方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071729.3A CN111258854B (zh) 2020-01-21 2020-01-21 模型训练方法、基于预测模型的报警方法和相关装置

Publications (2)

Publication Number Publication Date
CN111258854A true CN111258854A (zh) 2020-06-09
CN111258854B CN111258854B (zh) 2023-10-03

Family

ID=70952548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071729.3A Active CN111258854B (zh) 2020-01-21 2020-01-21 模型训练方法、基于预测模型的报警方法和相关装置

Country Status (1)

Country Link
CN (1) CN111258854B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760017A (zh) * 2021-09-13 2021-12-07 中国农业大学 鱼菜共生系统环境参数预测方法及装置
CN114613103A (zh) * 2022-05-10 2022-06-10 广东阿尔创通信技术股份有限公司 基于大数据的报警定位处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730087A (zh) * 2017-09-20 2018-02-23 平安科技(深圳)有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
CN109582529A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 一种报警阈值的设置方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备
US20190347113A1 (en) * 2018-05-10 2019-11-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Establishing Application Prediction Model, Storage Medium, and Terminal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730087A (zh) * 2017-09-20 2018-02-23 平安科技(深圳)有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
US20190347113A1 (en) * 2018-05-10 2019-11-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Establishing Application Prediction Model, Storage Medium, and Terminal
CN109582529A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 一种报警阈值的设置方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760017A (zh) * 2021-09-13 2021-12-07 中国农业大学 鱼菜共生系统环境参数预测方法及装置
CN114613103A (zh) * 2022-05-10 2022-06-10 广东阿尔创通信技术股份有限公司 基于大数据的报警定位处理方法及系统
CN114613103B (zh) * 2022-05-10 2022-08-23 广东阿尔创通信技术股份有限公司 基于大数据的报警定位处理方法及系统

Also Published As

Publication number Publication date
CN111258854B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN107480028B (zh) 磁盘可使用的剩余时长的获取方法及装置
JP2017174375A (ja) リスク早期警報方法、および装置
CN116433009A (zh) 一种用于变电设备的异常监测方法、装置及存储介质
CN109992473B (zh) 应用系统的监控方法、装置、设备及存储介质
CN110753112A (zh) 云服务的弹性伸缩方法和装置
CN111258854B (zh) 模型训练方法、基于预测模型的报警方法和相关装置
CN108334427B (zh) 存储系统中的故障诊断方法及装置
CN111858704A (zh) 一种数据监控方法、装置、电子设备以及存储介质
CN114500339B (zh) 一种节点带宽监测方法、装置、电子设备及存储介质
CN111158999A (zh) 一种格式化时间的计算方法和装置
CN115600767A (zh) 物料监测方法、装置、计算机设备及可读存储介质
CN113835626B (zh) 一种确定磁盘可使用时长的方法及装置
CN113312239B (zh) 一种数据检测方法、装置、电子设备及介质
CN112862222A (zh) 空调回风温度的预测方法、异常监控方法和相关装置
CN109710285B (zh) 一种设备升级方法及系统
CN113626282B (zh) 云计算物理节点负载监控方法、装置、终端及存储介质
CN111258724B (zh) 一种分布式系统的数据处理方法、装置、设备和存储介质
CN114328078A (zh) 一种阈值动态计算方法、装置及计算机可读存储介质
CN112965791A (zh) 定时任务检测方法、装置、设备及存储介质
CN117729063B (zh) 工业物联网的设备接入方法、装置、设备及存储介质
CN115495321B (zh) 一种超算节点使用状态自动识别方法
CN111176876B (zh) 一种故障恢复确定方法、装置、设备及可读存储介质
CN117240688A (zh) 一种云平台运行维护方法、系统、设备及介质
CN116483658A (zh) 服务器性能监控方法、装置、系统、设备和存储介质
CN115730811A (zh) 告警方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant