CN117787433A - 模型的训练方法、监控参数的配置方法及装置 - Google Patents

Abstract

本申请实施例提供的一种模型的训练方法、监控参数的配置方法及装置，通过确定各个样本性能指标对应的权重，然后基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型，在获取到获取监控对象的性能指标的情况下，则可以输入到强化学习模型中，从而得到目标操作，基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，能够根据训练的强化学习模型对监控模板进行优化，提高采集的数据的质量。

Description

模型的训练方法、监控参数的配置方法及装置

技术领域

本申请属于监控技术领域，尤其涉及模型的训练方法、监控参数的配置方法及装置。

背景技术

监控系统是企业保障IT服务可用性的重要基础设施。随着业务复杂度不断增长，需要监控的对象和指标也在不断增加。传统监控系统的模板配置通常依靠经验来设计，配置的参数通常是固定不变的，而且监控项和触发标准的设定难以适应环境的变化，无法根据实时负载动态调整监控细节，监控参数设置不合理，导致收集信息冗余或遗漏关键指标。

发明内容

针对上述问题，本申请实施例提供了模型的训练方法、监控参数的配置方法及装置，能够根据训练的强化学习模型对监控模板进行优化，提高采集的数据的质量。

本申请实施例提供了一种模型的训练方法，包括：

获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作；

确定各个样本性能指标对应的权重；

基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；

基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

在一些实施例中，所述确定各个样本性能指标对应的权重，包括：

将所述样本性能指标输入决策树模型中确定各个样本性能指标在所述决策树模型中各个节点上的重要性得分；

将各个样本性能指标在各个节点上的重要性得分进行求和，得到各个样本性能指标对应的求和结果；

将各个样本性能指标对应的求和结果进行求和，得到目标求和结果；

将各个样本性能指标对应的求和结果除以所述目标求和结果，得到各个样本性能指标对应的权重。

在一些实施例中，所述样本性能指标包括：样本负载指标和样本监控质量指标，所述获取样本数据集，包括：

获取监控对象的样本监控数据及所述样本监控数据对应的对监控模板的监控参数的样本操作，所述样本监控数据包括：样本负载指标和样本采集信息，所述样本采集信息包括：采集状态的次数和总采集次数；

基于所述采集状态的次数和所述总采集次数确定样本监控质量指标；

基于所述样本负载指标、样本监控质量指标及所述样本操作确定样本数据集。

在一些实施例中，样本负载指标包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述奖励函数，包括：

r＝W1*A–W2*B–W3*C–W4*D–W5*E；

其中，W1为样本监控质量指标对应的权重，A为样本监控质量指标，W2为CPU利用率对应的权重，B为CPU利用率，W3为内存利用率对应的权重，C为内存利用率，W4为磁盘利用率对应的权重，D为磁盘利用率，W5为网络带宽利用率对应的权重，E为网络带宽利用率，r为奖励值。

本申请实施例提供一种监控参数的配置方法，包括：

获取监控对象的性能指标；

将所述性能指标输入至上述模型的训练方法建立的强化学习模型中，确定目标操作；

基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，以对所述监控模板进行配置。

在一些实施例中，所述监控参数包括：监控任务的采集时间，所述方法还包括：

获取所述监控模板中的采集时间的倒计时；

在所述倒计时为0的情况下，基于所述监控任务对监控对象进行数据采集。

在一些实施例中，每个监控模板包括：第一Map结构和第二Map结构，所述第一Map结构和所述第二Map结构中的的key值包括采集对象对应的采集任务信息，所述第一Map结构的value值包括：采集所需数据，所述第二Map的value值包括：监控参数。

本申请实施例提供一种模型的训练装置，包括：

第一获取模块，用于获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作；

第一确定模块，用于确定各个样本性能指标对应的权重；

第二确定模块，用于基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；

训练模块，用于基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

本申请实施例提供一种监控参数的配置装置，包括：

第二获取模块，用于获取监控对象的性能指标；

第三确定模块，用于将所述性能指标输入至上述所述模型的训练方法建立的强化学习模型中，确定目标操作；

配置模块，用于基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，以对所述监控模板进行配置。

本申请实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的模型的训练方法或所述的监控参数的配置方法。

本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的模型的训练方法或所述的监控参数的配置方法。

本申请实施例提供的一种模型的训练方法、监控参数的配置方法及装置，通过确定各个样本性能指标对应的权重，然后基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型，在获取到监控对象的性能指标的情况下，则可以输入到强化学习模型中，从而得到目标操作，基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，因此，能够根据训练的强化学习模型对监控模板进行优化，提高采集的数据的质量。

附图说明

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1为本申请实施例提供的一种模型的训练方法的实现流程示意图；

图2为本申请实施例提供的一种监控参数的配置方法的实现流程示意图；

图3为本申请实施例提供的一种监控参数的配置方法的实现流程示意图；

图4为本申请实施例提供的一种模型的训练装置的结构示意图；

图5为本申请实施例提供的电子设备的组成结构示意图。

在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种模型的训练方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、服务器等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。本申请实施例提供的模型的训练方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。

本申请实施例提供一种模型的训练方法，图1为本申请实施例提供的一种模型的训练方法的实现流程示意图，如图1所示，包括：

步骤S101，获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作。

本申请实施例中，样本数据集中可以包括大量的样本数据，所述样本性能指标可以包括：样本负载指标和样本监控质量指标，所述样本负载指标可以包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率中的一个或多个，所述样本监控质量指标可以包括：采集正确率、采集错误率、采集超时率中的一个或多个。

本申请实施例中，样本操作可以包括：增加监控频次、减少监控频次、增加采集重试次数、删除本次采集、修改采集时间等。

本申请实施例中，所述监控模板中包括：监控对象、监控任务所需的数据、采集时间、采集频率等。

在一些实施例中，监控模板可以包括第一Map结构和第二Map结构，所述第一Map结构和所述第二Map结构中的的key值包括采集对象对应的采集任务信息，所述第一Map结构的value值包括：采集所需数据，所述第二Map的value值包括：监控参数。

本申请实施例中，所述监控参数可以包括：采集时间、采集频次、采集重复次数等。

本申请实施例中，电子设备可以从数据库中获取样本数据集。

在一些实施例中，电子设备可以通过从数据库中获取历史监控数据，通过历史监控数据来确定样本数据集。

本申请实施例中，步骤S101可以通过以下步骤实现：

步骤S1011，获取监控对象的样本监控数据及所述样本监控数据对应的对监控模板的监控参数的样本操作，所述样本监控数据包括：样本负载指标和样本采集信息，所述样本采集信息包括：采集状态的次数和总采集次数。

本申请实施例中，可以从数据库中获取监控对象的样本监控数据及所述样本监控数据对应的对监控模板的监控参数的样本操作。

针对监控的监控对象，电子设备可以记录监控数据和用户对监控模板的监控参数的操作，并将这些数据存储在数据库中，从而可以用于进行强化学习模块的训练。

本申请实施例中，采集状态可以包括：采集失败状态、采集超时状态、采集错误状态中的一个或多个。

步骤S1012，基于所述采集状态的次数和所述总采集次数确定样本监控质量指标。

本申请实施例中，样本监控质量指标可以由采集错误率和采集超时率计算得到。

本申请实施例中，可以用采集错误的次数除以总采集次数，从而确定采集错误率，可以用采集超时的次数除以总采集次数得到采集超时率。

在计算样本监控质量指标时，可以设置采集错误率和采集超时率分别对应的权重，然后计算得到样本监控质量指标。

示例性地，采集错误率对应的权重设置为0.6，采集超时率对应的权重设置为0.4，样本监控质量指标的计算公式可以包括：

Collection_quality＝0.6*(1-Error_rate)+0.4*(1-Timeout_rate)；

其中，Collection_quality为样本监控质量指标，Error_rate为采集错误率，Timeout_rate为采集超时率。

步骤S1013，基于所述样本负载指标、样本监控质量指标及所述样本操作确定样本数据集。

步骤S102，确定各个样本性能指标对应的权重。

本申请实施例中，各个样本性能指标对应的权重包括：样本监控质量指标对应的权重、CPU利用率对应的权重、内存利用率对应的权重、磁盘利用率对应的权重、网络带宽利用率对应的权重。

本申请实施例中，CPU利用率、内存利用率、磁盘利用率、网络带宽利用率都会对监控质量指标有不同程度的影响。

本申请实施例中，可以采用主因素分析方法来确定监控质量指标对应的影响因素。

本申请实施例中，步骤S102可以通过以下步骤实现：

步骤S1021，将所述样本性能指标输入决策树模型中确定各个样本性能指标在所述决策树模型中各个节点上的重要性得分。

本申请实施例中，所述决策树模型可以为基于CART算法构建的。可以根据历史数据库来进行训练学习，从而构建决策树算法。本申请实施例中，决策树算法中包括：多个节点。

本申请实施例中，CART算法采用自上向下选择最佳特征分割节点的方法，以信息增益作为选择标准。

本申请实施例中，可以将样本性能指标输入至决策树模型中从而确定各个样本性能指标在决策树模型中各个节点的信息增益，可以基于信息增益确定重要性得分。在一些实施例中，信息增益可以认为为重要性得分。在一些实施例中，信息增益和重要性得分存在对应关系，当确定了信息增益后，则可以基于该对应关系，确定重要性得分。

本申请实施例中，重要性得分可以用数值表示。

步骤S1022，将各个样本性能指标在各个节点上的重要性得分进行求和，得到各个样本性能指标对应的求和结果。

本申请实施例中，可以将各个样本性能指标在各个节点上的重要性得分进行相加，得到各个样本性能指标对应的求和结果。

步骤S1023，将各个样本性能指标对应的求和结果进行求和，得到目标求和结果。

本申请实施例中，目标求和结果可以认为为各个样本性能指标对应的求和结果的总和。

步骤S1024，将各个样本性能指标对应的求和结果除以所述目标求和结果，得到各个样本性能指标对应的权重。

本申请实施例中，各个性能指标对应的权重可以用w表示。

步骤S103，基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数。

本申请实施例中，初始强化学习模型可以认为为未经过训练的强化学习模型。所述初始强化模型可以包括：马尔可夫决策过程模型。

本申请实施例中，样本性能指标包括：样本负载指标和样本监控质量指标，样本负载指标包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述奖励函数，包括：

r＝W1*A–W2*B–W3*C–W4*D–W5*E；

其中，W1为样本监控质量指标对应的权重，A为样本监控质量指标，W2为CPU利用率对应的权重，B为CPU利用率，W3为内存利用率对应的权重，C为内存利用率，W4为磁盘利用率对应的权重，D为磁盘利用率，W5为网络带宽利用率对应的权重，E为网络带宽利用率，r为奖励值。

本申请实施例中，可以通过样本数据来对初始强化学习模型进行训练。

步骤S104，基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

本申请实施例中，可以以样本负载指标、样本监控质量指标为初始强化学习模型的输入，样本操作为初始强化学习模型的输出来训练模型。

本申请实施例中，强化学习模型的要素包括状态、动作、奖励。

本申请实施例中，奖励则使用上述的奖励函数进行计算，状态则包括样本负载指标和样本监控指标。动作包括：对监控模板的样本操作。

本申请实施例中，强化学习模型可以认为是一个智能体，在强化学习的过程中，智能体跟环境一直在交互。智能体在环境里面获取到状态，智能体会利用这个状态输出一个动作，一个决策。然后这个决策会放到环境之中去，环境会根据智能体采取的决策，输出下一个状态以及当前的这个决策得到的奖励。智能体的目的就是为了尽可能多地从环境中获取奖励，在奖励值最大或奖励值的变化小于阈值的情况下，可以认为训练完成。这里奖励值的变化小于阈值可以认为是奖励值变化很小。

本申请实施例提供的一种模型的训练方法，通过确定各个样本性能指标对应的权重，然后基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型，在获取到获取监控对象的性能指标的情况下，则可以输入到强化学习模型中，从而得到目标操作，基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，能够根据训练的强化学习模型对监控模板进行优化，提高采集的数据的质量。

基于前述的各个实施例，本申请实施例提供一种监控参数的配置方法，本申请实施例提供一种监控参数的配置方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、服务器等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。本申请实施例提供的模型的训练方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。

本申请实施例提供一种监控参数的配置方法，图2为本申请实施例提供的一种监控参数的配置方法的实现流程示意图，如图2所示，包括：

步骤S201，获取监控对象的性能指标。

本申请实施例中，监控对象可以是监控设备，监控设备可以是电脑等。

本申请实施例中，电子设备可以通过监控模板来获取监控对象的性能指标，性能指标可以包括：负载指标和监控质量指标。

本申请实施例中，负载指标可以包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述监控质量指标可以基于采集错误率和采集超时率计算得到，采集错误率可以由采集失败状态的次数和总采集次数计算得到，采集超时率可以由采集超时状态的次数和总采集次数计算得到。

步骤S202，将所述性能指标输入至上述模型的训练方法建立的强化学习模型中，确定目标操作。

本申请实施例中，所述目标操作可以包括：增加监控频次、减少监控频次、增加采集重试次数、删除本次采集、修改采集时间中的至少一个。

步骤S203，基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，以对所述监控模板进行配置。

本申请实施例中，每个监控模板可以包括：第一Map结构和第二Map结构，所述第一Map结构和所述第二Map结构中的的key值包括监控对象对应的采集任务信息，所述第一Map结构的value值包括：采集所需数据，所述第二Map的value值包括：监控参数。

本申请实施例中，当需要修改某个监控模板的控制参数时，只需要更新该监控模板的两个Map中的value。

本申请实施例提供的方法，在获取到获取监控对象的性能指标的情况下，则可以输入到强化学习模型中，从而得到目标操作，基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，能够根据训练的强化学习模型对监控模板进行优化，提高采集的数据的质量。

在一些实施例中，所述监控参数包括：监控任务的采集时间。

在步骤S201之前，或步骤S203之后，所述方法还包括：

步骤S204，获取所述监控模板中的采集时间的倒计时。

可以使用定时器循环遍历各个监控模板中的两个Map，以获取各个监控模板中的采集时间的倒计时。

步骤S205，在所述倒计时为0的情况下，基于所述监控任务对监控对象进行数据采集。

本申请实施例中，当第二Map的vaule值为0时，可以将监控任务发送到环信即时通信队列，从过环信即时通信队列来进行数据采集。

在一些实施例中，所述方法还包括：

构建监控模板。

本申请实施例中，每个监控模板可以包括：第一Map结构和第二Map结构，

本申请实施例中，监控模板中的关键字段可以包括：任务id、设备类型、厂商、型号、采集所需数据、采集周期、采集时间等。

本申请实施例中，为了使监控任务相互之间独立，可以每个监控模板可以采用两个Map结构来存储相关的数据，第一Map结构的Key为被采集设备和采集任务拼接而成的唯一标识，Value为采集所需要的配置数据等。第一Map结构用于在任务采集阶段提供采集需要的数据。第二Map结构的Key也为被采集设备和采集任务拼接而成的唯一标识，Value为该任务的剩余采集时间。

在一些实施例中，所述方法还包括：

在获取到用户对目标监控模板的选择操作的情况下，输出目标监控模板的配置界面，以使用户对目标监控模板的监控参数进行配置。

本申请实施例提供的方法，每个配置任务通过两个Map存储采集任务相关的信息，可以对每个监控模板进行单独修改，可以不影响其他任务的执行。每个监控模板相互隔离，从而实现任务间相互不影响。

在一些实施例中，所述方法还包括：

获取采集错误率和/或采集超时率，在采集错误率大于采集错误率阈值或采集超时率大于采集超时率阈值的情况下，输出提示信息。

本申请实施例中，可以通过短信发送信息给相关人员，以输出提示信息。

本申请实施例中，在一些实施例中，可以确定错误类型，并根据错误类型自动生成监控模板中配置参数的调整。

示例性地，采集超时可以延长周期，采集失败可以增加重试次数。

基于前述的各个实施例，本申请实施例再提供一种监控参数的配置方法，图3为本申请实施例提供的一种监控参数的配置方法的实现流程示意图，如图3所示，包括：

步骤S301，从监控模板获取监控任务。

步骤S302，遍历监控任务中的采集倒计时是否等于0。

本申请实施例中，如果采集倒计时为0，则执行步骤S303，如果采集倒计时不为0，则遍历下一个任务。

步骤S303，发送监控任务至环信即时通信队列MQTT。

步骤S304，订阅消息。

步骤S305，重置采集任务的采集时间。

步骤S306，执行采集任务。

步骤S307，基于采集任务的监控数据确定性能指标。

本申请实施例中，所述性能指标包括：负载指标和监控质量指标。

步骤S308，基于强化学习模型修改监控模板。

在步骤S308之后，执行步骤S301。

在一些实施例中，在步骤S308之前，所述方法还包括：获取样本数据集，将样本性能指标输入至决策树模型中，输出各个样本性能指标的权重。基于样本性能指标权重确定强化学习模型的奖励函数。并基于样本数据集来训练强化学习模型。

本申请实施例中，样本负载指标包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述奖励函数，包括：

r＝W1*A–W2*B–W3*C–W4*D–W5*E；

其中，W1为样本监控质量指标对应的权重，A为样本监控质量指标，W2为CPU利用率对应的权重，B为CPU利用率，W3为内存利用率对应的权重，C为内存利用率，W4为磁盘利用率对应的权重，D为磁盘利用率，W5为网络带宽利用率对应的权重，E为网络带宽利用率，r为奖励值。

基于前述的实施例，本申请实施例提供一种模型的训练装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central ProcessingUnit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital SignalProcessing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

本申请实施例提供一种模型的训练装置，图4为本申请实施例提供的一种模型的训练装置的结构示意图，如图4所示，模型的训练装置400包括：

第一获取模块401，用于获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作；

第一确定模块402，用于确定各个样本性能指标对应的权重；

第二确定模块403，用于基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；

训练模块404，用于基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

在一些实施例中，所述第一确定模块，包括：

第一确定单元，用于将所述样本性能指标输入决策树模型中确定各个样本性能指标在所述决策树模型中各个节点上的重要性得分；

第一计算单元，用于将各个样本性能指标在各个节点上的重要性得分进行求和，得到各个样本性能指标对应的求和结果；

第二计算单元，用于将各个样本性能指标对应的求和结果进行求和，得到目标求和结果；

第三计算单元，用于将各个样本性能指标对应的求和结果除以所述目标求和结果，得到各个样本性能指标对应的权重。

在一些实施例中，所述样本性能指标包括：样本负载指标和样本监控质量指标，第一获取模块，包括：

第一获取单元，用于获取监控对象的样本监控数据及所述样本监控数据对应的对监控模板的监控参数的样本操作，所述样本监控数据包括：样本负载指标和样本采集信息，所述样本采集信息包括：采集状态的次数和总采集次数；

第二确定单元，用于基于所述采集状态的次数和所述总采集次数确定样本监控质量指标；

第三确定单元，用于基于所述样本负载指标、样本监控质量指标及所述样本操作确定样本数据集。

在一些实施例中，样本负载指标包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述奖励函数，包括：

r＝W1*A–W2*B–W3*C–W4*D–W5*E；

其中，W1为样本监控质量指标对应的权重，A为样本监控质量指标，W2为CPU利用率对应的权重，B为CPU利用率，W3为内存利用率对应的权重，C为内存利用率，W4为磁盘利用率对应的权重，D为磁盘利用率，W5为网络带宽利用率对应的权重，E为网络带宽利用率，r为奖励值。

基于前述的实施例，本申请实施例提供一种监控参数的配置装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，DigitalSignal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

本申请实施例提供一种监控参数的配置装置，监控参数的配置装置包括：

第二获取模块，用于获取监控对象的性能指标；

第三确定模块，用于将所述性能指标输入至上述实施例中的模型的训练方法建立的强化学习模型中，确定目标操作；

修改模块，用于基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，以对所述监控模板进行配置。

在一些实施例中，所述监控参数包括：监控任务的采集时间，监控参数的配置装置还包括：

第三获取模块，用于获取所述监控模板中的采集时间的倒计时；

采集模块，用于在所述倒计时为0的情况下，基于所述监控任务对监控对象进行数据采集。

在一些实施例中，每个监控模板包括：第一Map结构和第二Map结构，所述第一Map结构和所述第二Map结构中的的key值包括采集对象对应的采集任务信息，所述第一Map结构的value值包括：采集所需数据，所述第二Map的value值包括：监控参数。

本申请实施例提供一种电子设备；图5为本申请实施例提供的电子设备的组成结构示意图，如图5所示，所述电子设备500包括：一个处理器501、至少一个通信总线502、用户接口503、至少一个外部通信接口504、存储器505。其中，通信总线502配置为实现这些组件之间的连接通信。其中，用户接口503可以包括显示屏，外部通信接口504可以包括标准的有线接口和无线接口。所述处理器501配置为执行存储器中存储的模型的训练方法的程序，以实现以上述实施例提供的模型的训练方法中的步骤或监控参数的配置方法中的步骤。

本申请实施例中，如果以软件功能模块的形式实现上述的模型的训练方法或监控参数的配置方法，作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的模型的训练方法中的步骤或监控参数的配置方法。

本申请实施例再提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得电子设备执行上述任一项所述的模型的训练方法或监控参数的配置方法。

以上电子设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种模型的训练方法，其特征在于，包括：

获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作；

确定各个样本性能指标对应的权重；

基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；

基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

2.根据权利要求1所述的方法，其特征在于，所述确定各个样本性能指标对应的权重，包括：

将所述样本性能指标输入决策树模型中确定各个样本性能指标在所述决策树模型中各个节点上的重要性得分；

将各个样本性能指标在各个节点上的重要性得分进行求和，得到各个样本性能指标对应的求和结果；

将各个样本性能指标对应的求和结果进行求和，得到目标求和结果；

将各个样本性能指标对应的求和结果除以所述目标求和结果，得到各个样本性能指标对应的权重。

3.根据权利要求1所述的方法，其特征在于，所述样本性能指标包括：样本负载指标和样本监控质量指标，所述获取样本数据集，包括：

获取监控对象的样本监控数据及所述样本监控数据对应的对监控模板的监控参数的样本操作，所述样本监控数据包括：样本负载指标和样本采集信息，所述样本采集信息包括：采集状态的次数和总采集次数；

基于所述采集状态的次数和所述总采集次数确定样本监控质量指标；

基于所述样本负载指标、样本监控质量指标及所述样本操作确定样本数据集。

4.根据权利要求3所述的方法，其特征在于，样本负载指标包括：CPU利用率、内存利用率、磁盘利用率、网络带宽利用率，所述奖励函数，包括：

r＝W1*A–W2*B–W3*C–W4*D–W5*E；

其中，W1为样本监控质量指标对应的权重，A为样本监控质量指标，W2为CPU利用率对应的权重，B为CPU利用率，W3为内存利用率对应的权重，C为内存利用率，W4为磁盘利用率对应的权重，D为磁盘利用率，W5为网络带宽利用率对应的权重，E为网络带宽利用率，r为奖励值。

5.一种监控参数的配置方法，其特征在于，包括：

获取监控对象的性能指标；

将所述性能指标输入至权利要求1至4任一项的模型的训练方法建立的强化学习模型中，确定目标操作；

基于所述目标操作对所述监控对象对应的监控模板中的监控参数进行修改，以对所述监控模板进行配置。

6.根据权利要求5所述的方法，其特征在于，所述监控参数包括：监控任务的采集时间，所述方法还包括：

获取所述监控模板中的采集时间的倒计时；

在所述倒计时为0的情况下，基于所述监控任务对监控对象进行数据采集。

7.根据权利要求6所述的方法，其特征在于，每个监控模板包括：第一Map结构和第二Map结构，所述第一Map结构和所述第二Map结构中的的key值包括采集对象对应的采集任务信息，所述第一Map结构的value值包括：采集所需数据，所述第二Map的value值包括：监控参数。

8.一种模型的训练装置，其特征在于，包括：

第一获取模块，用于获取样本数据集，其中，所述样本数据集中的样本数据包括：样本性能指标及对监控模板的监控参数的样本操作；

第一确定模块，用于确定各个样本性能指标对应的权重；

第二确定模块，用于基于各个样本性能指标对应的权重确定初始强化学习模型的奖励函数；

训练模块，用于基于所述样本性能指标和所述样本操作对初始强化学习模型进行训练得到强化学习模型。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4所述的模型的训练方法或如权利要求5至7任一项所述的监控参数的配置方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4所述的模型的训练方法或如权利要求5至7任一项所述的监控参数的配置方法。