CN116432016A - 一种规则优化的方法及装置 - Google Patents
一种规则优化的方法及装置 Download PDFInfo
- Publication number
- CN116432016A CN116432016A CN202111682312.1A CN202111682312A CN116432016A CN 116432016 A CN116432016 A CN 116432016A CN 202111682312 A CN202111682312 A CN 202111682312A CN 116432016 A CN116432016 A CN 116432016A
- Authority
- CN
- China
- Prior art keywords
- data processing
- rule
- rule information
- processing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005457 optimization Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 266
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000003860 storage Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了一种规则优化的方法,包括:根据第一训练数据训练第一模型,该第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;使用第一模型对第一数据处理规则进行处理得到优化后的规则,从而使得该优化后的规则适用于复杂场景。
Description
技术领域
本申请涉及云计算领域,尤其涉及一种规则优化的方法及装置。
背景技术
云计算系统中存在着大量自动化规则,例如:网络访问控制列表(access controllist,ACL)ACL规则,物联网平台(internet of things if this then that,IoT IFTTT)规则,虚拟机(virtual machine,VM)或容器的弹性伸缩规则,运维系统中的硬盘故障检测规则。这些规则均为IF-THEN的形式,这种形式能够很容易将专家经验转变成规则的形态,快速解决单一的功能性问题,但通常准确性不高。
随着深度学习渐渐延伸到开发领域,催生出了学习型软件架构。这种学习型架构利用深度学习强大的学习能力,通过数据驱动,自动学习出最优策略。而深度学习这种纯黑盒模型可解释性差,依赖大量样本,在实际生产系统中可落地性差,并且,纯黑盒模型浪费了宝贵的专家经验。
如何针对复杂场景实现规则的深度学习,使得云计算系统中的规则能够适用于复杂场景,成为业界亟需解决的问题。
发明内容
本申请提供一种规则优化的方法及装置,能够针对复杂场景实现规则的深度学习,使得云计算系统中的规则能够适用于复杂的业务场景。
第一方面,提供了一种规则优化的方法,该方法包括:获取第一模型,所述第一模型是基于第一训练数据训练获得的,所述第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;根据所述第一模型对所述第一数据处理规则信息进行处理获得第二数据处理规则信息,所述第二数据处理规则信息包括所述第一数据处理规则信息的优化结果。
根据本申请的技术方案,根据第一数据处理规则和第一处理结果训练第一模型,使用第一模型处理第一数据处理规则得到适优化的规则,从而适用于更加复杂的业务场景。
本申请中,第一数据处理规则可以是云计算系统中存在的大量自动化规则,一种可能的实现方式中,该规则是基于专家经验库确定的,即在历史运行过程中的人工经验来确定的。
例如,该规则可以是,网络ACL规则,IoT IFTTT规则,VM或容器的弹性伸缩规则,运维系统中的硬盘故障检测规则等。
本申请中,第一处理结果和该第一数据处理规则针对同一业务,例如,第一数据处理规则为弹性伸缩规则中的CPU分配率的阈值规则,则,第一处理结果包括用户设备120在历史运行中处理弹性伸缩业务时的CPU分配率的大小和状态结果。
在一种实现方式中,还可以获取初始模型;根据所述初始模型对所述第一数据处理规则信息进行处理,得到第二处理结果;根据所述第一处理结果和所述第二处理结果,调整所述初始模型的参数,以获得所述第一模型。
根据该技术方案,根据第一处理结果和第一数据处理规则对初始模型进行训练,得到第一模型,从而使得第一模型在后续规则训练中能向第一处理结果收敛,进而保证训练得到的规则适应于复杂的场景。
在一种实现方式中,所述第一数据处理规则信息包括M个规则,所述根据所述第一模型对第一数据处理规则信息进行处理获得第二数据处理规则信息,包括:根据所述M个规则及所述M个规则之间的逻辑关系,得到组合后的规则,其中,M为大于等于2的正整数;根据所述第一模型对所述组合后的规则进行处理获得所述第二数据处理规则信息。
根据该技术方案,可以利用现有的规则组合作为规则输入,使用第一模型进行处理得到第二数据处理规则,从而使得第一模型更容易收敛。
本申请中,用户可以确定多个规则之间的逻辑关系,实现简单的规则组合。
在一种实现方式中,所述第二数据处理规则信息包括所述第一业务的变量与变量对应的阈值之间的关系,所述方法还包括:对所述第二数据处理规则信息包括的阈值进行优化,得到第三数据处理规则信息;根据所述第三数据处理规则信息确定所述第一数据处理规则信息。
根据该技术方案,可以对规则的阈值进行优化,从而使得第二数据处理规则更加精确。
本申请中,规则的阈值优化可以理解为,对第二数据处理规则中设定的阈值可以进行调整。
作为示例而非限定,阈值调整可以通过任意参数寻优的方式,例如,贝叶斯优化,遗传算法,随机搜索,粒子群算法等,本申请实施例对此不作限定。
在一种实现方式中,需要先确定规则阈值是否可调整,或者规则组合是否可调整。该规则组合指的是用户确定的规则之间的逻辑关系。
在一种实现方式中,当第一处理数据规则包括组合后的规则,在根据第一模型进行处理之前,还可以对该组合后的规则进行优化。
在一种实现方式中,规则阈值和规则组合是否可以调整由用户确定。
在一种实现方式中,所述第一数据处理规则信息为根据N个规则确定的,其中,N为大于等于M的正整数。
根据该技术方案,可以对云计算系统中的现有数据处理规则进行筛选确定第一数据处理规则,从而确保得到的第二数据处理规则更加适应于用户的需求。
可以理解,系统中包括了大量的规则,对这些规则进行了一定的筛选从而确定进行优化的规则。
作为一个示例,可以根据用户指定来确定M个规则。
作为又一个示例,可以根据用户指定的标准来排序确定M个规则。
第二方面,提供了一种规则优化的装置,该装置包括:获取单元,用于获取第一模型,所述第一模型是基于第一训练数据训练获得的,所述第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;处理单元,所述处理单元用于根据所述第一模型对所述第一数据处理规则信息进行处理获得第二数据处理规则信息,所述第二数据处理规则信息包括所述第一数据处理规则信息的优化结果。
根据本申请的技术方案,根据第一数据处理规则和第一处理结果训练第一模型,处理单元使用第一模型处理第一数据处理规则得到适优化的规则,从而适用于更加复杂的业务场景。
在一种实现方式中,所述获取单元还用于获取初始模型;所述处理单元还用于根据所述初始模型对所述第一数据处理规则信息进行处理,得到第二处理结果;所述处理单元还用于根据所述第一处理结果和所述第二处理结果,调整所述初始模型的参数,以获得所述第一模型。
根据该技术方案,处理单元根据第一处理结果和第一数据处理规则对初始模型参数进行调整,得到第一模型,从而使得第一模型在后续规则训练中能向第一处理结果收敛,进而保证训练得到的规则适应于复杂的场景。
在一种实现方式中,当所述第一数据处理规则信息包括M个规则,所述处理单元具体用于根据所述M个规则及所述M个规则之间的逻辑关系,得到组合后的规则,其中,M为大于等于2的正整数;根据所述第一模型对所述组合后的规则进行处理获得所述第二数据处理规则信息。
根据该技术方案,处理单元可以利用现有的规则组合作为规则输入,使用第一模型进行处理得到第二数据处理规则,从而使得第一模型更容易收敛。
在一种实现方式中,当所述第二数据处理规则信息包括所述第一业务的变量与变量对应的阈值之间的关系时,所述处理单元还用于对所述第二数据处理规则信息包括的阈值进行优化,得到第三数据处理规则信息;根据所述第三数据处理规则信息确定所述第一数据处理规则信息。
根据该技术方案,处理单元还可以对规则的阈值进行优化,从而使得第二数据处理规则更加精确。
在一种实现方式中,所述第一数据处理规则信息为根据N个规则确定的,其中,N为大于等于M的正整数。
根据该技术方案,可以对云计算系统中的现有数据处理规则进行筛选确定第一数据处理规则,从而确保得到的第二数据处理规则更加适应于用户的需求。
第三方面,提供了一种规则优化的装置,该装置包括:存储器,用于存储程序;处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行上述第一方面以及第一方面中的任意一种实现方式中的方法。
第四方面,提供一种计算机可读介质,该计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行上述各方面中的任意一种实现方式中的方法。
第五方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述各方面中的任意一种实现方式中的方法。
第六方面,提供一种芯片,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,执行上述各方面中的任意一种实现方式中的方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行上述各方面中的任意一种实现方式中的方法。
上述芯片具体可以是现场可编程门阵列(field-programmable gate array,FPGA)或者专用集成电路(application-specific integrated circuit,ASIC)。
附图说明
图1示出了本申请实施例提供的系统架构的结构示意图;
图2示出了本申请实施例提供的一种规则优化的方法的结构框图;
图3示出了本申请实施例提供的一种规则学习平台的结构示意图;
图4示出了本申请实施例提供的一种规则优化的装置的示意性框图。
图5示出了本申请实施例提供的一种规则优化的装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应理解,本申请中所有节点、装置的名称仅仅是本申请为描述方便而设定的名称,在实际应用中的名称可能不同,不应理解本申请限定各种节点、装置的名称,相反,任何具有和本申请中用到的节点或装置具有相同或类似功能的名称都视作本申请的方法或等效替换,都在本申请的保护范围之内,以下不再赘述。
为便于理解本申请实施例,首先结合图1简要说明本申请实施例的一种系统架构100的结构示意图。如图1所示,该系统架构100包括规则优化模块110和至少一个用户设备,该用户设备例如图1中所示,用户设备120。规则优化模块110为用户设备120提供适宜的规则应用,规则优化模块可以根据用户设备120提供的数据进行模型训练和规则学习,从而输出适用于用户设备复杂业务变化的规则模型。
在本申请中,用户设备120可以为规则优化模块110提供训练数据,该训练数据可以作为第一训练数据的一例,该第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,其中,第一数据处理规则信息包括第一数据处理规则,该规则是用于用户设备120处理业务#A的规则,该业务#A作为第一业务的一例;第一处理结果包括用户设备120处理业务#A时的处理状态的采集结果,该处理状态的采集结果可以理解为用户设备120处理业务#A时的历史数据记录的采集。
本申请中,第一数据处理规则信息包括的规则可以是云计算系统中存在的任意规则,该规则可以理解为系统(下文中的系统均指的是上述云计算系统)中为实现某种功能设置的状态或条件的判断,例如,可以是状态判断,语气判断,阈值判断等。本申请实施例对此不作限定。
本申请中,上述第一数据处理规则可以是系统中存在的大量自动化规则,一种可能的实现方式中,该规则是基于专家经验库确定的,即在历史运行过程中的人工经验来确定的。
例如,该规则可以是,网络ACL规则,IoT IFTTT规则,VM或容器的弹性伸缩规则,运维系统中的硬盘故障检测规则等。
值得注意的是,这些规则均为IF-THEN形式,这些形式可以将专家经验转变为规则的格式,能够实现功能需求。
本申请中,第一处理结果和该第一数据处理规则针对同一业务,例如,第一数据处理规则为弹性伸缩规则中的CPU分配率的阈值规则,则,第一处理结果包括用户设备120在历史运行中处理弹性伸缩业务时的CPU分配率的大小和状态结果。
在一种可能的实现方式中,在有监督的场景中,该第一处理结果可以是用户设备120在业务#A运行时直接记录的运行数据,有监督的场景可以理解为,运行的结果可以根据标签判断结果是否异常,该标签为预设的条件,例如,可以是参数阈值标准或参数阈值区间标准。
在另一种可能的实现方式中,该第一处理结果可以理解为场景中模拟器提供的模拟数据。例如,在没有监督的场景中,需要提供模拟器模拟数据。
需要说明的是,在实际的应用中,所述规则优化模块110得到的第一数据处理规则和第一处理结果不一定都来自于用户设备120的采集,也有可能是从其他设备接收得到的,或者是从该规则优化模块110的历史记录中得到的,也有可能从云端或其他地方获取第一数据处理规则和第一处理结果进行规则的优化学习,上述描述不应该作为对本申请实施例的限定。
在本申请的一种实现方式中,上述描述中的规则优化模块110中可以包括规则组合模块和规则阈值优化模块,具体分析见下述实施例。
值得说明的是,上述规则优化模块110可以针对不同的业务场景,基于不同的第一处理结果和第一数据处理规则生成相应的优化规则,该相应的优化规则可以用于实现不同的业务场景中用户设备的需求,从而为用户设备提供所需的结果。
值得注意的是,图1仅是本申请实施例提供的一种系统架构的示意图,图中所示设备、器件、模块等之间的位置关系不构成任何限制,图1仅为便于理解而示例的简化示意图,该系统中还可以包括其他模块或设备,图1中未予以画出。
还应理解,图1仅为本申请实施例的一种应用场景,本申请对于该方法所应用的场景并不做限定。下文示出的实施例中,仅为便于理解和说明,以云计算系统中的规则优化场景为例详细说明本申请实施例提供的方法。
下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
在云计算系统中,自动化规则为简单的阈值判断或是状态判断,能够快速解决单一的功能性问题,但通常准确性不高,因此很难用于复杂场景中处理复杂的规则组合的问题,从而影响用户的正常使用。
有鉴于此,本申请提供一种规则信息优化的方法及装置,能够针对复杂场景实现规则的深度学习,使得云计算系统中的规则信息能够适应不同业务场景的变化。从而保障用户的正常使用。
下面将结合附图详细说明本申请实施例提供的一种规则优化的方法和装置。
图2为本申请实施例提供的一种规则优化的方法的结构框图。图2所示的方法200可以由图1所示的规则优化模块执行。
步骤S210,获取第一模型,所述第一模型是基于第一训练数据训练获得的。
其中,第一训练数据包括第一数据处理规则信息和第一处理结果,所述第一处理结果和第一数据处理规则信息可以参考前文中的解释,在此不作赘述。
一种可能的实施方式中,可以获取初始模型,根据初始模型对第一数据处理规则信息进行处理,得到第二处理结果,根据第一处理结果和第二处理结果,调整初始模型的参数,以获得第一模型。
其中,该初始模型可以是机器学习算法的任意训练模型,本申请实施例对此不作限定。
其中,根据第一处理结果和第二处理结果调整初始模型的参数,可以理解为,以第一处理结果为优化结果,对初始模型的参数进行不断调整,直至第二处理结果与第一处理结果相同,则可以确定初始模型的参数,初始模型收敛,获得第一模型。
步骤S220,根据所述第一模型对第一数据处理规则信息进行处理获得第二数据处理规则信息。
本申请中,根据第一模型对第一数据处理规则信息进行处理获得优化的第一数据处理规则,即为第二数据处理规则信息。
第二数据处理规则信息中包括第二数据处理规则。
一种可能的实现方式中,该第一数据处理规则包括M个规则,根据M个规则之间的逻辑关系可以得到组合后的规则,根据第一模型对组合后的规则进行处理获得第二数据处理规则信息,其中,M为大于等于2的正整数。
本申请中,用户可以确定多个规则之间的逻辑关系,实现简单的规则组合。
作为一种示例,用户可以利用自己的经验来构造规则之间的逻辑关系。
作为另一种示例,用户也可以根据历史记录来构造规则之间的逻辑关系。
一种可能的实现方式中,第一数据处理规则信息包括业务#A的变量与变量对应的阈值之间的关系,则,根据第一模型获得的第二数据处理规则也包括该业务#A的变量与变量对应的阈值之间的关系,在此情况下,可以对第二数据处理规则信息包括的阈值进行优化,得到第三处理规则信息。进一步的,根据该第三处理规则信息重新确定第一数据处理规则信息。
本申请中,规则的阈值优化可以理解为,对第二数据处理规则中设定的阈值可以进行调整。
作为示例而非限定,阈值调整可以通过任意参数寻优的方式,例如,贝叶斯优化,遗传算法,随机搜索,粒子群算法等,本申请实施例对此不作限定。
应理解,具体实施中,无论采用哪种方式进行阈值调整,调整的原理都可以理解为:不断调整阈值,构建每个规则阈值与指标之间的映射关系,不断尝试直到找到最优阈值,可以使得规则在用户数据上的精度最大化。
作为又一种实现方式,也可以对第二数据处理规则信息包括的变量的阈值区间进行优化。
类似地,规则阈值区间调整为对第二数据处理规则设定的阈值区间进行调整。阈值区间的调整方法类似于阈值调整方法,在此不进行赘述。
在一种实现方式中,当第一处理数据规则包括组合后的规则,在根据第一模型进行处理之前,还可以对该组合后的规则进行优化。
本申请中,对第一数据处理规则的组合进行优化可以理解为在用户根据多个规则之间的逻辑关系实现简单的规则组合之后再次与其他规则组合结果进行组合得到更加复杂的规则模型,以此类推,可以不断进行组合。
在一种实现方式中,需要先确定规则阈值是否可调整,或者规则组合是否可调整。该规则组合指的是用户确定的规则之间的逻辑关系。
值得说明的是,有些场景中,阈值代表着强烈的业务属性,为一个固定的值,不能进行调整。
例如,ACL规则中黑白名单匹配规则阈值具有业务属性,该阈值是不可调整的。
类似的,并非所有规则组合可以通过负载的逻辑进行组合,有些场景中,规则的逻辑组合本身具有业务属性。
例如:ACL规则中,黑白名单多个匹配规则之间为或的关系,是不可修改的,即不能进行规则组合的调整。
在一种实现方式中,规则阈值和规则组合是否可以调整由用户确定。
在一种实现方式中,可以迭代进行规则阈值优化和规则优化,直至训练过程收敛。
作为示例而非限定,当通过规则学习获得了新的规则,根据用户选择需要优化规则阈值,调整阈值,重新进行规则优化,得到新的规则后,固定该规则,优化阈值,通过不断交替优化,直到最终收敛。
可选的一种实施方式中,第一数据处理规则信息包括M个规则,该M个规则是根据N个规则确定的,其中,N为大于等于M的正整数。
可以理解,系统中包括了大量的规则,对这些规则进行了一定的筛选从而确定进行优化的规则。
作为一个示例,可以根据用户指定来确定M个规则。
作为又一个示例,可以根据用户指定的标准来排序确定M个规则。
例如,用户指定根据重要性来排序,选取其中重要性较高的规则。该重要性可以理解为,第一处理结果中触发规则比例较高的为比较重要的规则。
根据本申请实施例提供的方案,针对同一用户在第一数据处理规则和第一处理结果基础上进行模型训练并且对第一数据处理规则处理得到一个适用于不同业务场景的目标规则,进一步的,还可以进行迭代进行规则优化和规则阈值优化,从而适用于更加复杂的业务场景。
图3为本申请实施例提供的一种规则学习平台的结构示意图。图3所示的方法300可以由图1所示的规则学习模块执行,图3所示的规则学习平台的方法300为方法200的具体实现过程。
本实施例中,初始规则作为第一数据处理规则信息包括的规则的一例,历史数据作为第一处理结果的一例,目标规则作为第二数据处理规则信息包括的规则的一例。
如图3所示,该规则学习平台包括接入单元310,预处理单元320,规则组合单元330,规则优化单元340,输出单元350。
步骤A:接入单元310进行初始规则输入和历史数据输入。
a:接入单元310获取初始规则和历史数据。
初始规则和历史数据可以参考前文中关于第一数据处理规则信息和第一处理结果的解释,在此不作赘述。
在一种实现方式中,接入单元310可以从用户端获取初始规则和历史数据。
在另一种实现方式中,接入单元310也可以从其他设备接收该初始规则和历史数据。
在又一种实现方式中,接入单元310还可以从历史记录或云端及其他地方获取初始规则和历史数据。
b:接入单元310进行规则输入。
在一种实现方式中,初始规则可以通过规则模板的格式来体进行输入,该规则模板可以包括针对不同规则类型定义的输入信息,本申请实施例以阈值判断规则为例进行说明,即,该规则模板中包括业务#A的变量及阈值的关系。
应理解,在本申请实施例中,规则模板仅为定义初始规则输入的一种格式,也可以用其他格式定义,本申请实施例对此不作限定。
作为示例而非限定,用户可以输入每条初始规则中相关变量的变量名称,逻辑关系,规则阈值。
例如,云计算系统中,在弹性伸缩场景,可以根据CPU指标和MEM指标的使用率指标来自动控制虚拟机的数量。具体来说,用户输入变量为CPU,其对应的关系为“>”,规则阈值为60,可以理解为,当CPU超过60,意味着虚拟机负载压力过大,需要扩增虚拟机的数量来分担负载压力;当CPU对应的关系为“<”,规则阈值为30,可以理解为,当CPU小于30,意味着虚拟机负载压力小,资源过剩,就可以减少虚拟机的数量,节省资源。同理,用户输入变量为MEM,其对应的逻辑关系为“>”,阈值为512,可以理解为,当MEM超过512,意味着虚拟机负载压力过大,就要扩增虚拟机的数量来分担负载压力;当MEM对应的关系为“<”,规则阈值为450,可以理解为,当MEM小于450,意味着虚拟机负载压力小,资源过剩,就可以减少虚拟机的数量,节省资源。
再例如,在硬盘故障预测场景中,可以根据硬盘自我监测、分析及报告技术(self-monitoring analysis and reporting technology,SMART)指标来判断硬盘短时间内是否发生故障。具体来说,用户输入变量为SMART_5,其对应的关系和规则阈值区间为SMART_5>0and SMART_5<30,可以理解为,当SMART采集的硬盘指标SMART_5在区间[0,30]之间,判断硬盘将要发生故障。
再例如,在内存故障预测场景中,可以根据内存寄存器记录的事件数量预测内存故障。具体来说,用户输入变量为内存读发生的可恢复的错误(correctable error,CE)即CE数量,其对应的关系为“>”,规则阈值为500,可以理解为,当内存读发生的CE数量超过500,意味着内存将要发生故障。
可选的,该规则模板还可以包括规则阈值是否可以调整。
作为示例而非限定,用户可以定义每条初始规则的规则阈值是否可以调整。例如,根据用户的业务属性来确定规则阈值是否可调整。
可选的,用户还可以通过规则模板输入规则组合。
该规则组合指的是用户根据初始规则中包括的多个规则以及多个规则之间的逻辑关系进行的规则组合。
本申请中,用户可以利用自己的经验来构造多个规则之间的逻辑关系。
可选的,还可以通过规则模板输入规则组合是否可以调整。
作为示例而非限定,用户可以定义多个规则之间的逻辑关系是否可以调整。例如,根据用户的业务属性来确定规则组合是否可以调整。
在一种实现方式中,该规则模板可以以UI界面的形式提供给用户进行输入。也可以用其他方式进行接入,本申请实施例对此不作限定。
c:接入单元310进行历史数据输入。
值得注意的是,历史数据中,每个数据维度与初始规则中的变量需要一一对应。
历史数据输入时,需要根据确定的输入方式来输入,具体数据的输入方式本申请实施例对此不作限定。
步骤B:预处理单元320对初始规则和历史数据进行预处理。
a:对初始规则进行预处理。
对初始规则的预处理可以包括规则校验,校验主要目的有两方面,一方面避免用户输入的规则之间有冲突,该冲突可以理解为逻辑关系冲突;另一方面是合法性校验。
一种可能的实施方式中,可以对初始规则进行筛选,从初始规则中选出部分规则。
作为一个示例,可以根据用户指定来确定部分规则。
作为又一个示例,可以根据用户指定的标准来排序确定部分规则。
例如,根据重要性来排序,可以根据数据触发规则的频率来确定该规则的重要性,根据重要性选取前k个规则,k为大于1的正整数。
例如,历史数据有1000条,规则1,规则2和规则3为初始规则中的规则,其中,该1000条历史数据中,有900条均触发了规则1,剩余100条触发其余规则,则该规则1的重要性相对较高。
以上举例仅为筛选初始规则的一种方式,对本申请实施例不产生任何限定。
对初始规则的具体预处理方式本申请实施例不作限定,规则校验仅为示例性说明,也可以根据用户需求执行其他处理。
b:对历史数据进行预处理。
历史数据的预处理可以采用常用数据预处理方法,例如,异常值检测,缺值检测,特征冗余检测等。
一种可能的实施方式中,可以对历史数据进行筛选,从多个历史数据选择部分历史数据。
作为一个示例,可以根据用户指定来确定部分历史数据。
作为又一个示例,可以根据用户指定的标准来排序确定部分历史数据。
作为又一个示例,还可以根据初始规则筛选的部分规则来确定部分历史数据。例如,初始规则确定了删除部分变量对应的规则,则可以删除历史数据中相关变量的数据信息。
对历史数据的具体预处理方式本申请实施例不作限定,以上举例仅为示例性说明,也可以根据用户需求执行其他处理。
步骤C:规则优化单元330进行规则学习。
本申请中,规则优化单元330可以根据初始规则和历史数据进行规则学习来确定目标规则。
一种可能的实现方式中,规则优化单元330可以根据初始规则和历史数据获得第一模型,即,基于该初始规则和历史数据训练初始模型,获得第一模型。
一种可能的实现方式中,可以获取任意初始模型,根据初始模型对初始规则进行处理得到处理结果,根据该处理结果和历史数据调整初始模型的参数,从而获得第一模型。
一种可能的实现方式中,使用第一模型对初始规则进行处理,从而得到目标规则,该目标规则可以理解为初始规则优化后的规则。
一种可能的实施方式中,上述初始模型可以是任意机器学习模型,该机器学习模型可以采用任意机器学习算法进行数据拟合,本申请实施例对此不作限定。
一种可能的实施方式中,使用第一模型对输入的规则组合进行处理,从而获得目标规则。
一种可能的实施方式中,使用第一模型对输入的规则组合进行处理之前,可以对初始规则的组合进行优化。
应理解,当用户确定规则组合可以调整,即可以进行组合优化。
本申请中,对初始规则的组合进行优化可以理解为在用户根据多个规则之间的逻辑关系实现简单的规则组合之后再次与其他规则组合结果进行组合得到更加复杂的规则模型,以此类推,可以不断进行组合。
作为示例而非限定,在本申请实施例中,机器学习可以通过多层感知机制,决策树等任意机器学习算法对数据进行拟合,本申请实施例对此不作限定。
步骤D:阈值优化单元340进行阈值优化。
可选的一种实施方式中,可以对目标规则进一步进行优化,基于优化后的规则和历史数据重新确定初始规则。
作为一种示例,该优化可以是对目标规则的变量的阈值进行优化。
应理解,当用户确定初始规则的变量的阈值可以调整,即可以进行阈值优化。
作为示例而非限定,阈值调整可以通过任意参数寻优的方式,例如,贝叶斯优化,遗传算法,随机搜索,粒子群算法等,本申请实施例对此不作限定。
作为又一种示例,该优化可以是对目标规则的变量的阈值区间进行优化。
应理解,步骤D和步骤C没有固定的执行顺序,规则优化和阈值优化需要迭代执行,直到模型收敛。
步骤E:输出单元350输出目标规则。
输出单元350输出的目标规则用于用户端进行规则应用。
根据本申请实施例提供的方案,针对同一用户在第一数据处理规则和第一处理结果基础上进行模型训练并且对第一数据处理规则处理得到一个适用于不同业务场景的目标规则,进一步的,还可以进行迭代进行规则优化和规则阈值优化,从而适用于更加复杂的业务场景。
图4为本申请实施例提供的一种规则优化的装置的示意性框图。如图4所示,该装置400可以为云计算系统中的规则学习平台,也可以为配置在网络设备上的部件(例如,单元、模块、芯片或芯片系统),该装置400可以包括:获取单元410,用于获取第一模型,所述第一模型是基于第一训练数据训练获得的,所述第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;处理单元420,用于根据所述第一模型对所述第一数据处理规则信息进行处理获得第二数据处理规则信息,所述第二数据处理规则信息包括所述第一数据处理规则信息的优化结果。
可选的,获取单元410与处理单元420耦合连接。
一种可能的实施方式中,所述获取单元410还用于获取初始模型;所述处理单元420还用于根据所述初始模型对所述第一数据处理规则信息进行处理,得到第二处理结果;所述处理单元420还用于根据所述第一处理结果和所述第二处理结果,调整所述初始模型的参数,以获得所述第一模型。
一种可能的实施方式中,当所述第一数据处理规则信息包括M个规则,所述处理单元420具体用于根据所述M个规则及所述M个规则之间的逻辑关系,得到组合后的规则,其中,M为大于等于2的正整数;根据所述第一模型对所述组合后的规则进行处理获得所述第二数据处理规则信息。
一种可能的实施方式中,当所述第二数据处理规则信息包括所述第一业务的变量与变量对应的阈值之间的关系时,所述处理单元420还用于对所述第二数据处理规则信息包括的阈值进行优化,得到第三数据处理规则信息;根据所述第三数据处理规则信息确定所述第一数据处理规则信息。
一种可能的实施方式中,所述第一数据处理规则信息为根据N个规则确定的,其中,N为大于等于M的正整数。
应理解,本领域技术人员可以理解,装置400可以具体为上述方法300实施例中的规则组合学习平台,装置400可以用于执行上述方法400实施例中与规则组合学习平台对应的各个流程和/或步骤,相应的有益效果也可参考前述方法实施例,为避免重复,在此不再赘述。
图5是本申请实施例提供的一种规则优化的装置的结构框图。如图5所示,装置500包括:处理器510、存储器520和收发器530。该处理器510与存储器520耦合,用于执行存储器520中存储的指令,以控制收发器530发送信号和/或接收信号。
应理解,上述处理器510和存储器520可以合成一个处理装置,处理器510用于执行存储器520中存储的程序代码来实现上述功能。具体实现时,该存储器520也可以集成在处理器510中,或者独立于处理器510。应理解,处理器510也可以和前面装置中的各个处理单元相对应。
还应理解,收发器530可以包括接收器(或者称,接收机)和发射器(或者称,发射机)。收发器还可以进一步包括天线,天线的数量可以为一个或多个。收发器还可以是通信接口或者接口电路。
具体地,该规则优化的装置500可对应于根据本申请实施例的方法300中的规则学习平台。应理解,各模块执行上述相应步骤的具体过程在上述方法实施例中已经详细说明,相应的有益效果也可参考前述方法实施例,为了简洁,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
应理解,本申请实施例中的处理器可以为中央处理单元(central processingunit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种规则优化的方法,其特征在于,包括:
获取第一模型,所述第一模型是基于第一训练数据训练获得的,所述第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;
根据所述第一模型对所述第一数据处理规则信息进行处理获得第二数据处理规则信息,所述第二数据处理规则信息包括所述第一数据处理规则信息的优化结果。
2.根据权利要求1所述的方法,其特征在于,所述获取第一模型包括:
获取初始模型;
根据所述初始模型对所述第一数据处理规则信息进行处理,得到第二处理结果;
根据所述第一处理结果和所述第二处理结果,调整所述初始模型的参数,以获得所述第一模型。
3.根据权利要求1或2所述的方法,其特征在于,所述第一数据处理规则信息包括M个规则,所述根据所述第一模型对第一数据处理规则信息进行处理获得第二数据处理规则信息,包括:
根据所述M个规则及所述M个规则之间的逻辑关系,得到组合后的规则,其中,M为大于等于2的正整数;
根据所述第一模型对所述组合后的规则进行处理获得所述第二数据处理规则信息。
4.根据权利要求1-3项中任一项所述的方法,其特征在于,所述第二数据处理规则信息包括所述第一业务的变量与变量对应的阈值之间的关系,所述方法还包括:
对所述第二数据处理规则信息包括的阈值进行优化,得到第三数据处理规则信息;
根据所述第三数据处理规则信息确定所述第一数据处理规则信息。
5.根据权利要求1-4项中任一项所述的方法,其特征在于,所述第一数据处理规则信息为根据N个规则确定的,其中,N为大于等于M的正整数。
6.一种规则优化的装置,其特征在于,包括:
获取单元,用于获取第一模型,所述第一模型是基于第一训练数据训练获得的,所述第一训练数据包括云计算系统中的第一数据处理规则信息和第一处理结果,所述第一处理结果包括第一业务的处理状态的采集结果,其中,所述第一数据处理规则信息包括根据专家经验库确定的用于处理所述第一业务的规则;
处理单元,所述处理单元用于根据所述第一模型对所述第一数据处理规则信息进行处理获得第二数据处理规则信息,所述第二数据处理规则信息包括所述第一数据处理规则信息的优化结果。
7.根据权利要求6所述的装置,其特征在于,所述获取单元还用于获取初始模型;所述处理单元还用于根据所述初始模型对所述第一数据处理规则信息进行处理,得到第二处理结果;所述处理单元还用于根据所述第一处理结果和所述第二处理结果,调整所述初始模型的参数,以获得所述第一模型。
8.根据权利要求6或7所述的装置,其特征在于,当所述第一数据处理规则信息包括M个规则,所述处理单元具体用于根据所述M个规则及所述M个规则之间的逻辑关系,得到组合后的规则,其中,M为大于等于2的正整数;根据所述第一模型对所述组合后的规则进行处理获得所述第二数据处理规则信息。
9.根据权利要求6-8项中任一项所述的装置,其特征在于,当所述第二数据处理规则信息包括所述第一业务的变量与变量对应的阈值之间的关系时,所述处理单元还用于对所述第二数据处理规则信息包括的阈值进行优化,得到第三数据处理规则信息;根据所述第三数据处理规则信息确定所述第一数据处理规则信息。
10.根据权利要求6-9项中任一项所述的装置,其特征在于,所述第一数据处理规则信息为根据N个规则确定的,其中,N为大于等于M的正整数。
11.一种规则优化的装置,其特征在于,包括:
存储器,用于存储计算机指令;
处理器,用于执行所述存储器中存储的计算机指令,使得所述装置执行如权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读介质存储用于设备执行的程序代码,该程序代码包括用于执行如权利要求1至5中任一项所述的方法。
13.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行如权利要求1至5所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682312.1A CN116432016A (zh) | 2021-12-29 | 2021-12-29 | 一种规则优化的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111682312.1A CN116432016A (zh) | 2021-12-29 | 2021-12-29 | 一种规则优化的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116432016A true CN116432016A (zh) | 2023-07-14 |
Family
ID=87078397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111682312.1A Pending CN116432016A (zh) | 2021-12-29 | 2021-12-29 | 一种规则优化的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116432016A (zh) |
-
2021
- 2021-12-29 CN CN202111682312.1A patent/CN116432016A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102247181B1 (ko) | Xai에 기초하여 생성된 학습데이터를 이용한 이상행위탐지모델 생성방법 및 장치 | |
CN112800116B (zh) | 一种业务数据的异常检测方法及装置 | |
CN111652615B (zh) | 基于区块链大数据的安全识别方法及人工智能云服务平台 | |
CN110688288A (zh) | 基于人工智能的自动化测试方法、装置、设备及存储介质 | |
CN110503198B (zh) | 获取神经网络测试报告的方法、装置、设备和存储介质 | |
CN110705573A (zh) | 一种目标检测模型的自动建模方法及装置 | |
CN112783508B (zh) | 文件的编译方法、装置、设备以及存储介质 | |
US20230078246A1 (en) | Centralized Management of Distributed Data Sources | |
CN110928941B (zh) | 一种数据分片抽取方法及装置 | |
CN116384370B (zh) | 一种用于在线业务会话交互的大数据安全分析方法及系统 | |
CN116432016A (zh) | 一种规则优化的方法及装置 | |
WO2023082792A1 (zh) | 参数寻优方法和装置 | |
US20230325651A1 (en) | Information processing apparatus for improving robustness of deep neural network by using adversarial training and formal method | |
CN115499233A (zh) | 基于人工智能的数据安全防护方法、系统及云平台 | |
FI129933B (en) | Management of communication network prediction models | |
CN117391214A (zh) | 模型训练方法、装置及相关设备 | |
US20170124179A1 (en) | Data categorizing system, method, program software and recording medium therein | |
CN112784165A (zh) | 关联关系预估模型的训练方法以及预估文件热度的方法 | |
CN115801338B (zh) | 基于加密流量控制网关的数据处理方法及系统 | |
US12199835B2 (en) | Centralized management of distributed data sources | |
CN116577451B (zh) | 一种大型色谱仪数据管理系统及方法 | |
CN116701104B (zh) | 边缘监控设备中的算法调整方法、装置及监控系统 | |
CN111177132B (zh) | 关系型数据的标签清洗方法、装置、设备及存储介质 | |
US20240170138A1 (en) | System and methods for enabling remote planned maintenance of medical imaging devices | |
CN117785625A (zh) | 服务器性能预测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |