CN115878171A - 中间件配置的优化方法、装置、设备及计算机存储介质 - Google Patents

中间件配置的优化方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN115878171A
CN115878171A CN202211554635.7A CN202211554635A CN115878171A CN 115878171 A CN115878171 A CN 115878171A CN 202211554635 A CN202211554635 A CN 202211554635A CN 115878171 A CN115878171 A CN 115878171A
Authority
CN
China
Prior art keywords
configuration optimization
index value
value
determining
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211554635.7A
Other languages
English (en)
Inventor
明瑞波
王长江
祝炫
郭勇
郭旭
邓忻
罗朝彤
薛蓉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202211554635.7A priority Critical patent/CN115878171A/zh
Publication of CN115878171A publication Critical patent/CN115878171A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种中间件配置的优化方法、装置、设备及计算机存储介质,针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值,根据历史指标值确定性能指标的动态阈值区间,根据实时指标值和动态阈值区间从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,利用目标配置优化策略对中间件配置进行优化。根据本申请实施例,基于性能指标的历史指标值确定性能指标的动态阈值区间,实现对阈值的动态设置,无需人为参与,效率高,而且基于动态阈值区间进行配置优化,相比于固定阈值,准确率更高,优化更及时。

Description

中间件配置的优化方法、装置、设备及计算机存储介质
技术领域
本申请属于中间件优化技术领域,尤其涉及一种中间件配置的优化方法、装置、设备及计算机存储介质。
背景技术
中间件作为连接软件组件和应用的重要软件,运行稳定与否直接关系到整个信息系统,一旦异常出错,将影响业务服务能力和客户感知。目前中间件得到了广泛的应用,在各个企业的应用中起到了承上启下的关键作用;可见,针对大量的中间件运维,如何实现智能异常检测、配置自动优化,是实现快速解决问题,保障中间件稳定运行的关键。
现有的中间件配置的优化方法,主要是通过监控模块或者人工对中间件进行监控、巡检,采集各项性能指标,通过与正常标准指标值进行比对确认是否超过设置阈值,以此来发现异常点和判断中间件配置参数是否满足应用运行需求;最后针对发现的异常点、未满足运行需求的参数进行配置。
但是上述优化方式需要人为参与,通过手工调整配置参数进行优化,严重依赖人为经验,当中间件出现异常点或者配置不合理导致故障时,需经过分析、判断、配置优化、解决问题等流程,这期间人工解决问题时效性得不到保障,往往耗时较长,不利于问题的快速解决,用户感知较差。而且依赖传统固定阈值判定,无法为所有指标设置对应阈值、无法检测异常序列的冒烟特征、异常指标检测方式较为单一,存在误报、漏报、周期监控难等问题。
发明内容
本申请实施例提供一种中间件配置的优化方法、装置、设备及计算机存储介质,能够基于性能指标的历史指标值确定性能指标的动态阈值区间,实现对阈值的动态设置,无需人为参与,效率高,而且基于动态阈值区间进行配置优化,相比于固定阈值,准确率更高,优化更及时。
第一方面,本申请实施例提供一种中间件配置的优化方法,方法包括:
针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值;
根据历史指标值,确定性能指标的动态阈值区间;
检测实时指标值是否属于动态阈值区间,获得检测结果;
根据检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
利用目标配置优化策略对中间件配置进行优化。
第二方面,本申请实施例提供了一种中间件配置的优化装置,装置包括:
获取模块,用于针对中间件的任意性能指标,获取性能指标的实时指标值和历史指标值;
动态阈值确定模块,用于根据历史指标值,确定性能指标的动态阈值区间;
检测模块,用于检测实时指标值是否属于动态阈值区间,获得检测结果;
策略确定模块,用于根据检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
优化模块,用于基于目标配置优化策略对中间件进行配置优化。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的中间件配置的优化方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的中间件配置的优化的步骤。
第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如第一方面的任一项实施例中所述的中间件配置的优化的步骤。
本申请实施例的中间件配置的优化方法、装置、设备及计算机存储介质,针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值,根据历史指标值确定性能指标的动态阈值区间,根据实时指标值和动态阈值区间从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,利用目标配置优化策略对中间件配置进行优化。根据本申请实施例,基于性能指标的历史指标值确定性能指标的动态阈值区间,实现对阈值的动态设置,无需人为参与,效率高,而且基于动态阈值区间进行配置优化,相比于固定阈值,准确率更高,优化更及时,此外,预先设置配置优化策略,在确定出目标配置优化策略之后,可以自动基于策略进行优化,整个过程无需人为参与,提高了用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种中间件配置的优化方法的流程示意图;
图2是本申请实施例提供步骤S140具体实现方式的流程示意图;
图3是本申请实施例提供的一种中间件配置的优化的整体流程示意图;
图4是本申请实施例提供的步骤S340和步骤S350具体实现方式的流程示意图;
图5是本申请实施例提供的一种中间件配置的优化装置的结构示意图;
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有的中间件配置的优化方法,主要是通过监控模块或者人工对中间件进行监控、巡检,采集各项性能指标,通过与正常标准指标值进行比对确认是否超过设置阈值,以此来发现异常点和判断中间件配置参数是否满足应用运行需求;最后针对发现的异常点和未满足运行需求的参数进行配置,再结合运维人员经验进行认为分析判断,采用手工调整相关配置参数的方式进行优化处理,以此来确保中间件正常运行。
但基于手工调整配置参数进行优化的方式,严重依赖人为经验,当中间件出现异常点或者配置不合理导致故障时,需经过分析、判断、配置优化、解决问题等流程,这期间人工解决问题时效性得不到保障,往往耗时较长,不利于问题的快速解决,用户感知较差。而且依赖传统固定阈值判定,无法为所有指标设置对应阈值、无法检测异常序列的冒烟特征、异常指标检测方式较为单一,存在误报、漏报、周期监控难等问题。因此,需要中间件配置自动优化的方法,能够无需人为参与,实现中间件高效、准确的配置自动优化。
为了解决现有技术问题,本申请实施例提供了一种中间件配置的优化方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的中间件配置的优化方法进行介绍。
图1示出了本申请实施例提供的一种中间件配置的优化方法的流程示意图。如图1所示,该方法包括如下步骤:
S110、针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值;
S120、根据历史指标值,确定性能指标的动态阈值区间;
S130、检测实时指标值是否属于动态阈值区间,获得检测结果;
S140、根据检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
S150、利用目标配置优化策略对中间件配置进行优化。
由此,根据本申请实施例提供的中间件配置的优化方法,针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值,根据历史指标值确定性能指标的动态阈值区间,根据实时指标值和动态阈值区间从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,利用目标配置优化策略对中间件配置进行优化。根据本申请实施例,基于性能指标的历史指标值确定性能指标的动态阈值区间,实现对阈值的动态设置,无需人为参与,效率高,而且基于动态阈值区间进行配置优化,相比于固定阈值,准确率更高,优化更及时,此外,预先设置配置优化策略,在确定出目标配置优化策略之后,可以自动基于策略进行优化,整个过程无需人为参与,提高了用户体验。
下面介绍上述各个步骤的具体实现方式。
在一些实施例中,在S110中,性能指标可以包括时间间隔固定、有时序规律或周期性等特点的指标,例如可以是JVM(Java Virtual Machine,虚拟机)、GC(GarbageCollection,垃圾回收)、线程池、连接池、响应时间、吞吐量、请求数、CPU(CentralProcessing Unit,中央处理器)利用率和内存使用率等。中间件的任意性能指标可以包括上述指标中的一种或多种。实时指标值和历史指标值可以是根据具有监控功能的模块获取的。
在一些实施例中,在S120中,动态阈值区间可以是根据历史指标值,基于三倍标准差法计算得出。
作为一种示例,为了确定性能指标的动态阈值区间,上述S120具体可以包括:
确定历史指标值的平均值和三倍标准差;
将平均值与三倍标准差的和值作为性能指标的动态阈值上限值;
将平均值与三倍标准差的差值作为性能指标的动态阈值下限值;
将动态阈值上限值和动态阈值下限值组成的区间,作为性能指标的动态阈值区间。
作为一种示例,因为历史指标值的数据量通常较大,若用历史指标值中的全部数据进行计算则计算量会很大,因此,在确定历史指标值的平均值和三倍标准差时,可以从历史指标值中选取一部分具有代表性的指标值作为目标指标值,然后利用目标指标值计算历史指标值的平均值和三倍标准差。例如,可以从历史指标值中选取当前时间的前三个小时的指标值、前三天同一个小时的指标值以及前三个月同一天同一小时的指标值作为目标指标值。采用此种方式获取的目标指标值可以分别代表不同时间段的指标特性,基于此确定出的平均值和三倍标准差比较准确。
需要说明的是,此处选取目标指标值的方式只是示例性的,具体也可以根据实际需求选取历史指标值中的其他具有代表性的指标值作为目标指标值,本实施例对此不作具体限定。
作为一种示例,性能指标的动态阈值区间可以将历史性能指标值,通过流处理框架到核心计算框架中进行计算来确定。首先,获取历史性能指标中包括当前时间的前三个小时的指标值、前三天同一个小时的指标值以及前三个月同一天同一小时的指标值,再将获取的指标值放入集合中得到目标指标值集合。然后基于三倍标准差法计算出目标指标集合中包含的所有指标值的平均值Av和标准差σ,通过将平均值Av与三倍标准差3σ的和值Av+3σ作为动态阈值上限值,将平均值Av与三倍标准差3σ的差值Av-3σ作为动态阈值下限值,可以得到由动态阈值上限值和动态阈值下限值组成的区间,由此确定出了性能指标的动态阈值区间。其中,动态阈值上限值和动态阈值下限值可以表征动态阈值的基准,动态阈值上限值以上为超过动态阈值上限值的指标值,动态阈值上限值以下可以包括低于动态阈值下限值的指标值和正常指标值。
由此,通过采用三倍标准差法可以基于历史指标值准确的确定出性能指标的动态阈值区间,保证了动态阈值区间的准确性,将基于三倍标准差法计算出的动态阈值区间和检测算法相结合,可以实现智能化检测判断,提高整体的准确率。
在一些实施例中,在S130中,对于中间件的实时性能指标,基于动态阈值区间进行检测,即确定实时指标是否在动态阈值范围内,获得检测结果,检测结果则用于表示实时指标值是否属于动态阈值区间。
在一些实施例中,在S140中,检测结果可以是实时指标属于动态阈值区间,或是不属于动态阈值区间。根据检测结果,从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,以对中间件配置进行优化。
作为一种示例,在检测结果表示实时指标值不属于动态阈值的情况下,说明实时指标可能异常,为了保证准确性,此时进一步确定性能指标是否是真的异常,相应的,如图2所示,上述S140具体可以包括:
S141、在检测结果表示实时指标值不属于动态阈值区间的情况下,根据实时指标值,采用预设的多个异常检测算法联合对性能指标进行异常检测,确定性能指标是否异常;
S142、在确定性能指标异常的情况下,根据实时指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
其中,多个异常检测算法可以包括是统计学、机器学习等算法,可以融合动态阈值、ridge(岭回归)算法、ewma(指数加权移动平均)算法以及iForest(孤立森林)等异常检测AI算法中的一个或多个。检测结果可以是利用多个异常检测算法加权计算得到的概率值,还可以是利用多个算法分别计算异常概率,得到的多个异常概率的最大值、平均值或中值,基于检测结果便可以确定性能指标是否是真的异常。
作为一种示例,为了确定性能指标是否是真的异常,上述S141具体可以包括;
利用多个异常检测算法中的每个异常检测算法,分别根据实时指标值对性能指标进行异常检测,得到每个异常检测算法对应的异常概率;
获取多个异常检测算法中每个异常检测算法对应的权重;
根据多个异常检测算法中每个异常检测算法对应的异常概率和权重,进行加权求和计算得到最终异常概率;
将最终异常概率与预设的概率阈值进行比较;
在确定最终异常概率大于概率阈值的情况下,确定性能指标异常;
在确定最终异常概率小于或等于概率阈值的情况下,确定性能指标无异常。
其中,异常算法对应的权重可以是,通过对每个异常检测算法进行训练,根据每个异常检测算法在训练过程中的表现确定的。异常概率可以是与性能指标是否异常对应的概率值,例如可以是0和1,其中,1代表性能指标异常。预设的概率阈值可以是根据相应情况确定的数值,例如可以是0.5。
作为一种示例,在异常检测算法涉及到上述ridge、ewma、iForest三个异常检测算法的情况下,首先对涉及到的异常检测算法进行训练,根据异常检测算法的表现确定与各个算法对应的权重,权重值的和为1,以此提升整体准确率。这里,例如ridge权重为0.3,ewma权重为0.2,iForest权重为0.5。确定每个异常检测算法的权重后,分别使用每个异常检测算法根据实时指标值对性能指标进行异常检测,得到与每个异常检测算法对应的异常概率。根据异常概率和权重,进行加权求和计算,即将每个异常检测算法的权重与其各自的异常概率一一对应相乘,再将结果求和得到最终异常概率。最后,将最终异常概率与预设的概率阈值进行比较。例如确定最终异常概率是否大于0.5,在大于0.5的情况下确定性能指标异常;在小于或等于0.5的情况下,确定性能指标无异常。
由此,通过多个异常检测算法根据实时指标值对性能指标进行异常检测,基于多个异常检测算法的权重和其各自对应的异常概率,确定性能指标是否异常,有效提高了异常判断的准确率。
作为一种示例,在通过检测确定最终异常概率大于概率阈值,从而确定性能指标异常的情况下,为了确定目标优化策略,上述S142具体可以包括:
获取性能指标对应的比对指标值区间;
将性能指标的实时指标值与比对指标值区间的边界值进行比较,确定实时指标值与边界值间的大小关系;
根据大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
其中,比对指标值区间可以是与性能指标对应的中间件性能正常值范围,其中,比对指标值区间可以是根据专家经验来确定的。
作为一种示例,在经过性能指标异常检测,确定性能指标异常后,可以得到异常检测结果,经过分析、计算和对比后可以通过如表1所示的结果类型数据表,确定出与异常检测结果对应的结果类型。
表1
Figure BDA0003982777270000091
Figure BDA0003982777270000101
需要说明的是,上述表1中数据内容只作为一个示例,不以此进行限定。
异常检测结果可以包括异常的实时性能指标名称和异常的实时性能指标值,例如可以是CPU使用率CPU Utilization=20%。通过获取与性能指标值对应的比对指标值区间,将实时性能指标与比对指标值区间的边界值进行比较,确定实时性能指标值与边界值间的大小关系。如表1所示,其中,CPU比对指标区间例如可以是40%-80%,比对指标区间内代表指标预测值在正常范围内,无需调整;若指标预测值小于40%代表CPU使用率低,需要将CPU容量缩小;若指标预测值大于80%代表CPU使用率高,需要将CPU容量扩大。由此,根据实时性能指标确定出CPU使用率低,需要将CPU容量缩小。
作为一种示例,在检测结果表示实时指标值属于动态阈值区间,或确定性能指标无异常的情况下,为了保证中间件配置最优,此时进一步确定配置合理性,相应的,在此种情况下根据实时指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,具体可以包括:
在检测结果表示实时指标值属于动态阈值区间,或确定性能指标无异常的情况下,确定性能指标在目标时刻点的预测指标值;
根据预测指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
其中,目标时刻点可以是未来任意一个时刻点。得到性能指标在目标时刻点的预测指标值后,可以基于预测指标值来确定目标配置优化策略。
由此,通过预测指标值来预测性能指标在未来的使用情况,提前确定出配置优化策略,可以更及时的实现配置优化。
基于此,作为一种示例,上述确定性能指标在目标时刻点的预测指标值,具体可以包括:
根据历史指标值生成历史时间序列;
从多个预先训练好的趋势预测模型中选取性能最优的趋势预测模型作为目标趋势预测模型;
将历史时间序列输入目标趋势预测模型对目标时刻点的指标值进行预测,获得模型输出的性能指标在目标时刻点的预测指标值。
其中,历史时间序列例如可以是对历史性能指标值进行处理生成的,其中处理操作可以包括聚合、数据预处理,空值填充、单位统一、去除极值中的一种或多种。目标趋势预测模型例如可以是根据SMAPE(Symmetric Mean Absolute Percentage Error,对称平均绝对百分比误差)作为模型评估的指标来选取的。
作为一种示例,通过对历史性能指标值进行聚合、数据预处理,空值填充、单位统一、去除极值等操作,来生成历史时间序列。再将历史时间序列通过restapi传输作为趋势预测模型输入,分别训练auto_arima、holt-winter、xgboost回归模型,并根据SMAPE作为模型评估的指标来选取性能最优的趋势预测模型作为目标趋势预测模型,通过将历史时间序列输入目标趋势预测模型对目标时刻点的指标值进行预测,获得模型输出的预测指标值,以此实现预测未来性能指标使用情况。
由此,通过训练多个趋势预测模型,并根据SMAPE作为模型评估的指标来选取性能最优的趋势预测模型,基于性能最优的趋势预测模型作为目标趋势预测模型进行预测,对性能指标未来使用情况的预测可以更加准确。
作为一种示例,为了根据预测指标确定目标配置优化策略,上述根据预测指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,具体可以包括:
获取性能指标对应的比对指标值区间;
将预测指标值与比对指标值区间的边界值进行比较,确定预测指标值与边界值间的大小关系;
根据大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
作为一种示例,在进行指标值预测之后,可以得到与性能指标对应的指标预测值,例如预测指标值JVM堆内存使用率HeapUsedPercent=90%,根据如表1所示的结果类型数据表,可以确定出对应的结果类型。由此,根据预测指标值确定出JVM堆内存使用率高,需要增大JVM堆内存。
在一些实施例中,在S150中,确定目标配置优化策略后,可以基于目标配置优化策略对中间件进行配置优化。
在一些实施例中,在确定结果类型后,可以将结果类型数据发送到配置优化管理模块,来进行智能决策,可以自动关联选择对应配置优化方案。配置优化方案可以通过管理模块进行管理;调整优化操作原则上基于最小化比例,每次调整优化后,若仍存在问题,则进行第二次调整优化操作;循环执行,直至性能指标值恢复到正常范围内。同时,也可根据专家经验自定义调整优化比例范围大小。
进一步地,配置优化方案选择完成后,可以请求JOB任务作业进行调度,自动执行配置优化方案进行配置优化,根据配置优化方案自动完成相关优化操作;不同配置优化方案对应不同的优化操作,例如获取到实时性能指标值连接池使用率ConnectPercentUsed=90%,基异常检测算法确定为指标异常,并输出异常检测结果,确认结果类型为连接不足,最后通过自动关联选择连接不足对应配置优化方案,请求JOB任务作业进行调度,自动执行配置优化方案,调整连接池配置,执行增大连接数优化操作。然后,检查并确认配置优化操作是否执行成功,异常性能指标是否恢复正常以及配置是否修改完成。最后自动发送邮件或短信通知运维人员本次配置优化事件。
参见图3,为本申请实施例提供的一种中间件配置的优化方法的整体流程示意图,如图3所示,可以包括以下步骤:
S310.信息收集,包括收集待优化中间件的实时性能指标值和历史性能指标值;
S320.根据历史性能指标值进行动态阈值区间计算;
S330.对实时性能指标值进行动态阈值区间检测,即确定实时性能指标值是否属于动态阈值区间,在实时性能指标值不属于动态阈值区间的情况下,执行S340,在实时性能指标值属于动态阈值区间的情况下,执行S350;
S340.异常检测,即基于实时性能指标值确定性能指标是否异常,若异常执行S360,若无异常执行S350;
S350.配置合理性检测;
S360.确定结果类型,在实时性能存在异常的情况下,基于实时性能指标值确定结果类型,在实时性能无异常的情况下,基于配置合理性检测得到的预测性能指标值确定结果类型;
S370.通过管理模块匹配优化方案,即根据结果类型确定优化方案
S380.JOB任务作业调度自动执行配置优化;
S390.优化结果确认;
S3100.通知运维人员。
其中,如图4所示,在上述步骤S340中可以基于如ridge(岭回归)算法、ewma(指数加权移动平均)算法以及iForest(孤立森林)算法等多个异常检测算法,进行多算法联合智能化检测异常指标;在上述步骤S350中,可以基于auto_arima、holt-winter、xgboost等多个预测模型,进行多算法联合智能化检测配置合理性,以此得到异常检测结果和配置合理性结果。
本申请实施例提供的中间件配置的优化方法,基于智能AI(ArtificialIntelligence,人工智能)实现中间件配置自动优化,首先在运维过程中,通过对中间件各项性能指标数据,结合基于三倍标准差法计算动态阈值和异常指标特征库各类智能运维AI算法进行解析与处理。再通过综合分析判断,智能化检测异常指标与配置合理性,并根据检测判断结果,选择对应中间件结果类型,自动关联选择配置优化方案,并自动执行配置优化作业,实现自动化配置优化操作,在完成优化结果确认后,通知运维人员。由此,基于三倍标准差法计算动态阈值和多种智能运维AI算法相结合,实现了智能化检测判断,相比于固定阈值,提高了整体准确率,降低了误报率;并且无需人为参与,实现中间件配置自动优化,优化更及时并提高了效率。
需要说明的是,上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于相同的发明构思,本申请还提供了一种中间件配置的优化装置。具体结合图5进行详细说明。
图5是本申请一个实施例提供的中间件配置的优化装置的结构示意图。
如图5所示,该中间件配置的优化装置500可以包括:
获取模块501,用于针对中间件的任意性能指标,获取性能指标的历史指标值和实时指标值;
动态阈值确定模块502,用于根据历史指标值,确定性能指标的动态阈值区间;
检测模块503,用于检测实时指标值是否属于动态阈值区间,获得检测结果;
策略确定模块504,用于根据检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
优化模块505,用于基于目标配置优化策略对中间件进行配置优化。
下面对上述中间件配置的优化装置500进行详细说明,具体如下所示:
在一些实施例中,为了确定性能指标的动态阈值区间,上述动态阈值确定模块502,具体可以包括:
确定子模块,用于确定历史指标值的平均值和三倍标准差;
上限值确定子模块,用于将平均值与三倍标准差的和值作为性能指标的动态阈值上限值;
下限值确定子模块,用于将平均值与三倍标准差的差值作为性能指标的动态阈值下限值;
动态阈值确定子模块,将动态阈值上限值和动态阈值下限值组成的区间,作为性能指标的动态阈值区间。
在一些实施例中,为了确定性能指标是否正常,上述策略确定模块504,具体可以包括:
确定子模块,用于在检测结果表示实时指标值不属于动态阈值区间的情况下,根据实时指标值,采用预设的多个异常检测算法联合对性能指标进行异常检测,确定性能指标是否异常;
策略确定子模块,用于在确定性能指标异常的情况下,根据实时指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
在一些实施例中,为了确定性能指标是否异常,上述确定子模块具体可以包括:
异常检测单元,用于利用多个异常检测算法中的每个异常检测算法,分别根据实时指标值对性能指标进行异常检测,得到每个异常检测算法对应的异常概率;
第一获取单元,用于获取多个异常检测算法中每个异常检测算法对应的权重;
计算单元,用于根据多个异常检测算法中每个异常检测算法对应的异常概率和权重,进行加权求和计算得到最终异常概率;
比较单元,用于将最终异常概率与预设的概率阈值进行比较;
第一确定单元,用于在确定最终异常概率大于概率阈值的情况下,确定性能指标异常;
第二确定单元,用于在确定最终异常概率小于或等于概率阈值的情况下,确定性能指标无异常。
在一些实施例中,为了确定目标优化策略,上述策略确定子模块具体可以包括:
第二获取单元,用于获取性能指标对应的比对指标值区间;
第三确定单元,用于将性能指标的实时指标值与比对指标值区间的边界值进行比较,确定实时指标值与边界值间的大小关系;
第一策略确定子单元,用于根据大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
在一些实施例中,为了确定配置合理性,上述策略确定子模块,具体可以包括:
第四确定单元,用于在检测结果表示实时指标值属于动态阈值区间,或确定性能指标无异常的情况下,确定性能指标在目标时刻点的预测指标值;
第二策略确定单元,用于根据预测指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
在一些实施例中,上述第四确定单元,具体可以包括:
生成子单元,用于根据历史指标值生成历史时间序列;
目标趋势预测模型确定子单元,用于从多个预先训练好的趋势预测模型中选取性能最优的趋势预测模型作为目标趋势预测模型;
输入子单元,用于将历史时间序列输入目标趋势预测模型对目标时刻点的指标值进行预测,获得模型输出的性能指标在目标时刻点的预测指标值。
在一些实施例中,为了根据预测指标确定目标配置优化策略,上述第二策略确定单元,具体可以包括:
获取子单元,用于获取性能指标对应的比对指标值区间;
确定子单元,用于将预测指标值与比对指标值区间的边界值进行比较,确定预测指标值与边界值间的大小关系;
策略确定子单元,用于根据大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
由此,通过针对中间件的任意性能指标,获取性能指标的实时指标值和历史指标值,根据历史指标值确定性能指标的动态阈值区间,根据实时指标值和动态阈值区间从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,利用目标配置优化策略对中间件配置进行优化。根据本申请实施例,基于性能指标的历史指标值确定性能指标的动态阈值区间,实现对阈值的动态设置,无需人为参与,效率高,而且基于动态阈值区间进行配置优化,相比于固定阈值,准确率更高,优化更及时,此外,预先设置配置优化策略,在确定出目标配置优化策略之后,可以自动基于策略进行优化,整个过程无需人为参与,提高了用户体验。
图6示出了本申请实施例提供的中间件配置的优化的硬件结构示意图。
电子设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在综合网关容灾设备的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。存储器602可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器602包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可执行上述实施例中的任意一种中间件配置的优化方法所描述的操作。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的任意一种中间件配置的优化方法。
在一个示例中,电子设备还可包括通信接口604和总线610。其中,如图6所示,处理器601、存储器602、通信接口604通过总线610连接并完成相互间的通信。
通信接口604,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的中间件配置的优化方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种中间件配置的优化方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种中间件配置的优化方法,其特征在于,包括:
针对中间件的任意性能指标,获取所述性能指标的历史指标值和实时指标值;
根据所述历史指标值,确定所述性能指标的动态阈值区间;
检测所述实时指标值是否属于所述动态阈值区间,获得检测结果;
根据所述检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
利用所述目标配置优化策略对所述中间件配置进行优化。
2.根据权利要求1所述的方法,其特征在于,所述根据所述历史指标值,确定所述性能指标的动态阈值区间,包括:
确定所述历史指标值的平均值和三倍标准差;
将所述平均值与所述三倍标准差的和值作为所述性能指标的动态阈值上限值;
将所述平均值与所述三倍标准差的差值作为所述性能指标的动态阈值下限值;
将所述动态阈值上限值和所述动态阈值下限值组成的区间,作为所述性能指标的动态阈值区间。
3.根据权利要求1所述的方法,其特征在于,所述根据所述检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,包括:
在所述检测结果表示所述实时指标值不属于所述动态阈值区间的情况下,根据所述实时指标值,采用预设的多个异常检测算法联合对所述性能指标进行异常检测,确定所述性能指标是否异常;
在确定所述性能指标异常的情况下,根据所述实时指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
4.根据权利要求3所述的方法,其特征在于,所述根据所述实时指标值,采用预设的多个异常检测算法联合对所述性能指标进行异常检测,确定所述性能指标是否异常,包括:
利用所述多个异常检测算法中的每个异常检测算法,分别根据所述实时指标值对所述性能指标进行异常检测,得到每个异常检测算法对应的异常概率;
获取所述多个异常检测算法中每个异常检测算法对应的权重;
根据所述多个异常检测算法中每个异常检测算法对应的异常概率和权重,进行加权求和计算得到最终异常概率;
将所述最终异常概率与预设的概率阈值进行比较;
在确定所述最终异常概率大于所述概率阈值的情况下,确定所述性能指标异常;
在确定所述最终异常概率小于或等于所述概率阈值的情况下,确定所述性能指标无异常。
5.根据权利要求3所述的方法,其特征在于,所述根据所述实时指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,包括:
获取所述性能指标对应的比对指标值区间;
将所述性能指标的实时指标值与所述比对指标值区间的边界值进行比较,确定所述实时指标值与所述边界值间的大小关系;
根据所述大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
6.根据权利要求3所述的方法,其特征在于,所述根据所述检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,包括:
在所述检测结果表示所述实时指标值属于所述动态阈值区间,或确定所述性能指标无异常的情况下,确定所述性能指标在目标时刻点的预测指标值;
根据所述预测指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略。
7.根据权利要求6所述的方法,其特征在于,所述确定所述性能指标在目标时刻点的预测指标值,包括:
根据所述历史指标值生成历史时间序列;
从多个预先训练好的趋势预测模型中选取性能最优的趋势预测模型作为目标趋势预测模型;
将所述历史时间序列输入所述目标趋势预测模型对目标时刻点的指标值进行预测,获得模型输出的所述性能指标在所述目标时刻点的预测指标值。
8.根据权利要求6所述的方法,其特征在于,所述根据所述预测指标值从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略,包括:
获取所述性能指标对应的比对指标值区间;
将所述预测指标值与所述比对指标值区间的边界值进行比较,确定所述预测指标值与所述边界值间的大小关系;
根据所述大小关系从预设的多个配置优化策略中确定对应的配置优化策略作为目标优化策略。
9.一种中间件配置的优化装置,其特征在于,包括:
获取模块,用于针对中间件的任意性能指标,获取所述性能指标的实时指标值和历史指标值;
动态阈值确定模块,用于根据所述历史指标值,确定所述性能指标的动态阈值区间;
检测模块,用于检测所述实时指标值是否属于所述动态阈值区间,获得检测结果;
策略确定模块,用于根据所述检测结果从预设的多个配置优化策略中确定对应的配置优化策略,作为目标配置优化策略;
优化模块,用于基于所述目标配置优化策略对所述中间件进行配置优化。
10.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的中间件配置的优化方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的中间件配置的优化方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-8任意一项所述的中间件配置的优化方法。
CN202211554635.7A 2022-12-06 2022-12-06 中间件配置的优化方法、装置、设备及计算机存储介质 Pending CN115878171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211554635.7A CN115878171A (zh) 2022-12-06 2022-12-06 中间件配置的优化方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211554635.7A CN115878171A (zh) 2022-12-06 2022-12-06 中间件配置的优化方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115878171A true CN115878171A (zh) 2023-03-31

Family

ID=85766008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211554635.7A Pending CN115878171A (zh) 2022-12-06 2022-12-06 中间件配置的优化方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115878171A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467113A (zh) * 2023-06-20 2023-07-21 深圳富联富桂精密工业有限公司 异常处理方法、装置、电子设备及计算机可读存储介质
CN117908902A (zh) * 2024-03-12 2024-04-19 苏州元脑智能科技有限公司 性能优化方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467113A (zh) * 2023-06-20 2023-07-21 深圳富联富桂精密工业有限公司 异常处理方法、装置、电子设备及计算机可读存储介质
CN116467113B (zh) * 2023-06-20 2023-12-05 深圳富联富桂精密工业有限公司 异常处理方法、装置、电子设备及计算机可读存储介质
CN117908902A (zh) * 2024-03-12 2024-04-19 苏州元脑智能科技有限公司 性能优化方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN115878171A (zh) 中间件配置的优化方法、装置、设备及计算机存储介质
CN109150564B (zh) 一种用于小区故障告警的预测方法及装置
CN104809051B (zh) 用于预测计算机应用中的异常和故障的方法和装置
CN114978956B (zh) 智慧城市网络设备性能异常突变点检测方法及装置
TWI684139B (zh) 基於自動學習的基地台異常之預測的系統與方法
CN116049146B (zh) 一种数据库故障处理方法、装置、设备及存储介质
CN112508316B (zh) 实时异常检测系统中的自适应异常判定方法和装置
CN115794578A (zh) 一种电力系统的数据管理方法、装置、设备及介质
KR101960755B1 (ko) 미취득 전력 데이터 생성 방법 및 장치
CN114138601A (zh) 一种业务告警方法、装置、设备及存储介质
CN117454201A (zh) 一种智慧电网异常运行状态检测方法及系统
CN115114124A (zh) 主机风险的评估方法及评估装置
CN111078503B (zh) 一种异常监控方法及系统
CN110413482B (zh) 检测方法和装置
CN111489074A (zh) 数据处理方法、装置、设备及存储介质
CN114760190A (zh) 一种面向服务的融合网络性能异常检测方法
CN113986659A (zh) 故障分析方法、装置、设备及计算机存储介质
CN111935279B (zh) 基于区块链和大数据的物联网络维护方法及计算节点
CN111143763B (zh) 电力设备状态的评估方法、装置及其存储介质
CN114414938B (zh) 一种配电网故障的动态响应方法及系统
CN116149971B (zh) 设备故障预测方法、装置、电子设备及存储介质
CN111385814A (zh) 小区网络负荷的评估方法、装置、设备及介质
CN115001997B (zh) 基于极值理论的智慧城市网络设备性能异常阈值评估方法
CN113950086B (zh) 确定无线网络问题根因的方法、系统、设备及存储介质
CN116974863A (zh) 中间件配置优化方法、装置、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination