CN115145897A - 数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、设备和存储介质。该数据处理方法包括获取调优任务在第N轮迭代中运行M次的性能指标评分，并根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数，可以动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于负载环境的影响，提升参数调优效率的准确性，然后，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分，并将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果，这样，可以在某一轮的迭代中已经实现了参数调优效果时，不用持续运行，避免资源浪费。

Description

数据处理方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。

背景技术

操作系统内核、编译器以及数据库等场景均存在针对参数调优的需求，较为有效的参数设置可以优化服务运行性能，提升整体服务质量，由此，参数调优应运而生。

传统的参数调优过程，需要提前定义调优任务的迭代轮数(iteration)和每轮迭代的运行次数(epoch)，这样，参数调优算法程序会按照预设的迭代轮数和运行次数执行。然而，该过程中的迭代轮数和运行次数是在参数调优算法程序运行之前经过人工设定，导致该过程在波动性较大的负载环境中无法提供准确的参数调优结果，不仅会降低参数调优效率，影响参数调优效果，还会在参数已经收敛之后仍然按照预设的迭代轮数和运行次数执行，造成资源浪费。

发明内容

本申请实施例提供一种数据处理方法、装置、设备和存储介质，能够提高参数调优效率和参数调优效果，减少资源浪费。

根据本申请实施例的第一方面，提供一种数据处理方法，包括：

获取调优任务在第N轮迭代中运行M次的性能指标评分；

根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分；

将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

根据本申请实施例的第二方面，提供一种基于关系型数据库的数据处理方法，包括：

根据关系型数据库的参数调优任务，获取关系型数据库中的多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

在参数调优任务进行调优执行过程中，计算参数集合在第N轮迭代中运行M次的性能指标评分；

根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

根据目标性能指标评分的运行次所属的目标轮迭代，将包括目标轮迭代运行的目标参数集合确定为关系型数据库的参数调优结果，多组参数集合包括目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

根据本申请实施例的第三方面，提供一种基于网络服务的数据处理方法，包括：

接收用户发送的调优请求，调优请求包括多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

在调优请求执行过程中，获取参数集合在第N轮迭代中运行M次的性能指标评分；

根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分；

向用户发送参数调优结果，参数调优结果包括目标性能指标评分的运行次所属的目标轮迭代和目标轮迭代运行的目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

根据本申请实施例的第四方面，提供一种数据处理装置，包括：

获取模块，用于获取调优任务在第N轮迭代中运行M次的性能指标评分；确定模块，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

处理模块，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块，用于将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

根据本申请实施例的第五方面，提供一种基于关系型数据库的数据处理装置，包括：

获取模块，用于根据关系型数据库的参数调优任务，获取关系型数据库中的多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

计算模块，用于在参数调优任务进行调优执行过程中，计算参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

筛选模块，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块，用于根据目标性能指标评分的运行次所属的目标轮迭代，将包括目标轮迭代运行的目标参数集合确定为关系型数据库的参数调优结果，多组参数集合包括目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

根据本申请实施例的第六方面，提供一种基于网络服务的数据处理装置，包括：

接收模块，用于接收用户发送的调优请求，调优请求包括多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

获取模块，用于在调优请求执行过程中，获取参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

筛选模块，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

发送模块，用于向用户发送参数调优结果，参数调优结果包括目标性能指标评分的运行次所属的目标轮迭代和目标轮迭代运行的目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

根据本申请实施例的第七方面，提供一种计算机设备，包括：存储器和处理器；

存储器，用于存储有计算机程序；

处理器，用于执行存储器中存储的计算机程序，计算机程序运行时使得处理器执行如第一方面所示的数据处理方法的步骤、执行如第二方面所示的基于关系型数据库的数据处理方法的步骤、执行如第三方面所示的基于网络服务的数据处理方法的步骤。

根据本申请实施例的第八方面，提供一种计算机可读存储介质，计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的数据处理方法的步骤、执行如第二方面所示的基于关系型数据库的数据处理方法的步骤、执行如第三方面所示的基于网络服务的数据处理方法的步骤。

根据本申请实施例的第九方面，提供一种计算机程序产品，包括计算机程序，在计算机程序被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的数据处理方法的步骤、执行如第二方面所示的基于关系型数据库的数据处理方法的步骤、执行如第三方面所示的基于网络服务的数据处理方法的步骤。

根据本申请实施例中数据处理方法、装置、设备和存储介质，获取调优任务在第N轮迭代中运行M次的性能指标评分，并根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数，这样，可以针对不同环境、不同效果来动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于波动性较大的负载环境的影响每轮中每次运行的性能指标评分的情况，保证了调优效果的可靠性，提升了参数调优效率的准确性。然后，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分，并将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果，这样，可以在某一轮的迭代中已经实现了参数调优效果的情况下，不用持续运行，避免资源浪费，缩短参数调优的时间。

附图说明

从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中，相同或相似的附图标记表示相同或相似的特征。

图1是示出相关技术中的一种数据查询流程示意图；

图2是示出根据一个实施例的一种数据处理架构示意图；

图3是示出根据一个实施例的一种数据处理的流程示意图；

图4是示出根据一个实施例的一种数据处理方法的流程图；

图5是示出根据一个实施例的一种基于关系型数据库的数据处理方法的流程图；

图6是示出根据一个实施例的一种基于网络服务的数据处理方法的流程图

图7是示出根据一个实施例的一种数据处理装置的结构示意图；

图8是示出根据一个实施例的一种基于关系型数据库的数据处理装置的结构示意图；

图9是示出根据一个实施例的一种基于网络服务的数据处理装置的结构示意图；

图10是示出根据一个实施例的计算机设备的硬件结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

参数调优(Parameter Optimization)是通过系统参数进行调整，使系统在基准程序上得分不断提高的过程，其中，系统参数是指操作系统中可以进行动态设置并对应用性能产生影响的配置项，例如内核配置参数和应用配置参数等，基准程序(Benchmark)是对调优应用性能进行估计并给出性能得分的评估程序。

在相关技术中，传统的参数调优过程，可以通过参数调优算法的参数调优算法程序执行，其中，参数调优算法程序提供接口，该接口可以定义参数调优任务需要运行的迭代轮数(iteration)和每轮迭代中需要运行的相同的运行次数(epoch)，这样，参数调优算法程序会按照预设的迭代轮数和运行次数执行，以得到参数调优结果。这里，参数调优算法为算法策略，不断给出系统参数组合，从而找到使应用性能得到提升的参数配置的程序。

示例性地，如图1所示，在通过贝叶斯(Bayes)算法对关系型数据库调优系统(mysql)进行参数调优的情况下，可以定义参数调优算法程序执行的迭代轮数为500轮(N)，每轮执行3次(M)，那么，实际调优任务就会生成500组参数集合，每个参数集合设置完后执行Benchmark 3次，也就是一共执行Benchmark 1500次。

基于此，在参数调优算法程序执行过程中，每个参数集合被设置完后，执行的3次性能指标评分的差异，即性能指标评分的差异较小表征参数调优算法程序执行的或者负载运行时的环境比较稳定，反之，性能指标评分的差异较大表征参数调优算法程序执行的或者负载运行时的环境不稳定，传统的参数调优算法是不考虑的，也就是说，无论参数调优算法程序执行的环境或者负载运行时的环境是否是稳定的，或者是否已经到了调优无效的轮次，传统的参数调优算法程序都只会按照已经定义好的迭代轮数和运行次数执行，最后给出参数调优结果，这样就会带来两个问题：其一，如果环境比较稳定，那么其实每轮里运行一次就可以，而如果环境不稳定，那么每轮只运行一次，可能Benchmark的结果只是因为环境的波动导致的，并不是参数调优算法带来的真实参数调优结果，降低了参数调优效率，影响参数调优效果的准确性；其二，参数调优算法在进入收敛之后，后续即使执行再多的轮次，也不会提高参数调优结果的准确性，又因迭代轮数和运行次数是在参数调优算法程序运行之前经过人工设定，算法在运行过程中是无法修改的，所以会造成执行过程中的资源浪费。这里，本申请实施例中的收敛是指参数调优算法运行的结果不再有大的变化。

因此，在面对如何能够让参数调优算法适应不同的运行环境如参数调优算法程序执行的环境、负载运行时的环境上的波动情况，并且能够根据参数调优算法的收敛状况，自动控制调优任务运行的轮次，在保证性能调优效果的同时尽量减少执行轮次，从而降低Benchmark执行带来的时间损耗和资源损耗的情况时，本申请实施例提供了一种数据处理方法，通过在参数调优算法的运行过程中增加环境稳定性以及收敛效果的判断，从而实现针对不同环境、不同效果动态控制调优任务运行的轮次，以解决运行轮次在运行之前就人工确定，从而导致的在波动性较大的环境无法提供准确的参数调优结果，以及在收敛之后仍然长期运行导致的资源浪费问题。

下面结合图2，对本申请实施例提供的数据处理架构进行详细地说明。

在一种或者多种可能的实施例中，如图2所示，本申请实施例提出的数据处理架构包括第一计算节点201和第二计算节点202。

下面分别对第一计算节点201和第二计算节点202进行详细说明。

第一计算节点201，用于对环境稳定性的判断及控制调优任务的迭代轮数和每轮迭代中的运行次数，其中，本申请实施例中的环境可以是指系统运行的环境、参数调优算法程序执行的环境、负载运行时的环境。

首先，对环境稳定性的判断的过程，可以是在参数调优算法运行的全生命周期流程进行的，其目的在于解决在参数调优过程中，由于环境波动导致在某一次突然出现非常好的一个值，而调优算法无法识别出来，从而导致最后给出的调优效果看起来非常好，但是实际上是不准确的情况，基于此，可以通过执行环境稳定性探测机制，计算判断当前系统运行是否稳定的指标，示例性地，使用相同的基准程序计算调优任务在每轮迭代中运行次数的性能指标评分，若每轮迭代中运行次数的性能指标评分之间的差异值较小，则确定当前系统运行是稳定的，反之，若每轮迭代中运行次数的性能指标评分之间的差异值较大，则确定当前系统运行是不稳定的，以便基于当前系统的稳定程序，控制调优任务的迭代轮数和每轮迭代中的运行次数，从而减少误差，保证参数调优结果的准确性。

然后，基于对环境稳定性的判断的结果，可以对控制调优任务的迭代轮数和每轮迭代中的运行次数，在一个示例中，在确定当前系统运行稳定的情况下，可以减少调优任务在下一轮迭代中的运行次数，反之，在确定当前系统运行不稳定的情况下，可以增加或者保持调优任务在下一轮迭代中的运行次数。

这样，可以针对不同环境、不同效果来动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于波动性较大的负载环境的影响每轮中每次运行的性能指标评分的情况，保证了调优效果的可靠性，提升了参数调优效率的准确性。

第二计算节点202，用于根据第一计算节点201的运行结果，判断是否触发执行早停(early stop)机制和控制输出参数调优结果。其中，早停机制为在算法模型训练时使用的优化技术，用于在不影响模型的精度的情况下减少过拟合，其可以有效控制在模型过拟合之前停止训练，也就是说，如果环境被破坏无法恢复，再运行是没有意义的，同样的，如果参数调优结果不再有提升，再运行也是没有意义的，所以，早停机制是为了减少实际运行的迭代轮数，以减少资源浪费。基于此，通过stop机制可以在调优算法运行的过程中已经进入到收敛阶段，后面的轮次对于参数调优结果没有贡献的时候，能够及早发现并终止调优，以输出参数调优结果。在一个示例中，第二计算节点202具体可以用于，在从多轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中确定满足第二预设条件的目标性能指标评分，将所述目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。其中N、Y均为大于或者等于1的整数。

基于如图2所示的数据处理架构，下面结合附图3对本申请实施例提供的数据处理方法进行详细地说明。

如图2所示的数据处理架构10可以执行如下两个阶段，即，具体结合图3进行详细说明。

如图3所示，N取1，则第一计算节点201在获取调优任务在第一轮迭代中运行M次的性能指标评分的情况下，根据所述第一轮迭代中运行M次的性能指标评分，确定所述调优任务在第二轮迭代中的运行次数。这里，除了可以根据第一轮迭代中运行M次的性能指标评分确定调优任务在第二轮迭代中的运行次数之外，在一些场景下，还可以基于第一轮迭代中运行M次中第一次的性能指标评分确定调优任务在第二轮迭代中的运行次数。

然后，第二计算节点202在确定从所述第二轮迭代至第十轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第2轮迭代至所述第10轮迭代中确定满足第二预设条件的目标性能指标评分，结束迭代，并将所述目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果进行输出。

由此，参数调优算法运行的轮次将不再被人工直接定义，下一轮迭代中的运行次数可以根据实际的环境和调优效果来自动判断，避免由于负载环境某一次波动的影响，保证参数调优效率的准确性，可以非常有效的节约参数调优算法运行的时间和资源消耗。

需要说明的是，本申请实施例提供的数据处理方法可以应用于如下场景，即系统负载基础场景和应用负载场景，其中，系统负载基础场景包括：处理器(CentralProcessing Unit/Processor，CPU)密集型、内存密集型、输入/输出(IO)密集型、网络密集型等，应用负载场景，包括：数据库、网络服务、大数据等。

根据上述架构以及应用场景，下面分别结合图4对本申请实施例提供的数据处理方法进行详细说明。

图4是示出根据一个实施例的一种数据处理方法的流程图。

如图4所示，本申请实施例提供的数据处理方法可以应用于如图2所示的数据处理架构，具体可以包括：

步骤410，获取调优任务在第N轮迭代中运行M次的性能指标评分；步骤420，根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；步骤430，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分；步骤440，将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

下面对上述步骤进行详细说明，具体如下所示。

首先，涉及步骤410，在一种或者多种可能的示例中，基于调优任务，获取多组参数集合，其中，参数集合是指待调优参数及待调优参数的参数取值，比如：待调优参数有A、B、C三个，其各自的取值范围都是1-100，那么，如果取四组参数集合和待调优参数的参数取值，就可以是：第一组A＝1，B＝1，C＝1，第二组A＝1，B＝100，C＝2，第三组A＝20，B＝50，C＝47，第四组A＝5，B＝11，C＝80。

接着，涉及步骤420，具体可以包括：

步骤4201，根据第N轮迭代中运行M次的性能指标评分，计算M次的性能指标评分之间的第一差异值；

步骤4202，在第一差异值小于或者等于第一预设差异值的情况下，确定调优任务在第N+1轮迭代中的运行次数小于第N轮迭代中的M次；反之，在第一差异值大于第一预设差异值的情况下，确定调优任务在第N+1轮迭代中的运行次数大于或者等于第N轮迭代中的M次。

示例性地，在一种或者多种可能的示例中，N取一个数值如N取一，M取3时，根据在参数调优算法程序运行的第一轮迭代中运行3次Benchmark的性能指标评分，计算3次Benchmark的性能指标评分之间的方差或者协方差，并将方差或者协方差确定为第一差异值。在第一差异值小于或者等于第一预设差异值的情况下，可以表征该环境稳定，则确定调优任务在第二轮迭代中的运行次数小于第一轮迭代中的3次，如取1次。反之，在第一差异值大于第一预设差异值的情况下，可以表征该环境不稳定，则确定调优任务在第二轮迭代中的运行次数大于或者等于第一轮迭代中的3次，如取3次或者5次，也就是说，如果环境稳定，那么调小下一轮迭代中的运行次数，否则就调大下一轮迭代中的运行次数。

在另一种或者多种可能的示例中，N取至少两个值，如N取一、二和三，M取3时，根据在参数调优算法程序运行的第一、二和三轮迭代中每轮迭代的运行3次Benchmark的性能指标评分，计算3次Benchmark的性能指标评分之间的方差或者协方差，并将方差或者协方差确定为第一差异值。在第一差异值小于或者等于第一预设差异值的情况下，可以表征该环境稳定，则确定调优任务在第四轮迭代中的运行次数小于第一、二和三轮迭代中的3次，如取1次。反之，在第一差异值大于第一预设差异值的情况下，可以表征该环境不稳定，则确定调优任务在第四轮迭代中的运行次数大于或者等于第一、二和三轮迭代中的3次，如取3次或者5次。

需要说明的是，如果有连续轮迭代的第一差异值标识环境为稳定的，那么在不出现性能指标评分突然大幅下降并且无法恢复的情况的话，那么仍可以认定当前环境是稳定的，后续轮迭代中的运行次数均可以按照环境稳定时的运行数量来执行。若连续轮迭代出现性能指标评分突然大幅下降是可以归入早停机制的判定阶段。

基于此，涉及步骤430之前，需要确定当前调优任务是否进行早停机制的判断和控制阶段，这里，早停机制主要在两种条件下生效：(1)根据运行目标次的性能指标评分确定的参数调优结果连续多轮没有提升(2)运行目标次的性能指标评分大幅下降且连续多轮无法恢复。这样，本申请实施例提供了确定运行目标次的性能指标评分满足第一预设条件的过程，这里，可以通过运行目标次在不同场景下的不同含义，对确定运行目标次的性能指标评分满足第一预设条件的过程进行分别说明。

在一种或者多种可能的示例中，在运行目标次为第N轮迭代至第Y轮迭代中连续的至少两轮迭代中的运行次数的情况下，在步骤430之前还可以包括：

在确定运行目标次的性能指标评分低于预设性能指标评分的情况下，确定运行目标次的性能指标评分满足第一预设条件。

示例性地，在N为1、Y为10，运行目标次为第1轮迭代至第10轮迭代中连续5轮中的运行次如第5轮至第10轮中的运行次的情况下，如果都没有第4轮中运行3次的性能指标评分高，那么，可以说明参数调优算法已经进入收敛阶段，无需继续迭代，这样，可以将第4轮确定为目标轮迭代。

在另一种或者多种可能的示例中，在运行目标次为第N轮迭代至第Y轮迭代中每轮迭代中的运行次数的情况下，在步骤430之前还可以包括：

在确定运行目标次的性能指标评分之间的第二差异值小于或者等于第二预设差异值的情况下，确定运行目标次的性能指标评分满足第一预设条件。

示例性地，N为1、Y为10，运行目标次为第1轮迭代至第10轮迭代中每轮中的运行次，那么，可以表示连续10轮的性能指标评分都比预设基线值(baseline)低，则说明调优任务和与调优任务相关的参数异常、环境异常等，这样，无需继续迭代，即可输出异常提醒或者将第1轮迭代至第10轮迭代中满足第二预设条件的目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

由此，早停机制的判断和控制阶段，是解决参数调优算法在运行中已经进入到收敛阶段，后面的轮次对于参数调优结果没有贡献的时候，能够及早发现并终止调优。同时，也为了解决在突然出现环境问题导致Benchmark运行结果一直无法恢复，后面运行的轮次都是无用迭代，对于调优效果没有任何贡献的问题，有效减少实际运行的轮次，避免资源的浪费。

然后，涉及步骤430，在一种或者多种可能的示例中，该步骤430具体可以包括：

在所述运行目标次的性能指标评分中，将最高的性能指标评分确定为所述目标性能指标评分。

为了更好的理解本申请实施例提供的数据处理方法，下面结合两种应用场景如关系型数据库的数据处理场景和基于网络服务的数据处理场景，对本申请实施例提供的数据处理方法进行详细说明，具体如下所示。

图5是示出根据一个实施例的一种基于关系型数据库的数据处理方法的流程图。

如图5所示，本申请实施例提供的基于关系型数据库的数据处理方法可以应用于如图2所示的数据处理架构，具体可以包括：

步骤510，根据关系型数据库的参数调优任务，获取关系型数据库中的多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

步骤520，在参数调优任务进行调优执行过程中，计算参数集合在第N轮迭代中运行M次的性能指标评分；

步骤530，根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

步骤540，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

步骤550，根据目标性能指标评分的运行次所属的目标轮迭代，将包括目标轮迭代运行的目标参数集合确定为关系型数据库的参数调优结果，多组参数集合包括目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

这样，可以针对不同环境、不同效果来动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于波动性较大的负载环境的影响每轮中每次运行的性能指标评分的情况，保证了调优效果的可靠性，提升了参数调优效率的准确性，以及可以在某一轮的迭代中已经实现了参数调优效果的情况下，不用持续运行，避免资源浪费，缩短参数调优的时间。

图6是示出根据一个实施例的一种基于网络服务的数据处理方法的流程图。

如图6所示，本申请实施例提供的基于网络服务的数据处理方法可以应用于如图2所示的数据处理架构，具体可以包括：

步骤610，接收用户发送的调优请求，调优请求包括多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

步骤620，在调优请求执行过程中，获取参数集合在第N轮迭代中运行M次的性能指标评分；

步骤630，根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

步骤640，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分；

步骤650，向用户发送参数调优结果，参数调优结果包括目标性能指标评分的运行次所属的目标轮迭代和目标轮迭代运行的目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

这样，可以针对不同环境、不同效果来动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于波动性较大的负载环境的影响每轮中每次运行的性能指标评分的情况，保证了调优效果的可靠性，提升了参数调优效率的准确性，以及可以在某一轮的迭代中已经实现了参数调优效果的情况下，不用持续运行，避免资源浪费，缩短参数调优的时间，对于用户侧来说，还可以减少用户成本提高参数调优效率。

需要明确的是，本申请并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于相同的发明构思，本申请实施例提供了与上述涉及的数据处理方法对应的数据处理装置。具体结合图7进行详细说明。

图7是示出根据一个实施例的一种数据处理装置的结构示意图。

如图7所示，数据处理装置70应用于如图2所示的数据处理架构，数据处理装置70具体可以包括：

获取模块701，用于获取调优任务在第N轮迭代中运行M次的性能指标评分；

确定模块702，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

处理模块703，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块704，用于将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

基于此，下面对本申请实施例提供的数据处理装置70进行详细说明。

在一种或者多种可能的实施例中，本申请实施例中的确定模块702具体可以用于，根据第N轮迭代中运行M次的性能指标评分，计算M次的性能指标评分之间的第一差异值；

在第一差异值小于或者等于第一预设差异值的情况下，确定调优任务在第N+1轮迭代中的运行次数小于第N轮迭代中的M次。

在另一种或者多种可能的实施例中，本申请实施例中的确定模块702还可以用于，在第一差异值大于第一预设差异值的情况下，确定调优任务在第N+1轮迭代中的运行次数大于或者等于第N轮迭代中的M次。

在又一种或者多种可能的实施例中，本申请实施例中的确定模块702还可以用于，在运行目标次为第N轮迭代至第Y轮迭代中连续的至少两轮迭代中的运行次数、且确定运行目标次的性能指标评分低于预设性能指标评分的情况下，确定运行目标次的性能指标评分满足第一预设条件。

在再一种或者多种可能的实施例中，本申请实施例中的确定模块702还可以用于，在运行目标次为第N轮迭代至第Y轮迭代中每轮迭代中的运行次数、且确定运行目标次的性能指标评分之间的第二差异值小于或者等于第二预设差异值的情况下，确定运行目标次的性能指标评分满足第一预设条件。

在再一种或者多种可能的实施例中，本申请实施例中的处理模块703具体可以用于，在运行目标次的性能指标评分中，将最高的性能指标评分确定为目标性能指标评分。

基于相同的发明构思，本申请实施例提供了与上述涉及的基于关系型数据库的数据处理方法对应的数据处理装置。具体结合图8进行详细说明。

图8是示出根据一个实施例的一种基于关系型数据库的数据处理装置的结构示意图。

如图8所示，基于关系型数据库的数据处理装置80应用于如图2所示的数据处理架构，基于关系型数据库的数据处理装置80具体可以包括：

获取模块801，用于根据关系型数据库的参数调优任务，获取关系型数据库中的多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

计算模块802，用于在参数调优任务进行调优执行过程中，计算参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块803，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

筛选模块804，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块805，用于根据目标性能指标评分的运行次所属的目标轮迭代，将包括目标轮迭代运行的目标参数集合确定为关系型数据库的参数调优结果，多组参数集合包括目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

基于相同的发明构思，本申请实施例提供了与上述涉及的基于网络服务的数据处理方法对应的数据处理装置。具体结合图9进行详细说明。

图9是示出根据一个实施例的一种基于网络服务的数据处理装置的结构示意图。

如图9所示，基于网络服务的数据处理装置90应用于如图2所示的数据处理架构，基于网络服务的数据处理装置90具体可以包括：

接收模块901，用于接收用户发送的调优请求，调优请求包括多组参数集合，参数集合包括多个待调优参数和待调优参数的参数取值；

获取模块902，用于在调优请求执行过程中，获取参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块903，用于根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数；

筛选模块904，用于在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

发送模块905，用于向用户发送参数调优结果，参数调优结果包括目标性能指标评分的运行次所属的目标轮迭代和目标轮迭代运行的目标参数集合，目标参数集合包括多个已调优参数和已调优参数的参数取值。

由此，获取调优任务在第N轮迭代中运行M次的性能指标评分，并根据第N轮迭代中运行M次的性能指标评分，确定调优任务在第N+1轮迭代中的运行次数，这样，可以针对不同环境、不同效果来动态的控制调优任务的运行轮次和每轮中的运行次数，避免由于波动性较大的负载环境的影响每轮中每次运行的性能指标评分的情况，保证了调优效果的可靠性，提升了参数调优效率的准确性。然后，在从第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从第N轮迭代至第Y轮迭代中确定满足第二预设条件的目标性能指标评分，并将目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果，这样，可以在某一轮的迭代中已经实现了参数调优效果的情况下，不用持续运行，避免资源浪费，缩短参数调优的时间。

图10是示出根据一个实施例的计算机设备的硬件结构示意图。

如图10所示，计算机设备1000包括输入设备1001、输入接口1002、处理器1003、存储器1004、输出接口1005、以及输出设备1006。

输入接口1002、处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接，输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接，进而与计算机设备1000的其他组件连接。具体地，输入设备1001接收来自外部的输入信息，并通过输入接口1002将输入信息传送到处理器1003；处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1004中，然后通过输出接口1005将输出信息传送到输出设备1006；输出设备1006将输出信息输出到计算机设备1000的外部供用户使用。

在一个实施例中，图10所示的计算机设备1000可以被实现为一种数据处理设备，该数据处理设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的数据处理方法。

在一个实施例中，该存储器还可以用于存储性能指标评分、目标性能指标评分以及结合上述图3至图6描述的数据处理过程中每个步骤的计算结果。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机可读存储介质。例如，本申请的实施例包括一种计算机可读存储介质，其包括在计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行上述方法的步骤。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令，当其在计算机上运行时，使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种数据处理方法，包括：

获取调优任务在第N轮迭代中运行M次的性能指标评分；

根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中确定满足第二预设条件的目标性能指标评分；

将所述目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

2.根据权利要求1所述的方法，其中，所述根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数，包括：

根据所述第N轮迭代中运行M次的性能指标评分，计算M次的性能指标评分之间的第一差异值；

在所述第一差异值小于或者等于第一预设差异值的情况下，确定所述调优任务在第N+1轮迭代中的运行次数小于所述第N轮迭代中的M次。

3.根据权利要求2所述的方法，其中，所述方法还包括：

在所述第一差异值大于所述第一预设差异值的情况下，确定所述调优任务在第N+1轮迭代中的运行次数大于或者等于所述第N轮迭代中的M次。

4.根据权利要求1-3任意一项所述的方法，其中，所述运行目标次为所述第N轮迭代至第Y轮迭代中连续的至少两轮迭代中的运行次数；

所述从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件之前，所述方法还包括：

在确定所述运行目标次的性能指标评分低于预设性能指标评分的情况下，确定所述运行目标次的性能指标评分满足第一预设条件。

5.根据权利要求1-3任意一项所述的方法，其中，所述运行目标次为所述第N轮迭代至第Y轮迭代中每轮迭代中的运行次数；

所述从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件之前，所述方法还包括：

在确定所述运行目标次的性能指标评分之间的第二差异值小于或者等于第二预设差异值的情况下，确定所述运行目标次的性能指标评分满足第一预设条件。

6.根据权利要求1所述的方法，其中，所述从所述第N轮迭代至所述第Y轮迭代中确定满足第二预设条件的目标性能指标评分，包括：

在所述运行目标次的性能指标评分中，将最高的性能指标评分确定为所述目标性能指标评分。

7.一种基于关系型数据库的数据处理方法，包括：

根据关系型数据库的参数调优任务，获取所述关系型数据库中的多组参数集合，所述参数集合包括多个待调优参数和所述待调优参数的参数取值；

在所述参数调优任务进行调优执行过程中，计算所述参数集合在第N轮迭代中运行M次的性能指标评分；

根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

根据所述目标性能指标评分的运行次所属的目标轮迭代，将包括所述目标轮迭代运行的目标参数集合确定为所述关系型数据库的参数调优结果，所述多组参数集合包括所述目标参数集合，所述目标参数集合包括多个已调优参数和所述已调优参数的参数取值。

8.一种基于网络服务的数据处理方法，包括：

接收用户发送的调优请求，所述调优请求包括多组参数集合，所述参数集合包括多个待调优参数和所述待调优参数的参数取值；

在所述调优请求执行过程中，获取所述参数集合在第N轮迭代中运行M次的性能指标评分；

根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中确定满足第二预设条件的目标性能指标评分；

向所述用户发送参数调优结果，所述参数调优结果包括所述目标性能指标评分的运行次所属的目标轮迭代和所述目标轮迭代运行的目标参数集合，所述目标参数集合包括多个已调优参数和所述已调优参数的参数取值。

9.一种数据处理装置，包括：

获取模块，用于获取调优任务在第N轮迭代中运行M次的性能指标评分；

确定模块，用于根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

处理模块，用于在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块，用于将所述目标性能指标评分的运行次所属的目标轮迭代确定为参数调优结果。

10.一种基于关系型数据库的数据处理装置，包括：

获取模块，用于根据关系型数据库的参数调优任务，获取所述关系型数据库中的多组参数集合，所述参数集合包括多个待调优参数和所述待调优参数的参数取值；

计算模块，用于在所述参数调优任务进行调优执行过程中，计算所述参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块，用于根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

筛选模块，用于在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

输出模块，用于根据所述目标性能指标评分的运行次所属的目标轮迭代，将包括所述目标轮迭代运行的目标参数集合确定为所述关系型数据库的参数调优结果，所述多组参数集合包括所述目标参数集合，所述目标参数集合包括多个已调优参数和所述已调优参数的参数取值。

11.一种基于网络服务的数据处理装置，包括：

接收模块，用于接收用户发送的调优请求，所述调优请求包括多组参数集合，所述参数集合包括多个待调优参数和所述待调优参数的参数取值；

获取模块，用于在所述调优请求执行过程中，获取所述参数集合在第N轮迭代中运行M次的性能指标评分；

确定模块，用于根据所述第N轮迭代中运行M次的性能指标评分，确定所述调优任务在第N+1轮迭代中的运行次数；

筛选模块，用于在从所述第N轮迭代至第Y轮迭代中运行目标次的性能指标评分满足第一预设条件的情况下，从所述第N轮迭代至所述第Y轮迭代中筛选满足第二预设条件的目标性能指标评分；

发送模块，用于向所述用户发送参数调优结果，所述参数调优结果包括所述目标性能指标评分的运行次所属的目标轮迭代和所述目标轮迭代运行的目标参数集合，所述目标参数集合包括多个已调优参数和所述已调优参数的参数取值。

12.一种计算机设备，包括：存储器和处理器，

所述存储器，用于存储有计算机程序；

所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至6中任意一项所述的数据处理方法的步骤、执行权利要求7所述的基于关系型数据库的数据处理方法的步骤、或者执行权利要求8所述的基于网络服务的数据处理方法的步骤。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储程序或指令，在所述程序或指令被计算机设备执行的情况下，使得所述计算机设备执行如权利要求1至6中任意一项所述的数据处理方法的步骤、执行权利要求7所述的基于关系型数据库的数据处理方法的步骤、或者执行权利要求8所述的基于网络服务的数据处理方法的步骤。

14.一种计算机程序产品，包括计算机程序，在所述计算机程序被计算机设备执行的情况下，使得所述计算机设备执行如权利要求1至6中任意一项所述的数据处理方法的步骤、执行权利要求7所述的基于关系型数据库的数据处理方法的步骤、或者执行权利要求8所述的基于网络服务的数据处理方法的步骤。

Images