CN110795255B - 数据批量值调整方法、装置、可读存储介质和设备 - Google Patents

Abstract

本申请涉及一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备，所述方法包括：按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。本申请提供的方案可以实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。

Description

数据批量值调整方法、装置、可读存储介质和设备

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着互联网技术的发展，出现了数据分批处理技术，对于大批量的数据进行分批，然后通过调用服务接口对分批后的数据进行处理，通过确定最佳批量值可以实现服务接口充分利用服务接口的分散效力，提高数据处理效率。

传统的数据分批处理方案中，在对数据进行批量处理时，采用固定的批量值对数据进行分批，然后通过调用服务接口进行对分批后的数据进行处理。然而，当处理数据的服务器的性能发生变化，采用固定的批量值对数据进行分批处理，将会影响数据的处理效率。

发明内容

基于此，有必要针对数据分批执行效率较低的技术问题，提供一种数据批量值调整方法、装置、计算机可读存储介质和计算机设备。

一种数据批量值调整方法，包括：

按照数据批量处理方式对样本数据进行分批测量，获得测量结果；

判断所述测量结果是否符合预设评估条件；

当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；

当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。

一种数据批量值调整装置，其特征在于，所述装置包括：

分批测量模块，用于按照数据批量处理方式对样本数据进行分批测量，获得测量结果；

判断模块，用于判断所述测量结果是否符合预设评估条件；

调整模块，用于当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；

确定模块，用于当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则

将所述目标数据批量处理方式作为最终的数据批量处理方式。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据批量值调整方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据批量值调整方法的步骤。

上述数据批量值调整方法、装置、计算机可读存储介质和计算机设备，按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断所述测量结果是否符合预设评估条件；当所述测量结果不符合预设评估条件时，则对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。根据数据库数据量抽取样本数据进行测量，只依靠测量结果作为运行性能指标自动完成数据批量值调整，就能确定最佳批量值，实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。

附图说明

图1为一个实施例中数据批量值调整方法的应用环境图；

图2为一个实施例中数据批量值调整方法的流程示意图；

图3为一个实施例中数据批量值调整步骤的流程示意图；

图4为一个实施例中数据批量值调整步骤的流程示意图；

图5a为一个实施例中数据批量值调整步骤的流程示意图；

图5b为一个实施例中数据批量值调整步骤的流程示意图；

图6为一个实施例中数据批量值调整方法的流程示意图；

图7为一个实施例中数据批量值调整装置的结构框图；

图8为另一个实施例中数据批量值调整装置的结构框图；

图9为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中数据批量值调整方法的应用环境图。参照图1，该数据批量值调整方法应用于数据批量值调整系统。该数据批量值调整系统包括终端110、服务器120和数据库130。终端110和服务器120通过网络连接，服务器120和数据库130通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。数据库130存储数据并筛选出样本数据。服务器120按照数据批量处理方式对各组样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。服务器120将测量结果与批量值调整过程生成方案策略记录表发送给终端110，终端110对方案策略记录表进行显示。

如图2所示，在一个实施例中，提供了一种数据批量值调整方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该数据批量值调整方法具体包括如下步骤：

S202，按照数据批量处理方式对样本数据进行分批测量，获得测量结果。

在一个实施例中，服务器从数据库中获取样本数据，可以按照数据特征对样本数据进行分批，相同批次的样本数据的数据特征相同，不同批次的样本数据的数据特征可以相同也可以不同。其中，各样本数据的数据特征是稳定不变的。

在另一个实施例中，服务器可以通过一个或多个微服务接口接收终端发送过来的样本数据，确定所接收样本数据的总条数，然后对样本数据进行分批测量，获得测量样本数据的总耗时、分批数和各分批样本数据测量的平均耗时等，根据总耗时、分批数和各分批样本数据测量的平均耗时可以得到测试结果。

其中，并行的微服务接口数量越多，对应微服务系统的服务器也越多，那么，样本数据的批量值越小，每个微服务接口执行的数据量越少，数据处理效率越高。微服务系统是一个独立运行、自带数据存储管理，对外提供接口的自治系统，可以解决单体应用的压力问题，提高数据处理效率。分批数可以是对数据进行分批的批数。批量值可以是数据分批后，关于各批数据的数据条数。例如总共有500条数据，然后对这500条数据进行分批，假设将500条数据分成5批，则每批有100条数据，那么，分批数即为5，批量值为100。

在一个实施例中，在按照数据批量处理方式进行分批测量时，服务器可以进行至少一次测量。具体地，服务器在每次进行测量时，可以获取不同样本数据进行分批测量，也可以对相同样本数据进行至少一次分批测量。其中，测量结果受运行环境和微服务接口性能等因素影响。分批测量的准确度与分批测量的执行次数成正比关系，分批测量的执行次数越多，测量结果误差越小，测量结果越准确。

在一个实施例中，运行性能指标可以是估算效率。获取各执行次数下样本数据的总条数和总耗时，根据总条数和总耗时计算该执行次数时样本数据分批测量的运行性能指标，将该批样本数据分批测量的运行性能指标作为该执行次数下分批测量的测量结果。

例如，当执行次数为n时，将总条数除以总耗时得到估算效率，将估算效率作为第n次执行分批测量时的测量结果。其中，估算效率越高，说明单条数据平均运行时间越短，该批数据分批测量的运行性能越好。

在一个实施例中，运行性能指标可以是提升率。获取各执行次数下样本数据的分批数和各分批测量的平均耗时，根据分批数和平均耗时计算该批样本数据的运行性能指标，将该执行次数下样本数据分批测量的运行性能指标作为测量结果。

例如，当执行次数为n时，将平均耗时与批量值的乘积除以总耗时，得到第n次执行分批测量时的提升率。其中，提升率越高，说明该执行次数下分批测量的总耗时越短，该批数据分批测量的运行性能越好。

S204，判断测量结果是否符合预设评估条件。

其中，测量结果可以是估算效率、或提升率。估算效率的计算方式为：估算效率＝总条数/总耗时。提升率的计算方式为：提升率＝(平均耗时×分批数)/总耗时。

在一个实施例中，当测量结果属于预设评估条件的范围，则测量结果符合预设评估条件；当测量结果超出预设评估条件的范围，则测量结果不符合预设评估条件。当各执行次数的测量结果呈现下降的趋势，说明数据分批测量的运行性能正在下降，则测量结果不符合预设评估条件；当各执行次数的测量结果呈现平稳的趋势、且测量结果未达到临界值时，说明数据分批测量的运行性能有提升空间，则测量结果不符合预设评估条件。当各执行次数的测量结果呈现上升趋势，说明数据分批测量的运行性能正在提升，则测量结果符合预设评估条件。

S206，当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；

在一个实施例中，服务器可以按照对应的改进策略对批量值进行调整。其中，改进策略可以包括调整批量值的步进值和步进率。

在一个实施例中，当改进策略为调整批量值的步进值时，服务器获取用于调整批量值的步进值，步进值为任一自然数，如10、20、30、100、200，步进值大小与每批样本数据的数据量的大小成正比关系。每批样本数据的数据量越大，步进值越大。根据步进值调整批量值，例如，步进值为10，当前批量值为100，根据步进值调整批量值为90或100。服务器将调整批量值后的数据批量处理方式作为目标数据批量处理方式。

在一个实施例中，当改进策略为调整批量值的步进率时，服务器获取用于调整批量值的步进率，步进率为任一百分数，如10％、20％，步进率大小与数据批量处理方式中的批量值大小有关，根据测量结果确定批量值的步进率增减方向。例如，步进率为10％，数据批量处理方式中的批量值为1000，根据步进率调整批量值为900或1100。服务器将调整批量值后的数据批量处理方式作为目标数据批量处理方式。

S208，当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。

其中，分批测量所得的测量结果符合所述预设评估条件，可以表示目标数据批量处理方式是用户期望的数据批量处理方式。

在一个实施例中，服务器将调整批量值后的数据批量处理方式作为目标数据批量处理方式，按照目标数据批量处理方式样本数据重新进行分批测量，即按照调整后的批量值对样本数据进行分批，然后按照分批后的样本数据进行分批测量，分批测量的方式可参考S202-S206。

在一个实施例中，当按照目标数据批量处理方式对样本数据进行分批测量所得的测量结果显示数据运行性能提升时，即符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。

在一个实施例中，当按照目标数据批量处理方式对样本数据进行分批测量所得的测量结果显示数据运行性能指标没有得到提升，则测量结果不符合预设评估条件，则表示目标数据批量处理方式不是期望的数据批量处理方式，可以继续对目标数据批量处理方式中的批量值进行调整，批量值调整方法参照上述实施例中批量值调整的步骤。

在一个实施例中，服务器将每执行次数时所对应的场景标识、方案标识、采用的改进策略、目标数据批量处理方式调整是否生效等信息，记录于方案策略记录表；服务器参考方案策略记录表对下次样本数据进行分批测量。

在一个实施例中，当批量值的调整次数达到预设阈值、且调整批量值所得新的目标数据批量处理方式不符合预设处理条件时，服务器触发人工调整批量值的操作。在触发人工调整批量值的操作之后，服务器接收响应于该操作的反馈信息，该反馈信息包括调整后的批量值；该调整后的批量值是根据方案策略记录表中记录的数据进行分析、调整批量值，或者调查微服务接口性能问题、环境因素等进行调整所得。

在一个实施例中，获取根据数据批量处理方式测量样本数据所得的测量结果，并获取根据目标数据批量处理方式测量样本数据所得的测量结果，依据两次测量所得的测量结果计算改进率，判断计算所得的改进率是否大于或等于预设改进率，若是，表示目标数据批量处理方式符合用户期望，则将目标数据批量处理方式作为最终的数据批量处理方式。其中，令根据数据批量处理方式测量样本数据所得的测量结果为y₁，根据目标数据批量处理方式测量样本数据所得的测量结果为y₂，则改进率为l＝(y₂-y₁)/y₁。

上述数据批量值调整方法，按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。根据数据库数据量抽取样本数据进行测量，只依靠测量结果作为运行性能指标自动完成数据批量值调整，就能确定最佳批量值，实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。

如图3所示，在一个实施例中，S202具体包括以下内容：

S302，获取样本数据。

S304，按照数据批量处理方式对样本数据进行分批，得到多批样本数据。

在一个实施例中，服务器可以按照数据特征对样本数据进行分批，相同批次的样本数据的数据特征相同，不同批次的样本数据的数据特征可以相同也可以不同。其中，各样本数据的数据特征是稳定不变的。

S306，将多批样本数据通过多个线程进行测量，获得测量结果。

在一个实施例中，服务器将多批样本数据分别输入多个线程进行测量，获得测量结果。当数据量较大时，将样本数据输入一个或多个独立线程，每个线程并行执行数据处理，等待所有线程执行完成后，合并每个线程的执行结果，生成测量结果，提高了数据分批测量的效率和稳定性。

上述实施例中，通过将多批样本数据通过多个线程进行测量，获得测量结果。可充分利用并行计算框架对数据进行处理，减少了测量时间，提高了数据分批测量的效率。

如图4所示，在一个实施例中，S202具体包括以下内容：

S402，按照数据批量处理方式对样本数据进行分批测量，得到总耗时。

在一个实施例中，服务器在每次进行测量时，可以获取不同样本数据进行分批测量，也可以对相同样本数据进行至少一次分批测量。其中，分批测量的执行次数越多，测量结果误差越小，测量结果越准确。

S404，确定样本数据的总条数。

S406，根据总条数和总耗时计算运行性能指标。

其中，运行性能指标可以包括估算效率。

S408，将运行性能指标确定为测量结果。

例如，当执行次数为1时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据A的总耗时为150秒，样本数据的总条数为500条，计算出估算效率为3.33；当执行次数为2时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据B的总耗时为170秒，样本数据的总条数为600条，计算出估算效率为3.52；当执行次数为3时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据C的总耗时为180秒，样本数据的总条数为500条，计算出估算效率为2.78。其中，估算效率越高，说明单条数据平均运行时间越短，该分批测量的运行性能越好。由此可见，第一次测量(即执行次数为1)时样本数据的运行性能最佳，第二次测量和第三次测量时运行性能次之。

上述实施例中，根据总条数和总耗时简单快速地计算出数据批量的运行性能指标，基于实际运行的时间效率指标来确定目标数据批量处理方式。不依赖于人为分析，无需分析生产环境中的各种变化和微服务接口里逻辑的优化。

如图5a所示，在另一个实施例中，S202具体包括以下内容：

S502，按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；

在一个实施例中，服务器在每次进行测量时，可以获取不同样本数据进行分批测量，也可以对相同样本数据进行至少一次分批测量。

S504，根据分批数和平均耗时计算运行性能指标；

其中，运行性能指标还可以包括提升率。

S506，将运行性能指标确定为测量结果。

例如，当执行次数为1时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据A的分批数为5批，各分批测量的样本数据的平均耗时为60秒，计算出提升率为2；当执行次数为2时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据B的分批数为6批，各分批测量的样本数据的平均耗时为55秒，计算出提升率为1.94；当执行次数为3时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据C的分批数为5批，各分批测量的样本数据的平均耗时为60秒，计算出提升率为1.67。其中，提升率越高，说明该次分批测量的总耗时降低越多，该次数据分批测量的运行性能越好。由此可见，第一次测量(即执行次数为1)时样本数据的运行性能最佳，第二次测量和第三次测量时运行性能次之。

上述实施例中，根据分批数和平均耗时简单快速地计算出数据批量的运行性能指标，基于实际运行的时间效率指标来确定目标数据批量处理方式。不依赖于人为分析，无需分析生产环境中的各种变化和微服务接口里逻辑的优化。

作为一个示例，由于传统的数据分批处理中批量值调整比较耗费时间，需要不断根据数据环境变化和微服务接口的逻辑优化进行批量值调整，才能确定最佳批量值，导致数据分批执行效率较低。就上述问题，本发明实施例提出了一种数据批量值调整方法，如图6，该方法主要包括以下内容：

(一)制定预设评估条件。

预先制定数据批量处理方式的评估条件，该评估条件可以是基于运行时间指标，是调整数据批量处理方式必要的评估标准，通过基于运行时间指标对数据批量处理方式进行判断，以确定数据批量处理方式是否达到用户期望。其中，根据实际数据处理情况，评估条件可以包括但不限于以下两种基于运行时间指标：相同输入数量对比法和估算对比法。其中，相同输入数量对比法是：对于数据批量处理方式与目标数据批量处理方式，其输入样本数据的条数相同，采用上述两种方式测量所得的总耗时和/或平均耗时进行对比。估算对比法是：对于数据批量处理方式与目标数据批量处理方式，输入样本数据的条数可以不同，采用上述两种方式测量所得单条数据平均耗时进行对比。对于相同输入数量对比法和估算对比法，具体如下所述：

(1)相同输入数量对比法

对于数据批量处理方式与目标数据批量处理方式，均采用相同总条数的样本数据进行测量所得的总耗时和/或平均耗时进行比对。当单线顺序执行时，仅对比总耗时，总耗时越小，性能越好，数据批量处理方式越有效。当采用并行计算框架时，不仅需要对比总耗时，还需对比平均耗时，总耗时和平均耗时均最小的数据批量处理方式更有效。具体方法如表1所示。

表1.相同输入数量对比法

(2)估算对比法，只估算样本数据的平均耗时，具体方法如表2所示。

表2.估算对比法

估算效率＝总条数/总耗时

当执行次数为n时，将总条数除以总耗时得到估算效率，将估算效率作为第n次执行分批测量时的测量结果。其中，估算效率越高，说明单条数据平均运行时间越短，该次测量的运行性能越好。

提升率＝(平均耗时×分批数)/总耗时

当执行次数为n时，将平均耗时与批量值的乘积除以总耗时，得到第n次执行分批测量时的提升率。其中，提升率越高，说明该执行次数下分批测量的总耗时越短，该次测量的运行性能越好。

(二)测量并完整记录数据批量处理方式下实际运行结果。

(1)从数据库中抽取符合数据特征的样本数据，按照数据特征对样本数据进行分批，相同批次的样本数据的数据特征是相同的，且数据特征是稳定的。具体如表3所示。

表3.数据批量处理方式的数据特征说明

(2)实际测量结果如表4所示，在数据批量处理方式下，执行第一次分批测量的样本数据的场景ID为1001，场景名称为库存登账，方案ID为FA1001，是否为现方案为是，是否并行为是，执行次数为1，场景条件1为组织A，测量总条数为500，输入批量值为100，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据A的分批数为5批，各分批样本数据测量的平均耗时为60秒总耗时为150秒。同理可得数据批量处理方式下执行次数为2、3的样本数据分批测量的结果。

其中，表4中的执行次数指的是分批测量的执行次数。

表4.测量记录表示例

(3)测量流程如图5b所示，将多批样本数据分别输入对应的多个线程进行测量，经过测量获得各分批测量的样本数据的平均耗时，将各分批测量的样本数据的平均耗时汇总得到总耗时。

(三)评估数据批量处理方式下实际运行结果，若需要调整数据批量处理方式，则尝试生成目标数据批量处理方式。

对数据批量处理方式的评估有两种评估方法，一种是被动调整方法，数据批量处理方式下各指标存在下降的趋势，则尝试生成目标数据批量处理方式。另一种是主动调整方法，数据批量处理方式下各指标运行平稳，则尝试主动调整数据批量处理方式，观察是否可以改进。

根据表2的相同输入数量对比法对数据批量处理方式下实际运行结果进行评估。根据计算估算效率的方法，当执行次数为1时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据A的总耗时为150秒，样本数据的总条数为500条，计算出估算效率为3.33；当执行次数为2时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据B的总耗时为170秒，样本数据的总条数为600条，计算出估算效率为3.52；当执行次数为3时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据C的总耗时为180秒，样本数据的总条数为500条，计算出估算效率为2.78。其中，估算效率越高，说明单条数据平均运行时间越短，该分批测量的运行性能越好。由此可见，第一次测量(即执行次数为1)时样本数据的运行性能最佳，第二次测量和第三次测量时运行性能次之。因此，需要调整调整数据批量处理方式。

或者，按照计算提升率的方法，当执行次数为1时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据A的分批数为5批，各分批样本数据测量的平均耗时为60秒，计算出提升率为2；当执行次数为2时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据B的分批数为6批，各分批样本数据测量的平均耗时为55秒，计算出提升率为1.94；当执行次数为3时，按照数据批量处理方式对样本数据进行分批测量，得到测量样本数据C的分批数为5批，各分批样本数据测量的平均耗时为60秒，计算出提升率为1.67。其中，提升率越高，说明该次测量的总耗时降低越多，该次测量的运行性能越好。由此可见，第一次测量(即执行次数为1)时样本数据的运行性能最佳，第二次测量和第三次测量时运行性能次之。因此，需要调整数据批量处理方式。

目标数据批量处理方式中的批量值调整方法有两种，一种是根据步进值调整批量值，步进值是根据数据批量处理方式中尝试传递给微服务接口的数据量设置的，步进值为任一自然数，如10、20、30、100、200，根据步进值固定分批量每次调整的大小。例如，步进值为10，当前批量值为100，根据步进值调整批量值为90或100。

另一种是根据步进率调整批量值，步进率是根据数据批量处理方式中的批量值设置的。步进率是任一百分数，如10％、20％。例如，步进率为10％，数据批量处理方式中的批量值为1000，根据步进率调整批量值为900或1100。

在表4中，步进值为10(或步进率20％)，根据步进值调整目标数据批量处理方式中的批量值为120。

(四)测量并完整记录目标数据批量处理方式下实际运行结果。

如表4(A)所示，根据目标数据批量处理方式对样本数据进行分批测量。例如，当执行次数为1时，在目标数据批量处理方式下，执行分批测量测量总条数为500，分批数为5批，批量值为120，测量得到平均每批耗时为55秒，总耗时为130秒，得到估算效率为3.84，以及提升率为2.11的测量结果，然后将测量结果与预设评估条件进行比较。同理可得执行次数为2和3时样本数据分批测量的测量结果。

(五)持续不断评估目标数据批量处理方式，若目标数据批量处理方式可行，则目标数据批量处理方式生效，否则废弃。

对目标数据批量处理方式需要多次评估，即采用目标数据批量处理方式对样本数据进行多次测量，然后将测量结果与预设评估条件进行比较。其中，评估次数可以是k次，k为大于或等于3的正整数，则将因环境因素引发的误差降至最低，评估结果可以认为更精确的反应了真正的结果。

当各项运行性能指标(即测量结果)的改进率大于一定阈值，则认定目标数据批量处理方式生效。其中，评估次数与运行性能指标可以根据不同的微服务接口场景进行设置。

如表4(A)所示，对目标数据批量处理方式进行了三次评估，根据表2的两种预设评估条件计算得到目标数据批量处理方式下每一次分批测量的估算效率分别为3.84、4.61、3.57，提升率分别为2.11、2.01、1.78。

目标数据批量处理方式下三次分批测量得到的估算效率的改进率分别为0.15、0.31、0.28，提升率的改进率分别为0.05、0.04、0.06，该估算效率和提升率均分别高于根据数据批量处理方式对样本数据进行分批测量得到的估算效率和提升率。当测量结果为估算效率时，改进率大于第一预设改进率(如0.1)则表示目标数据批量处理方式符合用户期望，则认定目标数据批量处理方式调整生效。当测量结果为提升率时，改进率大于第二预设改进率(如0.01)则表示目标数据批量处理方式符合用户期望，则认定目标数据批量处理方式调整生效。其中，改进率为l＝(y₂-y₁)/y₁，y₁为根据数据批量处理方式测量样本数据所得的测量结果，y₂为根据目标数据批量处理方式测量样本数据所得的测量结果。

如表5所示，记录每次批量值调整的场景标识、方案标识、采用的改进策略、目标数据批量处理方式调整是否生效等信息，作为方案策略记录表；参考方案策略记录表对下次样本数据进行分批测量。

表5.方案策略记录表示例

场景ID	方案ID	改进策略	增减	生效
					1001	FA001	步进值	增10	是
1003	FA009	步进率	增20％	是

(六)持续不断地监控和评估目标数据批量处理方式，重复(二)至(五)的步骤。

若目标数据批量处理方式调整无效，则持续不断地监控和评估目标数据批量处理方式。当批量值的调整次数达到预设阈值、且调整批量值所得新的目标数据批量处理方式不符合预设处理条件时，触发人工调整批量值的操作。人工根据方案策略记录表中记录的数据进行分析、调整批量值，或者调查微服务接口性能问题、环境因素等，并及时作出调整。

上述实施例中，目标数据批量处理方式调整中，完整地记录了调用微服务接口的各分批方案运行的性能指标数据，为实际分析问题提供参考，可以不考虑实际的环境或者微服务接口优化逻辑，实现了完全依赖客观时间指标记录就可完成动态调整分批数量，自动完成批量值调整，提升了微服务接口运行效率。

图2-6为一个实施例中数据批量值调整方法的流程示意图。应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

一种数据批量值调整装置，该数据批量值调整装置具体包括：分批测量模块702、判断模块704、调整模块706、确定模块708，其中：

分批测量模块702，用于按照数据批量处理方式对样本数据进行分批测量，获得测量结果；

判断模块704，用于判断测量结果是否符合预设评估条件；

调整模块706，用于当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；

确定模块708，用于当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则

将目标数据批量处理方式作为最终的数据批量处理方式。

确定模块708，还用于获取根据数据批量处理方式测量样本数据所得的测量结果，并获取根据目标数据批量处理方式测量样本数据所得的测量结果；依据两种方式测量所得的测量结果计算改进率；判断计算所得的改进率是否大于或等于预设改进率；若是，则将目标数据批量处理方式作为最终的数据批量处理方式。

上述实施例中，按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。其中，当测量结果的改进率达到预设改进率时，即可认定目标数据批量处理方式生效。根据数据库数据量抽取样本数据进行测量，只依靠测量结果作为运行性能指标自动完成数据批量值调整，就能确定最佳批量值，实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。

在一个实施例中，如图8所示，该装置还包括：

获取模块802，用于获取样本数据。

分批模块804，用于按照数据批量处理方式对样本数据进行分批，得到多批样本数据。

测量模块806，用于将多批样本数据通过多个线程进行测量，获得测量结果。

计算模块808，用于按照数据批量处理方式对样本数据进行分批测量，得到总耗时；确定样本数据的总条数；根据总条数和总耗时计算运行性能指标；将运行性能指标确定为测量结果。

计算模块808，还用于按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；根据分批数和平均耗时计算运行性能指标；将运行性能指标确定为测量结果。上述实施例中，通过从数据库中抽取符合条件的样本数据，相同批次的样本数据的数据特征相同且稳定不变。服务器可以通过一个或多个微服务接口接收终端发送过来的样本数据，确定所接收样本数据的总条数，然后对样本数据进行分批测量，获得测量样本数据的总耗时、分批数和各分批样本数据测量的平均耗时等。根据总条数和总耗时计算该执行次数时样本数据分批测量的运行性能指标，将该批样本数据分批测量的运行性能指标作为该执行次数下分批测量的测量结果。其中，估算效率越高，说明单条数据平均运行时间越短，该批数据分批测量的运行性能越好。或者，根据分批数和平均耗时计算该批样本数据的运行性能指标，将该执行次数下样本数据分批测量的运行性能指标作为测量结果。其中，提升率越高，说明该批数据分批测量的总耗时降低越多，该批数据分批测量的运行性能越好。将提升率作为测量结果。无需考虑实际的环境或者微服务接口优化逻辑，完全依赖客观时间指标记录就可以得到数据测量结果和运行性能指标，提升了微服务接口运行效率。

在一个实施例中，如图8所示，该装置还包括：

批量值模块810，用于获取用于调整批量值的步进值或步进率；根据步进值或步进率，调整数据批量处理方式中的批量值。

分批测量模块702，还用于当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果不符合预设评估条件时，则获取用于调整批量值的步进值或步进率；

根据步进值或步进率，调整目标数据批量处理方式中的批量值，得到新的数据批量处理方式；

执行按照数据批量处理方式对样本数据进行分批测量，获得测量结果的步骤。

人工调整模块812，用于当批量值的调整次数达到预设阈值、且调整批量值所得新的数据批量处理方式不符合预设处理条件时，触发人工调整批量值的操作。

上述实施例中，获取用于调整批量值的步进值或步进率，根据步进值或步进率调整批量值，将调整批量值后的数据批量处理方式作为目标数据批量处理方式。按照目标数据批量处理方式样本数据再次进行分批测量。当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。根据数据库数据量抽取样本数据进行测量，只依靠测量结果作为运行性能指标自动完成数据批量值调整，就能确定最佳批量值，实现动态调整数据批量处理方式中的数据分批数量，提升数据分批执行效率。当批量值的调整次数达到预设阈值、且调整批量值所得新的目标数据批量处理方式不符合预设处理条件时，触发人工调整批量值的操作。进一步保证了数据批量值调整的准确性和时效性，提升了数据分批执行效率。

图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图9所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据批量值调整方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据批量值调整方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的数据批量值调整装置可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据批量值调整装置的各个程序模块，比如，图7所示的分批测量模块702、判断模块704、调整模块706、确定模块708。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的数据批量值调整方法中的步骤。

例如，图9所示的计算机设备可以通过如图7所示的数据批量值调整装置中的分批测量模块702执行S202。计算机设备可通过判断模块704执行S204。计算机设备可通过调整模块706执行S206。计算机设备可通过确定模块708执行S208。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取样本数据；按照数据批量处理方式对样本数据进行分批，得到多批样本数据；将多批样本数据通过多个线程进行测量，获得测量结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：按照数据批量处理方式对样本数据进行分批测量，得到总耗时；确定样本数据的总条数；根据总条数和总耗时计算运行性能指标；将运行性能指标确定为测量结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；根据分批数和平均耗时计算运行性能指标；将运行性能指标确定为测量结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取用于调整批量值的步进值或步进率；根据步进值或步进率，调整数据批量处理方式中的批量值。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果不符合预设评估条件时，则获取用于调整批量值的步进值或步进率；根据步进值或步进率，调整目标数据批量处理方式中的批量值，得到新的数据批量处理方式；执行按照数据批量处理方式对样本数据进行分批测量，获得测量结果的步骤。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取根据数据批量处理方式测量样本数据所得的测量结果，并获取根据目标数据批量处理方式测量样本数据所得的测量结果；依据两种方式测量所得的测量结果计算改进率；判断计算所得的改进率是否大于或等于预设改进率；若是，则将目标数据批量处理方式作为最终的数据批量处理方式。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：当批量值的调整次数达到预设阈值、且调整批量值所得新的数据批量处理方式不符合预设处理条件时，触发人工调整批量值的操作。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：按照数据批量处理方式对样本数据进行分批测量，获得测量结果；判断测量结果是否符合预设评估条件；当测量结果不符合预设评估条件时，则对数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果符合预设评估条件时，则将目标数据批量处理方式作为最终的数据批量处理方式。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取样本数据；按照数据批量处理方式对样本数据进行分批，得到多批样本数据；将多批样本数据通过多个线程进行测量，获得测量结果。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：按照数据批量处理方式对样本数据进行分批测量，得到总耗时；确定样本数据的总条数；根据总条数和总耗时计算运行性能指标；将运行性能指标确定为测量结果。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；根据分批数和平均耗时计算运行性能指标；将运行性能指标确定为测量结果。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取用于调整批量值的步进值或步进率；根据步进值或步进率，调整数据批量处理方式中的批量值。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：当按照目标数据批量处理方式中的批量值对样本数据进行分批测量所得的测量结果不符合预设评估条件时，则获取用于调整批量值的步进值或步进率；根据步进值或步进率，调整目标数据批量处理方式中的批量值，得到新的数据批量处理方式；执行按照数据批量处理方式对样本数据进行分批测量，获得测量结果的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：获取根据数据批量处理方式测量样本数据所得的测量结果，并获取根据目标数据批量处理方式测量样本数据所得的测量结果；依据两种方式测量所得的测量结果计算改进率；判断计算所得的改进率是否大于或等于预设改进率；若是，则将目标数据批量处理方式作为最终的数据批量处理方式。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器还执行：当批量值的调整次数达到预设阈值、且调整批量值所得新的数据批量处理方式不符合预设处理条件时，触发人工调整批量值的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种数据批量值调整方法，包括：

按照数据批量处理方式对样本数据进行多次分批测量，分别得到每次分批测量的测量结果；所述测量结果包括估算效率和提升率中的至少一种；所述估算效率由所述样本数据的总条数除以总耗时得到；所述提升率根据所述样本数据的分批数和各分批测量的平均耗时计算得到；

判断所述测量结果是否符合预设评估条件；其中，是否符合预设评估条件的判断结果与各次分批测量的测量结果呈现的趋势相关；

当所述测量结果不符合预设评估条件时，则按照对应的改进策略对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；所述改进策略包括调整所述批量值的步进值和步进率；

当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。

2.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行多次分批测量，分别得到每次分批测量的测量结果，包括：

对于多次所述分批测量中的每次所述分批测量，均获取样本数据；

按照数据批量处理方式对所述样本数据进行分批，得到多批样本数据；

将所述多批样本数据通过多个线程进行测量，获得测量结果。

3.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行多次分批测量，分别得到每次分批测量的测量结果，包括：

对于多次所述分批测量中的每次所述分批测量，均按照数据批量处理方式对样本数据进行分批测量，得到总耗时；

确定所述样本数据的总条数；

根据所述总条数和所述总耗时计算运行性能指标；

将所述运行性能指标确定为测量结果。

4.根据权利要求1所述的方法，其特征在于，所述按照数据批量处理方式对样本数据进行多次分批测量，分别得到每次分批测量的测量结果，包括：

对于多次所述分批测量中的每次所述分批测量，均按照数据批量处理方式对样本数据进行分批测量，得到分批数和各分批测量的平均耗时；

根据所述分批数和所述平均耗时计算运行性能指标；

将所述运行性能指标确定为测量结果。

5.根据权利要求1所述的方法，其特征在于，所述按照对应的改进策略对所述数据批量处理方式中的批量值进行调整，包括：

获取用于调整批量值的步进值或步进率；

根据所述步进值或所述步进率，调整所述数据批量处理方式中的批量值。

6.根据权利要求1所述的方法，其特征在于，还包括：

当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果不符合所述预设评估条件时，则获取用于调整批量值的步进值或步进率；

根据所述步进值或所述步进率，调整所述目标数据批量处理方式中的批量值，得到新的数据批量处理方式；

执行所述按照数据批量处理方式对样本数据进行分批测量，获得测量结果的步骤。

7.根据权利要求6所述的方法，其特征在于，还包括：

当所述批量值的调整次数达到预设阈值、且调整所述批量值所得新的数据批量处理方式不符合预设处理条件时，触发人工调整所述批量值的操作。

8.根据权利要求1所述的方法，其特征在于，还包括：

获取根据所述数据批量处理方式测量样本数据所得的测量结果，并获取根据所述目标数据批量处理方式测量样本数据所得的测量结果；

依据两种方式测量所得的测量结果计算改进率；

判断计算所得的所述改进率是否大于或等于预设改进率；

若是，则将所述目标数据批量处理方式作为最终的数据批量处理方式。

9.一种数据批量值调整装置，其特征在于，所述装置包括：

分批测量模块，用于按照数据批量处理方式对样本数据进行多次分批测量，分别得到每次分批测量的测量结果；所述测量结果包括估算效率和提升率中的至少一种；所述估算效率由所述样本数据的总条数除以总耗时得到；所述提升率根据所述样本数据的分批数和各分批测量的平均耗时计算得到；

判断模块，用于判断所述测量结果是否符合预设评估条件；其中，是否符合预设评估条件的判断结果与各次分批测量的测量结果呈现的趋势相关；

调整模块，用于当所述测量结果不符合预设评估条件时，则按照对应的改进策略对所述数据批量处理方式中的批量值进行调整，得到目标数据批量处理方式；所述改进策略包括调整所述批量值的步进值和步进率；

确定模块，用于当按照所述目标数据批量处理方式中的批量值对所述样本数据进行分批测量所得的测量结果符合所述预设评估条件时，则将所述目标数据批量处理方式作为最终的数据批量处理方式。

10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

Images