CN113094572A - 一种业务数据处理方法、装置及设备 - Google Patents

Abstract

本说明书实施例涉及分布式数据处理技术领域，具体公开了一种业务数据处理方法、装置及设备，所述方法应用于分布式业务系统的管理节点，所述方法包括：接收业务终端发送的指定业务参数在提取指标下的数据提取请求；在基于提取指标确定数据提取请求不可直接下发至各物理节点执行的情况下，获取数据提取请求所对应的第一操作指令及第二操作指令；所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出提取指标对应的指标数据的操作指令；向各物理节点下发第一操作指令，并基于第二操作指令对各物理节点反馈的执行结果进行处理，得到数据提取请求的指标数据，并将结果反馈至业务终端。

Description

一种业务数据处理方法、装置及设备

技术领域

本说明书涉及分布式数据处理技术领域，特别地，涉及一种业务数据处理方法、装置及设备。

背景技术

在当今金融市场竞争日趋激烈的形势下，金融机构的业务数据处理方式越来越灵活，需要处理的数据量越来越大，需要考虑的复杂因素也越来越多。因此，如何更加快速准确地实现业务数据处理，对提高金融机构的业务竞争力是越来越重要。

目前，金融机构的业务数据通常采用分布式数据库进行存储。在分布式特性下，业务数据被分散地存储在各个物理节点，通常需使用可以下推的函数和语句将业务数据的处理逻辑推送至各个物理节点分别执行，以更加快速准确地完成业务数据处理。但目前尚存在部分业务数据的处理逻辑，是无法直接推送至各个物理节点分别执行的。对于该部分业务数据的处理逻辑，管理节点在处理请求后，需将各物理节点所涉及的数据集中到一个物理节点进行处理。但金融机构的业务数据量较大，当涉及的数据达到较高量级时，数据分布将会出现严重倾斜，使得该物理节点的性能变差，甚至还可能会导致该物理节点不可用，间接影响整个分布式系统中大量语句的正常执行，进而影响业务数据处理的稳定性。

发明内容

本说明书实施例的目的在于提供一种业务数据处理方法、装置及设备，可以进一步提高业务数据处理过程中分布式业务系统的整体稳定性。

本说明书提供一种业务数据处理方法、装置及设备是包括如下方式实现的：

一种业务数据处理方法，应用于分布式业务系统的管理节点，所述方法包括：接收业务终端发送的指定业务参数在提取指标下的数据提取请求；在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令；向各物理节点下发第一操作指令，并接收各物理节点反馈的执行结果；基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据；将所述指标数据反馈至所述业务终端。

本说明书所述方法提供的另一些实施例中，所述提取指标包括提取中位数或查询位于指定位置的数据值。

本说明书所述方法提供的另一些实施例中，向各物理节点下发第一操作指令，及基于所述第二操作指令对各物理节点反馈的执行结果进行处理，包括：向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令；基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值；以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令；基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量；在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

本说明书所述方法提供的另一些实施例中，所述记录量条件包括所述第一业务记录总量等于参考值、或小于所述基准值的第一业务记录总量与大于所述基准值的第一业务记录总量之差等于1且所述最大值与最小值的差值小于指定精度值。

本说明书所述方法提供的另一些实施例中，在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，所述方法还包括：利用所述基准值更新所述最大值或最小值，以更新后的最小值及最大值的平均值作为更新后的基准值；向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述更新后的基准值的第一节点业务记录量的指令；基于各物理节点反馈的第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述更新后的基准值的第一业务记录总量；在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，重复上述更新步骤，直至所述第一业务记录总量满足所述提取指标所对应的记录量条件；基于最后一步更新后的基准值确定所述指定业务参数在所述提取指标下的指标数据。

本说明书所述方法提供的另一些实施例中，所述提取指标为提取中位数，所述参考值采用下述方式确定：向各物理节点下发提取所述指定业务参数在相应物理节点下的全部业务记录所对应的业务记录量的指令，并将提取的业务记录量作为第二节点业务记录量；基于各物理节点所反馈的所述第二节点业务记录量，计算出所述指定业务参数在分布式业务系统下的第二业务记录总量；计算所述第二业务记录总量的二分之一，并将计算结果舍弃小数位后所得的整数，作为所述提取指标所对应的参考值。

另一方面，本说明书实施例还提供一种业务数据处理装置，应用于分布式业务系统的管理节点，所述装置包括：请求接收模块，用于接收业务终端发送的指定业务参数在提取指标下的数据提取请求；指令获取模块，用于在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令；指令下发模块，用于向各物理节点下发第一操作指令；结果接收模块，用于接收各物理节点反馈的执行结果；指令执行模块，用于基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据；结果反馈模块，用于将所述指标数据反馈至所述业务终端。

本说明书所述装置提供的另一些实施例中，所述提取指标包括提取中位数或查询位于指定位置的数据值。

本说明书所述装置提供的另一些实施例中，所述指令下发模块，还用于向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令；所述指令执行模块，还用于基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值；所述指令下发模块，还用于以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令；所述指令执行模块，还用于基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量；所述指令执行模块，还用于在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

另一方面，本说明书实施例还提供一种业务数据处理设备，所述设备包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括上述任意一个或者多个实施例所述方法的步骤。

本说明书一个或多个实施例提供的业务数据处理方法、装置及设备，管理节点在接收到数据提取请求后，可以先判断该数据提取请求能否由物理节点直接执行，如果不能直接执行，则可以基于预先配置的处理方式进行处理。该处理方式至少可以包括可执行下发至物理节点执行的操作指令、及基于物理节点的执行结果进一步处理的操作指令。然后，可以基于相应的操作指令执行相关处理。基于该处理方式可以实现相应数据处理请求的分布式处理，避免因数据搬迁带来的性能问题和不稳定因素，保证了处理过程中分布式系统的稳定运行。同时，还可以实现数据提取请求的快速准确处理。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本说明书提供的一种业务数据处理方法实施例的流程示意图；

图2为本说明书提供的一种业务数据处理装置的模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。

本说明书实施例提供的一个场景示例中，业务数据处理方法可以应用于分布式业务系统，所述分布式业务系统包括管理节点及至少一个物理节点。所述分布式业务系统中的业务数据分散的存储在各物理节点中。所述管理节点可以对分布式业务系统接收到处理请求进行分析处理；以及还可以向各物理节点下发指令，以使各物理节点执行相应指令所对应的处理，并可以接收各物理节点反馈的处理结果，基于该处理结果进一步执行其他处理。所述分布式业务系统的布设架构可以根据需要配置，这里不做限定。

例如，业务人员需要提取某时间区间内的存款金额按从小到大的顺序排序在第N位的数据。业务终端可以向管理节点发送指定业务参数在提取指标下的数据提取请求。该场景示例中，所述数据提取请求为提取某时间区间内的存款金额按从小到大的顺序排序在第N位的数据。相应的，所述指定业务参数为所述某时间区间内的存款金额，所述提取指标为按从小到大的顺序排序在第N位的数据。

管理节点可以向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令。所述节点最大值、节点最小值是指所述指定业务参数所对应的业务数据在某物理节点下的最大值、最小值。各物理节点在接收到管理节点的指令后，可以提取所述指定业务参数所对应的业务数据在该物理节点下的节点最大值、节点最小值，并将提取的节点最大值、节点最小值反馈至管理节点。

管理节点在收到各物理节点反馈的节点最大值、节点最小值后，可以比对各物理节点所反馈的节点最大值、节点最小值，以确定所述指定业务参数在分布式业务系统下的业务数据的最大值、最小值。

管理节点可以以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于所述基准值的第一节点业务记录量的指令。所述第一节点业务记录量可以是指所述指定业务参数在某物理节点下的业务数据小于所述基准值的业务记录数量。物理节点接收到提取所述指定业务参数的业务数据小于所述基准值的第一节点业务记录量的指令后，可以提取指定业务参数的业务数据小于所述基准值的业务记录数量，作为第一节点业务记录量，反馈至管理节点。

管理节点可以基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于所述基准值的第一业务记录总量。在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，管理节点可以基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。所述记录量条件可以根据需要预先配置。如可以根据所针对的提取指标的不同，设置不同的记录量条件。

例如，所述记录量条件可以为所述第一业务记录总量等于N。相应的，若所述第一业务记录总量小于N，此情况可以说明基准值相对于从小到大排序在N位的数据值偏小，则可以将所述基准值作为所述指定业务参数在分布式业务系统下的最小值，保持所述指定业务参数在分布式业务系统下的最大值不变，得到更新后的最小值、最大值。然后，以所述更新后的最小值及最大值的平均值作为更新后的基准值。

管理节点可以向各物理节点下发提取所述指定业务参数的业务数据小于所述更新后的基准值的第一节点业务记录量的指令。各物理节点可以将提取的第一节点业务记录量反馈给管理节点。管理节点可以计算各物理节点反馈的第一节点业务记录量的加和，得到更新后的基准值所对应的第一业务记录总量。然后，再判断该第一业务记录总量是否等于N。如果仍小于N则重复上述步骤。如果大于N，则可以说明基准值相对于从小到大排序在N位的数据值偏大，可以将所述基准值作为所述指定业务参数在分布式业务系统下的最大值，保持上一步骤更新后的最小值不变，得到本步骤更新后的最小值、最大值。

以本步骤更新后的最小值及最大值的平均值作为本步骤更新后的基准值。管理节点可以向各物理节点下发提取所述指定业务参数的业务数据小于本步骤更新后的基准值的第一节点业务记录量的指令。相应的，管理节点也可以得到本步骤更新后的基准值所对应的第一业务记录总量。再判断该第一业务记录总量是否等于N。如果不等于N，则继续重复上述迭代步骤，直至输出结果等于N。

在输出结果满足提取指标所对应的记录量条件的情况下，即在所述第一业务记录总量等于N的情况下，则说明从小到大排在第N位的数据接近所述基准值。管理节点可以以所述基准值为基础进一步处理，以更加快速的确定从小到大排在第N位的数据。

如可以分析所述指定业务参数的数据分布特征，可以以基准值为基础设定一个较小的业务数据取值区间，且该业务数据取值区间的上限为该基准值。管理节点可以向各物理节点下发提取该业务数据取值区间内的数据的指令。管理节点可以接收各物理节点反馈的数据，形成数据集。该数据集包括的数据量将非常小，可以将该数据集中的各数据按从大到小的顺序排序，将排序最靠前的一个数据作为从小到大排在第N位的数据。从而快速准确的确定出从小到大排在第N位的数据。

当然，上述提取在基于基准值提取排在第N位的数据的方式仅为优选举例说明，本领域技术人员根据需要还可以选择其他的处理方式。例如，所述记录量条件可以为所述第一业务记录总量属于一个取值区间，取值区间的上限和下限分别为N+n、N-n，其中，n为比较小的正整数，如1、2、3等。通过设置取值区间的方式，可以更加快速的锁定业务数据提取范围，降低迭代次数。相应的，可以将提取的数据集中从前到后的顺序排序在第n位的数据，作为在整个业务系统中从小到大排在第N位的数据。

基于上述场景示例，本说明书实施例中提供一种业务数据处理方法，所述方法应用于所述分布式业务系统的管理节点。如图1所示，所述方法可以包括如下步骤。

S20：接收业务终端发送的指定业务参数在提取指标下的数据提取请求。

所述业务终端可以是指有业务需求的终端设备。所述终端设备如可以包括电脑、智能业务柜台。业务人员如可以根据需要在业务终端中发起数据提取请求。业务终端可以将该数据提取请求发送至分布式业务系统的管理节点；或者，也可以经过其他中间服务器，将所述数据提取请求发送至分布式业务系统的管理节点。

所述指定业务参数如可以包括存款金额、利率等需要进行数据统计处理的业务参数。指定业务参数的类型可以根据实际需要配置，这里不做限定。所述提取指标如可以为提取中位数、查询位于指定位置的数据值等。如查询从小到大排在第N位的数据值或查询从大到小排在第N位的数据值等。

例如，为了更好地进行银行的存款利率设定，业务人员需要分析某时间区间内各用户的存款金额的中位数，以分析用户贡献情况以及存款习惯等，建立相关存款定价模型。业务终端向可以分布式业务系统的管理节点发送数据提取请求，所述数据提取请求可以包提取某时间区间内的存款金额的中位数。相应的，所述指定业务参数为所述某时间区间内的存款金额，所述提取指标为提取中位数。

S22：在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令。

管理节点在收到所述数据提取请求后，可以对所述数据提取请求进行分析，以确定该数据提取请求是否可以直接下发至各物理节点进行执行。例如，可以预先在管理节点配置各物理节点可直接执行的提取指标或者不可直接执行的提取指标。管理节点在收到所述数据提取请求后，可以基于预先配置的各物理节点可直接执行的提取指标或者不可直接执行的提取指标对所述数据提取请求所涉及的提取指标进行比对。

当然，还可以采用其他方式确定数据提取请求是否可直接下发至各物理节点，如分析所述数据提取请求所对应的执行函数，基于该执行函数确定是否可直接下发至各物理节点。

在确定数据提取请求不可直接下发至各物理节点后，管理节点可以进一步获取该数据提取请求所对应的处理方式。可以预先在管理节点中配置针对不同提取指标的处理方式，以便于管理节点在接收到数据提取请求后，准确快速的之前数据提取操作。所述处理方式可以包括第一操作指令及第二操作指令。所述第一操作指令可以是指可直接下发至各物理节点执行的操作指令。第二操作指令可以是指管理节点基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令。

如上述场景示例所示，所述第一操作指令如可以包括提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令。所述第一操作指令还可以包括提取所述指定业务参数的业务数据小于所述基准值的第一节点业务记录量的指令。当然，根据需要所述第一操作指令还可以包括其他形式。

所述第二操作指令可以包括比对各物理节点所反馈的节点最大值、节点最小值，以确定所述指定业务参数在分布式业务系统下的业务数据的最大值、最小值。所述第二操作指令还可以包括基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于所述基准值的第一业务记录总量。当然，根据需要所述第二操作指令还可以包括其他形式。

如上述场景示例所示，各第一操作指令、第二操作指令可能存在一定的执行顺序及参数输出值之间的引用关系。相应的，管理节点还可以预先配置提取指标所对应的各第一操作指令、第二操作指令的执行顺序及参数输出值之间的引用关系等。

管理节点还可以预先配置常用的第一操作指令及第二操作指令，并配置不同的指令标识。然后，可以将不同提取指标所需的操作指令的指令标识按序存储，并与该提取指标建立关联。管理节点在接收到数据提取请求后，可以基于该数据提取请求所包含的提取指标获取其所对应的指令标识序列，然后，基于该指令标识序列依次调取相应的第一操作指令、第二操作指令执行相应的操作，得到最终的执行结果。

通过将不同提取指标的处理方式分解为可直接下发至物理节点执行的操作指令、及基于物理节点的执行结果进一步处理以确定提取指标所对应的指标数据的操作指令，可以有效实现不可由物理节点直接执行的数据处理请求的分布式处理，避免因数据搬迁带来的性能问题和不稳定因素，保证了处理过程中分布式系统的稳定运行。同时，也可以实现数据提取请求的快速准确处理。

S24：向各物理节点下发第一操作指令，并接收各物理节点反馈的执行结果。

在确定该数据处理请求所对应的操作指令及执行顺序后，管理节点可以向各物理节点下发第一操作指令。各物理节点在接收到管理节点下发的第一操作指令后，可以基于该第一操作指令执行相应的操作，如提取所述指定业务参数所对应的业务数据在该物理节点下的节点最大值、节点最小值等。各物理节点在执行完成后，可以将执行结果反馈至管理节点。

S26：基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据。

管理节点可以接收各物理节点反馈的执行结果，并基于所述第二操作指令对各物理节点反馈的执行结果进行处理。如基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值等。

在所述数据提取请求包括两个以上的第一操作指令或第二操作指令的情况下，可以基于执行顺序重复上述步骤S24及S26，直至执行完各操作指令，得到所述数据提取请求的指标数据。

S28：将所述指标数据反馈至所述业务终端。

管理节点可以将所述指标数据反馈至所述业务终端。业务终端在接收所述指标数据后，可以将指标数据展示给业务人员。如将提取的第N个数据的值在业务终端的显示器中进行展示。或者，由业务终端基于该指标数据进行其他分析处理。

如果统计多个业务参数在不同提取指标下的指标数据，也可以将提取结果与业务参数及提取指标关联后存储，再全部提取完成后，再将提取结果反馈给业务终端，业务终端可以向用户展示。

通过上述方式，管理节点在接收到数据提取请求后，先判断该数据提取请求能否由物理节点直接执行，如果不能直接执行，则可以基于预先配置的处理方式进行处理。该处理方式至少可以包括可执行下发至物理节点执行的操作指令、及基于物理节点的执行结果进一步处理的操作指令。基于该处理方式实现该数据处理请求的分布式处理，避免因数据搬迁带来的性能问题和不稳定因素，保证了处理过程中分布式系统的稳定运行。同时，还可以实现数据提取请求的快速准确处理。

上述实施例的方案还可以应用于多种提取指标的指标数据提取。一个场景示例中，本说明书还提供一种基于上述实施例的方案提取业务数据的中位数的方法。

管理节点可以先向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值及第二节点业务记录量的指令。所述第二节点业务记录量可以是指所述指定业务参数在所述物理节点下的全量业务记录所对应的业务记录数量。

管理节点可以基于各物理节点所反馈的第二节点业务记录量，计算出所述指定业务参数在分布式业务系统下的第二业务记录总量。并计算所述业务记录全量的二分之一，将计算结果舍弃小数位后所得到的整数，作为所述提取指标所对应的参考值。

管理节点还可以基于各物理节点反馈的节点最大值、节点最小值，对所述节点最大值、节点最小值进行排序，确定出所述指定业务参数在分布式业务系统下的最大值、最小值。并以所述最大值及最小值的平均值作为初始的基准值。

管理节点可以进一步向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令。并基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量。

若提取的是所述指定业务参数的业务数据小于所述基准值的情况，则如果第一业务记录总量小于所述参考值，则可以说明，该基准值相比中位数偏小，则可以利用该基准值更新所述最小值，保持最大值不变，得到更新后的最大值、最小值。然后，可以计算更新后的最大值及最小值的平均值，作为更新后的基准值。

如果第一业务记录总量大于所述参考值，则可以说明，该基准值相比中位数偏大，则可以利用该基准值更新所述最大值，保持最小值不变，得到更新后的最大值、最小值。然后，可以计算更新后的最大值及最小值的平均值，作为更新后的基准值。

管理节点可以向各物理节点下发提取所述指定业务参数的业务数据小于所述更新后的基准值的第一节点业务记录量的指令。基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于所述更新后的基准值的第一业务记录总量。

管理节点可以再判断所述更新后的基准值的第一业务记录总量与参考值是否相等。如果不相等，则重复上述更新步骤，直至更新后的基准值的第一业务记录总量与参考值相等。输出最后一次更新的基准值。

在上述迭代过程中，可能存在第二业务记录总量是奇数的情况，则可能会陷入死循环。还可以配置第一业务记录总量与参考值的差值等于1且最大值与最小值的差值小于指定精度值作为判断条件，如果满足该条件，则跳出上述迭代过程，输出最后一次更新的基准值。

当然，若提取的是所述指定业务参数的业务数据小于所述基准值的情况，则如果第一业务记录总量小于所述参考值，则可以说明，该基准值相比中位数偏大，则可以利用该基准值更新所述最大值，保持最小值不变。如果第一业务记录总量小于所述参考值，则可以说明，该基准值相比中位数偏小，则可以利用该基准值更新所述最小值，保持最大值不变。从而完成基准值的更新。其他实施方案参考上述实施方式，直至迭代结束，输出最后一次更新的基准值。

管理节点可以基于最后一次更新的基准值确定中位数。如可以将该基准值作为中位数。或者，也可以提取最后一次更新的最大值与最小值，然后，从各物理节点提取该最大值与最小值之间的数据，形成数据集。如果数据集中的数据为奇数，则将位于中间的数作为中位数，如果数据集中的数据为偶数，则将位于中间的两个数的平均作为中位数。

随着金融机构的存款利率上限的放开，存款利率的准确快速对金融机构的存款业务存在较大的影响。针对该问题，可以通过分析用户的存款贡献情况以及存款习惯等，建立相关存款定价模型，以更好确定针对不同存款金额下的存款利率。存款定价模型中非常重要的一个参数为用户贡献中位数。用户贡献值可以由业务系统通过其他计算模型计算后，同用户标识关联后，分散地存储在分布式数据库中。可以利用上述实施例提供的方案快速地的从分布式数据库中提取出用户贡献值的中位数。实践表明，将上述处理方式应用于MPPDB分布式数据库，获取近10亿客户贡献值的中位数，仅10分钟即运行完毕得到结果。而对比采用集中在一个物理节点运行的方式提取中位数，运行2小时后仍未输出结果。

基于上述场景示例，本说明书的一些实施例中，在所述提取指标为提取中位数或查询位于指定位置的数据值的情况下，所述方法还包括如下步骤。

S40：向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令。

S42：基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值。

S44：以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令。

S46：基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量。

S48：在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

其中，所述记录量条件可以包括所述第一业务记录总量等于参考值、或小于所述基准值的第一业务记录总量与大于所述基准值的第一业务记录总量之差等于1且所述最大值与最小值的差值小于指定精度值。

其中，所述提取指标为提取中位数的情况下，所述参考值采用下述方式确定：向各物理节点下发提取所述指定业务参数在相应物理节点下的全部业务记录所对应的业务记录量的指令，并将提取的业务记录量作为第二节点业务记录量；基于各物理节点所反馈的所述第二节点业务记录量，计算出所述指定业务参数在分布式业务系统下的第二业务记录总量；计算所述第二业务记录总量的二分之一，并将计算结果舍弃小数位后所得的整数，作为所述提取指标所对应的参考值。

S410：在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，执行如下迭代步骤S412至S418。

S412：利用所述基准值更新所述最大值或最小值，以更新后的最小值及最大值的平均值作为更新后的基准值。

S414：向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述更新后的基准值的第一节点业务记录量的指令。

S416：基于各物理节点反馈的第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述更新后的基准值的第一业务记录总量。

S418：在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，重复上述更新步骤S412至S416，直至所述第一业务记录总量满足所述提取指标所对应的记录量条件。

S420：基于最后一步更新后的基准值确定所述指定业务参数在所述提取指标下的指标数据。

通过上述方式，避免了分布式业务系统在提取中位数或查询指定位置的数据值的处理过程中，因数据搬迁带来的性能问题和不稳定因素，保证了处理过程中分布式系统的稳定运行。同时，还可以实现数据提取请求的快速准确处理。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于上述所述的业务数据处理方法，本说明书一个或多个实施例还提供一种业务数据处理装置。所述的装置可以包括使用了本说明书实施例所述方法的系统、软件(应用)、模块、组件、服务器等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。具体的，图2表示说明书提供的一种业务数据处理装置实施例的模块结构示意图，如图2所示，应用于分布式业务系统的管理节点，所述装置可以包括如下模块。

请求接收模块102，可以用于接收业务终端发送的指定业务参数在提取指标下的数据提取请求。

指令获取模块104，可以用于在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令。

指令下发模块106，可以用于向各物理节点下发第一操作指令。

结果接收模块108，可以用于接收各物理节点反馈的执行结果。

指令执行模块110，可以用于基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据。

结果反馈模块112，可以用于将所述指标数据反馈至所述业务终端。

另一些实施例中，所述提取指标可以包括提取中位数或查询位于指定位置的数据值。

所述指令下发模块106，还可以用于向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令。

所述指令执行模块110，还可以用于基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值。

所述指令下发模块106，还可以用于以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令。

所述指令执行模块110，还可以用于基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量。

所述指令执行模块110，还可以用于在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书还提供一种业务数据处理设备，设备可以包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括上述任意一个或者多个实施例所述方法的步骤。

所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

需要说明的，上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

需要说明的是，本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种业务数据处理方法，其特征在于，应用于分布式业务系统的管理节点，所述方法包括：

接收业务终端发送的指定业务参数在提取指标下的数据提取请求；

在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令；

向各物理节点下发第一操作指令，并接收各物理节点反馈的执行结果；

基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据；

将所述指标数据反馈至所述业务终端。

2.根据权利要求1所述的方法，其特征在于，所述提取指标包括提取中位数或查询位于指定位置的数据值。

3.根据权利要求2所述的方法，其特征在于，向各物理节点下发第一操作指令，及基于所述第二操作指令对各物理节点反馈的执行结果进行处理，包括：

向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令；

基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值；

以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令；

基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量；

在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

4.根据权利要求3所述的方法，其特征在于，所述记录量条件包括所述第一业务记录总量等于参考值、或小于所述基准值的第一业务记录总量与大于所述基准值的第一业务记录总量之差等于1且所述最大值与最小值的差值小于指定精度值。

5.根据权利要求4所述的方法，其特征在于，在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，所述方法还包括：

利用所述基准值更新所述最大值或最小值，以更新后的最小值及最大值的平均值作为更新后的基准值；

向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述更新后的基准值的第一节点业务记录量的指令；

基于各物理节点反馈的第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述更新后的基准值的第一业务记录总量；

在所述第一业务记录总量不满足所述提取指标所对应的记录量条件的情况下，重复上述更新步骤，直至所述第一业务记录总量满足所述提取指标所对应的记录量条件；

基于最后一步更新后的基准值确定所述指定业务参数在所述提取指标下的指标数据。

6.根据权利要求4所述的方法，其特征在于，所述提取指标为提取中位数，所述参考值采用下述方式确定：

向各物理节点下发提取所述指定业务参数在相应物理节点下的全部业务记录所对应的业务记录量的指令，并将提取的业务记录量作为第二节点业务记录量；

基于各物理节点所反馈的所述第二节点业务记录量，计算出所述指定业务参数在分布式业务系统下的第二业务记录总量；

计算所述第二业务记录总量的二分之一，并将计算结果舍弃小数位后所得的整数，作为所述提取指标所对应的参考值。

7.一种业务数据处理装置，其特征在于，应用于分布式业务系统的管理节点，所述装置包括：

请求接收模块，用于接收业务终端发送的指定业务参数在提取指标下的数据提取请求；

指令获取模块，用于在基于所述提取指标确定所述数据提取请求不可直接下发至各物理节点执行的情况下，获取所述数据提取请求所对应的第一操作指令及第二操作指令；其中，所述第一操作指令是指可直接下发至各物理节点执行的操作指令；第二操作指令是指基于各物理节点反馈的执行结果计算出所述提取指标对应的指标数据的操作指令；

指令下发模块，用于向各物理节点下发第一操作指令；

结果接收模块，用于接收各物理节点反馈的执行结果；

指令执行模块，用于基于所述第二操作指令对各物理节点反馈的执行结果进行处理，得到所述数据提取请求的指标数据；

结果反馈模块，用于将所述指标数据反馈至所述业务终端。

8.根据权利要求7所述的装置，其特征在于，所述提取指标包括提取中位数或查询位于指定位置的数据值。

9.根据权利要求8所述的装置，其特征在于，所述指令下发模块，还用于向各物理节点下发提取所述指定业务参数所对应的业务数据的节点最大值、节点最小值的指令；

所述指令执行模块，还用于基于各物理节点反馈的节点最大值、节点最小值，计算出所述指定业务参数在分布式业务系统下的最大值、最小值；

所述指令下发模块，还用于以所述最大值及最小值的平均值作为基准值，向各物理节点下发提取所述指定业务参数的业务数据小于/大于所述基准值的第一节点业务记录量的指令；

所述指令执行模块，还用于基于各物理节点反馈的所述第一节点业务记录量，计算出所述指定业务参数在分布式业务系统下小于/大于所述基准值的第一业务记录总量；

所述指令执行模块，还用于在所述第一业务记录总量满足所述提取指标所对应的记录量条件的情况下，基于所述基准值确定所述指定业务参数在所述提取指标下的指标数据。

10.一种业务数据处理设备，其特征在于，应用于分布式业务系统的管理节点，所述设备包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括上述权利要求1-6任一项所述方法的步骤。

Images