CN110333934A - 一种接口批量处理方法及装置 - Google Patents

Abstract

本发明公开了一种接口批量处理方法及装置，属于计算机技术领域。所述方法包括：自动识别需要带分页处理的参数，确定分页参数；获取系统性能数据、分页接口数据和代码配置数据；根据所述系统性能数据、所述分页接口数据和所述代码配置数据，自动计算出分页大小、并行情况数据以及优先级；进行批量函数处理和批量结果组装，获取批量处理结果。本发明解决了批量数据量过大下游拒绝处理的问题，并且提高了开发效率、处理性能和自适应性，降低处理耗时。

Description

一种接口批量处理方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种接口批量处理方法及装置。

背景技术

目前行业内接口批量调用主要是采用代码硬编码，上下游系统进行约定请求上限，首先硬编码的限制使得无法做到自适应的动态调整。另外，在一些需要批量处理的业务场景中，比如批量的数据查询处理，上下游系统的处理能力不同，在下游系统支持的一次批量的数量有限的情况下，上游系统需要对批量数据进行批次拆分，转为多批次调用下游系统功能，这类操作分散在各个功能模块的处理逻辑中，重复功能代码多、代码可读性差、后续维护成本高，造成开发不便而且容易出错，降低了开发效率。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种接口批量处理方法及装置，解决了批量数据量过大下游拒绝处理的问题，并且提高了开发效率、处理性能和自适应性，降低处理耗时。所述技术方案如下：

一方面，提供了一种接口批量处理方法，所述方法包括：

自动识别需要带分页处理的参数，确定分页参数；

获取系统性能数据、分页接口数据和代码配置数据；

根据所述系统性能数据、所述分页接口数据和所述代码配置数据，自动计算出分页大小、并行情况数据以及优先级；

进行批量函数处理和批量结果组装，获取批量处理结果。

进一步地，自动识别需要带分页处理的参数，确定分页参数，包括：

遍历包含复杂对象在内的参数列表；

遍历属性，查找目标类型数据；

判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

进一步地，获取系统性能数据、分页接口数据和代码配置数据，包括：

通过监控平台采集定期轮询获取所述系统性能数据，并确定所述系统性能数据的计算权重；

通过接口注册平台对所述分页接口数据进行配置，执行接口时动态获取；

通过注解对所述代码配置数据进行配置，将所述分页参数设置为静态值或从远程配置动态读取。

进一步地，所述系统性能数据包括CPU、内存、网络连接数、磁盘I/O，所述分页接口数据包括线程池、线程阈值、规模和业务规则。

进一步地，进行批量函数处理和批量结果组装，获取批量处理结果，包括：

根据所述分页参数、所述分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。

另一方面，提供了一种接口批量处理装置，所述装置包括：

分页参数识别模块，用于自动识别需要带分页处理的参数，确定分页参数；

获取模块，用于获取系统性能数据、分页接口数据和代码配置数据；

分页参数计算模块，用于根据所述系统性能数据、所述分页接口数据和所述代码配置数据，自动计算出分页大小、并行情况数据以及优先级；

批量处理结果获取模块，用于进行批量函数处理和批量结果组装，获取批量处理结果。

进一步地，所述分页参数识别模块用于：

遍历包含复杂对象在内的参数列表；

遍历属性，查找目标类型数据；

判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

进一步地，所述获取模块用于：

通过监控平台采集定期轮询获取所述系统性能数据，并确定所述系统性能数据的计算权重；

通过接口注册平台对所述分页接口数据进行配置，执行接口时动态获取；

通过注解对所述代码配置数据进行配置，将所述分页参数设置为静态值或从远程配置动态读取。

进一步地，所述系统性能数据包括CPU、内存、网络连接数、磁盘I/O，所述分页接口数据包括线程池、线程阈值、规模和业务规则。

进一步地，所述批量处理结果获取模块用于：

根据所述分页参数、所述分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。

本发明实施例提供的技术方案带来的有益效果是：

1)利用自定义参数识别算法和拆分调用算法，对于批量处理功能模块需要拆分批次处理的场景，自动识别批量参数对批量list拆分进行多批次的处理，解决了批量数据量过大下游拒绝处理的问题，并且开发人员可以无需关心相关限制，直接调用接口，由算法会自动检测参数，进行拆分调用并聚合返回结果，提高了开发效率和处理性能，降低处理耗时，；

2)支持动态配置一次处理的数据量，可根据下游系统的处理能力设定，在功能上线生产后，若发现由于一次处理掉额数据量不合理导致性能问题或者下游系统承受能力变低，可以修改配置数量，实时生效，便捷进行系统降级处理。

3)对于功能方法函数的出入参无任何要求，代码侵入性很低，根据不同的入参形式自动识别需要批量处理的list入参，同时不会改变原有函数的出参值，对空串或者null值等处理沿用原方法格式。

4)支持并行处理，大大降低了功能耗时，同时可配置参数自行调节适应各自系统处理能力。

5)有容错处理，工具处理过程中原有方法异常原样捕捉返回，若工具处理本身报错，自动按照原函数逻辑继续处理，不影响原函数的正常处理。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的接口批量处理方法流程图；

图2是本发明实施例提供的接口批量处理装置结构示意图；

图3是本发明实施例提供的一优选实施例方式的整体业务处理框架图；

图4是本发明实施例提供的一优选实施例方式的分页参数识别流程图；

图5是本发明实施例提供的一优选实施例方式的分页大小计算流程图；

图6是本发明实施例提供的一优选实施例方式的接口注册平台配置操作界面图；

图7是本发明实施例提供的一优选实施例方式的接口注册平台配置操作界面图；

图8是本发明实施例提供的一优选实施例方式的性能监控平台界面图；

图9是本发明实施例提供的一优选实施例方式的批量结果组装合并流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在本发明的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

本发明实施例提供的接口批量处理方法及装置，利用自定义参数识别算法和拆分调用算法，对于批量处理功能模块需要拆分批次处理的场景，自动识别批量参数对批量list拆分进行多批次的处理，解决了批量数据量过大下游拒绝处理的问题，并且提高了开发效率和处理性能，降低处理耗时，适用于如数据查询批量处理等涉及接口批量处理的多种应用场景。

下面结合具体实施例及附图，对本发明实施例提供的接口批量处理方法及装置作详细说明。

图1是本发明实施例提供的接口批量处理方法流程图，如图1所示，本发明实施例提供的接口批量处理方法，包括以下步骤：

101、自动识别需要带分页处理的参数，确定分页参数。

可选的，101步骤按如下方式执行：

遍历包含复杂对象在内的参数列表；

遍历属性，查找目标类型数据；

判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

值得注意的是，步骤101的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

102、获取系统性能数据、分页接口数据和代码配置数据。

可选的，通过监控平台采集定期轮询获取系统性能数据，并确定系统性能数据的计算权重；

通过接口注册平台对分页接口数据进行配置，执行接口时动态获取；

通过注解对代码配置数据进行配置，将分页参数设置为静态值或从远程配置动态读取。

值得注意的是，步骤102的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

103、根据系统性能数据、分页接口数据和代码配置数据，自动计算出分页大小、并行情况数据以及优先级。

可选的，针对系统性能数据、分页接口数据和代码配置数据这三种影响因素，在何种情况下具有何种影响，具体影响大小以及影响相关性大小，可利用统计计算方法或其他数据处理方法进行分析计算，确定三种影响因素相应计算判定策略，根据该计算判定策略，并根据动态获取的系统性能数据、分页接口数据和代码配置数据，自动计算出分页大小、并行情况数据以及优先级。这里并行情况包括是否并行，优先级包括系统性能数据、分页接口数据和代码配置数据三者的计算优先级。另外，这里系统性能数据包括CPU、内存、网络连接数、磁盘I/O，分页接口数据包括线程池、线程阈值、规模和业务规则，代码配置数据包括线程池、线程阈值、分页大小静态、分页大小动态。

值得注意的是，步骤103的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

104、进行批量函数处理和批量结果组装，获取批量处理结果。

进行批量的函数处理和批量结果组装，解析原有出参格式，保证处理结果不影响原有出参。对于异常场景特殊处理，不影响原有函数逻辑的正常执行。

可选的，根据分页参数、所述分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。

值得注意的是，步骤104的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

图2是本发明实施例提供的接口批量处理装置结构示意图，如图2所示，本发明实施例提供的接口批量处理装置，包括分页参数识别模块21、获取模块22、分页参数计算模块23和批量处理结果获取模块24。

其中，分页参数识别模块21，用于自动识别需要带分页处理的参数，确定分页参数。具体的，分页参数识别模块21用于：遍历包含复杂对象在内的参数列表；遍历属性，查找目标类型数据；判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

获取模块22，用于获取系统性能数据、分页接口数据和代码配置数据。具体的，获取模块22用于：通过监控平台采集定期轮询获取系统性能数据，并确定系统性能数据的计算权重；通过接口注册平台对分页接口数据进行配置，执行接口时动态获取；通过注解对代码配置数据进行配置，将分页参数设置为静态值或从远程配置动态读取。

分页参数计算模块23，用于根据系统性能数据、分页接口数据和代码配置数据，自动计算出分页大小、并行情况数据以及优先级。具体的，分页参数计算模块23具体具有以下功能，针对系统性能数据、分页接口数据和代码配置数据这三种影响因素，在何种情况下具有何种影响，具体影响大小以及影响相关性大小，可利用统计计算方法或其他数据处理方法进行分析计算，确定三种影响因素相应计算判定策略，根据该计算判定策略，并根据动态获取的系统性能数据、分页接口数据和代码配置数据，自动计算出分页大小、并行情况数据以及优先级。这里并行情况包括是否并行，优先级包括系统性能数据、分页接口数据和代码配置数据三者的计算优先级。另外，这里系统性能数据包括CPU、内存、网络连接数、磁盘I/O，分页接口数据包括线程池、线程阈值、规模和业务规则，代码配置数据包括线程池、线程阈值、分页大小静态、分页大小动态。

批量处理结果获取模块24，用于进行批量函数处理和批量结果组装，获取批量处理结果。具体的，批量处理结果获取模块24用于：根据分页参数、分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。

下面结合多个优选实施方式，对本发明实施例提供的接口批量处理方法及装置作进一步说明。

图3是本发明实施例提供的一优选实施例方式的整体业务处理框架图。如图3所示，利用自定义参数识别算法以及接口注册配置系统结合代码层面配置，实现自动识别分页元素以及参数，根据系统性能等相关因素判定策略，对接口多批次并行处理，实现了在批量业务场景中，自动进行批量查询的功能。

图4是本发明实施例提供的一优选实施例方式的分页参数识别流程图。如图4所示，基于自动识别分页元素算法识别出需要带分页处理的参数，支持复杂对象，存在识别异常可手动指定。

图5是本发明实施例提供的一优选实施例方式的分页大小计算流程图。图6是本发明实施例提供的一优选实施例方式的接口注册平台配置操作界面图。图7是本发明实施例提供的一优选实施例方式的接口注册平台配置操作界面图。图8是本发明实施例提供的一优选实施例方式的性能监控平台界面图。

如图5至图8所示，基于自动识别分页参数算法，计算出分页大小，是否并行，影响因素包括：系统性能、接口注册配置、代码配置等。系统性能数(CPU、内存、网络连接数、磁盘I/O)据通过监控平台采集定期轮询获取，如指标过高，计算时权重会下降。分页接口数据通过接口注册平台进行配置(线程池、线程阈值、规模、自定义业务规则)，执行接口时动态获取。代码配置通过注解在方法上进行配置，分页参数可以为静态值，也可以从动态从远程配置读取。另外，计算获得优先级结果：代码配置>接口注册平台>系统性能。

图9是本发明实施例提供的一优选实施例方式的批量结果组装合并流程图。如图9所示，进行批量的函数处理和批量结果组装，解析原有出参格式，保证处理结果不影响原有出参。另外，对于异常场景特殊处理，不影响原有函数逻辑的正常执行。

需要说明的是：上述实施例提供的接口批量处理装置在触发接口批量处理业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的接口批量处理装置与接口批量处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

综上所述，本发明实施例提供的接口批量处理方法及装置，相比现有技术具有以下有益效果：

1)利用自定义参数识别算法和拆分调用算法，对于批量处理功能模块需要拆分批次处理的场景，自动识别批量参数对批量list拆分进行多批次的处理，解决了批量数据量过大下游拒绝处理的问题，并且开发人员可以无需关心相关限制，直接调用接口，由算法会自动检测参数，进行拆分调用并聚合返回结果，提高了开发效率和处理性能，降低处理耗时，；

2)支持动态配置一次处理的数据量，可根据下游系统的处理能力设定，在功能上线生产后，若发现由于一次处理掉额数据量不合理导致性能问题或者下游系统承受能力变低，可以修改配置数量，实时生效，便捷进行系统降级处理。

3)对于功能方法函数的出入参无任何要求，代码侵入性很低，根据不同的入参形式自动识别需要批量处理的list入参，同时不会改变原有函数的出参值，对空串或者null值等处理沿用原方法格式。

4)支持并行处理，大大降低了功能耗时，同时可配置参数自行调节适应各自系统处理能力。

5)有容错处理，工具处理过程中原有方法异常原样捕捉返回，若工具处理本身报错，自动按照原函数逻辑继续处理，不影响原函数的正常处理。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种接口批量处理方法，其特征在于，所述方法包括：

自动识别需要带分页处理的参数，确定分页参数；

获取系统性能数据、分页接口数据和代码配置数据；

根据所述系统性能数据、所述分页接口数据和所述代码配置数据，自动计算出分页大小、并行情况数据以及优先级；

进行批量函数处理和批量结果组装，获取批量处理结果。

2.根据权利要求1所述的方法，其特征在于，自动识别需要带分页处理的参数，确定分页参数，包括：

遍历包含复杂对象在内的参数列表；

遍历属性，查找目标类型数据；

判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

3.根据权利要求1或2所述的方法，其特征在于，获取系统性能数据、分页接口数据和代码配置数据，包括：

通过监控平台采集定期轮询获取所述系统性能数据，并确定所述系统性能数据的计算权重；

通过接口注册平台对所述分页接口数据进行配置，执行接口时动态获取；

通过注解对所述代码配置数据进行配置，将所述分页参数设置为静态值或从远程配置动态读取。

4.根据权利要求3所述的方法，其特征在于，所述系统性能数据包括CPU、内存、网络连接数、磁盘I/O，所述分页接口数据包括线程池、线程阈值、规模和业务规则。

5.根据权利要求1或2所述的方法，其特征在于，进行批量函数处理和批量结果组装，获取批量处理结果，包括：

根据所述分页参数、所述分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。

6.一种接口批量处理装置，其特征在于，所述装置包括：

分页参数识别模块，用于自动识别需要带分页处理的参数，确定分页参数；

获取模块，用于获取系统性能数据、分页接口数据和代码配置数据；

分页参数计算模块，用于根据所述系统性能数据、所述分页接口数据和所述代码配置数据，自动计算出分页大小、并行情况数据以及优先级；

批量处理结果获取模块，用于进行批量函数处理和批量结果组装，获取批量处理结果。

7.根据权利要求6所述的装置，其特征在于，所述分页参数识别模块用于：

遍历包含复杂对象在内的参数列表；

遍历属性，查找目标类型数据；

判断是否存在多个可分页参数，若是，通过配置指定后确认分页参数，若否，直接确认分页参数。

8.根据权利要求6或7所述的装置，其特征在于，所述获取模块用于：

通过监控平台采集定期轮询获取所述系统性能数据，并确定所述系统性能数据的计算权重；

通过接口注册平台对所述分页接口数据进行配置，执行接口时动态获取；

通过注解对所述代码配置数据进行配置，将所述分页参数设置为静态值或从远程配置动态读取。

9.根据权利要求8所述的装置，其特征在于，所述系统性能数据包括CPU、内存、网络连接数、磁盘I/O，所述分页接口数据包括线程池、线程阈值、规模和业务规则。

10.根据权利要求6或7所述的装置，其特征在于，所述批量处理结果获取模块用于：

根据所述分页参数、所述分页大小和/或接口参数，对多线程的处理结果进行聚合操作，获取批量处理结果。