CN111008078A - 数据的批量处理方法、装置、设备及计算机存储介质 - Google Patents

Abstract

本发明涉及金融科技(Fintech)技术领域，公开了一种数据的批量处理方法、装置、设备和计算机存储介质，该方法包括：获取大数据平台中不同类型的资源数据对应的批量，确定各批量是否处于就绪状态；若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据各就绪批量的案件数量和催收系统的系统资源确定最优批量；获取催收系统中的可用令牌，基于可用令牌对最优批量进行执行处理，在最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各批量处理完成。本发明提高了系统中资源数据批量执行处理的处理效率。

Description

数据的批量处理方法、装置、设备及计算机存储介质

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及数据的批量处理方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，大数据中的数据处理技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。例如目前传统的数据的处理技术是按照固定的未到期提醒规则、逾期处理的准入规则，加工与数据相关的客户名单以及相关的目标数据，系统基于目标数据，并调用策略引擎，由策略引擎根据案件的风险程度，实现分案管理。并且目前系统是以资源数据级进行目标数据处理的，当多个资源数据同时在一个系统处理时，大多是串行处理，无法充分利用系统资源，不能方便高效的控制各资源数据批量执行的顺序、并发。因此，如何提高系统中资源数据批量执行处理的处理效率成为了目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提出一种数据的批量处理方法、装置、设备及计算机存储介质，旨在提高系统中资源数据批量执行处理的处理效率。

为实现上述目的，本发明提供一种数据的批量处理方法，所述数据的批量处理方法包括如下步骤：

获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；

若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；

获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据中的多个资源数据的批量的步骤，直至各所述批量处理完成。

可选地，获取催收系统的系统资源的步骤包括：

基于各所述批量获取最先完成就绪状态的首位批量，并对所述首位批量进行执行处理，基于所述首位批量的执行处理结果确定所述催收系统的系统资源。

可选地，所述根据所述系统资源和各所述就绪批量的案件数量确定最优批量的步骤，包括：

计算所述系统资源的使用增长率，并确定所述使用增长率是否小于预设的告警阈值，

若小于，则基于各所述就绪批量的案件数量确定最优批量。

可选地，所述计算所述系统资源的使用增长率的步骤，包括：

基于所述首位批量的执行处理结果计算所述系统资源的使用增长量与所述首位批量的案件量增加的正向关系，并根据所述正向关系计算所述系统资源的使用增长率。

可选地，所述基于各所述就绪批量的案件数量确定最优批量的步骤，包括：

根据所述告警阈值计算所述系统资源的可用资源值，并根据所述可用资源值计算所述系统资源的最大可准入的目标案件量；

根据各所述就绪批量的案件数量确定各所述就绪批量对应的案件量级，并基于所述目标案件量在各所述案件量级中确定目标量级；

在各所述就绪批量中获取处于目标量级的目标就绪批量，若所述目标就绪批量存在多个，则在各所述目标就绪批量中获取案件数量最多的目标就绪批量，并将所述案件数量最多的目标就绪批量作为最优批量。

可选地，所述获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理的步骤，包括：

确定所述最优批量待执行时的目标令牌数量，并获取所述催收系统中的可用令牌的可用令牌数量，确定所述目标令牌数量是否大于所述可用令牌数量；

若小于或等于，则根据所述可用令牌对所述最优批量进行执行处理。

可选地，所述确定所述目标令牌数量是否大于所述可用令牌数量的步骤之后，包括：

若大于，则获取所述催收系统基于预设速率产生的新令牌，直至所述新令牌的数量和所述可用令牌数量的和值和所述目标令牌数量相等，并根据所述可用令牌和所述新令牌对所述最优批量进行执行处理。

此外，为实现上述目的，本发明还提供一种数据的批量处理装置，所述数据的批量处理装置包括：

获取模块，用于获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态，其中，所述大数据平台根据策略引擎中的可识别策略包获取所述批量，所述可识别策略包包括基于预设算法从大数据加工逻辑中剥离的催收风险规则；

确定模块，用于若各所述批量均处于就绪状态，则获取各所述批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述批量的案件数量确定最优批量；

处理模块，用于获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。

此外，为实现上述目的，本发明还提供一种数据的批量处理设备，所述数据的批量处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的批量处理程序，所述数据的批量处理程序被所述处理器执行时实现如上所述的数据的批量处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如上所述的数据的批量处理方法的步骤。

本发明通过获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。通过获取大数据平台中资源数据对应的批量，并在各个批量均处于就绪状态时，根据催收系统的系统资源和各个就绪批量的案件数量确定最优批量，并根据可用令牌对最优批量进行处理，直至所有批量处理完成，从而保障了催收系统实时获取系统资源的使用情况，并结合令牌对最优批量进行处理，提高了催收系统中资源数据批量执行处理的效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明数据的批量处理方法第一实施例的流程示意图；

图3为本发明数据的批量处理装置的装置模块示意图；

图4为本发明数据的批量处理方法中批量处理示意图；

图5为本发明数据的批量处理方法中策略引擎的处理示意图；

图6为本发明数据的批量处理方法中资源数据的数据结构；

图7为本发明数据的批量处理方法中基于令牌算法的批量处理流程示意图；

图8为本发明数据的批量处理方法中多个资源数据批量处理的示意图；

图9为本发明数据的批量处理方法中并行批量处理的流程示意图；

图10为本发明数据的批量处理方法中批量状态流转图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例数据的批量处理设备可以是PC机或服务器设备，其上运行有Java虚拟机。

如图1所示，该数据的批量处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据的批量处理程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据的批量处理程序，并执行下述数据的批量处理方法中的操作。

基于上述硬件结构，提出本发明数据的批量处理方法实施例。

参照图2，图2为本发明数据的批量处理方法第一实施例的流程示意图，所述方法包括：

步骤S10，获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；

在本实施例中，策略引擎是以决策树、冠军挑战者、神经网络等技术为核心的，根据一定的业务规则，能够对大数据完成实时预测、分析，进行评分建模、风险识别和智能决策的一种工具。大数据加工就是通过大数据平台对大数据进行抽取、转换、计算、指标的过程，其中，所述大数据平台根据策略引擎中的可识别策略包获取所述批量，所述可识别策略包包括基于预设算法从大数据加工逻辑中剥离的催收风险规则。

目前，判断用户需要提前提醒、入催的准入规则是在大数据加工逻辑中进行判断的，如根据客户还款日，在T-3日进行提前提醒，但是这样存在两个问题，(a)针对全量客户，给不需要提醒的客户带来骚扰；(b)因为是全量客户，需要进行全量发送短信、语音，成本高、资源浪费大。而催收的目的是在一定人力资源和催收成本下，及早通知客户，预测客户转化为呆账的风险，减少呆账的发生。由于风险本身具有难以预测、复杂多变的特点，因此将这种风险逻辑写死、耦合在大数据加工取数脚本中，不能满足业务需求。例如，如图4所示，在大数据平台中进行不同资源数据归集，包括车贷的账户、借据等，房贷的账户、借据等以及信用贷等等资源数据，也就是将其归集在车贷贴源层、房贷贴源层和信用付贴源层，并进行大数据加工，即大数据衍生变量加工，大数据执行策略引擎，入催数据加工，其中入催数据加工需要获取催收文件中的催收信息，并让催收机器人根据大数据加工形成的新的入催文件进行催收。并且催收信息还包括业内催收，即资源数据的批量、应用服务和数据库等。因此在本实施例中，通过采用预设的策略开发软件，通过创建策略输入、输出变量，制定评分卡、决策树、决策表、冠军挑战者等策略，将复杂多变的催收风险规则从hive(数据仓库工具)加工逻辑中抽离出来，维护到策略引擎中，并将这种策略转换成应用可识别的可识别策略包(如ser包)，放置到大数据平台的hdfs路径下供hql调用，并通过自定义UDF函数，将调用ser包的接口转换成jar包放置到大数据平台，以实现hive语句直接调用策略引擎的功能。例如，如图5所示，首先将hive表中的数据转化为策略引擎输入传输对象，再将输入传输对象转化为策略引擎内置的输入参数，执行策略引擎，得到相应的策略输出，并存储至数据库。

并且为了能够全面的了解、分析、预测客户的风险，除了正常逾期的客户，对于尚未显示逾期的客户，进行相关借贷数据指标加工，能够提前预测其逾期的风险。如对客户历史24期账单周期的数据进行加工，获得首期逾期、首次逾期等指标加工，以及风险标等来构建客户行为评分模型，根据用户不同维度的特征变量判断客户未来逾期的风险。

在本实施例中，对于不同资源数据有着不同的数据结构，如车贷就拥有里程、驾驶证等特殊信息，但基础信息基本相同，因此在本实施例中将数据结构划分成通用的基础信息和根据不同资源数据特征衍生出来的数据结构。如图6所示，资源数据的案件数据包括客户基础数据、账户数据、借据数据、还款计划数据、交易历史数据和联系方式数据。将各个资源数据的特性、差异化数据单独维护到独立的表中。并且为了进行数据逻辑隔离，按照不同机构、不同资源数据进行催收批量，因此在大数据平台将不同类型的资源数据整理成表格发送到催收系统后，催收系统基于各个资源数据确定各个资源数据对应的批量，即一个批量对应一种类型的资源数据。再确定催收系统接收到的所有批量是否均处于就绪状态。并根据不同的确定结果执行不同的操作。

步骤S20，若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；

当经过确定在各个批量中存在处于就绪状态的就绪批量时，需要确定就绪批量的数量是否存在多个，若存在多个，则需要对第一个就绪的批量(即首位批量)进行执行处理，并且此时会监控催收系统的当前系统资源，为后续并行批量排程提供参考。并且由于并行处理可以提供系统资源的利用率、提高跑批(其中跑批是批量处理具有多次读、多次计算处理过程、一次写的特点)时序性，但太高的并发可能造成数据丢失的情况，而系统资源是有限的，因此在本实例中会综合考虑催收系统的系统资源及其使用率。其中所述系统资源包括内存、服务器CPU(即虚拟机CPU)、数据库CPU和数据库IO等。例如，如下表所示，以服务器为催收系统分配的4G内存、6核CPU进行举例说明。

并且由于系统资源的损耗以及其它应用运行带来的系统资源变化，可以选择获取预设时间段内系统资源使用率的平均值。另外为了避免太高负载崩溃，对各个系统资源设置了统一的告警阈值(maxAlarmRate)，如80％，只有当某个系统资源使用率大于告警阈值时，才停止获取新的批量进行执行。并且在系统资源使用率小于告警阈值时，则从已就绪的各个就绪批量中选择出最优批量。而选择最优批量的方式则是先计算系统资源的可用系统资源，如当前可用内存(remainMemoryRate)＝告警阈值-当前已使用内存率；当前可用CPU(remainVMCpuRate)＝告警阈值-当前已使用CPU使用率；当前可用数据库CPU(remainDBCpuRate)＝告警阈值-当前已使用数据库CPU使用率；当前可用数据库(remainIORate)＝告警阈值-当前已使用数据库IO率；再根据可用系统资源计算系统资源最大可准入的案件量(maxCaseCount)，即maxCaseCount＝Min(remainMemoryRate/perMemoryRate,remainVMCpuRate/perVMCpuRate，remainDBCpuRate/perDBCpuRate，remainIORate/perIORate)的最小值。再从已就绪批量中根据各资源数据案件量排序，若案件量级相等，则取案件量最大的资源数据对应的批量加入running队列中(也就是作为最优批量)。

步骤S30，获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。

当获取到最优批量后，还需要获取催收系统中的可用令牌，并根据可用令牌对最优批量进行执行处理，并在最优批量处理完成后，继续执行上述获取大数据中的多个资源数据的批量的步骤，直至各个批量处理完成。其中，获取可用令牌的方式是催收系统先按照预设的速率来生产令牌，其中每个令牌产生的时间为1/速率，如每分钟产生1个令牌。另外为了限定并行批量的数量，如果产生的令牌一直未使用，当令牌桶中的令牌数达到一定值后，将会丢弃最先生成未被使用的令牌。例如，只保留5分钟内产生的令牌数，则令牌桶中最大可用的令牌数为5个，对应业务逻辑则表明同时运行批量个数为5个，且当前并行批量处理的数据上限为50万。例如，如图7所示，在大数据平台中获取房贷起批信号、车贷起批信号和商城分期起批信号，并在上游送数完成批量就绪，也就是在催收系统中的房贷批量、车贷批量和商城批量处于就绪状态后，获取令牌1、令牌2...令牌N，确定批量执行点(同一时间仅允许N个令牌)，也就是根据令牌数进行批量执行。

另外为辅助理解本实施例中对资源数据的批量处理原理理解，下面进行举例说明。

例如，如图8所示，在进行多资源数据的批量处理处理过程时，包括批量调度系统、大数据加工和催收系统，通过批量调度系统进行开始数据加工，并进行大数据加工，如车贷、房贷和商城分期贷，并对其进行入催账户判断，入催数据加工、加工完成状态等，并将其发送到催收系统，再确定资源数据(即产品数据)加工是否完成？批量是否就绪等，其中，批量就绪的确定是通过批量调度系统进行确定催收系统是否开始起批车贷批量、房贷批量、商城分期批量。在催收系统中每十分钟产生一个令牌，并将令牌放到令牌桶中，对车贷批量、房贷批量等进行轮询获取令牌，确定桶中令牌是否大于请求令牌数N，若否，则继续获取令牌，若是，则桶中令牌数减N，并建立或更新案件，执行策略引擎、分配按键，将案件发送合作方、批量完成信号上报，并在批量调度系统中确定批量完成。再例如，如图9所示，在多个批量到达催收系统时，通过调度平台的调度系统进行统一管理，调度系统日切完成(即每天更新一次)，并在催收系统日切完成后，当天所有资源数据处于等待状态，当大数据将资源数据的客户、账户、借据、交易、联系方式等数据推送给催收系统后，会发送信号给催收系统，告知其推数完成。催收系统交易大数据推数的批次日期是否等于系统日切日期，并校验该资源数据案件金额、条数无误后，将该资源数据批量转换为就绪状态。并在首个就绪批量运行时，从就绪队列中根据系统资源选出最优批量，并尝试获取批量执行的令牌，在获取令牌时，批量会挂起，直至挂起时间结束，再根据令牌进行批量运行，在批量运行完成后，进行信息上报，直至结束。

在本实施例中，通过获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态，；若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。通过获取大数据平台中资源数据对应的批量，并在各个批量均处于就绪状态时，根据催收系统的系统资源和各个批量的案件数量确定最优批量，并根据可用令牌对最优批量进行处理，直至所有批量处理完成，从而保障了催收系统实时获取系统资源的使用情况，并结合令牌对最优批量进行处理，提高了催收系统中资源数据批量执行处理的效率。并且在本实施例中大数据平台中的批量是根据策略引擎的可识别策略包进行获取的，而可识别策略包是基于预设算法从大数据加工逻辑中剥离的催收风险规则，也就是若需要修改催收风险规则，只需要直接对可识别策略包进行调整即可，避免了现有技术中无法灵活改变催收风险规则的现象发生。

进一步地，基于本发明数据的批量处理方法第一实施例，提出本发明数据的批量处理方法第二实施例。本实施例是本发明第一实施例的步骤S10，获取催收系统的系统资源的步骤的细化，包括：

步骤a，基于各所述批量获取最先完成就绪状态的首位批量，并对所述首位批量进行执行处理，基于所述首位批量的执行处理结果确定所述催收系统的系统资源。

当催收系统中各个批量均已处于就绪状态时，需要在各个批量中获取最先完成就绪状态的首位批量，并直接对首位批量进行执行处理，并根据此首位批量的执行处理结果来确定催收系统的系统资源，如系统资源的使用增长率，剩余系统资源等。

在本实施例中，通过最先完成就绪状态的首位批量进行执行处理，并根据执行处理结果确定系统资源，从而保障了获取到当前时刻系统资源的准确性。

进一步地，根据所述系统资源和各所述就绪批量的案件数量确定最优批量的步骤，包括：

步骤b，计算所述系统资源的使用增长率，并确定所述使用增长率是否小于预设的告警阈值，

当根据首位批量计算得到系统资源的信息后，还可以计算系统资源增长与案件量增加的正向关系，也就是系统资源基于批量处理的使用增长率。并且为了避免系统资源过高，导致系统崩溃，因此需要对系统资源设置一个预设的告警阈值，并确定系统资源的使用增长率是否小于预设的告警阈值。并基于不同的确定结果执行不同的操作。

步骤c，若小于，则基于各所述就绪批量的案件数量确定最优批量。

当经过判断发现系统资源的使用增长率小于预设的告警阈值时，也就可以认为当前系统资源充足，可供批量系统对就绪批量进行执行，因此就可以根据各个就绪批量的案件数量来确定最优批量。

在本实施例中，通过计算系统资源的使用增长率，并在使用增长率小于告警阈值时，根据各个就绪批量的案件数量确定最优批量，从而保障了批量系统的正常运行，避免系统资源过载的现象发生。

具体地，计算所述系统资源的使用增长率的步骤，包括：

步骤d，基于所述首位批量的执行处理结果计算所述系统资源的使用增长量与所述首位批量的案件量增加的正向关系，并根据所述正向关系计算所述系统资源的使用增长率。

在本实施例中，根据首位批量的执行处理结果来确定系统资源的详细信息，并基于此详细信息来计算系统资源的使用增长量与首位批量的案件量增加的正向关系，并根据此正向关系来计算系统资源的使用增长率。

在本实施例中，通过确定系统资源的使用增长量与案件量增加的正向关系，再基于正向关系确定系统资源的使用增长率，从而保障了获取到系统资源的使用增长率的准确性。

具体地，基于各所述批量的案件数量确定最优批量的步骤，包括：

步骤e，根据所述告警阈值计算所述系统资源的可用资源值，并根据所述可用资源值计算所述系统资源的最大可准入的目标案件量；

当系统资源的使用增长率小于预设的告警阈值时，还需要根据告警阈值来计算系统资源的可用资源值，如当前可用内存(remainMemoryRate)＝告警阈值-当前已使用内存率；当前可用CPU(remainVMCpuRate)＝告警阈值-当前已使用CPU使用率；当前可用数据库CPU(remainDBCpuRate)＝告警阈值-当前已使用数据库CPU使用率；当前可用数据库(remainIORate)＝告警阈值-当前已使用数据库IO率；再根据可用资源值计算系统资源的最大可准入的目标案件量，并对各个批量的案件数量与目标案件量进行比较，以确定最优批量。

步骤m，根据各所述就绪批量的案件数量确定各所述就绪批量对应的案件量级，并基于所述目标案件量在各所述案件量级中确定目标量级；

当计算出系统资源的最大可准入的目标案件量后，还需要获取各个就绪批量的案件数量，并根据案件数量对各个就绪批量进行分级，以得到各个就绪批量对应的案件量级，如10万-20万为一个案件量级；20万-50万为一个案件量级。再确定目标案件量在哪一个案件量级中，并将此案件量级作为目标量级。

步骤n，在各所述就绪批量中获取处于目标量级的目标就绪批量，若所述目标就绪批量存在多个，则在各所述目标就绪批量中获取案件数量最多的目标就绪批量，并将所述案件数量最多的目标就绪批量作为最优批量。

当获取到目标量级后，还需要确定在各个就绪批量中，有哪些就绪批量是处于目标量级的，并将其作为目标就绪批量。若目标就绪批量只存在一个，将可以将此目标就绪批量作为最优批量。但是若目标就绪批量存在多个，则需要获取各个目标就绪批量的案件数量，并依次进行对比，从中选择案件数量最多的目标就绪批量，并将此案件数量最多的目标就绪批量作为最优批量。

在本实施例中，通过根据告警阈值计算系统资源的可用资源值，并根据可用资源值确定目标案件量，根据目标案件量确定最优批量，从而保障了批量系统运行批量时综合考虑了系统资源，提高了批量运行的效率。

进一步地，基于本发明数据的批量处理方法第一至第二任意一个实施例的基础上，提出本发明数据的批量处理方法第三实施例。本实施例是本发明第一实施例的步骤S30，获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理的步骤的细化，包括：

步骤f，确定所述最优批量待执行时的目标令牌数量，并获取所述催收系统中的可用令牌的可用令牌数量，确定所述目标令牌数量是否大于所述可用令牌数量；

在催收系统中，需要确定最优批量待执行时需要的目标令牌数量，如1个，2个等，并根据催收系统中可用令牌的可用令牌数量来确定是否立即对最优批量进行执行。也就是当催收系统在就绪队列中获取到最优批量时，会尝试获取最优批量的执行令牌(即目标令牌)，并查询当前令牌桶中可用令牌的数量，如果目标令牌数量小于可用令牌数量，则执行最优批量，将此最优批量加入running队列，并且将令牌桶中令牌数减去目标令牌数量。若目标令牌数量大于可用令牌数量，则将继续等待催收系统新产生令牌，直至催收系统中存在目标令牌数量的可用令牌再执行最优批量。

步骤g，若小于或等于，则根据所述可用令牌对所述最优批量进行执行处理。

当经过判断发现目标令牌数量小于或等于可用令牌数量，则根据可用令牌对最优批量进行执行处理。

在本实施例中，通过确定最优批量待执行时的目标令牌数量小于或等于可用令牌数量时，对最优批量进行处理，从而保障了最优批量处理的正常运行。

进一步地，确定所述目标令牌数量是否大于所述可用令牌数量的步骤之后，包括：

步骤h，若大于，则获取所述催收系统基于预设速率产生的新令牌，直至所述新令牌的数量和所述可用令牌数量的和值和所述目标令牌数量相等，并根据所述可用令牌和所述新令牌对所述最优批量进行执行处理。

当经过判断发现目标令牌数量大于可用令牌数量时，则需要获取催收系统基于预设速率产生的新令牌，直至新令牌的数量和可用令牌数量的和值和目标令牌数量相等，并会根据可用令牌和新令牌对最优批量进行执行处理。例如，若最优批量的目标令牌数量是3个，而当前令牌桶中的可用令牌数量是2个，催收系统生成令牌的时间是1分钟一个，则只需要等待一分钟来获取新令牌，再对最优批量进行处理。如图10所示，批量状态的流转图，批量从等待状态到就绪状态，再到运行状态，直至结束，其中，在批量处于等待状态时，需要确定催收系统校验是否通过，若催收系统校验不通过时，则批量处于失败状态。并且在批量从就绪状态进入运行状态时，需要获取令牌，在获取令牌和令牌获取失败时，批量处于挂起状态，并在挂起时间结束时，进行就绪状态，在批量进行运行时，若发现系统异常，则批量进入失败状态。

在本实施例中，通过在目标令牌数量大于可用令牌数量时，获取新令牌，再对最优批量进行执行处理，从而保障了最优批量执行处理的正常运行。

本发明实施例还提供一种数据的批量处理装置，参照图3，所述数据的批量处理装置包括：

获取模块，用于获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；

确定模块，用于若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；

处理模块，用于获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。

可选地，所述确定模块，还用于：

基于各所述批量获取最先完成就绪状态的首位批量，并对所述首位批量进行执行处理，基于所述首位批量的执行处理结果确定所述催收系统的系统资源。

可选地，所述确定模块，还用于：

计算所述系统资源的使用增长率，并确定所述使用增长率是否小于预设的告警阈值，

若小于，则基于各所述就绪批量的案件数量确定最优批量。

可选地，所述确定模块，还用于：

基于所述首位批量的执行处理结果计算所述系统资源的使用增长量与所述首位批量的案件量增加的正向关系，并根据所述正向关系计算所述系统资源的使用增长率。

可选地，所述确定模块，还用于：

根据所述告警阈值计算所述系统资源的可用资源值，并根据所述可用资源值计算所述系统资源的最大可准入的目标案件量；

根据各所述就绪批量的案件数量确定各所述就绪批量对应的案件量级，并基于所述目标案件量在各所述案件量级中确定目标量级；

在各所述就绪批量中获取处于目标量级的目标就绪批量，若所述目标就绪批量存在多个，则在各所述目标就绪批量中获取案件数量最多的目标就绪批量，并将所述案件数量最多的目标就绪批量作为最优批量。

可选地，所述处理模块，还用于：

确定所述最优批量待执行时的目标令牌数量，并获取所述催收系统中的可用令牌的可用令牌数量，确定所述目标令牌数量是否大于所述可用令牌数量；

若小于或等于，则根据所述可用令牌对所述最优批量进行执行处理。

所述数据的批量处理装置，还包括：

若大于，则获取所述催收系统基于预设速率产生的新令牌，直至所述新令牌的数量和所述可用令牌数量的和值和所述目标令牌数量相等，并根据所述可用令牌和所述新令牌对所述最优批量进行执行处理。

上述各程序模块所执行的方法可参照本发明数据的批量处理方法各个实施例，此处不再赘述。

本发明还提供一种计算机存储介质。

本发明计算机存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如上所述的数据的批量处理方法的步骤。

其中，在所述处理器上运行的数据的批量处理程序被执行时所实现的方法可参照本发明数据的批量处理方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据的批量处理方法，其特征在于，所述数据的批量处理方法包括如下步骤：

获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；

若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；

获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。

2.如权利要求1所述的数据的批量处理方法，其特征在于，所述获取催收系统的系统资源的步骤包括：

基于各所述批量获取最先完成就绪状态的首位批量，并对所述首位批量进行执行处理，基于所述首位批量的执行处理结果确定所述催收系统的系统资源。

3.如权利要求2所述的数据的批量处理方法，其特征在于，所述根据所述系统资源和各所述就绪批量的案件数量确定最优批量的步骤，包括：

计算所述系统资源的使用增长率，并确定所述使用增长率是否小于预设的告警阈值，

若小于，则基于各所述就绪批量的案件数量确定最优批量。

4.如权利要求3所述的数据的批量处理方法，其特征在于，所述计算所述系统资源的使用增长率的步骤，包括：

基于所述首位批量的执行处理结果计算所述系统资源的使用增长量与所述首位批量的案件量增加的正向关系，并根据所述正向关系计算所述系统资源的使用增长率。

5.如权利要求3所述的数据的批量处理方法，其特征在于，所述基于各所述就绪批量的案件数量确定最优批量的步骤，包括：

根据所述告警阈值计算所述系统资源的可用资源值，并根据所述可用资源值计算所述系统资源的最大可准入的目标案件量；

根据各所述就绪批量的案件数量确定各所述就绪批量对应的案件量级，并基于所述目标案件量在各所述案件量级中确定目标量级；

在各所述就绪批量中获取处于目标量级的目标就绪批量，若所述目标就绪批量存在多个，则在各所述目标就绪批量中获取案件数量最多的目标就绪批量，并将所述案件数量最多的目标就绪批量作为最优批量。

6.如权利要求1-5任一项所述的数据的批量处理方法，其特征在于，所述获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理的步骤，包括：

确定所述最优批量待执行时的目标令牌数量，并获取所述催收系统中的可用令牌的可用令牌数量，确定所述目标令牌数量是否大于所述可用令牌数量；

若小于或等于，则对所述最优批量进行执行处理。

7.如权利要求6所述的数据的批量处理方法，其特征在于，所述确定所述目标令牌数量是否大于所述可用令牌数量的步骤之后，包括：

若大于，则获取所述催收系统基于预设速率产生的新令牌，直至所述新令牌的数量和所述可用令牌数量的和值和所述目标令牌数量相等，并根据所述可用令牌和所述新令牌对所述最优批量进行执行处理。

8.一种数据的批量处理装置，其特征在于，所述数据的批量处理装置包括：

获取模块，用于获取大数据平台中不同类型的资源数据对应的批量，并确定各所述批量是否处于就绪状态；

确定模块，用于若在各所述批量中存在处于就绪状态的就绪批量，且所述就绪批量存在多个，则获取各所述就绪批量的案件数量和获取催收系统的系统资源，并根据所述系统资源和各所述就绪批量的案件数量确定最优批量；

处理模块，用于获取所述催收系统中的可用令牌，基于所述可用令牌对所述最优批量进行执行处理，并在所述最优批量处理完成后，继续执行获取大数据平台中不同类型的资源数据对应的批量的步骤，直至各所述批量处理完成。

9.一种数据的批量处理设备，其特征在于，所述数据的批量处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的批量处理程序，所述数据的批量处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据的批量处理方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如权利要求1至7中任一项所述的数据的批量处理方法的步骤。

Images