CN115526731A - 任务批处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例属于大数据及金融科技领域，应用于保险跟单费用批处理领域中，涉及一种任务批处理方法、装置、计算机设备及存储介质，包括接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，用取模方式对所有费用变更信息进行分片处理，使得各费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

Description

任务批处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据及金融科技技术领域，尤其涉及一种任务批处理方法、装置、计算机设备及存储介质。

背景技术

批处理(Batch)，也称批处理脚本。顾名思义，批处理就是对某对象进行批量的处理，在保险跟单费用业务的处理中，经常使用批处理的方式对保险跟单费用业务进行批量的处理，譬如，新一年的保险费用承交时，需要对某用户所购买的保险种类进行全检索，再获取在新的一年该用户所需承交的各类保险的费用，将所述各类保险的费用一次性发送给该用户，再譬如，在多个保单协议情况下，保单费用发生多次变化时，根据多个保单协议的签订或履行先后顺序，进行批处理综合计算，获取最终费用，再譬如，在保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额，这时，都需要对保险跟单费用进行任务批处理。

目前实现的版本是单线程处理全国上万种批处理任务，从每天凌晨2点开始批处理，到下午14点才能批处理完成，严重影响业务的报销进度，遇到财务关账或其他紧急情况，根本满足不了用户需求。而且目前的处理方式对服务器资源也是一种比较大的挑战，可能会导致内存泄露，进一步导致系统崩溃。

发明内容

本申请实施例的目的在于提出一种任务批处理方法、装置、计算机设备及存储介质，以便于对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

为了解决上述技术问题，本申请实施例提供一种任务批处理方法，采用了如下所述的技术方案：

一种任务批处理方法，包括下述步骤：

接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数；

读取配置文件数据库，并根据目标配置文件的区别缓存标识，获取批处理的初始配置文件和当前配置文件，其中，所述配置文件数据库中缓存有目标配置文件，所述目标配置文件包括批处理的初始配置文件和批处理的当前配置文件，所述批处理的初始配置文件和所述批处理的当前配置文件预设有区别缓存标识；

基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段；

基于所述配置文本段对进行批处理的任务逻辑进行优化调整，其中，所述进行批处理的任务逻辑为预先在任务批处理对应的任务执行端部署的批处理源执行程序；

获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数；

根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理；

解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务。

进一步的，所述基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段的步骤，具体包括：

解析所述初始配置文件，获取初始脚本内容；

解析所述当前配置文件，获取当前脚本内容；

根据所述初始脚本内容和当前脚本内容，筛选出本次批处理任务执行时，当前配置文件中未使用的脚本内容作为本次批处理过程中未使用的配置文本段。

进一步的，在所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤之前，所述方法还包括：

预先为所述初始脚本内容和所述进行批处理的任务逻辑设置调用关系，其中，所述进行批处理的任务逻辑用于以相应的费用变更信息为参数执行对应的费用信息更新任务；

将所述调用关系以表单形式持久化缓存至预设存储库。

进一步的，所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤，具体包括：

读取所述存储库，获取所述配置文本段对应的调用关系；

基于所述调用关系，筛选出所述批处理的任务逻辑中未被启用的任务逻辑；

基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态。

进一步的，所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤之前，所述方法还包括：

根据任务逻辑是否被调用预先设置区别状态码，其中，所述区别状态码中包括调用状态码和不调用状态码；

所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤，具体包括：

将所述未被启用的任务逻辑对应的区别状态码设置为不调用状态码。

进一步的，所述根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理的步骤，具体包括：

对获取的每一条费用变更信息设置序号，其中，所述序号为正整数，且所述序号小于等于n；

基于预设取模公式：b＝a％m，对所述n条费用变更信息进行分片处理，获取每一条费用变更信息对应的分片号，其中，m为所述批处理系统的总个数，a为当前条费用变更信息对应的序号，b为模值；

以所述分片号为集合标识，构建费用变更信息集合；

将相同分片号的单条费用变更信息作为集合元素缓存到对应的费用变更信息集合内。

进一步的，所述解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务的步骤，具体包括：

解析所述费用变更信息集合内的不同集合元素，并在解析之后，为每一条解析结果分配相对应的集合标识；

对所述m个批处理系统设置区别编号，其中，所述区别编号为大于等于0的整数，且取值范围为[0,m)；

获取与所述区别编号相同的集合标识所对应的每一条解析结果，并将所述每一条解析结果按条作为方法执行参数输入所述区别编号对应的批处理系统执行批处理任务。

为了解决上述技术问题，本申请实施例还提供一种任务批处理装置，采用了如下所述的技术方案：

一种任务批处理装置，包括：

请求接收模块，用于接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数；

配置获取模块，用于读取配置文件数据库，并根据目标配置文件的区别缓存标识，获取批处理的初始配置文件和当前配置文件，其中，所述配置文件数据库中缓存有目标配置文件，所述目标配置文件包括批处理的初始配置文件和批处理的当前配置文件，所述批处理的初始配置文件和所述批处理的当前配置文件预设有区别缓存标识；

筛选识别模块，用于基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段；

优化调整模块，用于基于所述配置文本段对进行批处理的任务逻辑进行优化调整，其中，所述进行批处理的任务逻辑为预先在任务批处理对应的任务执行端部署的批处理源执行程序；

集群部署模块，用于获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数；

数据分片模块，用于根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理；

任务执行模块，用于解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的任务批处理方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的任务批处理方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例所述任务批处理方法，通过接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，将优化调整之后的任务逻辑部署到进行批处理的集群系统内，对批处理任务进行分片处理，并将分片处理后的费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的任务批处理方法的一个实施例的流程图；

图3是图2所示步骤203的一种具体实施方式的流程图；

图4是图2所示步骤204的一种具体实施方式的流程图；

图5是图4所示步骤403的一种具体实施方式的流程图；

图6是图2所示步骤206的一种具体实施方式的流程图；

图7是图2所示步骤207的一种具体实施方式的流程图；

图8根据本申请的任务批处理装置的一个实施例的结构示意图；

图9根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的任务批处理方法一般由服务器/终端设备执行，相应地，任务批处理装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的任务批处理方法的一个实施例的流程图。所述的任务批处理方法，包括以下步骤：

步骤201，接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数。

以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，由于数据量较大且涵盖若干个省份的数据，这时需要进行批处理，在执行批处理之前，先要通过所述批处理请求，获取待进行批处理的n条费用变更信息的提取地址，以提取到所述费用变更信息。

步骤202，读取配置文件数据库，并根据目标配置文件的区别缓存标识，获取批处理的初始配置文件和当前配置文件，其中，所述配置文件数据库中缓存有目标配置文件，所述目标配置文件包括批处理的初始配置文件和批处理的当前配置文件，所述批处理的初始配置文件和所述批处理的当前配置文件预设有区别缓存标识。

本实施例中，所述批处理的初始配置文件和当前配置文件，仅仅只表示和批处理任务执行逻辑相关的配置文件，不包括执行系统的硬件资源类配置属性。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，初始配置文件中往往不仅涉及到省级审计汇总，可能还涉及到县级、市级审计汇总，不仅仅只涉及到季度汇总，还可能涉及到月份汇总，半年汇总，整年汇总，这时，初始配置文件中还会包含县级、市级审计汇总、月份汇总，半年汇总，整年汇总所对应的配置文本段，所述当前配置文件表示本次进行各个省份每个季度汇总所需的配置文本段。

步骤203，基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，将所述当前配置文件和所述初始配置文件进行比较，筛选出所述初始配置文件中本次批处理过程中未使用的配置文本段。

本实施例中，所述基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段的步骤，具体包括：解析所述初始配置文件，获取初始脚本内容；解析所述当前配置文件，获取当前脚本内容；根据所述初始脚本内容和当前脚本内容，筛选出本次批处理任务执行时，当前配置文件中未使用的脚本内容作为本次批处理过程中未使用的配置文本段。

继续参考图3，图3是图2所示步骤203的一种具体实施方式的流程图，包括步骤：

步骤301，解析所述初始配置文件，获取初始脚本内容；

步骤302，解析所述当前配置文件，获取当前脚本内容；

步骤303，根据所述初始脚本内容和当前脚本内容，筛选出本次批处理任务执行时，当前配置文件中未使用的脚本内容作为本次批处理过程中未使用的配置文本段。

通过解析，获取初始配置文件和当前配置文件分别对应的脚本内容，根据脚本内容对比出本次批处理过程中未使用的配置文本段。

本实施例中，所述根据所述初始脚本内容和当前脚本内容，筛选出本次批处理任务执行时，当前配置文件中未使用的脚本内容作为本次批处理过程中未使用的配置文本段的步骤，具体包括：使用预设文字识别技术分别识别出所述初始脚本内容和当前脚本内容，其中，所述文字识别技术包括OCR文字识别技术；对识别出的所述当前脚本内容中各字符按照其在所述当前脚本内容中的位置信息进行标记，其中，所述位置信息包括所述字符所在行号及从行左侧至行右侧对应的行内字符编号；根据所述当前脚本内容中各字符对应的标记，逐行获取所述当前脚本内容中每一行字符内容，作为单元对比行，以整个所述初始脚本内容作为参照文本；从所述参照文本中识别出每一个所述单元对比行对应的脚本内容，并在所述参照文本内为所述脚本内容设置标记；获取所述参照文本内未被标记的脚本内容，即本次批处理过程中未使用的配置文本段。

步骤204，基于所述配置文本段对进行批处理的任务逻辑进行优化调整，其中，所述进行批处理的任务逻辑为预先在任务批处理对应的任务执行端部署的批处理源执行程序。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，一般情况下，初始配置文件对应的进行批处理的任务逻辑较为全面，代码量较大，在执行时，无执行太多对本次批处理无用的逻辑，当前配置文件对应的进行本次批处理的任务逻辑相对较少，代码量相比较少，此时，优化调整进行批处理的任务逻辑，避免本次批处理时执行无用的任务逻辑，减少一定的批处理时间。

本实施例中，在所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤之前，所述方法还包括：预先为所述初始脚本内容和所述进行批处理的任务逻辑设置调用关系，其中，所述进行批处理的任务逻辑用于以相应的费用变更信息为参数执行对应的费用信息更新任务；将所述调用关系以表单形式持久化缓存至预设存储库。

本实施例中，所述调用关系指执行对应关系，即所述初始脚本内容中每一行脚本内容在所述进行批处理的任务逻辑中都对应有相应的执行方法。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，通过预先为初始脚本内容和所述进行批处理的任务逻辑设置调用关系，保证在对进行批处理的任务逻辑进行优化调整时，通过所述调用关系，快速定位本次未使用的任务逻辑。

本实施例中，所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤，具体包括：读取所述存储库，获取所述配置文本段对应的调用关系；基于所述调用关系，筛选出所述批处理的任务逻辑中未被启用的任务逻辑；基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态。

继续参考图4，图4是图2所示步骤204的一种具体实施方式的流程图，包括步骤：

步骤401，读取所述存储库，获取所述配置文本段对应的调用关系；

步骤402，基于所述调用关系，筛选出所述批处理的任务逻辑中未被启用的任务逻辑；

步骤403，基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态。

本实施例中，所述任务调用状态码包括可调用状态和不可调用状态，分别用码值“0”和码值“1”进行区别表示，假设所述批处理的任务逻辑对应的所述任务调用状态码的初始态码值都为“0”，即可调用状态，当基于所述调用关系，筛选出所述批处理的任务逻辑中未被启用的任务逻辑之后，将所述未被启用的任务逻辑对应的所述任务调用状态码由初始态码值“0”置为码值“1”，即将所述未被启用的任务逻辑设置为不可调用状态。

本实施例中，所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤之前，所述方法还包括：根据任务逻辑是否被调用预先设置区别状态码，其中，所述区别状态码中包括调用状态码和不调用状态码；

本实施例中，所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤，具体包括：将所述未被启用的任务逻辑对应的区别状态码设置为不调用状态码。

继续参考图5，图5是图4所示步骤403的一种具体实施方式的流程图，包括步骤：

步骤501，根据任务逻辑是否被调用预先设置区别状态码，其中，所述区别状态码中包括调用状态码和不调用状态码；

步骤502，将所述未被启用的任务逻辑对应的区别状态码设置为不调用状态码。

通过设置区别状态码的方式，将本次未使用的任务逻辑设置为不可调用状态，避免本次批处理任务调用对应的代码逻辑。

步骤205，获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，通过将所述任务逻辑和所述当前配置文件部署到m个批处理系统，完成集群搭建，使用多个系统同时执行批处理任务，一定程度上减少了批处理时间和避免了单个系统执行批处理任务时服务压力过大的问题。

步骤206，根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理。

继续以保险跟单费用进行区域性汇总计算时，分别计算各个省份每个季度保险总理赔数额和保险新签订费用总额为例，通过对若干条费用变更信息进行分片处理，将分片后的费用变更信息分别传入不同批处理系统进行任务处理，进一步的减少了批处理时间和避免了单个系统执行批处理任务时服务压力过大的问题。

本实施例中，所述根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理的步骤，具体包括：对获取的每一条费用变更信息设置序号，其中，所述序号为正整数，且所述序号小于等于n；基于预设取模公式：b＝a％m，对所述n条费用变更信息进行分片处理，获取每一条费用变更信息对应的分片号，其中，m为所述批处理系统的总个数，a为当前条费用变更信息对应的序号，b为模值，即序号为a的当前条费用变更信息对应的分片号；以所述分片号为集合标识，构建费用变更信息集合；将相同分片号的单条费用变更信息作为集合元素缓存到对应的费用变更信息集合内。

假设进行批处理的系统个数为5个，即m＝5，为定值，待进行批处理的费用变更信息数量不确定为不定值，即n可以为41、344、999，以n＝41为例，为了将这41条费用变更信息分配给上述5个批处理系统进行处理，采用取模公式b＝a％5，对所述41条费用变更信息进行分片处理，将其分为5份，即每一份对应一个批处理系统，先获取第1条费用变更信息，其编号为1，即b＝1％5＝1，再获取第2条费用变更信息，其编号为2，即b＝2％5＝2，如此循环，获取第6条费用变更信息，其编号为6，即b＝6％5＝1，直到获取到第41条费用变更信息，其编号为41，即b＝41％5＝1，这样，b的取值，即模值的取值可以为0、1、2、3、4，将所述模值作为分片号，将编号为1、6、11、16、21、26、31、36、41的费用变更信息，即将模值为1的各费用变更信息放入分片号为1对应的集合内，同理，将编号为2、7、12、17、22、27、32、37的费用变更信息，即将模值为2的各费用变更信息放入分片号为2对应的集合内，将编号为3、8、13、18、23、28、33、38的费用变更信息，即将模值为3的各费用变更信息放入分片号为3对应的集合内，将编号为4、9、14、19、24、29、34、39的费用变更信息，即将模值为4的各费用变更信息放入分片号为4对应的集合内，将编号为5、10、15、20、25、30、35、40的费用变更信息，即将模值为0的各费用变更信息放入分片号为0对应的集合内。

继续参考图6，图6是图2所示步骤206的一种具体实施方式的流程图，包括步骤：

步骤601，对获取的每一条费用变更信息设置序号，其中，所述序号为正整数，且所述序号小于等于n；

步骤602，基于预设取模公式：b＝a％m，对所述n条费用变更信息进行分片处理，获取每一条费用变更信息对应的分片号，其中，m为所述批处理系统的总个数，a为当前条费用变更信息对应的序号，b为模值，即序号为a的当前条费用变更信息对应的分片号；

步骤603，以所述分片号为集合标识，构建费用变更信息集合；

步骤604，将相同分片号的单条费用变更信息作为集合元素缓存到对应的费用变更信息集合内。

通过将批处理系统的数量作为定值，将费用变更信息的数量作为不定值，通过预设取模公式，获取所述不定值与所述定值的模值，通过对每条费用变更信息设置序号，获取其对应的模值，将相同模值的费用变更信息放入同一个集合，对应相对应的批处理系统，便于批处理系统按照分片处理结果执行分片后的费用变更信息。

步骤207，解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务。

本实施例中，所述解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务的步骤，具体包括：解析所述费用变更信息集合内的不同集合元素，并在解析之后，为每一条解析结果分配相对应的集合标识；对所述m个批处理系统设置区别编号，其中，所述区别编号为大于等于0的整数，且取值范围为[0,m)；获取与所述区别编号相同的集合标识所对应的每一条解析结果，并将所述每一条解析结果按条作为方法执行参数输入所述区别编号对应的批处理系统执行批处理任务。

继续参考图7，图7是图2所示步骤207的一种具体实施方式的流程图，包括步骤：

步骤701，解析所述费用变更信息集合内的不同集合元素，并在解析之后，为每一条解析结果分配相对应的集合标识；

步骤702，对所述m个批处理系统设置区别编号，其中，所述区别编号为大于等于0的整数，且取值范围为[0,m)；

步骤703，获取与所述区别编号相同的集合标识所对应的每一条解析结果，并将所述每一条解析结果按条作为方法执行参数输入所述区别编号对应的批处理系统执行批处理任务。

本申请通过接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，用取模方式对所有费用变更信息进行分片处理，使得各费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例中，可通过大数据处理技术从不同数据源获取所有费用变更信息，也可以通过分布式存储的方式存储分片处理后的费用变更信息，保证在获取所有费用变更信息和存储分片处理后的各条费用变更信息的便捷性和效率性。

进一步参考图8，作为对上述图2所示方法的实现，本申请提供了一种任务批处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，本实施例所述的任务批处理装置800包括：请求接收模块801、配置获取模块802、筛选识别模块803、优化调整模块804、集群部署模块805、数据分片模块806和任务执行模块807。其中：

请求接收模块801，用于接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数；

配置获取模块802，用于读取目标数据库，获取批处理的初始配置文件和当前配置文件，其中，所述目标数据库中包括批处理的初始配置文件和当前配置文件；

筛选识别模块803，用于基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段；

优化调整模块804，用于基于所述配置文本段对进行批处理的任务逻辑进行优化调整；

集群部署模块805，用于获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数；

数据分片模块806，用于根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理；

任务执行模块807，用于解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为参数输入所述m个批处理系统执行批处理任务。

本申请通过接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，用取模方式对所有费用变更信息进行分片处理，使得各费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。

所述计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有组件91-93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器91至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器91可以是所述计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，所述存储器91也可以是所述计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，所述存储器91通常用于存储安装于所述计算机设备9的操作系统和各类应用软件，例如任务批处理方法的计算机可读指令等。此外，所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备9的总体操作。本实施例中，所述处理器92用于运行所述存储器91中存储的计算机可读指令或者处理数据，例如运行所述任务批处理方法的计算机可读指令。

所述网络接口93可包括无线网络接口或有线网络接口，该网络接口93通常用于在所述计算机设备9与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，属于大数据技术领域。本申请通过接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，用取模方式对所有费用变更信息进行分片处理，使得各费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被处理器执行，以使所述处理器执行如上述的任务批处理方法的步骤。

本实施例提出的计算机可读存储介质，属于大数据技术领域。本申请通过接收批处理请求；获取配置文件；识别本次批处理未使用的配置文本段；对批处理任务逻辑进行优化调整；将优化调整后的任务逻辑和配置文件部署到若干批处理系统；对费用变更信息进行分片处理；解析各条费用变更信息，将解析结果作为方法执行参数执行批处理任务。本申请通过配置文件对任务逻辑进行优化调整，用取模方式对所有费用变更信息进行分片处理，使得各费用变更信息分配到各对应的批处理系统，实现对任务批处理进行优化，提高批处理效率，保证合理利用服务器资源，避免因批处理事件导致系统崩溃的情况发生。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种任务批处理方法，其特征在于，包括下述步骤：

接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数；

读取配置文件数据库，并根据目标配置文件的区别缓存标识，获取批处理的初始配置文件和当前配置文件，其中，所述配置文件数据库中缓存有目标配置文件，所述目标配置文件包括批处理的初始配置文件和批处理的当前配置文件，所述批处理的初始配置文件和所述批处理的当前配置文件预设有区别缓存标识；

基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段；

基于所述配置文本段对进行批处理的任务逻辑进行优化调整，其中，所述进行批处理的任务逻辑为预先在任务批处理对应的任务执行端部署的批处理源执行程序；

获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数；

根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理；

解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务。

2.根据权利要求1所述的任务批处理方法，其特征在于，所述基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段的步骤，具体包括：

解析所述初始配置文件，获取初始脚本内容；

解析所述当前配置文件，获取当前脚本内容；

根据所述初始脚本内容和当前脚本内容，筛选出本次批处理任务执行时，当前配置文件中未使用的脚本内容作为本次批处理过程中未使用的配置文本段。

3.根据权利要求1所述的任务批处理方法，其特征在于，在所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤之前，所述方法还包括：

预先为所述初始脚本内容和所述进行批处理的任务逻辑设置调用关系，其中，所述进行批处理的任务逻辑用于以相应的费用变更信息为参数执行对应的费用信息更新任务；

将所述调用关系以表单形式持久化缓存至预设存储库。

4.根据权利要求3所述的任务批处理方法，其特征在于，所述基于所述配置文本段对进行批处理的任务逻辑进行优化调整的步骤，具体包括：

读取所述存储库，获取所述配置文本段对应的调用关系；

基于所述调用关系，筛选出所述批处理的任务逻辑中未被启用的任务逻辑；

基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态。

5.根据权利要求4所述的任务批处理方法，其特征在于，所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤之前，所述方法还包括：

根据任务逻辑是否被调用预先设置区别状态码，其中，所述区别状态码中包括调用状态码和不调用状态码；

所述基于预设任务调用状态码，将所述未被启用的任务逻辑设置为不可调用状态的步骤，具体包括：

将所述未被启用的任务逻辑对应的区别状态码设置为不调用状态码。

6.根据权利要求1所述的任务批处理方法，其特征在于，所述根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理的步骤，具体包括：

对获取的每一条费用变更信息设置序号，其中，所述序号为正整数，且所述序号小于等于n；

基于预设取模公式：b＝a％m，对所述n条费用变更信息进行分片处理，获取每一条费用变更信息对应的分片号，其中，m为所述批处理系统的总个数，a为当前条费用变更信息对应的序号，b为模值；

以所述分片号为集合标识，构建费用变更信息集合；

将相同分片号的单条费用变更信息作为集合元素缓存到对应的费用变更信息集合内。

7.根据权利要求6所述的任务批处理方法，其特征在于，所述解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务的步骤，具体包括：

解析所述费用变更信息集合内的不同集合元素，并在解析之后，为每一条解析结果分配相对应的集合标识；

对所述m个批处理系统设置区别编号，其中，所述区别编号为大于等于0的整数，且取值范围为[0,m)；

获取与所述区别编号相同的集合标识所对应的每一条解析结果，并将所述每一条解析结果按条作为方法执行参数输入所述区别编号对应的批处理系统执行批处理任务。

8.一种任务批处理装置，其特征在于，包括：

请求接收模块，用于接收费用变更对应的批处理请求，其中，所述批处理请求中包括待进行批处理的n条费用变更信息的提取地址，n为正整数；

配置获取模块，用于读取配置文件数据库，并根据目标配置文件的区别缓存标识，获取批处理的初始配置文件和当前配置文件，其中，所述配置文件数据库中缓存有目标配置文件，所述目标配置文件包括批处理的初始配置文件和批处理的当前配置文件，所述批处理的初始配置文件和所述批处理的当前配置文件预设有区别缓存标识；

筛选识别模块，用于基于预设筛选规则，从所述初始配置文件中识别出本次批处理过程中未使用的配置文本段；

优化调整模块，用于基于所述配置文本段对进行批处理的任务逻辑进行优化调整，其中，所述进行批处理的任务逻辑为预先在任务批处理对应的任务执行端部署的批处理源执行程序；

集群部署模块，用于获取进行优化调整之后的所述任务逻辑，并将所述任务逻辑和所述当前配置文件部署到m个批处理系统，其中，m为所述批处理系统的总个数，m为正整数；

数据分片模块，用于根据所述提取地址获取所述n条费用变更信息，并使用预设分片规则，对所述n条费用变更信息进行分片处理；

任务执行模块，用于解析分片处理之后的各条费用变更信息，并基于所述分片规则将解析结果作为方法执行参数输入所述m个批处理系统执行批处理任务。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的任务批处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的任务批处理方法的步骤。

Images