CN111967855A - 业务数据处理的方法及装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种业务数据的处理方法及装置，设备及计算机可读存储介质，包括，对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组，再将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对第一业务数据和获取的第二业务数据进行处理。所以，本方案相当于采用多个节点分别对相关联的第一业务数据和第二业务数据进行数据处理，所以在业务量较大的情况下，可以通过多个节点共同处理业务数据，从而达到减少业务处理时长，提高处理效率的目的。

Description

业务数据处理的方法及装置、设备及计算机可读存储介质

技术领域

本申请涉及电子信息领域，尤其涉及一种业务数据处理的方法装置、设备及计算机可读存储介质。

背景技术

随着经济的发展，企业的业务量越来越大，业务的处理效率不仅和企业客户的用户体验相关，也和企业的运营收益相关，所以企业越来越重视业务处理的效率。

目前，通常是通过计算机节点自动化的进行业务数据的批量处理，但在业务量较大的情况下，业务处理时间长，业务处理效率低，所以如何提高处理业务的效率成为了亟待解决的问题。

发明内容

发明人研究发现，各个待处理的业务文件中，通常会存在一个主要文件，而其他的文件是基于该主要文件所产生的一系列关联文件，例如，主要文件为贷款文件，则所产生的一系列文件为还款计划文件、和贷款流水文件等，主要文件中的业务数据与关联文件中的业务数据之间存在关联关系。业务数据的批量处理，是对各个待处理的业务文件中具有关联关系的业务数据一同进行处理，鉴于此，本申请基于各个待处理的业务文件之间的关联关系，提供了一种业务数据处理方法及装置，目的在于解决如何在业务数据量较大的情况下，提高业务数据处理效率的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种业务数据处理的方法，包括：

确定待处理的多个业务文件；所述多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个所述第二业务文件为依据所述第一业务文件所产生的文件；所述第一业务文件包括第一业务数据，所述第二业务文件包括与所述第一业务数据关联的第二业务数据；

对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组；

将所述多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从所述消息队列中获取所述第一业务数据组，并从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，对得到的所述第一业务数据和所述第二业务数据进行处理。

上述的方法，可选的，任意一个所述业务文件中包括的业务数据存储于预先创建的临时表中。

上述的方法，可选的，所述对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组，包括：

针对每个所述第一业务数据，利用所述第一业务数据预设的业务数据编码对目标数值进行取模计算，所述目标数值为所述节点的总数；任意两个所述第一业务数据的所述业务数据编码不同；

将所述取模计算得到的余数作为所述第一业务数据的编号；

将所述编号相同的所有所述第一业务数据，作为同一个所述第一业务数据组的数据。

上述的方法，可选的，所述节点从所述消息队列中获取所述第一业务数据组，包括：

所述节点依据所述第一业务数据组的分配编号，从所述消息队列中获取与所述节点对应的所述第一业务数据组，所述第一业务数据组与所述节点对应为：所述第一业务数据组的所述分配编号与所述节点预设的节点编号相同；所述第一业务数据组的所述分配编号为所述第一业务数据组中包括的所述第一业务数据的所述编号。

上述的方法，可选的，所述节点从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，包括：

所述节点依据所述第一业务数据中包括的标识码，从所述第二业务文件中获取标识码与所述第一业务数据的标识码相同的所述第二业务数据，所述第二业务数据的标识码与所述第一业务数据的标识码相同，表征所述第二业务数据与所述第一业务数据关联。

一种业务数据处理的装置，包括：

确定单元，用于确定待处理的多个业务文件；所述多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个所述第二业务文件为依据所述第一业务文件所产生的文件；所述第一业务文件包括第一业务数据，所述第二业务文件包括与所述第一业务数据关联的第二业务数据；

分组单元，用于对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组；

发送单元，用于将所述多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从所述消息队列中获取所述第一业务数据组，并从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，对得到的所述第一业务数据和所述第二业务数据进行处理。

上述的装置，可选的，任意一个所述业务文件中包括的业务数据存储于预先创建的临时表中。

上述的装置，可选的，所述分组单元用于对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组，包括，所述分组单元具体用于：

针对每个所述第一业务数据，利用所述第一业务数据预设的业务数据编码对目标数值进行取模计算，所述目标数值为所述节点的总数；任意两个所述第一业务数据的所述业务数据编码不同；

将所述取模计算得到的余数作为所述第一业务数据的编号；

将所述编号相同的所有所述第一业务数据，作为同一个所述第一业务数据组的数据。

一种设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的业务数据处理的方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的业务数据处理的方法。

本申请所述的方法及装置，对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组，再将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对第一业务数据和获取的第二业务数据进行处理。所以，本方案相当于采用多个节点分别对相关联的第一业务数据和第二业务数据进行数据处理，所以在业务量较大的情况下，可以通过多个节点共同处理业务数据，从而达到减少业务处理时长，提高处理效率的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种业务数据处理的方法的流程图；

图2为本申请实施例提供的另一种业务数据处理的方法的流程图；

图3为本申请实施例提供的一种业务处理装置的结构示意图；

图4为本申请实施例提供的一种设备的结构示意图。

具体实施方式

目前，企业的各种业务都是采用计算机节点进行自动化的业务数据批量处理，但是，在业务量较大的情况下，业务处理时间长，效率低，所以如何提高处理业务的效率成为了亟待解决的问题。

为解决上述问题，本申请提供一种业务数据的处理方法，基于待处理的业务数据之间存在的关联关系，采用多节点对存在关联关系的业务数据进行批量处理，从而实现减少业务处理时长，提高处理效率的目的。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施提供的方法，执行主体可以是具有业务处理功能的服务器。

图1为本申请实施例提供的一种业务数据处理的方法，可以包括以下步骤：

S101、确定待处理的多个业务文件。

本步骤的具体实施方式可以是，将运行于服务器的业务处理系统所生产的业务文件，作为待处理的业务文件；也可以是，将接收到的业务人员上传的业务文件，作为待处理的多个业务文件；还可以是，将接收到的其他服务器的业务处理系统所产生的业务文件，作为待处理的业务文件。

多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个第二业务文件为依据第一业务文件所产生的文件；例如，第一业务文件为贷款文件，则所产生的一系列的第二业务文件可以是还款计划文件、和贷款流水文件等。

第一业务文件包括第一业务数据，第二业务文件包括第二业务数据。第二业务文件是依据第一业务文件所产生文件，也就是说，第二业务文件中包括的第二业务是依据第一业务文件中包括的第一业务数据产生的，所以，第二业务数据与第一业务数据关联。

S102、对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组。

需要说明的是，每个第一业务数据组都具有分配编号，第一业务数据组的分配编号为第一业务数据组中包括的第一业务数据的编号，其中，第一业务数据组中，每条第一业务数据的编号相同。第一业务数据的编号依据第一业务数据预设的业务数据编码得到。本步骤的具体实施方式可以参考图2所示的流程图。

S103、将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对第一业务数据和获取的第二业务数据进行处理。

预设的每个节点从消息队列中获取第一业务数据组，具体为：各个节点依据第一业务数据组的分配编号，从消息队列中获取与节点对应的第一业务数据组。其中，第一业务数据组与节点对应为：第一业务数据组的分配编号与节点预设的节点编号相同。例如，第一数据组的分配编号为“1”，节点的预设的节点编号也是“1”，则第一业务数据组与该节点对应。

节点从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，具体为：节点依据第一业务数据中包括的标识码，从第二业务文件中获取标识码与第一业务数据的标识码相同的第二业务数据。

本实施例中，第一业务文件中包括的每条第一业务数据都具有标识码，且任意两条第一业务数据的标识码不同。每个第二业务文件中包括的每条的第二业务数据也都具有标识码，第二业务数据的标识码与第一业务数据的标识码可以相同。第二业务数据的标识码与第一业务数据的标识码相同，表征第二业务数据与第一业务数据关联。

任意一条第一业务数据可以存在多条与该第一业务数据关联的第二业务数据，且关联的多条第二业务数据可以分布在不同的第二业务文件中，当然也可以分布在同一个第二业务文件中。

本实施例中，节点对获取得到的第一业务数据和第二业务数据进行处理，可以是节点依据预设的数据处理规则进行数据的批量处理，用户可以根据不同的业务场景，结合需求自行设定数据处理规则。

本实施例提供的方法，对第一业务文件的所有第一业务数据进行分组，得到多个第一业务数据组，再将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对第一业务数据和获取的第二业务数据进行处理。所以，本方案相当于采用多个节点分别对相关联的第一业务数据和第二业务数据进行数据处理，所以在业务量较大的情况下，可以通过多个节点共同处理业务数据，从而达到减少业务处理时长，提高处理效率的目的。

进一步的，本实施例中，服务器将第一业务数据组发送至消息队列，可以使服务器与各个节点解耦，服务器只需将数据发送至消息队列，与节点从消息队列获取数据无关，所以节点在无需向服务器请求获取数据的情况下，可直接从消息队列获取数据，从而可以有效的减少服务器与节点进行信息交互而带来的工作负荷。另外，节点可以根据自身的处理能力从消息队列中获取对应的数据，获取消息队列的消息由节点自身控制，所以节点不会出现因为数据处理能力不足而导致宕机的情况。

进一步的，因为节点从消息队列获取的第一业务数据组的分配编号与节点的编号相同，而第一业务数据组的分配编号为第一业务数据组中包括的第一业务数据的编号，第一业务数据组中，每条第一业务数据的编号相同，所以，在后期可以依据第一业务数据的编号，查找出第一业务数据被分配至的节点，即可以追溯第一业务数据的分配情况。

上述实施例中，需要说明的是，各个节点获取第一业务数据组还可以是：服务器依据第一数据组的分配编号，将第一业务数据组分配至节点编号与第一业务数据组的分配编号相同的节点。

上述实施例中，需要说明的是，任意一个业务文件中包括的业务数据可以存储于预先创建的临时表，进一步的，一个业务文件可以对应存放于一个临时表。对第一业务文件的第一业务数据进行分组可以是对临时表中的第一业务数进行分组。节点获取与第一业务数据关联的第二业务数据，为从临时表中获取与第一业务数据关联的第二业务数据。

图2为上述实施例中对第一业务文件的第一业务数据进行分组的具体实施方式，可以包括以下步骤：

S201、针对每个第一业务数据，利用第一业务数据预设的业务数据编码对目标数值进行取模计算。

目标数值为预设节点的总数。第一业务数据预设的业务数据编码为第一业务分配的身份编码，任意两个第一业务数据的业务数据编码不同。

例如，第一业务数据预设的业务数据编码为113，目标数值为10，113对10进行取模计算，则商为10，余数为3。

S202、将取模计算得到的余数作为第一业务数据的编号。

本步骤中，因为目标数值为预设节点的总数，所以可以确保任意一个余数为小于预设节点的总数的整数。所以，将余数作为第一业务数据的编号，则第一业务数据的编号为小于预设节点的总数的整数。

因为任意两个第一业务数据的业务数据编码不同，所以取模计算得到的余数可以是不同的，所以第一业务数据的编号可以是不同的，当然也存在第一业务数据的业务数据编码不同，但编号相同的情况，例如，两个第一业务数据的业务数据编码分别为101和201，目标数值为10，则余数都是1，即第一业务数据的编号都是1。

S203、将编号相同的所有第一业务数据，作为同一个第一业务数据组的数据。

本步骤中，因为第一业务数据的编号为小于预设节点的总数的整数，所以最后得到的第一业务数据组的总组数可以等于预设节点的总数。

本方案中，利用第一业务数据的编号不同，将第一业务数据分配到不同的第一业务数据组中，使各个节点通过从消息队列中获取对应第一业务数据组，从而可以实现将第一业务数据分配至不同的节点的目的。

图3为本申请实施例提供的一种业务数据处理的装置300，包括：

确定单元301，用于确定待处理的多个业务文件；多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个第二业务文件为依据所述第一业务文件所产生的文件；第一业务文件包括第一业务数据，第二业务文件包括与第一业务数据关联的第二业务数据；

分组单元302，用于对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组；

发送单元303，用于将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取所述第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对得到的第一业务数据和第二业务数据进行处理。

可选的，任意一个所述业务文件中包括的业务数据存储于预先创建的临时表中。

可选的，分组单元302用于对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组的具体实现方式为：

针对每个第一业务数据，利用第一业务数据预设的业务数据编码对目标数值进行取模计算，目标数值为所述节点的总数；任意两个所述第一业务数据的所述业务数据编码不同；

将取模计算得到的余数作为第一业务数据的编号；

将编号相同的所有第一业务数据，作为同一个第一业务数据组的数据。

可选的，节点从消息队列中获取所述第一业务数据组，包括：节点依据所述第一业务数据组的分配编号，从消息队列中获取与节点对应的第一业务数据组，第一业务数据组与所述节点对应为：第一业务数据组的分配编号与节点预设的节点编号相同；第一业务数据组的分配编号为第一业务数据组中包括的第一业务数据的编号。

节点从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，包括：

可选的，节点依据所述第一业务数据中包括的标识码，从第二业务文件中获取标识码与第一业务数据的标识码相同的第二业务数据，第二业务数据的标识码与第一业务数据的标识码相同，表征第二业务数据与第一业务数据关联。

本申请所述的装置，对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组，再将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对第一业务数据和获取的第二业务数据进行处理。所以，本方案相当于采用多个节点分别对相关联的第一业务数据和第二业务数据进行数据处理，所以在业务量较大的情况下，可以通过多个节点共同处理业务数据，从而达到减少业务处理时长，提高处理效率的目的。

本申请还提供了一种设备400，其结构示意图如图4所示，包括：处理器401和存储器402，存储器402用于存储应用程序，处理器401用于执行应用程序，以实现本申请的业务数据处理的方法，即执行以下步骤：

确定待处理的多个业务文件；多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个第二业务文件为依据所述第一业务文件所产生的文件；第一业务文件包括第一业务数据，第二业务文件包括与第一业务数据关联的第二业务数据；

对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组；

将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取所述第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对得到的第一业务数据和第二业务数据进行处理。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执本申请的业务数据处理的方法，即执行以下步骤：

确定待处理的多个业务文件；多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个第二业务文件为依据所述第一业务文件所产生的文件；第一业务文件包括第一业务数据，第二业务文件包括与第一业务数据关联的第二业务数据；

对第一业务文件的第一业务数据进行分组，得到多个第一业务数据组；

将多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从消息队列中获取所述第一业务数据组，并从第二业务文件中获取与得到的第一业务数据关联的第二业务数据，对得到的第一业务数据和第二业务数据进行处理。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种业务数据处理的方法，其特征在于，包括：

确定待处理的多个业务文件；所述多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个所述第二业务文件为依据所述第一业务文件所产生的文件；所述第一业务文件包括第一业务数据，所述第二业务文件包括与所述第一业务数据关联的第二业务数据；

对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组；

将所述多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从所述消息队列中获取所述第一业务数据组，并从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，对得到的所述第一业务数据和所述第二业务数据进行处理。

2.根据权利要求1所述的方法，其特征在于，任意一个所述业务文件中包括的业务数据存储于预先创建的临时表中。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组，包括：

针对每个所述第一业务数据，利用所述第一业务数据预设的业务数据编码对目标数值进行取模计算，所述目标数值为所述节点的总数；任意两个所述第一业务数据的所述业务数据编码不同；

将所述取模计算得到的余数作为所述第一业务数据的编号；

将所述编号相同的所有所述第一业务数据，作为同一个所述第一业务数据组的数据。

4.根据权利要求3所述的方法，其特征在于，所述节点从所述消息队列中获取所述第一业务数据组，包括：

所述节点依据所述第一业务数据组的分配编号，从所述消息队列中获取与所述节点对应的所述第一业务数据组，所述第一业务数据组与所述节点对应为：所述第一业务数据组的所述分配编号与所述节点预设的节点编号相同；所述第一业务数据组的所述分配编号为所述第一业务数据组中包括的所述第一业务数据的所述编号。

5.根据权利要求1所述的方法，其特征在于，所述节点从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，包括：

所述节点依据所述第一业务数据中包括的标识码，从所述第二业务文件中获取标识码与所述第一业务数据的标识码相同的所述第二业务数据，所述第二业务数据的标识码与所述第一业务数据的标识码相同，表征所述第二业务数据与所述第一业务数据关联。

6.一种业务数据处理的装置，其特征在于，包括：

确定单元，用于确定待处理的多个业务文件；所述多个业务文件中，包括第一业务文件和至少一个第二业务文件，任意一个所述第二业务文件为依据所述第一业务文件所产生的文件；所述第一业务文件包括第一业务数据，所述第二业务文件包括与所述第一业务数据关联的第二业务数据；

分组单元，用于对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组；

发送单元，用于将所述多个第一业务数据组，发送至预设的消息队列，以触发预设的每个节点从所述消息队列中获取所述第一业务数据组，并从所述第二业务文件中获取与得到的所述第一业务数据关联的所述第二业务数据，对得到的所述第一业务数据和所述第二业务数据进行处理。

7.根据权利要求6所述的装置，其特征在于，任意一个所述业务文件中包括的业务数据存储于预先创建的临时表中。

8.根据权利要求6所述的装置，其特征在于，所述分组单元用于对所述第一业务文件的所述第一业务数据进行分组，得到多个第一业务数据组，包括，所述分组单元具体用于：

针对每个所述第一业务数据，利用所述第一业务数据预设的业务数据编码对目标数值进行取模计算，所述目标数值为所述节点的总数；任意两个所述第一业务数据的所述业务数据编码不同；

将所述取模计算得到的余数作为所述第一业务数据的编号；

将所述编号相同的所有所述第一业务数据，作为同一个所述第一业务数据组的数据。

9.一种设备，其特征在于，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现权利要求1-5任一项所述的业务数据处理的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-5任一项所述的业务数据处理的方法。

Images