CN111209283A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法及装置，获取与待处理任务关联的各个源数据表，根据各个源数据表中每个源数据所属的参与方，拆分各个源数据表，得到各个参与方对应的中间数据表，从各个参与方对应的中间数据表中确定出待处理任务对应的待映射的中间数据表，使用待处理任务对应的映射模板对待映射的中间数据表进行映射，得到待处理任务对应的数据文件。通过设置待处理任务对应的映射模板，可以直接调用映射模板将待映射的中间数据表映射为数据源文件，而无需针对于每个参与方定制开发对应的初始数据表，操作更为简单，数据处理的效率较高。

Description

一种数据处理方法及装置

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而，由于金融行业的安全性、实时性要求，金融行业也对技术提出了更高的要求。在金融行业中，多个参与方可以联合完成同一业务，若某一参与方想联合其它参与方中的业务数据进行建模等操作，则通常需要获取其它参与方中的业务数据。然而，各个参与方中的业务数据存在不同的存储形式，如何准确地获取到满足参与方需求的业务数据，对于参与方的建模操作是极为重要的。

现阶段通常采用定制开发的方式获取满足参与方需求的业务数据，比如先根据参与方的需求设置该参与方对应的初始数据表，再分别遍历每个参与方的业务数据得到该参与方所需的业务数据，将这些业务数据放置在初始数据表中，得到目标数据表并发送给该参与方。然而，该种方式存在的问题是：定制开发的方式需要针对于每个参与方设置对应的初始数据表，并需要针对于每个参与方执行一次遍历各个参与方的业务数据的操作，操作较为复杂，数据处理的效率较低。

综上，目前亟需一种数据处理方法，用以解决现有技术采用定制开发的方式得到每个参与方的目标数据表所导致的数据处理的效率低的技术问题。

发明内容

本发明实施例提供一种数据处理方法及装置，用以解决现有技术采用定制开发的方式得到每个参与方的目标数据表所导致的数据处理的效率低的技术问题。

第一方面，本发明实施例提供的一种数据处理方法，包括：

获取与待处理任务关联的各个源数据表，根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表，从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

本发明实施例中，通过设置待处理任务对应的映射模板，可以直接调用该映射模板将待映射的中间数据表映射为数据源文件，而无需针对于每个参与方定制开发对应的初始数据表，从而操作更为简单，数据处理的效率较高；且，通过从各个源数据表中拆分得到每个参与方对应的中间数据表，可以直接根据待处理任务的映射关系获取对应参与方的中间数据表进行映射操作，而无需针对于每个参与方都执行对各个源数据表的遍历操作，降低无用的资源消耗，进一步提高数据处理的效率。

在一种可能的实现方式中，所述方法应用于数据处理设备，所述数据处理设备与各个应用服务器连接；所述获取与所述待处理任务关联的各个源数据表，包括：根据各个应用服务器的业务关联性，从所述各个应用服务器中确定出执行所述待处理任务对应的业务的各个目标应用服务器，从所述各个目标应用服务器中获取所述业务对应的所述各个源数据表。

在上述实现方式中，通过使用数据处理设备执行数据处理操作，而不使用应用服务器来执行数据处理操作，可以减低应用服务器的资源消耗，将正常应用业务与数据处理过程进行解耦，提高数据处理的效率，降低数据处理对正常应用业务的影响。

在一种可能的实现方式中，所述根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表，包括：使用所述各个源数据表中属于同一类型的源数据构建得到所述类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在所述类型下的源数据；进一步地，针对于任一参与方，从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表。

在一种可能的实现方式中，所述从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表，包括：其中，在拆分任一源数据时，确定所述源数据所属的参与方，若已存在所述参与方在所述类型下的分区，则将所述源数据放置在所述参与方在所述类型下的分区中，若不存在所述参与方在所述类型下的分区，则先创建所述参与方在所述类型下的分区，再将所述源数据放置在所述参与方在所述类型下的分区中。

在上述实现方式中，通过采用动态分区的方式从通用中间表中拆分得到各个参与方的中间数据表，使得通过对通用中间表的一次遍历操作即可得到各个参与方对应的中间数据表，从而无需针对于每个参与方执行对各个源数据表的遍历操作，降低资源损耗和开发成本，提高数据处理的效率。

在一种可能的实现方式中，所述使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，包括：当所述待映射的中间数据表包括一个时，若所述映射模板中包括字典映射，则从所述待映射的中间数据表中获取所述字典映射的原字段，并将所述原字段映射为所述字典映射的更新字段；相应地，若所述映射模板中包括字段映射，则从所述待映射的中间数据表中获取位于所述字段映射的原位置处的字段，将所述字段的位置映射为所述字段映射的更新位置；相应地，若所述映射模板中包括类型映射，则从所述待映射的中间数据表中获取所述类型映射的原类型对应的字段，将所述字段的类型映射为所述类型映射的更新类型。

在上述实现方式中，通过预先在映射模板中设置映射方式，能够直接调用映射模板中的映射方式对待映射的中间数据表进行映射，得到数据文件，而无需先创建映射数据表，再分发映射数据表，从而可以节省内存占用，保证了在出库时进行映射，降低系统的内存损耗。

在一种可能的实现方式中，所述使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，包括：当所述待映射的中间数据表包括两个或两个以上时，先合并各个待映射的中间数据表得到映射视图表，再使用所述待处理任务对应的映射模板对所述映射视图表进行映射；其中，所述映射视图表中包括每个待映射的中间数据表中的数据。

在上述实现方式中，当存在多个待映射的中间数据表时，通过设置映射视图表，而不设置实际的逻辑表，能够节省内存占用，降低系统损耗；且，通过为待映射的多个中间数据表建立关联关系，可以直接根据关联关系处理待映射的中间数据表，提高操作的灵活性。

第二方面，本发明实施例提供的一种数据处理装置，所述装置包括：

获取模块，用于获取与待处理任务关联的各个源数据表；

拆分模块，用于根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表；

映射模块，用于从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

在一种可能的实现方式中，所述获取模块具体用于：根据各个应用服务器的业务关联性，从所述各个应用服务器中确定出执行所述待处理任务对应的业务的各个目标应用服务器，从所述各个目标应用服务器中获取所述业务对应的所述各个源数据表。

在一种可能的实现方式中，所述拆分模块具体用于：使用所述各个源数据表中属于同一类型的源数据构建得到所述类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在所述类型下的源数据；进一步地，针对于任一参与方，从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表。

在一种可能的实现方式中，所述拆分模块具体用于：其中，在拆分任一源数据时，确定所述源数据所属的参与方，若已存在所述参与方在所述类型下的分区，则将所述源数据放置在所述参与方在所述类型下的分区中，若不存在所述参与方在所述类型下的分区，则先创建所述参与方在所述类型下的分区，再将所述源数据放置在所述参与方在所述类型下的分区中。

在一种可能的实现方式中，所述映射模块具体用于：当所述待映射的中间数据表包括一个时，若所述映射模板中包括字典映射，则从所述待映射的中间数据表中获取所述字典映射的原字段，并将所述原字段映射为所述字典映射的更新字段；相应地，若所述映射模板中包括字段映射，则从所述待映射的中间数据表中获取位于所述字段映射的原位置处的字段，将所述字段的位置映射为所述字段映射的更新位置；相应地，若所述映射模板中包括类型映射，则从所述待映射的中间数据表中获取所述类型映射的原类型对应的字段，将所述字段的类型映射为所述类型映射的更新类型。

在一种可能的实现方式中，所述映射模块具体用于：当所述待映射的中间数据表包括两个或两个以上时，先合并各个待映射的中间数据表得到映射视图表，再使用所述待处理任务对应的映射模板对所述映射视图表进行映射；其中，所述映射视图表中包括每个待映射的中间数据表中的数据。

第三方面，本发明实施例提供的一种计算设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任意所述的数据处理方法。

第四方面，本发明实施例提供的一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述第一方面任意所述的数据处理方法。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种可能的系统架构示意图；

图2为本发明实施例提供的一种数据处理方法对应的流程示意图；

图3为本发明实施例提供的一种映射方式的示意图；

图4为本发明实施例提供的一种数据处理装置的结构示意图；

图5为本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种可能的系统架构示意图，如图1所示，该系统架构中包括数据处理设备110和至少一个应用服务器，比如应用服务器121、应用服务器122和应用服务器123。其中，数据处理设备110可以与任一应用服务器连接，比如可以通过有线方式连接，也可以通过无线方式连接，具体不作限定。

本发明实施例中，各个应用服务器是指参与同一联合业务的应用服务器，每个应用服务器负责完成该联合业务中的部分业务操作，每个应用服务器的业务数据包括各个参与方在该应用服务器对应的业务操作中的业务数据。

举例来说，在联合贷款业务中，各家银行共同向某一借款机构提供联合贷款，若联合贷款业务中的审核任务、交易任务和风控任务分别由应用服务器121、应用服务器122和应用服务器123来执行，则应用服务器121用于审核该借款机构的借款申请，应用服务器121的业务数据包括该借款机构的相关信息和借款审核信息，比如借款机构的名称、住址、信用等级、法人、资产数额等；相应地，应用服务器122用于执行与该借款机构的交易操作，应用服务器122的业务数据中可以包括各家银行与借款机构的交易数据，比如各家银行向借款机构提供的借款次数、每次的借款金额、借款时间和借款比例等；相应地，应用服务器123用于管理该借款机构的还款操作，应用服务器123的业务数据中可以包括各家银行的催收数据，比如该借款机构对每家银行的已还款金额、超时还款时长、超时欠款金额、催收拨打频率、还款意向等。

需要说明的是，图1仅是一种示例性的说明，并不构成对本方案的限定，具体实施中，数据处理设备110可以是指数据处理服务器，也可以是指数据处理服务器中的进程，具体不作限定。

本发明实施例中，数据处理方法可以由任一应用服务器来执行，也可以由数据处理设备110执行。然而，若采用应用服务器执行数据处理操作，则应用服务器需要分别先从其它应用服务器中获取源数据表，经由关联拆分后再分发至各个参与方，从而导致应用服务器之间的通信消耗较高，资源损耗较多。

基于此，本发明实施例采用数据处理设备110执行数据处理操作，以将应用服务器中的正常应用业务与数据处理过程进行解耦，避免数据处理操作对正常应用业务造成影响，且，还可以降低应用服务器之间的通信消耗，提高数据处理的效率。

基于图1所示意的系统架构，图2为本发明实施例提供的一种数据处理方法对应的流程示意图，该方法适用于数据处理设备110，该方法包括：

步骤201，获取与待处理任务关联的各个源数据表。

本发明实施例中，数据处理设备110可以通过多种方式获取与待处理任务关联的各个源数据表，比如可以先确定与待处理任务关联的各个应用服务器，再向关联的各个应用服务器发送获取指令，以获取关联的各个应用服务器上报的各个源数据表，或者也可以接收各个应用服务器自行上报的源数据表，再从各个源数据表中获取与待处理任务关联的源数据表，不作限定。

在一种可能的实现方式中，数据处理设备110可以通过如下步骤获取与待处理任务关联的各个源数据表：

步骤a，获取各个应用服务器上报的业务源数据表。

具体实施中，任一应用服务器中可以配置有数据上报任务，数据上报任务的触发条件可以为批量任务执行完成，如此，应用服务器每执行完一次批量任务后，即可上报该次批量任务对应的业务源数据表，通过采用批次方式上报数据，使得数据处理设备110能够按照批次方式进行数据处理操作，提高数据处理的统一性和整体性。或者，数据上报任务的触发条件也可以为固定周期，如此，应用服务器可以按照固定周期上报该周期内产生的业务源数据表，从而提高数据处理的有序性。又或者，数据上报任务的触发条件还可以为业务数据变更，如此，应用服务器每执行完一个任务都可以上报该任务对应的业务数据，从而提高数据处理的实时性和准确性。

在一个示例中，应用服务器和数据处理设备110中还可以部署有抽取-转换-加载(Extract-Transform-Load，ETL)组件，ETL组件内置有metadata功能类函数，metadata功能类函数用于存储业务源数据表的源端与目的端的映射关系以及转化规则。且，ETL组件能够提供较强大的连接功能来连接业务源数据表的源端及目的端，通过metadata功能类函数对源端的业务源数据表进行抽取操作、转换操作和加载操作，在保证业务源数据表被目的端兼容的情况下，将业务源数据表从源端送至目的端，从而使得目的端获取到与源端一致的业务源数据表。

在上述示例中，通过在应用服务器和数据处理设备110中内置ETL组件，开发人员无需再重新编写数据传输的脚本文件，也无需具有较深的开发能力，从而可以降低开发难度，提高数据处理的通用性。

本发明实施例中，数据处理设备110中可以设置有调度平台和大数据平台，应用服务器经由调度平台与大数据平台连接，调度平台中设置有ETL组件，调度平台可以通过ETL组件将应用服务器的业务源数据表传送至大数据平台，还可以在待处理任务被触发时调度大数据平台执行待处理任务。相应地，大数据平台用于管理各个应用服务器上报的业务源数据表，并可以在调度平台的调度下对业务源数据表进行关联、拆分和映射。

其中，大数据平台的类型可以由本领域技术人员根据经验进行设置，比如可以设置为Hadoop平台、Spark平台、Storm平台、Apache Drill平台、Rapid Miner平台中的任意一种，具体不作限定。

在又一个示例中，各个应用服务器的数据上报任务也可以由调度平台来统一管理，比如，当调度平台检测到某一应用服务器中的批量任务处理完成后，可以向该应用服务器发送上报指令，从而触发该应用服务器将该批次任务的业务源数据表上报给调度平台，以经由调度平台的ETL组件传送至大数据平台。

需要说明的是，上述仅是一种示例性的简单说明，并不构成对方案的限定，在具体实施中，调度平台可以为部署在数据处理设备110内部的软件开发工具包(SoftwareDevelopment Kit，SDK)组件，也可以为独立于数据处理设备110之外的设备，具体不作限定。

步骤b，根据各个应用服务器的业务关联性，从各个应用服务器中确定出执行待处理任务对应的业务的各个目标应用服务器。

在一个示例中，数据处理设备110可以将执行待处理任务对应的业务的每个应用服务器作为一个目标应用服务器。比如，若第一参与方、第二参与方和第三参与方共同执行联合贷款业务，第一参与方和第四参与方共同执行联合信用卡业务，则当待处理任务对应的业务为联合贷款业务时，数据处理设备110可以将第一参与方、第二参与方和第三参与方作为目标应用服务器，当待处理任务对应的业务为联合信用卡业务时，数据处理设备110可以将第一参与方和第四参与方作为目标应用服务器。

在另一个示例中，数据处理设备110也可以将用户配置的待关联的应用服务器作为目标应用服务器。如图1所示，数据处理设备110还可以与客户端130连接，数据处理设备110可以预先向客户端130提供任务配置界面，并经由客户端130显示给用户，以便用户在任务配置界面上输入待处理任务的配置信息。相应地，数据处理设备110获取用户输入的配置信息后，还可以将待处理任务和配置信息发送给调度平台，以由调度平台对各个待处理任务进行维护。

具体实施中，数据处理设备110可以支持用户自定义待处理任务对应的加工子任务、拆分子任务和分发子任务，用户可以分别在任务配置界面上输入加工子任务的配置信息、拆分子任务的配置信息和分发子任务的配置信息。其中，加工子任务用于对用户配置的待关联的应用服务器的待处理数据进行关联操作，得到通用中间表，拆分子任务用于对通用中间表进行拆分操作，得到用户配置的拆分参与方对应的中间数据表，分发子任务用于根据拆分参与方对应的中间数据表和用户配置的分发规则，生成拆分参与方对应的数据文件，并发送给拆分参与方。

本发明实施例中，加工子任务的配置信息可以包括待关联的应用服务器和加工子任务的触发条件，待关联的应用服务器可以由用户根据待处理任务进行设置，比如若某一待处理任务为在每天12:00时将第二参与方中的申请表发送给第一参与方，则用户可以设置第一参与方和第二参与方为待关联的应用服务器，设置触发条件为每天12:00。如此，针对于该加工子任务，若调度平台确定当前时刻为12:00，则可以调度大数据平台对第一参与方上报的业务源数据表和第二参与方上报的业务源数据表进行关联和拆分操作。

在上述示例中，通过支持用户自定义待处理任务，能够使得数据处理操作更加满足实际的业务场景需求，提高数据处理的准确性和用户的满意度。

步骤c，将各个目标应用服务器上报的业务源数据表作为与待处理任务关联的各个源数据表。

本发明实施例中，用户配置的各个待处理任务可以由调度平台进行统一管理，不同的待处理任务可以对应有同一加工子任务、同一拆分子任务和不同的分发子任务。

作为一种示例，表1为本发明实施例提供的一种待处理任务的示意表。

表1：一种待处理任务的示意

如表1所示，待处理任务1、待处理任务2和待处理任务3均对应同一加工子任务和同一拆分子任务，但对应有不同的分发子任务。其中，这三个待处理任务对应的加工子任务均为关联应用服务器121、应用服务器122和应用服务器123，即根据应用服务器121的源数据表、应用服务器122的源数据表和应用服务器123的源数据表，构建得到通用中间表；这三个待处理任务对应的拆分子任务均为拆分第一参与方、第二参与方、第三参与方和第四参与方，即从通用中间表中分别拆分得到第一参与方的中间数据表、第二参与方的中间数据表、第三参与方的中间数据表和第四参与方的中间数据表。

相应地，待处理任务1的分发子任务为向第二参与方分发第一参与方的源数据表，即将第一参与方的中间数据表转化为满足第二参与方的格式需求的数据文件，再分发给第二参与方；待处理任务2的分发子任务为向第四参与方分发第二参与方的源数据表，即将第二参与方的中间数据表转化为满足第四参与方的格式需求的数据文件，再分发给第四参与方；待处理任务3的分发子任务为向第二参与方分发第三参与方的源数据表，即将第三参与方的中间数据表转化为满足第二参与方的格式需求的数据文件，再分发给第三参与方。

需要说明的是，表1仅是一种示例性的简单说明，其所列举的待处理任务仅是为了便于说明方案，并不构成对方案的限定，在具体实施中，一个待处理任务也可以同时包括多个分发子任务，比如待处理任务1、待处理任务2和待处理任务3作为一个待处理任务。

具体实施中，针对于任一待处理任务，调度平台可以实时监控当前时刻是否满足该待处理任务中加工子任务的触发条件，若满足，则可以向大数据平台发送任务处理指令，并在任务处理指令中携带待关联的应用服务器的标识；相应地，大数据平台接收到任务处理指令后，可以根据待关联的应用服务器的标识，从各个应用服务器上报的业务源数据表中获取待关联的应用服务器上报的业务源数据表，作为待处理任务对应的待关联的源数据表。

步骤202，根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表。

在一种可能的实现方式中，数据处理设备110可以通过如下步骤得到各个参与方对应的中间数据表：

步骤一，使用各个源数据表中属于同一类型的源数据构建得到该类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在该类型下的源数据。

本发明实施例中，大数据平台中可以设置有各个业务场景对应的数据表集合，数据表集合中存储有与该业务场景相关的各类型的数据表格式。举例来说，在联合贷款业务中，数据表集合中可以存储有与贷款相关的各类型的数据表格式，比如客户表格式、账户表格式、申请表格式、计划表格式、借据表格式和催收表格式等；其中，数据表格式用于指示数据表的行列信息，比如在账户表格式中，账户表的各行用于指示各个账户，账户表的各列为按列依次部署的姓名、年龄、借款金额、借款时间等。

相应地，在确定待关联的各个源数据表后，数据处理设备110可以先确定各个源数据表所属的业务场景，再根据该业务场景对应的数据表集合中的各个数据表格式，生成各个初始中间表，每个初始中间表指示一种类型。进一步地，针对于待关联的任一源数据表中的每个源数据，数据处理设备110可以将该源数据放置为对应类型的初始中间表中，如此，当对待关联的各个源数据表遍历完成后，数据处理设备110可以生成多个通用中间表，每个通用中间表中包括各个参与方在同一类型下的源数据。

在上述示例中，通过设置业务场景对应的各种类型的数据表格式，能够使得通用中间表更加满足业务场景的需求，从而适应性更好。

步骤二，针对于任一参与方，从任一类型对应的通用中间表中拆分出属于该参与方的源数据，使用该参与方的源数据构建得到该参与方在该类型下的中间数据表。

在一个示例中，数据处理设备110可以按照通用中间表中的各个参与方自动进行拆分。具体实施中，数据处理设备110可以按顺序拆分每个类型对应的通用中间表中的各个源数据，在拆分任一源数据时，数据处理设备110可以先确定该源数据所属的参与方，并判断当前是否已存在该参与方在该类型下的分区，若已存在，则可以直接将该源数据放置在该参与方在该类型下的分区中，若不存在，则可以先创建该参与方在该类型下的分区，再将该源数据放置在该参与方在该类型下的分区中。

如此，当任一类型对应的通用中间表中的源数据遍历完成后，数据处理设备110可以得到每个参与方在该类型下的分区，该分区即为参与方在该类型下的中间数据表；且，每个参与方在该类型下的中间数据表与该类型对应的通用中间表的格式一致。

现有技术针对于每个参与方均需要遍历一次各个应用服务器中的数据表，而上述示例仅通用一次遍历过程即可得到各个参与方对应的中间数据表，而无需针对于各个参与方遍历多次，相对于现有技术来说，本方案通过采用动态分区的方式从通用中间表中拆分得到各个参与方的中间数据表，可以降低资源损耗，降低开发成本，提高数据处理的效率。

在一个示例中，数据处理设备110也可以按照用户配置的拆分参与方进行拆分。具体实施中，用户可以预先在任务配置界面中设置拆分子任务对应的拆分参与方，如此，数据处理设备110在按顺序拆分通用中间表中的各个源数据时，若确定某一源数据所属的参与方不是拆分参与方，则可以直接跳转至下一源数据，若某一源数据对应的参与方属于拆分参与方，则可以按照上述拆分方式进行拆分。

在该示例中，数据处理设备可以只针对于用户配置的拆分参与方拆分得到中间数据表，而不再拆分其它参与方的中间数据表，从而节省无用的操作步骤，降低内存占用，提高系统的性能。

步骤203，从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

具体实施中，数据处理设备110中可以设置有映射模板库，映射模板库用于存储各个参与方对应的映射模板。其中，参与方与映射模板可以基于参与方的标识进行对应，如此，针对于任一参与方对应的分发子任务，当获取到该分发子任务对应的待映射的中间数据表后，数据处理设备110可以从映射模板库中获取与该参与方的标识匹配的映射模板，并将匹配的映射模板作为分发任务对应的映射模板。

在一种可能的实现方式中，若待映射的中间数据表只包括一个，则可以直接调用待处理任务对应的映射模板对待映射的中间数据表进行映射，若待映射的中间数据表包括两个或两个以上，则可以先合并各个待映射的中间数据表得到映射视图表，再调用待处理任务对应的映射模板对映射视图表进行映射。其中，映射视图表是一种视图表，并不属于实际意义上的逻辑表，映射视图表中包括每个待映射的中间数据表中的全部数据。

本发明实施例中，映射模板可以为映射类函数，比如用户自定义函数(Userdefined function，UDF)，映射模板可以基于参与方的映射需求进行设置。其中，映射模板中包括多种类型的映射，比如字段映射、类型映射、字典映射等，字段映射是指将中间数据表中位于某一位置的字段映射至另一位置，类型映射是指将中间数据表中的某一字段类型映射为另一字段类型，比如将中间数据表中的字段类型“string”(字符串型)映射为“bigint”(整型)，将字符字段“long”(长整型)映射为“float”(浮点型)；字典映射是指将中间数据表中的某一字段映射为另一字段，比如将中间数据表中的“客户001”映射为“客户A”，将“客户002”映射为“客户B”。

具体实施中，若待处理任务对应的映射模板中包括字典映射，则可以从待映射的中间数据表或映射视图表中获取字典映射的原字段，并将原字段映射为字典映射的更新字段；若映射模板中包括字段映射，则可以从待映射的中间数据表或映射视图表中获取位于字段映射的原位置处的字段，将这些字段的位置映射在字段映射的更新位置；若映射模板中包括类型映射，则可以从待映射的中间数据表或映射视图表中获取类型映射的原类型对应的字段，将这些字段的类型映射为类型映射的更新类型。

需要说明的是，若映射模板中包括字段映射、类型映射和字典映射中的两种或两种以上的映射，则数据处理设备可以按照任意顺序对多种映射进行映射，不作限定。

为了便于理解，下面列举一个具体的示例。

第一机构与第二机构开展联合贷款业务，第一机构在第T天的业务源数据表包括客户表、账户表、申请表、计划表、借据表、催收表。

第二机构在执行数据建模时，需要获取第一机构在第T天的业务源数据表，且获取需求为：

⑴账户表，与第一机构的账户表的区别是账户表上需要第一机构的客户表中的身份标识字段；

⑵借据表，与第一机构的借据表的区别是借据表上需标注是否逾期催收状态，且催收标识字典与第一机构的催收表中的催收标识字典不一致；

⑶申请表，与第一机构的申请表的区别是申请表中各个字段的顺序不同、字段的类型也不同。

具体实施中，数据处理设备110可以先获取与该待处理任务相关联的各个源数据表，即第一机构在第T天的账户表、客户表、借据表、催收表和申请表，并可以按照如下方式生成各表对应的数据文件：

针对于第二机构的账户表对应的数据文件，由于第二机构的账户表同时包含第一机构的账户表和客户表中的内容，因此第二机构的账户表对应的待映射的中间数据表包括第一机构的账户表和客户表(两个)。如此，数据处理设备可以先基于第一机构的账户表和客户表构建得到第一映射视图表，再调用待处理任务对应的映射模板对第一映射视图表进行映射，得到第二机构的账户表对应的数据文件；其中，第一映射视图表中包括第一机构的账户表和客户表中的全部数据。

且，由于第二机构的账户表中还包括第一机构的客户表中的身份标识字段，因此映射模板可以使用字段映射生成账户表对应的数据文件，该字段映射用于从第一映射视图表中提取出身份标识字段和第一机构的账户表中的各个字段，再按照第二机构的账户表中各个字段的顺序组合上述各个字段。

针对于第二机构的借据表对应的数据文件，由于第二机构的借据表同时包含第一机构的借据表和催收表中的内容，因此第二机构的借据表对应的待映射的中间数据表包括第一机构的借据表和催收表(两个)。如此，数据处理设备可以先基于第一机构的借据表和催收表构建得到第二映射视图表，再调用待处理任务对应的映射模板对第二映射视图表进行映射，得到第二机构的借据表对应的数据文件；其中，第二映射视图表中包括第一机构的借据表和催收表中的全部数据。

且，由于第二机构的借据表中的催收标识字典与第一机构的催收表中的催收标识字典不一致，因此映射模板还可以使用字典映射将第二映射视图表中的催收标识映射为第二机构的催收标识；相应地，由于第二机构的借据表中还包括逾期催收状态，因此映射模板还可以使用字段映射从第二映射视图表中提取出预期催收状态字段和第一机构的借据表中的各个字段，再按照第二机构的借据表中各个字段的顺序组合上述各个字段。

针对于第二机构的申请表对应的数据文件，由于第二机构的借据表仅包含第一机构的申请表的内容，因此第二机构的借据表对应的待映射的中间数据表包括第一机构的申请表(一个)。如此，数据处理设备可以直接调用待处理任务对应的映射模板对第一机构的申请表进行映射，得到第二机构的申请表对应的数据文件。

且，由于第二机构的申请表中的字段顺序和类型与第一机构的申请表中的字段顺序和类型不一致，因此映射模板可以使用字段映射将第一机构的申请表中各字段的顺序映射为第二机构的申请表中的各字段的顺序，并可以使用类型映射将第一机构的申请表中各字段的类型和精度映射为第二机构的申请表中的各字段的类型和精度。

在上述示例中，第一映射视图表和第二映射视图表以视图方式存在，不以逻辑表的形式存储；相应地，字典映射、字段映射和类型映射均在分发子任务阶段执行，即数据处理设备可以直接将待映射的各个中间数据表映射为数据文件并发送给第二机构，而无需再生成目标数据表，从而降低资源损耗，提高数据处理的效率。

图3为本发明实施例提供的一种映射流程示意图，如图3所示，该映射过程将源数据表1和源数据表2映射为数据文件，且映射过程包括字段映射、字典映射和类型映射。

具体执行时，由于待映射的源数据表包括两个，因此可以先合并源数据表1和源数据表2得到映射视图表，映射视图表中包括源数据表1中的全部数据和源数据表2中的全部数据。进一步地，将映射视图表中源数据表2的字段1映射至数据文件的第一位置，将映射视图表中源数据表2的字段2映射至数据文件的第三位置，而映射视图表中源数据表1的字段B和字段D的位置不变。如此，还可以对字段1、字段B、字段2和字段D进行字典映射和/或类型映射，以在出库阶段直接映射得到数据文件，而不再生成目标数据表。

本发明的上述实施例中，获取与待处理任务关联的各个源数据表，根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表，从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。本发明实施例中，通过设置待处理任务对应的映射模板，可以直接调用该映射模板将待映射的中间数据表映射为数据源文件，而无需针对于每个参与方定制开发对应的初始数据表，从而操作更为简单，数据处理的效率较高；且，通过从各个源数据表中拆分得到每个参与方对应的中间数据表，可以直接根据待处理任务的映射关系获取对应参与方的中间数据表进行映射操作，而无需针对于每个参与方都执行对各个源数据表的遍历操作，降低无用的资源消耗，进一步提高数据处理的效率。

针对上述方法流程，本发明实施例还提供一种数据处理装置，该装置的具体内容可以参照上述方法实施。

图4为本发明实施例提供的一种数据处理装置的结构示意图，包括：

获取模块401，用于获取与待处理任务关联的各个源数据表；

拆分模块402，用于根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表；

映射模块403，用于从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

可选地，所述获取模块401具体用于：

获取各个应用服务器上报的业务源数据表；

根据所述各个应用服务器的业务关联性，从所述各个应用服务器中确定出执行所述待处理任务对应的业务的各个目标应用服务器；

将所述各个目标应用服务器上报的业务源数据表作为与所述待处理任务关联的所述各个源数据表。

可选地，所述拆分模块402具体用于：

使用所述各个源数据表中属于同一类型的源数据构建得到所述类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在所述类型下的源数据；

针对于任一参与方，从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表。

可选地，所述拆分模块402具体用于：

按顺序拆分所述类型对应的通用中间表中的各个源数据；

其中，在拆分任一源数据时，确定所述源数据所属的参与方，若已存在所述参与方在所述类型下的分区，则将所述源数据放置在所述参与方在所述类型下的分区中，若不存在所述参与方在所述类型下的分区，则先创建所述参与方在所述类型下的分区，再将所述源数据放置在所述参与方在所述类型下的分区中。

可选地，所述映射模块403具体用于：

当所述待映射的中间数据表包括一个时，若所述映射模板中包括字典映射，则从所述待映射的中间数据表中获取所述字典映射的原字段，并将所述原字段映射为所述字典映射的更新字段；若所述映射模板中包括字段映射，则从所述待映射的中间数据表中获取位于所述字段映射的原位置处的字段，将所述字段的位置映射为所述字段映射的更新位置；若所述映射模板中包括类型映射，则从所述待映射的中间数据表中获取所述类型映射的原类型对应的字段，将所述字段的类型映射为所述类型映射的更新类型。

可选地，所述映射模块403具体用于：

当所述待映射的中间数据表包括两个或两个以上时，先合并各个待映射的中间数据表得到映射视图表，再使用所述待处理任务对应的映射模板对所述映射视图表进行映射；其中，所述映射视图表中包括每个待映射的中间数据表中的数据。

从上述内容可以看出：本发明的上述实施例中，获取与待处理任务关联的各个源数据表，根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表，从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。本发明实施例中，通过设置待处理任务对应的映射模板，可以直接调用该映射模板将待映射的中间数据表映射为数据源文件，而无需针对于每个参与方定制开发对应的初始数据表，从而操作更为简单，数据处理的效率较高；且，通过从各个源数据表中拆分得到每个参与方对应的中间数据表，可以直接根据待处理任务的映射关系获取对应参与方的中间数据表进行映射操作，而无需针对于每个参与方都执行对各个源数据表的遍历操作，降低无用的资源消耗，进一步提高数据处理的效率。

基于同一发明构思，本发明实施例还提供了一种计算设备，基于相同的技术构思，本发明实施例提供了一种计算设备，如图5所示，包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本发明实施例中不限定处理器501与存储器502之间的具体连接介质，图5中处理器501和存储器502之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本发明实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的数据处理方法中所包括的步骤。

其中，处理器501是计算设备的控制中心，可以利用各种接口和线路连接计算设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，从而实现数据处理。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合数据处理实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(StaticRandom Access Memory，SRAM)、可编程只读存储器(Programmable Read OnlyMemory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行图2任意所述的数据处理方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种数据处理方法，其特征在于，所述方法包括：

获取与待处理任务关联的各个源数据表；

根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表；

从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

2.根据权利要求1所述的方法，其特征在于，所述方法应用于数据处理设备，所述数据处理设备与各个应用服务器连接；

所述获取与所述待处理任务关联的各个源数据表，包括：

获取各个应用服务器上报的业务源数据表；

根据所述各个应用服务器的业务关联性，从所述各个应用服务器中确定出执行所述待处理任务对应的业务的各个目标应用服务器；

将所述各个目标应用服务器上报的业务源数据表作为与所述待处理任务关联的所述各个源数据表。

3.根据权利要求1所述的方法，其特征在于，所述根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表，包括：

使用所述各个源数据表中属于同一类型的源数据构建得到所述类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在所述类型下的源数据；

针对于任一参与方，从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表。

4.根据权利要求3所述的方法，其特征在于，所述从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表，包括：

按顺序拆分所述类型对应的通用中间表中的各个源数据；

其中，在拆分任一源数据时，确定所述源数据所属的参与方，若已存在所述参与方在所述类型下的分区，则将所述源数据放置在所述参与方在所述类型下的分区中，若不存在所述参与方在所述类型下的分区，则先创建所述参与方在所述类型下的分区，再将所述源数据放置在所述参与方在所述类型下的分区中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，包括：

当所述待映射的中间数据表包括一个时，若所述映射模板中包括字典映射，则从所述待映射的中间数据表中获取所述字典映射的原字段，并将所述原字段映射为所述字典映射的更新字段；若所述映射模板中包括字段映射，则从所述待映射的中间数据表中获取位于所述字段映射的原位置处的字段，将所述字段的位置映射为所述字段映射的更新位置；若所述映射模板中包括类型映射，则从所述待映射的中间数据表中获取所述类型映射的原类型对应的字段，将所述字段的类型映射为所述类型映射的更新类型。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，包括：

当所述待映射的中间数据表包括两个或两个以上时，先合并各个待映射的中间数据表得到映射视图表，再使用所述待处理任务对应的映射模板对所述映射视图表进行映射；其中，所述映射视图表中包括每个待映射的中间数据表中的数据。

7.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取与待处理任务关联的各个源数据表；

拆分模块，用于根据所述各个源数据表中每个源数据所属的参与方，拆分所述各个源数据表，得到各个参与方对应的中间数据表；

映射模块，用于从所述各个参与方对应的中间数据表中确定出所述待处理任务对应的待映射的中间数据表，使用所述待处理任务对应的映射模板对所述待映射的中间数据表进行映射，得到所述待处理任务对应的数据文件；所述数据文件用于所述待处理任务对应的参与方解析得到满足所述参与方要求的目标数据表。

8.根据权利要求7所述的装置，其特征在于，所述获取模块具体用于：

获取各个应用服务器上报的业务源数据表；

根据所述各个应用服务器的业务关联性，从所述各个应用服务器中确定出执行所述待处理任务对应的业务的各个目标应用服务器；

将所述各个目标应用服务器上报的业务源数据表作为与所述待处理任务关联的所述各个源数据表。

9.根据权利要求7所述的装置，其特征在于，所述拆分模块具体用于：

使用所述各个源数据表中属于同一类型的源数据构建得到所述类型对应的通用中间表；任一类型对应的通用中间表用于存储各个参与方在所述类型下的源数据；

针对于任一参与方，从任一类型对应的通用中间表中拆分出属于所述参与方的源数据，使用所述参与方的源数据构建得到所述参与方在所述类型下的中间数据表。

10.根据权利要求9所述的装置，其特征在于，所述拆分模块具体用于：

按顺序拆分所述类型对应的通用中间表中的各个源数据；

其中，在拆分任一源数据时，确定所述源数据所属的参与方，若已存在所述参与方在所述类型下的分区，则将所述源数据放置在所述参与方在所述类型下的分区中，若不存在所述参与方在所述类型下的分区，则先创建所述参与方在所述类型下的分区，再将所述源数据放置在所述参与方在所述类型下的分区中。

11.根据权利要求7至10中任一项所述的装置，其特征在于，所述映射模块具体用于：

当所述待映射的中间数据表包括一个时，若所述映射模板中包括字典映射，则从所述待映射的中间数据表中获取所述字典映射的原字段，并将所述原字段映射为所述字典映射的更新字段；若所述映射模板中包括字段映射，则从所述待映射的中间数据表中获取位于所述字段映射的原位置处的字段，将所述字段的位置映射为所述字段映射的更新位置；若所述映射模板中包括类型映射，则从所述待映射的中间数据表中获取所述类型映射的原类型对应的字段，将所述字段的类型映射为所述类型映射的更新类型。

12.根据权利要求7至10中任一项所述的装置，其特征在于，所述映射模块具体用于：

当所述待映射的中间数据表包括两个或两个以上时，先合并各个待映射的中间数据表得到映射视图表，再使用所述待处理任务对应的映射模板对所述映射视图表进行映射；其中，所述映射视图表中包括每个待映射的中间数据表中的数据。

13.一种计算设备，其特征在于，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～6任一权利要求所述的方法。

14.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～6任一权利要求所述的方法。

Images