CN110276691A - 一种基于大数据平台的数据处理方法及装置 - Google Patents

Abstract

本发明实施例涉及金融科技(Fintech)技术领域，公开了一种基于大数据平台的数据处理方法及装置，其中方法包括：获取第一配置信息后，查询第一数据库得到与第一配置信息匹配的一条或多条第一交易数据，并生成一条或多条第一交易数据对应的一条或多条第一流数据；进一步地，使用第一配置信息配置一条或多条第一流数据，得到目标报表。本发明实施例中，通过在大数据平台中设置第一数据库，使得查询第一数据库即可获取到交易数据，如此，有助于避免传送交易数据的过程所导致的时延，从而可以提高数据处理的效率。

Description

一种基于大数据平台的数据处理方法及装置

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种基于大数据平台的数据处理方法及装置。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。金融科技领域每天都会产生大量的交易数据，比如信贷业务系统与客户的贷款交易数据、保险业务系统与客户之间的营销交易数据、管理业务系统的清算交易数据等，一般来说，为了保证多个业务系统的正常运行，金融科技领域通常需要对多个业务系统的交易数据进行管理，从而避免某一业务系统执行交易的过程出现较大风险。

在一种现有的实现方式中，金融科技领域中可以通过服务器集群系统执行数据处理过程，具体地说，服务器集群系统中可以设置有一个主服务器和至少一个从服务器，主服务器若接收到待处理数据，则可以将待处理数据发送给一个或多个从服务器，以使一个或多个从服务器处理待处理数据。然而，在该种实现方式中，主服务器需要将待处理数据发送给从服务器，若待处理数据的数据量较大，则传输待处理数据的过程可能会占用较长的时间，从而导致数据处理过程延时，使得数据处理的效率较低。

综上，目前亟需一种基于大数据平台的数据处理方法，用以提高数据处理的效率。

发明内容

本发明实施例提供一种基于大数据平台的数据处理方法及装置，用以提高数据处理的效率。

第一方面，本发明实施例提供的一种基于大数据平台的数据处理方法，包括：

获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；其中，所述第一数据库设置在所述大数据平台中；进一步地，使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。

在上述设计中，通过在大数据平台上设置第一数据库，使得查询第一数据库即可获取到交易数据，如此，有助于避免传送交易数据的过程所导致的时延，从而可以提高数据处理的效率；且，上述设计可以根据第一配置信息查询得到与第一配置信息匹配的一条或多条交易数据，进而自动生成目标报表，从而可以实现数据获取、数据处理、数据整合的一体化操作流程。

在一种可能的设计中，所述获取第一配置信息，包括：接收用户在预设管理界面上输入的一条或多条配置信息，所述一条或多条配置信息包括至少一条预设规则；进一步地，若确定当前时间触发所述至少一条预设规则中的第一预设规则，则从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息。

在上述设计中，用户可以通过预设管理界面输入配置信息，如此，配置信息可以由用户根据实际业务需要进行设置，从而使得配置信息更加符合实际情况，提高用户的满意度；且，上述设计可以根据配置信息确定当前时刻是否触发该配置信息对应的预设规则，从而可以自动确定是否执行数据处理过程，举例来说，若某一配置信息为每天12:00统计交易金额生成报表，则该配置信息对应的预设规则可以为12:00，如此，当前时刻为12:00时可以确定触发了该配置信息对应的预设规则，从而可以自动执行数据处理过程，提高数据处理的实时性。

在一种可能的设计中，所述接收用户在预设管理界面上输入的一条或多条配置信息后，还包括：将所述一条或多条配置信息存储在第二数据库中，所述第二数据库为关系型数据库；相应地，所述从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息，包括：从所述第二数据库中获取所述第一配置信息。

在上述设计中，通过在第一数据库中存储交易数据，在第二数据库中存储配置信息，可以使得交易数据与配置信息分别存储在不同的数据库中，如此，获取配置信息的过程与查询交易数据的过程可以相互隔离，从而可以提高数据处理的准确性。

在一种可能的设计中，所述使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表，包括：确定所述第一配置信息包括的多个维度，并根据所述多个维度对所述一条或多条第一流数据进行划分，得到所述多个维度分别包括的至少一条第一流数据；进一步地，针对于所述多个维度中的第一维度，若确定所述第一配置信息中包括所述第一维度对应的业务配置方式，则使用所述第一维度对应的业务配置方式配置所述第一维度包括的至少一条第一流数据，得到所述第一维度包括的一条或多条第二交易数据，并根据所述第一维度包括的所述一条或多条第二交易数据生成所述第一维度包括的一条或多条第二流数据；如此，使用所述多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，得到所述目标报表。

在上述设计中，通过多个维度对一条或多条流数据进行划分，可以使得生成的目标报表更加满足用户的需要，用户的满意度更好；且，通过使用新业务配置方式对流数据进行调整得到调整后的流数据，可以使得目标报表中同时包括调整前的流数据和调整后的流数据，从而用户可以根据调整后的流数据确定该条流数据对应的交易数据的风险值，提高基于该风险值处理数据的准确性。

在一种可能的设计中，所述得到目标报表后，还包括：将所述目标报表显示给用户。

在上述设计中，通过主动将目标报表显示给用户，用户无需手动获取即可查看目标报表，从而用户的体验较好。

第二方面，本发明实施例提供的一种基于大数据平台的数据处理装置，所述装置包括：

获取模块，用于获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；

处理模块，用于查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；所述第一数据库设置在所述大数据平台中；

配置模块，用于使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。

在一种可能的设计中，所述获取模块具体用于：接收用户在预设管理界面上输入的一条或多条配置信息，所述一条或多条配置信息包括至少一条预设规则；进一步地，若确定当前时间触发所述至少一条预设规则中的第一预设规则，则从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息。

在一种可能的设计中，所述获取模块还用于：将所述一条或多条配置信息存储在第二数据库中，所述第二数据库为关系型数据库；以及，从所述第二数据库中获取所述第一配置信息。

在一种可能的设计中，所述获取模块还用于：确定所述第一配置信息包括的多个维度；相应地，所述配置模块具体用于：根据所述多个维度对所述一条或多条第一流数据进行划分，得到所述多个维度分别包括的至少一条第一流数据；针对于所述多个维度中的第一维度，若确定所述第一配置信息中包括所述第一维度对应的业务配置方式，则使用所述第一维度对应的业务配置方式配置所述第一维度包括的至少一条第一流数据，得到所述第一维度包括的一条或多条第二交易数据，并根据所述第一维度包括的所述一条或多条第二交易数据生成所述第一维度包括的一条或多条第二流数据；使用所述多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，得到所述目标报表。

在一种可能的设计中，所述处理模块还用于：将所述目标报表显示给用户。

第三方面，本发明实施例提供的一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述第一方面任意所述的方法。

第四方面，本发明实施例提供的一种计算机程序产品，当其在计算机上运行时，使得计算机执行如上述第一方面任意所述的方法。

本发明的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种服务器集群系统对应的架构示意图；

图2为本发明实施例提供的一种客户端设备的硬件架构示意图；

图3为本发明实施例提供的一种基于大数据平台的数据处理方法对应的流程示意图；

图4为本发明实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

金融科技(Fintech)是指将信息技术融入金融领域后，为金融领域带来的一种新的创新科技，通过使用先进的信息技术辅助实现金融作业、交易执行以及金融系统改进，可以提升金融系统的处理效率、业务规模，并可以降低成本和金融风险。一般来说，金融科技领域通常会涉及到大量的交易数据，比如信贷业务系统的存贷款交易数据、销售业务系统的售卡交易数据、支付业务系统的转账交易数据等，如何采用科技的手段从大量的交易数据中挖掘出金融领域所需要的特征，一直是金融科技领域追求的目标。

在一种可能的实现方式中，金融科技领域可以使用服务器集群系统处理交易数据，由于服务器集群系统中可以设置有多个服务器，因此，使用服务器集群系统中的多个服务器可以实现交易数据的并行处理，提高交易处理的效率。

图1为本发明实施例提供的一种服务器集群系统的架构示意图，如图1所示，服务器集群系统中可以包括至少一个服务器(如图1所示意出的服务器101、服务器102、服务器103和服务器104)和管理至少一个服务器的中心服务器110。其中，中心服务器110可以与至少一个服务器中的每个服务器连接，从而实现与每个服务器的通信。

如图1所示，中心服务器110还可以与一个或多个客户端设备(比如客户端设备121、客户端设备122和客户端设备123)连接；其中，客户端设备121、客户端设备122和客户端设备123可以为不同业务系统对应的客户端设备，比如客户端设备121为信贷业务系统对应的客户端设备、客户端设备122为营销业务系统对应的客户端设备、客户端设备123为保险业务系统对应的客户端设备。以信贷业务系统为例，具体实施中，若信贷业务系统想要进行风险评估，则可以通过客户端设备121向中心服务器110发送多条存贷款数据(比如50条贷款数据)，相应地，中心服务器110在接收到这50条贷款数据后，可以从服务器101～服务器104中选择一个或多个服务器作为目标服务器(比如服务器101)，进而可以将这50条贷款数据发送给服务器101；相应地，服务器101在接收到这50条贷款数据后，可以生成这50条贷款数据分别对应的现金流，进而可以通过中心服务器110将这50条贷款数据对应的现金流发送给信贷业务系统121；如此，信贷业务系统121可以根据这50条贷款数据对应的现金流评估这50条贷款数据的还款风险，并可以根据50条贷款数据的还款风险执行业务，比如可以对50条贷款数据中还款风险较低的贷款数据进行催收。

在上述实现过程中，若确定使用服务器101执行数据处理过程，则需要中心服务器110将待处理数据发送给服务器101，在金融科技领域中，待处理数据的数据量一般较大，从而可能会使得发送待处理数据时占用较多的网络内存，导致网络阻塞，一方面，由于数据传输过程与数据处理过程使用同一个网络，从而使得发送待处理数据给服务器101的过程可能会影响其它服务器对数据的处理过程；另一方面，服务器101需要等待待处理数据全部发送过来方可执行数据处理过程，若数据传输过程较慢，则服务器101可能需要等待较长的时间，从而导致数据处理的效率较低。

除此之外，上述实现方式还存在如下问题：

(1)服务器101使用关系型数据库存储待处理数据，由于关系型数据库的查询获取过程较为缓慢，可能会导致服务器101长时间获取不到待处理数据，从而数据处理的效率较差。

(2)服务器101处理待处理数据的效率极度依赖于服务器101中的硬件和/或软件配置，若服务器101的硬件和/或软件配置高，则服务器101处理待处理数据的效率高，若服务器101的硬件和/或软件配置低，则服务器101处理待处理数据的效率低；因此，若想要获取较高的处理效率，则通常需要较高的硬件和/或软件配置，从而可能使得数据处理过程的成本较高。

基于此，本发明实施例提供一种基于大数据平台的数据处理方法，用以使用较低的成本提高数据处理的效率。

需要说明的是，本发明实施例中，基于大数据平台的数据处理方法的执行主体可以为客户端设备121～客户端设备123中的任意一个客户端设备，或者也可以为服务器101～服务器103中的任意一个服务器，或者也可以为中心服务器110，具体不作限定。以执行主体为客户端设备121为例，本发明实施例可以在客户端设备121上设置大数据平台，比如Hadoop平台、Sap平台等，大数据平台可以构建虚拟的服务器集群系统，从而可以基于虚拟的服务器集群系统处理海量数据。相应地，大数据平台上可以设置有数据仓库(即第一数据库)，数据仓库的类型可以有多种，比如Hive数据库、Tajo数据库等。本发明实施例中，数据仓库可以采用分布式的存储方式存储多个业务系统执行历史交易所生成的一条或多条交易数据，比如可以使用分片的方式存储一条或多条交易数据，或者可以使用分块的方式存储一条或多条交易数据，或者还可以使用分层的方式存储一条或多条交易数据，具体不作限定。

下面以信贷业务系统通过客户端设备121执行数据处理过程为例描述本发明实施例中基于大数据平台的数据处理方法，可以理解地，执行主体为服务器或中心服务器的过程也可以参照该方法进行实现，具体不再赘述。

图2为本发明实施例提供的一种客户端设备121的硬件架构示意图，如图2所示，客户端设备121上可以设置有WEB浏览器、调度器和报表平台三个功能部件，且可以设置有关系型数据库a、关系型数据库b和大数据平台，大数据平台中可以设置有Hive数据库和处理器。其中，WEB浏览器可以连接关系型数据库a，调度器可以连接大数据平台，报表平台可以连接关系型数据库b。

本发明实施例中，不同业务系统对应的不同客户端设备上均可以设置有大数据平台，且不同客户端设备的大数据平台中的Hive数据库可以实现数据共享；如此，每一个客户端设备的Hive数据库中均可以存储有一个或多个业务系统执行历史交易所生成的一条或多条交易数据。举例来说，若客户端设备121上设置有大数据平台1，客户端设备122上设置有大数据平台2，客户端设备123上设置有大数据平台3，则大数据平台1、大数据平台2和大数据平台3可以分别生成3个虚拟节点，这3个虚拟节点中的任意两个虚拟节点可以实现通信；具体实施中，若营销业务系统通过客户端设备122向客户端122的Hive数据库中存储了100条营销交易数据，则客户端122中的大数据平台对应的虚拟节点可以将这100条营销交易数据同时发送给客户端121中的大数据平台对应的虚拟节点和客户端123中的大数据平台对应的虚拟节点；如此，客户端121中的大数据平台可以使用接收到的这100条营销数据更新客户端121中的Hive数据库，相应地，客户端123中的大数据平台可以使用接收到的这100条营销数据更新客户端123中的Hive数据库。

本发明实施例中，通过在服务器集群系统的每个服务器上设置大数据平台，可以使得大数据平台构建多个虚拟节点，并通过多个虚拟节点共享交易数据；如此，服务器集群系统中的多个服务器之间可以仅传输处理任务，而无需传输交易数据，从而可以降低网络输入输出的压力，提高数据处理的效率。

基于图2所示意的客户端设备122的硬件架构，图3为本发明实施例提供的一种基于大数据平台的数据处理方法对应的流程示意图，该方法包括：

步骤301，获取第一配置信息。

本发明实施例中，信贷业务系统中的用户可以在WEB浏览器中输入预设链接，从而获取到预设管理界面；预设管理界面中可以设置有多个功能图标，比如“生成报表”功能图标、“显示报表”功能图标等，用户可以通过触发(比如点击、拖拽等)不同的功能图标提示客户端设备122生成不同的指令。

具体实施中，若用户想要贷款交易数据对应的报表，则用户可以触发预设管理界面上的“生成报表”功能图标；相应地，客户端设备122若检测到用户触发“生成报表”功能图标，则可以提示用户在预设管理界面上输入配置信息。其中，配置信息可以用于指示目标报表的生成形式，比如用户输入的配置信息可以包括预设时间块、产品标识、逾期天数等。举例来说，若用户想要在每天18:00获取当天交易的所有“企业贷”产品的数据流信息，则用户输入的预设时间块可以为每天18:00，产品标识可以为“企业贷”产品的标识；若用户想要获取过去一个月内交易的所有“企业贷”产品中逾期2天的数据流信息，则用户输入的预设时间块可以为一个月前至当前时刻，产品标识可以为“企业贷”产品的标识，逾期天数可以为2天。相应地，每条贷款交易的数据流信息可以包括贷款金额、贷款期限、贷款者的信用情况、逾期情况中的任意一项或任意多项，具体不作限定。

在一种可能的实现方式中，客户端设备122在接收到用户输入的配置信息后，可以将配置信息存储在关系型数据库a中，如此，关系型数据库a中可以存储有一个或多个业务系统分别对应的多条配置信息。进一步地，调度器可以按照预设周期或实时访问关系型数据库a，若确定关系型数据库a中存在某一条配置信息达到该条配置信息的触发条件，则可以生成数据处理指令，并将数据处理指令发送给大数据平台，其中，数据处理指令中可以包括该条配置信息的标识。

表1为本发明实施例提供的一种关系型数据库a的示意表。

表1：一种关系型数据库a的示意

业务标识	配置信息	触发条件
			贷款	每天10:00执行对账	当前时刻＝10:00
贷款	每天12:00和0:00执行对账	当前时刻＝12:00，或当前时刻＝0:00
			营销	交易完成即生成流水号	交易触发
运维	每天2:00监测运行环境	当前时刻＝2:00

如表1所示，关系型数据库a中可以存储有信贷业务系统的2条配置信息、营销业务系统的1条配置信息和运维业务系统的1条配置信息，其中，每条配置信息中可以包括业务系统的标识、配置信息的描述以及配置信息的触发条件。以运维业务系统的1条配置信息为例，该条配置信息对应的任务可以为一个定时任务，若当前时刻满足该条配置信息的触发时间(即2:00)，则可以确定执行监测任务。

具体实施中，若当前时刻为10:00，调度器访问表1所示的关系型数据库a后，发现当前时刻满足信贷业务系统的1条配置信息对应的触发条件，因此，调度器可以生成数据处理指令，并可以将数据处理指令发送给大数据平台。其中，数据处理指令中可以包括该条配置信息的标识，该条配置信息的标识可以为业务标识、配置信息和触发条件的组合，或者也可以为该条配置信息在表1中的行数(即第2行)。

本发明实施例中，配置信息可以由用户根据实际业务需要进行设置，从而使得配置信息更加符合实际情况，提高用户的满意度；且，通过监测当前时刻是否触发该配置信息对应的预设规则，可以自动确定是否执行数据处理过程，举例来说，若某一配置信息为每天12:00统计交易金额生成报表，则该配置信息对应的预设规则可以为12:00，如此，当前时刻为12:00时可以确定触发了该配置信息对应的预设规则，从而可以自动执行数据处理过程，提高数据处理的实时性。

相应地，若大数据平台接收到调度器发送的配置信息的标识，则可以通过文件传输协议(File Transfer Protocol，FTP)访问关系型数据库a，并可以根据配置信息的标识从关系型数据库a中获取与配置信息的标识匹配的目标配置信息。举例来说，若配置信息的标识为第2行，则大数据平台获取到的目标配置信息可以为信贷业务系统提交的每天10:00执行对账的配置信息。

本发明实施例中，通过在第一数据库中存储交易数据，在第二数据库中存储配置信息，可以使得交易数据与配置信息分别存储在不同的数据库中，如此，获取配置信息的过程与查询交易数据的过程可以相互隔离，从而可以提高数据处理的准确性。

步骤302，查询第一数据库得到与第一配置信息匹配的一条或多条第一交易数据，并生成一条或多条第一交易数据对应的一条或多条第一流数据。

具体实施中，大数据平台获取到目标配置信息后，可以查询大数据平台中的Hive数据库，从而可以在Hive数据库中获取与目标配置信息匹配的一条或多条交易数据。比如，若目标配置信息为信贷业务系统提交的每天10:00执行对账的配置信息，则大数据平台可以从Hive数据库获取信贷业务系统在当天执行的所有贷款交易数据，比如用户的还款数据、用户的借款数据、用户的延期还款数据等。

在一种可能的实现方式中，大数据平台在获取到信贷业务系统在当天执行的所有贷款交易数据(比如1000条)之后，可以依次对这1000条贷款交易数据进行数据初筛选阶段、数据分组阶段和数据重筛选阶段，进而得到多组目标贷款交易数据。具体地说，在数据初筛选阶段中，大数据平台可以根据用户在目标配置规则中设置的筛选规则对这1000条交易数据进行筛选，比如，若用户设置的目标配置规则为每天10:00对9:00～12:00内生成的贷款交易数据进行对账，则大数据平台可以根据这1000条交易数据的生成时间从这1000条交易数据中筛选得到9:00～12:00内生成的贷款交易数据(比如800条)。相应地，在数据分组阶段中，大数据平台可以根据用户在目标配置规则中设置的分组规则对这800条交易数据进行分组，比如，若用户设置的目标配置规则为每天10:00对9:00～12:00内生成的贷款交易数据分别进行定期对账和活期对账，则大数据平台可以根据这800条交易数据的类型(定期或活期)将这800条交易数据划分为定期交易数据(比如300条)和活期交易数据(比如500条)。进一步地，在数据重筛选阶段中，大数据平台可以根据用户在目标配置规则中设置的修正规则对这300条定期交易数据和500条活期交易数据进行补正，比如，若用户设置的目标配置规则为定期交易数据的业务场景为贷款场景，则大数据平台可以将这300条定期交易数据中业务场景不全的定期交易数据的业务场景修正为贷款场景。

进一步地，大数据平台在修正得到300条目标定期交易数据和500条目标活期交易数据后，可以将这300条目标定期交易数据和500条目标活期交易数据发送给处理器，并调用处理器对这300条目标定期交易数据和500条目标活期交易数据进行处理，生成这300条目标定期交易数据和500条目标活期交易数据分别对应的第一流数据。其中，处理器可以为离线分析处理器，比如spark离线处理器、Flink离线分析处理器等，处理器可以在离线的情况下对交易数据进行处理，得到交易数据对应的流数据；相应地，交易数据对应的流数据可以是指在某个产品(比如“企业贷”产品)在其完整的寿命期内所发生的现金流出和现金流入的全部资金收付数量，通过交易数据对应的流数据，用户可以对产品的风险进行评估。

本发明实施例中，通过使用离线分析处理器(比如spark离线处理器)处理交易数据得到交易数据对应的流数据，可以使得处理过程较为简洁，并可以充分利用大数据平台的优势，而无需考虑客户端设备的硬件和/或软件配置，也无需考虑服务器集群系统处理数据时需要主服务器向从服务器发送待处理数据的问题，从而可以保证数据处理的准确性和实时性，可以在低成本的条件下调高数据的处理效率。

步骤203，使用第一配置信息配置一条或多条第一流数据，得到目标报表。

具体实施中，处理器在得到300条目标定期交易数据和500条目标活期交易数据分别对应的第一流数据后，可以获取目标配置信息包括的多个维度，进而可以使用多个维度对300条目标定期交易数据和500条目标活期交易数据进行划分，得到多个维度分别包括的至少一条第一流数据。其中，目标配置信息包括的多个维度可以包括预设时间块维度、产品维度、逾期天数维度等。举例来说，若目标配置信息中包括的预设时间块维度为从9:00到12:00之间每0.5h统计一次定期交易数据的流数据，则处理器在该预设时间块维度下可以获取到第一～第六子数据块，第一子数据块包括9:00～9:30之间生成的定期交易数据的流数据，第二子数据块包括9:30～10:00之间生成的定期交易数据的流数据，……，第六子数据块包括11:30～12:00之间生成的定期交易数据的流数据。

本发明实施例中，通过多个维度对一条或多条流数据进行划分，可以使得生成的目标报表更加满足用户的需要，用户的满意度更好。

在一种可能的实现方式中，处理器可以查看目标配置信息确定每个维度是否设置有新业务，若确定某一维度设置有新业务，则可以使用目标配置信息中该新任务的配置信息配置该维度下的至少一条流数据，得到至少一条流数据对应的至少一条伪交易数据，进而可以生成至少一条伪交易数据对应的第二流数据；如此，该维度包括的流数据可以包括第一流数据和第二流数据。举例来说，若用户在目标配置方式中设置了定期贷款维度对应的一条新任务a——“贷款时间超过350天(小于365天)的定期贷款预估按照1年的利率0.15计算利息，贷款时间超过700天(小于730天)的定期存预估款按照2年的利率0.2计算利息”，则处理器可以使用新任务a的配置信息配置定期贷款维度下的300条目标定期交易数据对应的流数据，从而可以得到300条伪交易数据；相应地，若某一条目标定期交易数据对应的贷款时间为710天，该条目标定期交易数据对应的流数据为按照1年的利率0.15计算得到的利息，则由于贷款时间为710天大于700天，因此，处理器可以生成该条目标定期交易数据对应的伪交易数据“贷款时间710天按照2年的利率0.2计算利息”，进而可以生成该条伪交易数据对应的流数据，其中，该条伪交易数据对应的流数据可以为按照2年的利率0.2计算得到的利息。

本发明实施例中，新业务可以由用户根据业务场景进行设置，如此，通过生成交易数据对应的流数据和新业务下伪交易数据对应的流数据，可以使得每个维度对应的流数据更加全面，从而可以便于用户根据每个维度对应的流数据预估风险，且可以提高在实际业务场景下预估风险的准确性。

进一步地，大数据平台在确定处理器得到多个维度分别包括的至少一条第一流数据和一条或多条第二流数据后，可以将多个维度分别包括的至少一条第一流数据和一条或多条第二流数据存储在Hive数据库和关系型数据库b中。相应地，报表平台可以按照预设周期检测关系型数据库b的状态，若确定关系型数据库b中存储了新的流数据，则可以从关系型数据库b中获取多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，进而可以根据目标配置信息、多个维度分别包括的至少一条第一流数据和一条或多条第二流数据生成目标报表。

如图2所示，在一种可能的实现方式中，客户端设备122中的大数据平台还可以与外部数据库连接，其中，外部数据可以是指区别于本行的他行数据库，或者可以为市场数据库，外部数据库中存储有曲线数据，比如利率、汇率等。具体实施中，大数据平台可以按照预设周期获取外部数据库中的曲线数据，进而可以基于外部曲线数据生成目标报表，比如，可以使用市场当前汇率对某一流数据(第一流数据和/或第二流数据)中的外币进行转化，从而可以根据转化后的流数据生成目标报表。在该种实现方式中，通过获取外部数据库中的曲线数据，可以提高目标报表的准确性。

在一个示例中，报表平台可以将生成的目标报表存储在关系型数据库b中，若检测到用户触发了预设管理界面上的“显示报表”功能图标，则可以将目标报表显示给用户，比如可以通过微信群、钉钉、企业微信群等推送给用户，或者也可以通过预设管理界面显示给用户，具体不作限定。在该示例中，通过主动将目标报表显示给用户，用户无需手动获取即可查看目标报表，从而用户的体验较好。

本发明的上述实施例中，获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；进一步地，使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。本发明实施例中，通过设置第一数据库，使得查询第一数据库即可获取到交易数据，如此，有助于避免传送交易数据的过程所导致的时延，从而可以提高数据处理的效率；且，本发明实施例可以根据第一配置信息查询得到与第一配置信息匹配的一条或多条交易数据，进而自动生成目标报表，从而可以实现数据获取、数据处理、数据整合的一体化操作流程。

针对上述方法流程，本发明实施例还提供一种数据处理装置，该装置的具体内容可以参照上述方法实施。

图4为本发明实施例提供的一种数据处理装置的结构示意图，包括：

获取模块401，用于获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；

处理模块402，用于查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；

配置模块403，用于使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。

可选地，所述获取模块401具体用于：

接收用户在预设管理界面上输入的一条或多条配置信息，所述一条或多条配置信息包括至少一条预设规则；

若确定当前时间触发所述至少一条预设规则中的第一预设规则，则从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息。

可选地，所述获取模块401还用于：将所述一条或多条配置信息存储在第二数据库中，所述第二数据库为关系型数据库；以及，从所述第二数据库中获取所述第一配置信息。

可选地，所述获取模块401还用于：确定所述第一配置信息包括的多个维度；

所述配置模块403具体用于：根据所述多个维度对所述一条或多条第一流数据进行划分，得到所述多个维度分别包括的至少一条第一流数据；针对于所述多个维度中的第一维度，若确定所述第一配置信息中包括所述第一维度对应的业务配置方式，则使用所述第一维度对应的业务配置方式配置所述第一维度包括的至少一条第一流数据，得到所述第一维度包括的一条或多条第二交易数据，并根据所述第一维度包括的所述一条或多条第二交易数据生成所述第一维度包括的一条或多条第二流数据；使用所述多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，得到所述目标报表。

可选地，所述处理模块402还用于：

将所述目标报表显示给用户。

从上述内容可以看出：本发明的上述实施例中，获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；进一步地，使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。本发明实施例中，通过设置第一数据库，使得查询第一数据库即可获取到交易数据，如此，有助于避免传送交易数据的过程所导致的时延，从而可以提高数据处理的效率；且，本发明实施例可以根据第一配置信息查询得到与第一配置信息匹配的一条或多条交易数据，进而自动生成目标报表，从而可以实现数据获取、数据处理、数据整合的一体化操作流程。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如图3任意所述的方法。

基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行如图3任意所述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于大数据平台的数据处理方法，其特征在于，所述方法包括：

获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；

查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；所述第一数据库设置在所述大数据平台中；

使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。

2.根据权利要求1所述的方法，其特征在于，所述获取第一配置信息，包括：

接收用户在预设管理界面上输入的一条或多条配置信息，所述一条或多条配置信息包括至少一条预设规则；

若确定当前时间触发所述至少一条预设规则中的第一预设规则，则从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息。

3.根据权利要求2所述的方法，其特征在于，所述接收用户在预设管理界面上输入的一条或多条配置信息后，还包括：将所述一条或多条配置信息存储在第二数据库中，所述第二数据库为关系型数据库；

所述从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息，包括：从所述第二数据库中获取所述第一配置信息。

4.根据权利要求1所述的方法，其特征在于，所述使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表，包括：

确定所述第一配置信息包括的多个维度，并根据所述多个维度对所述一条或多条第一流数据进行划分，得到所述多个维度分别包括的至少一条第一流数据；

针对于所述多个维度中的第一维度，若确定所述第一配置信息中包括所述第一维度对应的业务配置方式，则使用所述第一维度对应的业务配置方式配置所述第一维度包括的至少一条第一流数据，得到所述第一维度包括的一条或多条第二交易数据，并根据所述第一维度包括的所述一条或多条第二交易数据生成所述第一维度包括的一条或多条第二流数据；

使用所述多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，得到所述目标报表。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述得到目标报表后，还包括：

将所述目标报表显示给用户。

6.一种基于大数据平台的数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一配置信息，所述第一配置信息用于指示目标报表的生成形式；

处理模块，用于查询第一数据库得到与所述第一配置信息匹配的一条或多条第一交易数据，并根据所述一条或多条第一交易数据，生成所述一条或多条第一交易数据对应的一条或多条第一流数据；

配置模块，用于使用所述第一配置信息配置所述一条或多条第一流数据，得到目标报表。

7.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：

接收用户在预设管理界面上输入的一条或多条配置信息，所述一条或多条配置信息包括至少一条预设规则；

若确定当前时间触发所述至少一条预设规则中的第一预设规则，则从所述一条或多条配置信息中获取与所述第一预设规则匹配的所述第一配置信息。

8.根据权利要求7所述的装置，其特征在于，所述获取模块还用于：将所述一条或多条配置信息存储在第二数据库中，所述第二数据库为关系型数据库；以及，从所述第二数据库中获取所述第一配置信息。

9.根据权利要求6所述的装置，其特征在于，所述获取模块还用于：确定所述第一配置信息包括的多个维度；

所述配置模块具体用于：根据所述多个维度对所述一条或多条第一流数据进行划分，得到所述多个维度分别包括的至少一条第一流数据；针对于所述多个维度中的第一维度，若确定所述第一配置信息中包括所述第一维度对应的业务配置方式，则使用所述第一维度对应的业务配置方式配置所述第一维度包括的至少一条第一流数据，得到所述第一维度包括的一条或多条第二交易数据，并根据所述第一维度包括的所述一条或多条第二交易数据生成所述第一维度包括的一条或多条第二流数据；使用所述多个维度分别包括的至少一条第一流数据和一条或多条第二流数据，得到所述目标报表。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述处理模块还用于：

将所述目标报表显示给用户。

11.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至5任一项所述的方法。

12.一种计算机程序产品，其特征在于，当其在计算机上运行时，使得计算机执行如权利要求1至5任一项所述的方法。