CN114372111A - 业务数据上传方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种业务数据上传方法、装置、计算机设备及存储介质。本发明涉及大数据技术领域，其包括：在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区；从预设业务表的预设分区中获取业务数据，并根据业务数据中携带的数据类型标识识别业务数据的类型；根据业务数据的类型、业务数据中携带的功能标识以及预置Saprk计算引擎对业务数据进行并行处理以生成待上传数据，并将待上传数据写入预设同步表中；将预设同步表中的待上传数据上传至保单登记平台的接收表。本申请实施例可提高业务数据的处理效率。

Description

业务数据上传方法、装置、计算机设备及存储介质

技术领域

本发明涉及大数据技术领域，尤其涉及一种业务数据上传方法、装置、计算机设备及存储介质。

背景技术

保单登记平台是中银保监启动建设的平台，为全面收集基于保单的全口径、全生命周期动态业务数据，推动行业数据资源的共享和整合，使监管部门获取数据的时效由原来的以月度、季度为单位转向以日为单位，获取数据的方式由公司提供汇总数据转变为直接获取保单原始数据，提高数据采集的时效性和准确性。目前，提供给保单登记平台的数据，是各个业务系统在Oracle数据库完成逻辑处理，写入对接表，再同步给保单登记平台。由于随着业务的发展，业务数据量不断增长，现有的Oracle数据库承载压力比较大，在处理业务数据时效上会存在延迟，业务数据处理的效率较低，从而也会导致保单登记平台接收到的业务数据不及时，影响业务数据准确性的核实。

发明内容

本发明实施例提供了一种业务数据上传方法、装置、计算机设备及存储介质，旨在解决现有业务数据处理效率低下的问题。

第一方面，本发明实施例提供了一种业务数据上传方法，其包括：

在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；

从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；

根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；

将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

第二方面，本发明实施例还提供了一种业务数据上传装置，其包括：

同步单元，用于在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；

识别单元，用于从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；

写入单元，用于根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；

上传单元，用于将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

本发明实施例提供了一种业务数据上传方法、装置、计算机设备及存储介质。其中，所述方法包括：在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。本发明实施例的技术方案，在预设定时时间到达时，先将业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，然后根据业务数据的类型、功能标识以及预置Saprk计算引擎对业务数据进行并行处理生成待上传数据，最后将待上传数据写入预设同步表，而非在与业务系统相对应的Oracle数据库中进行业务处理，可提高业务数据的处理效率，确保保单登记平台及时地对业务数据的准确性进行核实。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种业务数据上传方法的流程示意图；

图2为本发明实施例提供的一种业务数据上传方法的子流程示意图；

图3为本发明实施例提供的一种业务数据上传方法的子流程示意图；

图4为本发明另一实施例提供的一种业务数据上传方法的流程示意图；

图5为本发明实施例提供的一种业务数据上传装置的示意性框图；以及

图6为本发明实施例提供的一种计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

请参阅图1，图1是本发明实施例提供的一种业务数据上传方法的流程示意图。本发明实施例的业务数据上传方法可应用于Hadoop大数据平台中，通过安装于所述Hadoop大数据平台上的应用程序来实现所述业务数据上传方法，从而提高业务数据的处理效率，确保保单登记平台及时地对业务数据的准确性进行核实。如图1所示，该方法包括以下步骤S100-S130。

S100、在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表。

在本发明实施例中，在预设定时时间到达时，Hadoop大数据平台会通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与Hadoop大数据平台相对应的hive库中的表，所述同步工具为所述Hadoop大数据平台自带的Sqoop同步工具，其中，所述Sqoop同步工具为一款开源的同步工具，主要用于数据库中之间的数据传递。需要说明的是，在本发明实施例中，业务系统包括契约系统、保全系统、理赔系统、渠道系统、财务系统等系统；所述数据库表为Oracle数据库表。可理解地，在其它实施例中，所述数据库表也可为MySQL、SQLServer等其它数据库表。

请参阅图2，在一实施例中，例如在本发明实施例中，所述步骤S100包括如下步骤S101-S102。

S101、在预设定时时间到达时，获取当前时间戳，并根据所述当前时间戳及预设分区字段确定预设业务表中的预设分区；

S102、通过同步工具将与业务系统相对应的数据库表中的业务数据同步至所述预设分区。

在本发明实施例中，在预设定时时间到达时，Hadoop大数据平台获取当前时间戳，并根据所述当前时间戳及预设分区字段确定预设业务表中的预设分区，例如，假设所述当前时间戳为2021年7月7日17点51分，预设分区字段为op-day，则根据20210707及op-day确定预设业务表中的预设分区为20210707，确定分区之后，通过Sqoop同步工具将与业务系统相对应的数据库表中的业务数据同步至所述预设分区20210707。可理解地，将Oracle数据库表中的业务数据同步至所述预设分区时，当数据库表中只有部分数据进行更新时，可根据表名及字段名进行同步，当整张数据库表都有更新时，也可进行整张表全字段进行同步。需要说明的是，在本发明实施例中，业务数据同步至所述Hadoop大数据平台的hive库中时，进行分区存储，可提高业务数据的存储量。

S110、从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型。

在本发明实施例中，将数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区之后，会从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型，其中，所述业务数据的类型包括团单类型和个单类型，所述数据类型标识为自定义的字符串。可理解地，由于保单登记平台中会区分团体保单和个体保单，而所述团体保单和所述个体保单所涉及的表字段会不同，因此为了将所述业务数据保存至与所述保单登记平台中接收表的表结构相同所述预设同步表，需要先识别出所述业务数据的类型。

S120、根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表。

在本发明实施例中，根据所述业务数据中携带的数据类型标识识别所述业务数据的类型之后，会根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预置Saprk计算引擎为使用原生态语言Scala编写的引擎，可对大规模业务数据进行快速处理；所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；所述预置Saprk计算引擎中包括契约功能模块、保全功能模块、理赔功能模块、渠道功能模块、财务功能模块等功能模块。可理解地，不同的所述功能标识对应不同的所述预设功能模块，例如，假设所述功能标识为保全系统的功能标识，则对应的预设功能模块为保全功能模块，因此通过所述功能标识可从多个预设功能模块中确定出目标功能模块。需要说明的是，在本发明实施例中，所述Hadoop大数据平台是通过多线程的方式对所述业务数据进行并行处理的，而对所述业务数据进行业务处理的过程为本领域技术人员所熟知，在此不再赘述。

请参阅图3，在一实施例中，例如在本发明实施例中，所述步骤S120包括如下步骤S121-S125。

S121、根据所述业务数据中携带的功能标识从预置Saprk计算引擎中的多个预设功能模块中确定出目标功能模块；

S122、若所述业务数据的类型为团单类型，则通过所述目标功能模块中的团单接口对所述业务数据进行处理，以生成待上传数据；

S123、若所述业务数据的类型为个单类型，则通过所述目标功能模块中的个单接口对所述业务数据进行处理，以生成所述待上传数据；

S124、获取当前时间戳，根据所述当前时间戳确定所述预设同步表的预设分区；

S125、将所述待上传数据写入所述预设同步表的所述预设分区中。

在本发明实施例中，根据所述业务数据中携带的数据类型标识识别所述业务数据的类型之后，先根据所述业务数据中携带的功能标识从预置Saprk计算引擎中的多个预设功能模块中确定出目标功能模块，例如，假设所述功能标识为保全系统的功能标识，则目标功能模块为保全功能模块，可理解地，不同的功能模块需要上传至保单登记平台的数据不同，因此写入所述预设同步表中的数据也不同，例如，契约功能模块需要向所述预设同步表写入保单号、生效日期、满期日期、保单状态等数据，保全功能模块需要向所述预设同步表写入退保、续期、续保、加减人数等数据，理赔功能模块需要向所述预设同步表写入案件号、案件处理状态、理赔情况等数据；根据确定的所述目标功能模块及所述业务数据的类型通过预设接口对所述业务数据进行处理，以生成待上传数据，具体地，若所述业务数据的类型为团单类型，则通过所述目标功能模块中的团单接口对所述业务数据进行处理，以生成待上传数据；若所述业务数据的类型为个单类型，则通过所述目标功能模块中的个单接口对所述业务数据进行处理，以生成所述待上传数据；可理解地，同一所述预设功能模块下的所述个单接口与所述团单接口的入参和出参不相同，进行的业务处理也不相同，例如，对于保全功能模块中的团单类型，涉及增加被保险人、减少被保险人、团体客户信息变更等，而个单类型，涉及年龄更正、保单续保等，不同的预设功能模块下的所述个单接口或者所述团单接口的入参和出参也不相同，进行的业务处理也不相同。对所述业务数据进行处理生成所述待上传数据之后，获取当前时间戳，根据所述当前时间戳确定所述预设同步表的预设分区；将所述待上传数据写入所述预设同步表的所述预设分区中，具体地，是写入预设分区对应的字段中。需要说明的是，在本发明实施例中，所述预设同步表中的所述待上传数据按日期分区存储，可方便按日期将所述待上传数据上传至保单登记平台的接收表。

S130、将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

在本发明实施例中，将所述待上传数据写入预设同步表中之后，先将所述预设同步表中的所述待上传数据导出至与所述Hadoop大数据平台相对应的第一文件系统，其中，所述第一文件系统为分布式文件系统HDFS；然后再通过DistCp命令将第一文件系统中的所述待上传数据复制到与保单登记平台相对应的第二文件系统中，其中，所述第二文件系统也为分布式文件系统HDFS；最后，将所述第二文件系统中的所述待上传数据导入至保单登记平台的接收表，以及时对所述业务数据的准确性进行核实。

图4为本发明另一实施例提供的业务数据上传方法的流程示意图，如图4所示，在本实施例中，所述方法包括步骤S100-S140。也即，在本实施例中，所述方法在上述实施例的步骤S100之前，还包括步骤S140。

S140、在与所述Hadoop大数据平台相对应的hive库中创建多张表结构不相同的预设业务表及预设同步表，其中，多张所述预设业务表及多张所述预设同步表均按日期进行分区。

在本发明实施例中，在将数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区之前，还需在与所述Hadoop大数据平台相对应的hive库中创建多张表结构不相同的预设业务表及预设同步表，其中，多张所述预设业务表及所述预设同步表均按日期进行分区。可理解地，所述预设业务表的表结构与所述数据库表的表结构相同，以方便业务数据的同步；所述预设同步表与保单登记平台，即保单登记平台中的接收表的表结构相同；所述预设业务表与所述预设同步表的表结构不相同。需要说明的是，在本发明实施例中，多张所述预设业务表及多张所述预设同步表均按日期进行分区，以方便业务数据的分批处理。

图5是本发明实施例提供的一种业务数据上传装置200的示意性框图。如图5所示，对应于以上业务数据上传方法，本发明还提供一种业务数据上传装置200。该业务数据上传装置200包括用于执行上述业务数据上传方法的单元，该装置可以被配置于Hadoop大数据平台中。具体地，请参阅图4，该业务数据上传装置200包括同步单元201、识别单元202、写入单元203以及上传单元204。

其中，所述同步单元201用于在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；所述识别单元202用于从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；所述写入单元203用于根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；所述上传单元204用于将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

在某些实施例，例如本实施例中，所述同步单元201包括第一确定单元2011及同步子单元2012。

其中，所述第一确定单元2011用于在预设定时时间到达时，获取当前时间戳，并根据所述当前时间戳及预设分区字段确定预设业务表中的预设分区；所述同步子单元2012用于通过同步工具将与业务系统相对应的数据库表中的业务数据同步至所述预设分区。

在某些实施例，例如本实施例中，所述写入单元203包括第二确定单元2031、第一处理单元2032、第二处理单元2033、第三确定单元2034以及写入子单元2035。

其中，所述第二确定单元2031用于根据所述业务数据中携带的功能标识从预置Saprk计算引擎中的多个预设功能模块中确定出目标功能模块；所述第一处理单元2032用于若所述业务数据的类型为团单类型，则通过所述目标功能模块中的团单接口对所述业务数据进行处理，以生成待上传数据；所述第二处理单元2033用于若所述业务数据的类型为个单类型，则通过所述目标功能模块中的个单接口对所述业务数据进行处理，以生成所述待上传数据；所述第三确定单元2034用于获取当前时间戳，根据所述当前时间戳确定所述预设同步表的预设分区；所述写入子单元2035用于将所述待上传数据写入所述预设同步表的所述预设分区中。

在某些实施例，例如本实施例中，所述上传单元204包括导出单元2041、复制单元2042以及导入子单元2043。

其中，所述导出单元2041用于将所述预设同步表中的所述待上传数据导出至与所述Hadoop大数据平台相对应的第一文件系统；所述复制单元2042用于通过DistCp命令将第一文件系统中的所述待上传数据复制到与保单登记平台相对应的第二文件系统中；所述导入子单元2043用于将所述第二文件系统中的所述待上传数据导入至保单登记平台的接收表。

在某些实施例，例如本实施例中，所述业务数据上传装置200还包括创建单元205。

其中，所述创建单元205用于在与所述Hadoop大数据平台相对应的hive库中创建多张表结构不相同的预设业务表及预设同步表，其中，多张所述预设业务表及多张所述预设同步表均按日期进行分区。

本发明实施例的业务数据上传装置200的具体实现方式与上述业务数据上传方法相对应，在此不再赘述。

上述业务数据上传装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为Hadoop大数据平台。

参阅图6，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。

该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种业务数据上传方法。

该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。

该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种业务数据上传方法。

该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

在某些实施例，例如本实施例中，处理器302在实现所述在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区步骤时，具体实现如下步骤：在预设定时时间到达时，获取当前时间戳，并根据所述当前时间戳及预设分区字段确定预设业务表中的预设分区；通过同步工具将与业务系统相对应的数据库表中的业务数据同步至所述预设分区。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据步骤时，具体实现如下步骤：根据所述业务数据中携带的功能标识从预置Saprk计算引擎中的多个预设功能模块中确定出目标功能模块；若所述业务数据的类型为团单类型，则通过所述目标功能模块中的团单接口对所述业务数据进行处理，以生成待上传数据；若所述业务数据的类型为个单类型，则通过所述目标功能模块中的个单接口对所述业务数据进行处理，以生成所述待上传数据；获取当前时间戳，根据所述当前时间戳确定所述预设同步表的预设分区；将所述待上传数据写入所述预设同步表的所述预设分区中。

在某些实施例，例如本实施例中，处理器302在实现所述将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表步骤之时，具体实现如下步骤：将所述预设同步表中的所述待上传数据导出至与所述Hadoop大数据平台相对应的第一文件系统；通过DistCp命令将第一文件系统中的所述待上传数据复制到与保单登记平台相对应的第二文件系统中；将所述第二文件系统中的所述待上传数据导入至保单登记平台的接收表。

在某些实施例，例如本实施例中，处理器302在实现所述在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区步骤之前，具体实现还包括如下步骤：在与所述Hadoop大数据平台相对应的hive库中创建多张表结构不相同的预设业务表及预设同步表，其中，多张所述预设业务表及多张所述预设同步表均按日期进行分区。

应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述业务数据上传方法的任意实施例。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种业务数据上传方法，应用于Hadoop大数据平台，其特征在于，包括：

在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；

从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；

根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；

将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

2.根据权利要求1所述的方法，其特征在于，所述在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，包括：

在预设定时时间到达时，获取当前时间戳，并根据所述当前时间戳及预设分区字段确定预设业务表中的预设分区；

通过同步工具将与业务系统相对应的数据库表中的业务数据同步至所述预设分区。

3.根据权利要求1所述的方法，其特征在于，所述根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，包括：

根据所述业务数据中携带的功能标识从预置Saprk计算引擎中的多个预设功能模块中确定出目标功能模块；

根据所述目标功能模块及所述业务数据的类型通过预设接口对所述业务数据进行处理，以生成待上传数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标功能模块及所述业务数据的类型通过预设接口对所述业务数据进行处理，以生成待上传数据，包括：

若所述业务数据的类型为团单类型，则通过所述目标功能模块中的团单接口对所述业务数据进行处理，以生成待上传数据；

若所述业务数据的类型为个单类型，则通过所述目标功能模块中的个单接口对所述业务数据进行处理，以生成所述待上传数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述待上传数据写入预设同步表中，包括：

获取当前时间戳，根据所述当前时间戳确定所述预设同步表的预设分区；

将所述待上传数据写入所述预设同步表的所述预设分区中。

6.根据权利要求1所述的方法，其特征在于，所述将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表，包括：

将所述预设同步表中的所述待上传数据导出至与所述Hadoop大数据平台相对应的第一文件系统；

通过DistCp命令将第一文件系统中的所述待上传数据复制到与保单登记平台相对应的第二文件系统中；

将所述第二文件系统中的所述待上传数据导入至保单登记平台的接收表。

7.根据权利要求1所述的方法，其特征在于，所述在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区之前，还包括：

在与所述Hadoop大数据平台相对应的hive库中创建多张表结构不相同的预设业务表及预设同步表，其中，多张所述预设业务表及多张所述预设同步表均按日期进行分区。

8.一种业务数据上传装置，应用于Hadoop大数据平台，其特征在于，包括：

同步单元，用于在预设定时时间到达时，通过同步工具将与业务系统相对应的数据库表中的业务数据同步至与当前时间戳相对应的预设业务表中的预设分区，其中，所述预设业务表为存储在与所述Hadoop大数据平台相对应的hive库中的表；

识别单元，用于从所述预设业务表的所述预设分区中获取所述业务数据，并根据所述业务数据中携带的数据类型标识识别所述业务数据的类型；

写入单元，用于根据所述业务数据的类型、所述业务数据中携带的功能标识以及预置Saprk计算引擎对所述业务数据进行并行处理以生成待上传数据，并将所述待上传数据写入预设同步表中，其中，所述预设同步表为存储在所述Hadoop大数据平台相对应的hive库中的表；

上传单元，用于将所述预设同步表中的所述待上传数据上传至保单登记平台的接收表。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images