CN111984740B - 业务数据表处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种业务数据表处理方法、装置、计算机设备和存储介质，通过获取待处理业务数据表的数据信息；查找待处理业务数据表对应的集成规则，判断待处理业务数据表对应的集成处理任务类型；而后新建所述待处理业务数据表对应的第一集成处理任务；当接收到第一集成处理任务对应的任务切换指令时，控制第一外部数据集成系统删除第一集成处理任务，并新建第二集成处理任务。本申请依据业务数据表对应的集成规则对业务数据表进行分类，而后依据分类结果在对应的数据集成系统上建立对应的数据集成任务对其进行处理。而在需要进行任务处理类型的切换时，用户可以通过相应的指令进行一键切换，降低任务切换过程的繁琐度，提高业务数据表的处理效率。

Description

业务数据表处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据更新方法、装置、计算机设备和存储介质。

背景技术

随着互联网的快速发展以及数据的快速增涨，人们逐渐的认识到数据在整个互联网发展中的战略重要性。对于业务库数据集成到数据仓库的需求，一般公司都是在类似于azkaban的调度系统上配置批次的数据集成任务。但随着数据量的日渐增大，数据仓库凌晨跑批的任务和数据量也增多，高峰期所用资源要求的压力越来越大，完成时间也变长。针对这个问题，可以把每天高峰期跑批的大部分任务替换成准实时任务，以减轻凌晨高峰期的压力和提高优先级高的任务跑批的效率。

但是有些特殊的业务表存在跑批或者有日终等，不满足准实时的要求，只能通过批次离线跑任务，所以集成分成准实时和离线两种任务类型，而这两种任务类型之间可以进行互相切换。

对于从离线任务切换成准实时任务的过程，需要一个个的先配置实时数据通路的任务并要手工建表视图和任务，然后再配置离线任务等等，步骤繁琐，处理效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高离线任务与准实时任务切换效率的业务数据表处理方法、装置、计算机设备和存储介质。

一种业务数据表处理方法，所述方法包括：

获取待处理业务数据表的数据信息；

查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

在其中一个实施例中，所述获取待处理业务数据表的数据信息包括：

扫描预设存储位置内的业务元数据；

根据所述业务元数据识别新增的待处理业务数据表；

获取所述待处理业务数据表对应的数据信息。

在其中一个实施例中，所述查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型包括：

查找所述待处理业务数据表对应的集成规则；

根据所述数据信息依次查询所述集成规则，根据查询结果确定所述待处理业务数据表对应的集成处理任务类型。

在其中一个实施例中，所述集成处理任务类型包括离线集成任务以及准实时集成任务，所述第一任务生成指令包括第一准实时任务生成指令以及第一离线任务生成指令，所述根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令包括：

当所述待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，所述第一准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务，并新建所述准实时集成任务对应的kudu表、视图和hive表；

当所述待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，所述第一离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务，并新建所述离线集成任务对应的临时表和目标表。

在其中一个实施例中，所述第一任务删除指令包括第一准实时任务删除指令以及第一离线任务删除指令，所述第二任务生成指令包括第二离线任务生成指令以及第二准实时任务生成指令，所述当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令包括：

当接收到准实时集成任务对应的任务切换指令时，向所述外部实时数据通路系统发送第一准实时任务删除指令，以及向所述外部离线调度系统发送第二离线任务生成指令，所述第一准实时任务删除指令用于控制外部实时数据通路系统删除所述准实时集成任务，所述第二离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务，新建所述准实时集成任务对应的临时表和目标表；

当接收到离线集成任务对应的任务切换指令时，向所述外部离线调度系统发送第一离线任务删除指令，以及向所述外部实时数据通路系统发送第二准实时任务生成指令，所述第一离线任务删除指令用于控制所述外部离线调度系统删除所述离线集成任务，所述第二准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务，新建所述准实时集成任务对应的kudu表、视图和hive表。

在其中一个实施例中，所述根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令之后，还包括：

查找所述待处理业务数据表对应的历史数据；

根据所述待处理业务数据表对应的历史数据向所述集成处理任务类型对应的外部第一数据集成系统发送初始化指令，所述初始化指令对所述第一集成处理任务创建的业务数据表进行初始化处理。

一种业务数据表处理装置，所述装置包括：

数据获取模块，用于获取待处理业务数据表的数据信息；

任务类型识别模块，用于查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

任务新建模块，用于根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

任务切换模块，用于当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

在其中一个实施例中，所述数据获取模块具体用于：

扫描预设存储位置内的业务元数据；

根据所述业务元数据识别新增的待处理业务数据表；

获取所述待处理业务数据表对应的数据信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待处理业务数据表的数据信息；

查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待处理业务数据表的数据信息；

查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

上述业务数据表处理方法、装置、计算机设备和存储介质，通过获取待处理业务数据表的数据信息；查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；根据待处理业务数据表对应的集成处理任务类型，向集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令；当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令。本申请的业务数据表处理方法，依据业务数据表对应的集成规则对业务数据表进行分类，而后依据分类结果在对应的数据集成系统上建立对应的数据集成任务对其进行处理。而在需要进行任务处理类型的切换时，用户可以通过相应的指令进行一键切换，降低任务切换过程的繁琐度，提高业务数据表的处理效率。

附图说明

图1为一个实施例中业务数据表处理方法的应用环境图；

图2为一个实施例中业务数据表处理方法的流程示意图；

图3为一个实施例中图2中步骤201的子流程示意图；

图4为一个实施例中图2中步骤203的子流程示意图；

图5为一个实施例中初始化过程的流程示意图；

图6为一个更具体的实施例中业务数据表处理方法的流程示意图；

图7为一个实施例中业务数据表处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的业务数据表处理方法，可以应用于如图1所示的应用环境中。其中，数据表处理服务器102可以通过网络与第一外部数据集成系统104以及第二外部数据集成系统106通信。数据表处理服务器102可以先获取待处理业务数据表的数据信息；查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；根据待处理业务数据表对应的集成处理任务类型，在对应的外部第一数据集成系统104上新建待处理业务数据表对应的第一集成处理任务；当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令控制第一外部数据集成系统104删除第一集成处理任务，并控制第二外部数据集成系统106新建任务切换指令对应的第二集成处理任务；通过第二集成处理任务，控制第二外部数据集成系统106对待处理业务数据表进行数据集成处理。其中，服务器102、第一外部数据集成系统104以及第二外部数据集成系统106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种业务数据表处理方法，以该方法应用于图1中的数据表处理服务器102为例进行说明，包括以下步骤：

步骤201，获取待处理业务数据表的数据信息。

其中，待处理业务数据表是本申请的业务数据表处理的处理对象，本申请具体用于数据仓库系统，适用于将预设业务库内的待处理业务数据表中容纳的业务数据集成到数据仓库内。数据信息具体包括待处理业务数据表的数据类型，数据增量，单业务表是否有日终，单业务表是否跑批，或者数据表是否有特殊用途等。

具体地，数据表处理服务器102具体可以对业务系统内的数据库与数据仓库内的数据库进行操作。具体可以用于数据集成，如控制使用哪种集成类型，来将业务系统内新生成表的数据导入到数据库内。具体地，数据表处理服务器可以识别出业务系统内哪些数据表是待处理业务数据表，而后获取这些待处理业务数据表对应的数据信息，这些数据信息可以是在业务系统制作业务数据表时，新建的与业务数据表对应的数据。此时数据表处理服务器可以查表获取数据信息。或者可以预设一些数据信息的查找规则，而后根据查找规则来获取待处理业务数据表的数据信息，如查找业务数据表的日增量数据，将其作为一个数据信息。

步骤203，查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型。

其中，集成规则是指用于判断如何对待处理业务数据表进行集成处理的规则，具体包括了离线集成规则以及准实时集成规则。通过离线集成规则可以判断是否对待处理业务表进行离线集成，通过准实时集成规则可以判断是否对待处理业务表进行准实时集成，集成规则具体包括了单个业务表的日增量是否大于预设阈值、业务表是否数据重要表、业务表是否有日终等。

具体地，数据表处理服务器102内预存有集成规则，这些集成规则是集成处理工作人员根据实时的业务需要进行预先配置的。工作人员可以分时段或者分业务系统类型来配置相应的待处理业务数据表集成规则。当得到待处理业务数据表的数据信息后，可以进一步查找该待处理业务数据表对应的集成规则，而后基于获取的数据信息，确定待处理业务数据表的集成处理任务类型。如待处理业务数据表对应的已配置集成规则具体为离线集成规则，包括“当单表的日增量大于1000万时，其对应的集成处理任务类型为离线集成”、“当待处理业务数据表的类型为非重要表时，其对应的集成处理任务类型为离线集成”等。当待处理业务数据表的数据信息显示其满足这些集成规则时，可以将判定当前待处理业务数据表的集成处理任务类型为离线集成处理。

步骤205，根据待处理业务数据表对应的集成处理任务类型，向集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，第一任务生成指令用于在外部第一数据集成系统上新建待处理业务数据表对应的第一集成处理任务，第一集成处理任务用于对待处理业务数据表进行集成处理。

外部第一数据集成系统具体可以为实时数据通路系统或离线调度系统，这两个系统为数据仓库系统中包含的子系统，用于数据集成处理。这两个系统可以分别通过网络与数据表处理服务器102进行连接，数据表处理服务器102可以通过相应的控制指令在这两个数据集成系统上建立相应的集成处理任务，而后由数据集成系统来对待处理业务数据表内的业务数据进行集成处理。

具体地，当确定待处理业务数据表对应的集成处理任务类型后，可以基于集成处理任务类型，调用外部第一数据集成系统来建立相应的集成处理任务。如，当待处理业务数据表对应的集成处理任务类型为离线处理类型时，其对应的外部第一数据集成系统则为离线调度系统。此时数据表处理服务器102可以在离线调度系统上新建用于对待处理业务数据表进行集成处理的第一集成处理任务。可以基于建立的第一集成处理任务，来控制第一外部数据集成系统来对待处理业务数据表进行数据集成各处理。

步骤207，当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，第一任务删除指令用于在第一外部数据集成系统删除第一集成处理任务，第二任务生成指令用于在第二外部数据集成系统新建任务切换指令对应的第二集成处理任务。

其中，任务切换指令用于将待处理业务数据表的处理类型进行切换，如将离线集成任务切换为准实时集成任务，或将准实时集成任务切换为离线集成任务。

具体地，当工作人员发现需要将待处理业务数据表的集成类型进行切换时，可以通过向数据表处理服务器102发送第一集成处理任务对应的任务切换指令，来对集成任务的任务类型进行切换。数据表处理服务器102接收到任务切换指令时，可以基于任务切换指令，对外部数据集成系统进行处理。此时第一外部数据集成系统已经基于第一集成处理任务来对待处理业务数据表内的数据进行集成处理了。此时，数据表处理服务器102可以直接删除待处理业务数据表内的第一集成任务，并清除已集成的数据。而后控制第二外部数据集成系统新建任务切换指令对应的第二集成处理任务，并继续进行集成处理。

上述业务数据表处理方法，通过获取待处理业务数据表的数据信息；查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；根据待处理业务数据表对应的集成处理任务类型，向集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令；当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令。本申请的业务数据表处理方法，依据业务数据表对应的集成规则对业务数据表进行分类，而后依据分类结果在对应的数据集成系统上建立对应的数据集成任务对其进行处理。而在需要进行任务处理类型的切换时，用户可以通过相应的指令进行一键切换，降低任务切换过程的繁琐度，提高业务数据表的处理效率。

在一个实施例中，如图3所示，步骤201包括：

步骤302，扫描预设存储位置内的业务元数据。

步骤304，根据业务元数据识别新增的待处理业务数据表。

步骤306，获取待处理业务数据表对应的数据信息。

其中，业务元数据是指业务数据表对应的元数据，元数据又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。而业务元数据具体是指与业务系统的数据库内的业务数据表相对应的元数据。当业务数据库内新生成业务表，或者业务表的数据进行变更时，数据表处理服务器102可以通过扫描预设存储位置内的业务元数据，识别出新增数据，进而根据业务元数据识别新增的待处理业务数据表；并获取得到待处理业务数据表对应的数据信息。本实施例中，通过扫描元数据来识别待处理业务数据表，能够达到更及时地识别出待处理业务数据表的效果。

在一个实施例中，如图4所示，步骤203包括：

步骤401，查找待处理业务数据表对应的集成规则。

步骤403，根据数据信息依次查询集成规则，根据查询结果确定待处理业务数据表对应的集成处理任务类型。

具体地，在确定待处理业务数据表对应的集成处理任务类型时，需要先查找到待处理业务数据表对应的集成规则，通过预先设置的规则来进行判定。查询到的集成规则是离线集成方式对应的一条规则或多条集成规则，或者查询到的是准实时集成方式对应的一条规则或多条集成规则。当配置多条规则时，它们之间是或者关系，只要满足其中一条即可决定该业务数据表的集成方式。现有技术中区分集成处理是采用准实时方式还是离线方式集成，都是通过人工去识别准实时和批次作业的，但是人工分类效率比较低而且容易出错。本实施例中，基于查询得到的集成规则来依次判断待处理业务数据表对应的集成处理任务类型，相比人工分类处理可以有效提升集成处理的效率。

在其中一个实施例中，集成处理任务类型包括离线集成任务以及准实时集成任务，第一任务生成指令包括第一准实时任务生成指令以及第一离线任务生成指令，步骤205包括：当待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，第一准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，并新建准实时集成任务对应的kudu表、视图和hive表；当待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，第一离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，并新建离线集成任务对应的临时表和目标表。

其中，kudu表、视图和hive表是用于执行准实时集成任务所需的表，而临时表和目标表则是用于执行离线集成任务所需的表。

具体地，当识别到集成处理任务类型是准实时自动集成时，数据表处理服务器102可以通过发送第一准实时任务生成指令，来自动在实时数据通路系统新增准实时任务等，新建集成需要的kudu表、视图和hive表。而后实时数据通路系统可以执行该准实时任务，通过kudu表、视图和hive表将业务数据库内的业务数据表数据准实时地集成到数据仓库内。而当识别到是离线方式集成时，则可以通过发送第一离线任务生成指令，自动在离线调度系统上新建离线集成任务，建里离线集成任务所需的临时表(stg表)和目标表(ods表)。本实施例中，依据集成处理任务类型来调用相应的数据集成系统，并通过新建相应处理任务以及任务表来对其进行处理。可以有效提高对集成数据业务的处理效率。

在其中一个实施例中，第一任务删除指令包括第一准实时任务删除指令以及第一离线任务删除指令，第二任务生成指令包括第二离线任务生成指令以及第二准实时任务生成指令，步骤207包括：当接收到准实时集成任务对应的任务切换指令时，向外部实时数据通路系统发送第一准实时任务删除指令，以及向外部离线调度系统发送第二离线任务生成指令，第一准实时任务删除指令用于控制外部实时数据通路系统删除准实时集成任务，第二离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，新建准实时集成任务对应的临时表和目标表；当接收到离线集成任务对应的任务切换指令时，向外部离线调度系统发送第一离线任务删除指令，以及向外部实时数据通路系统发送第二准实时任务生成指令，第一离线任务删除指令用于控制外部离线调度系统删除离线集成任务，第二准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，新建准实时集成任务对应的kudu表、视图和hive表。

具体地，当用户需要对当前集成处理任务的任务类型进行切换时。包括，当用户希望将准实时作业想切换成离线作业时，此时，第一集成处理任务对应的集成处理任务类型为准实时集成任务。用户可以直接发送第一集成处理任务对应的任务切换指令到数据表处理服务器102，而后由数据表处理服务器来控制进行业务切换。具体地，数据表处理服务器102可以与显示器连接，并在显示器上显示所有正在集成处理的业务表，用户可以直接找到第一集成处理任务对应的准实时集成任务，并将其切换到离线，此时，数据表处理服务器判定接收到了任务切换指令。而后通过向外部实时数据通路系统发送第一准实时任务删除指令，以及向外部离线调度系统发送第二离线任务生成指令，来控制外部实时数据通路系统下线对应的准实时任务，并删掉对应的中间表，然后在外部离线调度系统新建离线任务和对应的中间表，这个过程对用户是无感知的。同理，用户希望将离线任务切换成准实时任务时，也支持一键切换，可以直接找到上找到该表的离线集成任务，点击切换到准实时即可。此时数据表处理服务器102会向外部离线调度系统发送第一离线任务删除指令，以及向外部实时数据通路系统发送第二准实时任务生成指令，下线掉离线任务和删掉对应的中间表，然后新建准实时任务和对应的中间表，这个过程对用户是无感知的。

在其中一个实施例中，如图5所示，步骤205之后，还包括：

步骤502，查找待处理业务数据表对应的历史数据。

步骤504，根据待处理业务数据表对应的历史数据向集成处理任务类型对应的外部第一数据集成系统发送初始化指令，初始化指令用于对第一集成处理任务创建的业务数据表进行初始化处理。

具体地，在外部第一数据集成系统上新建待处理业务数据表对应的第一集成处理任务，由于新建的第一集成处理任务只能对业务数据表中后续的数据进行同步，为了保证业务数据表中所有的数据都能被集成到数据仓库内，需要对第一集成处理任务中新建的数据表进行初始化处理，根据待处理业务数据表中已存在的历史数据对业务数据表进行初始化处理。保证数据的同步性。同时，在任务切换时，本实施例中，新建集成任务对应的表时，也可以通过待处理业务数据表中已存在的历史数据来进行初始化处理。通过待处理业务数据表对应的历史数据对第一集成处理任务创建的业务数据表，进行初始化，可以有效保证第一集成处理任务创建的业务数据表能够与待处理业务数据表中的数据保持同步。

在一个具体的实施例中，本申请的一个具体流程图可以参照图6所示，其中数据表处理服务器102具体可以为数据传输控制台。首先数据传输控制台定期扫描元数据，而后查找到需要新增的集成表，并配置相应的分类规则。当不满足配置的规则时，将任务表分配到准实时的采集系统中进行数据表集成处理，而满足时，则通过批次采集(离线采集)的方式来进行数据表集成处理。同时可以在数据传输控制台上新建相应的集成处理任务，而在需要进行数据切换时，也可以进行一键切换，来提高集成处理的效率。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种业务数据表处理装置，包括：

数据获取模块702，用于获取待处理业务数据表的数据信息；

任务类型识别模块704，用于查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；

任务新建模块706，用于根据待处理业务数据表对应的集成处理任务类型，在对应的外部第一数据集成系统上新建待处理业务数据表对应的第一集成处理任务；

任务切换模块708，用于当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，第一任务删除指令用于在第一外部数据集成系统删除第一集成处理任务，第二任务生成指令用于在第二外部数据集成系统新建任务切换指令对应的第二集成处理任务。

在其中一个实施例中，数据获取模块701具体用于：扫描预设存储位置内的业务元数据；根据业务元数据识别新增的待处理业务数据表；获取待处理业务数据表对应的数据信息。

在其中一个实施例中，任务类型识别模块703具体用于：查找待处理业务数据表对应的集成规则；根据数据信息依次查询集成规则，根据查询结果确定待处理业务数据表对应的集成处理任务类型。

在其中一个实施例中，集成处理任务类型包括离线集成任务以及准实时集成任务，第一任务生成指令包括第一准实时任务生成指令以及第一离线任务生成指令，任务新建模块705具体用于：当待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，第一准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，并新建准实时集成任务对应的kudu表、视图和hive表；当待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，第一离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，并新建离线集成任务对应的临时表和目标表。

在其中一个实施例中，第一任务删除指令包括第一准实时任务删除指令以及第一离线任务删除指令，第二任务生成指令包括第二离线任务生成指令以及第二准实时任务生成指令，任务切换模块707具体用于：当接收到准实时集成任务对应的任务切换指令时，向外部实时数据通路系统发送第一准实时任务删除指令，以及向外部离线调度系统发送第二离线任务生成指令，第一准实时任务删除指令用于控制外部实时数据通路系统删除准实时集成任务，第二离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，新建准实时集成任务对应的临时表和目标表；当接收到离线集成任务对应的任务切换指令时，向外部离线调度系统发送第一离线任务删除指令，以及向外部实时数据通路系统发送第二准实时任务生成指令，第一离线任务删除指令用于控制外部离线调度系统删除离线集成任务，第二准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，新建准实时集成任务对应的kudu表、视图和hive表。

在其中一个实施例中，还包括数据初始化模块，用于：查找待处理业务数据表对应的历史数据；根据待处理业务数据表对应的历史数据向集成处理任务类型对应的外部第一数据集成系统发送初始化指令，初始化指令用于对第一集成处理任务创建的业务数据表进行初始化处理。

关于业务数据表处理装置的具体限定可以参见上文中对于业务数据表处理方法的限定，在此不再赘述。上述业务数据表处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据表处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据表处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待处理业务数据表的数据信息；

查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；

根据待处理业务数据表对应的集成处理任务类型，向集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，第一任务生成指令用于在外部第一数据集成系统上新建待处理业务数据表对应的第一集成处理任务，第一集成处理任务用于对待处理业务数据表进行集成处理；

当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，第一任务删除指令用于在第一外部数据集成系统删除第一集成处理任务，第二任务生成指令用于在第二外部数据集成系统新建任务切换指令对应的第二集成处理任务。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：扫描预设存储位置内的业务元数据；根据业务元数据识别新增的待处理业务数据表；获取待处理业务数据表对应的数据信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：查找待处理业务数据表对应的集成规则；根据数据信息依次查询集成规则，根据查询结果确定待处理业务数据表对应的集成处理任务类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，第一准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，并新建准实时集成任务对应的kudu表、视图和hive表；当待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，第一离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，并新建离线集成任务对应的临时表和目标表。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当接收到准实时集成任务对应的任务切换指令时，向外部实时数据通路系统发送第一准实时任务删除指令，以及向外部离线调度系统发送第二离线任务生成指令，第一准实时任务删除指令用于控制外部实时数据通路系统删除准实时集成任务，第二离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，新建准实时集成任务对应的临时表和目标表；当接收到离线集成任务对应的任务切换指令时，向外部离线调度系统发送第一离线任务删除指令，以及向外部实时数据通路系统发送第二准实时任务生成指令，第一离线任务删除指令用于控制外部离线调度系统删除离线集成任务，第二准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，新建准实时集成任务对应的kudu表、视图和hive表。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：查找待处理业务数据表对应的历史数据；根据待处理业务数据表对应的历史数据向集成处理任务类型对应的外部第一数据集成系统发送初始化指令，初始化指令用于对第一集成处理任务创建的业务数据表进行初始化处理。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待处理业务数据表的数据信息；

查找待处理业务数据表对应的集成规则，根据数据信息判断待处理业务数据表对应的集成处理任务类型；

根据待处理业务数据表对应的集成处理任务类型，向集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，第一任务生成指令用于在外部第一数据集成系统上新建待处理业务数据表对应的第一集成处理任务，第一集成处理任务用于对待处理业务数据表进行集成处理；

当接收到第一集成处理任务对应的任务切换指令时，根据任务切换指令，向集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，第一任务删除指令用于在第一外部数据集成系统删除第一集成处理任务，第二任务生成指令用于在第二外部数据集成系统新建任务切换指令对应的第二集成处理任务。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：扫描预设存储位置内的业务元数据；根据业务元数据识别新增的待处理业务数据表；获取待处理业务数据表对应的数据信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：查找待处理业务数据表对应的集成规则；根据数据信息依次查询集成规则，根据查询结果确定待处理业务数据表对应的集成处理任务类型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，第一准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，并新建准实时集成任务对应的kudu表、视图和hive表；当待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，第一离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，并新建离线集成任务对应的临时表和目标表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当接收到准实时集成任务对应的任务切换指令时，向外部实时数据通路系统发送第一准实时任务删除指令，以及向外部离线调度系统发送第二离线任务生成指令，第一准实时任务删除指令用于控制外部实时数据通路系统删除准实时集成任务，第二离线任务生成指令用于在外部离线调度系统中新增待处理业务数据表对应离线调度任务，新建准实时集成任务对应的临时表和目标表；当接收到离线集成任务对应的任务切换指令时，向外部离线调度系统发送第一离线任务删除指令，以及向外部实时数据通路系统发送第二准实时任务生成指令，第一离线任务删除指令用于控制外部离线调度系统删除离线集成任务，第二准实时任务生成指令用于在外部实时数据通路系统中新增待处理业务数据表对应准实时集成任务，新建准实时集成任务对应的kudu表、视图和hive表。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：查找待处理业务数据表对应的历史数据；根据待处理业务数据表对应的历史数据向集成处理任务类型对应的外部第一数据集成系统发送初始化指令，初始化指令用于对第一集成处理任务创建的业务数据表进行初始化处理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种业务数据表处理方法，所述方法包括：

获取待处理业务数据表的数据信息；

查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理业务数据表的数据信息包括：

扫描预设存储位置内的业务元数据；

根据所述业务元数据识别新增的待处理业务数据表；

获取所述待处理业务数据表对应的数据信息。

3.根据权利要求1所述的方法，其特征在于，所述查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型包括：

查找所述待处理业务数据表对应的集成规则；

根据所述数据信息依次查询所述集成规则，根据查询结果确定所述待处理业务数据表对应的集成处理任务类型。

4.根据权利要求1所述的方法，其特征在于，所述集成处理任务类型包括离线集成任务以及准实时集成任务，所述第一任务生成指令包括第一准实时任务生成指令以及第一离线任务生成指令，所述根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令包括：

当所述待处理业务数据表对应的集成处理任务类型为准实时集成任务时，向外部实时数据通路系统发送第一准实时任务生成指令，所述第一准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务，并新建所述准实时集成任务对应的kudu表、视图和hive表；

当所述待处理业务数据表对应的集成处理任务类型为离线集成任务时，向外部离线调度系统发送第一离线任务生成指令，所述第一离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务，并新建所述离线集成任务对应的临时表和目标表。

5.根据权利要求4所述的方法，其特征在于，所述第一任务删除指令包括第一准实时任务删除指令以及第一离线任务删除指令，所述第二任务生成指令包括第二离线任务生成指令以及第二准实时任务生成指令，所述当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令包括：

当接收到准实时集成任务对应的任务切换指令时，向所述外部实时数据通路系统发送第一准实时任务删除指令，以及向所述外部离线调度系统发送第二离线任务生成指令，所述第一准实时任务删除指令用于控制外部实时数据通路系统删除所述准实时集成任务，所述第二离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务，新建所述准实时集成任务对应的临时表和目标表；

当接收到离线集成任务对应的任务切换指令时，向所述外部离线调度系统发送第一离线任务删除指令，以及向所述外部实时数据通路系统发送第二准实时任务生成指令，所述第一离线任务删除指令用于控制所述外部离线调度系统删除所述离线集成任务，所述第二准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务，新建所述准实时集成任务对应的kudu表、视图和hive表。

6.根据权利要求1所述的方法，其特征在于，所述根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令之后，还包括：

查找所述待处理业务数据表对应的历史数据；

根据所述待处理业务数据表对应的历史数据向所述集成处理任务类型对应的外部第一数据集成系统发送初始化指令，所述初始化指令对所述第一集成处理任务创建的业务数据表进行初始化处理。

7.一种业务数据表处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取待处理业务数据表的数据信息；

任务类型识别模块，用于查找所述待处理业务数据表对应的集成规则，根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型；

任务新建模块，用于根据所述待处理业务数据表对应的集成处理任务类型，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令，所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务，所述第一集成处理任务用于对所述待处理业务数据表进行集成处理；

任务切换模块，用于当接收到所述第一集成处理任务对应的任务切换指令时，根据所述任务切换指令，向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令，以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令，所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务，所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。

8.根据权利要求7所述的装置，其特征在于，所述数据获取模块具体用于：

扫描预设存储位置内的业务元数据；

根据所述业务元数据识别新增的待处理业务数据表；

获取所述待处理业务数据表对应的数据信息。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。