CN116010491A - 一种支持断点和重跑的通用数据装载方法及系统 - Google Patents

Abstract

本发明涉及一种支持断点和重跑的通用数据装载方法及系统，建立对应目标表的状态表标记目标表的数据装载状态并使用匹配目标表的临时表具体执行数据的装载工作，通过配置定长数据文件格式、变长分隔符数据文件格式使用jdbc方式多线程装数适应各种关系型数据库装数的方法；通过装数状态表和数据临时表实现适合各自应用场景的装数方式；通过配置文件实现默认值、固定值、数据库系统值赋值的灵活的装数方式。

Description

一种支持断点和重跑的通用数据装载方法及系统

技术领域

本发明涉及数据库运行维护及数据处理技术领域，尤其涉及一种支持断点和重跑的通用数据装载方法及系统。

背景技术

关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解。其中，关系型数据库所包含的成系列的行和列被称为表，多个表结合组成了数据库。用户通过查询来检索数据库中的数据，即通过用于限定数据库中某些区域的执行代码对数据库存储的数据内容进行访问。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

现有主流各种关系型数据库产品，如Oracle SQL server Mysql DB2等，大都支持对数据格式文件进行装载，使文件能够直接导入预先定义的关系型表中。但是，现有的关系型数据库产品实现文件装载大都需要使用对应的特殊客户端或功能模块，并利用其内部接口对数据文件进行操作以实现比较高效的装载，导致不同种类数据库之间进行文件装载所需要做出的配置各不相同。

对于常规的关系型数据库使用场景来说，使用现有技术进行文件装载已经能够满足正常的需求。但是，对于一些特殊的使用要求，例如为了满足数据安全的更新标准需要替换使用的关系型数据库系统，则原有文件装载以及对应使用的批量脚本等均不能继续使用在新系统中，可能的情况是耗费大量精力实现使用新的客户端工具装载数据后，批量作业有绑定了新的数据库，如果需要再次更换数据库，又需要耗费大量人力实现新的功能，尤其对作业基数庞大的大型批量系统，这种情况造成的工作浪费更是不能接受的。

为了解决这一问题，现有技术也提出了对应的解决方案，即采用各类关系型数据库能够通用的驱动执行跨数据库的文件装载，例如JDBC。JDBC是一种可用于执行SQL语句的Java API。它由一些Java语言编写的类和接口组成。JDBC为数据库应用开发人员、数据库前台开发人员提供了一种标准的应用程序设计接口，使开发人员可以用纯Java语言编写完整的数据库应用程序。JDBC通过调用其接口提供的方法，提供了Java应用程序与各种数据库服务器之间的连接服务，它支持ANSI SQL-92标准，实现了从Java程序内调用标准的SQL命令对数据库进行查询、插入、删除和更新等操作，并确保数据事务的正常进行。当前市场上的大部分关系型数据库都提供JDBC驱动。但是，作为一种通用型驱动，采用JDBC执行文件装载仍然存在其局限性，特别是实际运行性能较差以及能够实现的高级功能较少。

由此可知，使用关系型数据库提供的装载工具基于数据库内部接口，性能较高，但通用型很差，只能支持相应的数据库；而单纯解析文件使用JDBC驱动insert数据，在数据量小的情况下可以实现功能，但是不能达到很高的性能，且对于相对复杂的应用场景不能方便的实现重跑装载或断点装载的便利功能。

发明内容

为解决现有技术的不足，本发明提出一种支持断点和重跑的通用数据装载方法及系统，通过配置定长数据文件格式、变长分隔符数据文件格式使用jdbc方式多线程装数适应各种关系型数据库装数的方法；通过装数状态表和数据临时表实现适合各自应用场景的装数方式；通过配置文件实现默认值、固定值、数据库系统值赋值的灵活的装数方式。

为实现以上目的，本发明所采用的技术方案包括：

一种支持断点和重跑的通用数据装载方法，其特征在于，包括：

S1、建立对应目标表的状态表，所述状态表包括目标表的数据装载请求和数据装载状态；

S2、通过状态表筛选存在数据装载请求的全部目标表组成请求集合；

S3、进一步通过状态表判断请求集合中各目标表的数据装载状态是否为已装载，当判断请求集合中目标表的数据装载状态为已装载时，结束数据装载任务并删除目标表对应的数据装载请求；

S4、当判断请求集合中目标表的数据装载状态不为已装载时，进一步判断是否存在匹配该目标表的临时表，当判断存在匹配该目标表的临时表时，使用临时表对目标表执行数据装载；

S5、当判断不存在匹配该目标表的临时表时，创建匹配该目标表的临时表，所述临时表具有与目标表一致的表结构和数据文件字段；

S6、将数据插入临时表，并验证数据插入状态是否正常，当验证数据插入状态不正常时，重新尝试数据插入并验证数据插入状态；

S7、当验证数据插入状态正常时，使用临时表对目标表执行数据装载；

S8、更改完成数据装载的目标表对应的数据装载状态，并删除目标表对应的数据装载请求。

S9、重复执行步骤S2至S8，直至状态表中不存在数据装载请求。

进一步地，所述方法还包括：

通过状态表判断请求集合中各目标表的数据装载状态是否为重跑；

当判断目标表的数据装载状态为重跑时，不判断是否存在数据装载请求，直接对目标表执行步骤S6至S8。

进一步地，所述当判断存在匹配该目标表的临时表时，使用临时表对目标表执行数据装载包括：

通过状态表判断请求集合中各目标表的数据装载状态是否为续跑；

当判断目标表的数据装载状态不为续跑时，直接对目标表执行步骤S6至S8；

当判断目标表的数据装载状态为续跑时，比对目标表与临时表获得断点记录；

依据断点记录选择临时表中的续跑数据部分，对目标表执行步骤S6至S8。

进一步地，所述步骤S2还包括：

对请求集合中的各目标表分别分配对应的处理线程。

进一步地，所述步骤S8还包括：

结束目标表对应的处理线程。

进一步地，所述步骤S6还包括：

当验证数据插入状态不正常时，记录重新尝试数据插入的重试次数；

判断重试次数是否超过预设的重试阈值，当判断重试次数未超过预设的重试阈值时，重新尝试数据插入；

当判断重试次数超过预设的重试阈值时，停止重新尝试，结束数据装载任务，并反馈错误报告。

本发明还涉及一种支持断点和重跑的通用数据装载系统，其特征在于，包括：

状态管理模块，用于建立并更新对应目标表的状态表；

状态判断模块，用于使用状态表判断目标表是否存在数据装载请求以及数据装载状态；

第一装载执行模块，用于建立匹配目标表的临时表，并将数据插入临时表；

第二装载执行模块，用于使用临时表对目标表执行数据装载。

本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储状态表和临时表；

所述处理器，用于通过调用状态表和临时表，执行上述的方法。

本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。

本发明的有益效果为：

采用本发明所述支持断点和重跑的通用数据装载方法及系统，通过配置定长数据文件格式、变长分隔符数据文件格式使用jdbc方式多线程装数适应各种关系型数据库装数的方法,减少了不同数据库装数脚本的版本，可以使用通用方法实现装数；在普遍支持各种关系型数据库数据装载的同时，通过装数状态表和数据临时表实现适合各自应用场景的装数方式，并通过多线程并发批量提交达到比较高的性能；通过配置文件实现默认值、固定值、数据库系统值赋值的灵活的装数方式,快速实现新表装数操作。采用本发明方法积极系统，可以适用于各种关系型数据库，并且适用于大部分应用场景，可以支持重跑，续跑。

附图说明

图1为本发明支持断点和重跑的通用数据装载方法流程示意图。

图2为本发明支持断点和重跑的通用数据装载系统结构示意图。

具体实施方式

为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。

本发明第一方面涉及一种步骤流程如图1所示的支持断点和重跑的通用数据装载方法，包括：

S1、建立对应目标表的状态表，所述状态表包括目标表的数据装载请求和数据装载状态。

对于不同数据库系统的不同目标表，可以优选的采取规范装数配置文件格式的执行方法，并针对每个数据装载表配置各自的配置文件。其中，对于数据文件各字段定长，即每个字段的数据在每行固定位置的情况，针对每个数据文件定义其中每个字段名称和它们的固定位置的pos配置文件，例如：

对示例表1进行数据装载

其中，A B C D E F字段都是固定位置，分别从1，7，11，31，41位开始，5，9，19，35，55位结束，F字段在装数时使用固定值1，G字段使用数据库系统时间变量。

另一种情况下，对于数据文件各字段变长，通过分隔符分开各个字段的情况，针对每个数据文件定义其中字段顺序fld配置文件，例如：

对示例表2进行数据装载

其中，A字段是字符串类型，B字段也是字符串类型，如果数据为空，装载成默认值000000，C字段是时间戳格式，具体形如2022-02-02 02：02：02：000，D字段也是时间戳格式，具体形如2022-02-02 02：02：02.000，F字段(文件中第五个字段)跳过不装载。

S2、通过状态表筛选存在数据装载请求的全部目标表组成请求集合。

优选的，对请求集合中的各目标表分别分配对应的处理线程，用于控制并发线程数量。根据执行装数服务器、数据库性能、网络配置，在环境允许的前提下，配置的越大，并发装数数量越多，装载数据速度越快。每次提交的insertSQL数量：批量提交的记录数量，不同网络环境、数据库性能、服务器性能最优的批量提交数据不同，需要针对具体情况配置。

S3、进一步通过状态表判断请求集合中各目标表的数据装载状态是否为已装载，当判断请求集合中目标表的数据装载状态为已装载时，结束数据装载任务并删除目标表对应的数据装载请求。此时，通过状态表标记的对应数据装载状态可以得知目标表已经经过完整的数据装载操作，不需要再进行进一步处理，可以安全的清楚对应的数据装载请求。

S4、当判断请求集合中目标表的数据装载状态不为已装载时，进一步判断是否存在匹配该目标表的临时表，当判断存在匹配该目标表的临时表时，使用临时表对目标表执行数据装载。

优选的，数据装载状态不为已装载时，可能包括多种情况。例如，对于未经任何装载处理的目标表可以标记为未装载状态；而对于已经经过装载处理但判断需要重新装载数据的标记为重跑状态，以及对于已经经过部分装载处理，仍然需要继续进行后续装载操作的标记为续跑状态。

进一步的，当判断目标表的数据装载状态为重跑时，不需要再行判断是否存在数据装载请求，可以直接执行后续的数据装载操作。而当判断目标表的数据装载状态为续跑时，需要对数据装载操作进行额外的断点位置定位，从而保证数据能够正常续传。具体的，通过状态表判断请求集合中各目标表的数据装载状态是否为续跑；当判断目标表的数据装载状态不为续跑时，直接对目标表执行后续数据装载步骤；当判断目标表的数据装载状态为续跑时，比对目标表与临时表获得断点记录；依据断点记录选择临时表中的续跑数据部分，对目标表执行后续数据装载步骤。

S5、当判断不存在匹配该目标表的临时表时，创建匹配该目标表的临时表，所述临时表具有与目标表一致的表结构和数据文件字段。

例如，在数据库中创建应用表的临时表，并对应生成状态记录，使目标表能够和临时表相对应。某些具体情况下，因为系统数据大，可能数据需要分片，这样同构的表有多个，同时每张都需要装数，就都需要生成各自的临时表和更新状态表。

S6、将数据插入临时表，并验证数据插入状态是否正常，当验证数据插入状态不正常时，重新尝试数据插入并验证数据插入状态。

优选的，每次装数操作前需要进行初始化操作，并根据执行装数程序服务器的性能，配置适当多线程并行处理数量，同时启动多个装数线程，每个线程处理一张装数表，以下是每个线程处理的流程。

装载操作过程中，需要判断数据文件的格式，读取配置文件，根据配置文件模式，判断数据文件格式，查询各个字段类型，有针对性的处理数据文件。例如如果是定长配置文件，可以按定长方式读取数据文件，将各个待处理的数据位置当作insert SQL的各字段的值；而如果是变长分隔符文件，可以通过分割符拆分每一条数据，选择需要的字段当作insert SQL的各字段的值。

对于续跑状态，需要读取当前装数任务对于状态表记录的对应位置字段，根据这个已经装数数据记录值，决定读取数据文件的偏移行数或者偏移位置。根据表结构、数据文件拆分出的各字段值对每一条记录生成insert SQL，生成SQL时需要针对目标表每个字段的类型，调用不同的JDBC字段取值接口。如果处理的字段是timestamp时间戳类型字段，SQL中对应字段使用setTimestamp接口设置字段值，如果处理的字段是number数值类型字段，则使用setBigDecimal接口设置字段值；如果处理的字段是Date日期类型字段，使用setDate接口设置字段值。对于其他绝大部分类型字段，可以使用通用的setString设置字段值。

特别是优选的，当验证数据插入状态不正常时，记录重新尝试数据插入的重试次数；判断重试次数是否超过预设的重试阈值，当判断重试次数未超过预设的重试阈值时，重新尝试数据插入；当判断重试次数超过预设的重试阈值时，停止重新尝试，结束数据装载任务，并反馈错误报告。

S7、当验证数据插入状态正常时，使用临时表对目标表执行数据装载。

经过上述处理后，可以优选通过批量执行insert SQL，将数据插入临时表。插入成功则更新状态表为装数中，同时每个批量将当批insert的数量更新到对应的状态表。提交装数和更新状态表的修改后，如果插入异常先做rollback操作，如果rollback失败，则对应更新状态表，失败退出装数操作。

根据应用表的装载数据和历史数据逻辑，将临时表数据合并到应用表中。如果通过主键合并使目标表主键唯一，其他所有字段使用临时表数据，则使用merge方法；如果临时表相应的主键和目标表相同，则使用临时表其他字段更新目标表；如果临时表相应的主键在目标表中不存在，则使用临时表记录插入目标表；如果需要先清除应用表的某些数据，则可以根据逻辑先对应用表进行delete操作，然后把临时表数据插入应用表。

通过临时表更新目标表的逻辑是多种多样的，本领域技术人员可以采用任意适合的后续处理和装数工具执行。

S8、更改完成数据装载的目标表对应的数据装载状态，并删除目标表对应的数据装载请求，同时，结束目标表对应的处理线程。

例如，将已经完成整个数据文件装数的装数状态表值修改为已装载。

S9、重复执行步骤S2至S8，直至状态表中不存在数据装载请求。

优选的，如果数据文件格式异常，每次重跑、续跑，都会在遇到异常数据时失败，这时异常记录所在的行，可以修改批量提交装数量的配置，这样所有可以成功的记录都能装到数据库临时表里，直到异常记录，可以比较快速定位问题。

本发明另一方面还涉及一种支持断点和重跑的通用数据装载系统，其结构如图2所示，包括：

状态管理模块，用于建立并更新对应目标表的状态表；

状态判断模块，用于使用状态表判断目标表是否存在数据装载请求以及数据装载状态；

第一装载执行模块，用于建立匹配目标表的临时表，并将数据插入临时表；

第二装载执行模块，用于使用临时表对目标表执行数据装载。

通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如状态表和临时表等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种支持断点和重跑的通用数据装载方法，其特征在于，包括：

S1、建立对应目标表的状态表，所述状态表包括目标表的数据装载请求和数据装载状态；

S2、通过状态表筛选存在数据装载请求的全部目标表组成请求集合；

S3、进一步通过状态表判断请求集合中各目标表的数据装载状态是否为已装载，当判断请求集合中目标表的数据装载状态为已装载时，结束数据装载任务并删除目标表对应的数据装载请求；

S4、当判断请求集合中目标表的数据装载状态不为已装载时，进一步判断是否存在匹配该目标表的临时表，当判断存在匹配该目标表的临时表时，使用临时表对目标表执行数据装载；

S5、当判断不存在匹配该目标表的临时表时，创建匹配该目标表的临时表，所述临时表具有与目标表一致的表结构和数据文件字段；

S6、将数据插入临时表，并验证数据插入状态是否正常，当验证数据插入状态不正常时，重新尝试数据插入并验证数据插入状态；

S7、当验证数据插入状态正常时，使用临时表对目标表执行数据装载；

S8、更改完成数据装载的目标表对应的数据装载状态，并删除目标表对应的数据装载请求；

S9、重复执行步骤S2至S8，直至状态表中不存在数据装载请求。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

通过状态表判断请求集合中各目标表的数据装载状态是否为重跑；

当判断目标表的数据装载状态为重跑时，不判断是否存在数据装载请求，直接对目标表执行步骤S6至S8。

3.如权利要求1所述的方法，其特征在于，所述当判断存在匹配该目标表的临时表时，使用临时表对目标表执行数据装载包括：

通过状态表判断请求集合中各目标表的数据装载状态是否为续跑；

当判断目标表的数据装载状态不为续跑时，直接对目标表执行步骤S6至S8；

当判断目标表的数据装载状态为续跑时，比对目标表与临时表获得断点记录；

依据断点记录选择临时表中的续跑数据部分，对目标表执行步骤S6至S8。

4.如权利要求1所述的方法，其特征在于，所述步骤S2还包括：

对请求集合中的各目标表分别分配对应的处理线程。

5.如权利要求4所述的方法，其特征在于，所述步骤S8还包括：

结束目标表对应的处理线程。

6.如权利要求1所述的方法，其特征在于，所述步骤S6还包括：

当验证数据插入状态不正常时，记录重新尝试数据插入的重试次数；

判断重试次数是否超过预设的重试阈值，当判断重试次数未超过预设的重试阈值时，重新尝试数据插入；

当判断重试次数超过预设的重试阈值时，停止重新尝试，结束数据装载任务，并反馈错误报告。

7.一种支持断点和重跑的通用数据装载系统，其特征在于，包括：

状态管理模块，用于建立并更新对应目标表的状态表；

状态判断模块，用于使用状态表判断目标表是否存在数据装载请求以及数据装载状态；

第一装载执行模块，用于建立匹配目标表的临时表，并将数据插入临时表；

第二装载执行模块，用于使用临时表对目标表执行数据装载。

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储状态表和临时表；

所述处理器，用于通过调用状态表和临时表，执行权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

Images