CN116049289A - 一种文件入库的方法及装置 - Google Patents

Abstract

本申请公开了一种文件入库的方法及装置，可应用于大数据领域或金融领域。在上述的文件入库的方法中，通过创建数据库的第一配置表，可以获得包含待加载文件的第二配置表，根据第二配置表可以同时生成待加载文件的加载命令，从而可以批量执行加载命令，使得待加载文件可以批量加载入库，减少文件批量加载入库的操作流程，节约了整个操作流程的时间，提高了文件的批量加载入库的效率。

Description

一种文件入库的方法及装置

技术领域

本申请涉及数据处理的技术领域，特别是涉及一种文件入库的方法及装置。

背景技术

随着互联网技术的发展，企业产生的数据量不断增加，因此，需要存储于数据库中的文件数据也迅速增加，文件数据加载入库成了常见的数据加载任务。但是，随着文件数据量增加，需要将文件数据批量加载至数据库，若仍使用单一命令对单份文件进行加载入库，则会导致整个操作流程过于繁琐，浪费大量的时间。

发明内容

本申请提供了一种文件入库的方法及装置，通过建立数据库加载配置对应的配置表，简化文件批量加载入库的流程，提高文件批量加载入库的效率。

第一方面，本申请提供了一种文件入库的方法，该方法包括：

创建数据库的第一配置表，所述第一配置表包括所述数据库的加载配置项的信息字段；

基于文件加载表和第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储待加载文件的加载配置信息的数据库表；

基于第二配置表，获得加载命令表，所述加载命令表用于存储待加载文件批量入库的加载命令；

执行加载命令，将待加载文件批量入库保存。

可选地，基于第二配置表，获得加载命令表，包括：

基于第二配置表，生成加载命令，所述加载命令用于将待加载文件入库保存；

基于至少一项加载命令，获得加载命令表。

可选地，基于文件加载表和第一配置表，获得第二配置表，包括：

提取待加载文件的数据，获得所述文件加载表；

根据文件加载表配置所述第一配置表，获得第二配置表。

可选地，该方法还包括：

创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令。

可选地，基于第二配置表，获得加载命令表，包括：

基于脚本程序读取第二配置表，获得加载命令表。

可选地，执行所述加载命令，将待加载文件入库保存，包括：

基于脚本程序读取加载命令表，执行加载命令表中的加载命令，将待加载文件批量入库保存。

第二方面，本申请提供了一种文件入库的装置，该装置包括：

创建单元，用于创建数据库的第一配置表，所述第一配置表包括数据库的加载配置项的信息字段；

获得单元，用于基于文件加载表和第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储待加载文件的加载配置信息的数据库表；

获得单元，还用于基于第二配置表，获得加载命令表，所述加载命令表用于存储待加载文件入库的加载命令；

处理单元，用于执行加载命令，将待加载文件入库保存。

可选地，该装置还包括：

生成单元，用于基于第二配置表，生成加载命令，所述加载命令用于将所述待加载文件入库保存。

可选地，获得单元还用于：

提取待加载文件的数据，获得文件加载表。

可选地，创建单元还用于：

创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令。

可选地，获得单元还用于：

基于脚本程序读取第二配置表，获得加载命令表。

可选地，处理单元还用于：

基于脚本程序读取加载命令表，执行加载命令表中的加载命令，将待加载文件批量入库保存。

第三方面，本申请提供了一种电子设备，设备包括存储器和处理器：

存储器用于存储计算机程序；

处理器用于根据计算机程序执行上述第一方面提供的方法。

第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面提供的方法。

由此可见，本申请具有如下有益效果：

本申请提供了一种文件入库的方法，通过创建关于数据库的加载配置项信息字段的第一配置表，可以根据包含批量待加载文件的文件加载表配置第一配置表，获得第二配置表，之后，基于第二配置表可以获得加载命令表，最后，执行加载命令表中的加载命令。在此过程中，第二配置表可以同时生成文件加载表中待加载文件的加载命令，从而可以批量执行加载命令，使得待加载文件可以批量加载入库，减少文件批量加载入库的操作流程，节约了整个操作流程的时间，从而提高了文件批量加载入库的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种文件入库的方法的流程示意图；

图2为本申请实施例中一种文件入库的方法的一实施例的流程示意图；

图3为本申请实施例中一种文件入库的装置300的结构示意图；

图4为本申请实施例中一种电子设备400的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中提到的“第一配置表”名称中的“第一”只是用来做名字标识，并不代表顺序上的第一。该规则同样适用于“第二”、“第三”等。

目前，需要文件加载至数据库中，主要是还是采用单一命令的形式，遇到需要文件批量加载至数据库时的情况，只能根据每份文件的顺序编写每份文件相对应的加载命令，再执行每条加载命令，从而执行大量的文件加载至数据库，整个操作加载入库的流程较为繁琐，导致时间成本较大，无法实现一次性批量加载入库。

本申请实施例中，通过创建数据库相应的加载配置表，获得第一配置表，再基于存储待加载文件的文件加载表和第一配置表，获得存储待加载文件的加载配置信息的第二配置表，之后基于第二配置表获得加载命令表，最后，通过执行加载命令表中的加载命令，将待加载文件批量保存入库。具体实现时，该方法例如可以包括：首先创建数据库相应的加载配置表，即，创建第一配置表，之后基于文件加载表配置第一配置表，配置后的第一配置表为第二配置表，之后基于第二配置表可以生成加载命令，基于至少一条加载命令，获得加载命令表，使得可以基于加载命令表，将待加载文件入库保存。

可见，本申请实施提供的方法，根据第一配置表可以获得所有待加载文件的加载配置信息的第二配置表，再根据第二配置表，生成加载命令表，加密命令表使得可以对所有待加载文件进行批量加载入库，从而简化了以往大量文件加载入库的流程，实现了文件的批量加载入库。

为便于理解本申请实施例提供的文件入库的方法的具体实现，下面将结合附图进行说明。

需要说明的是，实施该文件入库的方法的主体可以为本申请实施例提供的文件入库的系统，也可以为本申请实施例提供的文件入库的装置，该文件入库的装置可以承载于电子设备或电子设备的功能模块中。本申请实施例中的电子设备，可以是任意的能够实施本申请实施例中的文件入库的方法的设备，例如可以是物联网(InternetofThings，IoT)设备。

图1为本申请实施例提供的一种文件入库的方法的流程示意图。该方法可以应用于文件入库的装置，该文件入库的装置例如可以是如图3所示的文件入库的装置300，或者，该文件入库的装置也可以由集成于图4所示的电子设备400中的功能模块。

如图1所示，该方法包括以下S101～S104：

S101：创建数据库的第一配置表，所述第一配置表包括数据库的加载配置项的信息字段。

为了使得待加载文件可以批量入库保存，首先需要创建数据库的第一配置表，之后基于文件加载表和第一配置表，获得第二配置表，然后基于第二配置表，获得加载命令表，最后执行加载命令表中的加载命令，将待加载文件批量入库保存。因此，本申请实施例通过S101创建第一配置表，为获得第二配置表提供了前置条件。

作为一个示例，S101可以包括：根据数据库的加载配置项，创建包含该加载配置项的信息字段的数据库表，其中的信息字段例如可以包括文件名、文件所在路径、文件字符集、加载表名、加载字段和字段分隔符等信息字段。

S102：基于文件加载表和第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储待加载文件的加载配置信息的数据库表。

为了同时生成待加载文件的加载命令，需要获得包含待加载文件的加载配置信息的第二配置表，作为一个示例，S102可以包括：S1021，提取待加载文件的数据，获得文件加载表，用于指示需要待加载的文件；S1022，根据文件加载表配置第一配置表，获得第二配置表。其中，文件加载表可以批量获得大量的待加载文件，之后再基于文件加载表获得的第二配置表，也可以批量获得大量的待加载文件的配置信息，从而快速获得待加载文件的配置信息。

S103：基于第二配置表，获得加载命令表，所述加载命令表用于存储待加载文件批量入库的加载命令。

为了使得待加载文件可以实现批量加载入库，需要获得包含至少一项加载命令的加载命令表，作为一个示例，S103可以包括：S1031，基于第二配置表，生成加载命令，所述加载命令用于将待加载文件入库保存；S1032，基于至少一项加载命令，获得加载命令表。其中，为了使得加载命令可以批量执行，需要将大量的加载命令汇总为加载命令表，从而实现批量执行加载命令。

S104：执行加载命令，将待加载文件批量入库保存。

作为一个示例，S104可以包括：根据加载命令表中的加载命令，可以实现待加载文件批量入库保存。

本申请实施例还可以包括：首先，创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令，之后，基于脚本程序读取第二配置表，获得包含加载命令的加载命令表。最后，基于脚本程序读取加载命令表，执行加载命令表中的加载命令，将待加载文件批量入库保存。通过创建脚本程序，可以自动化执行相应的指令，提高待加载文件批量入库的效率。

可见，本申请实施例通过创建包含数据库加载配置信息项的第一配置表，可以获得包含待加载文件的加载配置信息的第二配置表，之后根据第二配置表可以获得包含加载命令的加载命令表，最后执行加载命令表中的加载命令，实现待加载文件的批量加载入库保存，简化了整个文件批量加载入库的流程，提高了文件的批量加载入库的效率。

为了使得本申请实施例提供的方法更加清楚且易于理解，下面结合图2对该方法的一个具体实例进行说明。

如图2所示，该实施例如可以包括：

S201：创建数据库的配置表1，所述配置表1包括数据库的加载配置项的信息字段。

同样，创建与数据库的加载配置项的信息字段相对应的配置表1，其中，数据库例如可以是GBASE数据库，配置表1例如可以是上述实施例中的第一配置表。

S202：提取待加载文件的数据，获得文件加载表。

为了将待加载文件批量加载入库，需要先提取大量的待加载文件的数据，从而获得文件加载表。

S203：根据文件加载表和配置表1，获得配置表2，所述配置表2为存储待加载文件的加载配置信息的数据库表。

作为一个示例，S203可以包括感觉文件加载表为配置表1进行相应的配置，获得配置表2，即配置表2存储待加载文件的加载配置信息，为之后可以批量生成加载命令作前置准备，其中配置表2例如可以是上述实施例中的第二配置表。

S204：创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令。

为了实现待加载文件自动批量加载入库，需要创建相应的脚本程序，作为一个示例，S204中的脚本程序例如可以是ShellScript程序脚本。

需要说明的是，本申请实施例中S201～S203与S204的执行顺序不作限定，可以先执行S201～S203再执行S204，也可以先执行S204再执行S201～S203，还可以同时执行S201～S203与S204。

S205：基于脚本程序读取配置表2，获得加载命令表，所述加载命令表，所述加载命令表用于所述待加载文件批量入库的加载命令。

作为一个示例，S205可以包括：脚本程序通过读取配置表2，可以同时生成所有待加载文件的加载命令，再基于至少一项加载命令，生成加载命令表，为了后续脚本程序可以批量执行加载命令表中的加载命令。

S206：基于脚本程序读取加载命令表，执行加载命令表中的加载命令，将待加载文件批量入库保存。

作为一个示例，S206可以包括：脚本程序通过读取加载命令表，来批量执行加载命令表中的加载命令，从而实现待加载文件的批量加载入库保存。

本申请提供了一种文件入库的方法，通过创建脚本程序和数据库的配置表，可以自动批量生成和调用待加载文件的加载命令，从而实现待加载文件的批量加载入库，除此之外，一旦有新的文件加载需求或者变更需求，也可以快速调整配置表来实现文件数据入库，提高了文件入库的效率。

需要说明的是，本申请实施例提供的文件入库的方法可用于大数据领域或金融领域。上述仅为示例，并不对本发明提供的文件入库的应用领域进行限定。

参见图3，本申请实施例提供一种文件入库的装置300，该装置300包括：

创建单元301，用于创建数据库的第一配置表，所述第一配置表包括数据库的加载配置项的信息字段；

获得单元302，用于基于文件加载表和第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储待加载文件的加载配置信息的数据库表；

获得单元302，还用于基于第二配置表，获得加载命令表，所述加载命令表用于存储待加载文件入库的加载命令；

处理单元303，用于执行加载命令，将待加载文件入库保存。

可选地，该装置还包括：

生成单元，用于基于第二配置表，生成加载命令，所述加载命令用于将所述待加载文件入库保存。

可选地，获得单元302还用于：

提取待加载文件的数据，获得文件加载表。

可选地，创建单元301还用于：

创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令。

可选地，获得单元302还用于：

基于脚本程序读取第二配置表，获得加载命令表。

可选地，处理单元303还用于：

基于脚本程序读取加载命令表，执行加载命令表中的加载命令，将待加载文件批量入库保存。

需要说明的是，该装置300的具体实现方式以及达到的效果，可以参见上述图1或图2提供的方法中的相关描述，这里不再赘述。

本申请实施例还提供了一种电子设备400，如图4所示，所述设备400包括存储器401以及处理器402：

存储器401用于存储计算机程序；

处理器402用于根据计算机程序执行上述图1或图2提供的方法。

此外，本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序用于执行图1或图2提供的方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目标。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种文件入库的方法，其特征在于，所述方法包括：

创建数据库的第一配置表，所述第一配置表包括所述数据库的加载配置项的信息字段；

基于文件加载表和所述第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储所述待加载文件的加载配置信息的数据库表；

基于所述第二配置表，获得加载命令表，所述加载命令表用于存储所述待加载文件批量入库的加载命令；

执行所述加载命令，将所述待加载文件批量入库保存。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二配置表，获得加载命令表，包括：

基于所述第二配置表，生成所述加载命令，所述加载命令用于将所述待加载文件入库保存；

基于至少一项所述加载命令，获得所述加载命令表。

3.根据权利要求1所述的方法，其特征在于，所述基于文件加载表和所述第一配置表，获得第二配置表，包括：

提取所述待加载文件的数据，获得所述文件加载表；

根据所述文件加载表配置所述第一配置表，获得所述第二配置表。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

创建脚本程序，所述脚本程序包括文件批量入库的程序操作指令。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二配置表，获得加载命令表，包括：

基于所述脚本程序读取所述第二配置表，获得所述加载命令表。

6.根据权利要求4所述的方法，其特征在于，所述执行所述加载命令，将所述待加载文件入库保存，包括：

基于所述脚本程序读取所述加载命令表，执行所述加载命令表中的加载命令，将所述待加载文件批量入库保存。

7.一种文件入库的装置，其特征在于，所述装置包括：

创建单元，用于创建数据库的第一配置表，所述第一配置表包括所述数据库的加载配置项的信息字段；

获得单元，用于基于文件加载表和所述第一配置表，获得第二配置表，所述文件加载表为存储待加载文件的数据表，所述第二配置表为存储所述待加载文件的加载配置信息的数据库表；

所述获得单元，还用于基于所述第二配置表，获得加载命令表，所述加载命令表用于存储所述待加载文件入库的加载命令；

处理单元，用于执行所述加载命令，将所述待加载文件入库保存。

8.根据权利要求7所述的装置，其特征在于，

所述创建单元，还用于创建脚本程序，所述脚本程序为文件批量入库的相关程序操作。

9.一种电子设备，其特征在于，所述设备包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序，运行如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-6任一项所述的方法。

Images