CN112612771A - 一种数据写入方法及系统 - Google Patents

Abstract

本申请实施例公开了一种数据写入方法及系统。本申请方法包括：获取需要执行的写入任务，所述写入任务包括待写入数据；判断所述需要执行的写入任务是否为新任务，若是，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；根据所述配置信息生成所述待写入数据的数据库执行语句；合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。系统支持大批量数据快速写入数据库中，提高了数据写入数据库的效率。

Description

一种数据写入方法及系统

技术领域

本申请实施例涉及大数据处理领域，尤其涉及一种数据写入方法及系统。

背景技术

物联网作为一个以数据为中心的网络，其应用涉及主要以数据存储与管理、数据库技术、逻辑概念和软硬件技术的网络系统。其中数据库技术是一个重要分支，由于各业务对海量数据的管理和应用提出越来越高的要求，对于海量数据在数据库中的管理和应用技术相对应要求也高。

现有技术中，数据库写入程序通常是业务项目集成的数据写入，当写入的数据量大时，一般是在写入数据过程中采用分批写入，在分批写入数据的时候要根据数据库中的范围，只能写入确定结构的数据，这样少批量的将数据写入数据库大大降低数据写入数据库的效率。

发明内容

本申请实施例提供了一种数据写入方法及系统，用于支持大批量数据快速写入数据库中，提高了数据写入数据库的效率。

本申请实施例第一方面提供了数据写入方法，包括：

获取需要执行的写入任务，所述写入任务包括待写入数据；

判断所述需要执行的写入任务是否为新任务，若是，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；

根据所述配置信息生成所述待写入数据的数据库执行语句；

合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。

可选的，所述通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息，包括：

根据所述需要执行的写入任务中待写入数据确定存储信息；

根据所述存储信息将所述待写入数据下载至对应的程序中；

确定所述待写入数据的配置信息。

可选的，在所述根据所述配置信息生成所述待写入数据的数据库执行语句之前，所述方法还包括：

根据所述配置信息从配置中心获取对应的配置，所述配置中心用于灵活配置各种数据的写入流程。

可选的，所述根据所述配置信息生成所述待写入数据的数据库执行语句，包括：

根据所述配置信息对应的配置解析所述待写入数据；

生成所述待写入数据的数据库执行语句。

可选的，在所述获取需要执行的写入任务之前，所述方法还包括：

接收到待写入数据后上传至任务队列中。

可选的，所述配置信息包括配置文件以及配置参数。

本申请实施例第二方面提供了数据写入系统，包括：

第一获取单元，用于获取需要执行的写入任务，所述写入任务包括待写入数据；

判断单元，用于判断所述需要执行的写入任务是否为新任务；

确定单元，用于当所述需要执行的写入任务式新任务时，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；

生成单元，用于根据所述配置信息生成所述待写入数据的数据库执行语句；

写入单元，用于合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。

可选的，所述确定单元包括：

第一确定模块，用于根据所述需要执行的写入任务中待写入数据确定存储信息；

下载模块，用于根据所述存储信息将所述待写入数据下载至对应的程序中；

第二确定模块，用于确定所述待写入数据的配置信息。

可选的，在所述生成单元之前，所述系统还包括：

第二获取单元，用于根据所述配置信息从配置中心获取对应的配置，所述配置中心用于灵活配置各种数据的写入流程。

可选的，所述生成单元包括：

解析模块，用于根据所述配置信息对应的配置解析所述待写入数据；

生成模块，用于生成所述待写入数据的数据库执行语句。

可选的，在所述第一获取单元之前，所述系统还包括：

上传单元，用于接收到待写入数据后上传至任务队列中。

本申请实施例第四方面提供了数据写入系统，包括：

处理器、存储器、输入输出单元、总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述处理器具体执行如下操作：

获取需要执行的写入任务，所述写入任务包括待写入数据；

判断所述需要执行的写入任务是否为新任务，若是，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；

根据所述配置信息生成所述待写入数据的数据库执行语句；

合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。

可选的，所述处理器还用于执行第一方面中任意可选方案的操作。

本申请实施例第四方面提供了数据写入方法的计算机可读存储介质，包括：

所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行前述数据写入的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：在本申请中，系统获取到需要执行待写入数据的写入任务后判断需要执行的写入任务是否为新任务，若是，则通过将待写入数据下载至程序中确定待写入数据的配置信息，根据灵活配置信息生成待写入数据的数据库执行语句，最后合并数据执行语句成一个执行语句，这样不用将海量数据分批写入数据库，系统支持大批量数据快速写入数据库中，提高了数据写入数据库的效率。

附图说明

图1为本申请实施例中数据写入方法一个实施例流程示意图；

图2-1为本申请实施例中数据写入方法另一个实施例流程示意图；

图2-2为本申请实施例中数据写入方法另一个实施例流程示意图；

图3为本申请实施例中数据写入系统一个实施例结构示意图；

图4为本申请实施例中数据写入系统另一个实施例结构示意图；

图5为本申请实施例中数据写入系统另一个实施例结构示意图。

具体实施方式

本申请实施例提供了一种数据写入方法及系统，用于支持大批量数据快速写入数据库中，提高了数据写入数据库的效率。

下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例中数据写入方法一个实施例包括：

101、系统获取需要执行的写入任务，写入任务包括待写入数据；

实际应用中，数据库写入程序通常是业务项目集成的数据写入。例如EXCEL数据导入数据库通常有两种方法，一是读取EXCEL文件，直接将各单元格数据按顺序插入到数据库表相应字段，二是先将EXCEL文件转换成DataTable,然后将DataTable记录插入到数据库表相对应的字段。其中这两种方法都是需要人工创建数据库，然后根据EXCEL文件内容创建相应的数据库表数据结构。在项目开发中，需要人工创建多个相应的数据库表格结构不具备灵活性，并且大大降低数据写入数据库的效率。

本实施例中，系统提供了一个任务队列，获取需要执行的写入任务，其中写入任务包括待写入数据库中的数据，获取到写入任务后系统再根据写入任务对待写入数据的格式进行转换以及进行数据解析，最后能实现快速并且大批量写入数据库中，详细的描述见如下表述。

102、系统判断需要执行的写入任务是否为新任务；

系统获取到需要执行的写入任务后，其中系统是通过数据下载器监听任务队列中有新任务需要消费，系统判断该任务是否为新任务。例如，系统需要将大批数据周期性的写入数据库固定表格中，在进行数据写入操作时，如果只是需要写入表格的其中的一行，那么对于系统来说就是需要创建一个写入一行的写入任务。数据下载器从系统中检测，数据库中已有的任务是否含有只有一行的任务，如果没有那么此创建的任务就是新任务。

103、当需要执行的写入任务时新任务时，系统则通过将待写入数据下载至程序中确定待写入数据的配置信息；

系统判断需要执行的写入任务时新任务时，系统将待写入数据下载至程序中。例如，系统需要写入周期性批量数据到数据库，首先接收到数据提供方上传的数据后将数据存储，数据下载器就可以根据任务队列中表格的格式，数据库名，以及表格的一些基本信息，例如表名，行数和列数等，通过从存储服务器提取出数据相关信息进行数据的下载，需要说明的是，数据下载器需要将数据下载到相对应的程序中，这个程序是系统在数据写入之前设置好的，根据历史写入数据的格式，表名、在服务器中存储位置以及其他特征设置，只需要识别需要写入数据的特征就可以匹配到对应的程序，这样使得数据的解析更简便。

当下载到对应的程序中后，执行程序得到表格的配置信息，例如得到表格配置的关键字以及其他特征配置信息。

104、系统根据配置信息生成待写入数据的数据库执行语句；

系统在得到配置信息后将根据配置的关键字从配置中心获取对应的配置，需要说明的是，待写入数据的相关配置是配置中心提前配置好的。只要是系统获取到数据的相关配置信息，就可以套入以及设置好的流程运行，根据配置的数据库名以及表名等信息运行之后生成数据的数据库执行语句。

105、系统合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。

本实施例中，系统生成待写入数据的数据库执行语句后可以依次将写入数据库，为了进行大批量的数据写入，系统提供一个语句执行器，将生成的执行语句合并成一条执行语句，一次将数据写入数据库中。由于是根据配置信息解析生成的执行语句，提高了数据写入数据库的灵活性，将执行语句合并成一条执行语句一次将数据全部写入数据库中，提高了数据写入数据库的效率。

请参阅图2，本申请实施例中数据写入方法另一个实施例包括：

201、系统接收到待写入数据后上传至任务队列中；

本实施例中，系统需要将大批数据周期性写入数据库固定的表，首先是从数据提供方处接收数据上传至存储服务器，存储服务器将数据存储后系统可以直接从存储服务器的数据上传到任务队列中，上传的过程是可以将数据进行分类的，这样提高任务队列提交写入任务效率，相对应的也提高了数据写入数据库的效率。

202、系统获取需要执行的写入任务，写入任务包括待写入数据；

203、系统判断需要执行的写入任务是否为新任务；

本实施例中步骤202至203与前述实施例中步骤101至102类似，此处不做赘述。

204、系统根据需要执行的写入任务中待写入数据确定存储信息；

本实施例中，系统将待写入数据存储至存储服务器后发送写入任务到任务队列中，其中任务中包含有数据在存储服务器存放的位置以及配置关键字。例如，系统接收到一批俩的表格数据，将表格存储到存储服务器后创建任务，任务中包含有表格的表名，存储地址以及表格写入数据库里的相关配置，配置是根据表格的表名或者是行数列数等信息，后续根据这个配置信息找到表格在配置中心的相关配置程序。

205、系统根据存储信息将待写入数据下载至对应的程序中；

本实施例中，系统提供一个数据下载器，数据下载器实时监听任务队列中的更新任务，当有新任务时就会自动根据任务中包含的数据在存储服务器中的存储位置将数据下载到相对应的程序。具体的，程序是系统自动识别数据的存储位置，根据存储位置找到对应的程序。

206、系统确定待写入数据的配置信息；

系统中的数据下载器将数据下载到相对应的程序后，系统就会自动将程序运行，程序运行后就可以生成待写入数据在配置中心的配置信息。

207、系统根据配置信息从配置中心获取对应的配置，配置中心用于灵活配置各种数据的写入流程；

本实施例中，系统提供一个配置中心，用于灵活配置各种数据的写入流程，当系统需要将大批数据周期性写入数据库中，配置中心就会相应添加写入流程配置，可选的，配置流程中可以包括配置文件或者是配置参数，比如数据在存储服务器的存放的格式，写入数据库名以及表名等配置信息。

208、系统根据配置信息对应的配置解析待写入数据；

系统中数据库下载器将数据下载至对应的程序后执行得到数据配置的相关信息，然后将配置关键字发送给数据解析器，其中数据解析器用于待写入数据，数据解析器根据接收到的待写入数据的配置信息对应的配置生成具体的数据库执行语句。

209、系统生成待写入数据的数据库执行语句；

本实施例中，系统通过数据解析器将待写入数据解析，运行后生成具体的数据库执行语句，系统就可以根据执行语句将待写入数据批量写入数据库。其中，根据配置解析数据灵活性比较高，相对增加了写入数据的效率。

210、系统合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。

本实施例中步骤210与前述实施例中步骤105类似，此处不做赘述。

请参阅图3，本申请实施例中数据写入系统一个实施例包括：

第一获取单元301，用于获取需要执行的写入任务，写入任务包括待写入数据；

判断单元302，用于判断需要执行的写入任务是否为新任务；

确定单元303，用于当需要执行的写入任务式新任务时，则通过将待写入数据下载至程序中确定待写入数据的配置信息；

生成单元304，用于根据配置信息生成待写入数据的数据库执行语句；

写入单元305，用于合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。

本实施例中，第一获取单元301获取需要执行的写入任务，写入任务包括待写入数据，判断单元302判断获取到的写入任务是否为新任务，若是，则确定单元303通过将待写入数据下载至程序中确定待写入数据的配置信息，生成单元304根据配置信息生成待写入数据的数据库执行语句，最后写入单元305合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。直接合并执行语句不用将海量数据分批写入数据库，并且灵活配置运行程序使得数据快速写入数据库，提高了数据写入数据库的效率。

下面对本申请实施例中数据写入系统进行详细描述，请参阅图4，本申请实施例中数据写入的系统另一个实施例包括：

上传单元401，用于接收到待写入数据后上传至任务队列中；

第一获取单元402，用于获取需要执行的写入任务，写入任务包括待写入数据；

判断单元403，用于判断需要执行的写入任务是否为新任务；

确定单元404，用于当需要执行的写入任务式新任务时，则通过将待写入数据下载至程序中确定待写入数据的配置信息；

第二获取单元405，用于根据配置信息从配置中心获取对应的配置，配置中心用于灵活配置各种数据的写入流程；

生成单元406，用于根据配置信息生成待写入数据的数据库执行语句；

写入单元407，用于合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。

本实施例中，确定单元404可以包括第一确定模块4041、下载模块4042以及第二确定单元4043。

第一确定模块4041，用于根据需要执行的写入任务中待写入数据确定存储信息；

下载模块4042，用于根据存储信息将待写入数据下载至对应的程序中；

第二确定单元4043，用于确定待写入数据的配置信息。

本实施例中，生成单元406可以包括解析模块4061以及生成模块4062。

解析模块4061，用于根据配置信息对应的配置解析待写入数据；

生成模块4062，用于生成待写入数据的数据库执行语句。

本实施例中，各单元和模块的功能和前述图2所示实施例中的步骤对应，此处不做赘述。

下面对本申请实施例中数据写入系统进行详细描述，请参阅图5，本申请实施例中数据写入系统的另一个实施例包括：

处理器501、存储器502、输入输出单元503、总线504；

处理器501与存储器502、输入输出单元503以及总线504相连；

处理器501执行如下操作：

获取需要执行的写入任务，写入任务包括待写入数据；

判断需要执行的写入任务是否为新任务，若是，则通过将待写入数据下载至程序中确定待写入数据的配置信息；

根据配置信息生成待写入数据的数据库执行语句；

合并数据库执行语句成一个执行语句后将待写入数据写入数据库中。

可选的，处理器501的功能与前述图1至图2所示实施例中步骤对应，此处不做赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种数据写入方法，其特征在于，包括：

获取需要执行的写入任务，所述写入任务包括待写入数据；

判断所述需要执行的写入任务是否为新任务，若是，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；

根据所述配置信息生成所述待写入数据的数据库执行语句；

合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。

2.根据权利要求1所述的方法，其特征在于，所述通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息，包括：

根据所述需要执行的写入任务中待写入数据确定存储信息；

根据所述存储信息将所述待写入数据下载至对应的程序中；

确定所述待写入数据的配置信息。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述配置信息生成所述待写入数据的数据库执行语句之前，所述方法还包括：

根据所述配置信息从配置中心获取对应的配置，所述配置中心用于灵活配置各种数据的写入流程。

4.根据权利要求3所述的方法，其特征在于，所述根据所述配置信息生成所述待写入数据的数据库执行语句，包括：

根据所述配置信息对应的配置解析所述待写入数据；

生成所述待写入数据的数据库执行语句。

5.根据权利要求1所述的方法，其特征在于，在所述获取需要执行的写入任务之前，所述方法还包括：

接收到待写入数据后上传至任务队列中。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述配置信息包括配置文件或配置参数。

7.一种数据写入系统，其特征在于，包括：

第一获取单元，用于获取需要执行的写入任务，所述写入任务包括待写入数据；

判断单元，用于判断所述需要执行的写入任务是否为新任务；

确定单元，用于当所述需要执行的写入任务式新任务时，则通过将所述待写入数据下载至程序中确定所述待写入数据的配置信息；

生成单元，用于根据所述配置信息生成所述待写入数据的数据库执行语句；

写入单元，用于合并所述数据库执行语句成一个执行语句后将所述待写入数据写入数据库中。

8.根据权利要求7所述的系统，其特征在于，所述确定单元包括：

第一确定模块，用于根据所述需要执行的写入任务中待写入数据确定存储信息；

下载模块，用于根据所述存储信息将所述待写入数据下载至对应的程序中；

第二确定模块，用于确定所述待写入数据的配置信息。

9.根据权利要求7所述的系统，其特征在于，在所述生成单元之前，所述系统还包括：

第二获取单元，用于根据所述配置信息从配置中心获取对应的配置，所述配置中心用于灵活配置各种数据的写入流程。

10.根据权利要求9所述的系统，其特征在于，所述生成单元包括：

解析模块，用于根据所述配置信息对应的配置解析所述待写入数据；

生成模块，用于生成所述待写入数据的数据库执行语句。

Images