CN114661715A - 数据库的数据处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本申请公开了一种数据库的数据处理方法及装置、存储介质和电子设备，涉及大数据领域。该方法包括：获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据；依据元数据信息和样例数据，生成目标数据模板；获取目标业务的数据；将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中。通过本申请，解决了相关技术中采用人工方式准备数据库中的测试数据，导致测试数据的准备效率较低的问题。

Description

数据库的数据处理方法及装置、存储介质和电子设备

技术领域

本申请涉及大数据领域，具体而言，涉及一种数据库的数据处理方法及装置、存储介质和电子设备。

背景技术

由于Hive数据库与传统型数据库不同，Hive数据库中的数据实际是以文件形式存储在hdfs文件系统中，因此，目前相关技术中对于Hive数据库中的测试数据的准备工作主要由测试工程师手工完成，大致步骤如下：

(1)通过Hadoop命令行工具beeline，提交执行表定义查询的SQL语句，获取Hive表的表定义，包括表结构、文件存储格式、文件存储hdfs路径、文件分隔符、分区字段等相关信息。

(2)根据Hive表的表定义信息，在本地手工创建一个带有分隔符的数据文本文件，在文件中手工逐条记录、逐个字段填写相关业务数据。

(3)完成数据文本准备后，将数据文件上传至有安装Hadoop客户端的服务器上。

(4)在服务器上通过使用Hadoop命令行工具beeline提交建表语句，在Hive数据库中创建一张与目标表表结构相同的临时表。

(5)在服务器上执行Hadoop的文件导入命令，将数据文件导入Hive临时表。

(6)在服务器上通过使用Hadoop命令行工具beeline提交Insert语句，将临时表中的数据插入最终的目标表。

但是，目前相关技术中测试数据的准备方法为手工方式，整个过程较为繁琐且容易出错，整体效率较低。同时，也不利于测试数据的后续复用与归档管理。因此，如何能够简单、高效的完成Hive数据库测试数据准备，是本领域技术人员亟待解决的问题。

针对相关技术中采用人工方式准备数据库中的测试数据，导致测试数据的准备效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据库的数据处理方法及装置、存储介质和电子设备，以解决相关技术中采用人工方式准备数据库中的测试数据，导致测试数据的准备效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据库的数据处理方法。该方法包括：获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；依据所述元数据信息和所述样例数据，生成目标数据模板；获取目标业务的数据；将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

进一步地，将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中包括：在将所述目标业务的数据导入到所述目标数据模板中之后，对所述目标数据模板进行预校验；在所述目标数据模板通过所述预校验的情况下，依据所述目标数据模板中的元数据信息和所述目标业务的数据，生成目标数据文件；将所述目标数据文件上传至所述目标数据库对应的Hadoop系统中；获取所述目标数据模板中的文件格式信息；依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中。

进一步地，对所述目标数据模板进行预校验包括：检查是否存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况；若当前不存在除所述目标对象之外的对象向所述目标数据表进行数据导入的情况，则检查所述目标数据表是否属于所述目标数据库，并比较所述目标数据表的结构是否与所述目标数据库中的表的结构一致；若所述目标数据表属于所述目标数据库，并且所述目标数据表的结构与所述目标数据库中的表的结构一致，则检查所述目标数据模板中的业务数据的填写是否存在异常；若所述目标数据模板中的业务数据的填写不存在异常，则表示所述目标数据模板通过所述预校验。

进一步地，对所述目标数据模板进行预校验包括：若存在以下任一情况：存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况，所述目标数据表不属于所述目标数据库，所述目标数据表的结构与所述目标数据库中的表的结构不一致，所述目标数据模板中的业务数据的填写存在异常，则表示所述目标数据模板未通过所述预校验，并提示异常信息。

进一步地，依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中包括：判断所述目标数据模板中的文件格式；若所述目标数据模板中的文件格式是目标文本格式，则执行所述Hadoop系统中的目标命令，并将所述目标业务的数据导入到所述目标数据库中；若所述目标数据模板中的文件格式不是目标文本格式，则创建与所述目标数据表的结构相同的临时表，并将所述临时表的文件格式设定为所述目标文本格式；执行所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述临时表中；执行所述目标数据库中的目标程序，将所述临时表中的所述目标业务的数据导入到所述目标数据库中。

进一步地，在获取目标数据库对应的目标数据表之前，所述方法还包括：获取第一数据库，其中，所述第一数据库至少包括所述目标数据库；对所述第一数据库的连接参数进行配置，其中，所述连接参数中至少包括：连接字符串、登录用户名、登录密码；在所述第一数据库的连接参数配置完成后，对所述目标数据模板的导出参数进行配置，其中，所述目标数据模板的导出参数至少包括所述样例数据的采集数量；在所述目标数据模板的导出参数配置完成后，对所述目标数据模板的导入参数进行配置，其中，所述目标数据模板的导入参数至少包括所述目标数据模板的导入数量；在所述目标数据模板的导入参数配置完成后，确定所述目标数据库和所述目标数据库对应的目标数据表。

进一步地，在依据所述元数据信息和所述样例数据，生成目标数据模板之后，所述方法还包括：将所述目标数据模板存储在预设存储单元中；依据所述目标对象的预设要求，对所述预设存储单元中的目标数据模板进行目标操作，其中，所述目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

进一步地，在将所述目标业务的数据导入到所述目标数据库中之后，所述方法还包括：获取所述目标业务的数据导入到所述目标数据库中的结果，得到导入结果，其中，所述导入结果为导入成功或者导入失败；展现所述导入结果。

为了实现上述目的，根据本申请的另一方面，提供了一种数据库的数据处理装置。该装置包括：第一获取单元，用于获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；第一生成单元，用于依据所述元数据信息和所述样例数据，生成目标数据模板；第二获取单元，用于获取目标业务的数据；第一导入单元，用于将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

进一步地，所述第一导入单元包括：第一校验子单元，用于在将所述目标业务的数据导入到所述目标数据模板中之后，对所述目标数据模板进行预校验；第一生成子单元，用于在所述目标数据模板通过所述预校验的情况下，依据所述目标数据模板中的元数据信息和所述目标业务的数据，生成目标数据文件；第一上传子单元，用于将所述目标数据文件上传至所述目标数据库对应的Hadoop系统中；第一获取子单元，用于获取所述目标数据模板中的文件格式信息；第一导入子单元，用于依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中。

进一步地，所述第一校验子单元包括：第一检查模块，用于检查是否存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况；第二检查模块，用于若当前不存在除所述目标对象之外的对象向所述目标数据表进行数据导入的情况，则检查所述目标数据表是否属于所述目标数据库，并比较所述目标数据表的结构是否与所述目标数据库中的表的结构一致；第三检查模块，用于若所述目标数据表属于所述目标数据库，并且所述目标数据表的结构与所述目标数据库中的表的结构一致，则检查所述目标数据模板中的业务数据的填写是否存在异常；第一确定模块，用于若所述目标数据模板中的业务数据的填写不存在异常，则表示所述目标数据模板通过所述预校验。

进一步地，所述第一校验子单元包括：第二确定模块，用于若存在以下任一情况：存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况，所述目标数据表不属于所述目标数据库，所述目标数据表的结构与所述目标数据库中的表的结构不一致，所述目标数据模板中的业务数据的填写存在异常，则表示所述目标数据模板未通过所述预校验，并提示异常信息。

进一步地，所述第一导入子单元包括：第一判断模块，用于判断所述目标数据模板中的文件格式；第一导入模块，用于若所述目标数据模板中的文件格式是目标文本格式，则执行所述Hadoop系统中的目标命令，并将所述目标业务的数据导入到所述目标数据库中；第一处理模块，用于若所述目标数据模板中的文件格式不是目标文本格式，则创建与所述目标数据表的结构相同的临时表，并将所述临时表的文件格式设定为所述目标文本格式；第二导入模块，用于执行所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述临时表中；第三导入模块，用于执行所述目标数据库中的目标程序，将所述临时表中的所述目标业务的数据导入到所述目标数据库中。

进一步地，所述装置还包括：第三获取单元，用于在获取目标数据库对应的目标数据表之前，获取第一数据库，其中，所述第一数据库至少包括所述目标数据库；第一配置单元，用于对所述第一数据库的连接参数进行配置，其中，所述连接参数中至少包括：连接字符串、登录用户名、登录密码；第二配置单元，用于在所述第一数据库的连接参数配置完成后，对所述目标数据模板的导出参数进行配置，其中，所述目标数据模板的导出参数至少包括所述样例数据的采集数量；第三配置单元，用于在所述目标数据模板的导出参数配置完成后，对所述目标数据模板的导入参数进行配置，其中，所述目标数据模板的导入参数至少包括所述目标数据模板的导入数量；第一确定单元，用于在所述目标数据模板的导入参数配置完成后，确定所述目标数据库和所述目标数据库对应的目标数据表。

进一步地，所述装置还包括：第一存储单元，用于在依据所述元数据信息和所述样例数据，生成目标数据模板之后，将所述目标数据模板存储在预设存储单元中；第一操作单元，用于依据所述目标对象的预设要求，对所述预设存储单元中的目标数据模板进行目标操作，其中，所述目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

进一步地，所述装置还包括：第四获取单元，用于在将所述目标业务的数据导入到所述目标数据库中之后，获取所述目标业务的数据导入到所述目标数据库中的结果，得到导入结果，其中，所述导入结果为导入成功或者导入失败；第一展现单元，用于展现所述导入结果。

为了实现上述目的，根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质存储程序，其中，所述程序执行上述的任意一项所述的数据库的数据处理方法。

为了实现上述目的，根据本申请的另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的任意一项所述的数据库的数据处理方法。

通过本申请，采用以下步骤：获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据；依据元数据信息和样例数据，生成目标数据模板；获取目标业务的数据；将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中，解决了相关技术中采用人工方式准备数据库的数据处理数据库中的测试数据，导致测试数据的准备效率较低的问题。通过依据获取到的元数据信息和样例数据，生成目标数据模板，并将获取到的目标业务的数据导入到目标数据模板中，再将目标数据模板中的数据导入到目标数据库中，从而可以提升数据库中的测试数据的准备效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据库的数据处理方法的流程图；

图2是本申请实施例中的导入数据模板的流程图；

图3是根据本申请实施例提供的可选的数据库的数据处理方法的流程图；

图4是根据本申请实施例提供的数据库的数据处理装置的示意图；

图5是根据本申请实施例提供的可选的数据库的数据处理装置的示意图；

图6是本申请实施例中的前端控制台的示意图；

图7是本申请实施例中的数据模板生成单元的示意图；

图8是本申请实施例中的数据模板导入单元的示意图；

图9是本申请实施例中的数据模板导入单元中的预校验模块的示意图；

图10是根据本申请实施例提供的电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的数据库的数据处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据。

例如，上述的目标数据库可以为Hive数据库。因此，可以先确定需要开展数据准备的Hive环境、库名、表名的信息，并获取对应库名和表名的Hive元数据信息及样例业务数据，且样例业务数据供用户在数据准备过程中进行参考。另外，表的元数据信息可以包括：分区字段、分区数据样例、表所属用户、文件格式、hdfs文件路径、库名、表名、表中文描述、字段名、字段名序号、字段类型、字段中文描述、表类型、文件分隔符、表或视图ddl定义、分区字段类型、文件换行符等信息。

此外，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，也可以将SQL语句转换为MapReduce任务进行运行，且其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。并且它可以仍然利用HDFS文件系统作为底层文件存储系统，从而保证了存储系统的稳定性和易扩展性。

而Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。可以充分利用集群的威力进行高速运算和存储。而且，Hadoop实现了一个分布式文件系统(Distributed File System)，其中一个组件是HDFS(Hadoop Distributed File System)。Hadoop的框架最核心的设计就是：HDFS和MapReduce。其中，HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

另外，SQL是结构化查询语言(Structured Query Language)的简称，是一种特殊目的的编程语言和用于数据库查询的程序设计语言，可以用于存取数据以及查询、更新和管理关系数据库系统。

步骤S102，依据元数据信息和样例数据，生成目标数据模板。

例如，将对应库名和表名的Hive元数据信息及样例业务数据自动写入数据模板中，并生成测试数据模板。

步骤S103，获取目标业务的数据。

例如，上述目标业务的数据可以包括：活动ID、活动名称、活动开始日期、活动结束日期、活动状态、领券规则ID和活动总金额等数据。

步骤S104，将目标业务的数据导入到目标数据模板中，将目标数据模板中的数据导入到目标数据库中。

例如，按照数据模板中的样例业务数据的格式，用户在数据模板中填入上述目标业务的数据后，便可一键将数据导入Hive数据库。

通过上述的步骤S101至S104，通过依据获取到的元数据信息和样例数据，生成目标数据模板，并将获取到的目标业务的数据导入到目标数据模板中，再将目标数据模板中的数据导入到目标数据库中，从而可以提升数据库中的测试数据的准备效率。

可选地，在本申请实施例提供的数据库的数据处理方法中，将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中包括：在将目标业务的数据导入到目标数据模板中之后，对目标数据模板进行预校验；在目标数据模板通过预校验的情况下，依据目标数据模板中的元数据信息和目标业务的数据，生成目标数据文件；将目标数据文件上传至目标数据库对应的Hadoop系统中；获取目标数据模板中的文件格式信息；依据目标数据模板中的文件格式信息和Hadoop系统中的目标命令，将目标业务的数据导入到目标数据库中。

例如，在将业务的数据导入到生成的数据模板中之后，对数据模板进行预校验；且在数据模板通过预校验的情况下，根据数据模板中的业务数据及数据分隔符信息，自动生成带有分隔符的数据文件；在Hive数据库所在的HDFS文件系统中创建临时目录，并将带有分隔符的数据文件自动上传至临时目录下；获取数据模板中的文件格式信息；根据数据模板中的文件格式信息和Hadoop系统中的命令，将业务的数据导入到Hive数据库中。

通过上述的方案，可以快速准确的将业务数据导入到数据库中，从而提高了数据库中的测试数据的准备效率。

可选地，在本申请实施例提供的数据库的数据处理方法中，对目标数据模板进行预校验包括：检查是否存在除目标对象之外的其他对象向目标数据表进行数据导入的情况；若当前不存在除目标对象之外的对象向目标数据表进行数据导入的情况，则检查目标数据表是否属于目标数据库，并比较目标数据表的结构是否与目标数据库中的表的结构一致；若目标数据表属于目标数据库，并且目标数据表的结构与目标数据库中的表的结构一致，则检查目标数据模板中的业务数据的填写是否存在异常；若目标数据模板中的业务数据的填写不存在异常，则表示目标数据模板通过预校验。

在本实施例中，对生成的数据模板进行预校验时可以分为以下几个步骤：(1)检查当前是否有其他用户正在向同一张Hive目标表进行数据导入；(2)如果当前没有其他用户正在向同一张Hive目标表进行数据导入，再检查数据模板中的目标表是否在Hive数据库中存在，且目标表的实际表结构是否与数据模板中维护的表结构一致；(3)若目标表存在，且目标表的实际表结构与数据模板中维护的表结构一致，则检查数据模板中的业务数据填写是否存在填写异常，包括：模板中缺失元数据信息、业务数据填写区域未维护任何数据等；(4)若不存在填写异常的情况，则代表数据模板通过了预校验。

综上所述，通过对生成的数据模板进行校验，可以保证最终用户使用的数据模板的准确性，进而提高了数据库数据测试的效率和测试质量。

可选地，在本申请实施例提供的数据库的数据处理方法中，对目标数据模板进行预校验包括：若存在以下任一情况：存在除目标对象之外的其他对象向目标数据表进行数据导入的情况，目标数据表不属于目标数据库，目标数据表的结构与目标数据库中的表的结构不一致，目标数据模板中的业务数据的填写存在异常，则表示目标数据模板未通过预校验，并提示异常信息。

在本实施例中，对生成的数据模板进行预校验时，如果存在当前有其他用户正在向同一张Hive目标表进行数据导入或者数据模板中的目标表在Hive数据库中不存在，且目标表的实际表结构是否与数据模板中维护的表结构不一致或者数据模板中的业务数据填写存在填写异常，则代表数据模板未通过预校验。

综上所述，通过对生成的数据模板进行校验，可以识别出存在异常的数据模板，从而可以保证生成的数据模板的准确性，进而可以提升数据库中的测试数据的质量。

可选地，在本申请实施例提供的数据库的数据处理方法中，依据目标数据模板中的文件格式信息和Hadoop系统中的目标命令，将目标业务的数据导入到目标数据库中包括：判断目标数据模板中的文件格式；若目标数据模板中的文件格式是目标文本格式，则执行Hadoop系统中的目标命令，并将目标业务的数据导入到目标数据库中；若目标数据模板中的文件格式不是目标文本格式，则创建与目标数据表的结构相同的临时表，并将临时表的文件格式设定为目标文本格式；执行Hadoop系统中的目标命令，将目标业务的数据导入到临时表中；执行目标数据库中的目标程序，将临时表中的目标业务的数据导入到目标数据库中。

在本实施例中，在获取数据模板中的文件格式信息之后，判断数据模板中的文件格式；若Hive表所对应的文件格式为普通文本格式,则执行Hadoop的LOAD命令，将数据文件导入所对应的Hive目标表，完成数据准备工作；若Hive表所对应的文件格式为非普通文本格式(压缩格式等)，则创建一张与Hive目标表表结构相同的临时表，并将临时表所对应的文件格式设置为普通文本格式；再执行Hadoop的LOAD命令，将数据文件导入所对应的Hive临时表中；最后执行HiveSQL语句，将临时表中的数据插入最终的Hive目标表，完成数据准备工作。

另外，图2是本申请实施例中的导入数据模板的流程图，如图2所示，在将填写完成的数据模板上传导入之后，检查当前是否有其他用户正在向同一张Hive目标表进行数据导入。若存在，则表示数据模板未通过数据导入前的预校验，并提示异常；再检查数据模板中的目标表是否在Hive数据库中存在，且目标表的实际表结构是否与数据模板中维护的表结构一致；若目标表不存在，或目标表的实际表结构与数据模板中维护的表结构不一致，则表示数据模板未通过数据导入前的预校验，并提示异常；检查数据模板中的业务数据填写是否存在填写异常；若存在填写异常的情况，则表示数据模板未通过数据导入前的预校验，并提示异常。若数据模板通过数据导入前的预校验，则根据数据模板中的业务数据及数据分隔符信息，自动生成带有分隔符的数据文件，并在Hive数据库所在的HDFS文件系统中创建临时目录，同时将带有分隔符的数据文件自动上传至临时目录下；再获取数据模板中的文件格式信息；若Hive表所对应的文件格式为普通文本格式,则执行Hadoop的LOAD命令，将数据文件导入所对应的Hive目标表，完成数据准备工作；若Hive表所对应的文件格式为非普通文本格式，则创建一张与Hive目标表表结构相同的临时表，并将临时表所对应的文件格式设置为普通文本格式；再执行HiveSQL语句，将临时表中的数据插入最终的Hive目标表，完成数据准备工作。

通过上述的方案，根据数据模板中的文件格式和程序语句，可以快速的将业务数据导入到数据库中，从而提高了数据库中的测试数据的准备效率。

可选地，在本申请实施例提供的数据库的数据处理方法中，在获取目标数据库对应的目标数据表之前，该方法还包括：获取第一数据库，其中，第一数据库至少包括目标数据库；对第一数据库的连接参数进行配置，其中，连接参数中至少包括：连接字符串、登录用户名、登录密码；在第一数据库的连接参数配置完成后，对目标数据模板的导出参数进行配置，其中，目标数据模板的导出参数至少包括样例数据的采集数量；在目标数据模板的导出参数配置完成后，对目标数据模板的导入参数进行配置，其中，目标数据模板的导入参数至少包括目标数据模板的导入数量；在目标数据模板的导入参数配置完成后，确定目标数据库和目标数据库对应的目标数据表。

在本实施例中，在获取目标Hive数据库对应的目标数据表之前，用户可以对Hive数据库进行连接参数的配置、模板导出参数、模板导入参数的设置等。并且，Hive数据库连接参数的配置可以包括：Hive数据库连接字符串、登录用户名和登录密码等；模板导出参数的设置可以包括样例数据的采集配置；模板导入参数的设置可以包括导入并发参数的配置。上述的这些配置具体可以分为以下几个部分：(1)Hive数据库环境连接配置：用户可按需配置模板Hive数据库的连接字符串、登录用户名、登录密码，并设置环境别名；在数据模板导出、导入的过程中，跟用户配置的Hive环境信息进行元数据的采集及业务数据的导入。同时，可以支持配置多套目标Hive环境。(2)样例数据采集配置：在生成数据模板的过程中，将预先填入少量样例业务数据，供用户在数据准备过程中进行参考。并且可以灵活设置采集样例记录数的上限。比如，默认为采集10条记录，若Hive数据库中实际业务数据未达到采集上限，则采集整表的全量记录作为样例数据；(3)导入并发数配置：在数据模板导入Hive数据库的过程中，可以支持多个模板文件并发导入。并且可以灵活设置导入模板个数的上限。比如，默认为设置为10个并发，即最多支持10个数据模板文件同时导入。

综上所述，通过对数据库的元数据参数进行灵活的配置，可以支持同时适配连接多套不同的数据库，从而可以使用户根据实际需求在多套数据库之间进行灵活切换，具有较好的通用性；通过对数据库进行模板导出参数的设置，可以便于用户参考数据模板中的样例数据；通过对数据库进行模板导入参数的设置，可以提升数据的导入效率。

可选地，在本申请实施例提供的数据库的数据处理方法中，在依据元数据信息和样例数据，生成目标数据模板之后，该方法还包括：将目标数据模板存储在预设存储单元中；依据目标对象的预设要求，对预设存储单元中的目标数据模板进行目标操作，其中，目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

在本实施例中，在生成数据模板，并将数据模板导入后，可以根据用户ID，自动将导入的数据模板归档在存储服务器上的用户ID目录下。并且，用户后续也可以对历史模板数据进行搜索查询及编辑修改，同时也可以对历史数据模板进行一键复用，并将数据导入Hive数据库。

通过上述的方案，用户通过访问前端的展现模块，可以高效的完成测试数据模板的导出与测试数据的一键导入，从而可以降低数据库数据准备的技术门槛。另外，通过自动对历史导入的测试数据模板进行自动归档及管理服务，从而可以满足用户对于测试数据复用的需求。

可选地，在本申请实施例提供的数据库的数据处理方法中，在将目标业务的数据导入到目标数据库中之后，该方法还包括：获取目标业务的数据导入到目标数据库中的结果，得到导入结果，其中，导入结果为导入成功或者导入失败；展现导入结果。

例如，在将数据导入到Hive数据库中之后，可以自动查询导入Hive数据库的具体结果，并展现最终的导入结果，显示导入结果为成功还是失败。并且，如果导入失败，可以进一步展现详细报错信息。

通过上述的方案，可以使用户直观的查看到数据是否成功的导入到数据库中，从而提升了用户体验。

图3是根据本申请实施例提供的可选的数据库的数据处理方法的流程图，如图3所示，对数据库数据进行处理的流程具体包括：

步骤S1，用户进行Hive数据库连接参数的配置、模板导出参数、模板导入参数的设置。而且，Hive数据库连接参数的配置可以包括Hive数据库连接字符串、登录用户名、登录密码等；模板导出参数包括样例数据采集配置；模板导入参数包括导入并发参数配置；

步骤S2，用户输入需要开展数据准备的Hive库名及表名；

步骤S3，自动采集Hive目标表的元数据信息以及样例数据；

步骤S4，自动生成数据模板，并将步骤S3采集到的相关元数据信息及样例数据写入数据模板中；

步骤S5，用户下载数据模板，并在数据模板中进行数据准备工作，同时填入具体的业务数据及数据分区导入信息；

步骤S6，用户将填写完成的数据模板上传导入。然后自动解析模板数据，并实施相应预校验。通过预校验后，将用户填写的业务数据生成数据文件；并根据数据模板中的元数据信息执行导入命令及HiveSQL语句；

步骤S7，用户查看导入结果。

综上，本申请实施例提供的数据库的数据处理方法，通过获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据；依据元数据信息和样例数据，生成目标数据模板；获取目标业务的数据；将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中，解决了相关技术中采用人工方式准备数据库中的测试数据，导致测试数据的准备效率较低的问题。通过依据获取到的元数据信息和样例数据，生成目标数据模板，并将获取到的目标业务的数据导入到目标数据模板中，再将目标数据模板中的数据导入到目标数据库中，从而可以提升数据库中的测试数据的准备效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据库的数据处理装置，需要说明的是，本申请实施例的数据库的数据处理装置可以用于执行本申请实施例所提供的数据库的数据处理方法。以下对本申请实施例提供的数据库的数据处理装置进行介绍。

图4是根据本申请实施例的数据库的数据处理装置的示意图。如图4所示，该装置包括：第一获取单元401、第一生成单元402、第二获取单元403和第一导入单元404。

具体地，第一获取单元401，用于获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据；

第一生成单元402，用于依据元数据信息和样例数据，生成目标数据模板；

第二获取单元403，用于获取目标业务的数据；

第一导入单元404，用于将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中。

综上，本申请实施例提供的数据库的数据处理装置，通过第一获取单元401获取目标数据库对应的目标数据表，并获取目标数据表中的元数据信息和样例数据，其中，目标数据库表示待进行数据准备的数据库，元数据信息用于表征目标数据表中的数据的属性信息，样例数据为目标对象的参考数据；第一生成单元402依据元数据信息和样例数据，生成目标数据模板；第二获取单元403获取目标业务的数据；第一导入单元404将目标业务的数据导入到目标数据模板中，并将目标数据模板中的数据导入到目标数据库中，解决了相关技术中采用人工方式准备数据库中的测试数据，导致测试数据的准备效率较低的问题，通过依据获取到的元数据信息和样例数据，生成目标数据模板，并将获取到的目标业务的数据导入到目标数据模板中，再将目标数据模板中的数据导入到目标数据库中，从而可以提升数据库中的测试数据的准备效率。

可选地，在本申请实施例提供的数据库的数据处理装置中，第一导入单元包括：第一校验子单元，用于在将目标业务的数据导入到目标数据模板中之后，对目标数据模板进行预校验；第一生成子单元，用于在目标数据模板通过预校验的情况下，依据目标数据模板中的元数据信息和目标业务的数据，生成目标数据文件；第一上传子单元，用于将目标数据文件上传至目标数据库对应的Hadoop系统中；第一获取子单元，用于获取目标数据模板中的文件格式信息；第一导入子单元，用于依据目标数据模板中的文件格式信息和Hadoop系统中的目标命令，将目标业务的数据导入到目标数据库中。

可选地，在本申请实施例提供的数据库的数据处理装置中，第一校验子单元包括：第一检查模块，用于检查是否存在除目标对象之外的其他对象向目标数据表进行数据导入的情况；第二检查模块，用于若当前不存在除目标对象之外的对象向目标数据表进行数据导入的情况，则检查目标数据表是否属于目标数据库，并比较目标数据表的结构是否与目标数据库中的表的结构一致；第三检查模块，用于若目标数据表属于目标数据库，并且目标数据表的结构与目标数据库中的表的结构一致，则检查目标数据模板中的业务数据的填写是否存在异常；第一确定模块，用于若目标数据模板中的业务数据的填写不存在异常，则表示目标数据模板通过预校验。

可选地，在本申请实施例提供的数据库的数据处理装置中，第一校验子单元包括：第二确定模块，用于若存在以下任一情况：存在除目标对象之外的其他对象向目标数据表进行数据导入的情况，目标数据表不属于目标数据库，目标数据表的结构与目标数据库中的表的结构不一致，目标数据模板中的业务数据的填写存在异常，则表示目标数据模板未通过预校验，并提示异常信息。

可选地，在本申请实施例提供的数据库的数据处理装置中，第一导入子单元包括：第一判断模块，用于判断目标数据模板中的文件格式；第一导入模块，用于若目标数据模板中的文件格式是目标文本格式，则执行Hadoop系统中的目标命令，并将目标业务的数据导入到目标数据库中；第一处理模块，用于若目标数据模板中的文件格式不是目标文本格式，则创建与目标数据表的结构相同的临时表，并将临时表的文件格式设定为目标文本格式；第二导入模块，用于执行Hadoop系统中的目标命令，将目标业务的数据导入到临时表中；第三导入模块，用于执行目标数据库中的目标程序，将临时表中的目标业务的数据导入到目标数据库中。

可选地，在本申请实施例提供的数据库的数据处理装置中，该装置还包括：第三获取单元，用于在获取目标数据库对应的目标数据表之前，获取第一数据库，其中，第一数据库至少包括目标数据库；第一配置单元，用于对第一数据库的连接参数进行配置，其中，连接参数中至少包括：连接字符串、登录用户名、登录密码；第二配置单元，用于在第一数据库的连接参数配置完成后，对目标数据模板的导出参数进行配置，其中，目标数据模板的导出参数至少包括样例数据的采集数量；第三配置单元，用于在目标数据模板的导出参数配置完成后，对目标数据模板的导入参数进行配置，其中，目标数据模板的导入参数至少包括目标数据模板的导入数量；第一确定单元，用于在目标数据模板的导入参数配置完成后，确定目标数据库和目标数据库对应的目标数据表。

可选地，在本申请实施例提供的数据库的数据处理装置中，该装置还包括：第一存储单元，用于在依据元数据信息和样例数据，生成目标数据模板之后，将目标数据模板存储在预设存储单元中；第一操作单元，用于依据目标对象的预设要求，对预设存储单元中的目标数据模板进行目标操作，其中，目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

可选地，在本申请实施例提供的数据库的数据处理装置中，该装置还包括：第四获取单元，用于在将目标业务的数据导入到目标数据库中之后，获取目标业务的数据导入到目标数据库中的结果，得到导入结果，其中，导入结果为导入成功或者导入失败；第一展现单元，用于展现导入结果。

所述数据库的数据处理装置包括处理器和存储器，上述第一获取单元401、第一生成单元402、第二获取单元403和第一导入单元404等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

图5是根据本申请实施例提供的可选的数据库的数据处理装置的示意图，如图5所示，可选的数据库的数据处理装置包括：前端控制台1、数据模板生成单元2、Hive数据库3、数据模板导入单元4和数据模板归档存储单元5。其中，上述模块1～5的作用分别为：前端控制台1用于通过提供可视化的界面，供用户自助进行Hive数据库环境的连接配置、样例数据采集上限、导入并发数等相关参数信息配置，并支持多套Hive数据库环境间的灵活切换。辅助用户进行数据模板的导出与导入，完成Hive数据库数据准备。同时，可对历史导入过的数据模板进行在线管理与复用；数据模板生成单元2用于数据模板的生成，根据前端控制台1请求的库名、表名，向Hive数据库3进行元数据的查询，获取目标表的表结构等相关元数据信息，自动生成数据模板。并在数据模板中默认填入少量样例数据，供用户参考借鉴。最终将涵盖元数据信息、样例数据的Hive数据模板返回给前端控制台1，供用户下载使用；Hive数据库3为本实施例中待进行数据准备的目标数据库；数据模板导入单元4用于根据用户在前端控制台1上传的数据模板，自动解析模板中的Hive目标表元数据信息及业务数据生成数据文件，在通过相关预校验检查后(表结构一致性检查、模板准确性检查、数据冲突检查等)，自动将业务数据导入Hive数据库3；数据模板归档存储单元5用于数据模板导入后，根据用户ID，自动将导入的数据模板归档在存储服务器上的用户ID目录下。供用户后续在前端控制台1对历史模板数据进行搜索查询及编辑修改，也可对历史数据模板进行一键复用，导入Hive数据库3。

图6是本申请实施例中的前端控制台的示意图，如图6所示，前端控制台中包括：参数配置模块11、模板下载模块12、模板上传模块13、模板搜索模块14、模板编辑模块15和结果展现模块16。其中，上述模块11～16的作用分别为：参数配置模块11用于整体的参数配置；模板下载模块12用于用户在前端控制台1选择目标Hive环境，输入库名、表名后，模板下载模块12将库名、表名发送至数据模板生成单元2，请求相应数据模板。数据模板生成单元2完成模板生成后，将数据模板返回前端控制台1，供用户下载；模板上传模块13用于用户在前端控制台1选择目标Hive环境，模板上传模块13将维护业务数据后的数据模板传递至数据模板导入单元4。由数据模板导入单元4将业务数据导入Hive数据库3；模板搜索模块14用于对于历史上导入过Hive数据库3的数据模板进行搜索与查询，将搜索查询结果展现给用户；模板编辑模块15用于对模板搜索模块14搜索查询的结果(历史模板数据)进行在线编辑与修改。查询到或修改后的数据模板，可直接发送至数据模板导入单元4进行数据导入；结果展现模块16用于自动查询数据模板导入单元4的执行导入Hive数据库3的具体结果，并展现导入结果；如导入失败，则进一步展现详细报错信息。

图7是本申请实施例中的数据模板生成单元的示意图，如图7所示，数据模板生成单元中包括：元数据采集模块21、样例数据采集模块22和模板生成模块23。其中，上述模块21～23的作用分别为：元数据采集模块21用于根据前端控制台1传入的Hive环境、库名、表名的信息，向Hive数据库的Meta库发起查询请求，并获取表的元数据信息。具体包括：分区字段、分区数据样例、表所属用户、文件格式、hdfs文件路径、库名、表名、表中文描述、字段名、字段名序号、字段类型、字段中文描述、表类型、文件分隔符、表或视图ddl定义、分区字段类型、文件换行符等；样例数据采集模块22用于根据前端控制台1传入的Hive环境、库名、表名的信息，向Hive数据库发起数据抽样查询请求，获取样例数据；模板生成模块23用于将元数据采集模块21、样例数据采集模块22采集到的元数据信息与样例数据自动写入数据模板中，供用户在前端控制台1下载使用。

图8是本申请实施例中的数据模板导入单元的示意图，如图8所示，数据模板导入单元中包括：预校验模块41和模板导入模块42。其中，上述模块41～42的作用分别为：预校验模块41用于对用户导入的数据模板实施预检验，检验通过后方可进行数据导入。具体的检验内容包含：表结构校验、模板填写准确性校验、数据冲突校验等；模板导入模块42用于数据模板的实际导入处理。根据数据模板中的元数据信息及用户填写的业务数据，自动生成数据文件并上传至Hadoop客户端服务器。通过调用Hadoop命令、执行HiveSQL语句将数据文件导入Hive目标表。

图9是本申请实施例中的数据模板导入单元中的预校验模块的示意图，如图9所示，数据模板导入单元中的预校验模块中包括：表结构校验模块411、模板准确性校验412和数据冲突校验模块413。其中，上述模块411～413的作用分别为：表结构校验模块411用于将模板中的Hive表结构与当前Hive数据库中的实际表结构进行一致性比对，如果Hive数据库中不存在对应目标表或目标表表结构与数据模板中的表结构不一致，则提示表结构校验未通过，导入程序退出；模板准确性校验412用于对导入模板填写的准确性开展校验，如校验发现存在填写异常之处，则提示模板准确性校验未通过，导入程序退出；数据冲突校验模块413用于为确保导入数据的准确性，校验数据模板导入的Hive目标表是否在同一时刻存在其他用户同时导入的情况。若存在其他导入进程，则提示稍后重试，导入程序退出。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提升Hive数据库中的测试数据的准备效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述数据库的数据处理方法。

如图10所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；依据所述元数据信息和所述样例数据，生成目标数据模板；获取目标业务的数据；将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

处理器执行程序时还实现以下步骤：将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中包括：在将所述目标业务的数据导入到所述目标数据模板中之后，对所述目标数据模板进行预校验；在所述目标数据模板通过所述预校验的情况下，依据所述目标数据模板中的元数据信息和所述目标业务的数据，生成目标数据文件；将所述目标数据文件上传至所述目标数据库对应的Hadoop系统中；获取所述目标数据模板中的文件格式信息；依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中。

处理器执行程序时还实现以下步骤：对所述目标数据模板进行预校验包括：检查是否存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况；若当前不存在除所述目标对象之外的对象向所述目标数据表进行数据导入的情况，则检查所述目标数据表是否属于所述目标数据库，并比较所述目标数据表的结构是否与所述目标数据库中的表的结构一致；若所述目标数据表属于所述目标数据库，并且所述目标数据表的结构与所述目标数据库中的表的结构一致，则检查所述目标数据模板中的业务数据的填写是否存在异常；若所述目标数据模板中的业务数据的填写不存在异常，则表示所述目标数据模板通过所述预校验。

处理器执行程序时还实现以下步骤：对所述目标数据模板进行预校验包括：若存在以下任一情况：存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况，所述目标数据表不属于所述目标数据库，所述目标数据表的结构与所述目标数据库中的表的结构不一致，所述目标数据模板中的业务数据的填写存在异常，则表示所述目标数据模板未通过所述预校验，并提示异常信息。

处理器执行程序时还实现以下步骤：依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中包括：判断所述目标数据模板中的文件格式；若所述目标数据模板中的文件格式是目标文本格式，则执行所述Hadoop系统中的目标命令，并将所述目标业务的数据导入到所述目标数据库中；若所述目标数据模板中的文件格式不是目标文本格式，则创建与所述目标数据表的结构相同的临时表，并将所述临时表的文件格式设定为所述目标文本格式；执行所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述临时表中；执行所述目标数据库中的目标程序，将所述临时表中的所述目标业务的数据导入到所述目标数据库中。

处理器执行程序时还实现以下步骤：在获取目标数据库对应的目标数据表之前，所述方法还包括：获取第一数据库，其中，所述第一数据库至少包括所述目标数据库；对所述第一数据库的连接参数进行配置，其中，所述连接参数中至少包括：连接字符串、登录用户名、登录密码；在所述第一数据库的连接参数配置完成后，对所述目标数据模板的导出参数进行配置，其中，所述目标数据模板的导出参数至少包括所述样例数据的采集数量；在所述目标数据模板的导出参数配置完成后，对所述目标数据模板的导入参数进行配置，其中，所述目标数据模板的导入参数至少包括所述目标数据模板的导入数量；在所述目标数据模板的导入参数配置完成后，确定所述目标数据库和所述目标数据库对应的目标数据表。

处理器执行程序时还实现以下步骤：在依据所述元数据信息和所述样例数据，生成目标数据模板之后，所述方法还包括：将所述目标数据模板存储在预设存储单元中；依据所述目标对象的预设要求，对所述预设存储单元中的目标数据模板进行目标操作，其中，所述目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

处理器执行程序时还实现以下步骤：在将所述目标业务的数据导入到所述目标数据库中之后，所述方法还包括：获取所述目标业务的数据导入到所述目标数据库中的结果，得到导入结果，其中，所述导入结果为导入成功或者导入失败；展现所述导入结果。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；依据所述元数据信息和所述样例数据，生成目标数据模板；获取目标业务的数据；将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中包括：在将所述目标业务的数据导入到所述目标数据模板中之后，对所述目标数据模板进行预校验；在所述目标数据模板通过所述预校验的情况下，依据所述目标数据模板中的元数据信息和所述目标业务的数据，生成目标数据文件；将所述目标数据文件上传至所述目标数据库对应的Hadoop系统中；获取所述目标数据模板中的文件格式信息；依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：对所述目标数据模板进行预校验包括：检查是否存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况；若当前不存在除所述目标对象之外的对象向所述目标数据表进行数据导入的情况，则检查所述目标数据表是否属于所述目标数据库，并比较所述目标数据表的结构是否与所述目标数据库中的表的结构一致；若所述目标数据表属于所述目标数据库，并且所述目标数据表的结构与所述目标数据库中的表的结构一致，则检查所述目标数据模板中的业务数据的填写是否存在异常；若所述目标数据模板中的业务数据的填写不存在异常，则表示所述目标数据模板通过所述预校验。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：对所述目标数据模板进行预校验包括：若存在以下任一情况：存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况，所述目标数据表不属于所述目标数据库，所述目标数据表的结构与所述目标数据库中的表的结构不一致，所述目标数据模板中的业务数据的填写存在异常，则表示所述目标数据模板未通过所述预校验，并提示异常信息。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中包括：判断所述目标数据模板中的文件格式；若所述目标数据模板中的文件格式是目标文本格式，则执行所述Hadoop系统中的目标命令，并将所述目标业务的数据导入到所述目标数据库中；若所述目标数据模板中的文件格式不是目标文本格式，则创建与所述目标数据表的结构相同的临时表，并将所述临时表的文件格式设定为所述目标文本格式；执行所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述临时表中；执行所述目标数据库中的目标程序，将所述临时表中的所述目标业务的数据导入到所述目标数据库中。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在获取目标数据库对应的目标数据表之前，所述方法还包括：获取第一数据库，其中，所述第一数据库至少包括所述目标数据库；对所述第一数据库的连接参数进行配置，其中，所述连接参数中至少包括：连接字符串、登录用户名、登录密码；在所述第一数据库的连接参数配置完成后，对所述目标数据模板的导出参数进行配置，其中，所述目标数据模板的导出参数至少包括所述样例数据的采集数量；在所述目标数据模板的导出参数配置完成后，对所述目标数据模板的导入参数进行配置，其中，所述目标数据模板的导入参数至少包括所述目标数据模板的导入数量；在所述目标数据模板的导入参数配置完成后，确定所述目标数据库和所述目标数据库对应的目标数据表。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在依据所述元数据信息和所述样例数据，生成目标数据模板之后，所述方法还包括：将所述目标数据模板存储在预设存储单元中；依据所述目标对象的预设要求，对所述预设存储单元中的目标数据模板进行目标操作，其中，所述目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在将所述目标业务的数据导入到所述目标数据库中之后，所述方法还包括：获取所述目标业务的数据导入到所述目标数据库中的结果，得到导入结果，其中，所述导入结果为导入成功或者导入失败；展现所述导入结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种数据库的数据处理方法，其特征在于，包括：

获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；

依据所述元数据信息和所述样例数据，生成目标数据模板；

获取目标业务的数据；

将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中包括：

在将所述目标业务的数据导入到所述目标数据模板中之后，对所述目标数据模板进行预校验；

在所述目标数据模板通过所述预校验的情况下，依据所述目标数据模板中的元数据信息和所述目标业务的数据，生成目标数据文件；

将所述目标数据文件上传至所述目标数据库对应的Hadoop系统中；

获取所述目标数据模板中的文件格式信息；

依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中。

3.根据权利要求2所述的方法，其特征在于，对所述目标数据模板进行预校验包括：

检查是否存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况；

若当前不存在除所述目标对象之外的对象向所述目标数据表进行数据导入的情况，则检查所述目标数据表是否属于所述目标数据库，并比较所述目标数据表的结构是否与所述目标数据库中的表的结构一致；

若所述目标数据表属于所述目标数据库，并且所述目标数据表的结构与所述目标数据库中的表的结构一致，则检查所述目标数据模板中的业务数据的填写是否存在异常；

若所述目标数据模板中的业务数据的填写不存在异常，则表示所述目标数据模板通过所述预校验。

4.根据权利要求3所述的方法，其特征在于，对所述目标数据模板进行预校验包括：

若存在以下任一情况：存在除所述目标对象之外的其他对象向所述目标数据表进行数据导入的情况，所述目标数据表不属于所述目标数据库，所述目标数据表的结构与所述目标数据库中的表的结构不一致，所述目标数据模板中的业务数据的填写存在异常，则表示所述目标数据模板未通过所述预校验，并提示异常信息。

5.根据权利要求2所述的方法，其特征在于，依据所述目标数据模板中的文件格式信息和所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述目标数据库中包括：

判断所述目标数据模板中的文件格式；

若所述目标数据模板中的文件格式是目标文本格式，则执行所述Hadoop系统中的目标命令，并将所述目标业务的数据导入到所述目标数据库中；

若所述目标数据模板中的文件格式不是目标文本格式，则创建与所述目标数据表的结构相同的临时表，并将所述临时表的文件格式设定为所述目标文本格式；

执行所述Hadoop系统中的目标命令，将所述目标业务的数据导入到所述临时表中；

执行所述目标数据库中的目标程序，将所述临时表中的所述目标业务的数据导入到所述目标数据库中。

6.根据权利要求1所述的方法，其特征在于，在获取目标数据库对应的目标数据表之前，所述方法还包括：

获取第一数据库，其中，所述第一数据库至少包括所述目标数据库；

对所述第一数据库的连接参数进行配置，其中，所述连接参数中至少包括：连接字符串、登录用户名、登录密码；

在所述第一数据库的连接参数配置完成后，对所述目标数据模板的导出参数进行配置，其中，所述目标数据模板的导出参数至少包括所述样例数据的采集数量；

在所述目标数据模板的导出参数配置完成后，对所述目标数据模板的导入参数进行配置，其中，所述目标数据模板的导入参数至少包括所述目标数据模板的导入数量；

在所述目标数据模板的导入参数配置完成后，确定所述目标数据库和所述目标数据库对应的目标数据表。

7.根据权利要求1所述的方法，其特征在于，在依据所述元数据信息和所述样例数据，生成目标数据模板之后，所述方法还包括：

将所述目标数据模板存储在预设存储单元中；

依据所述目标对象的预设要求，对所述预设存储单元中的目标数据模板进行目标操作，其中，所述目标操作包括以下至少之一：搜索查询操作、编辑操作、修改操作和重复使用操作。

8.根据权利要求1所述的方法，其特征在于，在将所述目标业务的数据导入到所述目标数据库中之后，所述方法还包括：

获取所述目标业务的数据导入到所述目标数据库中的结果，得到导入结果，其中，所述导入结果为导入成功或者导入失败；

展现所述导入结果。

9.一种数据库的数据处理装置，其特征在于，包括：

第一获取单元，用于获取目标数据库对应的目标数据表，并获取所述目标数据表中的元数据信息和样例数据，其中，所述目标数据库表示待进行数据准备的数据库，所述元数据信息用于表征所述目标数据表中的数据的属性信息，所述样例数据为目标对象的参考数据；

第一生成单元，用于依据所述元数据信息和所述样例数据，生成目标数据模板；

第二获取单元，用于获取目标业务的数据；

第一导入单元，用于将所述目标业务的数据导入到所述目标数据模板中，并将所述目标数据模板中的数据导入到所述目标数据库中。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储程序，其中，所述程序执行权利要求1至8中任意一项所述的数据库的数据处理方法。

11.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任意一项所述的数据库的数据处理方法。

Images