CN108241679A - 数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理方法及装置。其中，该方法包括：在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中。本发明解决了相关技术中数据处理效率低下的技术问题。

Description

数据处理方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据处理方法及装置。

背景技术

目前，在现有技术中，为了将关系型数据库(如sql server)中的数据导入查询组件(如Impala，一种基于hadoop生态圈的实时查询组件)中，一般会采用以下方案：

方案一：即Sqoop方案(Sqoop：一种导关系型数据库数据到hadoop的组件)，通过Sqoop将关系型数据库(如sql server)中的特定表中的数据直接导入到hadoop中。该方案存在如下缺点：缺点一、无法将数据直接导入Impala的外部表或导入外部表对应的目录下，而是通过Impala刷新元数据的方式加载数据；缺点二、sqoop导入的数据无法指定为Parquet格式(一种按照列压缩和存储的文件格式，大部分hadoop生态群组件都可读取的一种文件格式)；缺点三、sqoop导入过程无法对数据进行转化/加工。

方案二：即采用开发程序的方式将数据从关系型数据库(如sql server)中导入Impala，导入过程如下：先将数据从关系型数据库(如sql server)中导出并进行相关数据加工后，保存到hadoop上，保存格式为常用格式csv；然后将csv文件加载到Impala中；最后在Impala中进行数据类型的转化(即将导入的数据类型转化为目标数据库的数据类型)和文件类型的转化(即csv格式转化为Parquet格式)。例如，sql server中存储时间的数据类型为datetime，数据导出保存到hadoop时默认为字符串类型，在Impala中加载为字符串类型，然后进行类型转化保存到目标数据库，此过程也完成了csv文件存储格式到parquet文件存储格式的转化，可见这个类型转化的过程比较慢，数据量达到百万级时转化一般需要花费10分钟以上，效率低下。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法及装置，以至少解决相关技术中数据处理效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中。

进一步地，将上述加工后的导出数据保存为导入数据包括：读取上述加工后的导出数据；根据读取的上述加工后的导出数据的数据内容，确定上述加工后的导出数据的数据类型；获取上述加工后的导出数据的数据类型与上述导入数据的数据类型之间的对应关系；根据上述对应关系，将上述第一类型的上述加工后的导出数据保存为上述第二类型的上述导入数据。

进一步地，在将上述加工后的导出数据保存为导入数据的同时，上述方法还包括：将上述导入数据保存在导入数据文件中，其中，上述导入数据文件为指定文件格式的文件，上述指定文件格式的文件可被上述目标数据库加载。

进一步地，在将上述导入数据保存在导入数据文件中之后，上述方法还包括：将保存在上述导入数据文件中的导入数据加载到上述目标数据库中。

进一步地，上述关系型数据库包括sql server数据库。

进一步地，上述目标数据库包括Impala目标数据库。

根据本发明的另一方面，提供了一种数据处理装置，包括：加工单元，用于在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；第一保存单元，用于将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中。

进一步地，上述第一保存单元包括：读取模块，用于读取上述加工后的导出数据；确定模块，用于根据读取的上述加工后的导出数据的数据内容，确定上述加工后的导出数据的数据类型；获取模块，用于获取上述加工后的导出数据的数据类型与上述导入数据的数据类型之间的对应关系；保存模块，用于根据上述对应关系，将上述第一类型的上述加工后的导出数据保存为上述第二类型的上述导入数据。

进一步地，上述装置还包括：第二保存单元，用于在将上述加工后的导出数据保存为导入数据的同时，将上述导入数据保存在导入数据文件中，其中，上述导入数据文件为指定文件格式的文件，上述指定文件格式的文件可被上述目标数据库加载。

进一步地，上述装置还包括：加载单元，用于在将上述导入数据保存在导入数据文件中之后，将保存在上述导入数据文件中的导入数据加载到上述目标数据库中。

进一步地，上述关系型数据库包括sql server数据库。

进一步地，上述目标数据库包括Impala目标数据库。

在本发明实施例中，采用一种数据处理方法，包括：在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中，达到了提升数据从关系型数据库导入目标数据库的处理效率的目的，从而实现了提高工作效率，节约时间的技术效果，进而解决了相关技术中数据处理效率低下的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的数据处理方法的流程图；

图2是根据本发明实施例的一种可选的数据处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种数据处理方法，如图1所示，该方法包括如下步骤：

步骤S102，在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；

步骤S104，将加工后的导出数据保存为导入数据，其中，导入数据的数据类型为第二类型，第二类型不同于第一类型，上述导入数据用于导入目标数据库中。

也即，为了提高数据处理的效率，在将数据从关系型数据库导出的过程中，且在将数据导入目标数据库之前，要对导出的数据进行加工处理，对加工后的数据进行类型转化，转化为目标数据库(如impala)可识别的数据类型，在对数据进行加工和转化后，将数据类型转化后的导出数据保存为导入数据。

通过上述实施方式，采用一种数据处理方法，包括：在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，上述加工后的导出数据的数据类型为第一类型；将上述加工后的导出数据保存为导入数据，其中，上述导入数据的数据类型为第二类型，上述第二类型不同于上述第一类型，上述导入数据用于导入上述目标数据库中，达到了提升数据从关系型数据库导入目标数据库的处理效率的目的，从而实现了提高工作效率，节约时间的技术效果，进而解决了相关技术中数据处理效率低下的技术问题。

可选地，将加工后的导出数据保存为导入数据包括：读取加工后的导出数据；根据读取的加工后的导出数据的数据内容，确定加工后的导出数据的数据类型；获取加工后的导出数据的数据类型与导入数据的数据类型之间的对应关系；根据对应关系，将第一类型的加工后的导出数据保存为第二类型的导入数据。

也即，将加工后的导出数据保存为导入数据的方法可以是先读取经加工后的导出数据，得到经读取后的该导出数据的数据内容，根据该读取后的数据内容，可以确定经加工后的导出数据的数据类型，为了能够将导出数据保存为导入数据，还需要获取与导出数据的数据类型相对应的导入数据的数据类型。其中，对应关系可以是不同数据之间相互映射的关系，可以是一种类型的导出数据与某一种数据类型一一对应的关系，也可以是多种类型的导出数据对应某一种数据类型，因此，可以根据映射的关系进行查找，将第一类型的加工后的导出数据保存为第二类型的导入数据。

可选地，在将加工后的导出数据保存为导入数据的同时，上述方法还包括：将导入数据保存在导入数据文件中，其中，导入数据文件为指定文件格式的文件，指定文件格式的文件可被目标数据库加载。

其中，该导入数据文件是目标数据库(如impala)可识别的文件格式如parquet文件格式。在目标数据库(如impala)中可以通过load data(load data过程就是文件的拷贝过程，花费的性能几乎可以忽略)的方式加载到目标数据库(如impala)中即可。也即，在将导入数据保存在导入数据文件中之后，可以将保存在所导入数据文件中的导入数据加载到目标数据库中。

通过本方法，将数据类型转化过程和数据加工过程整合在一起，这样数据类型转化不再需要重复读取数据，而且比仅进行数据加工没有明显性能降低；从关系型数据库导出数据加工后的结果保存的文件类型为目标数据库指定的parquet文件类型，不再需要进行文件格式的转化；通过整合数据处理过程和文件保存格式，优化了数据从关系型数据库处理到目标数据库的流程，大大节约了时间，提高了工作效率。

可选地，关系型数据库包括sql server数据库。可选地，目标数据库包括Impala目标数据库。本发明通过对数据处理过程的有效改进和文件保存格式的优化，合理的提升了数据从关系型数据库(sql server)到Impala的处理效率。采用现有技术方案时，导入百万级的数据需要十分钟以上，通过本方法的改进，导入百万级数据仅需要1-2分钟，效率提升明显。

实施例2

根据本发明的另一个方面，还提供了一种数据处理装置，图2是根据本发明实施例的一种可选的数据处理装置的示意图，如图2所示，包括：加工单元20，用于在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，加工后的导出数据的数据类型为第一类型；第一保存单元40，用于将加工后的导出数据保存为导入数据，其中，导入数据的数据类型为第二类型，第二类型不同于第一类型，导入数据用于导入目标数据库中。

通过实施方式，达到了提升数据从关系型数据库导入目标数据库的处理效率的目的，从而实现了提高工作效率，节约时间的技术效果，进而解决了相关技术中数据处理效率低下的技术问题。

可选地，第一保存单元包括：读取模块，用于读取加工后的导出数据；确定模块，用于根据读取的加工后的导出数据的数据内容，确定加工后的导出数据的数据类型；获取模块，用于获取加工后的导出数据的数据类型与导入数据的数据类型之间的对应关系；保存模块，用于根据对应关系，将第一类型的加工后的导出数据保存为第二类型的导入数据。

可选地，装置还包括：第二保存单元，用于在将加工后的导出数据保存为导入数据的同时，将导入数据保存在导入数据文件中，其中，导入数据文件为指定文件格式的文件，指定文件格式的文件可被目标数据库加载。

可选地，装置还包括：加载单元，用于在将导入数据保存在导入数据文件中之后，将保存在导入数据文件中的导入数据加载到目标数据库中。

可选地，关系型数据库包括sql server数据库。

可选地，目标数据库包括Impala目标数据库。

需要说明的是，实施例2中装置部分的各实施方式与实施例1中方法部分各实施方式是相对应的，详细参见实施例1中的解释，在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，所述加工后的导出数据的数据类型为第一类型；

将所述加工后的导出数据保存为导入数据，其中，所述导入数据的数据类型为第二类型，所述第二类型不同于所述第一类型，所述导入数据用于导入所述目标数据库中。

2.根据权利要求1所述的方法，其特征在于，将所述加工后的导出数据保存为导入数据包括：

读取所述加工后的导出数据；

根据读取的所述加工后的导出数据的数据内容，确定所述加工后的导出数据的数据类型；

获取所述加工后的导出数据的数据类型与所述导入数据的数据类型之间的对应关系；

根据所述对应关系，将所述第一类型的所述加工后的导出数据保存为所述第二类型的所述导入数据。

3.根据权利要求1或2所述的方法，其特征在于，在将所述加工后的导出数据保存为导入数据的同时，所述方法还包括：

将所述导入数据保存在导入数据文件中，其中，所述导入数据文件为指定文件格式的文件，所述指定文件格式的文件可被所述目标数据库加载。

4.根据权利要求3所述的方法，其特征在于，在将所述导入数据保存在导入数据文件中之后，所述方法还包括：

将保存在所述导入数据文件中的导入数据加载到所述目标数据库中。

5.根据权利要求1中所述的方法，其特征在于，所述关系型数据库包括sql server数据库。

6.根据权利要求1所述的方法，其特征在于，所述目标数据库包括Impa la目标数据库。

7.一种数据处理装置，其特征在于，包括：

加工单元，用于在将数据从关系型数据库导出的过程中且在将数据导入目标数据库之前，对导出的数据进行加工处理，得到加工后的导出数据，其中，所述加工后的导出数据的数据类型为第一类型；

第一保存单元，用于将所述加工后的导出数据保存为导入数据，其中，所述导入数据的数据类型为第二类型，所述第二类型不同于所述第一类型，所述导入数据用于导入所述目标数据库中。

8.根据权利要求7所述的装置，其特征在于，所述第一保存单元包括：

读取模块，用于读取所述加工后的导出数据；

确定模块，用于根据读取的所述加工后的导出数据的数据内容，确定所述加工后的导出数据的数据类型；

获取模块，用于获取所述加工后的导出数据的数据类型与所述导入数据的数据类型之间的对应关系；

保存模块，用于根据所述对应关系，将所述第一类型的所述加工后的导出数据保存为所述第二类型的所述导入数据。

9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

第二保存单元，用于在将所述加工后的导出数据保存为导入数据的同时，将所述导入数据保存在导入数据文件中，其中，所述导入数据文件为指定文件格式的文件，所述指定文件格式的文件可被所述目标数据库加载。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

加载单元，用于在将所述导入数据保存在导入数据文件中之后，将保存在所述导入数据文件中的导入数据加载到所述目标数据库中。