CN106484740A - 一种数据表连接方法及装置 - Google Patents

Abstract

本发明公开了一种数据表连接方法及装置，涉及数据库领域，解决了传统方式对跨数据库的数据表进行连接时操作复杂且资源开销过大的问题。本发明的方法包括：获取多个待查询数据表所在数据库的访问地址和访问权限；根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自对应的内存数据集；分别将所述各自的内存数据集进行转化，得到所述多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

Description

一种数据表连接方法及装置

技术领域

本发明涉及数据库领域，特别是涉及一种数据表连接方法及装置。

背景技术

数据库是按照数据结构对数据进行组织、存储和管理的仓库，随着日常生活中产生的数据量越来越大，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统，多种类型的数据库在各个方面都得到广泛的应用。通常在数据库中存储有多张不同的数据表，这些数据表的属性各不相同，当需要跨数据表查询数据时，需要对数据表进行连接查询(Join)，在同一数据库中，Join操作无需任何其他开销即可完成，但是在不同数据库中跨数据表查询数据时，由于数据库的类型不同，因此跨数据库的数据表通常不能直接进行连接。

传统的对不同数据库之间的数据表进行连接的方式：主要是通过建立第三方数据库，并分别将不同数据库中的数据表移植到第三方数据库中，然后在第三方数据库中进行数据表连接操作。

现有技术的缺陷为：由于需要建立第三方数据库，因此耗费一定的资源，并且当多种类型数据表在第三方数据库进行连接时，往往还需要进行结构改，这样一来还会造成对数据库的误操作。

发明内容

有鉴于此，本发明提出了一种数据表连接方法及装置，主要目的在于解决传统方式对数据表进行连接时操作复杂且资源开销过大的问题。

依据本发明的第一个方面，本发明提出了一种数据表连接方法，包括：

获取多个待查询数据表所在数据库的访问地址和访问权限；

根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自对应的内存数据集；

分别将所述各自对应的内存数据集进行转化，得到所述多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；

将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

依据本发明的第二个方面，本发明提出了一种数据表连接装置，包括：

获取单元，用于获取多个待查询数据表所在数据库的访问地址和访问权限；

创建单元，用于根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自的内存数据集；

转化单元，用于分别将所述各自对应的内存数据集进行转化，得到多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；

连接单元，用于将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

借由上述技术方案，本发明实施例提供的一种数据表连接方法及装置，能够根据获取的不同源数据库的访问地址和访问权限读取不同源或同源数据库中的待查询数据表，并创建各自的内存数据集，分别将各自的内存数据集转化为各自对应的表征数据集,并将各自对应的表征数据集注册为临时表后进行连接，得到临时复合数据表。而现有技术中对跨数据库数据表进行连接时需要更改源数据库的结构或者需要建立第三方数据库，不仅操作复杂而且资源开销过大，因此与现有技术中的缺陷相比，本发明实施例通过创建临时表的方式对跨数据库的数据表进行连接，减少了改动源数据库结构可能带来的误操作同时减少了建立第三方数据库造成的资源开销。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据表连接方法的流程图；

图2示出了本发明实施例提供的一种数据表连接装置的组成框图；

图3示出了本发明实施例提供的一种数据表连接装置的组成框图。

具体实施方式

下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在日常使用数据库的过程中，常常会遇到在数据库之间查询数据的情况，例如，由于数据库的类型不同，因此跨数据库的数据表通常不能直接进行连接查询。而现有技术中对跨数据库数据表进行连接查询时需要更改源数据库的结构或者需要建立第三方数据库，不仅操作复杂而且资源开销过大。

为了解决上述问题，本发明实施例提供了一种数据表连接方法，如图1所示，该方法包括：

101、获取多个待查询数据表所在数据库的访问地址和访问权限。

其中，多个待查询数据表可以在同源数据库或不同源数据库中。

具体而言，要查询数据库中的数据表首先需要获取数据库的访问地址和访问权限，此处为了便于理解本发明，在后续实施例中均以步骤101中需要获取不同源数据库的访问地址和访问权限为例进行说明。

102、根据访问地址和访问权限，创建多个待查询数据表各自对应的内存数据集。

具体而言，例如当获取到不同源数据库的访问地址和访问权限后，可以读取不同源数据库中的待查询数据表，由于不同源数据库的类型不同，其各自的数据表的类型也不同，无法进行连接查询。因此本发明实施例的步骤102可以读取的不同源数据库中的待查询数据表，创建出多个待查询数据表各自对应的内存数据集。

以其中一个内存数据集为例，在访问该内存数据集时，指针只会指向与操作相关的部分，例如存在一个面向列的数据结构，其中一个实现为Int的数组，另一个实现为Float的数组，如果只需要访问Int字段，那么该内存数据集的指针可以只访问Int数组，避免了对整个数据结构的扫描。

103、分别将各自对应的内存数据集进行转化，得到多个待查询数据表各自对应的表征数据集。

其中，根据不应用需求，该表征数据集可以二维表数据集或多维表数据集。

例如，当得到不同源数据库中的待查询数据表对应的内存数据集后，本发明实施例的步骤103需要将待查询数据表各自对应的内存数据集转化为各自对应的二维表数据集，该二维表数据集与上述内存数据集的主要区别在于，该二维表数据集的每一列都带有名称和类型，从而能够得知所存数据元素的具体内部结构。

104、将各自对应的表征数据集进行连接，以得到临时复合数据表。

具体而言，可以分别将各自对应的二维表数据集或多维表数据集注册为临时表并进行连接，得到临时复合数据表。其中，可以将临时表以内表连接、相邻表连接和/或全表连接等方式进行连接。进一步地，内表连接可以是指待查询数据的特征值内在关联性选择连接；相邻表连可以是指当前指针所处位置的数据表为中心(确定出中心数据表)，在该中心表左右相邻表进行连接；全表连接可以是指以某一个或多个事件所形成的全部数据表进行多关连性连接。

例如，当步骤103得到由行(row)对象以及描述行对象中每列数据类型的架构组成的二维表数据集后，本发明实施例的步骤104需要分别将各自对应的二维表数据集注册为临时表，并将各自对应的临时表进行连接得到临时复合数据表，然后通过结构化查询语言从临时复合数据表中进行数据查询。

本发明实施例提供的一种数据表连接方法，能够根据获取的同源或不同源数据库的访问地址和访问权限读取不同源数据库中的待查询数据表，并创建各自的内存数据集，分别将各自的内存数据集转化为各自对应的二维表数据集或多维表数据集(即表征数据集),并将各自对应的表征数据集注册为临时表后进行连接，得到临时复合数据表。而现有技术中对跨数据库数据表进行连接时需要更改源数据库的结构或者需要建立第三方数据库，不仅操作复杂而且资源开销过大，因此与现有技术中的缺陷相比，本发明实施例通过创建临时表的方式对跨数据库的数据表进行连接，减少了改动源数据库结构可能带来的误操作同时减少了建立第三方数据库造成的资源开销。

为了更好的对上述图1所示的方法进行理解，本发明实施例将以获取不同源数据库的待查询表为例，针对图1的各步骤进行详细说明。

在获取不同源数据库的访问地址和访问权限时，首先要建立Spark程序的入口函数SparkContext和SparkSQL的入口函数SQLContext，SparkContext负责和整个数据集群的交互，在SQLContext中可以使用特定语法对定义的待查询数据表进行查询。

在根据不同源数据库的访问地址和访问权限读取不同源数据库中的待查询数据表时，不一定需要一次将整个数据表读入，在本发明实施例中可以选择性读取不同源数据库中的待查询数据表中需要的行和/或列，在具体的读取需要的行和/或列时，可以调用select()函数选择性读取待查询数据表中需要的行和/或列，然后根据读取的各个待查询数据表中的行和/或列创建各自的内存数据集。

由于创建的内存数据集是将待查询数据表中的数据存储在内存中，从而提供了数据读取的低延迟性。作为一种可选的实施方式，在本发明实施例中可以根据读取的不同源数据库中的待查询数据表，创建各自对应的弹性分布式数据集(Resilient Distributed Datasets，简称RDD)。具体创建的过程中可以调用JdbcRDD()函数创建相应的弹性分布式数据集。

通过上述方式得到不同源数据库中待查询数据表对应的内存数据集(或弹性分布式数据集)，它们作为数据结构，在本质上是一个只读的分区记录集合。通常一个内存数据集(或弹性分布式数据集)可以包含多个分区，每个分区可以看作内存中一个独立的数据集合。但是由于内存数据集(或弹性分布式数据集)无法得知所存数据元素的具体内部结构，因此需要对得到的内存数据集(或弹性分布式数据集)进行转化，得到类似于传统数据库中的二维表格，即将内存数据集(或弹性分布式数据集)转化为二维表数据集，该二维表数据集的每一列都带有名称和类型。作为一种可选的实施方式，在本发明实施例中可以将内存数据集(或弹性分布式数据集)转化为数据框(DataFrame，简称DF)，从而得以洞察更多的结构信息，对藏于数据框DF背后的数据源以及作用于数据框DF之上的变换进行针对性优化，达到大幅提升数据查询效率的目的。

具体的，可以使用SQLContext从内存数据集(或弹性分布式数据集)中创建数据框DF，其中可以使用Scala语言、Java语言或Python语言创建数据框DF，对于Java语言，需要创建一个JavaBean并将数据映射到它上面，然后使用SQLContext的createDataFrame方法，从JavaBean和数据上创建一个DF；对于Python语言则需要用到SQLContext的inferSchema方法。

当得到不同源数据库中待查询数据表对应的数据框DF后，为了方便对待查询数据表对应的数据框DF进行连接，同时使用结构化查询语言SQL查询数据，因此本发明实施例提供了一种可选的实施方式，将不同源数据库中待查询数据表对应的二维表数据集(DF)分别注册为临时表，并将各自的临时表进行连接，得到临时复合数据表，该临时复合数据表可以使用SQL语句进行查询。具体的在注册临时表时，可以调用registerTempTable()方法将二维表数据集(DF)注册为临时表。具体的在将临时表进行连接时，可以进行内连接、左外连接、右外连接或全连接。

例如，若调用registerTempTable()方法将二维表数据集DF-A、DF-B注册为临时表tempTable-A、tempTable-B，那么将tempTable-A、tempTable-B通过连接字段attr进行内连接时可以使用sqlc.sql(“select*from tempTable-A inner join tempTable-B ontempTable-A.attr＝tempTable-B.attr”)即可完成两个临时表的连接，得到临时复合数据表。

通过上述方式分别将不同源数据库各自对应的二维表数据集注册为临时表并进行连接，得到临时复合数据表之后，就可以使用结构化查询语言SQL在临时复合数据表中进行数据查询,将查询结果转化为对应的二维表数据集；随后根据需要对查询结果进行处理，若需要保存，则将查询结果按指定格式保存，常用的保存方式包括：SaveAsParquetFile()、saveAsTextFile()、saveAsTable()，若不需要保存，则删除查询结果。

本发明实施例通过将源数据库中的数据表转化为临时表的形式，消除了不同数据库之间的差异，将不同源数据库中数据表对应的临时表进行连接后得到的结果集也是一张临时表且常驻内存，保证了后续在此结果集上查询数据的效率大大提高，同时在退出查询程序后作为结果集的临时表也自动消失。

进一步的，作为对上述图1所示方法的应用，本发明实施例提供了一种数据表连接装置，如图2所示，该装置包括：获取单元21、创建单元22、转化单元23及连接单元24，其中，

获取单元21，用于获取多个待查询数据表所在数据库的访问地址和访问权限；

创建单元22，用于根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自的内存数据集；

转化单元23，用于分别将所述各自对应的内存数据集进行转化，得到多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；

连接单元24，用于将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

进一步的，如图3所示，创建单元22包括：

读取模块221，用于根据所述访问地址和所述访问权限，读取数据库中待查询数据表；

确定模块222，用于确定所述多个待查询数据表分别对应的行和/或列；

创建模块223，用于创建所述多个待查询数据表各自对应的内存数据集。

进一步的，创建单元22中的读取模块221，用于根据访问地址和访问权限读取不同源数据库中的待查询数据表；创建模块223，用于根据不同源数据库中的待查询数据表创建各自对应的弹性分布式数据集。

进一步的，连接单元24包括：

注册模块241，用于分别将所述各自对应的表征数据集注册为临时表；

连接模块242，用于将所述临时表进行内表连接、相邻表连接或全表连接。

进一步的，该装置还包括：

查询单元25，用于使用结构化查询语言在临时复合数据表中进行数据查询,将查询结果转化为对应的表征数据集；

处理单元26，用于判断所述查询结果是否需要保存，若需要保存，则将所述查询结果按指定格式保存，若不需要保存，则删除所述查询结果。

本发明实施例提供的一种数据表连接装置，能够根据获取的同源或不同源数据库的访问地址和访问权限读取同源或不同源数据库中的待查询数据表，并创建各自的内存数据集，分别将各自的内存数据集转化为各自对应的表征数据集,并将各自对应的表征数据集注册为临时表后进行连接，得到临时复合数据表。而现有技术中对跨数据库数据表进行连接时需要更改源数据库的结构或者需要建立第三方数据库，不仅操作复杂而且资源开销过大，因此与现有技术中的缺陷相比，本发明实施例通过创建临时表的方式对跨数据库的数据表进行连接，减少了改动源数据库结构可能带来的误操作同时减少了建立第三方数据库造成的资源开销。

此外，本发明实施例通过将源数据库中的数据表转化为临时表的形式，消除了数据库之间的差异，将数据库中数据表对应的临时表进行连接后得到的结果集也是一张临时表且常驻内存，保证了后续在此结果集上查询数据的效率大大提高，同时在退出查询程序后作为结果集的临时表也自动消失。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如确定网站内链接等级的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据表连接方法，其特征在于，所述方法包括：

获取多个待查询数据表所在数据库的访问地址和访问权限；

根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自对应的内存数据集；

分别将所述各自对应的内存数据集进行转化，得到所述多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；

将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

2.根据权利要求1所述的方法，其特征在于，所述根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自对应的内存数据集，包括：

根据所述访问地址和所述访问权限，读取数据库中待查询数据表；

确定所述多个待查询数据表对应的行和/或列；以及，

创建所述多个待查询数据表各自对应的内存数据集。

3.根据权利要求1所述的方法，其特征在于，所述根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自对应的内存数据集，包括：

根据所述访问地址和所述访问权限，确定不同源数据库中的待查询数据表；以及，

创建各自对应的弹性分布式数据集。

4.根据权利要求1所述的方法，其特征在于，所述将所述各自对应的表征数据集进行连接，以得到临时复合数据表包括：

分别将所述各自对应的表征数据集注册为临时表；

将所述临时表进行内表连接、相邻表连接和/或全表连接。

5.根据权利要求1所述的方法，其特征在于，在将所述各自对应的表征数据集进行连接，以得到临时复合数据表之后，所述方法还包括：

使用结构化查询语言在所述临时复合数据表中进行数据查询,将查询结果转化为对应的表征数据集；

判断所述查询结果是否需要保存；

若需要保存，则将所述查询结果按指定格式保存；

若不需要保存，则删除所述查询结果。

6.一种数据表连接装置，其特征在于，所述装置包括：

获取单元，用于获取多个待查询数据表所在数据库的访问地址和访问权限；

创建单元，用于根据所述访问地址和所述访问权限，创建所述多个待查询数据表各自的内存数据集；

转化单元，用于分别将所述各自对应的内存数据集进行转化，得到多个待查询数据表各自对应的表征数据集；其中，所述表征数据集为二维表数据集或多维表数据集；

连接单元，用于将所述各自对应的表征数据集进行连接，以得到临时复合数据表。

7.根据权利要求6所述的装置，其特征在于，所述创建单元包括：

读取模块，用于根据所述访问地址和所述访问权限，读取数据库中待查询数据表；

确定模块，用于确定所述多个待查询数据表分别对应的行和/或列；

创建模块，用于创建所述多个待查询数据表各自对应的内存数据集。

8.根据权利要求6所述的装置，其特征在于，所述创建单元包括：

读取模块，用于根据所述访问地址和所述访问权限读取不同源数据库中的待查询数据表；

创建模块，用于根据不同源数据库中的待查询数据表创建各自对应的弹性分布式数据集。

9.根据权利要求6所述的装置，其特征在于，所述连接单元包括：

注册模块，用于分别将所述各自对应的表征数据集注册为临时表；

连接模块，用于将所述临时表进行内表连接、相邻表连接或全表连接。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

查询单元，用于使用结构化查询语言在所述临时复合数据表中进行数据查询,将查询结果转化为对应的表征数据集；

处理单元，用于判断所述查询结果是否需要保存，若需要保存，则将所述查询结果按指定格式保存，若不需要保存，则删除所述查询结果。