CN109684399A - 数据库访问方法、数据库访问装置和数据分析平台 - Google Patents

Abstract

本申请提供的数据库访问方法、数据库访问装置和数据分析平台，涉及数据库访问技术领域。其中，数据库访问方法包括：生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的关系型数据库；对数据分析平台的结构化数据处理组件进行修改；在需要对关系型数据库进行访问时，通过修改后的结构化数据处理组件创建关系型数据库的映射关系，并通过所述访问插件对所述关系型数据库进行访问。通过上述方法，可以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题。

Description

数据库访问方法、数据库访问装置和数据分析平台

技术领域

本申请涉及数据库访问技术领域，具体而言，涉及一种数据库访问方法、数据库访问装置和数据分析平台。

背景技术

Spark作为一个现在流行的计算引擎，以其高性能批处理、可扩展性等特性被很多厂商使用。但是，Sparksql THRIFT本身是不支持对关系型数据库的数据进行访问分析，如果sparksql需要对关系型数据库进行操作的话，需要编写自定义的代码，从而导致Spark的维护成本很高。

因此，提供一种可以避免在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题的技术方案，是亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据库访问方法、数据库访问装置和数据分析平台，以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据库访问方法，应用于数据分析平台，以对关系型数据库进行访问，所述方法包括：

生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的关系型数据库；

对所述数据分析平台的结构化数据处理组件进行修改；

在需要对关系型数据库进行访问时，通过修改后的结构化数据处理组件创建关系型数据库的映射关系，并通过所述访问插件对所述关系型数据库进行访问。

在本申请实施例较佳的选择中，在上述数据库访问方法中，所述生成一访问插件的步骤，包括：

获取一数据仓库工具；

对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台的一个访问插件。

在本申请实施例较佳的选择中，在上述数据库访问方法中，所述获取一数据仓库工具的步骤，具体为：获取hive2.1.0的源码；

所述对所述数据仓库工具进行修改的步骤，具体为：对所述hive2.1.0的源码中的pom文件进行修改。

在本申请实施例较佳的选择中，在上述数据库访问方法中，所述生成一访问插件的步骤，还包括：

获取需要访问的关系型数据库的类型；

基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库适配的访问插件。

在本申请实施例较佳的选择中，在上述数据库访问方法中，需要访问的关系型数据库为oracle，所述基于获取的类型对所述数据仓库工具进行添加处理的步骤，具体为：

在所述数据仓库工具的DatabaseAccessorFactor工厂类的getAccessor方法里面添加对oracle的hangdle。

在本申请实施例较佳的选择中，在上述数据库访问方法中，所述结构化数据处理组件为SparkSql，所述对所述数据分析平台的结构化数据处理组件进行修改的步骤，具体为：

修改SparkSql的源码以能够创建关系型数据库的映射关系，且在SparkSql的SparkSqlPaser.scala中增加visitStorageHandler以对StorageHandler进行操作。

本申请实施例还提供了一种数据库访问装置，应用于数据分析平台，以对关系型数据库进行访问，所述装置包括：

访问插件生成模块，用于生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的关系型数据库；

处理组件修改模块，用于对所述数据分析平台的结构化数据处理组件进行修改；

数据库访问模块，用于在需要对关系型数据库进行访问时，通过修改后的结构化数据处理组件创建关系型数据库的映射关系，并通过所述访问插件对所述关系型数据库进行访问。

在本申请实施例较佳的选择中，在上述数据库访问装置中，所述访问插件生成模块包括：

工具获取子模块，用于获取一数据仓库工具；

工具修改子模块，用于对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台的一个访问插件。

在本申请实施例较佳的选择中，在上述数据库访问装置中，所述访问插件生成模块还包括：

类型获取子模块，用于获取需要访问的关系型数据库的类型；

添加处理子模块，用于基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库适配的访问插件。

在上述基础上，本申请实施例还提供了一种数据分析平台，包括存储器、处理器以及存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序被执行时上述数据库访问方法。

本申请提供的数据库访问方法、数据库访问装置和数据分析平台，通过生成能够适配与数据访问接口连接的关系型数据库的访问插件，并对结构化数据处理组件进行修改以使能够创建关系型数据库的映射关系，从而通过访问插件对关系型数据库进行访问，以改善现有技术中在对关系型数据库进行访问时因需要编写自定义代码而导致存在维护成本高的问题，具有极高的实用价值。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的数据分析平台的应用方框示意图。

图2为本申请实施例提供的数据库访问方法的流程示意图。

图3为图2中步骤S110包括的子步骤的流程示意图。

图4为图2中步骤S110包括的其它子步骤的流程示意图。

图5为本申请实施例提供的数据库访问装置包括的功能模块的方框示意图。

图6为本申请实施例提供的访问插件生成模块包括的子功能模块的方框示意图。

图7为本申请实施例提供的访问插件生成模块包括的其它子功能模块的方框示意图。

图标：10-数据分析平台；12-存储器；14-处理器；20-关系型数据库；100-数据库访问装置；110-访问插件生成模块；111-工具获取子模块；112-工具修改子模块；114-类型获取子模块；115-添加处理子模块；130-处理组件修改模块；150-数据库访问模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。

如图1所示，本申请实施例提供了一种数据分析平台10，可以与关系型数据库20连接。其中，该数据分析平台10可以包括存储器12和处理器14和数据库访问装置100。

所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据库访问装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述数据库访问装置100所包括的软件功能模块及计算机程序等，以实现数据库访问方法。

其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip,SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图1所示的结构仅为示意，所述数据分析平台10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

可选地，所述数据分析平台10的类型不受限制，例如，可以是服务器，也可以是其它的具备数据处理能力的电子设备。

结合图2，本申请实施例还提供一种可应用于上述数据分析平台10的数据库访问方法。其中，所述数据库访问方法有关的流程所定义的方法步骤可以由所述数据分析平台10实现。下面将对图2所示的具体流程进行详细阐述。

步骤S110，生成一访问插件。

在本实施例，所述数据分析平台10可以是Spark，且若该数据分析平台10需要对关系型数据库20进行访问，进而完成相应的分析处理，就需要编写对应的自定义代码。因此，为了避免进行自定义代码的编写而导致维护成本高的问题，可以生成一访问插件，且访问插件能够适配与所述数据分析平台10的数据访问接口(JDBC)连接的关系型数据库20。

步骤S130，对所述数据分析平台10的结构化数据处理组件进行修改。

在本实施例中，在生成所述访问插件之后，为实现对所述关系型数据库20进行访问，还需要对所述数据分析平台10的结构化数据处理组件(SparkSql)进行修改处理，以使修改后的结构化处理组件能够通过创建外表的方式进行关系型数据库20的映射关系的创建。

步骤S150，通过修改后的结构化数据处理组件创建关系型数据库20的映射关系，并通过所述访问插件对所述关系型数据库20进行访问。

在本实施例中，在通过步骤S110和步骤S150完成访问插件的生成和结构化数据处理组件的修改之后，若需要对关系型数据库20进行修改，可以执行步骤S150，以通过修改后的结构化数据处理组件创建关系型数据库20的映射关系，并基于该映射关系通过所述访问插件和所述数据访问接口对所述关系型数据库20进行访问，从而实现数据的分析处理。

可选地，执行步骤S110生成所述访问插件的具体方式不受限制，可以根据实际应用需求进行选择。经发明人长期的研究，Spark能够与作为数据源的hive进行对接，因此，可以基于hive生成对应的访问插件。并且，考虑到所述访问插件需要独立出来，因此，在本实施例中，步骤S110可以包括步骤S111和步骤S112，以实现打包处理，具体内容如下所述。

步骤S111，获取一数据仓库工具。

在本实施例中，可以获取一基于Hadoop的数据仓库工具(hive)。具体地，需要获取的是指hive源码中的hive-jdbc-handler。

其中，hive的具体版本不受限制，可以根据实际应用需求进行选择，例如，在一种可行的示例中，可以是hive2.1.0。

步骤S112，对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台10的一个访问插件。

在本实施例中，通过步骤S111获取到所述数据仓库工具之后，可以对该数据仓库进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台10的一个访问插件，也就是说，修改后的数据仓库工具可以打包处理。

在一种具体的应用示例中，对所述数据仓库工具进行修改的方式可以为，对所述hive2.1.0的源码中的pom文件进行修改。

并且，为了使所述访问插件能够适配与所述数据分析平台10的数据访问接口(JDBC)连接的关系型数据库20，在本实施例中，步骤S110还可以包括步骤S114和步骤S115，具体内容如下所述。

步骤S114，获取需要访问的关系型数据库20的类型。

步骤S115，基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库20适配的访问插件。

在本实施例中，考虑到需要访问的关系型数据库20的类型不同，进行处理的方式也不同。因此，在本实施例中，可以先获取需要访问的关系型数据库20的类型，然后，基于该类型对所述数据仓库工具进行相应的添加处理，以得到能够与对应的关系数据库适配的访问插件。

其中，所述关系型数据库20的类型可以包括，但不限于oracle、mysql、mapp等。在本实施例中，针对oracle可以通过以下步骤进行添加处理：在所述数据仓库工具的DatabaseAccessorFactor工厂类的getAccessor方法里面添加对oracle的hangdle。

详细地，可以通过以下执行以下代码实现：

其中，为实现上述的添加处理，还需要在所述数据仓库工具中添加OracleDatabaseAccessor类作为oracle的处理类。具体地，可以通过执行以下代码实现：

可选地，执行步骤S130对所述数据分析平台10的结构化数据处理组件进行修改的具体方式不受限制，可以根据实际应用需求进行选择。例如，在一种具体的应用示例中，在所述结构化数据处理组件为SparkSql时，可以通过以下步骤进行修改：修改SparkSql的源码以能够创建关系型数据库20的映射关系，且在SparkSql的SparkSqlPaser.scala中增加visitStorageHandler以对StorageHandler进行操作。

其中，修改SparkSql的源码是为了进行语法解析时，能够对STORED BY的语法进行识别，具体识别的是org.apache.hive.storage.jdbc.JdbcStorageHandler的StorageHandler。

并且，增加visitStorageHandler可以通过执行以下代码实现：

可选地，步骤S150创建关系型数据库20的映射关系的具体方式不受限制，可以根据实际应用需求进行选择。在本实施例中，在一种可行的示例中，可以通过执行以下代码完成映射关系的创建：

CREATE EXTERNAL TABLE mysqlSparkSqlEx(

id int,name string,remark string

)

STORED BY'org.apache.hive.storage.jdbc.JdbcStorageHandler'

TBLPROPERTIES(

"hive.sql.database.type"＝"MYSQL",

"hive.sql.jdbc.url"＝"jdbc:mysql://ip:3306/xxx？useUnicode＝true&characterEncoding＝UTF-8&allow MultiQueries＝true",

"hive.sql.jdbc.driver"＝"com.mysql.jdbc.Driver",

"hive.sql.query"＝"SELECTId,Name,Remark FROM xxx.xxx",

"hive.sql.column.mapping"＝"id＝Id,msg＝Name,remark＝Remark",

"hive.sql.dbcp.username"＝"usrname",

"hive.sql.dbcp.password"＝"password",

"hive.sql.dbcp.maxActive"＝"1"

)

结合图5，本申请实施例还提供一种可应用于上述数据分析平台10的数据库访问装置100。其中，所述数据库访问装置100可以包括访问插件生成模块110、处理组件修改模块130和数据库访问模块150。

所述访问插件生成模块110，用于生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的多种关系型数据库20。在本实施例中，所述访问插件生成模块110可用于执行图2所示的步骤S110，关于所述访问插件生成模块110的相关内容可以参照前文对步骤S110的描述。

所述处理组件修改模块130，用于对所述数据分析平台10的结构化数据处理组件进行修改。在本实施例中，所述处理组件修改模块130可用于执行图2所示的步骤S130，关于所述处理组件修改模块130的相关内容可以参照前文对步骤S130的描述。

所述数据库访问模块150，用于在需要对关系型数据库20进行访问时，通过修改后的结构化数据处理组件创建关系型数据库20的映射关系，并通过所述访问插件对所述关系型数据库20进行访问。在本实施例中，所述数据库访问模块150可用于执行图2所示的步骤S150，关于所述数据库访问模块150的相关内容可以参照前文对步骤S150的描述。

结合图6，在本实施例中，所述访问插件生成模块110可以包括工具获取子模块111和工具修改子模块112。

所述工具获取子模块111，用于获取一数据仓库工具。在本实施例中，所述工具获取子模块111可用于执行图3所示的步骤S111，关于所述工具获取子模块111的相关内容可以参照前文对步骤S111的描述。

所述工具修改子模块112，用于对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台10的一个访问插件。在本实施例中，所述工具修改子模块112可用于执行图3所示的步骤S112，关于所述工具修改子模块112的相关内容可以参照前文对步骤S112的描述。

结合图7，在本实施例中，所述访问插件生成模块110还可以包括类型获取子模块114和添加处理子模块115。

所述类型获取子模块114，用于获取需要访问的关系型数据库20的类型。在本实施例中，所述类型获取子模块114可用于执行图4所示的步骤S114，关于所述类型获取子模块114的相关内容可以参照前文对步骤S114的描述。

所述添加处理子模块115，用于基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库20适配的访问插件。在本实施例中，所述添加处理子模块115可用于执行图4所示的步骤S115，关于所述添加处理子模块115的相关内容可以参照前文对步骤S115的描述。

综上所述，本申请提供的数据库访问方法、数据库访问装置100和数据分析平台10，通过生成能够适配与数据访问接口连接的关系型数据库20的访问插件，并对结构化数据处理组件进行修改以使能够创建关系型数据库20的映射关系，从而通过访问插件对关系型数据库20进行访问，以改善现有技术中在对关系型数据库20进行访问时因需要编写自定义代码而导致存在维护成本高的问题，具有极高的实用价值。

在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据库访问方法，其特征在于，应用于数据分析平台，以对关系型数据库进行访问，所述方法包括：

生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的关系型数据库；

对所述数据分析平台的结构化数据处理组件进行修改；

在需要对关系型数据库进行访问时，通过修改后的结构化数据处理组件创建关系型数据库的映射关系，并通过所述访问插件对所述关系型数据库进行访问。

2.根据权利要求1所述的数据库访问方法，其特征在于，所述生成一访问插件的步骤，包括：

获取一数据仓库工具；

对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台的一个访问插件。

3.根据权利要求2所述的数据库访问方法，其特征在于，所述获取一数据仓库工具的步骤，具体为：获取hive2.1.0的源码；

所述对所述数据仓库工具进行修改的步骤，具体为：对所述hive2.1.0的源码中的pom文件进行修改。

4.根据权利要求2所述的数据库访问方法，其特征在于，所述生成一访问插件的步骤，还包括：

获取需要访问的关系型数据库的类型；

基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库适配的访问插件。

5.根据权利要求4所述的数据库访问方法，其特征在于，需要访问的关系型数据库为oracle，所述基于获取的类型对所述数据仓库工具进行添加处理的步骤，具体为：

在所述数据仓库工具的DatabaseAccessorFactor工厂类的getAccessor方法里面添加对oracle的hangdle。

6.根据权利要求1-5任意一项所述的数据库访问方法，其特征在于，所述结构化数据处理组件为SparkSql，所述对所述数据分析平台的结构化数据处理组件进行修改的步骤，具体为：

修改SparkSql的源码以能够创建关系型数据库的映射关系，且在SparkSql的SparkSqlPaser.scala中增加visitStorageHandler以对StorageHandler进行操作。

7.一种数据库访问装置，其特征在于，应用于数据分析平台，以对关系型数据库进行访问，所述装置包括：

访问插件生成模块，用于生成一访问插件，其中，该访问插件能够适配与数据访问接口连接的关系型数据库；

处理组件修改模块，用于对所述数据分析平台的结构化数据处理组件进行修改；

数据库访问模块，用于在需要对关系型数据库进行访问时，通过修改后的结构化数据处理组件创建关系型数据库的映射关系，并通过所述访问插件对所述关系型数据库进行访问。

8.根据权利要求7所述的数据库访问装置，其特征在于，所述访问插件生成模块包括：

工具获取子模块，用于获取一数据仓库工具；

工具修改子模块，用于对所述数据仓库工具进行修改，以使修改后的数据仓库工具能够作为所述数据分析平台的一个访问插件。

9.根据权利要求8所述的数据库访问装置，其特征在于，所述访问插件生成模块还包括：

类型获取子模块，用于获取需要访问的关系型数据库的类型；

添加处理子模块，用于基于获取的类型对所述数据仓库工具进行添加处理，以得到能够与对应的关系型数据库适配的访问插件。

10.一种数据分析平台，其特征在于，包括存储器、处理器以及存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序被执行时实现权利要求1-6任意一项所述的数据库访问方法。