CN106095890A - 一种基于分布式虚拟化数据库服务的数据共享方法 - Google Patents

Abstract

本发明公开了一种基于分布式虚拟化数据库服务的数据共享方法，包括如下步骤：1)搭建各节点数据库；2)搭建虚拟化数据库服务环境，并配置虚拟化数据库服务参数；3)启动服务；4)用户发出访问指令，对用户指令进行解析，并输出结果。本发明的一种基于分布式虚拟化数据库服务的数据共享方法采用了分布式的节点接入和存储模式，支持共享分节点的任意扩展，各共享节点可以由贡献者进行自我维护和管理，可以大大减少传统模式下一次性投资以及技术开发成本等投入；可将不同行业、不同地域之间的数据库接入到一个虚拟化的共享数据库中，以便于更方便的共享利用。

Description

一种基于分布式虚拟化数据库服务的数据共享方法

技术领域

本发明涉及数据共享领域，尤其涉及一种基于分布式虚拟化数据库服务的数据共享方法。

背景技术

当前各个行业各个领域的数据中心建设已经如火如荼的开展了很多年，这些数据在各部门各单位中相对独立，相互之间数据共享较为困难。随着移动互联网和大数据时代的来临，除了跨行业的信息共享外，同行业跨地区的信息共享需求也越来越迫切。传统的数据共享模式，往往通过ETL工具、Socket通信、服务接口等方式来实现数据的交换，从而达到数据共享的目的。但是这些技术存在客观上的缺点：

1、ETL工具一般适用于非实时的基础数据、业务数据的交换，从源业务数据库抽取、清洗、整合到目的数据库，适用于批量数据交换，但是数据需要进行落地存储才能实现，共享范围越大，对数据存储要求就越高，每个共享对象都要一份拷贝，资源极度浪费；

2、Socket通信方式主要针对实时动态数据的获取，通过Socket(TCP/UDP客户端/服务端等)长连接的方式进行实时数据交换，如GPS定位数据等，该方式仅适用于实时动态数据的共享接入，不适合于一般行业的数据资源共享；

3、服务接口方式，一般通过对数据进行Web Service接口封装后提供相应的服务，是针对某个特定的业务需求提供相应的服务接口，接口开发和对接成本大，仅适用于少数据量的数据共享。

发明内容

本发明主要是为了解决针对跨行业、同行业跨地区的各部门间进行数据长效共享的应用场景下，如何通过数据不集中的方式进行共享，同时设计一种易扩展的数据共享模式，减少每次共享所需要投入的技术开发成本和硬件设备成本等，同时让每一个共享者(数据贡献者)自己来管理和维护自己的数据，减少数据共享的障碍，促进数据共享。

为了实现以上目的，本发明提出了一种基于分布式接入为基础的、虚拟化数据库服务的数据共享方法，包括如下步骤：

1)搭建各节点数据库；

2)搭建虚拟化数据库服务环境，并配置虚拟化数据库服务参数；

3)启动服务；

4)用户发出访问指令，对用户指令进行解析，并输出结果。

本发明主要提出的虚拟化数据库服务是将所有共享分节点的数据库关联起来，形成一个虚拟数据库，对外提供虚拟化的数据库共享访问服务。主节点对各共享分节点进行接入管理，共享分节点可随意扩展，无数量限制，保障主节点与共享分节点网络的畅通。

用户可通过虚拟化数据库服务访问多个数据库服务节点，服务可把不同数据库相同的表虚拟成一个完整的表进行查询，解决用户需要同时进行不同数据库分开查询的问题，通过分片表路由规则，可以更有效的提高查询效率。

进一步的，所述步骤1)具体为：每个共享分节点建立本地共享数据库，将待共享数据接入并存储于本地共享数据库，本地共享数据库进行自我维护；基于所有的共享分节点建立一个主控节点；调节参数。

进一步的，所述调节参数具体为：配置分节点的数据库连接，制定定义表规则，制定路由算法及定义算法名称。

进一步的，所述步骤2)具体为：配置虚拟化共享表标签，定义该虚拟化共享表所指定的真实分节点数据库名称，制定虚拟化共享表的路由算法规则，配置共享数据库用户。

本技术方案中每个共享分节点建立本地共享数据库，将自己需要共享的数据进行接入并存储，并进行自我维护；基于所有的共享分节点建立一个主节点，主控节点需要安装JDK1.7以上的系统环境；配置分节点的数据库连接，该配置是作为最底层的配置存在，直接定义了具体的数据库实例、IP、端口、用户和密码；定义表的规则，指定唯一的名称用来区分表的规则，指定表共享拆分使用的列名和使用什么算法，多个规则可以共同使用一个算法；路由算法主要定义了对表的共享所涉及的规则，可以灵活的对表使用不同的算法，同时也可以对同一张表进行相同的算法但采用不同的参数；定义算法的名称，根据不同的场景定制算法的类，比如：固定算法，按日期算法，ASCII码求模范围，字符串子串截取，单月小时，自然月等等。

本技术方案中配置虚拟化共享表的标签，该标签主要定义逻辑表的表名，表名就如同在数据库中执行create table命令名字一样，在标签中定义的名字必须是唯一存在；定义该虚拟化共享表所指定的真实分节点数据库名称，可以定义多个不同的数据库名称；定义虚拟化共享表的路由算法规则，根据场景选择已经定义好的路由算法规则，单个表只能定义一个路由算法；配置共享数据库用户，主要用于定义登陆共享数据库的用户和权限。

本技术方案中配置好相应的设置后启动程序，可以通过windows系统服务的方式进行启动和停止；

本技术方案中用户对虚拟化数据库服务进行访问，访问方式跟mysql数据库的访问方式相同，可以自己编写SQL语句进行数据查询；用户使用语句进行查询时，系统会根据用户的语句进行解析，例如：用户对TABLE_A表进行查询，查询语句为“select*from TABLE_A where ID＝1”，系统根据语句查询的表判断使用的数据库定义和路由算法规则，当TABLE_A定义了DATABASE1，DATABASE2两个数据时，使用的语句会在两个数据库中进行查询，当查询的条件ID为该表路由设置的规则，规则指定ID为1时访问DATABASE1数据库，语句在查询时通过规则内容只查询DATABASE数据库；通过规则内容查询完成后展示出相应的数据内容。

与现有技术相比，本发明的一种基于分布式虚拟化数据库服务的数据共享方法采用了分布式的节点接入和存储模式，支持共享分节点的任意扩展，各共享节点可以由贡献者进行自我维护和管理，可以大大减少传统模式下一次性投资以及技术开发成本等投入，同时让更多的贡献者加入到其中，贡献自己的一份，可以得到所有其他贡献者的N份。可将不同行业、不同地域之间的数据库接入到一个虚拟化的共享数据库中，以便于更方便的共享利用。具体的，每个共享节点把自己需要进行共享的数据库配置到本地数据库服务中，接入并配置相关的共享数据，最终使用者可以根据服务配置的用户访问需要的数据资源，也可以对需要的数据进行获取，同时在其他应用系统中直接访问应用和分析。

附图说明

图1为本发明的方法流程示意图；

图2为本发明中配置虚拟化数据库服务参数的流程图；

图3为本发明中访问数据流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由图1所示，本发明的一种基于分布式虚拟化数据库服务的数据共享方法，包括如下步骤：

1)搭建各节点数据库1；

2)搭建虚拟化数据库服务环境，并配置虚拟化数据库服务参数2(具体如图2)；

3)启动服务3；

4)用户发出访问指令，对用户指令进行解析，并输出结果4(具体如图3)。

具体的，

(1)每个共享分节点建立本地共享数据库，将待共享的数据进行接入并存储，并进行自我维护；

(2)基于所有的共享分节点建立一个主控节点，主控节点需要安装JDK1.7以上的系统环境；

(3)配置分节点的数据库连接，该配置是作为最底层的配置存在，直接定义了具体的数据库实例、IP、端口、用户和密码；

(4)定义表的规则，指定唯一的名称用来区分表的规则，指定表共享拆分使用的列名和使用什么算法，多个规则可以共同使用一个算法；

(5)路由算法主要定义了对表的共享所涉及的规则，可以灵活的对表使用不同的算法，同时也可以对同一张表进行相同的算法但采用不同的参数；

(6)定义算法的名称，根据不同的场景定制算法的类，比如：固定算法，按日期算法，ASCII码求模范围，字符串子串截取，单月小时，自然月等等；

(7)配置虚拟化共享表的标签，该标签主要定义逻辑表的表名，表名就如同在数据库中执行create table命令名字一样，在标签中定义的名字必须是唯一存在；

(8)定义该虚拟化共享表所指定的真实分节点数据库名称，可以定义多个不同的数据库名称；

(9)定义虚拟化共享表的路由算法规则，根据场景选择已经定义好的路由算法规则，单个表只能定义一个路由算法；

(10)配置共享数据库用户，主要用于定义登陆共享数据库的用户和权限；

(11)配置好相应的设置后启动程序，可以通过windows系统服务的方式进行启动和停止；

(12)用户对虚拟化数据库服务进行访问，访问方式跟mysql数据库的访问方式相同，可以自己编写SQL语句进行数据查询；

(13)用户使用语句进行查询时，系统会根据用户的语句进行解析，例如：用户对TABLE_A表进行查询，查询语句为“select*from TABLE_A where ID＝1”，系统根据语句查询的表判断使用的数据库定义和路由算法规则，当TABLE_A定义了DATABASE1，DATABASE2两个数据时，使用的语句会在两个数据库中进行查询，当查询的条件ID为该表路由设置的规则，规则指定ID为1时访问DATABASE1数据库，语句在查询时通过规则内容只查询DATABASE数据库；

(14)通过规则内容查询完成后展示出相应的数据内容。

本实施例的一种基于分布式虚拟化数据库服务的数据共享方法本发明的一种基于分布式虚拟化数据库服务的数据共享方法采用了分布式的节点接入和存储模式，支持共享分节点的任意扩展，各共享节点可以由贡献者进行自我维护和管理，可以大大减少传统模式下一次性投资以及技术开发成本等投入，同时让更多的贡献者加入到其中，贡献自己的一份，可以得到所有其他贡献者的N份。可将不同行业、不同地域之间的数据库接入到一个虚拟化的共享数据库中，以便于更方便的共享利用。具体的，每个共享节点把自己需要进行共享的数据库配置到本地数据库服务中，接入并配置相关的共享数据，最终使用者可以根据服务配置的用户访问需要的数据资源，也可以对需要的数据进行获取，同时在其他应用系统中直接访问应用和分析。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于分布式虚拟化数据库服务的数据共享方法，其特征在于，包括如下步骤：

1)搭建各节点数据库；

2)搭建虚拟化数据库服务环境，并配置虚拟化数据库服务参数；

3)启动服务；

4)用户发出访问指令，对用户指令进行解析，并输出结果。

2.根据权利要求1所述的一种基于分布式虚拟化数据库服务的数据共享方法，其特征在于，所述步骤1)具体为：每个共享分节点建立本地共享数据库，将待共享数据接入并存储于本地共享数据库，本地共享数据库进行自我维护；基于所有的共享分节点建立一个主控节点；调节参数。

3.根据权利要求2所述的一种基于分布式虚拟化数据库服务的数据共享方法，其特征在于，所述调节参数具体为：配置分节点的数据库连接，制定定义表规则，制定路由算法及定义算法名称。

4.根据权利要求1所述的一种基于分布式虚拟化数据库服务的数据共享方法，其特征在于，所述步骤2)具体为：配置虚拟化共享表标签，定义该虚拟化共享表所指定的真实分节点数据库名称，制定虚拟化共享表的路由算法规则，配置共享数据库用户。