CN104506625A - 一种提升云数据库元数据节点可靠性的方法 - Google Patents

Abstract

本发明涉及云数据库技术领域，尤其是一种提升云数据库元数据节点可靠性的方法。本发明将元数据同时写入多个服务器；由于每次读写都施加在所有的服务器上，任何时刻都有不止一份数据被保存下来，任何时刻都有不止一台服务器在运行，它们同时下线的可能性极小，所以可用性也无需采取额外措施，便可以得到保障；因为每台元数据服务器都是平等的，所以任何一台元数据服务器下线都不会对整个元数据服务器集群的可用性和可靠性产生影响。本发明解决了单点失效问题；可以用于云数据库元数据的处理上。

Description

一种提升云数据库元数据节点可靠性的方法

技术领域

本发明涉及云数据库技术领域，尤其是一种提升云数据库元数据节点可靠性的方法。

背景技术

当前多个应用系统信息资源整合共享的状况是：各个应用系统一般都设计和建设了属于业务本身的应用、流程以及独立的数据信息处理系统。独立、异构是这些应用系统的共同特点。由于系统设计和建设的时期不同，业务模式也各自不同，信息化建设缺乏有效的总体规划，重复建设的现象屡有发生。缺乏统一的设计标准，大多数系统都是由不同的厂商建设在不同的平台上，使用不同的语言进行开发，信息共享及交互困难，缺乏统一的管理，存在大量的信息孤岛和流程孤岛。越来越多的用户期望能实现多个软硬件系统以及不同数据源之间的互操作，在信息之间建立关联，对异构数据源中的数据进行访问与集成。

云数据库是对传统数据库精简抽象化后的简单可访问模型，它能将分布在各地的信息资源进行有效采集、整合、共享和应用，并建立信息资源共享服务和信息的统一管理。在具体实现过程中，云数据库是把各种关系型数据库进行虚拟化，按照访问对象进行操作，对外提供SaaS服务的数据中心实现方式之一。云数据库提供了一个虚拟数据交换视图平台，它屏蔽掉了各种异构数据库的底层实现细节，用户或应用程序能透明地访问，它能将用户或系统程序传入接口中的一致性对象进行分解，为不同数据源SQL适配器生成对应的SQL语句，它主要解决数据集中与共享的问题。

云数据元数据服务节点提供的是系统服务，主要实现对整个云数据库系统全局的管理，包括系统管理服务、系统监控服务、数据目录服务、用户日志服务以及系统界面服务。单元数据服务节点的设计可以简化系统的设计和实现，但会带来单点失效问题。引入多个元数据节点后，节点之间需进行元数据的同步复制，当某个节点更新元数据后需使之后接入的客户端在其它任意元数据服务器上也能访问到最新的数据。

发明内容

本发明解决的技术问题在于提供一种提升云数据库元数据节点可靠性的方法，主要解决的是云数据库引入多个元数据节点后，需要将节点之间的虚拟数据库元信息、虚拟表元信息、虚拟数据库与角色及用户之间权归属映射信息、数据对象归属、大小、校验值、节点编号等元信息进行同步。

本发明解决上述技术问题的技术方案是：

所述的方法是将云数据库元数据全量存储到N(N＞＝1)台服务器节点，每台元数据服务器的数据完全相同；选择其中一个元数据服务器作为主节点，其他的N-1台元数据服务器作为从节点；每个从节点对主节点进行监听，实现数据的更新操作；客户端可以连接到每一个元数据服务器节点，客户端连接到每一个元数据服务器节点后看到的数据是相同的；当主节点发生故障时，当前主节点对应的服务器自动从队列中删除，从节点监听到主节点故障信息后，选择元数据服务器编码值最小的节点作为主节点；

元数据的更新基于元数据主服务器在二进制日志中跟踪所有对数据的更新、删除等更改，元数据主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环；这些日志可以记录发送到元数据从服务器的更新，当一个元数据从服务器连接元数据主服务器时，它通知元数据从服务器在日志中读取的最后一次成功更新的位置；元数据从服务器接收从那时起发生的任何更新，然后封锁并等待元数据主服务器通知新的更新；元数据从服务器上面启动一个I/O进程，连接到主服务器上面请求读取二进制日志，然后把读取到的二进制日志写到本地日志里面，从服务器上面开启一个SQL进程定时检查本地日志，如果发现有更改立即把更改的内容在元数据从服务器上面执行一遍；

引入时间戳规则，时间戳用来处理元数据的先后覆盖，对于一个数据对象的元数据，只有时间最近的那条是有效的；当主元数据服务器更新元数据时，给每一次元数据更新加上一个时间戳，并且确保一次元数据写入的各个元数据从服务器拥有相同的时间戳，同时确保历次写入的元数据拥有不同的时间戳；对于历次更新的元数据，元数据从服务器将读取到的元数据放在一起比对，时间戳上最近的那些元数据，就是所需要的。

云数据库元数据主节点的选择方法是：

当元数据主服务器崩溃，或者元数据主服务器失去大多数元数据从服务器时，进入恢复模式重新选举一个新的元数据主服务器，让所有的元数据服务器都恢复到一个正确的状况；具体步骤如下：

第一步，元数据主服务器构建一个文件系统树结构，每个元数据服务器有一个唯一的路径标识，这个路径标识可以自动编号，并且每台元数据服务器IP地址值作为子目录放在此路径下；元数据主服务器一旦启动便对此路径进行监视；当元数据主服务器下数据发生变化的时候，每个元数据从服务器都会收到通知；

第二步，元数据从服务器与元数据主服务器通信采用长连接方式，每个元数据从服务器与元数据主服务器通过心跳来保持连接，这个连接状态称为session，一旦这个连接断掉或失效，每台元数据服务器的路径标识子目录将自动删除；

第三步，元数据从服务器和元数据主服务器连接断掉或者session过期就会使元数据主服务器上的文件系统中记录的节点路径信息消失，那么在某一个元数据服务器挂掉或者断链的时候，其对应的节点路径信息就会消失；然后集群中所有对元数据主服务器进行监视的客户端都会收到通知，然后取得最新列表；

第四步，默认规定IP地址值最小的为元数据主服务器，所以当我们对节点路径信息做监控的时候，得到服务器列表，只要所有元数据服务器逻辑认可当前最小地址值，那么当前地址值对应的元数据服务器就被选出作为元数据主服务器；而这个元数据主服务器宕机的时候，相应的节点路径信息会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为地址值最小的节点为元数据主服务器，这样就实现动态元数据主服务器选举。

所述的方法中元数据的更新方法是：

第一步，元数据主服务器验证连接，并给元数据从服务器开启一个线程；

第二步，元数据从服务器将元数据主服务器日志的偏移值告诉元数据主服务器，元数据主服务器检查该值是否小于当前二进制日志偏移位；如果小于，则通知元数据从服务器来取数据；

第三步，元数据从服务器持续从元数据主服务器取数据，直至取完；这时元数据从服务器线程进入睡眠，元数据主服务器线程同时也进入睡眠；

第四步，当元数据主服务器有更新时，元数据主服务器线程被激活，并将二进制日志推送给元数据从服务器，并通知元数据从服务器线程进入工作状态，元数据从服务器SQL线程执行二进制日志，随后进入睡眠状况。

所述的方法中保持元数据一致性的方法是：

第一步，启动进程，当达到数据复制点的条件即启动，元数据从服务器向元数据主服务器发出包含复制元数据表名称、本地元数据别名、全复制标志、允许表结构改变标志、首次复制时间、复制数据起始时间戳等信息的复制订阅授权请求消息；

第二步，请求消息经元数据主服务器端订阅授权认可程序确认后，元数据主服务器将向订阅申请方回复认可的消息；

第三步，如验证通过，此进程将符合的所有记录推送给元数据从服务器，即元数据主服务器复制主表中时间戳值大于前一次复制数据时的最大时间戳值的数据推送给元数据从服务器。

本发明通过将元数据同步分布到N(N＞＝1)台服务器上，并对元数据服务器地址按照长整形进行值转换，对该值按大小排序后，作为元数据主节点选择方法。为了确保N台服务器上元数据的实时更新，对元数据主服务器上的元数据更新建立索引进行跟踪，并实时更新到元数据从服务器。为了避免元数据的不一致性，引入了时间戳的方式确保历次更新的元数据的一致性。

使用本发明的方法，用户可以可靠地在分布式网络环境中透明的通过元数据访问多种数据库，元数据主服务器出现问题时，元数据从服务器可以实时自动切换，能确保用户访问数据库的不间断，并能实现元数据的实时一致性更新。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明的云数据库元数据主节点的选择方法图。

具体实施方式

本发明的总体思路是：单点会造成数据丢失，并引发可用性问题，因而需要将元数据同时写入多个服务器。由于每次读写都施加在所有的服务器上，任何时刻都有不止一份数据被保存下来，任何时刻都有不止一台服务器在运行，它们同时下线的可能性极小，所以可用性也无需采取额外措施，便可以得到保障。因为每台元数据服务器都是平等的，所以任何一台元数据服务器下线都不会对整个元数据服务器集群的可用性和可靠性产生影响。

具体而言，是将云数据库元数据全量存储到N(N＞＝1)台服务器节点，每台元数据服务器的数据完全相同；选择其中一个元数据服务器作为主节点，其他的N-1台元数据服务器作为从节点；每个从节点对主节点进行监听，实现数据的更新操作；客户端可以连接到每一个元数据服务器节点，客户端连接到每一个元数据服务器节点后看到的数据是相同的；当主节点发生故障时，当前主节点对应的服务器自动从队列中删除，从节点监听到主节点故障信息后，选择元数据服务器编码值最小的节点作为主节点；

元数据的更新基于元数据主服务器在二进制日志中跟踪所有对数据的更新、删除等更改，元数据主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环；这些日志可以记录发送到元数据从服务器的更新，当一个元数据从服务器连接元数据主服务器时，它通知元数据从服务器在日志中读取的最后一次成功更新的位置；元数据从服务器接收从那时起发生的任何更新，然后封锁并等待元数据主服务器通知新的更新；元数据从服务器上面启动一个I/O进程，连接到主服务器上面请求读取二进制日志，然后把读取到的二进制日志写到本地日志里面，从服务器上面开启一个SQL进程定时检查本地日志，如果发现有更改立即把更改的内容在元数据从服务器上面执行一遍；

引入时间戳规则，时间戳用来处理元数据的先后覆盖，对于一个数据对象的元数据，只有时间最近的那条是有效的；当主元数据服务器更新元数据时，给每一次元数据更新加上一个时间戳，并且确保一次元数据写入的各个元数据从服务器拥有相同的时间戳，同时确保历次写入的元数据拥有不同的时间戳；对于历次更新的元数据，元数据从服务器将读取到的元数据放在一起比对，时间戳上最近的那些元数据，就是所需要的。

下面从三个方面对本发明进一步说明：

1、云数据库元数据主节点的选择方法

当元数据主服务器崩溃，或者元数据主服务器失去大多数元数据从服务器，这时就进入恢复模式重新选举一个新的元数据主服务器，让所有的元数据服务器都恢复到一个正确的状况。云数据库元数据主节点的选择方法如图1所示。

第一步，元数据主服务器构建一个文件系统树结构，每个元数据服务器有一个唯一的路径标识，这个路径标识可以自动编号，并且每台元数据服务器IP地址值作为子目录放在此路径下。元数据主服务器一旦启动便对此路径进行监视。当元数据主服务器下数据发生变化的时候，每个元数据从服务器都会收到通知。

第二步，元数据从服务器与元数据主服务器通信采用长连接方式，每个元数据从服务器与元数据主服务器通过心跳来保持连接，这个连接状态称为session，一旦这个连接断掉或失效，每台元数据服务器的路径标识子目录将自动删除。

第三步，元数据从服务器和元数据主服务器连接断掉或者session过期就会使元数据主服务器上的文件系统中记录的节点路径信息消失，那么在某一个元数据服务器挂掉或者断链的时候，其对应的节点路径信息就会消失，然后集群中所有对元数据主服务器进行监视的客户端都会收到通知，然后取得最新列表。

第四步，默认规定IP地址值最小的为元数据主服务器，所以当我们对节点路径信息做监控的时候，得到服务器列表，只要所有元数据服务器逻辑认可当前最小地址值，那么当前地址值对应的元数据服务器就被选出作为元数据主服务器，而这个元数据主服务器宕机的时候，相应的节点路径信息会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为地址值最小的节点为元数据主服务器，这样就做到动态元数据主服务器选举。

2、元数据的更新方法

第一步，元数据主服务器验证连接，并给元数据从服务器开启一个线程。

第二步，元数据从服务器将元数据主服务器日志的偏移值告诉元数据主服务器，元数据主服务器检查该值是否小于当前二进制日志偏移位，如果小于，则通知元数据从服务器来取数据。

第三步，元数据从服务器持续从元数据主服务器取数据，直至取完，这时元数据从服务器线程进入睡眠，元数据主服务器线程同时也进入睡眠。

第四步，当元数据主服务器有更新时，元数据主服务器线程被激活，并将二进制日志推送给元数据从服务器，并通知元数据从服务器线程进入工作状态，元数据从服务器SQL线程执行二进制日志，随后进入睡眠状况。

3、元数据一致性方法

第一步，启动进程，只有当达到数据复制点的条件即启动，元数据从服务器向元数据主服务器发出包含复制元数据表名称、本地元数据别名、全复制标志、允许表结构改变标志、首次复制时间、复制数据起始时间戳等等信息的复制订阅授权请求消息；

第二步，请求消息经元数据主服务器端订阅授权认可程序确认后，元数据主服务器将向订阅申请方回复认可的消息；

第三步，如验证通过，此进程将符合的所有记录推送给元数据从服务器，即元数据主服务器复制主表中时间戳值大于前一次复制数据时的最大时间戳值的数据推送给元数据从服务器。所以应该根据关键值的次序依次对元数据从服务器表中的数据进行更改，并且在更新完成的同时，将此次元数据主服务器复制主表中的时间戳值记录到元数据从服务器的相关信息表中去。

Claims (5)

1.一种提升云数据库元数据节点可靠性的方法，其特征在于：所述的方法是将云数据库元数据全量存储到N(N＞＝1)台服务器节点，每台元数据服务器的数据完全相同；选择其中一个元数据服务器作为主节点，其他的N-1台元数据服务器作为从节点；每个从节点对主节点进行监听，实现数据的更新操作；客户端可以连接到每一个元数据服务器节点，客户端连接到每一个元数据服务器节点后看到的数据是相同的；当主节点发生故障时，当前主节点对应的服务器自动从队列中删除，从节点监听到主节点故障信息后，选择元数据服务器编码值最小的节点作为主节点；

元数据的更新基于元数据主服务器在二进制日志中跟踪所有对数据的更新、删除等更改，元数据主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环；这些日志可以记录发送到元数据从服务器的更新，当一个元数据从服务器连接元数据主服务器时，它通知元数据从服务器在日志中读取的最后一次成功更新的位置；元数据从服务器接收从那时起发生的任何更新，然后封锁并等待元数据主服务器通知新的更新；元数据从服务器上面启动一个I/O进程，连接到主服务器上面请求读取二进制日志，然后把读取到的二进制日志写到本地日志里面，从服务器上面开启一个SQL进程定时检查本地日志，如果发现有更改立即把更改的内容在元数据从服务器上面执行一遍；

引入时间戳规则，时间戳用来处理元数据的先后覆盖，对于一个数据对象的元数据，只有时间最近的那条是有效的；当主元数据服务器更新元数据时，给每一次元数据更新加上一个时间戳，并且确保一次元数据写入的各个元数据从服务器拥有相同的时间戳，同时确保历次写入的元数据拥有不同的时间戳；对于历次更新的元数据，元数据从服务器将读取到的元数据放在一起比对，时间戳上最近的那些元数据，就是所需要的。

2.根据权利要求1所述的提升云数据库元数据节点可靠性的方法，其特征在于：云数据库元数据主节点的选择方法是：

当元数据主服务器崩溃，或者元数据主服务器失去大多数元数据从服务器时，进入恢复模式重新选举一个新的元数据主服务器，让所有的元数据服务器都恢复到一个正确的状况；具体步骤如下：

第一步，元数据主服务器构建一个文件系统树结构，每个元数据服务器有一个唯一的路径标识，这个路径标识可以自动编号，并且每台元数据服务器IP地址值作为子目录放在此路径下；元数据主服务器一旦启动便对此路径进行监视；当元数据主服务器下数据发生变化的时候，每个元数据从服务器都会收到通知；

第二步，元数据从服务器与元数据主服务器通信采用长连接方式，每个元数据从服务器与元数据主服务器通过心跳来保持连接，这个连接状态称为session，一旦这个连接断掉或失效，每台元数据服务器的路径标识子目录将自动删除；

第三步，元数据从服务器和元数据主服务器连接断掉或者session过期就会使元数据主服务器上的文件系统中记录的节点路径信息消失，那么在某一个元数据服务器挂掉或者断链的时候，其对应的节点路径信息就会消失；然后集群中所有对元数据主服务器进行监视的客户端都会收到通知，然后取得最新列表；

第四步，默认规定IP地址值最小的为元数据主服务器，所以当我们对节点路径信息做监控的时候，得到服务器列表，只要所有元数据服务器逻辑认可当前最小地址值，那么当前地址值对应的元数据服务器就被选出作为元数据主服务器；而这个元数据主服务器宕机的时候，相应的节点路径信息会消失，然后新的服务器列表就被推送到客户端，然后每个节点逻辑认为地址值最小的节点为元数据主服务器，这样就实现动态元数据主服务器选举。

3.根据权利要求1所述的提升云数据库元数据节点可靠性的方法，其特征在于：所述的方法中元数据的更新方法是：

第一步，元数据主服务器验证连接，并给元数据从服务器开启一个线程；

第二步，元数据从服务器将元数据主服务器日志的偏移值告诉元数据主服务器，元数据主服务器检查该值是否小于当前二进制日志偏移位；如果小于，则通知元数据从服务器来取数据；

第三步，元数据从服务器持续从元数据主服务器取数据，直至取完；这时元数据从服务器线程进入睡眠，元数据主服务器线程同时也进入睡眠；

第四步，当元数据主服务器有更新时，元数据主服务器线程被激活，并将二进制日志推送给元数据从服务器，并通知元数据从服务器线程进入工作状态，元数据从服务器SQL线程执行二进制日志，随后进入睡眠状况。

4.根据权利要求2所述的提升云数据库元数据节点可靠性的方法，其特征在于：所述的方法中元数据的更新方法是：

第一步，元数据主服务器验证连接，并给元数据从服务器开启一个线程；

第二步，元数据从服务器将元数据主服务器日志的偏移值告诉元数据主服务器，元数据主服务器检查该值是否小于当前二进制日志偏移位；如果小于，则通知元数据从服务器来取数据；

第三步，元数据从服务器持续从元数据主服务器取数据，直至取完；这时元数据从服务器线程进入睡眠，元数据主服务器线程同时也进入睡眠；

第四步，当元数据主服务器有更新时，元数据主服务器线程被激活，并将二进制日志推送给元数据从服务器，并通知元数据从服务器线程进入工作状态，元数据从服务器SQL线程执行二进制日志，随后进入睡眠状况。

5.根据权利要求1至4任一项所述的提升云数据库元数据节点可靠性的方法，其特征在于：所述的方法中保持元数据一致性的方法是：

第一步，启动进程，当达到数据复制点的条件即启动，元数据从服务器向元数据主服务器发出包含复制元数据表名称、本地元数据别名、全复制标志、允许表结构改变标志、首次复制时间、复制数据起始时间戳等信息的复制订阅授权请求消息；

第二步，请求消息经元数据主服务器端订阅授权认可程序确认后，元数据主服务器将向订阅申请方回复认可的消息；

第三步，如验证通过，此进程将符合的所有记录推送给元数据从服务器，即元数据主服务器复制主表中时间戳值大于前一次复制数据时的最大时间戳值的数据推送给元数据从服务器。