CN105160012A - 一种异构数据库的管理方法及系统 - Google Patents

Abstract

本发明公开了一种异构数据库的管理方法及系统，涉及数据库技术领域，其包括以下步骤：创建记载有数据库信息的表定义文件；读取表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，编写存储过程脚本文件和静态数据脚本文件；执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库；接收维护指令，读取表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护，结束；接收数据库访问指令，将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果，结束。

Description

一种异构数据库的管理方法及系统

技术领域

本发明涉及数据库技术领域，具体来讲是一种异构数据库的管理方法及系统。

背景技术

目前，随着网络技术的迅速发展，宽带用户的规模不断扩大，导致网管系统管理的设备数量不断增加，进而造成网管系统中存储信息的数据量越来越大。数据库作为网管系统底层的重要支撑部分，根据类型分为行式数据库、列式数据库和分布式数据库，其中，行式数据库适合较小数据量的数据处理，列式数据库适合数据量激增情况下的数据处理，分布式数据库适合海量数据下的数据处理。因此，用户需要根据数据量的不同，选择相应类型的数据库。

然而，由于上述类型的数据库所支持的语法存在较大区别，网管系统需要针对不同类型的数据库分别进行管理，因此，降低了网管系统的工作效率。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种异构数据库的管理方法及系统，通过解析出的脚本文件，对不同类型的数据库进行统一管理，提高了网管系统的工作效率。

为达到以上目的，本发明采取的技术方案是：一种异构数据库的管理方法，包括以下步骤：步骤S1.创建记载有数据库信息的表定义文件；步骤S2.读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件；步骤S3.根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库；步骤S4.判断用户输入的指令类型，若为维护指令，则跳转至步骤S5，若为数据库访问指令，则跳转至步骤S6；步骤S5.读取所述表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护，结束；步骤S6.将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果，结束。

在上述技术方案的基础上，步骤S1中，所述表定义文件包括表集合定义项、表外键集合定义项和数据库类型附加项；所述表集合定义项包括多个表项，每个表项包含表名称项、表列集合定义项、表索引集合定义项和表附加项；其中，表列集合定义项包括多个列项，每个列项包含列名称项、列类型项和列默认值项；表索引集合定义项包括多个表索引定义项，每个表索引定义项包含索引键名称项、索引列名称项、索引类型项和默认排序项；表附加项用于记录不同类型表的物理属性；所述表外键集合定义项包括多个表外键定义项，每个表外键定义项包含表外键名称项、父表项、子表项和外键删除规则项；所述数据库类型附加项包括表名称列表项和维护版本项。

在上述技术方案的基础上，所述表项还包含分表项，用于记录分表的规则信息。

在上述技术方案的基础上，步骤S2中，生成建表脚本文件的具体流程为：S211.读取所述表定义文件，获取表集合定义项中相应的表项；S212.解析表名称项，获取表名称；S213.解析表列集合定义项，读取各列项的列名称、列类型和列默认值，直至所有列项的信息读取完毕；S214.解析表索引集合定义项，读取各表索引定义项的索引键名称、索引列名称、索引类型和默认排序，直至所有表索引定义项的信息读取完毕；S215.解析表附加项，读取相应类型表的物理属性；S216.根据上述读取的信息，生成建表脚本文件；S217.判断是否存在未读取的表项，若是，跳转至步骤211；否则，结束流程。

在上述技术方案的基础上，步骤S2中，生成外键脚本文件的具体流程为：S221.读取所述表定义文件，获取表外键集合定义项；S222.解析表外键集合定义项，读取各表外键定义项的外键名称、父表、子表和外键删除规则；S223.根据上述读取的信息，生成外键脚本文件。

在上述技术方案的基础上，步骤S2中，所述数据库根据类型分为行式数据库、列式数据库和分布式数据库。

在上述技术方案的基础上，所述步骤S5的具体流程为：步骤S51.读取所述表定义文件并生成备份还原脚本文件；步骤S52.判断维护指令的类型，若为还原指令，则跳转至步骤S53；若为备份指令，则跳转至步骤S56；步骤S53.定位网管配置目录并选择相应的配置备份文件；跳转至步骤S54；步骤S54.将配置备份文件解压到本地目录；跳转至步骤S55；步骤S55.执行备份还原脚本文件，对配置备份文件进行数据还原，结束；步骤S56.执行备份还原脚本文件，生成数据文件；跳转至步骤S57；步骤S57.导出数据文件到指定的目录，并压缩成备份文件；跳转至步骤S58；步骤S58.将备份文件输出到本地备份目录或者上传到FTP服务器，结束。

在上述技术方案的基础上，所述步骤S51的具体流程为：步骤S511.解析所述表定义文件，读取数据库类型附加项的表名称列表和维护版本；步骤S512.根据上述读取的信息，生成备份还原脚本文件。

在上述技术方案的基础上，所述步骤S6的具体流程为：步骤S61.将各类型的数据库接口封装为统一的数据库统一接口；步骤S62.上层应用调用封装的数据库统一接口；步骤S63.数据库统一接口根据不同类型的数据库，调用相应的接口实现函数；步骤S64.对数据库进行访问并返回执行结果，结束。

本发明还公开了一种异构数据库的管理系统，包括表创建模块，用于创建记载有数据库信息的表定义文件；脚本生成模块，用于读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件；脚本执行模块，用于根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库；判断模块，用于判断用户输入的指令类型，若为维护指令，则触发维护信号，若为数据库访问指令，则触发访问信号；维护模块，用于接收维护信号，读取所述表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护；访问模块，用于将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果。

本发明的有益效果在于：

1、本发明中，能够通过预先创建的表定义文件，解析出适用于不同类型的数据库的脚本文件，网管系统能够通过解析出的脚本文件，对不同类型的数据库进行统一管理，因此，提高了网管系统的工作效率。

2、本发明中，能够通过封装的数据库统一接口调用相应类型的接口实现函数，无需网管系统针对不同类型的数据库分别调用相应的接口实现函数，即可对数据库进行访问，因此，进一步的提高了网管系统的工作效率。

3、本发明中，对导出的备份文件进行了压缩处理，因此减少了网络开销。

附图说明

图1为本发明实施例中异构数据库的管理方法的流程图；

图2为图1的步骤S2中，生成建表脚本文件的具体流程图；

图3为图1的步骤S2中，生成外键脚本文件的具体流程图；

图4为图1中步骤S5的具体流程图；

图5为图4中步骤S51的具体流程图；

图6为图1中步骤S6的具体流程图；

图7为本发明实施例中异构数据库的管理系统的结构框图。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

参见图1所示，本发明实施例提供了一种异构数据库的管理方法，包括以下步骤：

步骤S1.创建记载有数据库信息的表定义文件。优选的，表定义文件为XML文件。

步骤S2.读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件；数据库根据类型分为行式数据库、列式数据库和分布式数据库。

步骤S3.根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库。

步骤S4.判断用户输入的指令类型，若为维护指令，则跳转至步骤S5，若为数据库访问指令，则跳转至步骤S6。

步骤S5.读取表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护，结束。

步骤S6.将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果，结束。

上述表定义文件包括表集合定义项(tables)、表外键集合定义项(relationship)和数据库类型附加项(maintainoption)；表集合定义项包括多个表项(table)，用于表示表的定义，每个表项包含表名称项(name)、表列集合定义项(columns)、表索引集合定义项(keys)和表附加项(phyoptions)；优选的，需要分表的表项还包含有分表项(splitinfo)，用于记录分表的规则信息。其中，表列集合定义项包括多个列项(col)，用于表示表的列定义，每个列项包含列名称项(name)、列类型项(type)和列默认值项(notnull)；表索引集合定义项包括多个表索引定义项(key)，用于表示表的索引定义，每个表索引定义项包含索引键名称项(name)、索引列名称项(colname)、索引类型项(type)和默认排序项(order)；表附加项用于记录不同类型表的物理属性；表外键集合定义项包括多个表外键定义项(relationship)，用于表示各表之间的外键关联信息，每个表外键定义项包含表外键名称项(name)、父表项(parenttable)、子表项(childtable)和外键删除规则项(delcascade)；数据库类型附加项用于表示待维护的表，包括表名称列表项(tablelist)和维护版本项(version)。具体的，表定义文件的格式如下：

参见图2所示，步骤S2中，生成建表脚本文件的具体流程为：

S211.读取表定义文件，获取表集合定义项中相应的表项。

S212.解析表名称项，获取表名称。若该表项存在分表，则读取分表项，获取分表信息。

S213.解析表列集合定义项，读取各列项的列名称、列类型和列默认值，直至所有列项的信息读取完毕。

S214.解析表索引集合定义项，读取各表索引定义项的索引键名称、索引列名称、索引类型和默认排序(默认升序排序)，直至所有表索引定义项的信息读取完毕。

S215.解析表附加项，读取相应类型表的物理属性。

S216.根据上述读取的信息，生成建表脚本文件。

S217.判断是否存在未读取的表项，若是，跳转至步骤211；否则，结束流程。

对于行式数据库，可以采用SQL语句进行表的创建；列式数据库可以采用DBISQL的语言进行建表；而分布式数据库不支持SQL标准，需要使用建表语法。

参见图3所示，步骤S2中，生成外键脚本文件的具体流程为：

S221.读取表定义文件，获取表集合定义项中相应的表项。

S222.解析表外键集合定义项，读取各表外键定义项的外键名称、父表、子表和外键删除规则。

S223.根据上述读取的信息，生成外键脚本文件。

参见图4所示，步骤S5的具体流程为：

步骤S51.读取表定义文件并生成备份还原脚本文件。

步骤S52.判断维护指令的类型，若为还原指令，则跳转至步骤S53；若为备份指令，则跳转至步骤S56。

步骤S53.定位网管配置目录并选择相应的配置备份文件；跳转至步骤S54。

步骤S54.将配置备份文件使用解压UNZIP脚本解压到本地目录；跳转至步骤S55。

步骤S55.执行备份还原脚本文件，对配置备份文件进行数据还原，结束。

步骤S56.执行备份还原脚本文件，生成数据文件；跳转至步骤S57。

步骤S57.导出数据文件到指定的目录，并使用压缩ZIP脚本压缩成备份文件；跳转至步骤S58。

步骤S58.将备份文件输出到本地备份目录或者上传到FTP服务器，结束。

行式数据库可以采用传统的导入导出方法，例如MySQL的Load方法。

列式数据库采用DBISQL的导入导出方式，从外部文件中按照特定的列分隔符与行分隔符将静态数据导入表中，其命令如下：

LOADTABLEt_test

(ctest1'|',

ctest2'|',

ctest3'x0a'

)

FROM'D:/t_test.unl'

ESCAPESOFF

QUOTESOff

WITHCHECKPOINTON；

COMMIT；

而分布式数据库不支持SQL标准，需要使用特有的导入导出语法，将外部文件列表的数据按照特定的列分隔符与行分隔符导入对应的表中，其命令如下：

Hadoopjar/usr/lib/hbase/hbase.jarimporttsv-Dimporttsv.bulk.output＝/t_test/output-Dimporttsv.separator＝|-Dimporttsv.columns＝HBASE_ROW_KEY,f:ctest2,f:ctest3t_test/t_test

hadoopjar/usr/lib/hbase/hbase.jarcompletebulkload/t_test/outputt_test

参见图5所示，步骤S51的具体流程为：

步骤S511.解析表定义文件，读取数据库类型附加项的表名称列表和维护版本。

步骤S512.根据上述读取的信息，生成备份还原脚本文件。

参见图6所示，步骤S6的具体流程为：

步骤S61.将各类型的数据库接口封装为统一的数据库统一接口。

步骤S62.上层应用调用封装的数据库统一接口；上层应用是指应用数据库进行存储并调用数据库接口获取数据的应用系统，例如网络管理系统、金融管理系统等。对于行式数据库来说，标准的SQL语法可以满足，如插入数据，通常使用INSERTINTOTABLE语法实现，列式数据库一般也支持SQL标准，因此也可以通过INSERT语法实现数据插入，但是对于分布式数据库(HBase)而言，本身并不支持标准SQL语法，插入数据需要使用自身特殊语法实现，HBase需要依赖第三方的接口来实现数据插入。

步骤S63.数据库统一接口根据不同类型的数据库，调用相应的接口实现函数；行式数据库可以采用基于SQLAPI的编程实现接口的统一；列式数据库需要使用自身的API实现接口的统一；而分布式数据库由于不支持C++，需要采用ThriftC++编程实现接口或者基于HIVE的ODBC封装，以实现接口的统一。例如，行式数据库(MySQL)可以使用中间件库SQLAPI++来实现使用C++语言访问数据库，列式数据库(SybaseIQ)，由各数据库厂商提供的C++API来访问数据库，考虑到编码的成本并鉴于当前的SQLAPI++最新版本已经支持了SybaseIQ的客户端，因此从编码的一致性上考虑，可以统一使用SQLAPI++库进行数据库访问，分布式数据库(HBase)本身不支持C++语言的直接访问，但是提供了ThriftServer(一种可伸缩的跨语言服务的发展软件框架)方式来运行使用其它语言进行数据库访问，另外，考虑到传统的开发习惯，另一种访问HBase数据库的方式，即基于HIVE(建立在Hadoop上的数据仓库基础构架)的ODBC(开放数据库互连,是微软公司开放服务结构中有关数据库的一个组成部分，它建立了一组规范，并提供了一组对数据库访问的标准应用程序编程接口)封装接口也会使得数据库接口的编码更方便。

步骤S64.对数据库进行访问并返回执行结果，结束。

参见图7所示，本发明实施例还提供了一种异构数据库的管理系统，包括

表创建模块，用于创建记载有数据库信息的表定义文件。

脚本生成模块，用于读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件。

脚本执行模块，用于根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库。

判断模块，用于判断用户输入的指令类型，若为维护指令，则触发维护信号，若为数据库访问指令，则触发访问信号。

维护模块，用于接收维护信号，读取表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护。

访问模块，用于将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果。

本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种异构数据库的管理方法，其特征在于，包括以下步骤：

步骤S1.创建记载有数据库信息的表定义文件；

步骤S2.读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件；

步骤S3.根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库；

步骤S4.判断用户输入的指令类型，若为维护指令，则跳转至步骤S5，若为数据库访问指令，则跳转至步骤S6；

步骤S5.读取所述表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护，结束；

步骤S6.将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果，结束。

2.如权利要求1所述的异构数据库的管理方法，其特征在于：步骤S1中，所述表定义文件包括表集合定义项、表外键集合定义项和数据库类型附加项；

所述表集合定义项包括多个表项，每个表项包含表名称项、表列集合定义项、表索引集合定义项和表附加项；其中，

表列集合定义项包括多个列项，每个列项包含列名称项、列类型项和列默认值项；

表索引集合定义项包括多个表索引定义项，每个表索引定义项包含索引键名称项、索引列名称项、索引类型项和默认排序项；

表附加项用于记录不同类型表的物理属性；

所述表外键集合定义项包括多个表外键定义项，每个表外键定义项包含表外键名称项、父表项、子表项和外键删除规则项；

所述数据库类型附加项包括表名称列表项和维护版本项。

3.如权利要求2所述的异构数据库的管理方法，其特征在于：所述表项还包含分表项，用于记录分表的规则信息。

4.如权利要求2所述的异构数据库的管理方法，其特征在于，步骤S2中，生成建表脚本文件的具体流程为：

S211.读取所述表定义文件，获取表集合定义项中相应的表项；

S212.解析表名称项，获取表名称；

S213.解析表列集合定义项，读取各列项的列名称、列类型和列默认值，直至所有列项的信息读取完毕；

S214.解析表索引集合定义项，读取各表索引定义项的索引键名称、索引列名称、索引类型和默认排序，直至所有表索引定义项的信息读取完毕；

S215.解析表附加项，读取相应类型表的物理属性；

S216.根据上述读取的信息，生成建表脚本文件；

S217.判断是否存在未读取的表项，若是，跳转至步骤211；否则，结束流程。

5.如权利要求2所述的异构数据库的管理方法，其特征在于，步骤S2中，生成外键脚本文件的具体流程为：

S221.读取所述表定义文件，获取表外键集合定义项；

S222.解析表外键集合定义项，读取各表外键定义项的外键名称、父表、子表和外键删除规则；

S223.根据上述读取的信息，生成外键脚本文件。

6.如权利要求1所述的异构数据库的管理方法，其特征在于：步骤S2中，所述数据库根据类型分为行式数据库、列式数据库和分布式数据库。

7.如权利要求2所述的异构数据库的管理方法，其特征在于，所述步骤S5的具体流程为：

步骤S51.读取所述表定义文件并生成备份还原脚本文件；

步骤S52.判断维护指令的类型，若为还原指令，则跳转至步骤S53；若为备份指令，则跳转至步骤S56；

步骤S53.定位网管配置目录并选择相应的配置备份文件；跳转至步骤S54；

步骤S54.将配置备份文件解压到本地目录；跳转至步骤S55；

步骤S55.执行备份还原脚本文件，对配置备份文件进行数据还原，结束；

步骤S56.执行备份还原脚本文件，生成数据文件；跳转至步骤S57；

步骤S57.导出数据文件到指定的目录，并压缩成备份文件；跳转至步骤S58；

步骤S58.将备份文件输出到本地备份目录或者上传到FTP服务器，结束。

8.如权利要求7所述的异构数据库的管理方法，其特征在于，所述步骤S51的具体流程为：

步骤S511.解析所述表定义文件，读取数据库类型附加项的表名称列表和维护版本；

步骤S512.根据上述读取的信息，生成备份还原脚本文件。

9.如权利要求1所述的异构数据库的管理方法，其特征在于，所述步骤S6的具体流程为：

步骤S61.将各类型的数据库接口封装为统一的数据库统一接口；

步骤S62.上层应用调用封装的数据库统一接口；

步骤S63.数据库统一接口根据不同类型的数据库，调用相应的接口实现函数；

步骤S64.对数据库进行访问并返回执行结果，结束。

10.一种异构数据库的管理系统，其特征在于：包括

表创建模块，用于创建记载有数据库信息的表定义文件；

脚本生成模块，用于读取所述表定义文件，根据每种类型的数据库生成相应的建表脚本文件和外键脚本文件，然后根据每种类型的数据库对应的建表脚本文件和外键脚本文件中的字段信息，编写存储过程脚本文件和静态数据脚本文件；

脚本执行模块，用于根据用户选择的类型，执行相应类型的数据库的建表脚本文件、外键脚本文件、存储过程脚本文件和静态数据脚本文件，生成相应类型的数据库；

判断模块，用于判断用户输入的指令类型，若为维护指令，则触发维护信号，若为数据库访问指令，则触发访问信号；

维护模块，用于接收维护信号，读取所述表定义文件并生成备份还原脚本文件，执行该备份还原脚本文件，对数据库进行维护；

访问模块，用于将各类型的数据库接口封装为统一的数据库统一接口，通过数据库统一接口调用相应类型的接口实现函数，对数据库进行访问并返回执行结果。