CN103631868A

CN103631868A - 一种兼容关系数据库的数据管理系统

Info

Publication number: CN103631868A
Application number: CN201310537809.3A
Authority: CN
Inventors: 李常宝; 高石玉; 周凤; 贾贺; 刘忠麟; 艾中良; 顾平莉
Original assignee: CETC 15 Research Institute
Current assignee: CETC 15 Research Institute
Priority date: 2013-11-04
Filing date: 2013-11-04
Publication date: 2014-03-12
Anticipated expiration: 2033-11-04
Also published as: CN103631868B

Abstract

本发明公开了一种兼容关系数据库的数据管理系统，包括：相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作；该数据管理系统包括数据导入组件，用于将数据文件按配置文件要求导入到数据库管理系统中；查询优化组件，用于从查询效率的角度，选择存在性能瓶颈且可通过类型切换提升性能的关系型数据库表进行数据库类型切换；数据库更新管理组件，用于对数据库管理系统中的表进行内容更新，更新过程不间断查询服务。从而实现了关系数据库和Nosql数据库的整合管理，使得外层组件的操作人员可以方便的实现数据库类型的更新、切换、删除等操作，从而大大方便了用户。

Description

一种兼容关系数据库的数据管理系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种兼容关系数据库的数据管理系统。

背景技术

随着信息技术的发展，参与处理的数据规模迅速膨胀，不断挑战传统数据管理软件的上限，为有效应对数据规模的不断提升，本发明设计了一种兼容关系数据库的大数据管理系统架构，可以充分兼容关系型数据库的已有成果；在处理大规模数据时，可以提供Nosql技术的可扩展性；数据规模较小时，能够提供关系型数据库的良好可操作性。

当前应对数据规模快速增长的解决方案主要有如下几个：方案一沿用传统的关系型数据库管理方案，通过扩容数据库管理服务器，应对数据规模提升。方案二沿用传统的关系型数据库管理方案，通过改进软件技术引入并行数据库，应对数据规模提升。方案三沿用传统的关系型数据库管理方案，通过对数据进行预处理（如数据抽样等），减小数据规模，应对数据规模提升。方案四采用Nosql技术对数据进行管理，应对数据规模提升。Nosql技术是在应对当前信息规模快速膨胀，难以用常规的数据库管理技术进行有效处理，在分布式集群技术、云计算技术日趋成熟与完善的背景下，兴起的一个研究热点，是对海量、异构数据处理技术体系的一种统称。Nosql技术可以有效弥补传统关系数据库在数据规模扩展方面遇到的瓶颈。

但是，如何实现系统即能充分兼容关系数据库的大数据管理系统架构，又能在数据规模较小时保持关系型数据库良好的用户可操作性成为现在亟待需要解决的问题。

发明内容

鉴于上述的分析，本发明旨在提供一种兼容关系数据库的数据管理系统，用以解决现有技术中不能同时兼容关系数据库的大数据管理系统架构并在数据规模较小时保持关系型数据库良好的用户可操作性的问题。

本发明主要是通过以下技术方案实现的：

一种兼容关系数据库的数据管理系统，该数据管理系统包括：相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作，支持数据库表的导入、更新和查询操作；

该数据管理系统包括使关系数据库和Nosql数据库兼容的数据导入组件、查询优化组件和数据库更新管理组件；

所述数据导入组件，用于将数据文件按配置文件要求导入到所述数据库管理系统中；

所述查询优化组件，用于从查询效率的角度，选择存在性能瓶颈且可通过类型切换提升性能的关系型数据库表进行数据库类型切换；

所述数据库更新管理组件，用于对数据库管理系统中的表进行内容更新，更新过程不间断查询服务。

优选地，该数据管理系统还包括：

数据库管理的基本功能模块，用于提供数据操作的基本功能，所述数据操作的基本功能包括：数据库创建、数据库状态查询、表创建、表状态查询、表导入、表插入、表查询、表删除和记录删除中的一种或多种；

数据库集成系统表状态维护模块，用于为数据库集成系统中的表提供状态维护以及状态转换，保证数据库的可扩展性，维持数据库切换以及查询的封装操作的表可用性和一致性；

数据库集成系统表状态操作模块，用于查询指定表的状态并完成表的状态切换；

数据库类型切换功能模块，用于对表的数据库类型进行切换；

数据库集成系统表查询功能模块，用于通过使用数据库管理系统中的基本服务和表状态，选择能够提供查询服务表响应上层的查询请求。

优选地，数据库类型切换功能模块具体用于，根据数据库表状态切换自动机，对处于“服务中”状态的表进行数据库类型间的切换。

优选地，表的状态包括：服务中、切换中、待删除、导入中、更新中、备份中以及服务备份中的一种或多种。

优选地，所述数据库集成系统表状态操作模块具体用于，遍历数据库中的表名，获取以指定表名开始的表，返回其具体状态，并根据表名调用表状态查询，获取表状态，根据状态机中的转换关系触发其转变状态，并返回转变成功与否的结果。

优选地，所述数据导入组件具体用于，通过配置文件对输入文件进行记录级筛选和属性级筛选，由输入文件的字节规模以及记录数规模选择导入目标数据库的类型，并通过配置文件指定源数据导入目标数据库的类型。

优选地，所述数据库更新管理组件具体用于，通过手动读取更新配置文件，调用数据导入中间件中的数据导入模型进行数据更新，更新完成后返回数据导入模型的执行结果，或者是读取更新配置文件，为配置文件中的每个表建立一个线程，按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新，线程按配置文件制定的周期进行休眠，休眠完成后再按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新。

本发明提供的一种兼容关系数据库的数据管理系统，实现关系数据库和Nosql数据库的整合管理，在两种类型的数据库中实现了对相同表名的写互斥、读并发，使得外层组件的操作人员可以方便的实现数据库类型的更新、切换、删除等操作，从而大大方便了用户。

本发明的其他特征和优点将在随后的说明书中阐述，并且部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明实施例的兼容关系数据库的数据管理系统的架构图；

图2为本发明实施例的表状态生命周期图；

图3为本发明实施例的数据导入流程图；

图4为本发明实施例的查询优化流程图；

图5为本发明实施例的查询效率对比图；

图6为本发明实施例的数据导入对比图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。为了清楚和简化目的，当其可能使本发明的主题模糊不清时，将省略本文所描述的器件中已知功能和结构的详细具体说明。

本发明设计了一种兼容关系数据库的数据管理系统。参见图1，通过为关系数据库和Nosql数据库中的表建立状态集以及状态转换系统，实现两种数据库资源的统一管理，提供数据库类型的智能化选择，可以充分兼容关系数据库的现有成果，同时在数据规模方面提供良好的可扩展性。其架构如图一所示，整个数据库管理系统以文件为接口，从分布式文件系统中导入数据，调用分布式数据处理组件进行数据基本处理，对外提供数据操作接口。整个大数据管理系统由数据集成系统、数据导入组件、内容更新组件、查询优化组件构成，数据库集成系统是核心，集成了关系数据库和Nosql数据，并提供表状态维护系统，维持两种类型下数据库表的统一操作。数据导入组件负责向数据集成系统中导入数据；查询优化组件负责根据查询效率对数据库系统中的表类型进行优化；内容更新组件负责周期性对数据库集成系统的内容进行更新。具体组件介绍如下：

数据库集成系统：

负责集成关系数据库和Nosql数据库，并提供表状态维护系统，维持两种类型下数据库表的统一操作，主要包含四个模块：提供数据库管理的基本功能模块，数据库服务状态维护功能模块、数据库类型切换功能模块、数据库指定字段查询功能模块。下面分别进行介绍。

1、数据库管理的基本功能模块：提供数据操作的基本功能，其功能详述，实现方式以及接口见表一

表一数据库管理的基本功能模块

2、数据库集成系统表状态维护模块：

功能：为数据库集成系统中的表提供状态维护，以及状态转换系统

实现方式：

为保证数据库的可扩展性，维持数据库切换、查询等进一步封装操作的表可用性和一致性。我们将数据库中的表分为七个状态：服务中(serving)、切换中(changing)、待删除(waitdeleting)、导入中(loading)、更新中(updating)、备份中（baking）、服务备份中(servbaking)，其对应功能如表二所示。数据库表命名以表名+状态构成，如对外提供表名为grade，则数据库中服务中含状态的表名为grade_serving。各状态直接的转换状态机，如图2所示，建表操作完成后，进入“导入中”状态，开始向新建表中导入数据；“导入中”状态，遇“导入完成”触发进入“服务中”状态，遇“导入完成”且“查询优化”触发进入“备份中”状态；“备份中”状态，遇“数据库查询评估占优”触发进入“服务中”状态，遇“数据库查询评估未占优”触发进入“待删除”状态；“服务中”状态，遇“查询优化”触发进入“服务备份中”状态，遇“表删除请求”触发进入待删除状态，遇“数据库类型切换”触发进入“切换中”状态，遇“新数据导入”触发进行“更新中”状态；“更新中”状态，遇“更新完成”触发进入“服务中”状态；“服务备份中”状态，遇“nosql数据查询评估未占优”触发进入“服务中”状态，遇“nosql数据库查询评估占优”触发进入“待删除”状态；“切换中状态”遇“完成导入”进入“待删除”状态；数据库管理系统会定期对处于“待删除”状态且未提供查询服务的表进行删除。

表二表状态功能对应表

3、数据库集成系统表状态操作模块

功能：本模块提供两个功能：

表状态查询（show_status）：查询指定表的状态

表状态切换（change_status）:完成表的状态切换。

实现方式：

表状态查询（get_status）：遍历数据库中的表名，获取以指定表名开始的表，如查询grade表，数据库中的表状态为grade_serving，则返回状态“服务中”；若匹配不到grade，则返回该表不存在。

表状态切换（change_status）：根据表名调用表状态查询get_status，获取表状态，根据状态机中的转换关系，按触发消息类型，进行表重命名，如当前处于服务中的表grade_serving，收到“表删除请求”消息后，将表重命名为grade_waitdeleting；若重命名成功，则返回操作成功，否则，确保表处于切换前的状态，返回操作失败。

接口：

表状态查询：输入：数据库类型、表名；输出：表状态

表切换：输入：表名、切换触发消息；输出：切换是否成功

4、数据库类型切换功能模块

功能：对表的数据库类型进行切换、

接口：输入：表名，数据库类型切换触发消息；输出：切换结果

实现方式：根据数据库表状态切换自动机，对处于“服务中”状态的表进行数据库类型间的切换（关系型数据库与nosql数据库），以表grade为例，切换步骤如下：

表grade_serving(处于服务中状态)，收到change_status_message(数据库类型切换触发消息)，获取当前数据类型名（关系数据库或nosql数据库），根据数据库类型名获取切换目标的数据库类型名（当前数据库为关系型数据库，则切换目标的数据库类型为Nosql数据库；若当前数据库类型为Nosql数据库，则切换目标的数据库类型为关系型数据库）；

在切换目标数据库类型中按grade_serving的表格式建表，并将新表状态置为“导入中”grade_loading，将旧表grade_serving中的内容导入到新表grade_loading中，导入完成后，将旧表置为“待删除”状态grade_waitdeleting，将新表置为“服务中”状态grade_serving。

若上一步过程中所有操作成功，则返回切换成功；否则，将旧表状态改回“服务中”grade_serving，返回切换失败。

5、数据库集成系统表查询功能：

功能：通过使用数据库管理系统中的基本服务和表状态，选择能够提供查询服务表响应上层的查询请求。

接口：输入:表名（不含状态），查询条件集；输出：查询结果以及查询用时

实现方式：实现步骤如下：

S1、根据表名（不含状态后缀）获取该表当前的状态列表，以表grade为例，记录当前时间点t1

S2、若当前状态处于服务中，则调用表查询（select）按需求对grade_serving进行查询，转S7；否则继续

S3、若当前存在两个状态：备份中和服务备份中，则从这两个表中随机选择一个调用表查询（select）按需求进行查询，转S7；否则继续

S4、若当前状态处于切换中，则调用表查询按需求对grade_changing进行查询，转S7；否则继续

S5、若当前状态处于更新中，则调用表查询按需求对grade_updating进行查询，转S7；否则继续

S6、无可响应查询请求的表，返回查询失败

S7、查询成功，获取当前时间点t2，返回查询结果以及查询用时(t2-t1)。

数据库管理系统定期扫描表状态，对处于“待删除”状态的表进行删除。

数据导入组件：

功能：将数据文件按配置文件要求导入到数据库集成系统中

接口：输入：源文件目录、数据导入配置文件

实现方式：通过调用数据库导入模块实现。

数据库导入模块

功能：从文件系统中按照配置向数据库集成系统中导入数据，具体包含以下几个功能点：

提供内容过滤功能，通过配置文件对输入文件进行记录级筛选，以及属性级筛选。

提供导入目标数据库类型自动选择功能，由输入文件的字节规模以及记录数规模选择导入目标数据库的类型，如关系数据库类型（如mysql）或nosql数据库类型（如hbase，cassandra）等

提供导入目标数据库类型定制功能，通过配置文件指定源数据导入目标数据库的类型

接口：输入：文件目录、数据导入配置文件，导入数据库表名；输出：更新是否成功

实现方式：数据导入组件的流程如图3所示。主要步骤如下：

S1、读取对应数据导入配置文件，主要包含五个配置项：输入文件地址、数据内容筛选条件集、导入数据库类型、导入目标数据库名以及表名、导入目标表结构。

S2、判断目标表名在数据管理系统中是否存在，若存在则继续，否则转（11）；

S3、已有表结构与配置文件中指定的表结构是否一致，若一致则继续，否则转（7）；

S4、已有表结构与配置文件中指定的数据库类型是否一致，若一致转S6，否则继续；

S5、触发数据库类型切换流程（见数据管理系统模块）；

S6、遍历输入文件，按筛选条件集获取内容，插入目标数据库；转S15;

S7、配置文件中指定的数据类型是否为自动选择，若是则继续，否则转S10;

S8、遍历输入文件目录，按筛选条件获取内容生成中间文件集，评估中间文件集规模，若规模大于阈值，则转S6；否则继续

S9、已存在表的数据库类型是否为关系型数据库，若是则转S5；否则转S6;

S10、写日志“导入数据格式与已有表冲突”，转S15;

S11、配置文件中指定的数据类型是否为自动选择，若是则继续，否则转S10;

S12、遍历输入文件目录，按筛选条件获取内容生成中间文件集，评估中间文件集规模，若规模大于阈值，则转S14；否则继续

S13、在关系数据库中按指定表结构创建表；将中间文件集导入到新建表中；将新建表的状态设为服务中，转S15;

S14、在Nosql数据库中按指定表结构创建表；将中间文件集导入到新建表中；将新建表的状态设为服务中;

S15、结束。

查询优化组件：

功能：从查询效率的角度，选择存在性能瓶颈且可以通过类型切换提升性能的关系型数据库表进行数据库类型切换。

接口：输入：数据库表查询请求；输出：是否成功优化

实现方式：主要包含两个部分：表监测与优化，以及暂停优化队列维护。

暂停优化队列是为了实现表监测与优化设置的存储<表名，入队时间>对的队列，其中的表名不再参与优化监测；查询优化组件定时对暂停优化队列中的元素进行检测，超过一定时间阈值（如1小时）的元素会被从队列中移出。

表监测与优化：查询优化组件的核心功能，其流程图见图4。

数据库更新管理组件：

功能：负责对数据库管理系统中的表进行内容更新，支持不同时间粒度的周期更新以及手动触发的立即更新，借助于本发明建立的数据库管理组件中的状态系统，更新过程不会间断查询服务。

接口：输入：更新方式、更新配置文件（包含数据导入中的配置文件项以及更新时间粒度）；输出：更新是否成功

为验证本架构的效果，我们搭建了一个实现环境用于对比本发明与关系数据库以及nosql数据库在数据导入以及数据查询方面的差异。

实验环境：

硬件环境：Nosql服务器两台，Mysql服务器一台，本发明使用服务器三台，配置相同：分别为CPU：Intel Xeon(R)CPU E56202.40GHz*16，内存64GB，硬盘300G

软件环境：在一台服务器上搭建mysql数据库；两台服务器搭建Hive数据库；三台服务器搭建本发明的数据库管理系统（其中一台搭建Mysql环境，两台搭建Hive环境）

实验内容：

（1）数据查询实验，选择不同规模数据集进行导入，三种类型的导入时间如图5所示。手动获取规模为20万、50万和200万数据集的数据库类型分别为关系型、关系型和Hive数据库；

结论：该系统支持基于数据规模进行数据库类型的自动切换，且导入时间效率上在关系数据库和Nsql数据库上表现出很好的折中，未出现性能瓶颈

（2）数据导入实验，选择不同规模数据集进行导入，三种类型的导入时间如图6所示。手动获取规模为2万、20万和100万数据集的数据库类型分别为关系型、关系型和Hive数据库；

结论：该系统支持基于查询效率进行数据库类型的自动切换，在查询效率出现瓶颈时能够大幅度提升查询效率。

综上：本发明设计的大数据管理系统架构能够充分兼容关系数据库成果，在不进行数据库迁移的基础上可以提供良好的可扩展性和查询效率。

综上所述，本发明提供的一种兼容关系数据库的数据管理系统，至少能够带来以下的有益效果：

1、本发明在两种类型的数据库中实现了对相同表名的写互斥、读并发，使得外层组件的操作人员可以方便的实现数据库类型的更新、切换、删除等操作；

2、本发明基于查询效率对数据类型进行可切换性评估，对关系型数据库存在查询瓶颈的表进行类型切换，低成本获取对该表更好的可扩充性；

3、本发明在数据库导入时提供智能化选择，当表规模较小时，使用关系型数据库，当表规模接近关系型数据库瓶颈时，会换到nosql数据库，用户导入数据时，并不需要了解其中的细节，只需填写一个配置单即可。

本发明能够根据产品和服务的评价数据，并结合高清交互数字家庭电视购物产品质量保障和服务评价系统的交易数据对商家的服务质量进行评价和公布，能够使用户能够对商家和产品的综合情况一目了然，从而大大方便了用户。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种兼容关系数据库的数据管理系统，其特征在于，包括：相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作，支持数据库表的导入、更新和查询操作；

2.根据权利要求1所述的数据管理系统，其特征在于，该数据管理系统还包括：

3.根据权利要求2所述的数据管理系统，其特征在于，

数据库类型切换功能模块具体用于，根据数据库表状态切换自动机，对处于“服务中”状态的表进行数据库类型间的切换。

4.根据权利要求2所述的数据管理系统，其特征在于，表的状态包括：服务中、切换中、待删除、导入中、更新中、备份中以及服务备份中的一种或多种。

5.根据权利要求2所述的数据管理系统，其特征在于，

所述数据库集成系统表状态操作模块具体用于，遍历数据库中的表名，获取以指定表名开始的表，返回其具体状态，并根据表名调用表状态查询，获取表状态，根据状态机中的转换关系触发其转变状态，并返回转变成功与否的结果。

6.根据权利要求1所述的数据管理系统，其特征在于，

所述数据导入组件具体用于，通过配置文件对输入文件进行记录级筛选和属性级筛选，由输入文件的字节规模以及记录数规模选择导入目标数据库的类型，并通过配置文件指定源数据导入目标数据库的类型。

7.根据权利要求1-6中任意一项，其特征在于，

所述数据库更新管理组件具体用于，通过手动读取更新配置文件，调用数据导入中间件中的数据导入模型进行数据更新，更新完成后返回数据导入模型的执行结果，或者是读取更新配置文件，为配置文件中的每个表建立一个线程，按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新，线程按配置文件制定的周期进行休眠，休眠完成后再按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新。