CN105808776A - 一种分布式数据库的数据管理系统及方法 - Google Patents

Abstract

本发明公开了一种分布式数据库的数据管理系统及方法，其中，所述系统包括：连接配置管理模块，用于读取数据库操作配置文件，获取数据库连接会话对象，通过连接会话对象对数据库进行统一的数据连接管理；输入数据转换模块，用于根据数据库操作配置文件的脚本信息和输入的数据对象，将输入的数据对象的数据类型转换为数据库可以识别的统一类型；操作执行模块，用于根据脚本信息调用输入数据转换模块中转换数据类型后的数据对象并对其赋值，获取数据库连接会话对象，请求数据库执行操作并得到结果集，调用结果集转换模块获得数据库操作结果；结果集转换模块用于将数据库的操作结果转换为统一的JAVA对象。采用本发明可实现统一的数据连接管理功能。

Description

一种分布式数据库的数据管理系统及方法

技术领域

本发明涉及数据管理领域，更为具体而言，涉及一种分布式数据库的数据管理系统及方法。

背景技术

随着互联网大规模的Web2.0应用的兴起及云计算需要的大规模分布式服务和分布式存储的发展，传统的关系数据库面临着诸多全新的挑战，特别是在那些超大规模和高并发类型的应用场景下，使用关系数据库来存储和查询用户动态数据已经显得力不从心，暴露了很多难以克服的问题，例如需要很高的实时插入性能；需要海量的数据存储能力同时还需要非常快的查询检索速度；需要将数据存储无缝扩展到整个集群环境下，并且能够在线扩展等等。在这样的背景下，NoSQL(NotOnlySQL，泛指非关系型的数据库)数据库就应运而生了，使用NoSQL数据库已经成为互联网时代尤其是大数据时代的一个必然选择。

在关系型数据库的时代，O/RMapping(ObjectRelationalMapping，对象关系映射)成为了一种数据访问的常用模式，这一思想的运用，极大的简化了数据访问的代码量，使得开发人员可以将精力集中在业务逻辑的编写上，减少了大量重复工作。

常见的关系型数据库O/RMapping技术有hibernate(对象关系映射框架)等。在分布式数据库领域，目前主要有spring-data系列：SpringData作为SpringSource的其中一个父项目，旨在统一和简化对各类型持久化存储，而不拘泥于是关系型数据库还是NoSQL数据存储。无论是哪种持久化存储，数据访问对象(或称作为DAO，即DataAccessObjects)通常都会提供对单一域对象的CRUD(Create、Read、Update、Delete，即创建、读取、更新、删除)操作、查询方法、排序和分页方法等。SpringData则提供了基于这些层面的统一接口(CrudRepository，PagingAndSortingRepository)以及对持久化存储的实现。

为了方便使用NOSQL分布式数据库进行应用开发，借鉴iBatis(一种基于SQL映射支持Java和NET的持久层框架)实现了非关系型数据库持久化组件。目前常用的非关系型数据库持久化组件技术包括spring-data(是SpringSource基金会下的一个用于简化数据库访问并支持云服务的开源框架)组件或者直接使用原生驱动包。但是由于spring-data组件集成的spring版本较新，无法与框架平台代码共存，另外在使用方面也缺乏灵活性，而直接使用原生驱动，则会大大增加代码重复程度，难以形成统一的数据操作方法，亟需可以提供统一的数据连接管理功能、统一的数据操作API(ApplicationProgrammingInterface，应用程序编程接口)以及统一的数据与JAVA对象映射的数据管理系统。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种分布式数据库的数据管理系统及方法，能够解决当前数据管理系统缺乏统一的数据连接管理功能、统一的数据操作API以及统一的数据与JAVA对象映射的数据管理系统问题。

具体地，本发明实施方式提供了一种分布式数据库的数据管理系统，其包括：

连接配置管理模块，用于读取数据库操作配置文件，获取数据库连接会话对象，并通过所述连接会话对象对所述数据库进行统一的数据连接管理；

输入数据转换模块，用于根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

操作执行模块，用于根据所述脚本信息，调用所述输入数据转换模块中转换数据类型后的数据对象，并对其进行赋值，获取所述数据库连接会话对象，请求所述数据库执行操作并得到结果集，根据所述数据库返回的结果集，调用结果集转换模块获得数据库操作结果；

所述结果集转换模块，用于将所述数据库的操作结果转换为统一的JAVA对象。

相应地，本发明实施方式还提供了一种分布式数据库的数据管理方法，其包括：

读取数据库配置文件或者传入连接参数信息，获取数据库连接会话对象，管理所述数据库连接，并通过所述连接会话对象对所述数据库进行数据管理；

根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

根据所述脚本信息对所述转换数据类型后的数据对象进行输入参数赋值，获取所述数据库连接会话，请求所述数据库执行操作得到结果集，将所述数据库的操作结果转换为统一的JAVA对象。

采用本发明实施方式具有下述有益效果：

通过统一的数据连接管理功能、统一的数据操作API以及统一的数据与JAVA对象映射，有效改善了系统操作的灵活度和运行效率。

附图说明

图1是根据本发明实施方式的一种分布式数据库的数据管理系统的架构图；

图2示出了图1所示的操作执行模块300的框图；

图3是根据本发明实施方式的一种分布式数据库的数据管理方法的流程示意图。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

首先对根据本发明可能涉及到的名称或术语进行解释。

CAP原则：Consistency(一致性)、Availability(可用性)、Partitiontolerance(分区容错性)；

一致性(C)：在分布式系统中的所有数据备份，在同一时刻是否同样的值。(等同于所有节点访问同一份最新的数据副本)

可用性(A)：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。(对数据更新具备高可用性)

分区容忍性(P)：以实际效果而言，分区相当于对通信的时限要求。系统如果不能在时限内达成数据一致性，就意味着发生了分区的情况，必须就当前操作在C和A之间做出选择。

对象关系映射(ObjectRelationalMapping，简称ORM)：通过使用描述对象和数据库之间映射的元数据，将java程序中的对象自动持久化到关系数据库中。

列式存储：相对于传统关系型数据库的行式存储的概念，列式存储是以列为顺序来存放数据。

实施例1：

图1是根据本发明实施方式的一种分布式数据库的数据管理系统的架构图。参照图1，所述系统包括：

连接配置管理模块100，用于读取数据库操作配置文件，获取数据库连接会话对象，并通过所述连接会话对象对所述数据库进行统一的数据连接管理；

输入数据转换模块200，用于根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

操作执行模块300，用于根据所述脚本信息，调用所述输入数据转换模块中转换数据类型后的数据对象，并对其进行赋值，获取所述数据库连接会话对象，请求所述数据库执行操作并得到结果集，根据所述数据库返回的结果集，调用结果集转换模块获得数据库操作结果；

所述结果集转换模块400，用于将所述数据库的操作结果转换为统一的JAVA对象。

实施例2：

在本发明的另一种实施方式中，所述分布式数据库的数据管理系统除了具有上面实施例1所述的连接配置管理模块100、输入数据转换模块200、操作执行模块300和结果集转换模块400外，所述输入数据转换模块200将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型包括：将所述输入的JAVA对象转换为所述数据库可以识别的类型，并替换所述数据库中执行语句的输入参数占位符，从而得到可直接执行的执行语句。

实施例3：

在本发明的另一种实施方式中，除了具有上述实施例1或2所述的分布式数据库的数据管理系统外，所述系统还包括：执行脚本解析缓存模块，用于在所述连接配置管理模块执行完成后，对所述数据库操作配置文件的脚本信息进行解析，生成并保存预处理对象。

其中，执行脚本解析缓存模块在初始化时读取应用的数据库操作脚本的配置，并根据配置解析成数据库操作语句或者PreparedStatement对象(数据库预处理对象)、输入数据对象、输出数据对象。NsqlMapState为解析信息的配置缓存主对象，包括每个执行脚本解析信息对象NsqlMapConfiguration，数据库连接管理工厂对象NsqlSessionFactory，以及具体NoSQL数据库的PreparedStatement对象的工厂类接口NsqlPreparedStatement。NsqlMapState的对象生成由NsqlMapConfigParser类和NsqlMapParser类执行生成。其中，接口NsqlSessionFactory为数据库连接Session对象创建与管理接口，根据不同的NoSQL数据库实现对应的方法。接口NsqlPreparedStatement为创建PreparedStatement对象的接口，因为不同的NoSQL数据库，其创建方式不同，而做不同的实现类。

实施例4：

在本发明的另一种实施方式中，连接配置管理模块100，用于读取数据库操作配置文件，获取数据库连接会话对象，并通过所述连接会话对象对所述数据库进行统一的数据连接管理。在实际应用中，例如，可通过下述代码或配置信息实现该模块的功能：

<beanid＝"dataSource"class＝"com.ccb.dp.nosql.demo.spring.NsqlDataSource">

<propertyname＝"port"value＝"9042"/>

<propertyname＝"keyspace"value＝"demo"/>

<propertyname＝"contactPoints">

<list>

<value>128.192.60.108</value>

<value>128.192.60.104</value>

</list>

</property>

</bean>

类似地，输入数据转换模块200，用于根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型。例如在实际应用中，可通过下述代码或配置信息实现该模块的功能：

<statementid＝"enquireRedPacketById"

parameterClass＝"com.ccb.dp.nosql.demo.po.RedPacketPo"

resultClass＝"com.ccb.dp.nosql.demo.po.RedPacketPo">

SELECT

packet_idaspacketId,

create_user_idas

createUserId,

create_wx_idascreateWxId,

create_wx_nameas

createWxName,

blessing_wordasblessingWord,

create_timeascreateTime,

typeastype,

numberasnumber,

total_pointastotalPoint,

undrawed_numberasundrawedNumber,

undrawed_pointasundrawedPoint,

end_dateasendDate,

reduced_resultasreducedResult

FROMdemo.redPacket

WHEREpacket_id＝

#packetId#

</statement>

实施例5：

在本发明的另一种实施方式中，除了具有上述实施例所述的分布式数据库的数据管理系统外，所述结果集转换模块400将所述数据库的操作结果转换为统一的JAVA对象进一步包括：通过数据库表与所述JAVA对象的映射，将所述操作结果转换为JAVABEAN对象或MAP对象。

通过本发明的上述实施方式，可实现以下有益效果：基于O/RMapping的思想，结合在关系型数据库领域常用的ibatis框架，设计并实现了应用在分布式非关系型数据库(Cassandra)方面的数据对象映射解决方案，本着实用性第一的原则，大大简化了应用开发过程中在非关系型数据库数据存取方面的复杂程度，其便利性和关键特征主要体现在如下几个方面：(1)统一数据库连接管理，减少重复代码使用；(2)支持复杂查询语句的使用，不再局限于主键查询；(3)支持分页查询；(4)支持多种可配置花属性，如：一致性级别、查询返回记录数等；(5)减少公共jar包依赖，便于平台集成。对比现有的spring-data等常见的数据存取方案，本发明不仅提供了数据库连接管理功能、常见的数据操作API以及数据与对象的相互映射转换功能，而且提供了更接近底层驱动的数据操作语言的支持。

在使用方面，提供了一种类似ibatis的半自动化O/RMapping方式，这种方式具有spring-data等技术所不具备的优越性：支持自定义的查询语句编写而不仅仅局限在API的调用上；提供了对分布式数据库中实现较为复杂的分页查询语句的支持；同时也提供了一些分布式数据库中常见的配置属性的设置，如一致性级别、获取数据集大小等属性。

图2示出了图1所示的操作执行模块300的框图；参见图2，所述操作执行模300包括：

第一调用单元310，用于根据所述脚本信息，调用所述输入数据转换模块，对所述预处理对象进行输入参数赋值；

第二调用单元320，用于获取所述数据库连接会话对象，请求所述数据库执行操作得到结果集，根据所述数据库返回的结果集，调用结果集转换模块获得数据库操作结果。

图3是根据本发明实施方式的一种分布式数据库的数据管理方法的流程示意图。参见图3，所述方法包括：

步骤S1，读取数据库配置文件或者传入连接参数信息，获取数据库连接会话对象，管理所述数据库连接，并通过所述连接会话对象对所述数据库进行数据管理；

步骤S2，根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

步骤S3，根据所述脚本信息对所述转换数据类型后的数据对象进行输入参数赋值，获取所述数据库连接会话，请求所述数据库执行操作得到结果集，将所述数据库的操作结果转换为统一的JAVA对象。

在本发明的另一种实施方式中，所述将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型进一步包括：将所述输入的JAVA对象转换为所述数据库可以识别的类型，并替换所述数据库中执行语句的输入参数占位符，从而得到可直接执行的执行语句。

在本发明的另一种实施方式中，所述读取数据库操作配置文件进一步包括：对所述读取的数据库操作配置文件的脚本信息进行解析，生成并保存预处理对象。

在本发明的另一种实施方式中，所述根据所述脚本信息，并对所述转换后的数据对象进行赋值进一步包括：根据所述脚本信息，对所述预处理对象进行输入参数赋值。

在本发明的另一种实施方式中，所述将所述数据库的操作结果转换为统一的JAVA对象进一步包括：通过数据库表与所述JAVA对象的映射，将所述操作结果转换为JAVABEAN对象或MAP对象。

需要说明的是，所述分布式数据库的数据管理方法的具体实施方式，与上述分布式数据库的数据管理系统对应的实施例内容完全一致，在此不再重复赘述。

通过本发明的上述实施方式，可实现以下有益效果：基于O/RMapping的思想，结合在关系型数据库领域常用的ibatis框架，设计并实现了应用在分布式非关系型数据库(Cassandra)方面的数据对象映射解决方案，本着实用性第一的原则，大大简化了应用开发过程中在非关系型数据库数据存取方面的复杂程度。可实现统一的数据连接管理功能、统一的数据操作API以及统一的数据与JAVA对象映射，有效改善了系统操作的灵活度和运行效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (10)

1.一种分布式数据库的数据管理系统，其特征在于，所述系统包括：

连接配置管理模块，用于读取数据库操作配置文件，获取数据库连接会话对象，并通过所述连接会话对象对所述数据库进行统一的数据连接管理；

输入数据转换模块，用于根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

操作执行模块，用于根据所述脚本信息，调用所述输入数据转换模块中转换数据类型后的数据对象，并对其进行赋值，获取所述数据库连接会话对象，请求所述数据库执行操作并得到结果集，根据所述数据库返回的结果集，调用结果集转换模块获得数据库操作结果；

所述结果集转换模块，用于将所述数据库的操作结果转换为统一的JAVA对象。

2.如权利要求1所述的系统，其特征在于，所述将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型包括：

将所述输入的JAVA对象转换为所述数据库可以识别的类型，并替换所述数据库中执行语句的输入参数占位符，从而得到可直接执行的执行语句。

3.如权利要求1所述的系统，其特征在于，所述系统还包括：

执行脚本解析缓存模块，用于在所述连接配置管理模块执行完成后，对所述数据库操作配置文件的脚本信息进行解析，生成并保存预处理对象。

4.如权利要求3所述的系统，其特征在于，所述操作执行模块包括：

第一调用单元，用于根据所述脚本信息，调用所述输入数据转换模块，对所述预处理对象进行输入参数赋值；

第二调用单元，用于获取所述数据库连接会话对象，请求所述数据库执行操作得到结果集，根据所述数据库返回的结果集，调用结果集转换模块获得数据库操作结果。

5.如权利要求1所述的系统，其特征在于，所述将所述数据库的操作结果转换为统一的JAVA对象包括：

通过数据库表与所述JAVA对象的映射，将所述操作结果转换为JAVABEAN对象或MAP对象。

6.一种分布式数据库的数据管理方法，其特征在于，所述方法包括：

读取数据库配置文件或者传入连接参数信息，获取数据库连接会话对象，管理所述数据库连接，并通过所述连接会话对象对所述数据库进行数据管理；

根据所述数据库操作配置文件的脚本信息和输入的数据对象，将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型；

根据所述脚本信息对所述转换数据类型后的数据对象进行输入参数赋值，获取所述数据库连接会话，请求所述数据库执行操作得到结果集，将所述数据库的操作结果转换为统一的JAVA对象。

7.如权利要求5所述的方法，其特征在于，所述将所述输入的数据对象的数据类型转换为所述数据库可以识别的统一类型包括：

将所述输入的JAVA对象转换为所述数据库可以识别的类型，并替换所述数据库中执行语句的输入参数占位符，从而得到可直接执行的执行语句。

8.如权利要求6所述的方法，其特征在于，所述读取数据库操作配置文件包括：

对所述读取的数据库操作配置文件的脚本信息进行解析，生成并保存预处理对象。

9.如权利要求6所述的方法，其特征在于，所述根据所述脚本信息，并对所述转换后的数据对象进行赋值包括：

根据所述脚本信息，对所述预处理对象进行输入参数赋值。

10.权利要求6所述的方法，其特征在于，所述将所述数据库的操作结果转换为统一的JAVA对象包括：

通过数据库表与所述JAVA对象的映射，将所述操作结果转换为JAVABEAN对象或MAP对象。