CN105354328A - 一种解决NoSQL数据库并发访问冲突的系统及方法 - Google Patents

Abstract

本发明公开一种解决NoSQL数据库并发访问冲突的系统及使用该系统的解决方法，实现了NoSQL数据库在Web应用中并发操作数据资源发生冲突的问题，在不改变web前端代码和NoSQL数据库端的访问接口的方式下，设计新的数据访问代理的处理方法,采用将数据并发判断处理提前，减轻数据库端的访问压力、避免NoSQL数据库同资源冲突操作的业务不一致性；同时采用REST风格的接口方式，实现各层之间交互的松耦合。

Description

一种解决NoSQL数据库并发访问冲突的系统及方法

技术领域

本发明涉及信息交互的数据库访问技术领域。

背景技术

随着互联网web2.0的兴起，非关系型数据库NoSQL现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0应用，特别是超大规模和高并发的动态Web企业级应用已经显得力不从心，暴露了很多难以克服的问题。

NoSQL数据库种类繁多，但都基本具有易扩展、大数据量、高性能、灵活的数据模型、高可用等优势特点；NoSQL数据库在下列场景比较适用：数据模型比较简单，需要灵活性更强的IT系统，对数据库性能要求较高，不需要高度的数据一致性，对于给定Key比较容易映射复杂值得环境。

NoSQL数据库在Web应用上的适应性，以及大多数开源项目的低成本要求，更加速了NoSQL数据库在新兴的云计算、大数据互联网应用的推广。

随着Ajax、RoR等新的Web开发技术的回归与兴起，REST架构风格得到更多的关注与运用，当今各种流行的Web开发框架，几乎没有不支持REST开发的了。许多NoSQL数据库都有REST式的数据接口或者查询API；在快速开发Web应用的原型系统或小型应用中，可直接基于HTTP协议操作数据库，提高系统开发效率。

虽然现行Web应用大多数的特点是多读少写，并且很少有复杂事务需求。然而依然存在并发修改或删除相同数据信息的情况存在，如订票、抢单等多请求对统一资源的竞争处理，反映到数据库往往就是单条记录的并发冲突，处理不当会造成数据混乱，结果难以修复。

传统解决方案有：

1)利用关系型数据库的锁机制

关系型数据有整套的事务并发处理机制，比如表级锁、行级锁、死锁检测，回滚等。一些数据访问中间件框架如J2EE中的Hibernate等，使用的悲观锁与乐观锁，也是依靠数据库的锁机制实现的。

2)数据库操作单线程控制

即将对数据库的记录操作，以单线程处理，即串行化隔离方式，采用操作队列顺序访问；或者优化处理，将查询访问采用数据库连接池多线程访问，增删改等操作采用单线程处理。

3)采用数据版本记录机制

将数据增加一个版本号或时间戳版本标识，即数据库表增加一个“版本”字段实现，更新版本号变动，将提交数据的版本数据与数据库表对应记录的当前版本信息进行比对，如果提交的数据版本号大于数据库表当前版本号，则予以更新，否则认为是过期数据。

上述的已有解决方案的技术中，主要有以下缺点：

1)过度依赖关系型数据库的特性，当采用NoSQL数据库时无法适应。

2)简单粗暴的丢弃多线程数据库访问处理的能力和NoSQL高并发读写效率，大大降低Web应用并发访问的性能要求。

3)增加了数据模型设计的复杂度，也使得对数据操作的额外增加筛选条件，对数据的回退、迁移、备份等增加难度。

发明内容

由于以上现有技术各有各的特点和缺陷，本发明提出一种新的针对NoSQL数据库并发访问冲突的解决办法，可以减少系统复杂程度，提高Web应用开发效率，保证数据一致性要求。

为达到上述目的，本发明可采用如下技术方案：

一种解决NoSQL数据库并发访问冲突的系统，其特征在于：包括Web服务器、连接客户端和Web服务器的网络代理、NoSQL数据库、连接NoSQL数据库与Web服务器的数据访问代理；其中数据访问代理采用REST风格的API接口操作数据库；数据访问代理对外提供标准的HTTP请求访问接口；数据访问代理接收符合REST风格标准的HTTP资源操作请求，并采用http请求响应模式返回JSON格式操作结果。

相对于现有技术，本发明具体实现了NoSQL数据库在Web应用中并发操作数据资源发生冲突的问题，在不改变web前端代码和NoSQL数据库端的访问接口的方式下，设计新的数据访问代理的处理方法,采用将数据并发判断处理提前，减轻数据库端的访问压力、避免NoSQL数据库同资源冲突操作的业务不一致性；同时采用REST风格的接口方式，实现各层之间交互的松耦合。

使用上述系统的解决方法包括以下步骤：

步骤1，访问请求监听负责接收来自请求方的数据操作请求，建立http连接，并创建响应回调模式；

步骤2，URI解析请求过滤，将HTTP请求首先进行解析处理，从URL字串中解析出要操作的数据资源名、资源标识id，以及操作动作类型即请求类型；

步骤3，将数据查询类GET请求，直接发送数据访问执行线程控制处理，生成与NoSQL数据库RESTAPI调用请求，直接获取数据查询结果，执行响应回调，返回结果Response；

步骤4，将数据增删改类操作封装成任务单元，根据资源名和主键值，分别建立对应的处理队列；

步骤5，先进先出的处理队列的模式，由数据访问执行线程控制单元根据队列任务顺序执行，实现并发的控制调度，使某个id实现同时只有唯一的处理线程；

步骤6，数据访问代理还采用内存库的方式，实现操作任务队列存储和操作资源数据结果缓存，满足上述处理步骤的中间数据访问需求。

附图说明

图1是本发明中的系统架构图。

图2是本发明中数据访问代理内部处理流程图。

具体实施方式

本技术方案的架构思想如图1所示，从客户端请求到数据库，全部采用HTTP请求模式，保证了技术体系的一致性和易扩展性。具体如下：

1)抛弃了传统的通过数据库驱动程序访问数据的方式，采用REST风格的API接口操作数据库(NoSQL数据库自带REST访问接口)，有利于数据库访问的编程语言无关性。

2)增加数据访问代理，这是本技术方案的核心部件，可以作为独立的数据访问层部署在单独的服务器中，接收多Web服务器的数据库操作请求，在小型应用中也可部署在Web应用服务器上。

3)数据访问代理对外提供标准的HTTP请求访问接口，保持与NoSQL数据库RESTAPI接口风格一致，提供无状态数据库操作访问代理服务；Web服务应用无需担心数据访问并发冲突，所以数据操作请求由代理中的并发访问控制实现。

4)数据访问代理接收符合REST风格标准的HTTP资源操作请求：GET、POST、PUT、DELETE，这正是对数据库资源CRUD操作的实现分别为查询、新增、修改、删除，采用http请求响应模式返回JSON格式操作结果，可根据业务要求，返回自定义的操作结果和并发处理预期响应。

RESTAPI设计就是为了消除创建松散耦合服务时的依赖关系，这也正是过去分布式体系结构的缺陷，RESTAPI的设计目标就是不依赖于任何通信协议。众多的NoSQL数据库都可以通过RESTful的方式访问，这样可以通过URI的方式建立数据库连接和操作，简化与数据库的交互过程。

数据访问代理的设计思想：

1)数据访问代理作为数据资源访问NoSQL数据库的中间代理访问层，是独立运行的中间件服务器。

2)数据访问代理以跨平台原则设计，采用Java或Node.js作为运行基础环境。对大型Web应用的响应要求，从架构上建议采用异步非阻塞式的松耦合模式，使用Node.js更符合目前开发需求。

如图2所示，本设计方案的数据访问代理内部处理流程如下：

步骤1，访问请求监听负责接收来自请求方的数据操作请求，建立http连接，并创建响应回调模式(Java下使用Response对象向后传递，Nodejs采用回调函数)。

步骤2，URI解析请求过滤，将HTTP请求首先进行解析处理，从URL字串中解析出要操作的数据资源名(通常可理解为表名)、资源标识id(记录主键)，以及操作动作类型(CRUD)，即请求类型GET、POST、PUT、DELETE。

步骤3，将数据查询类GET请求，直接发送数据访问执行线程控制处理，又控制处理，生成与NoSQL数据库RESTAPI调用请求，直接获取数据查询结果，执行响应回调，返回Response结果。

步骤4，将数据增删改类操作，即对应的POST、PUT、DELETE类型的请求，封装成任务单元，根据资源名和主键值，分别建立对应的处理队列。

步骤5，先进先出的处理队列的模式，由数据访问执行线程控制单元根据队列任务顺序执行，实现并发的控制调度，确保对某个id实现同时只有唯一的处理线程，即避免相同数据资源的并发操作。

步骤6，数据访问执行线程控制单元在执行数据访问任务时，可根据业务需求，对执行操作的逻辑实现编码控制，如时间判断、前后同类资源差异判断等条件分支处理，以达到控制资源操作的冲突矛盾，不满足业务要求的直接返回回调Response，避免对NoSQL数据库调用的资源浪费。

步骤7，数据访问代理还将采用内存库的方式，实现操作任务队列存储和操作资源数据结果缓存，满足上述处理步骤的中间数据访问需求。

本发明的关键点是提出一个新的较为有效的解决方案，具体实现了NoSQL数据库在Web应用中并发操作数据资源发生冲突的问题，在不改变web前端代码和NoSQL数据库端的访问接口的方式下，设计新的数据访问代理的处理方法,采用将数据并发判断处理提前，减轻数据库端的访问压力、避免NoSQL数据库同资源冲突操作的业务不一致性；同时采用REST风格的接口方式，实现各层之间交互的松耦合。

本发明的欲保护点是新型的技术解决方案，该方案在于REST接口访问数据库的模式下，采用数据资源处理队列结合业务逻辑控制判断的方式，解决了在NoSQL数据库访问中，资源操作访问冲突给业务系统带来的数据异常问题。

这种针对网络应用的设计和开发方式，可以降低开发复杂性，提供较为可靠的数据资源避免冲突的解决，同时带来系统的高可伸缩性。

本发明应用于分布式Web应用系统，体现了如下优点：

采用了不依赖其他协议的通信接口访问。

独立的中间件处理服务方式，不影响web前端和业务端系统。

通用统一的REST风格的接口，与NoSQL数据库RESTAPI访问接口一致，有利于在开发初期进行原型系统的搭建时，直接调用RESTAPI的NoSQL数据库访问，无缝对接，快速开发。

可通过对数据资源的访问接口方式改造，在不影响前端业务的情况下，对关系型数据库、文件资源等其他非NoSQL数据库资源实现类似的并发冲突问题。

另外，本发明的具体实现方法和途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种解决NoSQL数据库并发访问冲突的系统，其特征在于：包括Web服务器、连接客户端和Web服务器的网络代理、NoSQL数据库、连接NoSQL数据库与Web服务器的数据访问代理；

其中数据访问代理采用REST风格的API接口操作数据库；数据访问代理对外提供标准的HTTP请求访问接口；

数据访问代理接收符合REST风格标准的HTTP资源操作请求，并采用http请求响应模式返回JSON格式操作结果。

2.根据权利要求1所述的解决NoSQL数据库并发访问冲突的系统，其特征在于：客户端请求到NoSQL数据库，全部采用HTTP请求模式。

3.根据权利要求1所述的解决NoSQL数据库并发访问冲突的系统，其特征在于：数据访问代理作为独立的数据访问层部署在单独的服务器中以接收多Web服务器的数据库操作请求，或者数据访问代理部署在Web应用服务器上。

4.使用根据权利要求1至3任一项所述解决NoSQL数据库并发访问冲突的系统的解决方法，其特征在于，包括以下步骤：

步骤1，访问请求监听负责接收来自请求方的数据操作请求，建立http连接，并创建响应回调模式；

步骤2，URI解析请求过滤，将HTTP请求首先进行解析处理，从URL字串中解析出要操作的数据资源名、资源标识id，以及操作动作类型即请求类型；

步骤3，将数据查询类GET请求，直接发送数据访问执行线程控制处理，生成与NoSQL数据库RESTAPI调用请求，直接获取数据查询结果，执行响应回调，返回结果Response；

步骤4，将数据增删改类操作封装成任务单元，根据资源名和主键值，分别建立对应的处理队列；

步骤5，先进先出的处理队列的模式，由数据访问执行线程控制单元根据队列任务顺序执行，实现并发的控制调度，使某个id实现同时只有唯一的处理线程；

步骤6，数据访问代理还采用内存库的方式，实现操作任务队列存储和操作资源数据结果缓存，满足上述处理步骤的中间数据访问需求。

5.根据权利要求4所述的解决方法，其特征在于：响应回调模式为Java下使用Response对象向后传递，Nodejs采用回调函数。

6.根据权利要求4所述的解决方法，其特征在于：数据访问执行线程控制单元在执行数据访问任务时，根据业务需求，对执行操作的逻辑实现编码控制，以达到控制资源操作的冲突矛盾，不满足业务要求的直接返回回调Response。