CN101930472A

CN101930472A - 一种支持分布式数据库基于并行查询的方法

Info

Publication number: CN101930472A
Application number: CN 201010277129
Authority: CN
Inventors: 王春
Original assignee: NANJING ZHONGXING SPECIAL SOFTWARE CO Ltd
Current assignee: NANJING ZHONGXING SPECIAL SOFTWARE CO Ltd
Priority date: 2010-09-09
Filing date: 2010-09-09
Publication date: 2010-12-29

Abstract

一种分布式数据库的并行查询方法，它通过引入proxy、qcs模块的设计使查询系统具有了支持高并发性、分布式数据库的能力，能满足大型应用系统的要求。同时通过对查询任务“分而治之”的思想，由qcs模块多并发发起查询，优先返回查询速度快的粒度数据，从而达到了系统整体查询性能显著提升的效果，可以满足绝大多数应用系统快速查询的需要。

Description

一种支持分布式数据库基于并行查询的方法

技术领域

本发明涉及一种业务应用软件领域中的数据库查询方法，尤其是一种基于并行化处理手段实现对分布式数据库进行快速查询的方法，具体地说是一种分布式数据库的并行查询方法。

背景技术

目前，对于大型的业务应用系统，数据量大多在100T级别以上，对于如此大数据量的环境下，如何给终端用户提供快速查询将变得越来越重要。

传统的查询模式如图1所示。应用层进行一个复杂的查询需要经过多次到数据库的交互，如果DBMS（数据库服务器）存在多个，则应用程序另外需要遍历多个数据库服务器，最终才能把数据显示给用户。在不考虑数据库优化及SQL（结构化查询语言）优化的前提下，这种查询模式存在如下的缺点：

1. 由于是串行同步处理查询请求，对于复杂的或者命中数据量较大的查询，必然会导致整体查询延迟比较长，最终用户无法忍受。如果采用分批数据返回的形式，一方面，大大增加了编程的复杂性。另一方面，无法进行预读处理，影响翻页性能。

2.在串行查询的过程中，遇到某个DBMS负荷过大或者故障，容易导致查询时间较长，将影响最终的响应速度。

3. 用户需要进行多类别数据查询时，应用程序不得不增加嵌套查询，容易导致编程复杂并增加查询延迟。

4. 为了减少数据库节点，以避免交互过多，需要增加数据库服务器的硬件成本，无法使用更廉价的服务器；

目前随着数据库技术的发展，出现了基于并行技术的数据库，如greenplum，因此如何利用现有的基于并行技术的数据库加快数据的查询是提高查询效率的关键。

发明内容

本发明的目的是针对现有的查询方法难以适应大数据量查询速度要求的问题，发明一种能快速实现查询并及时返回查询结果的分布式数据库的并行查询方法。

本发明的技术方案是：

一种分布式数据库的并行查询方法，其特征是：

首先，设置查询代理模块（proxy），使查询代理模块直接接收外部模块的查询命令；

其次，设置多个与查询代理模块相关联的查询核心模块(qcs)，数据查询核心模块（qcs）通过分解任务提供对数据多维的粒度查询，提高整体的响应速度，查询核心模块(qcs)通过多线程技术，多并发查询数据库（dbms），充分发挥商用数据库的高吞吐量、高并发的特点，同时对多线程进行协调控制，查询流程管理；

第三，采用分批数据返回的形式并采用预读机制，提高响应速度。

所述的采用分批数据返回是指业务层通过上下翻页的形式进行分批数据查询，类似google查询，通过预读取机制，快速给业务层返回数据。

所述的查询代理模块用于对外提供外部查询接口，对内把查询请求根据负荷分担的原则轮流分发到查询核心模块(qcs)处理并把查询结果返回给外部模块；对于查询有权限控制需求的应用，也可以在查询代理模块中做权限控制。

所述的查询核心模块(qcs)互相独立，用于对所有在线数据库进行查询，采用多查询核心模块(qcs)机制可以对上层请求进行负荷分担（此为第一级分发），以便提高系统的并发处理性能，另外也避免了单点故障问题；查询核心模块(qcs)采用多线程技术，对收到的查询请求根据用户的查询数据类别、时间段粒度、数据库节点数灵活进行分发查询（此为第二级分发）；对查询的结果记录可以采用全内存保存（支持动态回收内存），也可以通过file mapping映射成文件，便于对查询结果数据进行二次检索和操作；查询核心模块(qcs)需要定时对查询代理模块（proxy）进行心跳，以便查询代理模块（proxy）实时了解当前在线的查询核心模块(qcs)。

本发明的有益效果：

1. 灵活支持业务应用多粒度多维度的查询请求，通过二次分发，充分发挥商用数据库高并发性、高吞吐量的特点。

2. 程序便于部署，通过多模块支持，可以满足业务高并发性的要求。

3. 优先返回查询最快的部分数据，提供快速查询响应支持。

4. 通过预读取机制，可以迅速完成上下翻页查询请求。

5. 模块单点故障不影响整体查询功能，具有高可靠性。

6. 支持分布式数据库，可满足大型应用系统的要求。

7. 完备的日志记录，可以迅速诊断查询问题及数据库告警。

8. 数据库端不要求很高的硬件配置，通过并行处理在中低端的服务器上也能得到较好的查询性能,降低成本；

9. 提供类似google的分批查询，可以给用户提供良好的操作体验。

10. 本发明基于并行处理的思想，把大任务“分而治之”，根据用户多样的查询需求，多粒度发起查询，优先返回查询最快的数据，显著提高了查询效率。

附图说明

图1是传统的数据查询模式结构示意图。

图2是本发明方法的查询系统架构图。

图3 为本发明方法的查询流程图。

图4是本发明的查询核心模块(qcs)针对查询（首次、翻页）的具体流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图2-4所示。

一种分布式数据库的并行查询方法，它包括以下步骤：

其次，设置多个与查询代理模块相关联的查询核心模块(qcs)，两者构成的查询系统架构请参考图2，数据查询核心模块（Qcs）通过分解任务提供对数据多维的粒度查询，提高整体的响应速度，查询核心模块(qcs)通过多线程技术，多并发查询数据库（dbms），充分发挥商用数据库的高吞吐量、高并发的特点，同时对多线程进行协调控制，查询流程管理；

第三，对查询结果采用分批数据返回的形式并采用预读机制，提高响应速度，以缩短大数据量查询结果的首次相应时间。

其中：

u 查询代理模块（proxy）

查询代理模块的作用是对外提供外部查询接口，对内把查询请求根据负荷分担的原则轮流分发到qcs模块处理并把查询结果返回给外部模块（为了避免成为瓶颈，也需要多线程返回查询记录）。对于查询有权限控制需求的应用，也可以在这一层做权限控制。

u 查询核心模块(qcs)

各查询核心模块之间互相独立，提供对所有在线数据库的查询能力。采用多模块机制可以对上层请求进行负荷分担（此为第一级分发），以便提高系统的并发处理性能。另外也避免了单点故障问题。该模块采用多线程技术，对收到的查询请求根据用户的查询数据类别、时间段粒度、数据库节点数等灵活进行分发查询（此为第二级分发）。对查询的结果记录可以采用全内存保存（支持动态回收内存），也可以通过file mapping映射成文件，便于对查询结果数据进行二次检索和操作。qcs模块需要定时对proxy模块进行心跳，以便proxy实时了解当前在线的qcs模块。所述的心跳即状态通知消息，用于qcs定时上报自身的状态，便于proxy知道当前状态正常的qcs都有哪些。

u 查询代理模块（proxy）和查询核心模块(qcs)的消息交互如图3所示：

301，外部模块构造查询条件对proxy发起新的查询请求。

302，proxy模块收到查询请求后，轮循找一个状态正常的qcs模块，发送查询消息，并在本地记录本次查询，以便进行超时控制。

303，qcs模块通过并行方式查询到结果记录后就发送回proxy模块，并记录当前发送的条数，当达到每页条数限制后就发送结束消息。

304，proxy把查询结果转发给外部模块，并删除本地查询记录节点。

305，外部模块发起上下翻页查询请求给proxy。

306，proxy把上下翻页查询请求发送给全部的qcs模块(注：proxy不记录上次发送的qcs节点，以免proxy模块故障重启导致先前查询中断)。

307，qcs模块首先查找内存缓存，如果有记录就直接发送给proxy，没有则继续查找数据库并发送给proxy。

308，proxy把查询结果发送回外部模块，并删除本地查询记录节点。

309，如果采用内存缓存查询记录，需要及时回收查询结束的缓存，所以外部模块在关闭当前查询时需要通知proxy结束这次查询。

310，proxy把结束请求发送给pcs。

qcs模块针对查询（首次、翻页）的具体流程如图4所示

（以采用全内存缓存查询记录为例，具体实施时还可采用映射成文件的方式进行）：

401，qcs模块收到proxy转发的查询请求。

402，判断这次查询请求是首次查询还是上下翻页查询。

403，预先从启动分配好的大内存中申请一块小内存，用于缓存记录，内存不足则发送失败消息给proxy。Proxy收到该失败消息后需要轮询尝试其他的qcs节点，直至成功，如果全部失败才最后返回失败消息给业务层。

404，根据业务应用类型，通过查询条件确定本次查询的数据种类。

405，把本次查询的相关信息构成一个查询节点存入HASH表中。查询节点信息包括但不限于如下内容：

Qid: 全局唯一标识查询序号，由qcs模块生成。

Timestab:时间戳，每次翻页需要更新，用于查询超时删除。

Totalrec：记录当前总缓存记录条数。

Recsend: 当前分页查询发送记录数，用于控制查询结果条数的发送。

Cs:互斥变量，用于每个线程互斥使用当前查询节点。

Datatype:查询数据类别总数，根据具体业务应用划分。

Timeseg: 查询时间间隔数，对于查询时间段较长的具体查询，可以划分多个时间粒度并行查询。

Failcnt：查询失败线程数。

Endnum:查询结束粒度个数，用于判断当前查询的所有粒度是否完成，另外如果该值达到了总的粒度数，则表示可以回收本查询节点所占的其他不用的内存，使系统具备内存回收机制。

qrystatus：记录查询粒度的状态，粒度状态包括空闲、正在查询、查询结束等，用于分发线程时使用。

Nodecnt：当前的缓存节点个数，每个缓存节点保存一次查询的记录数。

Nodeptr:指向保存记录的缓存指针。

Sourceip:发起查询的外端模块IP。

406，qcs模块根据qid查找HASH表获取查询节点信息。

407，外部模块可以根据页号来获取记录内容，这样可以实现

跳页查询。本步骤用来判断页号是否超出内存保存范

围。

408，更新查询节点信息，包括更新时间戳Timestab，Recsen置0等。

409，根据请求的页号，查找当前的节点缓存是否有满足的记录，如有满足直接进行发送，并记录发送的条数更新Recsend值。

410，判断发送记录数是否达到每页数据量要求，满足则发送结束消息。

411，判断全部粒度的查询是否已经结束，即分解的所有小任务是否已经完成，如果完成则会发送结束消息。

412，此为关键步骤，所有查询的粒度都在这边通过多线程进行分发，图上显示的是根据数据库数目、查询数据总类别、时间段进行了三维的粒度划分，具体业务应用可以根据实际情况灵活划分具体任务。在发起多线程查询时，把每个线程专注自身查询的数据库ID、具体时间段、查询数据类别及查询条件通过参数传递给多线程函数。

413，414，415为每个线程都同样完成的过程。

413，本线程根据线程参数指定的具体查询粒度构造条件到相应的数据库上查询。这里建议但不限于采用调存储过程的方式实现，在存储过程中需要记录最后查询的记录ID，从而实现分批查询，这样线程函数调用存储过程查询时就无需进行分页控制了,简化代码实现流程。

414，根据查询结果判断当前查询粒度是否结束，因为要保存结果集，所以各线程需要对查询节点进行互斥访问，把查询结果发送并计数的同时保存在分配好的缓存中。查询速度快的线程将优先获得节点的控制权并发送数据，这样就大大缩短了响应时间，单个查询粒度速度慢将不影响整体的响应速度，达到了本发明快速查询的目的。

415，每个线程在本查询粒度结束后都需要判断所有的查询粒度是否完成，最后一个完成的线程将负责回收多余的内存，并发送结束消息。

注：414和415可以循环进行处理，直到该查询粒度结束，目的是进行预读，这样用户翻页的时候就无需进行等待查询了，故本发明提供了预读机制，完善了上下翻页的效率。

综上所述，采用本发明所述设计方法，可以比较完善解决大数据

量查询速度慢的问题，具有很强的通用性。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims

1.一种支持分布式数据库基于并行查询的方法，其特征是：

2.根据权利要求1所述的方法，其特征是所述的采用分批数据返回是指业务层通过上下翻页的形式进行分批数据查询，通过预读取机制，快速给业务层返回数据。

3.根据权利要求1所述的方法，其特征是所述的查询代理模块用于对外提供外部查询接口，对内把查询请求根据负荷分担的原则轮流分发到查询核心模块(qcs)处理并把查询结果返回给外部模块；对于查询有权限控制需求的应用，也可以在查询代理模块中做权限控制。

4.根据权利要求1所述的方法，其特征是所述的查询核心模块(qcs)互相独立，用于对所有在线数据库进行查询，采用多查询核心模块(qcs)机制可以对上层请求进行负荷分担，以便提高系统的并发处理性能；查询核心模块(qcs)采用多线程技术，对收到的查询请求根据用户的查询数据类别、时间段粒度、数据库节点数灵活进行分发查询；对查询的结果记录可以采用全内存保存，也可以通过file mapping映射成文件，便于对查询结果数据进行二次检索和操作；查询核心模块(qcs)需要定时对查询代理模块（proxy）进行心跳，以便查询代理模块（proxy）实时了解当前在线的查询核心模块(qcs)。