CN102622426A - 数据库写入系统及方法 - Google Patents

Abstract

本发明公开一种数据库写入系统及方法，该系统至少包括：控制模组，以于接收到写入请求时将其记录到线程池的子任务队列中，并将任务数据写入到缓存模组中，控制模组还用于根据定时扫描模组的扫描结果发送异步请求；线程池，包括多个子任务队列，每个子任务队列存储多个任务；缓存模组，用于存储任务数据；定时扫描模组，定时扫描线程池中的子任务队列以判断是否已到释放时间，并于判断出某一子任务队列到释放时间时，将该子任务队列中的数据进行分组；异步消息处理模组，处理该异步请求，接收该子任务队列在释放过程中的参数信息并记录队列任务，并于监听到新任务后将相应的数据写入数据库；通过本发明，可实现有序、高效、阻塞式的数据库写入。

Description

数据库写入系统及方法

技术领域

本发明涉及一种数据库写入系统及方法，特别是涉及一种基于异步碎片缓存写入的数据库写入系统及方法。

背景技术

目前，随着软件技术的发展，数据库技术的大量使用，实时性要求越来越高，这时对软件系统在访问数据库的效率方面提出了很高的要求，大业务量处理的时候对数据库系统造成很大的压力。尤其是随着网络技术的发展，在目前的基于J2EE(Java 2 Platform，Enterprise Edition)平台的WEB2.0系统中普遍需要数据库作为存储介质，然而在处理高并发、大访问量、大量数据同时写入的时候，往往会出现IO、CPU、网络等引起的性能瓶颈。为解决这个问题，传统的优化方案要么纵向升级硬件资源，要么横向加数据器扩展，然而随着WEB平台用户量的不断扩张前面这两种优化方案始终会遇到成本、硬件等瓶颈的制约。

综上所述，可知先前技术之数据库写入技术优化方案存在成本、硬件等瓶颈的制约问题，因此实有必要提出改进的技术手段，来解决此一问题

发明内容

为克服上述现有技术存在的不足，本发明的主要目的在于提供一种数据库写入系统及方法，其通过采用异步碎片缓存写入技术，其可以在充分利用硬件资源的基础上，最大程度减少IO操作引起的线程阻塞，充分利用网络带宽，实现有序、高效、阻塞式的数据库写入。

为达上述及其它目的，本发明提供一种数据库写入系统，至少包括：

控制模组，以于接收到写入请求时将该写入请求记录到线程池的子任务队列中，并将该写入请求的任务数据写入到缓存模组的缓存中，同时，该控制模组还用于根据定时扫描模组的扫描结果向异步消息处理模组发送异步请求；

线程池，包括多个子任务队列，每个子任务队列存储多个任务；

缓存模组，用于存储该写入请求中的任务数据；

定时扫描模组，用于定时扫描该线程池中的子任务队列，以判断子任务队列是否已到释放时间，并于判断出某一子任务队列到释放时间时，将该子任务队列中的数据进行分组；

异步消息处理模组，处理该控制模组的异步请求，接收该子任务队列在释放过程中的参数信息并记录队列任务，并于监听到新任务后将相应的数据写入数据库；以及

数据库，接收数据的写入。

进一步地，该数据库写入系统还包括：

任务备份模组，用于于该写入请求被存入该线程池的同时将数据写入该任务备份模组存储，并于该子任务队列的各任务在逐个释放时，将任务序列化并进行备份存储；以及

异常处理模组，以于该异步消息处理模块于任务处理过程中出现异常时，从该任务备份模组中将任务恢复。

进一步地，该任务备份模组中还存储日志文件，该日志文件用于记录每个任务在被触发到结束的各个状态以及异常。

进一步地，若该任务在被重复恢复3次以上均未能正常处理业务流程，则将该任务永久封存，被封存的任务将被记录到该日志文件中。

进一步地，该异步消息处理模组包括异步消息处理服务器集群及异步消息监听服务器集群，该异步消息处理服务器集群用于接收该子任务队列在释放过程中的参数信息并记录队列任务以满足每个任务一定会被执行，该异步消息监听服务器集群则用于监听到新任务后将相应的数据写入该数据库。

进一步地，该线程池通过该控制模组控制线程控制并发数量，默认一分钟内控制并发线程数为100个线程。

进一步地，该定时扫描模组包含一时间控制器，其每间隔一分钟扫描一次线程池中的队列，每次扫描的结果只释放一个子任务队列。

为达到上述及其他目的，本发明提供一种数据库写入方法，包括如下步骤：

于接收到写入请求时，将该写入请求记录到线程池的子任务队列中；

将该写入请求的任务数据写入到缓存模组的缓存中；

定时扫描该线程池的各子任务队列，并判断子任务队列是否已到释放时间；

当某一子任务队列已到释放时间，发送异步请求，并启动新线程将任务批量写入异步消息处理模组；

监听异步消息处理模组中的队列，以于监听到新任务后执行异步写入数据操作将相应数据写入到数据库中。

进一步地，将该写入请求记录到线程池的子任务队列中的步骤包括：

判断末尾子任务队列池是否已满；以及

若未满，则将写入请求记录到该子任务队列池，若已满，则创建并记录到新的子任务队列池。

进一步地，该异步写入数据操作包括如下步骤：

定时扫描队列；

检查队列长度，若长度大于0，则将数据分组并存储到一数组中，否则继续扫描队列；

取出该数组中第一组数据给A，并删除该数组中的第一组数据；

并发写A组中的数据；

检查该数组的长度；

若该数组的长度大于0，则间隔一段时间后，继续进行取出该数组中第一组数据给A的步骤，否则异步写入数据结束。

与现有技术相比，本发明一种数据库写入系统及方法通过采用异步碎片缓存写入技术，其可以在充分利用硬件资源的基础上，最大程度减少IO操作引起的线程阻塞，充分利用网络带宽，实现有序、高效、阻塞式的数据库写入；且本发明具有高可用性，能保证在服务器故障或任务异常时重复及提供自动客户端时效备援功能。

附图说明

图1为本发明一种数据库写入系统的系统结构图；

图2为本发明一种数据库写入系统较佳实施例的架构图；

图3为本发明一种数据库写入方法的步骤流程图；

图4为本发明较佳实施例中步骤305的异步写入数据操作的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种数据库写入系统的系统结构图。如图1所示，本发明一种数据库写入系统，其采用多线程技术，至少包括：控制模组101、线程池102、缓存模组103、定时扫描模组104、异步消息处理模组105以及数据库106。

其中，控制模组101以于接收到用户的写入请求时将用户的写入请求记录到线程池102的子任务队列中，并将数据写入到缓存模组103的缓存中，同时，控制模组101还用于根据定时扫描模组104的定时扫描结果向异步消息处理模组105发送异步请求；线程池102，包括多个线程，即包括多个子任务队列，其并发线程数由控制模组101控制，于本发明较佳实施例中，控制模组101通过控制线程控制并发数量，默认一分钟之内控制并发线程数为100个线程，每个子任务队列最多放100个任务，每个任务都是实现callable接口的线程；缓存模组103用于存储用户写入请求中的任务数据，于本发明较佳实施例中，缓存模组103可以为缓存服务器集群；定时扫描模组104用于定时扫描线程池102中的子任务队列，以判断队列是否已到释放时间，并于判断队列到释放时间时(即有数据可写时)，将队列中的数据进行分组，控制模组101则控制每组用多个线程并发写数据库，每组间隔一定时间按顺序执行，具体来说，定时扫描模组104包含一时间控制器，其每间隔一分钟扫描一次队列，每次扫描的结果只释放一个任务池，哪怕这个任务池的任务总数未达到100个；异步消息处理模组105用于处理异步请求，其接收子任务队列在释放过程中的参数信息并记录队列任务以满足每个任务一定会被执行，同时，异步消息处理模组105还用于监听到新任务后将相应的数据写入数据库106，在本发明较佳实施例中，异步消息处理模组105包括异步消息处理服务器集群及异步消息监听服务器集群，异步消息处理服务器集群用于接收子任务队列在释放过程中的参数信息并记录队列任务以满足每个任务一定会被执行，异步消息监听服务器集群则用于监听到新任务后将相应的数据写入数据库106；数据库106用于接收数据的写入，于本发明较佳实施例中，其可以为oracle数据库、Mysql数据库、hbase、hive等。

较佳的，为处理异常情况，本发明数据库写入系统还包括任务备份模组107及异常处理模组108，任务备份模组107用于于每组队列的各任务在逐个释放时，将任务序列化并进行备份存储，于本发明较佳实施例中，任务备份模组107包含DFS(分布式文件服务器)，较佳的，任务备份模组107还用于存储日志(log)文件，该日志文件用于记录每个任务在被触发到结束的各个状态以及异常，为维护人员提供日后维护的重要数据参考；异常处理模组108以于任务处理过程中出现异常时，从任务备份模组107中将任务恢复，较佳的，若该任务在被重复恢复3次以上均未能正常处理业务流程，则将该任务永久封存，被封存的任务将被详细记录到log文件中。

图2为本发明一种数据库写入系统较佳实施例的架构图。以下将配合图2进一步说明本发明之原理。于本发明较佳实施例中，采用Java语言编写，可以在任何Java 6+的平台上运行，几乎包括了从Windows到IBM mainframes的每个平台，如图2所示，本发明一种数据库写入系统是采用多线程技术的，需要Larkq JMS(分布式异步队列java消息服务)中间件支持，其原理如下：

1、控制模组101通过控制线程控制并发数量，默认一分钟之内控制线程池(pools)102的并发线程数为100个线程，即tasks0-taskn，n为100；

2、每个写入请求在被存到线程池102的同时，将数据写入到前端的缓存(memcached服务器集群)和DFS(DFS服务器集群)中，即缓存模组103与任务备份模组107；

3、用户并发写入请求被存储在线程池102的子任务队列中，每个子任务队列最多放100个任务，即task0-task100，每个任务都是实现callable接口的线程；

4、时间控制器(定时扫描模组104)每间隔一分钟扫描一次队列，每次扫描的结果只释放一个任务池，哪怕这个任务池的任务总数未达到100个，并于发现有数据可写时，将队列中的数据进行分组，每组用多个线程并发写数据库，每组间隔一定时间按顺序执行；

5、子任务在释放的过程中将参数信息传输到JMS服务器(异步消息处理模组105)上，JMS服务器记录队列任务用以满足每个任务一定会被执行的目的。

6、JMS监听端(JMS监听服务器集群)在监听到新任务后执行写入到数据库106的任务最终完成异步碎片缓存机制。

在本发明较佳实施例中，具有任务完整性的特点，具体表现如下：

1、每组队列的各任务在逐个被释放时分A、B、C三步同时将任务存储到不同的介质中。

1)A：将任务数据存储到Memcached服务器集群中；

2)B：将任务序列化，并发送到larkq JMS服务器端。

3)C：将任务序列化，并存储到DFS(分布式文件服务器)中。

2、在WEB前端显示时可以从Memcached服务器集群中提取数据；

3、在业务处理时监听larkq JMS队列，然后处理相关业务流程；

4、在任务处理过程中若出现异常，则可以从DFS中将任务恢复。若该任务在被重复恢复3次以上均未能正常处理业务流程，则将该任务永久封存。

图3为本发明一种数据库写入方法的步骤流程图。如图3所示，本发明一种数据库写入方法，包括如下步骤：

步骤301，于接收到用户的写入请求时，将写入请求记录到线程池的子任务队列中；

步骤302，将写入请求的任务数据写入到缓存模组的缓存中；

步骤303，定时扫描线程池的各子任务队列，并判断子任务队列是否已到释放时间；

步骤304，当子任务队列已到释放时间，发送异步请求，并启动新线程将任务批量写入异步消息处理模组(JMS)；

步骤305，监听异步消息处理模组中的队列，以于监听到新任务后执行异步写入数据操作将相应数据写入到数据库中。

具体来说，步骤301进一步包括如下步骤：

判断末尾子任务队列池是否已满；

若未满，则将写入请求记录到该子任务队列池，若已满，则创建并记录到新的子任务队列池。

图4为本发明较佳实施例中步骤305的异步写入数据操作的流程图，如图4所示，步骤305的异步写入数据操作进一步包括如下步骤：

定时扫描队列；

检查队列长度，若长度大于0，则将数据分组并存储到数组list中，否则继续扫描队列；

取出数组list中第一组数据给A，并删除数组list中的第一组数据；

并发写A组中的数据；

检查数组list的长度；

若list长度大于0，则间隔一段时间后，继续进行取出数组list中第一组数据给A的步骤，否则异步写入数据结束。

综上所述，本发明一种数据库写入系统及方法通过采用异步碎片缓存写入技术，其可以在充分利用硬件资源的基础上，最大程度减少IO操作引起的线程阻塞，充分利用网络带宽，实现有序、高效、阻塞式的数据库写入；本发明是有序、高效、阻塞式的运行内存任务队列操作，因为是存内存操作理论上只要有足够多的内存就能处理上百万次并发请求(上百万次并发请求已经经过压力测试)；同时，本发明具有高可用性，具体理由如下：

1、能保证在服务器故障或任务异常时重复

利用本发明的日志机制，使用Spring框架依赖注入框架在服务器端出现故障重启后从DFS日志中读取服务器故障前的任务池，然后初始化任务池恢复至服务器发生故障前的状态，从而保证任务不会丢失；

2、本发明提供自动客户端失效备援(automatic client failover)功能

服务器端采用nginx/haproxy/apache作为负载均衡代理服务器，从而达到失效备援的功能。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种数据库写入系统，至少包括：

控制模组，以于接收到写入请求时将该写入请求记录到线程池的子任务队列中，并将该写入请求的任务数据写入到缓存模组的缓存中，同时，该控制模组还用于根据定时扫描模组的扫描结果向异步消息处理模组发送异步请求；

线程池，包括多个子任务队列，每个子任务队列存储多个任务；

缓存模组，用于存储该写入请求中的任务数据；

定时扫描模组，用于定时扫描该线程池中的子任务队列，以判断子任务队列是否已到释放时间，并于判断出某一子任务队列到释放时间时，将该子任务队列中的数据进行分组；

异步消息处理模组，处理该控制模组的异步请求，接收该子任务队列在释放过程中的参数信息并记录队列任务，并于监听到新任务后将相应的数据写入数据库；以及

数据库，接收数据的写入。

2.如权利要求1所述的数据库写入系统，其特征在于，该数据库写入系统还包括：

任务备份模组，用于于该写入请求被存入该线程池的同时将数据写入该任务备份模组存储，并于该子任务队列的各任务在逐个释放时，将任务序列化并进行备份存储；以及

异常处理模组，以于该异步消息处理模块于任务处理过程中出现异常时，从该任务备份模组中将任务恢复。

3.如权利要求2所述的数据库写入系统，其特征在于：该任务备份模组中还存储日志文件，该日志文件用于记录每个任务在被触发到结束的各个状态以及异常。

4.如权利要求3所述的数据库写入系统，其特征在于：若该任务在被重复恢复3次以上均未能正常处理业务流程，则将该任务永久封存，被封存的任务将被记录到该日志文件中。

5.如权利要求1所述的数据库写入系统，其特征在于：该异步消息处理模组包括异步消息处理服务器集群及异步消息监听服务器集群，该异步消息处理服务器集群用于接收该子任务队列在释放过程中的参数信息并记录队列任务以满足每个任务一定会被执行，该异步消息监听服务器集群则用于监听到新任务后将相应的数据写入该数据库。

6.如权利要求1所述的数据库写入系统，其特征在于：该线程池通过该控制模组控制线程控制并发数量，默认一分钟内控制并发线程数为100个线程。

7.如权利要求1所述的数据库写入系统，其特征在于：该定时扫描模组包含一时间控制器，其每间隔一分钟扫描一次线程池中的队列，每次扫描的结果只释放一个子任务队列。

8.一种数据库写入方法，包括如下步骤：

于接收到写入请求时，将该写入请求记录到线程池的子任务队列中；

将该写入请求的任务数据写入到缓存模组的缓存中；

定时扫描该线程池的各子任务队列，并判断子任务队列是否已到释放时间；

当某一子任务队列已到释放时间，发送异步请求，并启动新线程将任务批量写入异步消息处理模组；

监听异步消息处理模组中的队列，以于监听到新任务后执行异步写入数据操作将相应数据写入到数据库中。

9.如权利要求8所述的数据库写入方法，其特征在于，将该写入请求记录到线程池的子任务队列中的步骤包括：

判断末尾子任务队列池是否已满；以及

若未满，则将写入请求记录到该子任务队列池，若已满，则创建并记录到新的子任务队列池。

10.如权利要求8所述的数据库写入方法，其特征在于，该异步写入数据操作包括如下步骤：

定时扫描队列；

检查队列长度，若长度大于0，则将数据分组并存储到一数组中，否则继续扫描队列；

取出该数组中第一组数据给A，并删除该数组中的第一组数据；

并发写A组中的数据；

检查该数组的长度；

若该数组的长度大于0，则间隔一段时间后，继续进行取出该数组中第一组数据给A的步骤，否则异步写入数据结束。

Images