CN103049317B - 云环境下基于队列的高并发数据快速写入系统及方法 - Google Patents

Abstract

本发明公开了一种云环境下基于队列的高并发数据快速写入系统及方法，具体包括以下步骤：建立同步管理，使两台服务器具有相同的队列、配置，并且具有数据后备修复机制；配置管理，生成队列的基本属性，通过配置管理模块动态的增加或删除队列；队列管理，根据配置动态的完成对队列创建及生命周期的管理；写入操作，将各队列中的数据按优先级依次写入存储设备。采用本发明可以避免对磁盘和数据库的写竞争，避免死锁，由于本方法同时注意了灾备的考虑，不失为一种高效高并发数据写入的方法。

Description

云环境下基于队列的高并发数据快速写入系统及方法

技术领域

本发明涉及一种软件开发技术领域，尤其涉及的是一种云环境下基于队列的高并发数据快速写入系统及方法。

背景技术

近些年来，物联网的应用和大规模在线交易的出现，这些高并发轻量级任务的及时处理和响应是好的用户体验的基础。在处理这些交易数据，一方面要保证及时处理，另一方面也要保证数据的安全。通过在双机环境下利用队列技术，通过批量的写入技术达到高效处理高并发轻量级任务的能力，并且利用双机来达到灾备的目的。

本发明是在国家863计划项目基金资助下，在高并发开发领域，利用高速内存中的多队列技术，通过高速缓存，利用批写入技术，避免多个小任务的竞争写入磁盘技术，能够避免系统的死锁和崩溃。利用队列技术可以支持同步、异步和请求响应多个多并发任务。各个队列中的数据通过调度算法顺序写入硬盘。利用两个物理主机能够达到灾备的目的。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种云环境下基于队列的高并发数据快速写入系统及方法，旨在解决在云环境下高并发轻量级并发任务的数据快速写入的问题。

本发明的技术方案如下：

一种云环境下基于队列的高并发数据快速写入系统，其包括：

同步管理两台机器之间的数据一致的同步管理模块；

管理请求用户和内存队列的对应关系，队列的优先级，文件或数据库中数据要写入的配置及位置的配置管理模块；

根据配置文件初始化生成队列，管理队列的增长和回收机制的队列管理模块；

根据配置文件把队列中的数据根据优先级写入到文件或数据库中的写入模块。

所述的云环境下基于队列的高并发数据快速写入系统，其中，所述同步管理模块是通过同步机制使两台机器具有相同的队列、配置，并且具有数据后备修复机制。

所述的云环境下基于队列的高并发数据快速写入系统，其中，所述配置管理模块具有动态的增加或删除队列的功能。

所述的云环境下基于队列的高并发数据快速写入系统，其中，所述队列管理模块利用效率和可扩展性高的类或开源软件实现队列创建和管理。

所述的云环境下基于队列的高并发数据快速写入系统，其中，所述队列管理模块主要包括以下子模块：根据配置文件提供的类型来生成队列的队列生成子模块；把请求存储的数据放入高速内存队列缓存的队列数据写入子模块；在写入模块执行写入存储设备的操作时，从高速内存队列取出数据并删除的队列数据提取子模块；能够动态的添加队列的队列添加子模块，能删除废弃队列的队列删除子模块。

一种云环境下基于队列的高并发数据快速写入方法，其中，通过网络把包括计算资源、存储资源和网络端口资源的资源进行集中的池化管理，然后由主机再进行资源的虚拟分配，形成虚拟服务器，通过在每个服务器中按照配置在内存中设置队列，并安装有同步机制，当一台服务器收到数据写入请求，由其中一台自动同另一台同步数据，同步成功或写入成功向用户返回成功，否则为失败。

所述的云环境下基于队列的高并发数据快速写入方法，其中，具体包括以下步骤：

步骤S1：建立同步管理，使两台服务器具有相同的队列、配置，并且具有数据后备修复机制；

步骤S2：配置管理，生成队列的基本属性，通过配置管理模块动态的增加或删除队列；

步骤S3：队列管理，根据配置动态的完成对队列创建及生命周期的管理；

步骤S4：写入操作，将各队列中的数据按优先级依次写入存储设备。

所述的云环境下基于队列的高并发数据快速写入方法，其中，其写入操作按设定的时间间隔按块批量写入磁盘或盘阵。

所述的云环境下基于队列的高并发数据快速写入方法，其中，还通过按优先级循环选择内存中的队列，根据配置文件把队列中的数据读出，并批量写入到存储设备中，根据并发数据的数量和重要性设定不同的优先级。

本发明的有益效果：本发明通过使用内存中的队列作为缓存，在时间或队列中的排队数达到设定的阈值后进行批量写入，避免写入磁盘的竞争和死锁，大大提高了写入的速度。使用在云环境不同的两个机器，其中一个机器作为备份，这样可以避免一台机器出现异常而使数据丢失，大大提高数据写入的安全性。通过使用XML配置文件作为服务提供，可以对不同的数据源写入不同的格式和位置。这样可以提供给不同企业和应用使用。

本发明涉及云环境下高并发轻量级并发任务的数据快速写入技术，并且使用双机灾备技术来保证写入系统的可靠性和稳定性。它利用消息队列和Web服务技术，具有很强的可扩展性和实用性，对于高并发任务中的数据写入文件系统和数据库都有很好的适应。

附图说明

图1为本发明提供的方法流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

参见图1，一种云环境下基于队列的高并发数据快速写入方法包括下述步骤：

步骤S1：建立同步管理，使两台服务器具有相同的队列、配置，并且具有数据后备修复机制；

步骤S2：配置管理，生成队列的基本属性，通过配置管理模块动态的增加或删除队列；

步骤S3：队列管理，根据配置动态的完成对队列创建及生命周期的管理；

步骤S4：写入操作，将各队列中的数据按优先级依次写入存储设备。

本发明提供的云环境下基于队列高并发数据快速写入方法是在两个物理主机或云数据中心中的两个虚拟机上，根据不同需求配置相应的内存和磁盘空间以便应对不同的高并发需求和数据快速写入和备份的目的。

通过网络把计算资源、存储资源和网络端口资源等进行集中的池化管理，然后由主机再进行资源的虚拟分配，形成虚拟服务器。通过在每个服务器中按照配置在内存中设置队列，队列的大小和增长方式在配置文件中规定。两台服务器中安装有同步机制，用户只需要向一台服务器发送数据写入请求，由其中一台自动同另一台同步数据，同步成功或写入成功向用户返回成功，否则为失败。

另外，其写入程序按一定的时间间隔批量写入磁盘或盘阵，由于按块批量写入存储设备，大大提高了写入效率，同时每次写入同一文件或数据库的数据，避免了写入竞争和死锁。

其中，两台物理主机，根据并发的多少可配置1-8G的内存，并配置相应大小的磁盘阵列，CPU速度在1GHz以上；或者在数据中心申请同样速度和大小的CPU，内存和存储的两台虚拟机。

在两台机器或虚拟机上安装相同的基础软件和配置文件，可以使用开源或商用的消息队列服务软件或开发自己的消息队列软件，配置文件主要包含以下内容：

1)用户名、密码；队列名、队列长度、写入间隔时间；是否写入文件以及写入文件的路径；

2)是否写入数据库：写入的数据库名，数据库配置：驱动、端口、用户和密码等；

3)两台机器配置相同的软件，为了达到备份的目的，配置同步机制，达到双方消息队列同步的目的，并提供统一的接口服务，让使用者感觉就像在操作一台机器一样。

本发明通过WEBService来提供统一的服务，用户通过验证来调用相应的服务，然后通过服务把数据存入相应的队列。

还通过按优先级循环选择内存中的队列，根据配置文件把队列中的数据读出，并批量写入到存储设备中。这样可以根据并发数据的数量和重要性采用不同的优先级，以不同的时间间隔来处理内存中的队列数据，既可以优先把最重要地数据优先写入，又可以优先选择写入高并发和数据量大的队列中的数据。这样可以避免大量的占用内存，造成内存泄露。

在双机环境下利用队列技术写入模型，实现对云环境的数据快速写入。利用内存作为缓存，在排队数达到设定的阈值后进行批量写入，避免写入磁盘的竞争和死锁。按一定的时间间隔批量写入磁盘或盘阵，由于按块批量写入存储设备，提高了写入效率。

本发明中进行配置的具体实施方式如下：

本发明优选实施例提供了一种基于队列的高并发数据快速写入系统，包括：用于同步管理两台机器之间的数据一致的同步管理模块；用于管理请求用户和内存队列的对应关系，队列的优先级，文件或数据库中数据要写入的配置及位置的配置管理模块；用于根据配置文件初始化生成队列，管理队列的增长和回收机制的队列管理模块和用于根据配置文件把队列中的数据根据优先级写入到文件或数据库中的写入模块。

所述同步管理模块主要为了灾备的目的，以防一台机器死机，数据写入错误或者不能使用。同步机制可以使两台机器具有相同的队列、配置，并且具有数据后备修复机制。一台机器死机后，另一台机器继续工作，死机的机器一旦修复完毕，启动同步管理机制，就可以把死机这段时间没有写入的数据同步过来，达到双方机器上存储装置内数据的一致。

所述配置管理模块主要负责要生成队列的基本属性设置，包括队列名、优先级、使用该队列的用户名和密码、队列对应写入的文件名、文件路径或数据库及相应的配置(数据库名、驱动类、数据库用户和密码、URL等)。通过这个模块可以动态的增加或删除队列，在需要时增加相应的队列来满足扩展的需要，在不需要时把对应的内存队列删除，减少对内存的占用。

所述队列管理模块主要根据配置动态的完成对队列创建及生命周期的管理。该模块可以自己利用编程语言来创建和管理这些队列，可以利用效率和可扩展性高的类来实现，如：ArrayList；也可以利用成熟开源软件来实现，如Mule或RabbitMQ等来实现，利用它们提供的消息队列可以快速实现程序的功能，它们也提供丰富的接口和选项，方便下一步的写入操作。

所述队列管理模块主要包括以下子模块：

根据配置文件提供的类型来生成队列的队列生成子模块。把请求存储的数据放入高速内存队列缓存的队列数据写入子模块。在写入模块写入存储设备时，从高速内存队列取出数据并删除的队列数据提取子模块。当业务需要时，能够动态的添加队列的队列添加子模块。当一个队列已经不再使用，用户可以对它进行删除的队列删除子模块。

所述写入模块用于负责将各队列中的数据按优先级依次写入存储设备。它根据配置文件中的配置信息从队列中取出数据，按批写入到存储设备中。它根据优先级按一定的时间间隔从队列中取出要存入的数据。因为每次都是取出大量的数据，可以按块来批写入，减少寻道时间和写竞争，大大提高了写入效率。

由上述本发明实施例提供的技术方案可以看出，本发明实施例提供了一种含灾备的双机高并发数据的快速写入系统，该系统由内存中的多队列作为缓存和批量写入方法支持。只要是高并发微数据的入库和存档等写入操作，使用该方法都能达到快速写入，避免死锁的目的。通过本方法，可以避免对磁盘和数据库的写竞争，避免死锁，由于本方法同时注意了灾备的考虑，不失一种高效高并发数据写入的方法。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种云环境下基于队列的高并发数据快速写入系统，其特征在于，包括：

同步管理两台机器之间的数据一致的同步管理模块；

管理请求用户和内存队列的对应关系，队列的优先级，文件或数据库中数据要写入的配置及位置的配置管理模块；

根据配置文件初始化生成队列，管理队列的增长和回收机制的队列管理模块；

根据配置文件把队列中的数据根据优先级写入到文件或数据库中的写入模块。

2.根据权利要求1所述的云环境下基于队列的高并发数据快速写入系统，其特征在于，所述同步管理模块是通过同步机制使两台机器具有相同的队列、配置，并且具有数据后备修复机制。

3.根据权利要求1所述的云环境下基于队列的高并发数据快速写入系统，其特征在于，所述配置管理模块具有动态的增加或删除队列的功能。

4.根据权利要求1所述的云环境下基于队列的高并发数据快速写入系统，其特征在于，所述队列管理模块利用效率和可扩展性高的类或开源软件实现队列创建和管理。

5.根据权利要求1所述的云环境下基于队列的高并发数据快速写入系统，其特征在于，所述队列管理模块主要包括以下子模块：根据配置文件提供的类型来生成队列的队列生成子模块；把请求存储的数据放入高速内存队列缓存的队列数据写入子模块；在写入模块执行写入存储设备的操作时，从高速内存队列取出数据并删除的队列数据提取子模块；能够动态的添加队列的队列添加子模块；能删除废弃队列的队列删除子模块。

6.一种云环境下基于队列的高并发数据快速写入方法，其特征在于，通过网络把包括计算资源、存储资源和网络端口资源的资源进行集中的池化管理，然后由主机再进行资源的虚拟分配，形成虚拟服务器，通过在每个服务器中按照配置在内存中设置队列，并安装有同步机制，当一台服务器收到数据写入请求，由其中一台自动同另一台同步数据，同步成功或写入成功向用户返回成功，否则为失败。

7.根据权利要求6所述的云环境下基于队列的高并发数据快速写入方法，其特征在于，具体包括以下步骤：

步骤S1：建立同步管理，使两台服务器具有相同的队列、配置，并且具有数据后备修复机制；

步骤S2：配置管理，生成队列的基本属性，通过配置管理模块动态的增加或删除队列；

步骤S3：队列管理，根据配置动态的完成对队列创建及生命周期的管理；

步骤S4：写入操作，将各队列中的数据按优先级依次写入存储设备。

8.根据权利要求7所述的云环境下基于队列的高并发数据快速写入方法，其特征在于，其写入操作按设定的时间间隔按块批量写入磁盘或盘阵。