CN105068769A - 一种基于消息中间件的消息管理方法及装置 - Google Patents

Abstract

本发明提供了一种基于消息中间的消息管理方法即装置，其中，所述方法包括：S0：在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；S1：利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；S2：将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。通过本发明的技术方案，可确保消息的完整性，同时提高消息中间件收发消息的效率。

Description

一种基于消息中间件的消息管理方法及装置

技术领域

本发明涉及数据存储技术领域，特别涉及一种基于消息中间件的消息管理方法及装置。

背景技术

消息中间件是一种支持与保障分布式应用程序之间同步/异步收发消息的工具，消息中间件通过消息队列接收并存储对应消息发送端的应用程序发送的消息，存储在消息队列中的消息可以被对应接收端的应用程序读取，消息队列通常设置在计算机磁盘中，消息队列收发消息对应于应用程序对磁盘的读写操作。

当消息队列设置在磁盘中时，无论是将磁盘中的任一文件或在磁盘中设置相应的数据库以作为消息队列，写入磁盘的数据即消息队列接收到的消息不易丢失，但是，应用程序读写磁盘的速度较慢，收发消息的效率很低。

发明内容

有鉴于此，本发明提供了一种基于消息中间件的消息存储方法及装置，能够提高消息中间件收发消息的效率。

第一方面，本发明提供了一种基于消息中间加你的消息管理方法，包括：

S0：在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；

S1：利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；

S2：将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。

进一步的，所述将所述第一消息队列文件映射至计算机内存中之前，还包括：

设置内存池，将计算机内存池划分成若干个内存块；

根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块；

建立目标内存块与第一消息队列文件的地址信息的映射关系。

进一步的，将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件，包括：

根据所述映射关系，将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

第二方面，本发明提供了一种基于消息中间件的消息管理装置，包括：

磁盘、内存、处理器；

其中，

所述磁盘中包括第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；

所述处理器，用于将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。

进一步的，

所述内存包括若干个内存块；

所述处理器，进一步用于根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块；建立目标内存块与第一消息队列文件的地址信息的映射关系。

进一步的，

所述处理器，进一步用于当消息队列管理服务启动后，根据所述映射关系将第一消息队列文件映射至目标内存块以在所述目标内存块中生成第二消息队列文件。

通过本发明的一种基于消息中间件的消息管理方法及装置，在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列，当消息队列管理服务启动后，将该第一消息队列文件映射至计算机内存中以生成第二消息队列文件，消息中间件即可通过该第二消息队列文件收发消息，即对应的应用程序可直接在内存中读写消息，进而提高消息中间件收发消息的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种基于消息中间件的消息管理方法的流程图；

图2是本发明一实施例提供的另一种基于消息中间件的消息管理方法的流程图；

图3是本发明一实施例提供的一种基于消息中间件的消息管理装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于消息中间件的消息管理方法，该方法可以包括以下步骤：

S0：在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；

S1：利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；

S2：将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。

通过本发明实施例提供的一种基于消息中间件的消息管理方法，在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列，当消息队列管理服务启动后，将该第一消息队列文件映射至计算机内存中以生成第二消息队列文件，消息中间件即可通过该第二消息队列文件收发消息，即对应的应用程序可直接在内存中读写消息，进而提高消息中间件收发消息的效率。

进一步的，为了确保当消息队列管理服务启动后，可快速的将设置在磁盘中的第一消息队列映射至计算机内存中，提高工作效率，本发明一个优选实施里中，所述将所述第一消息队列文件映射至计算机内存中之前，还包括：

设置内存池，将计算机内存池划分成若干个内存块；

根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块；

建立目标内存块与第一消息队列文件的地址信息的映射关系。

本发明实施例中，一方面，根据第一消息队列文件的大小预先申请用于生成第二消息队列的目标内存块，避免当消息队列管理服务启动后，还需要时间等待分配内存以生成第二消息队列文件，而且，由于将计算机磁盘中的第一消息队列文件映射至计算机内存中时，需要占用连续性的内存空间，当计算机内存中存在大量内存碎片时，可能导致无法将计算机磁盘中的第一消息队列映射至计算机内存中，通过预先申请目标内存块，可避免这种意外情况的发生导致消息中间件无法快速开始工作；

另一方面，预先建立目标内存块与第一消息队列文件的地址信息的映射关系，当消息队列管理服务启动后，可根据所述映射关系，将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

具体地，可根据预先建立的目标内存块与第一消息队列文件的地址信息的映射关系将第一消息队列文件整体映射至内存中，不必通过调用IO函数等将第一消息队列文件下的每一条数据分别提取至内存，快速完成第一消息队列与计算机内存进行映射的过程，进一步提高工作效率。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

如图2所示，本发明实施例提供了另一种基于消息中间件的消息管理方法，该方法可以包括以下步骤：

步骤201，在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列。

需要说明的是，由于在消息队列管理服务启动时，需要将该第一消息队列文件的全部内容都映射至计算机内存中，为了节省内存空间，第一消息队列文件中不应包括其他与消息中间件收发消息无关的数据。

步骤202，将计算机内存池划分成若干个内存块。

步骤203，根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块。

由于第二消息队列文件需要在内存中占用连续性的内存空间，因此，应确保目标内存块不小于第一消息队列文件的大小。

步骤204，建立目标内存块与第一消息队列文件的地址信息的映射关系。

步骤205，根据所述映射关系，将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

步骤204和步骤205中，通过设置目标内存块与第一消息队列文件的地址信息的映射关系，可根据该映射关系完成整个第一消息队列文件的映射而不需要调用IO函数将第一消息队列中的数据分别提取至计算机内存中；

比如，第一消息队列文件在磁盘中对应的地址分别为A、B和C，对应存储关系为地址A存储数据1、地址B存储数据2、地址C对应的数据为空，目标内存块对应的数据存储单元包括0000a、0000b和0000c，预先建立对应关系为硬盘地址A上的数据对应目标内存块中存储单元0000a的数据，同理，B对应0000b，C对应0000c，当消息中间件开始工作，则可根据预先建立的对应关系将数据1和2提取至目标内存块下的对应地址中，存储单元0000c为空，但依然保持与硬盘地址C的对应关系。

步骤206，利用目标内存块中的第二消息队列文件，接收应用程序发送的消息。

步骤207，利用目标内存块中的第二消息队列文件向应用程序发送消息信息。

需要说明的是，步骤206和步骤207中，第二消息队列文件收发消息可同时进行。

步骤208，同步目标内存块中的第二消息队列文件中的消息和计算机磁盘中的第一消息队列文件中的消息。

这里，可通过步骤204和步骤205中建立的映射关系快速同步第一消息队列文件和第二消息队列文件中的消息。

比如，在第二消息队列中的存储单元0000c中写入了数据3，即可根据对应关系将将数据3同步至第一消息队列的地址C中。

还需要说明的是，上述步骤207中，第二消息队列向应用程序发送的消息可以包括消息中间件由于非正常停止工作而保存在磁盘中的消息；

比如，应用程序A和应用程序B通过该消息中间件异步收发消息，当应用程序A不断的向第二消息队列文件写入数据，而应用程序B读取消息的速度小于应用程序A写入消息的速度，则第二消息队列文件中可能保存有大量待下发至应用程序B的消息，这是，如果消息中间件对应的计算机发生掉电或对应的系统停止工作，目标内存块中的消息则会全部丢失，而由于步骤208中同步了目标内存块中第二消息队列文件的消息，这部分待下发至应用程序B的消息会保存在计算机磁盘的第一消息队列文件中，当应用程序A和应用程序B再次通过该消息中间件收发消息，通过上述步骤205将第一消息队列文件映射至目标内存块中以生成第二消息队列文件时，第二消息队列文件中包括这部分待下发至应用程序B的消息，这时，应用程序B即可从第二消息队列文件中继续读取这部分待下发至应用程序B的消息。

由上述内容可知，消息在收发过程中不会发生丢失，确保了消息的完整性。

如图3所示，本发明实施例提供的一种基于消息中间件的消息管理装置，包括：

磁盘301、内存303、处理器302；

其中，

所述磁盘301中包括第一消息队列文件3011，该第一消息队列文件对应消息中间件的消息队列；

所述处理器302，用于将所述第一消息队列文件3011映射至计算机内存303中，以生成计算机内存303中的第二消息队列文件3031；利用计算机内存303中的所述第二消息队列文件3031，接收应用程序发送的消息以及向应用程序发送消息；将利用计算机内存303中的所述第二消息队列文件3031接收和发送的每一个消息，同步到计算机磁盘301中的第一消息队列文件3011。

本发明实施例中，通过在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列，当消息队列管理服务启动后，则通过处理器将该第一消息队列文件映射至计算机内存中以生成第二消息队列文件，消息中间件即可通过该第二消息队列文件收发消息，即对应的应用程序可直接在内存中读写数据，进而提高消息中间件收发消息的效率。

进一步的，为了确保当消息队列管理服务启动后，可快速的将设置在磁盘中的第一消息队列映射至计算机内存中，提高工作效率，在一种可能实现的方式中：

所述内存303包括若干个内存块；

所述处理器302，进一步用于根据所述第一消息队列文件3011的大小预先从内存池中申请用于生成第二消息队列文件3031的目标内存块；建立目标内存块与第一消息队列文件3031的地址信息的映射关系。

进一步的，

所述处理器302，进一步用于当消息队列管理服务启动后，根据所述映射关系将第一消息队列文件3011映射至目标内存块以在所述目标内存块中生成第二消息队列文件3031。

本发明实施例中，一方面，通过预先申请用于生成第二消息队列文件的目标内存块，避免当消息队列管理服务启动后，还需要时间等待分配内存以生成第二消息队列，而且，由于将计算机磁盘中的第一消息队列映射至计算机内存中时，需要占用连续性的内存空间，当计算机内存中存在大量内存碎片时，可能导致无法将计算机磁盘中的第一消息队列映射至计算机内存中，通过预先申请目标内存块，可避免这种意外情况的发生导致消息中间件无法快速开始工作；

另一方面，预先建立目标内存块与第一消息队列文件的地址信息的映射关系，当消息队列管理服务启动后，可根据所述映射关系，快速的将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例至少具有如下有益效果：

1、通过本发明的一种基于消息中间件的消息管理方法及装置，在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列，当消息队列管理服务启动后，将该第一消息队列文件映射至计算机内存中以生成第二消息队列文件，消息中间件即可通过该第二消息队列文件收发消息，即对应的应用程序可直接在内存中读写数据，进而提高消息中间件收发消息的效率。

2、将对应消息中间件的消息队列设置在磁盘中，当消息队列管理服务启动后，通过内存映射将该消息队列文件映射至内存中，以在内存中生成一个与该消息队列文件完全相同的消息队列文件，通过在内存中生成的消息队列文件收发消息；同时，将内存中收到的目标消息同步至设置在磁盘中的消息队列文件中，当对应的计算机发生掉电或系统停止工作导致消息中间件停止工作时，设置在磁盘中的消息队列文件中保存了与内存中生成的消息队列文件中完全相同的未处理完的消息，当对应的消息中间件恢复工作时，可将这部分未处理完的消息映射至内存中生成的消息队列文件，继续向对应消息接收端的应用程序分发这部分未处理完的消息；综上所述，本发明实施可实现通过内存收发消息，确保消息中间件收发消息的效率，同时，消息在收发过程中不会发生丢失，确保了消息的完整性。

3、预先申请用于生成第二消息队列的目标内存块，避免当消息队列管理服务启动后，还需要时间等待分配内存以生成第二消息队列；同时，由于将计算机磁盘中的第一消息队列映射至计算机内存中时，需要占用连续性的内存空间，当计算机内存中存在大量内存碎片时，可能导致无法将计算机磁盘中的第一消息队列映射至计算机内存中，通过预先申请用于生成第二消息队列文件的目标内存块，可避免这种意外情况的发生导致消息中间件无法快速开始工作。

4、预先建立目标内存块与第一消息队列文件的地址信息的映射关系，当消息队列管理服务启动后，可根据所述映射关系，将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种基于消息中间件的消息管理方法，其特征在于，包括：在计算机磁盘中设置第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；

还包括：

利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；

将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一消息队列文件映射至计算机内存中之前，还包括：

设置内存池，将计算机内存池划分成若干个内存块；

根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块；

建立目标内存块与第一消息队列文件的地址信息的映射关系。

3.根据权利要求2所述的方法，其特征在于，将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件，包括：

根据所述映射关系，将第一消息队列文件映射至目标内存块中以在所述目标内存块中生成第二消息队列文件。

4.一种基于消息中间件的消息管理装置，其特征在于，包括：

磁盘、内存、处理器；

其中，

所述磁盘中包括第一消息队列文件，该第一消息队列文件对应消息中间件的消息队列；

所述处理器，用于将所述第一消息队列文件映射至计算机内存中，以生成计算机内存中的第二消息队列文件；利用计算机内存中的所述第二消息队列文件，接收应用程序发送的消息以及向应用程序发送消息；将利用计算机内存中的所述第二消息队列文件接收和发送的每一个消息，同步到计算机磁盘中的第一消息队列文件。

5.根据权利要求4所述的装置，其特征在于，所述内存包括若干个内存块；

所述处理器，进一步用于根据所述第一消息队列文件的大小预先从内存池中申请用于生成第二消息队列文件的目标内存块；建立目标内存块与第一消息队列文件的地址信息的映射关系。

6.根据权利要求5所述的装置，其特征在于，

所述处理器，进一步用于当消息队列管理服务启动后，根据所述映射关系将第一消息队列文件映射至目标内存块以在所述目标内存块中生成第二消息队列文件。