CN107704604A - 一种消息持久化方法、服务器和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种消息持久化方法、服务器和计算机可读存储介质。在所述方法中，创建数据文件用于存储需要持久化的消息，创建消息索引文件索引读取数据文件中的消息。通过创建消息索引文件以使得只需要读取数据文件一次便可以得到所需消息。因此，所述方法可以方便快速的从数据文件中读取指定消息序列号的消息。

Description

一种消息持久化方法、服务器和计算机可读存储介质

技术领域

本发明涉及网络通信技术领域，更具体地，涉及一种消息持久化方法、服务器和计算机可读存储介质。

背景技术

随着信息技术的发展，以及分布式系统的广泛应用，在分布式软件系统中，消息中间件在许多行业的关键应用中扮演着至关重要的角色。

消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中，不同的对象之间通过传递消息来激活对方的事件，完成相应的操作。消息发布端将消息发送给消息服务器，消息服务器将消息存放在若干队列中，在合适的时候再将消息转发给消息消费端。

消息中间件系统中，需要将消息发布端的消息持久化保存在硬盘等存储中，一般持久化保存到文件或数据库中，以备其他消息消费端可以可靠的接收消息。为了更高效地进行消息交互，目前对消息中间件系统的发送接收的单位时间吞吐率要求很高，对消息持久化存储消息的速率要求很高，对消息恢复时读取消息的速率要求也很高，即需要很高的读写文件或数据库的速率。

在现有的技术中，active MQ是采用树的索引方式，在恢复指定消息序列号区间的消息时，需要遍历索引文件树的各个节点，再通过消息索引去查找数据文件，索引文件树的遍历效率较低，访问速率会比较慢。

Kafka是一种高吞吐量的分布式发布订阅消息系统，在Kafka系统的持久化消息方法中索引文件设置了消息偏移地址，可以通过消息偏移地址比较快的找到消息所在的段文件。段文件中很多个日志记录，通过每个日志记录的消息长度字段去一次次跳转找到需要恢复的消息位置。如果段文件中有n条消息，按照二分法去查找待恢复的消息，需要log₂n次,也不能满足目前快速高效的要求。

发明内容

有鉴于此，本发明提供了一种消息持久化方法、服务器和计算机可读存储介质，以实现快速读取指定消息序列号的消息。

第一方面，提供一种消息持久化存储方法，包括：

接收需要持久化的消息后，获取所述消息所属的消息主题；

将所述消息存储在所述消息主题对应的数据文件中，所述消息包括消息序列号；

定时更新消息索引文件，生成所述消息对应的消息索引记录；

其中，所述消息索引文件在预先设定的时间点创建；所述消息索引记录包括数据文件标识和所述消息在所述数据文件中的偏移地址；

所述消息索引记录根据预定规则更新添加至所述消息索引文件以使得能够根据消息序列号索引对应的消息，所述预定规则与所述数据文件中消息的排列规则一致，消息对应的消息索引记录在所述消息索引文件中的序号为消息序列号。

进一步地，所述方法还包括：

在接收到读取给定消息序列号的消息的指令时根据所述消息索引文件索引并读取对应数据文件中对应的消息。

进一步地，根据所述消息索引文件索引并读取对应数据文件中对应的消息包括：

根据所述消息序列号的数值和消息索引记录的字节长度值计算所述消息序列号对应的消息索引记录在消息索引文件中的偏移地址；

根据所计算的偏移地址查询获得所述消息序列号对应的消息索引记录；

根据所获得的消息索引记录在对应的数据文件中查询并读取对应的消息。

进一步地，每个消息主题对应一个所述消息索引文件和至少一个所述数据文件。

进一步地，所述方法还包括：

创建第一个数据文件，所述第一个数据文件在预先设定的时间点创建和/或在存储此消息主题的第一条消息时创建；

在所述数据文件大小达到预定的阈值时，创建新的数据文件。

进一步地，在所述数据文件中所述消息的前缀信息和/或后缀信息用于隔离所存储的消息。

第二方面，提供一种服务器，包括：

至少一个处理器；

存储器，用于存储所述处理器可执行的指令；

所述处理器被配置为执行上述中任一项所述的方法。

第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现上述任一项所述的方法。

在本实施例的消息持久化存储方法中，创建数据文件用于存储需要持久化的消息，创建消息索引文件用于索引读取数据文件中的消息。通过创建消息索引文件以使得只需要读取数据文件一次便可以得到所需消息。因此，所述方法可以方便快速的从数据文件中读取指定消息序列号的消息。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本实施例的消息持久化方法中文件的结构示意图；

图2是本实施例的消息持久化方法的流程图；

图3是本实施例的消息持久化方法中进行消息持久化的流程图；

图4是本实施例的消息持久化方法中进行消息读取的流程图；

图5是本实施例的服务器的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本实施例的消息持久化方法中文件的结构示意图。如图1所示，在本实施例中，消息持久化过程中涉及的文件包括至少一个数据文件1和消息索引文件2。数据文件1用于存储需要持久化的消息。消息的存储方式为将消息的前缀信息(Prefix)、消息的内容(Data)和消息的后缀信息(Suffix)依次存储，消息的内容包括消息的具体内容和消息头，所述消息头用于存储消息序列号。消息的前缀信息(Prefix)和/或消息的后缀信息(Suffix)用于存储消息的长度和/或隔离不同的消息。消息索引文件2定时更新以实时生成持久化存储的消息所对应的消息索引记录。消息索引文件包括索引头21和消息索引记录22。消息索引记录22包括数据文件标识和对应的消息在数据文件1中的偏移地址等。

应理解，每个消息主题对应至少一个数据文件1和一个消息索引文件2。

所述消息序列号为消息在消息队列中的序号，可以根据消息序列号可以判断消息的先后顺序，也可以根据消息系列号判断消息是否被接收存储，提高系统的可靠性。另外由于消息索引记录根据预定规则更新添加至所述消息索引文件，所述预定规则与所述数据文件中消息的排列规则一致，所以消息序列号可以作为消息对应的消息索引记录在所述消息索引文件中的序号以便于根据消息序列号索引对应的消息。

在本实施例中，消息索引文件2中的索引头21和时间索引记录22均为20个字节。其中，索引头21的前4个字节为版本信息(Version)，后续4个字节为参考时间戳，参考时间戳用于记录消息索引文件的创建时间。参考时间戳对应的参考时间为过去的某一时刻到创建消息索引文件2时的秒数。例如，在图1中，参考时间为1471564800s，是从1970年1月1日零点整到2016年08月19号零点整的秒数，2016年08月19号零点整是创建消息索引文件2和时间索引文件1的时间。最后12个字节为保留位(Reserved)。消息索引记录22的前4个字节为数据文件标识，通过数据文件标识查找消息所在数据文件，例如消息索引文件中消息索引记录Message1的前4个字节存储为0，表示该消息索引记录对应的消息在数据文件#0中。后续8个字节为对应的消息在数据文件中的偏移地址，最后8个字节为保留位。在数据文件1中消息的前缀信息(Prefix)和后缀信息(Suffix)均为4个字节。

应理解，在实际应用时，索引头21的字节长度、消息索引记录22的字节长度及所述消息的前缀信息和后缀信息的字节长度等均可根据实际的需求进行相应修改，例如消息的前缀信息和后缀信息可以为0也可以为其他整数值。对于索引头21中的版本信息、参考时间戳等信息的位置及其字节长度都可根据实际需求进行更改。索引头21中的保留位和消息索引记录22中的保留位可以根据实际需求添加相应的信息。相似地，消息索引记录中的数据文件标识、对应消息的偏移地址和保留位的字节长度和相对位置也可以作相应的变更。数据文件3中消息的前缀信息和后缀信息的作用及其字节长度值也可以作相应调整。例如消息的前缀信息存储消息的长度值，消息的后缀信息为保留位，或者消息的后缀信息存储消息的长度值，消息的前缀信息为保留位等。

在本实施例中，在预先设定的时刻创建消息索引文件2。一个消息主题的第一个数据文件1可以在预先设定的时间创建，也可以在接收到第一条需要持久化的此消息主题的消息后创建。优选地，在数据文件1的文件大小达到设定的阈值时，自动创建新的数据文件1。

在接收到需要持久化的消息后，判断所述消息所属的消息主题。然后将所述消息和消息序列号存储到对应的数据文件1中。定时更新消息索引文件2以便实时地生成消息对应的消息索引记录。

在本实施例中的消息持久化方法中，通过创建数据文件1和消息索引文件2使得系统可以快速读取指定消息序列号的消息。例如从数据文件1中读取消息序列号为Sq的消息(也即在此数据文件中存储的第Sq条消息)。根据指定消息序列号Sq和消息索引记录的字节长度值n，计算此消息对应的消息索引记录在消息索引文件2中的偏移地址st_index为Sq*n。根据计算获得的偏移地址st_index查询消息索引记录获得此消息在对应的数据文件1中的偏移地址s_data。根据偏移地址s_data在对应的数据文件1中索引并读取消息序列号为Sq的消息。

在计算消息序列号为Sq对应的消息索引记录在消息索引文件2中的偏移地址时，上述偏移地址Sq*n为此消息索引记录的起始位置。也可以根据偏移地址Sq*n+n获得此消息索引记录的末尾位置。

例如，读取消息序列号为4的消息，即上述Sq的值为4，消息索引记录的字节长度值n为20。则所查询的消息对应的消息索引记录在消息索引文件2中的偏移地址为80。如图1所示，在消息索引文件2中偏移地址为80对应的消息索引记录为Message4。查询消息索引记录Message4获得数据文件标识为0，表示此消息在数据文件#0中。在根据消息索引记录Message4中存储的偏移地址在数据文件#0中索引并读取消息。

在本实施例的其中一个实施方法中，将消息索引记录22中的保留位设置信息为相对时间戳。相对时间戳对应的相对时间为从创建消息索引文件2到存储消息时刻的时间差，单位为纳秒。相对时间表示接收存储消息的相对精确时间。设置相对时间戳用于表征消息持久化存储时的精确时间，可以按照时间索引进行消息查询，也有利于后续按照时间进行快速索引消息的方案开发。

应理解，在实际应用时，可以根据不同的需求来设定单位时间的单位、参考时间的单位和相对时间的单位。例如单位时间和参考时间的单位可以设定为更大的单位如分钟、小时和天等，也可以设定为更小的单位。相对时间也可以设定为更精确的时间单位或者更大的时间单位。

由上所述，在本实施例中，创建数据文件用于存储需要持久化的消息，创建消息索引文件用于索引读取数据文件中的消息。通过创建消息索引文件以使得只需要读取数据文件一次便可以得到所需消息。因此，所述方法可以方便快速的从数据文件中读取指定消息序列号的消息。

图2是本实施例的消息持久化方法的流程图。如图2所示，在步骤S110，接收到需要持久化的消息后，判断消息所属的消息主题。

在步骤S120，将收到的消息持久化到数据文件中。

具体地，将收到的消息按消息的前缀信息、消息的内容和消息的后缀信息依次存储在数据文件中，其中消息的内容包括消息的具体内容和消息序列号等。定时更新消息索引文件以实时地生成消息的消息索引记录。

在步骤S130，读取指定消息序列号的消息。

具体地，根据给定的消息序列号和消息索引记录的字节长度值计算给定消息序列号对应的消息索引记录在消息索引文件中的偏移地址。根据计算所获得的偏移地址查询消息索引记录获得数据文件标识和所查询的消息在数据文件中的偏移地址。根据所查询的消息在数据文件中的偏移地址索引对应的数据文件并读取消息。

根据上述步骤可了解，在本实施例中，创建数据文件用于存储需要持久化的消息，创建消息索引文件用于索引读取数据文件中的消息。通过创建消息索引文件以使得只需要读取数据文件一次便可以得到所需消息。因此，所述方法可以方便快速的从数据文件中读取指定消息序列号的消息。

图3是本实施例的消息持久化方法中进行消息持久化的流程图。如图3所示，在步骤S210，在预先设定的时刻创建消息索引文件。消息索引文件用于索引对应的消息。

在步骤S220，创建数据文件。具体地，该消息主题的第一个数据文件可以在预先设定的时间创建，也可以在接收到需要持久化的第一条该消息主题的消息时创建。

应理解，步骤210在新的消息主题出现时才会执行。步骤S220在新的消息主题出现或者数据文件的大小达到设定的阈值时才会执行。

在步骤S230，接收到需要持久化的消息后，判断消息所属的消息主题。

在步骤240，将收到的消息持久化到数据文件中。具体地，将收到的消息按消息的前缀信息、消息的内容和消息的后缀信息依次存储在数据文件中，其中消息的内容包括消息的具体内容和消息序列号等。

在步骤S250，定时更新消息索引文件以使得实时地生成消息对应的消息索引记录。

在步骤S260，判断数据文件大小是否达到预定的阈值。若数据文件大小达到阈值，则执行步骤S220。若数据文件大小没有达到阈值，则执行步骤S230。

在本实施例中，在持久化存储消息到数据文件的过程中，创建消息索引文件，以使得可以快速地读取指定消息序列号的消息。

图4是本实施例的消息持久化方法中进行消息读取的流程图。如图4所示，在步骤S310，在接收到读取指定消息序列号的消息的指令后，根据给定的消息序列号Sq和消息索引记录的字节长度值n，计算可得消息序列号Sq对应的消息索引记录在消息索引文件中的偏移地址st_index为Sq*n。

在步骤S320，根据计算获得的消息索引记录的偏移地址st_index在消息索引文件中查询消息索引记录。

在步骤S330，根据消息索引记录中存储的数据文件标识查询消息所在的数据文件。根据消息索引记录中存储的偏移地址s_data在对应的数据文件中索引并读取给定消息序列号对应的消息。

在本实施例中，创建数据文件用于存储需要持久化的消息，创建消息索引文件用于索引读取数据文件中的消息。通过创建消息索引文件以使得只需要读取数据文件一次便可以得到所需消息。因此，所述方法可以方便快速的从数据文件中读取指定消息序列号的消息。

图5是本实施例的服务器的示意图。图5所示的服务器为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器51和存储器52。处理器51和存储器52通过总线53连接。存储器52适于存储处理器51可执行的指令或程序。处理器51可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器51通过执行存储器52所存储的指令，从而执行如上所述的本实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线53将上述多个组件连接在一起，同时将上述组件连接到显示控制器54和显示装置以及输入/输出(I/O)装置55。输入/输出(I/O)装置55可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置55通过输入/输出(I/O)控制器56与系统相连。

本领域的技术人员应明白，本发明的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。

本发明是参照根据本实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。

这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。

也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种消息持久化方法，包括：

接收需要持久化的消息后，获取所述消息所属的消息主题；

将所述消息存储在所述消息主题对应的数据文件中，所述消息包括消息序列号；

定时更新消息索引文件，生成所述消息对应的消息索引记录；其中，所述消息索引文件在预先设定的时间点创建；所述消息索引记录包括数据文件标识和所述消息在所述数据文件中的偏移地址；

所述消息索引记录根据预定规则更新添加至所述消息索引文件以使得能够根据消息序列号索引对应的消息，所述预定规则与所述数据文件中消息的排列规则一致，消息对应的消息索引记录在所述消息索引文件中的序号为消息序列号。

2.根据权利要求1所述的消息持久化方法，其特征在于，所述方法还包括：

在接收到读取给定消息序列号的消息的指令后根据所述消息索引文件索引并读取对应数据文件中对应的消息。

3.根据权利要求2所述的消息持久化方法，其特征在于，根据所述消息索引文件索引并读取对应数据文件中对应的消息包括：

根据所述消息序列号的数值和消息索引记录的字节长度值计算所述消息序列号对应的消息索引记录在消息索引文件中的偏移地址；

根据所计算的偏移地址查询获得所述消息序列号对应的消息索引记录；

根据所获得的消息索引记录在对应的数据文件中查询并读取对应的消息。

4.根据权利要求1所述的消息持久化方法，其特征在于，每个消息主题对应一个所述消息索引文件和至少一个所述数据文件。

5.根据权利要求1所述的消息持久化方法，其特征在于，所述方法还包括：

创建第一个数据文件，所述第一个数据文件在预先设定的时间点创建和/或在存储此消息主题的第一条消息时创建；

在所述数据文件大小达到预定的阈值时，创建新的数据文件。

6.根据权利要求1所述的消息持久化方法，其特征在于，在所述数据文件中所述消息的前缀信息和/或后缀信息用于隔离所存储的消息。

7.一种服务器，包括：

至少一个处理器；

存储器，用于存储所述处理器可执行的指令；

所述处理器被配置为执行如权利要求1-6中任一项所述的方法。

8.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-6任一项所述的方法。