CN106909599A - 一种集群系统、消息处理方法及装置 - Google Patents

Abstract

本申请涉及数据库技术领域，尤其涉及一种集群系统、消息处理方法及装置，用以实现集群中有且只有一台机器的数据增量引擎处于工作状态。本申请实施例提供一种集群系统，包括：多台主机；其中：所述多台主机，用于竞争获取互斥锁；所述多台主机中的第一主机，用于在获取到所述互斥锁后，启动所述第一主机的数据增量引擎；所述数据增量引擎用于接收集群外的服务器发送的待处理消息，并将所述待处理消息写入集群的消息队列中。由于在同一时刻互斥锁只能被集群中的一台主机占用，只有获取到互斥锁的主机才能启动数据增量引擎，因此本申请实施例可以使集群系统中有且只有一台机器的数据增量引擎处于工作状态。

Description

一种集群系统、消息处理方法及装置

技术领域

本申请涉及数据库技术领域，尤其涉及一种集群系统、消息处理方法及装置。

背景技术

在分布式集群环境下，集群中需要有一台机器从服务器接收消息放入数据库的消息队列中，然后由集群中的各台机器分别从消息队列中取出消息进行处理。集群中的每台机器中都部署有数据增量引擎，该数据增量引擎负责从服务器接收消息放入数据库的消息队列中。

目前，如果某台启动了数据增量引擎的机器宕机，或者这台机器的数据增量引擎停止工作，可以采用zookeeper启动另外一台机器的数据增量引擎。且，这种方式一方面需要单独部署zookeeper，实施复杂度较高。另一方面，这种方式仅能保证集群中存在正常工作的数据增量引擎，当出现两台以上的机器启动了数据增量引擎时，zookeeper不会进行处理。如果有多个数据增量引擎同时从服务器接收消息，则会导致数据库的消息队列中被放入大量重复消息，从而产生消息风暴。

综上，目前需要一种方案能够保证：在同一时刻，集群中有且只有一台机器的数据增量引擎在工作。

发明内容

本申请实施例提供一种集群系统、消息处理方法及装置，用以实现集群中有且只有一台机器的数据增量引擎处于工作状态。

本申请实施例提供一种集群系统，该集群系统包括：多台主机；其中：

所述多台主机，用于竞争获取互斥锁；所述互斥锁在同一时刻只能被集群中的一台主机占用；

所述多台主机中的第一主机，用于在获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群系统外的服务器发送的待处理消息，并将所述待处理消息写入集群系统的消息队列中。

可选地，所述第一主机还用于：

在获取到所述互斥锁后，按照预设的第一时间间隔更新所述互斥锁中的第一关键key值；所述第一key值用于判断所述数据增量引擎是否工作正常。

可选地，所述第一key值为心跳时间戳。

可选地，所述多台主机中的任一主机具体用于：

检测所述互斥锁中的第一key值，在确定所述第一key值没有被正常更新后，获取所述互斥锁。

可选地，所述多台主机中的任一主机具体用于：

在所述第一key值在预设时长内没有被更新时，确定所述第一key值没有被正常更新；或者，

在所述第一key值为空时，确定所述第一key值没有被正常更新。

可选地，所述第一主机还用于：

在启动所述第一主机的数据增量引擎后，更新所述互斥锁中的第二关键key值；所述第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机。

本申请实施例还提供一种消息处理方法，包括：

第一主机按照预设的第二时间间隔，检测所述互斥锁中的第二key值；所述互斥锁锁在同一时刻只能被集群系统中的一台主机占用；

判断检测到的所述第二key值所标识的主机是否为所述第一主机；

若不是，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。

本申请实施例提供一种消息处理装置，包括：

获取模块，用于与集群系统中的其它主机竞争获取互斥锁；所述互斥锁在同一时刻只能被集群中的一台主机占用；

启动模块，用于在所述获取模块获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群外的服务器发送的待处理消息，并将所述待处理消息写入集群的消息队列中。

本申请实施例还提供一种消息处理装置，包括：

检测模块，用于按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断模块，用于判断检测到的所述第二key值所标识的主机是否为所述第一主机；

处理模块，用于若确定检测到的所述第二key值所标识的主机不是所述第一主机，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。

本申请实施例中，在同一时刻，互斥锁只能被集群系统中的一台主机占用，只有获取到互斥锁的主机才能启动数据增量引擎，因此本申请实施例可以使集群系统中有且只有一台机器的数据增量引擎处于工作状态。

附图说明

图1为本申请实施例在集群系统中进行消息处理控制的示意图；

图2为本申请实施例一提供的消息处理方法流程图；

图3为本申请实施例二提供的消息处理方法流程图；

图4为本申请实施例三提供的消息处理装置结构示意图；

图5为本申请实施例四提供的消息处理装置结构示意图。

具体实施方式

如图1所示，为本申请实施例在集群系统中进行消息处理控制的示意图。本申请实施例中，集群系统中的各台主机竞争获取互斥锁，只有获取到互斥锁的主机才会启动数据增量引擎(DRC)，并采用启动的DRC从服务器接收消息，将接收的消息放入数据库的消息队列中。在同一时刻，集群系统中只有一台主机占用该互斥锁，因此可以使集群系统中有且只有一台机器的数据增量引擎处于工作状态。

下面结合说明书附图对本申请实施例作进一步详细描述。

实施例一

如图2所示，为本申请实施例一提供的消息处理方法流程图，包括以下步骤：

S201：第一主机与集群系统中的其它主机竞争获取互斥锁；所述互斥锁在同一时刻只能被集群中的一台主机占用。

这里，集群系统中的各台主机可以调用trylock()方法尝试获取互斥锁，当一台主机获取到互斥锁后，只有该主机宕机，或关闭数据增量引擎时，其它主机才有机会获取到互斥锁，也即在同一时刻集群系统中只能有一台主机获取到互斥锁。

在具体实施中，互斥锁的实现方式可以有多种，它可以是一块存储空间，第一主机在占用了该存储空间后，可以在该存储空间中记录上自己的标识信息，这样集群系统中的其它主机就无法再占用。互斥锁也可以是一种信息(比如一种唯一标识)，第一主机在使用了该唯一标识后，其它主机就不能再使用。

在分布式集群系统中，该互斥锁具体可以指分布式锁。分布式锁可以是采用tair实现的，Tair是一个高可靠性的键/值(Key/Value)存储引擎。

作为一种优选的实施方式，第一主机可以检测互斥锁的第一关键(key)值，在确定所述第一key值没有被正常更新后，尝试获取所述互斥锁。

这里，集群中的任一主机在获取到互斥锁后，可以按照预设的第一时间间隔更新互斥锁的第一key值；这里的第一key值用于判断所述数据增量引擎是否工作正常，具体可以是数据增量引擎的心跳时间戳，或者是累计计数值。比如，任一主机在获取到互斥锁后，可以周期性地更新tair中的第一key值，也即将互斥锁的第一key值更新为当前时间。第一主机检测互斥锁中的第一key值，若当前时间与第一key值之间的时间间隔超过预设时长，或者该第一key值为空(null)(这里，可以在当前时间与第一key值之间的时间间隔超过预设时长时，将第一key值自动置为null)，则第一主机可以尝试获取互斥锁，也即与其它主机竞争互斥锁。

S202：第一主机在获取到所述互斥锁后，启动第一主机的数据增量引擎。

这里，数据增量引擎可以接收服务器发送给集群的待处理消息，并将接收的待处理消息写入数据库的消息队列中，然后集群中的各台主机从数据库的消息队列中取出消息进行处理。该数据增量引擎可以指DRC，全称data replication center，可以提供在线存储(包括MySQL，Hbase，OceanBase等)的实时增量数据，提供实时稳定安全易用的增量数据源。

S203(可选地)：第一主机按照预设的第一时间间隔更新互斥锁的第一key值，以及更新互斥锁的第二key值；第一key值用于判断所述数据增量引擎是否工作正常；第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机(这里为第一主机)。

这里，启动DRC的第一主机不断更新tair中的第一key值和第二key值，若在经过预设时长后，第一key值没有得到更新，tair可以自动将其置为null。

S204(可选地)：集群中的第一主机按照预设的第二时间间隔，检测所述互斥锁中的第二key值；判断检测到的所述第二key值所标识的主机是否为所述任一主机；若不是，且所述任一主机的数据增量引擎当前处于工作状态，则关闭所述任一主机的数据增量引擎。

这里，为了防止集群系统内出现多台主机启动DRC的意外情况，可以为集群系统内的每台主机设立定时任务，每台主机不断检测tair中的第二key值，以第一主机为例，如果该第二key值所标识的主机不是第一主机，且第一主机启动了DRC，则该第一主机关闭自己的DRC，这样可以保证集群系统内只有一台机器的DRC处于工作状态。

可选地，第一主机可以在检测到自己启动了DRC之后，才执行上述自检(即上述检测第二key值所标识的主机是不是第一主机)的步骤，若该第一主机确定没有启动DRC，可以不用执行上述自检的步骤。

本申请实施例中，在同一时刻，互斥锁只能被集群中的一台主机占用，只有获取到互斥锁的主机才能启动数据增量引擎，因此本申请实施例可以使集群中有且只有一台机器的数据增量引擎处于工作状态。

实施例二

为了防止集群系统内出现多台主机启动数据增量引擎的意外情况的发生，不管集群系统内的主机是否有获取到互斥锁，都可以执行下述自检的步骤，以该主机为第一主机为例进行介绍。

如图3所示，为本申请实施例二提供的消息处理方法流程图，包括以下步骤：

S301：第一主机按照预设的第二时间间隔，检测互斥锁的第二key值；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；所述第二key值用于标识当前获取到互斥锁并启动数据增量引擎的主机。

S302：判断检测到的所述第二key值所标识的主机是否为所述第一主机。

S303：若不是，且所述第一主机的数据增量引擎处于工作状态，则关闭第一主机的数据增量引擎。

S304：若是，则第一主机继续使用启动的数据增量引擎，从服务器接收消息放入数据库的消息队列中。

基于同一发明构思，本申请实施例中还提供了一种与消息处理方法对应的系统及装置，由于该系统及装置解决问题的原理与本申请实施例进行消息处理的方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

实施例三

如图4所示，为本申请实施例三提供的消息处理装置结构示意图，包括：

获取模块41，用于与集群系统中的其它主机竞争获取互斥锁；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

启动模块42，用于在所述获取模块获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群系统外的服务器发送的待处理消息，并将所述待处理消息写入集群系统的消息队列中。

可选地，获取模块41具体用于：

检测集群系统的互斥锁中的第一key值；在确定所述第一key值没有被正常更新后，获取所述互斥锁。

可选地，获取模块41具体用于：

在所述第一key值在预设时长内没有被更新时，确定所述第一key值没有被正常更新；或者，

在所述第一key值为空时，确定所述第一key值没有被正常更新。

可选地，所述装置还包括：

第一更新模块43，用于在所述获取模块获取到所述互斥锁后，按照预设的第一时间间隔更新所述互斥锁中的第一关键key值；所述第一key值用于判断所述数据增量引擎是否工作正常。

可选地，所述装置还包括：

第二更新模块44，用于在启动所述第一主机的数据增量引擎后，更新所述互斥锁中的第二关键key值；所述第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机。

可选地，所述装置还包括：

检测模块45，用于按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断模块46，用于判断检测到的所述第二key值所标识的主机是否为所述第一主机；

处理模块47，用于若确定检测到的所述第二key值所标识的主机不是所述第一主机，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。

实施例四

如图5所示，为本申请实施例四提供的消息处理装置结构示意图，包括：

检测模块51，用于按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断模块52，用于判断检测到的所述第二key值所标识的主机是否为所述第一主机；

处理模块53，用于若确定检测到的所述第二key值所标识的主机不是所述第一主机，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。

实施例五

参见图1，本申请实施例五提供一种集群系统，该集群系统包括：多台主机；其中：

所述多台主机，用于竞争获取互斥锁；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

所述多台主机中的第一主机，用于在获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群系统外的服务器发送的待处理消息，并将所述待处理消息写入集群系统的消息队列中。

可选地，所述第一主机还用于：

在获取到所述互斥锁后，按照预设的第一时间间隔更新所述互斥锁中的第一关键key值；所述第一key值用于判断所述数据增量引擎是否工作正常。

可选地，所述第一key值为心跳时间戳。

可选地，所述多台主机中的任一主机具体用于：

检测所述互斥锁中的第一key值，在确定所述第一key值没有被正常更新后，获取所述互斥锁。

可选地，所述多台主机中的任一主机具体用于：

在所述第一key值在预设时长内没有被更新时，确定所述第一key值没有被正常更新；或者，

在所述第一key值为空时，确定所述第一key值没有被正常更新。

可选地，所述第一主机还用于：

在启动所述第一主机的数据增量引擎后，更新所述互斥锁中的第二关键key值；所述第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机。

可选地，所述多台主机中的任一主机还用于：

按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断检测到的所述第二key值所标识的主机是否为所述任一主机；

若不是，且所述任一主机的数据增量引擎当前处于工作状态，则关闭所述任一主机的数据增量引擎。

实施例六

参见图1，本申请实施例六提供一种集群系统，该集群系统包括：多台主机，其中：

所述多台主机，用于竞争获取分布式锁；所述分布式锁在同一时刻只能被集群系统中的一台主机占用；

所述多台主机中的第一主机，用于在获取到所述分布式锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群外的服务器发送的待处理消息，并将所述待处理消息写入集群的消息队列中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种集群系统，其特征在于，该集群系统包括：多台主机；其中：

所述多台主机，用于竞争获取互斥锁；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

所述多台主机中的第一主机，用于在获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群系统外的服务器发送的待处理消息，并将所述待处理消息写入集群系统的消息队列中。

2.如权利要求1所述的集群系统，其特征在于，所述第一主机还用于：

在获取到所述互斥锁后，按照预设的第一时间间隔更新所述互斥锁中的第一关键key值；所述第一key值用于判断所述数据增量引擎是否工作正常。

3.如权利要求2所述的集群系统，其特征在于，所述第一key值为心跳时间戳。

4.如权利要求2或3所述的集群系统，其特征在于，所述多台主机中的任一主机具体用于：

检测所述互斥锁中的第一key值，在确定所述第一key值没有被正常更新后，获取所述互斥锁。

5.如权利要求4所述的集群系统，其特征在于，所述多台主机中的任一主机具体用于：

在所述第一key值在预设时长内没有被更新时，确定所述第一key值没有被正常更新；或者，

在所述第一key值为空时，确定所述第一key值没有被正常更新。

6.如权利要求1所述的集群系统，其特征在于，所述第一主机还用于：

在启动所述第一主机的数据增量引擎后，更新所述互斥锁中的第二关键key值；所述第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机。

7.如权利要求6所述的集群系统，其特征在于，所述多台主机中的任一主机还用于：

按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断检测到的所述第二key值所标识的主机是否为所述任一主机；

若不是，且所述任一主机的数据增量引擎当前处于工作状态，则关闭所述任一主机的数据增量引擎。

8.一种集群系统，其特征在于，该集群系统包括：多台主机，其中：

所述多台主机，用于竞争获取分布式锁；所述分布式锁在同一时刻只能被集群系统中的一台主机占用；

所述多台主机中的第一主机，用于在获取到所述分布式锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群系统外的服务器发送的待处理消息，并将所述待处理消息写入集群系统的消息队列中。

9.一种消息处理方法，其特征在于，该方法包括：

第一主机与集群系统中的其它主机竞争获取互斥锁；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

在获取到所述互斥锁后，启动所述第一主机的数据增量引擎；

其中，所述数据增量引擎用于接收集群外的服务器发送的待处理消息，并将所述待处理消息写入集群的消息队列中。

10.如权利要求9所述的方法，其特征在于，第一主机与集群系统中的其它主机竞争获取互斥锁，包括：

检测集群系统的互斥锁中的第一key值；在确定所述第一key值没有被正常更新后，获取所述互斥锁；所述第一key值用于判断所述数据增量引擎是否工作正常。

11.如权利要求10所述的方法，其特征在于，所述确定所述第一key值没有被正常更新，包括：

在所述第一key值在预设时长内没有被更新时，确定所述第一key值没有被正常更新；或者，

在所述第一key值为空时，确定所述第一key值没有被正常更新。

12.如权利要求10所述的方法，其特征在于，所述方法还包括：

在获取到所述互斥锁后，按照预设的第一时间间隔更新所述互斥锁中的第一关键key值。

13.如权利要求9所述的方法，其特征在于，所述方法还包括：

在启动所述第一主机的数据增量引擎后，更新所述互斥锁中的第二关键key值；所述第二key值用于标识当前获取互斥锁并启动数据增量引擎的主机。

14.一种消息处理方法，其特征在于，该方法包括：

第一主机按照预设的第二时间间隔，检测所述互斥锁中的第二key值；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

判断检测到的所述第二key值所标识的主机是否为所述第一主机；

若不是，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。

15.一种消息处理装置，其特征在于，该装置包括：

获取模块，用于与集群系统中的其它主机竞争获取互斥锁；所述互斥锁在同一时刻只能被集群系统中的一台主机占用；

启动模块，用于在所述获取模块获取到所述互斥锁后，启动所述第一主机的数据增量引擎；其中，所述数据增量引擎用于接收集群外的服务器发送的待处理消息，并将所述待处理消息写入集群的消息队列中。

16.一种消息处理装置，其特征在于，该装置包括：

检测模块，用于按照预设的第二时间间隔，检测所述互斥锁中的第二key值；

判断模块，用于判断检测到的所述第二key值所标识的主机是否为所述第一主机；

处理模块，用于若确定检测到的所述第二key值所标识的主机不是所述第一主机，且所述第一主机的数据增量引擎当前处于工作状态，则关闭所述第一主机的数据增量引擎。