CN105323151A - 一种消息处理可靠性追踪方法及装置 - Google Patents

Abstract

本发明公开了一种消息处理可靠性追踪方法及装置。所述方法包括：协调者获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；所述协调者获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；所述协调者判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，所述协调者判定消息源发出的消息被完全处理。如此方案，有助于降低追踪过程中网络传输字节数，保证Storm的消息处理性能。

Description

一种消息处理可靠性追踪方法及装置

技术领域

本发明涉及数据处理领域，具体地，涉及一种消息处理可靠性追踪方法及装置。

背景技术

随着大数据业务的快速增长，Storm应运而生，用于实现大规模数据处理的实时计算。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。

在Storm消息处理模型中，消息源spout作为主节点将消息tuple发送至其下游的消息处理者bolt，bolt作为工作节点，不断的接收并处理来自上游节点的消息。通常，根据bolt在整个消息处理模型中所处的位置，bolt将来自上游节点的消息处理完毕后，可视情况将消息发送至其下游节点，或者，在不存在下游节点时bolt不发送消息，以此表示消息处理结束。

为了保证Storm消息处理的可靠性，需要对spout发出的消息进行追踪，只有在确定该消息被下游所有相关bolt处理完毕后，才认为spout发出的消息被完全处理。

进行消息处理可靠性追踪时，spout为每个tuple维护一个校验值ack-val，且初始设置为0；同时，上游节点会为其下游节点生成对应的随机数V，连同消息一起发送至下游节点，如此，便可通过异或操作以及监测ack-val更新值的方式，进行消息处理可靠性追踪。正常情况下，spout发出的消息被完全处理时，ack-val被更新还原为0，若ack-val被提前更新为0，则说明追踪过程中出现冲突。

通常，ack-val和V可被设置为int型或者long型，为了尽量减小追踪过程出现冲突的概率，一般将ack-val和V设置为long型。结合图1所示消息树，追踪过程可体现如下，其中，ack-val被初始设置为ack-val₁＝0000。

1.spout为bolt1生成随机数V₁＝1001，将V₁和消息AA发送至bolt1。spout利用ack-val₁和V₁得到异或结果1，并将异或结果1发送至协调者，由协调者利用异或结果1和ack-val₁做异或，将ack-val₁更新为ack-val₂＝1001。

2.bolt1接收到V₁后，为bolt2生成随机数V₂＝1000，为bolt3生成随机数V₃＝0100。bolt1利用V₁、V₂和V₃得到异或结果2，并在消息处理完毕后，将异或结果2发送至协调者，由协调者利用异或结果2和ack-val₂做异或，将ack-val₂更新为ack-val₃＝1100。

3.基于相同原理，bolt2接收V₂并完成消息处理后，协调者通过异或处理将ack-val₃更新为ack-val₄＝0100；bolt3接收V₃并完成消息处理后，协调者通过异或处理将ack-val₄更新为ack-val₅＝0000。至此，spout监控到ack-val被更新还原为0000，可判定spout发出的消息被完全处理。

上述通过占用64位空间的long型表示ack-val和V的方案，虽可在一定程度上减小冲突出现的概率，但却增大了网络传输字节数，可能会影响Storm消息处理效率。

发明内容

本发明的消息处理可靠性追踪方法及装置，提供一种新的追踪方案，有助于降低追踪过程中的网络传输字节数。

第一方面，本发明实施例提供了一种消息处理可靠性追踪方法，所述方法包括：

协调者获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；

所述协调者获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；

所述协调者判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，所述协调者判定消息源发出的消息被完全处理。

在第一方面的第一种可能的实现方式中，所述协调者维护校验值，所述协调者判定所述第一位移数与所述第二位移数相匹配的方式为：

所述协调者按照所述第一位移数和所述第二位移数的指示，对所述校验值进行移位操作；

所述协调者判断移位操作后是否能得到所述校验值的初始值，如果是，所述协调者判定所述第一位移数与所述第二位移数相匹配。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述校验值占用1字节。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述校验值的初始值设置为1，所述第一位移方向为向左平移，所述第二位移方向为向右平移。

结合第一方面或第一方面的第一种至第三种中的任一种可能的实现方式，在第四种可能的实现方式中，Storm采用集中式架构，包括一个所述协调者。

结合第一方面或第一方面的第一种至第三种中的任一种可能的实现方式，在第五种可能的实现方式中，Storm采用分布式架构，包括一个主协调者和至少两个从协调者；则

所述协调者获得第一位移信息，包括：所述主协调者获得所述至少两个从协调者发送的第一位移信息；

所述协调者获得第二位移信息，包括：所述主协调者获得所述至少两个从协调者发送的第二位移信息。

第二方面，本发明实施例提供了一种消息处理可靠性追踪装置，所述装置属于协调者，所述装置包括：

第一获得单元，用于获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；

第二获得单元，用于获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；

判断单元，用于判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，则判定消息源发出的消息被完全处理。

在第二方面的第一种可能的实现方式中，所述协调者维护校验值，

所述判断单元，具体用于按照所述第一位移数和所述第二位移数的指示，对所述校验值进行移位操作；判断移位操作后是否能得到所述校验值的初始值，如果是，则判定所述第一位移数与所述第二位移数相匹配。

结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，Storm采用集中式架构，包括一个所述协调者。

结合第二方面或第二方面的第一种可能的实现方式，在第三种可能的实现方式中，Storm采用分布式架构，包括一个主协调者和至少两个从协调者，所述装置属于所述主协调者；

所述第一获得单元，具体用于获得所述至少两个从协调者发送的第一位移信息；

所述第二获得单元，具体用于获得所述至少两个从协调者发送的第二位移信息。

本发明技术方案中，上游节点每向下游节点发布一次消息，则可执行一次移位操作加以记录，同理，下游节点将上游节点发送的消息处理完毕后，亦可执行一次反方向的移位操作进行记录。通过移位操作的方式，可以准确可靠的追踪消息发布和消息处理情况，还有助于降低追踪过程中网络传输字节数，保证Storm的消息处理性能。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是一种消息树的示意图；

图2是本发明消息处理可靠性追踪方法的流程图；

图3是本发明消息处理可靠性追踪装置的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

消息处理过程中，Storm会追踪从spout发送出的tuple在后续处理过程中产生的消息树，以确保这棵消息树被完全执行。参见图1，bolt1作为spout的下游节点，接收来自spout的消息并处理，同时，bolt2和bolt3作为bolt1的下游节点，接收来自bolt1的消息并处理，如此就形成了图1所示消息树。

下面结合具体示例，对本发明追踪方案进行解释说明。参见图2，示出了本发明消息处理可靠性追踪方法的流程图，可包括：

S101，协调者获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息。

S102，所述协调者获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反。

本发明方案中，上游节点每向下游节点发送一次消息，则可执行一次移位操作加以记录，同理，下游节点将上游节点发送的消息处理完毕后，可执行一次反方向的移位操作进行记录。通过记录移位方向以及移位位数的方式，实现追踪消息树中各节点消息处理情况的目的。

举例来说，上游节点每向下游节点发送一次消息，则向左平移一位；下游节点将上游节点发送的消息处理完毕，则向右平移一位，对应于图1所示消息树，bolt1分别向bolt2和bolt3发送消息，则记录为向左平移两位，得到第一位移信息。若bolt2将消息处理完毕，则记录为向右平移一位，得到第二位移信息。

实际应用过程中，协调者可通过多种方式获得第一位移信息和第二位移信息，下面做简单举例说明。

方式一，协调者接收消息树中各节点反馈的信息，进行信息汇总得到第一位移信息和第二位移信息。

举例来说，消息发布一次就向左平移一位，消息处理完毕一次就向右平移一位，且初始时刻协调者保存的第一位移数d1＝0，第二位移数d2＝0。参见图1所示消息树，spout向bolt1发布消息后，可向协调者发送第一指令，以此指示协调者更新d1＝1；bolt1将spout发布的消息处理完毕后，可向协调者发送第二指令，以此指示协调者更新d2＝1，同时，bolt1向bolt2和bolt3发布消息后，亦会通过第一指令指示协调者将第一位移数更新为d1＝3。如此，协调者就可汇总得到，第一位移信息为向左平移了3位，第二位移信息为向右平移了1位。

需要说明的是，第一指令和第二指令用于指示协调者进行位移统计，举例来说，第一指令可以表现为一个高电平，第二指令可以表现为一个低电平，也就是说，协调者通过识别高低电平的方式记录位移信息；或者，第一指令可以为一条设置有特殊比特位的消息，且该特殊比特位被设置为1，第二指令的特殊比特位则被设置为0，也就是说，协调者通过识别特殊比特位取值的方式记录位移信息。本发明并不对第一指令和第二指令的具体形式做具体限定。

方式二，可以由协调者维护一个校验值，同时，协调者根据消息树中各节点反馈的信息，在校验值的初始值的基础上进行移位操作，得到第一位移信息和第二位移信息。

举例来说，消息发布一次就向左平移一位，消息处理完毕一次就向右平移一位，且利用1字节来表示校验值，如校验值的初始值设置为00000001。参见图1所示消息树，spout向bolt1发布消息后，可向协调者发送第一指令，以此指示协调者进行移位操作得到00000010；bolt1将spout发布的消息处理完毕后，可向协调者发送第二指令，以此指示协调者进行移位操作得到00000001，同时，bolt1向bolt2和bolt3发布消息后，亦会通过第一指令指示协调者进行移位操作得到00000100，如此，协调者就可通过移位操作得到第一位移消息和第二位移消息。

需要说明的是，本发明中的位移数可以是绝对位移数，如上述示例中，第一位移信息为向左平移了3位，第二位移信息为向右平移了1位；或者，本发明中的位移数也可以是相对位移数，如上述示例中，第一位移信息为向左平移了2位，第二位移信息为向右平移了0位。本发明实施例对位移数的具体表现形式可不做具体限定。

方式三，还可由消息源spout来维护校验值，并在发布消息的同时，将校验值一起发送至下游节点，由消息树中的各子节点进行校验值更新，并反馈至协调者。

举例来说，消息发布一次就向左平移一位，消息处理完毕一次就向右平移一位，且利用1字节来表示校验值，如校验值的初始值设置为00000001。参见图1所示消息树，spout向bolt1发布消息时，将校验值更新为00000010，并将00000010连同消息一起发送至bolt1，同时，spout还将00000010发送至协调者；bolt1将spout发布的消息处理完毕后，将00000010更新为00000001，同时bolt1还会向bolt2和bolt3发布消息，故bolt1最终将00000001更新为00000100，发送至协调者。协调者根据00000100获得如下位移信息：第一位移信息为向左平移了2位，第二位移信息为向右平移了0位。

上述协调者获得第一位移信息和第二位移信息的三种方式，仅是为了对本发明方案做解释说明所列举的示例，结合实际应用，还可采用其它方式使协调者获得位移信息，本发明实施例对此可不做具体限定。

另外，需要说明的是，关于校验值所占字节数、初始值的具体取值、第一位移方向、第二位移方向、单次移位操作对应的移动位数等等，本发明可不做具体限定，均可结合实际应用而定。举例来说，校验值占用2字节，且校验值的初始值具体取值为0000000100000000，第一位移方向可以为向右平移，第二位移方向为向左平移，单次移位操作可以为平移两位，也就是说，针对一次消息发布，可移位操作得到0000000000010000；针对一次消息处理完毕，则可移位操作得到0001000000000000。

S103，所述协调者判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，所述协调者判定消息源发出的消息被完全处理。

协调者经S101得到了反映消息树中消息发布情况的第一位移信息，经S102得到了反映消息树中消息处理情况的第二位移信息，如此，协调者便可利用二者判断spout发出的消息在整棵消息树中的完成情况。通常，如果第一位移数与第二位移数相匹配，则可判定消息被完全处理；反之则可判定消息未被完全处理。

与协调者获得位移信息的方式相对应，协调者可采用不同方式来判断第一位移数与第二位移数是否相互匹配。

对应于上文方式一，协调者可比对第一位移数与第二位移数，若二者不同，则判定二者并不匹配，说明spout发布的消息目前还未被完全处理。如上文所举示例，d1＝3和d2＝1不同，说明在当前时刻，至少还有两个下游节点未将上游节点发布的消息处理完毕。

对应于上文方式二，协调者可按照第一位移数和第二位移数的指示，对校验值进行移位操作；并判断移位操作后是否能得到校验值的初始值，若不能得到初始值，则判定二者并不匹配，说明spout发布的消息目前还未被完全处理。也就是说，协调者根据移位操作后能否还原回初始值，来判断消息是否被完全处理。如上文所举示例，初始值为00000001，移位操作后为00000100，二者不同，即移位操作后并未还原回初始值，说明在当前时刻，至少还有两个下游节点未将上游节点发布的消息处理完毕。

综上，本发明基于移位操作，可以准确可靠的追踪消息发布和消息处理情况，作为一种示例，在进行消息发布和消息处理情况反馈时，可以通过仅占1字节的校验值实现，相对于现有技术传输long型数据的方案而言，本发明方案还可大大减少网络传输字节数，不仅有助于保证Storm数据处理性能，还使Storm采用分布式架构实现成为可能。

也就是说，基于本发明技术方案，Storm既可采用集中式架构实现，又可采用分布式架构实现。

对于集中式架构而言，可以只存在一个协调者，该协调者可以被定义为主协调者，消息树中的各个节点均可与主协调者通信，向其反馈消息发布和消息处理情况。具体追踪过程可参照上文所做描述，此处不再赘述。

对应分布式架构而言，可以存在多个协调者，具体包括一个主协调者和至少两个从协调者。各从协调者负责追踪各自区域内bolt节点的消息发布和消息处理情况，且主协调者和从协调者之间按照层级分布，形成一个追踪消息处理可靠性的网络。

需要说明的是，对于从协调者的存在方式，其可以单独存在于网络中，或者，还可以将从协调者的功能附加于bolt节点中，本发明实施例对此可不做具体限定。另外，对于从协调者所负责区域的划分方式，本发明实施例亦不做具体限定。

另外，针对分布式架构，还可做如下几点说明。

(1)图2所示流程图可以为主协调者在追踪过程中所执行的动作。其中，S101中协调者获得第一位移信息，具体指：主协调者获得至少两个从协调者发送的第一位移信息；S102中协调者获得第二位移信息，具体指：主协调者获得至少两个从协调者发送的第二位移信息。

(2)主协调者与从协调者之间的通信方式可以为：主协调者分别与至少两个从协调者相通信，也就是说，各从协调者之间不进行通信，但均可向主协调者进行信息反馈。或者，主协调者与从协调者之间进行分层通信，也就是说，主协调者与部分从协调者相通信，从协调者通过逐层上报的方式，将消息树中各节点的消息发布和消息处理情况反馈至主协调者。

(3)对于从协调者来说，其可以只用于获取第一位移信息和第二位移信息，也就是说，从协调者可以只具备信息收集上报功能。或者，从协调者还可以具备初步分析的功能，即收集其所负责区域的消息发布和消息处理情况，并进行初步汇总后再上报给主协调者，或上报给上层子协调者。对于从协调者获得第一位移信息和第二位移信息的方式，可参照上文所做介绍，此处亦不再赘述。

与图2所示方法相对应，本发明实施例还提供一种消息处理可靠性追踪装置，所述装置属于协调者，参见图3所示示意图，所述装置可包括：

第一获得单元201，用于获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；

第二获得单元202，用于获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；

判断单元203，用于判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，则判定消息源发出的消息被完全处理。

可选地，所述协调者维护校验值，所述判断单元，具体用于按照所述第一位移数和所述第二位移数的指示，对所述校验值进行移位操作；判断移位操作后是否能得到所述校验值的初始值，如果是，则判定所述第一位移数与所述第二位移数相匹配。

可选地，Storm采用集中式架构，包括一个所述协调者。

可选地，Storm采用分布式架构，包括一个主协调者和至少两个从协调者，所述装置属于所述主协调者；

所述第一获得单元，具体用于获得所述至少两个从协调者发送的第一位移信息；

所述第二获得单元，具体用于获得所述至少两个从协调者发送的第二位移信息。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种消息处理可靠性追踪方法，其特征在于，所述方法包括：

协调者获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；

所述协调者获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；

所述协调者判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，所述协调者判定消息源发出的消息被完全处理。

2.根据权利要求1所述的方法，其特征在于，所述协调者维护校验值，所述协调者判定所述第一位移数与所述第二位移数相匹配的方式为：

所述协调者按照所述第一位移数和所述第二位移数的指示，对所述校验值进行移位操作；

所述协调者判断移位操作后是否能得到所述校验值的初始值，如果是，所述协调者判定所述第一位移数与所述第二位移数相匹配。

3.根据权利要求2所述的方法，其特征在于，所述校验值占用1字节。

4.根据权利要求2所述的方法，其特征在于，所述校验值的初始值设置为1，所述第一位移方向为向左平移，所述第二位移方向为向右平移。

5.根据权利要求1至4任一项所述的方法，其特征在于，Storm采用集中式架构，包括一个所述协调者。

6.根据权利要求1至4任一项所述的方法，其特征在于，Storm采用分布式架构，包括一个主协调者和至少两个从协调者；则

所述协调者获得第一位移信息，包括：所述主协调者获得所述至少两个从协调者发送的第一位移信息；

所述协调者获得第二位移信息，包括：所述主协调者获得所述至少两个从协调者发送的第二位移信息。

7.一种消息处理可靠性追踪装置，其特征在于，所述装置属于协调者，所述装置包括：

第一获得单元，用于获得第一位移信息，所述第一位移信息包括第一位移方向和第一位移数，所述第一位移信息用于表示上游节点向下游节点发送消息；

第二获得单元，用于获得第二位移信息，所述第二位移信息包括第二位移方向和第二位移数，所述第二位移信息用于表示所述下游节点将所述上游节点发送的消息处理完毕，所述第一位移方向与所述第二位移方向相反；

判断单元，用于判断所述第一位移数与所述第二位移数是否相匹配，如果相匹配，则判定消息源发出的消息被完全处理。

8.根据权利要求7所述的装置，其特征在于，所述协调者维护校验值，

所述判断单元，具体用于按照所述第一位移数和所述第二位移数的指示，对所述校验值进行移位操作；判断移位操作后是否能得到所述校验值的初始值，如果是，则判定所述第一位移数与所述第二位移数相匹配。

9.根据权利要求7或8所述的装置，其特征在于，Storm采用集中式架构，包括一个所述协调者。

10.根据权利要求7或8所述的装置，其特征在于，Storm采用分布式架构，包括一个主协调者和至少两个从协调者，所述装置属于所述主协调者；

所述第一获得单元，具体用于获得所述至少两个从协调者发送的第一位移信息；

所述第二获得单元，具体用于获得所述至少两个从协调者发送的第二位移信息。