CN109587138A - 一种物联网系统服务节点容错动态调度方法及服务器 - Google Patents

Abstract

本发明提供一种物联网系统服务节点容错动态调度方法及服务器，包括以下步骤：服务端在zookeeper建立临时节点；管理中心接收终端上传的认证数据后进行终端认证；管理中心将所有从zookeeper获取的临时节点采用一致性哈希环进行节点、终端的匹配，获取与终端相匹配的临时节点，服务端生成该临时节点的匹配数据并进行存储，同时将该临时节点的匹配数据下发至终端；终端将匹配数据匹配数据发送至临时节点，临时节点对接收的匹配数据进行匹配，若匹配通过则完成终端与服务端的通信建立，若匹配不通过则重新进行终端认证。将服务节点的调度放到服务端内部进行，对终端完全透明，有效的避免了服务资源的浪费，并且降低对终端的开发要求。本发明应用于物联网技术领域。

Description

一种物联网系统服务节点容错动态调度方法及服务器

技术领域

本发明涉及物联网领域，尤其涉及一种物联网系统服务节点容错动态调度方法及服务器。

背景技术

近年来，物联网的快速发展，物联网系统具有持续高并发、实时和容错要求高等特点，在具备设备远程控制管理功能的物联网系统中，需要对终端的通信会话进行管理，因此设计具备较高容错能力的动态调度方案是物联网系统提高服务能力的重要手段，也是当前大型物联网系统设计研发的重点。

当前的物联网系统对于容错调度在不同规模的物联网系统上通常有不同的做法，小规模的物联网系统通常采用反向代理在连接上进行路由，后续节点相互独立。这种是通过部署方式来进行容错，不存在系统内的调度，只能保证连接的成功，这种方案成本低，开发难度小(等同于单点系统开发)。成规模的物联网系统通常采用分布式架构，前端入口通过反向代理进行连接的路由，有专门的节点管理终端的通信会话，这类节点冗余部署，在工作节点故障后，终端连接冗余节点进行通信，这种是通过终端来实现容错调度，这种方案能够实现服务节点故障后的容错切换，同时也带来多方面的问题，具体问题有：

1、服务资源的浪费

在正常的运行中，冗余节点是不参与业务的，有超过50％的服务资源处于空闲状态，这种冗余造成了资源的浪费，使物联网系统运营的成本上升，间接加大了用户设备联网的成本。

2、终端设备开发复杂度提高

通过终端进行服务节点的调度，无疑是将服务端内部产生的问题交到外部去解决，需要终端开发者了解服务端的部署方式，自行开发服务调度的功能，将使终端设备开发复杂度提高，从而带来终端设备成本上升。

3、系统扩展到时故障风险扩散

随着接入设备的增加，分布式的物联网系统需要进行扩展以提升服务能力，在增加服务节点的同时，需要对应的增加冗余节点，这种扩展将故障风险复制扩散到多处。

以上三方面的问题是当前一般企业成规模物联网系统在服务容错调度方面的通病，现在的硬件环境在一定程度上能够保障服务的可靠性，通常情况下这些问题不会明显的暴露出来，但这些问题的存在却不可避免。

发明内容

针对上述的技术问题，本发明的目的是提供一种物联网系统服务节点容错动态调度方法，将服务节点的调度放到服务端内部进行，对终端完全透明，有效的避免了服务资源的浪费，并且降低对终端的开发要求。

为了实现上述发明目的，本发明提供一种物联网系统服务节点容错动态调度方法，其采用的技术方案是：

一种物联网系统服务节点容错动态调度方法，包括以下步骤：

S1、服务端在zookeeper建立临时节点，并将zookeeper中所有临时节点的运行数据上报至管理中心，管理中心将所有临时节点的运行数据缓存至Redis中；

S2、管理中心接收终端上传的认证数据后进行终端认证，终端认证不通过则进入步骤S3，终端认证通过则进入步骤S4；

S3、验证中心将终端认证的验证不通过的结果反馈至终端，使得终端修改认证数据后再次进行步骤S2；

S4、管理中心将所有从zookeeper获取的临时节点采用一致性哈希环进行节点、终端的匹配，获取与终端相匹配的临时节点，服务端生成该临时节点的匹配数据并进行存储，同时将该临时节点的匹配数据下发至终端；

S5、与终端相匹配的临时节点接收对应终端上传的匹配数据后进行匹配，若匹配通过则完成终端与服务端的通信建立，若匹配不通过则返回步骤S2。

作为上述技术方案的进一步改进，步骤S1中，将zookeeper中所有临时节点的运行数据上报至管理中心的上报过程每分钟进行一次。

作为上述技术方案的进一步改进，步骤S2中，所述认证数据包括终端编号与终端认证秘钥。

作为上述技术方案的进一步改进，步骤S2中具体包括：

S21、认证中心通过tcp/ip连接终端，随后接收终端上传的终端编号与终端认证秘钥；

S22、认证中心将终端编号与终端认证秘钥上报至管理中心；

S23、管理中心将认证密钥同数据库中的记录进行比对，比对一致则终端认证通过，比对不一致则终端认证不通过。

作为上述技术方案的进一步改进，步骤S4具体包括：

S41、管理中心将所有从zookeeper获取的临时节点组成一致性哈希环；

S42、从一致性哈希环中随机抽取一个临时节点并从Redis中提取该临时节点的运行数据；

S43、验证该临时节点是否处于运行状态，若是则进入步骤S44，若否则在一致性哈希环内删除该临时节点后再次进行步骤S42；

S44、验证该临时节点是否达到最大终端在线数，若是则进入步骤S45，若否则在一致性哈希环内删除该临时节点后再次进行步骤S42；

S45、服务端生成该临时节点的匹配数据并将匹配数据进行存储至Redis中；

S46、服务端将该临时节点的匹配数据下发至终端。

作为上述技术方案的进一步改进，所述匹配数据包括终端编号、临时节点编号与匹配码。

作为上述技术方案的进一步改进，步骤S5具体包括：

S51、与终端相匹配的临时节点通过mqtt连接对应终端，随后接收对应终端上传的匹配数据；

S52、步骤S51中的临时节点通过rpc向管理中心发起匹配数据请求，管理中心从redis提取对应匹配数据并通过rpc下发给该临时节点；

S53、该临时节点对从终端获取匹配数据与从管理中心获取的匹配数据进行信息的匹配，若匹配通过则完成终端与服务端的通信建立，若匹配不通过则返回步骤S2。

为了实现上述发明目的，本发明提供一种物联网系统服务节点容错动态调度服务器，其采用的技术方案是：

一种物联网系统服务节点容错动态调度服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明的有益技术效果：

与通常的冗余方案相比，本发明将服务节点的调度放到服务端内部进行，对终端完全透明，具备如下特点：

1、对终端开发要求降低：本发明的调度方法对终端完全透明，不再需要终端内置多个服务节点的地址，也不再需要终端对服务端是否可用进行探查，该特性能够有效降低终端开发的成本。

2、避免了服务资源空闲：通过节点注册、终端认证、节点匹配流程，使得每一个服务节点都实际参与业务的处理，不存在处于空闲的服务节点，从而有效降低了物联网系统运营的成本。

3、规模越大，风险越低：虽然当前硬件条件不断改善，但每一个服务节点仍有故障的风险，本发明中，每一个服务节点都是其他所有服务节点的后备节点，一个节点故障，该节点上的终端将会比较平均的分配到其他的节点上，而不影响其他节点上已有的终端。系统在扩展时，节点数越多，相当于每一个节点的后备节点数越多，意味着每一个节点的风险都降低了。

4、系统安全性提升：终端认证与节点匹配匹配的过程不仅实现了动态调度，还实现了非正常连接的双重拦截，终端认证过程引入了流控机制，能够对故障设备的重复连接以及高频率的攻击性连接进行拦截，节点匹配过程借鉴蓝牙的配对原理，可对破解终端认证秘钥的行为进行有效的拦截。

附图说明

图1是节点注册流程示意图；

图2是终端认证流程示意图；

图3是节点分配流程示意图；

图4是终端匹配流程示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚明白，下结合具体实施例，并根据附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，未描述的内容以及部分英文简写为所属技术领域中普通技术人员所熟知的内容。本实施例中给定的一些特定参数仅作为示范，在不同的实时方式中该值可以相应地改变为合适的值。

本实施例提供了一种物联网系统服务节点容错动态调度方法，结合zookeeper、redis、rpc、tcp/ip、mqtt共同实现系统的动态调度，整个调度过程在物联网系统内部进行，对终端完全透明，并且具有规模越大可靠性越高的特点。

本实施例用到的开源中间件zookeeper、redis，其描述及作用如下：

zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，为分布式应用提供一致性服务的软件,本发明中的功能为服务发现功能。

redis：是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，本发明中用于缓存数据。

本发明中用到的通信协议rpc、tcp/ip、mqtt，其描述及作用如下：

rpc：远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。在OSI网络通信模型中，RPC跨越了传输层和应用层。本发明中通过rpc实现同步数据交换。

tcp/ip：互联网协议，是一个网络通信模型，以及一整个网络传输协议家族，为互联网的基础通信架构。本发明中直接应用于终端的认证环节。

mqtt：消息队列遥测传输协议，是IBM开发的一个即时通讯协议，基于tcp/ip，主要应用于物联网领域。本发明中用于终端的匹配环节以及后续的正常终端通信。

本实施例的流程步骤包括：节点注册、终端认证、节点分配、终端匹配。在节点的分配阶段，系统将自动剔除有故障的临时节点，服务节点在故障恢复后自动加入到分配列表中。

S1、节点注册

参考图1，节点注册启动后，在zookeeper建立临时节点，同时通过rpc将所建立临时节点的运行数据上报到管理中心，管理中心将运行数据缓存进redis，该上报过程每分钟进行一次。其中，上报和缓存的运行数据包括数据临时节点的编号、运行状态、在线终端数量、是否满载的标识、消息溢出的时间、当前未处理和未发送的消息数量。

S2，S3、终端认证

参考图2，终端启动后，首先通过tcp/ip连接认证中心，将终端自身的终端编号、认证秘钥发送到认证中心，认证中心将终端的认证数据通过rpc上报到管理中心，管理中心将认证数据中的认证密钥同数据库中的记录进行比对，比对一致的校验通过，不一致的将反馈校验不通过结果经rpc下发至认证中心，认证中心再下发给终端，终端修改认证密钥后可重新认证。其中，认证数据包含终端编号与终端认证秘钥。

S4、节点分配

参考图3，管理中心将所有从zookeeper获取的临时节点采用一致性哈希环进行节点、终端的匹配，获取到匹配成功的临时节点后，管理中心从redis获取到该临时节点的运行数据，运行数据中包含该临时节点的运行标识(表示是否正常工作)和满载标识(表示是否达到最大终端在线数)，如果该临时节点运行状态为“运行”且满载标识为“false”，将为终端分配该临时节点并生成匹配数据，通过rpc下发匹配数据，同时生成匹配数据缓存进redis。如果运行信息检测不通过，将从哈希环中移除该临时节点，重新进行分配。其中，匹配数据包含：终端的编号、临时节点的编号、匹配码。

S5、终端匹配

参考图4，终端获取到服务端下发的匹配数据后，将断开tcp/ip连接，通过mqtt连接分配好的临时节点，将获得的匹配数据发送给该临时节点。数临时节点通过rpc向管理中心发起匹配数据请求，管理中心从redis获取到匹配数据并通过rpc下发给该临时节点，该临时节点进行信息的匹配，若匹配通过，终端与服务端的通信建立完成，若匹配不通过，返回至终端认证的步骤。

本实施例还公开了一种物联网系统服务节点容错动态调度服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。具体的，处理器中包含有：

管理中心模块，用于实现上述方法中管理中心的功能；

认证中心模块，用于实现上述方法中认证中心的功能。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (8)

1.一种物联网系统服务节点容错动态调度方法，其特征在于，包括以下步骤：

S1、服务端在zookeeper建立临时节点，并将zookeeper中所有临时节点的运行数据上报至管理中心，管理中心将所有临时节点的运行数据缓存至Redis中；

S2、管理中心接收终端上传的认证数据后进行终端认证，终端认证不通过则进入步骤S3，终端认证通过则进入步骤S4；

S3、验证中心将终端认证的验证不通过的结果反馈至终端，使得终端修改认证数据后再次进行步骤S2；

S4、管理中心将所有从zookeeper获取的临时节点采用一致性哈希环进行节点匹配，获取与终端相匹配的临时节点，服务端生成该临时节点的匹配数据并进行存储，同时将该临时节点的匹配数据下发至终端；

S5、与终端相匹配的临时节点接收对应终端上传的匹配数据后进行匹配，若匹配通过则完成终端与服务端的通信建立，若匹配不通过则返回步骤S2。

2.根据权利要求1所述物联网系统服务节点容错动态调度方法，其特征在于，步骤S1中，将zookeeper中所有临时节点的运行数据上报至管理中心的上报过程每分钟进行一次。

3.根据权利要求1所述物联网系统服务节点容错动态调度方法，其特征在于，步骤S2中，所述认证数据包括终端编号与终端认证秘钥。

4.根据权利要求3所述物联网系统服务节点容错动态调度方法，其特征在于，步骤S2中具体包括：

S21、认证中心通过tcp/ip连接终端，随后接收终端上传的终端编号与终端认证秘钥；

S22、认证中心将终端编号与终端认证秘钥上报至管理中心；

S23、管理中心将认证密钥同数据库中的记录进行比对，比对一致则终端认证通过，比对不一致则终端认证不通过。

5.根据权利要求1至4中任一项所述物联网系统服务节点容错动态调度方法，其特征在于，步骤S4具体包括：

S41、管理中心将所有从zookeeper获取的临时节点组成一致性哈希环；

S42、从一致性哈希环中随机抽取一个临时节点并从Redis中提取该临时节点的运行数据；

S43、验证该临时节点是否处于运行状态，若是则进入步骤S44，若否则在一致性哈希环内删除该临时节点后再次进行步骤S42；

S44、验证该临时节点是否达到最大终端在线数，若是则进入步骤S45，若否则在一致性哈希环内删除该临时节点后再次进行步骤S42；

S45、服务端生成该临时节点的匹配数据并将匹配数据进行存储至Redis中；

S46、服务端将该临时节点的匹配数据下发至终端。

6.根据权利要求5所述物联网系统服务节点容错动态调度方法，其特征在于，所述匹配数据包括终端编号、临时节点编号与匹配码。

7.根据权利要求5所述物联网系统服务节点容错动态调度方法，其特征在于，步骤S5具体包括：

S51、与终端相匹配的临时节点通过mqtt连接对应终端，随后接收对应终端上传的匹配数据；

S52、步骤S51中的临时节点通过rpc向管理中心发起匹配数据请求，管理中心从redis提取对应匹配数据并通过rpc下发给该临时节点；

S53、该临时节点对从终端获取匹配数据与从管理中心获取的匹配数据进行信息的匹配，若匹配通过则完成终端与服务端的通信建立，若匹配不通过则返回步骤S2。

8.一种物联网系统服务节点容错动态调度服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。