CN110365644A - 一种构建物联网设备高性能监控平台的方法 - Google Patents

Abstract

本发明公开了一种构建物联网设备高性能监控平台的方法，包括步骤：1)构建负载均衡层；2)构建协议解析层；3)构建消息转发层；4)构建实时计算中心。本发明通过分层的架构设计结合Nginx、Netty、Kafka、Flink技术构建具备高性能特性的物联网设备监控平台，高性能具体表现为高并发性、高可用性、高可伸缩性和高可拓展性。

Description

一种构建物联网设备高性能监控平台的方法

技术领域

本发明涉及物联网、软件体系结构的技术领域，尤其是指一种构建物联网设备高性能监控平台的方法。

背景技术

随着“中国制造2025”中两化融合理论的推进和智慧城市的发展建设，物联网技术被推向了一个新的高峰。在工业上，小到一个车间大到一个工业园区存在着许多大小不等的工业设备。在城市中，各个区域遍布着功能各异的基础设施包括传感监测设备、公共照明设备、公共交通工具等。在物联网体系结构中，这些都属于物联网设备。随着工业的发展与城市的建设，物联网设备的规模会越来越大。同时，大规模设备会产生大规模的数据。在这样的条件下，如何对大规模的物联网设备进行有效的监控是本发明要解决的核心问题。

传统的物联网设备监控平台集中在具体业务功能的实现上，保证了对设备的远程监控，避免了人工现场巡查，在管理效率上得到了很大的提升。但是传统的物联网监控平台只能应用于小规模的设备，无法对大规模设备进行监控。在大规模物联网设备的应用场景下，设备产生的海量数据会造成传统的物联网监控平台超负载工作甚至崩溃。

利用现有的开源物联网平台与商业物联网平台来构建物联网监控平台存在着许多的问题。开源物联网平台存在着较多的局限性，如DeviceHive不支持设备管理，并且在以往相关的研究与实践中没有提及开源物联网平台在大规模设备条件下的性能表现。因此无法证明基于开源物联网平台构建的监控平台在性能上优于传统的监控平台。商业物联网平台包括阿里云IoT、百度天工等，由于各大厂商的技术支撑，基于商业物联网平台构建的监控平台能够解决性能上的问题。但是仍然存在着以下几点问题：

1)灵活性不足。由于其商业性代码无法开源，开发者无法了解其内部的实现原理，只能按着平台提供商的开发文档进行流程式操作配置。因此企业不得不面对平台无法自主可控的尴尬境地，很多情况下无法灵活进行符合自身业务需求的配置。

2)价格昂贵。各个平台提供商的平台计算资源都是按需收费的，企业需要更好的性能支持就需要支付更多的费用。比如某厂商的物联网平台，最低月收费高达17143.20元。在长期使用的情况下，对中小企业将产生一笔不小的开支。

3)数据泄漏。由于平台提供商以公有云的方式支撑物联网平台，所有的数据都存储在云端，对于数据保密性强的企业来说，存在一定的数据泄漏风险。

本发明提供一种构建物联网设备高性能监控平台的方法，采用分层的架构设计思路，结合Nginx、Netty、Kafka、Flink等技术构建具备高性能特性的物联网设备监控平台，使其能够应用于大规模物联网设备的监控场景。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种构建物联网设备高性能监控平台的方法，突破传统物联网监控平台在性能上的不足以及开源物联网平台与商业物联网平台的局限性，让开发者在面对不同的物联网设备时能够快速构建起高性能的监控平台，从而完成对大规模设备的监控。高性能具体表现为高并发性、高可用性、高可伸缩性与高可拓展性。

为实现上述目的，本发明所提供的技术方案为：一种构建物联网设备高性能监控平台的方法，包括：

1)构建负载均衡层

通过Nginx框架构建负载均衡层，保证负载均衡层的高并发性；通过负载均衡的作用，协议解析层能够构建服务器集群，使其具备高可用性和高可伸缩性，同时为了保证负载均衡层具备高可用性，搭建主从双机Nginx服务器模式；

协议解析层的服务器节点地址以及所使用的负载均衡算法通过Nginx配置文件进行配置，主从双机Nginx服务器模式通过Keepalived进行配置，主从双机Nginx服务器对外提供虚拟IP地址供设备进行连接；

2)构建协议解析层

通过Netty框架构建协议解析层，完成设备数据的协议解析工作，保证了协议解析层的高并发性；

3)构建消息转发层

结合Kafka框架构建消息转发层，通过Kafka消息中间件异步和解耦的作用，使实时计算中心具备高可用性和高可拓展性，同时通过构建Kafka集群保证消息转发层的高可用性；

4)构建实时计算中心

通过Flink框架构建实时计算中心，完成对设备数据的计算处理工作，保证了实时计算中心的高并发性；

当物联网设备发送的数据到达后，负载均衡层接收设备数据，然后直接将字节流数据转发给协议解析层，协议解析层获取字节流后，调用相应的协议解析组件根据私有协议对字节流进行协议解析，形成具有特定业务含义的、能够被业务层识别的Json字符串，最后将Json字符串发送到消息转发层特定的主题中。实时计算中心根据监控主题获取到对应的数据后进行相关的计算处理。

所述步骤2)包括以下步骤：

2.1)定义设备与平台间的通信协议，必须在头部中加入包长；协议结构包括包头、包体与包尾，数字代表占多少个字节，包头中必须包含包长，并且还需要增加识别码、功能码、设备号，包体包含要监控的具体数据，包尾中包含校验码，用于对整个数据包进行校验；

2.2)根据定义的通信协议构建设备消息解码器，设备消息解码器能够获取完整的数据包并将其转换成消息对象，通过定义类并继承Netty中的帧长度解码器来构建自定义的消息解码器，根据步骤2.1)中定义的协议结构对帧长度解码器的构造参数进行设置；

2.3)构建消息校验器完成对数据包完整性、正确性的校验，根据包尾的校验码对消息对象进行CRC校验，校验不通过则直接丢弃；

2.4)根据具体的协议解析规则构建业务处理器，业务处理器负责对消息对象进行协议解析，解析包含监控业务具体数值的Json字符串，并作为消息中间件的生产者将Json字符串发送至对应的主题之中；

2.5)构建设备消息编码器，设备消息编码器负责将消息对象编码成物联网设备能够识别的二进制字节流，主要用于编码设备数据包的回复消息；通过定义类并继承Netty中的消息转消息编码器来构建自定义的消息编码器，将要发送的消息按照步骤2.1)中定义的协议结构写入到输出流缓冲区中；

按照上述步骤构建完设备消息解码器、消息校验器、业务处理器、设备消息编码器后，需要对网络进行初始化，在数据输入方向，当收到物联网设备数据时候，设备消息解码器将其转换为消息对象然后传递给消息校验器，消息校验器根据校验码对消息进行校验，校验通过则将消息传递给业务处理器进行协议解析，校验不通过则丢弃消息，在数据输出方向，通过设备消息编码器将消息对象转换成物联网设备能够识别的二进制数据流。

所述步骤3)包括以下步骤：

3.1)搭建Zookeeper集群

首先，需要安装Java环境，然后下载解压Zookeeper，并进入conf目录中修改zoo.cfg配置文件，配置dataDir、server参数，在/opt/zookeeper/data目录下创建myid文件，将各自的服务器标识写入文件中，最后通过zkServer.sh脚本启动Zookeeper服务；

3.2)搭建Kafka集群

下载解压Kafka，并对server.properties文件进行配置，配置broker.id、port参数，最后在各节点启动Kafka服务；

3.3)在Kafka中创建与监控业务相关的主题。

所述步骤4)包括以下步骤：

4.1)构建预处理模块

预处理模块作为消息中间件的消费者从相关的监控主题中获取数据，然后将其转换成便于统计计算的数据类型，最后对转换后的数据进行合法性校验；

4.2)构建统计模块

统计模块负责对数据进行规定时间窗口内的统计计算；

4.3)构建分析模块

分析模块负责根据制定的相关准则对数据进行规则判定；

4.4)构建存储模块

存储模块负责将数据以及监控信息存储至数据库中，为了满足高并发的写入速度，使用Redis内存数据库；

预处理模块接收到消息中间件中的数据后，对数据进行类型转换与合法性校验，校验通过后将数据发往统计模块，统计模块对数据进行统计计算，将计算结果发往存储模块和分析模块，发往存储模块是为了存储原始的统计数据，分析模块对数据进行规则判定，生成判定结果并将其发往存储模块，存储模块将原始统计数据与规则判定结果存储至Redis的数据队列中，最终用户能够通过轮询Redis中的数据队列实时获取设备的监控信息。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明结合Nginx、Netty、Kafka、Flink技术构建物联网设备监控平台，突破了传统物联网设备监控平台并发性不足的缺点。

2、本发明通过引入负载均衡层的方式，保证了协议解析层的高可用性和高可伸缩性，提升了平台数据接入部分的性能。

3、本发明通过引入消息转发层的方式，实现实时计算中心的高可用性与高可拓展性，提升了平台数据处理部分的性能。

4、本发明方法在大规模物联网设备的监控领域中具有广泛的使用空间，操作简单、适应性强，在提升物联网设备监控平台的性能上有广阔前景。

附图说明

图1为根据本发明方法构建的监控平台架构图。

图2为主从双机Nginx服务器网络拓扑图。

图3为协议解析层数据处理模型图。

图4为实时计算中心整体结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，是根据本发明方法构建的监控平台的整体架构图，其中负载均衡层与协议解析层构成了监控平台的数据接入部分，消息转发层与实时计算中心构成了监控平台的数据处理部分。本实施例所提供的构建物联网设备高性能监控平台的方法，使用Nginx、Netty、Kafka、Flink技术构建高性能物联网设备监控平台，完成对大规模物联网设备的有效监控，其包括以下步骤：

1)通过Nginx框架构建负载均衡层，保证负载均衡层的高并发性。通过负载均衡的作用，协议解析层能够构建服务器集群，使其具备高可用性和高可伸缩性。同时为了保证负载均衡层具备高可用性，搭建主从双机Nginx服务器模式。

协议解析层的服务器节点地址以及所使用的负载均衡算法可通过Nginx配置文件进行配置。主从双机Nginx服务器模式通过Keepalived进行配置，双机模式下网络拓扑结构如图2所示。主从Nginx服务器对外提供虚拟IP地址供设备进行连接。

2)通过Netty框架构建协议解析层完成设备数据的协议解析工作，保证了协议解析层的高并发性。包括以下步骤：

2.1)定义设备与平台间的通信协议，必须在头部中加入包长。以表1为例，协议结构包括包头、包体与包尾，数字代表占多少个字节。包头中必须包含包长，并且一般还需要增加识别码、功能码、设备号等。包体包含要监控的具体数据。包尾中包含校验码，用于对整个数据包进行校验。

表1示例协议结构

2.2)根据定义的通信协议构建设备消息解码器。设备消息解码器可以获取完整的数据包并将其转换成消息对象。通过定义类并继承Netty中的帧长度解码器来构建自定义的消息解码器，根据步骤2.1)中定义的协议结构对帧长度解码器的构造参数进行设置。

2.3)构建消息校验器完成对数据包完整性、正确性的校验。根据包尾的校验码对消息对象进行CRC校验，校验不通过则直接丢弃。

2.4)根据具体的协议解析规则构建业务处理器。业务处理器负责对消息对象进行协议解析，解析成包含监控业务具体数值的Json字符串，并作为消息中间件的生产者将Json字符串发送至对应的主题之中。

2.5)构建设备消息编码器。设备消息编码器负责将消息对象编码成物联网设备能够识别的二进制字节流，主要用于编码设备数据包的回复消息。通过定义类并继承Netty中的消息转消息编码器来构建自定义的消息编码器，将要发送的消息按照步骤2.1)中定义的协议结构写入到输出流缓冲区中。

按照上述步骤构建完编解码器、消息校验器、业务处理器后，需要对网络进行初始化，构建如图3所示的协议解析层数据处理模型。在数据输入方向，当收到物联网设备数据时候，设备消息解码器将其转换为消息对象然后传递给消息校验器。消息校验器根据校验码对消息进行校验，校验通过则将消息传递给业务处理器进行协议解析，校验不通过则丢弃消息。在数据输出方向，通过设备消息编码器将消息对象转换成物联网设备能够识别的二进制数据流。

3)结合Kafka框架构建消息转发层，通过Kafka消息中间件异步和解耦的作用，使实时计算中心具备高可用性和高可拓展性。同时通过构建Kafka集群保证消息转发层的高可用性。包括以下步骤：

3.1)搭建Zookeeper集群。首先需要安装Java环境，然后下载解压Zookeeper，并进入conf目录中修改zoo.cfg配置文件，配置dataDir、server等参数。在/opt/zookeeper/data目录下创建myid文件，将各自的服务器标识写入文件中。最后通过zkServer.sh脚本启动Zookeeper服务。

3.2)搭建Kafka集群。下载解压Kafka，并对server.properties文件进行配置，配置broker.id、port等参数。最后在各节点启动Kafka服务。

3.3)在Kafka中创建与监控业务相关的主题。

4)通过Flink框架构建实时计算中心，完成对设备数据的计算处理工作，保证了实时计算中心的高并发性。包括以下步骤：

4.1)构建预处理模块。预处理模块作为消息中间件的消费者从相关的监控主题中获取数据，然后将其转换成便于统计计算的数据类型。最后对转换后的数据进行合法性校验。

4.2)构建统计模块。统计模块负责对数据进行一定时间窗口内的统计计算，如一定时间内设备某状态量的均值。

4.3)构建分析模块。分析模块负责根据制定的相关准则对数据进行规则判定。如判定统计模块计算的监控状态量是否在标准范围之内。

4.4)构建存储模块。存储模块负责将数据以及监控信息存储至数据库中，为了满足高并发的写入速度，使用Redis内存数据库。

实时计算中心的整体结构如图4所示。预处理模块接收到消息中间件中的数据后，对数据进行类型转换与合法性校验，校验通过后将数据发往统计模块。统计模块对数据进行统计计算，将计算结果发往存储模块和分析模块，发往存储模块是为了存储原始的统计数据。分析模块对数据进行规则判定，生成判定结果并将其发往存储模块。存储模块将原始统计数据与规则判定结果存储至Redis的数据队列中。最终用户可以通过轮询Redis中的数据队列实时获取设备的监控信息。

综上所述，在采用以上方案后，本发明为构建物联网设备高性能监控平台提出了新的方法，通过分层的架构设计结合Nginx、Netty、Kafka、Flink技术为平台提供了高性能的特性，具体表现为高并发性、高可用性、高可伸缩性和高可拓展性，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种构建物联网设备高性能监控平台的方法，其特征在于，包括：

1)构建负载均衡层

通过Nginx框架构建负载均衡层，保证负载均衡层的高并发性；通过负载均衡的作用，协议解析层能够构建服务器集群，使其具备高可用性和高可伸缩性，同时为了保证负载均衡层具备高可用性，搭建主从双机Nginx服务器模式；

协议解析层的服务器节点地址以及所使用的负载均衡算法通过Nginx配置文件进行配置，主从双机Nginx服务器模式通过Keepalived进行配置，主从双机Nginx服务器对外提供虚拟IP地址供设备进行连接；

2)构建协议解析层

通过Netty框架构建协议解析层，完成设备数据的协议解析工作，保证了协议解析层的高并发性；

3)构建消息转发层

结合Kafka框架构建消息转发层，通过Kafka消息中间件异步和解耦的作用，使实时计算中心具备高可用性和高可拓展性，同时通过构建Kafka集群保证消息转发层的高可用性；

4)构建实时计算中心

通过Flink框架构建实时计算中心，完成对设备数据的计算处理工作，保证了实时计算中心的高并发性；

当物联网设备发送的数据到达后，负载均衡层接收设备数据，然后直接将字节流数据转发给协议解析层，协议解析层获取字节流后，调用相应的协议解析组件根据私有协议对字节流进行协议解析，形成具有特定业务含义的、能够被业务层识别的Json字符串，最后将Json字符串发送到消息转发层特定的主题中。实时计算中心根据监控主题获取到对应的数据后进行相关的计算处理。

2.根据权利要求1所述的一种构建物联网设备高性能监控平台的方法，其特征在于：所述步骤2)包括以下步骤：

2.1)定义设备与平台间的通信协议，必须在头部中加入包长；协议结构包括包头、包体与包尾，数字代表占多少个字节，包头中必须包含包长，并且还需要增加识别码、功能码、设备号，包体包含要监控的具体数据，包尾中包含校验码，用于对整个数据包进行校验；

2.2)根据定义的通信协议构建设备消息解码器，设备消息解码器能够获取完整的数据包并将其转换成消息对象，通过定义类并继承Netty中的帧长度解码器来构建自定义的消息解码器，根据步骤2.1)中定义的协议结构对帧长度解码器的构造参数进行设置；

2.3)构建消息校验器完成对数据包完整性、正确性的校验，根据包尾的校验码对消息对象进行CRC校验，校验不通过则直接丢弃；

2.4)根据具体的协议解析规则构建业务处理器，业务处理器负责对消息对象进行协议解析，解析包含监控业务具体数值的Json字符串，并作为消息中间件的生产者将Json字符串发送至对应的主题之中；

2.5)构建设备消息编码器，设备消息编码器负责将消息对象编码成物联网设备能够识别的二进制字节流，主要用于编码设备数据包的回复消息；通过定义类并继承Netty中的消息转消息编码器来构建自定义的消息编码器，将要发送的消息按照步骤2.1)中定义的协议结构写入到输出流缓冲区中；

按照上述步骤构建完设备消息解码器、消息校验器、业务处理器、设备消息编码器后，需要对网络进行初始化，在数据输入方向，当收到物联网设备数据时候，设备消息解码器将其转换为消息对象然后传递给消息校验器，消息校验器根据校验码对消息进行校验，校验通过则将消息传递给业务处理器进行协议解析，校验不通过则丢弃消息，在数据输出方向，通过设备消息编码器将消息对象转换成物联网设备能够识别的二进制数据流。

3.根据权利要求1所述的一种构建物联网设备高性能监控平台的方法，其特征在于：所述步骤3)包括以下步骤：

3.1)搭建Zookeeper集群

首先，需要安装Java环境，然后下载解压Zookeeper，并进入conf目录中修改zoo.cfg配置文件，配置dataDir、server参数，在/opt/zookeeper/data目录下创建myid文件，将各自的服务器标识写入文件中，最后通过zkServer.sh脚本启动Zookeeper服务；

3.2)搭建Kafka集群

下载解压Kafka，并对server.properties文件进行配置，配置broker.id、port参数，最后在各节点启动Kafka服务；

3.3)在Kafka中创建与监控业务相关的主题。

4.根据权利要求1所述的一种构建物联网设备高性能监控平台的方法，其特征在于：所述步骤4)包括以下步骤：

4.1)构建预处理模块

预处理模块作为消息中间件的消费者从相关的监控主题中获取数据，然后将其转换成便于统计计算的数据类型，最后对转换后的数据进行合法性校验；

4.2)构建统计模块

统计模块负责对数据进行规定时间窗口内的统计计算；

4.3)构建分析模块

分析模块负责根据制定的相关准则对数据进行规则判定；

4.4)构建存储模块

存储模块负责将数据以及监控信息存储至数据库中，为了满足高并发的写入速度，使用Redis内存数据库；

预处理模块接收到消息中间件中的数据后，对数据进行类型转换与合法性校验，校验通过后将数据发往统计模块，统计模块对数据进行统计计算，将计算结果发往存储模块和分析模块，发往存储模块是为了存储原始的统计数据，分析模块对数据进行规则判定，生成判定结果并将其发往存储模块，存储模块将原始统计数据与规则判定结果存储至Redis的数据队列中，最终用户能够通过轮询Redis中的数据队列实时获取设备的监控信息。