CN110868349B - 物联网环境下分布式高并发数据采集与处理方法及系统 - Google Patents

Abstract

本发明公开了一种物联网环境下分布式高并发数据采集与处理方法及系统，所述方法包括：创建进程引导器ServerBootstrap，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器，构造一个继承自ChannelInboundHandlerAdapter的处理类，添加针对不同协议的处理器Handler，构造主拦截器，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元。本发明提供的物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集。

Description

物联网环境下分布式高并发数据采集与处理方法及系统

技术领域

本发明涉及大数据下的工业物联网数据采集技术领域，特别是涉及一种物联网环境下分布式高并发数据采集与处理方法及系统。

背景技术

对于大部分制造业企业，测量仪器、作业设备的自动数据采集一直是个令人烦恼的事情，不但工作繁重，同时也无法保证数据的准确性，数据经常滞后；而对于现场的不良产品信息及相关的生产数据，如何实现高效率、简洁、实时的数据采集更是一大难题。

大数据的数据采集是在确定用户目标的基础上，针对该范围内所有的结构化、半结构化和非结构化的数据的采集，采集后对这些数据进行处理，从中分析和挖掘出有价值的信息。在大数据的采集过程中，其面临的挑战主要有两点，其一是异构物联网设备的通信协议以及数据协议呈现多样性；另外随着海量设备接入，数据采集的高并发数会产生性能瓶颈，导致数据积压、连接超时等问题。

发明内容

本发明的目的是提供一种物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集，具有高吞吐量、高并发、低延迟、可扩展、持久性、可靠性、容错性等特点。

为实现上述目的，本发明提供了如下方案：

一种物联网环境下分布式高并发数据采集与处理方法，该方法包括以下步骤：

S1，采集终端设备的数据并发送至物联网网关；

S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：

S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数；

S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；

S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；

S204，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；

S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列；

S3，消息队列接收原始数据和经数据采集模块处理后的数据，并分别存入不同数据库中。

可选的，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数，具体包括：

ServerBootstrap作为数据采集模块的启动辅助类，设置启动相关参数，包括：

a)将bossGroup、workerGroup与进程引导器相关联；

b)设置线程组的通道类型为非阻塞IO通道。

可选的，所述S202中，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置，具体包括：

主线程组bossGroup用于接收客户端的连接请求，当数据采集模块收到连接请求时，从主线程组中随机选择一个线程来处理连接；链路建立成功后，将数据通道注册到工作线程组workerGroup的某个线程上，由它来处理后续的I/O操作。

可选的，所述S203中，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内，具体包括：

处理类重载channelRead方法来实现数据的读取与转发，并且根据不同的协议头来对数据做不同的处理和转发。

可选的，所述S204中，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后，具体包括：

用户自定义数据处理规则；

根据接收到的协议数据段提取出标识信息，获取设备标识，查询其对应的数据解析Handler。

可选的，所述S3中，消息队列接收原始数据和经数据处理模块处理后的数据，并分别存入不同数据库中，具体包括：

消息队列采用Kafka，为每个设备唯一性标识建立对应topic，并根据不同topic将数据存入数据库不同表中；所述数据库采用Mysql和Hbase，其中Hbase存储原始历史数据，Mysql存储结构化的基础数据以及解析后的实时数据。

本发明还提供了一种物联网环境下分布式高并发数据采集与处理系统，应用于上述的物联网环境下分布式高并发数据采集与处理方法，其特征在于包括：

终端设备、物联网网关、数据采集模块、消息队列以及数据库；所述终端设备与物联网网关、所述物联网网关与所述数据采集模块之间双向通信连接，所述数据采集模块用于对终端设备的数据进行处理；所述消息队列用于将原始数据和处理后的数据分发到不同的数据库。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的物联网环境下分布式高并发数据采集与处理方法及系统，通过上述方法构建了Netty框架，支持大批量数据采集，每天可支持TB级数据量采集，每天采集数据可达亿条，支持数据实时采集，数据采集能力超过2万条/秒，千万级数据实时查询响应时间小于10秒；提供设备与软件的上下行双向通信通道，能够稳定可靠的支撑设备上报与指令下发设备的场景，改进了现有采集方法单向通信、设备不可控的不足；该方法及系统具有强大的设备接入能力，巧妙的架构设计，使得其可以同时处理成百上千个客户端连接，支持海量数据的传输支持多种类设备接入：消息队列采用Kafka，能够保证数据处理的低延迟，防止数据积压；用户通过自定义数据解析Handler以及业务逻辑Hadnler可以实现异构设备的接入以及多环境下设备接入，支持TCP、HTTP(s)、UDP等多种协议的设备接入；支持二次开发，用户可自定义数据解析逻辑，接入多种数据协议；综上，本发明提出一种新的基于边缘计算模型的传感器端数据采集与处理框架，实现将原有物联网平台云计算中心的部分或全部计算任务迁移到数据源的附近执行，以提高数据传输性能，保证处理的实时性，同时降低云计算中心的计算负载，设计实现一个针对物联网应用场景，具有高吞吐量、高并发、低延迟、可扩展、持久性、可靠性、容错性等关键特性的分布式消息中间件系统。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明物联网环境下分布式高并发数据采集与处理系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集，具有高吞吐量、高并发、低延迟、可扩展、持久性、可靠性、容错性等特点。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供的物联网环境下分布式高并发数据采集与处理方法，包括以下步骤：

S1，采集终端设备的数据并发送至物联网网关；

S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：

S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数；

S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；

S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；

S204，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；

S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列；

S3，消息队列接收原始数据和经数据采集模块处理后的数据，并分别存入不同数据库中。

其中，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数，具体包括：

ServerBootstrap作为数据采集模块的启动辅助类，设置启动相关参数，包括：

a)将bossGroup、workerGroup与进程引导器相关联；

b)设置线程组的通道类型为非阻塞IO通道。

其中，所述S202中，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置，具体包括：

主线程组bossGroup用于接收客户端的连接请求，当数据采集模块收到连接请求时，从主线程组中随机选择一个线程来处理连接；链路建立成功后，将数据通道注册到工作线程组workerGroup的某个线程上，由它来处理后续的I/O操作。这种连接与数据处理的异步执行提升了I/O线程的处理和调度性能。

其中，所述S203中，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内，具体包括：

处理类重载channelRead方法来实现数据的读取与转发，并且根据不同的协议头来对数据做不同的处理和转发。

其中，所述S204中，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后，具体包括：

用户自定义数据处理规则；

根据接收到的协议数据段提取出标识信息，获取设备标识，查询其对应的数据解析Handler。

其中，所述S3中，消息队列接收原始数据和经数据处理模块处理后的数据，并分别存入不同数据库中，具体包括：

消息队列采用Kafka，为每个设备唯一性标识建立对应topic，并根据不同topic将数据存入数据库不同表中；采用Kafka能够保证数据处理的低延迟，防止数据积压。所述数据库采用Mysql和Hbase，其中Hbase存储原始历史数据，Mysql存储结构化的基础数据以及解析后的实时数据。

上述方法及系统，采用Netty框架，支持大批量数据采集，每天可支持TB级数据量采集，每天采集数据可达亿条，支持数据实时采集，数据采集能力超过2万条/秒，千万级数据实时查询响应时间小于10秒；提供设备与软件的上下行双向通信通道，能够稳定可靠的支撑设备上报与指令下发设备的场景，改进了现有采集方法单向通信、设备不可控的不足；该方法及系统具有强大的设备接入能力，巧妙的架构设计，使得其可以同时处理成百上千个客户端连接，支持海量数据的传输支持多种类设备接入：支持异构网络设备接入、多环境下设备接入；支持TCP、HTTP(s)、UDP等多种协议的设备接入；支持二次开发，用户可自定义数据解析逻辑，接入多种数据协议。

本发明提供的物联网环境下分布式高并发数据采集与处理方法，一方面聚焦基于边缘计算的物联网终端数据高速采集与处理技术，另一方面主要研究多种通信协议以及数据协议数据的解析和存储。研究基于Key-Value的无协调、高一致性的实时数据高速存储和处理技术，设计实现一个能够支持实时数据高速缓存与处理的分布式计算模型。在此基础上，提出一种新的基于边缘计算模型的传感器端数据采集与处理框架，实现将原有物联网平台云计算中心的部分或全部计算任务迁移到数据源(即传感器)的附近执行，以提高数据传输性能，保证处理的实时性，同时降低云计算中心的计算负载。设计实现一个针对物联网应用场景，具有高吞吐量、高并发、低延迟、可扩展、持久性、可靠性、容错性等关键特性的分布式消息中间件系统。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种物联网环境下分布式高并发数据采集与处理方法，其特征在于，包括以下步骤：

S1，采集终端设备的数据并发送至物联网网关；

S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：

S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数；

S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；

S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；

S204，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；

S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列；

S3，消息队列接收原始数据和经数据采集模块处理后的数据，并分别存入不同数据库中。

2.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数，具体包括：

ServerBootstrap作为数据采集模块的启动辅助类，设置启动相关参数，包括：

a)将bossGroup、workerGroup与进程引导器相关联；

b)设置线程组的通道类型为非阻塞IO通道。

3.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S202中，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置，具体包括：

主线程组bossGroup用于接收客户端的连接请求，当数据采集模块收到连接请求时，从主线程组中随机选择一个线程来处理连接；链路建立成功后，将数据通道注册到工作线程组workerGroup的某个线程上，由它来处理后续的I/O操作。

4.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S203中，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内，具体包括：

处理类重载channelRead方法来实现数据的读取与转发，并且根据不同的协议头来对数据做不同的处理和转发。

5.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S204中，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后，具体包括：

用户自定义数据处理规则；

根据接收到的协议数据段提取出标识信息，获取设备标识，查询其对应的数据解析Handler。

6.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S3中，消息队列接收原始数据和经数据处理模块处理后的数据，并分别存入不同数据库中，具体包括：

消息队列采用Kafka，为每个设备唯一性标识建立对应topic，并根据不同topic将数据存入数据库不同表中；所述数据库采用Mysql和Hbase，其中Hbase存储原始历史数据，Mysql存储结构化的基础数据以及解析后的实时数据。

7.一种物联网环境下分布式高并发数据采集与处理系统，应用于权利要求1-6任一所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于包括：

终端设备、物联网网关、数据采集模块、消息队列以及数据库；所述终端设备与物联网网关、所述物联网网关与所述数据采集模块之间双向通信连接，所述数据采集模块用于对终端设备的数据进行处理；所述消息队列用于将原始数据和处理后的数据分发到不同的数据库。

Images