CN110109996A - 一种工业互联网设备实时数据采集与存储方法及系统 - Google Patents

Abstract

本发明提供一种工业互联网设备实时数据采集与存储方法及系统，属于设备数据采集技术领域，通过封装一种以上的设备协议并形成协议池，以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；再将转换后的数据，以消息推送的方式发送到消息队列；最后拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。可减少软件系统硬件投入成本。松耦合、易扩展的特点，可快速实现新协议的接入和系统扩容。

Description

一种工业互联网设备实时数据采集与存储方法及系统

技术领域

本发明涉及设备数据采集技术，尤其涉及一种工业互联网设备实时数据采集与存储方法及系统。

背景技术

传统设备数据采集软件难以满足工业互联网云模式下百万级设备在线同时采集并发要求和海量工业数据存储需求。

现有设备数据采集监控软件，一般应用在工业现场局域网环境中，设备连接种类、数量较少。接入协议方面，连接工业设备一般采用Modbus等传统工业现场协议，采集软件需要开启线程主动定时轮询设备状态。

数据存储方面，一般采用关系型数据库。这种传统架构，消耗线程资源较多、效率较低，软件开启的后台线程数制约连接设备数量，关系数据库不能满足海量工业数据存储的要求。

在工业互联网场景下，需要对这两方面进行优化。

发明内容

为了解决以上技术问题，本发明提出了一种工业互联网场景下，松耦合、易扩展的设备数据采集与存储方法，可减少因设备协议不一致导致的大量重复业务代码编写，大量设备接入导致系统负载过高、海量工业时序数据存储的难题。

本发明的技术方案是：

一种工业互联网设备实时数据采集与存储方法，

主要包括三个步骤：

1)封装一种以上的设备协议并形成协议池，以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

2)接收步骤1)转换后的数据，以消息推送的方式发送到消息队列；

3)拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

进一步的，内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；

新协议的开发需要实现根据设备接入协议的实现相关逻辑，完成协议的对接和数据的各种转换。

进一步的，使用kafak或Rabbit MQ作为分布式消息队列系统；将步骤1)转换的标准数据报文格式，发送到Kafka消息队列。

进一步的，采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费。

写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；

当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。

此外，为解决工业互联网场景下，工业设备数据采集面临的设备协议标准多、异构数据复杂导致平台架构不具备通用性以及传统工业现场数据采集软件难以满足大量设备接入平台后高并发、低延迟、高可用与传统架构难以支撑海量时序数据存储的难题，本发明还提供了一种工业互联网设备实时数据采集与存储系统，主要包括三个部分：接入装置、转换装置、存储装置，其中，

接入装置，封装一种以上的设备协议以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

转换装置，接收接入装置转换后的数据，以消息推送的方式发送到消息队列；

存储装置，拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

进一步的，所述接入装置内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；

新协议的开发根据设备接入协议的相关逻辑，完成协议的对接和数据的各种转换。

再进一步的，使用kafak或Rabbit MQ作为分布式消息队列系统；将接入装置转换的标准数据报文格式，发送到Kafka消息队列；

采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费；

写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。

针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；

当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。

通过本发明搭建的软件架构方案，提供了一种低成本、高效率、低延迟、云模式轻松实现百万级工业设备接入、数据采集与存储的架构。该架构，通过少量几台服务器部署实现百万设备接入，可减少软件系统硬件投入成本。松耦合、易扩展的特点，可快速实现新协议的接入和系统扩容。适应工业互联网应用场景。

附图说明

图1是本发明的工作流程图；

图2是接入层的工作流程示意图；

图3是转换层的工作流程示意图；

图4是存储层的工作流程示意图；

图5是本发明的系统整体框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例中本发明的实时数据采集与存储方法，主要包括三个步骤：

1)封装一种以上的设备协议以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

2)接收步骤1)转换后的数据，以消息推送的方式发送到消息队列；

3)拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

将上述步骤分别对应三层来实现，分别是接入层、转换层和存储层。

如图2所示，第一层是接入层，封装了多种设备协议，形成内置协议池，如MQTT(消息队列遥测传输)、Socket、Restful API等协议，接入层负责对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式。

在该层实现了不同协议设备的接入，可根据设备的协议选择接入方式。

接入层将异构的实时参数数据报文转换为软件内部定义标准报文格式的示例如下：

同时，内置协议池支持开发扩展更多协议，协议池对外部程序提供了统一的服务启动、连接、监听以及回调接口，新协议的开发仅需要实现根据设备接入协议的实现相关逻辑，即可完成某种协议的对接和数据各种的转换，不需要处理其他业务代码。由工厂方法判断设备的接入类型，自动选择相关协议进行转换。因此该方案具有易于拓展的优点。

设备协议池的特点如下：

设备协议池的设计，可满足设备协议多、复杂、不统一的特点。支持快速添加新的接入协议，扩展成本低，不会因为新协议的引入影响原有功能。

如图3所示，第二层是转换层。本层的核心是使用了kafak作为分布式消息队列。在这一层，作为生产者将协议层转换的标准数据报文格式，发送到Kafka消息队列。数据转换层的消息队列服务实现了设备实时数据的削峰填谷。避免大量数据同时进入业务系统导致系统瘫痪。Kafka作为分布式消息队列系统，能够支撑秒级亿万级消息进入，将协议解析系统与业务系统解耦，减少系统宕机风险，提高软件并发能力。

本发明中使用的消息队列，除了使用的Kafka消息队列外，也可以使用Rabbit MQ等消息队列替代。使用Rabbit MQ中的拉式消费模式同样可以达到削峰填谷的效果。

分布式消息队列特点如下：

分布式消息队列是采集设备实时数据削峰填谷的重要中间件，可有效减少软件来自处理设备数据的压力，提高设备接入能力。

如图4所示，第三层是存储层。在这一层，作为Kafka消息队列的消费者，将设备数据取出。与推式消息队列不同，消费者采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息取出数据进行消费。取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

写入数序数据库采用时序数据库提供的Restful API，为了提高时序数据库的写入效率，同时降低时序数据库的并发访问压力。采取与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。

实现设备数据异步批量写入，针对每一个时序数据库，开启不同的任务队列。当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，这样来自不同设备的实时数据可按照批次发送至数据库进行保存。明显优化时序数据的写入效率、减轻时序数据库的访问压力。

高性能分布式时序数据库与读写客户端特点如下：

高性能分布式时序数据库是存储海量时序设备数据的保障，高性能读写客户端是存储设备实时数据的重要工具。

如图5所示，本发明的一种工业互联网设备实时数据采集与存储系统，其框架如下：

主要包括三个部分：接入装置、转换装置、存储装置，其中，

接入装置，封装一种以上的设备协议以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

转换装置，接收接入装置转换后的数据，以消息推送的方式发送到消息队列；

存储装置，拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

各部分能够执行上述图1的实施例中所描述的工业互联网设备实时数据采集与存储方法。

此外，

所述接入装置能够执行上述图2的实施例中所描述的接入层的方法。内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；新协议的开发根据设备接入协议的相关逻辑，完成协议的对接和数据的各种转换。

转换装置能够执行上述图3的实施例中所描述的转换层的方法。使用kafak或Rabbit MQ作为分布式消息队列系统；将接入装置转换的标准数据报文格式，发送到Kafka消息队列；采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费；写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。

存储装置能够执行上述图4的实施例中所描述的存储层的方法，针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。

所述的“每次最大发送数据点数”或者“最大提交间隔”，可根据具体的情况进行设置。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种工业互联网设备实时数据采集与存储方法，其特征在于，

主要包括三个步骤：

1)封装一种以上的设备协议并形成协议池，以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

2)接收步骤1)转换后的数据，以消息推送的方式发送到消息队列；

3)拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

2.根据权利要求1所述的方法，其特征在于，

内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；

新协议的开发根据设备接入协议的相关逻辑，完成协议的对接和数据的各种转换。

3.根据权利要求1所述的方法，其特征在于，

使用kafak或Rabbit MQ作为分布式消息队列系统；将步骤1)转换的标准数据报文格式，发送到Kafka消息队列。

4.根据权利要求1所述的方法，其特征在于，

采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费。

5.根据权利要求4所述的方法，其特征在于，

写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。

6.根据权利要求5所述的方法，其特征在于，

针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；

当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。

7.一种工业互联网设备实时数据采集与存储系统，其特征在于，

主要包括三个部分：接入装置、转换装置、存储装置，其中，

接入装置，封装一种以上的设备协议以对接各种设备的传输协议，并将异构的实时参数数据报文转换为软件内部定义的标准的协议格式；

转换装置，接收接入装置转换后的数据，以消息推送的方式发送到消息队列；

存储装置，拉取消息队列数据，将取出的设备数据，根据配置信息，存储到不同的时序数据库集群。

8.根据权利要求7所述的系统，其特征在于，

所述接入装置内置协议池以开发扩展新协议，协议池对外部程序提供统一的服务启动、连接、监听以及回调接口；

新协议的开发根据设备接入协议的相关逻辑，完成协议的对接和数据的各种转换。

9.根据权利要求7或8所述的系统，其特征在于，

使用kafak或Rabbit MQ作为分布式消息队列系统；将接入装置转换的标准数据报文格式，发送到Kafka消息队列；

采用自动拉取消息队列数据的方式处理数据，当上一次取出的数据处理完后，再到消息队列中取出数据进行消费；

写入数序数据库采用时序数据库提供的设备协议；与每个时序数据库仅建立一个通讯连接，每次写入数据复用这个连接，不再新建连接的方式。

10.根据权利要求9所述的方法，其特征在于，

针对每一个时序数据库，开启不同的任务队列，实现设备数据异步批量写入；

当满足系统设置的“每次最大发送数据点数”或者“最大提交间隔”时，触发写入事件，来自不同设备的实时数据按照批次发送至数据库进行保存。