CN112783668B - 基于RabbitMQ的海量智能制造设备的数据采集处理方法 - Google Patents

Abstract

本发明公开了一种基于RabbitMQ的海量智能制造设备的数据采集处理方法，包括：智能制造设备与数据采集平台通过不同通信方式进行网络传输，数据采集平台实现参数管理、报文管理、身份认证管理和订阅管理，数据采集平台对智能制造设备群传来的消息队列依照配置信息进行边缘计算，数据采集平台数据库数据上传至上层工业PaaS、工业SaaS，数据采集平台数据库数据下发至设备，前述的数据备份五个环节。本发明使用消息中间件RabbitMQ实现设备与上层工业PaaS、工业SaaS之间解耦，实现数据采集平台动态伸缩，提高系统的稳健性。

Description

基于RabbitMQ的海量智能制造设备的数据采集处理方法

技术领域

本发明涉及制造物联网技术领域，具体来说，涉及一种基于RabbitMQ的海量智能制造设备的数据采集处理方法解决制造物联网中海量设备接入问题。

背景技术

工业物联网平台是指将各种设备连接到统一的管理平台，实现设备和平台之间数据采集和命令下发的双向通信，数据采集平台是工业物联网平台的基础性设施。制造过程中海量制造设备生产数据的产生给数据采集平台及时高效地处理带来巨大挑战。

发明内容

本发明的目的在于提出一种基于RabbitMQ的海量智能制造设备的数据采集处理方法，以克服现有技术中存在的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于RabbitMQ的海量智能制造设备的数据采集处理方法，所述方法包括以下步骤：

1)智能制造设备与数据采集平台通过不同通信方式进行网络传输，所述智能制造设备上的信号传输模块将数据发送至消息中间件RabbitMQ，所述消息中间件RabbitMQ的集群负载均衡器LBS将任务分配至负载较小的消息中间件服务器上，所述LBS分配过程对于智能制造设备是完全无感，数据采集平台消费中间件接收的所述智能制造设备传来的数据，数据持久化也作为数据采集平台中间件的消费者接收持久化数据；

2)数据采集平台实现参数管理、报文管理、身份认证管理和订阅管理，其中，消息中间件RabbitMQ用于实现智能制造设备和上层工业应用与数据采集平台之间的消息接口功能，消息中间件RabbitMQ接收智能制造设备发送的数据，并将数据均衡分配至数据采集平台服务器群，数据采集平台处理后的数据经消息中间件RabbitMQ发送至上层工业应用，所述参数管理为根据不同设备种类和需求进行动态调整智能制造设备的采集数据类型，以及设备采集初始化配置文件，满足在系统现场快速配置需求，所述报文管理为根据不同网络协议的报文格式对制造设备上传的数据进行格式化解析，所述订阅管理为根据不同用户终端进行分组管理，个性化分发经过数据采集平台处理后的信息，所述认证管理为将数据采集平台的信息分发进行分级管理，防止信息泄露，保证数据采集平台与设备、上层工业应用、用户交互时的数据安全性；

3)据采集平台对设备群传来的消息队列依照配置信息进行边缘计算；

4)数据上传至上层工业PaaS和工业SaaS；

5)数据下发至下层智能制造设备；

6)消息中间件RabbitMQ对上传至上层工业PaaS的数据和上传至上层工业PaaS的数据进行数据持久化。

本发明的有益效果：本发明使用消息中间件RabbitMQ实现设备与上层工业PaaS、工业 SaaS之间解耦，实现数据采集平台动态伸缩，提高系统的稳健性。

附图说明

图1是本发明实施例所述方法的关系框图；

图2是本发明实施例所述方法的具体实施方式；

图3是本发明实施例中认证管理的流程图；

图4是本发明实施例中参数管理的流程图；

图5是本发明实施例中参数管理的又一流程图；

图6是本发明实施例中报文管理的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提出一种基于RabbitMQ的海量智能制造设备的数据采集处理方法，实现智能制造设备、数据采集平台和上层工业应用之间消息通讯的统一管理。

本发明使用消息中间件RabbitMQ实现智能制造设备和上层工业应用与数据采集平台的解耦，从而提升数据采集平台支持的智能制造设备的连接数，实现海量智能制造设备创建和消息的处理、上传、下发。

结合图1，基于RabbitMQ的海量智能制造设备的数据采集处理方法包括如下步骤：

步骤1：智能制造设备与数据采集平台通过不同通信方式进行网络传输。所述智能制造设备上的信号传输模块将数据发送至消息中间件RabbitMQ，前述的消息中间件RabbitMQ的集群负载均衡器LBS将任务分配至负载较小的消息中间件服务器上，前述LBS分配过程对于智能制造设备是完全无感。数据采集平台消费中间件接收的前述智能制造设备传来的数据，数据持久化也作为数据采集平台中间件的消费者接收持久化数据。

步骤2：数据采集平台实现参数管理、报文管理、身份认证管理、订阅管理等功能；其中，消息中间件RabbitMQ用于实现制造设备和上层工业应用与数据采集平台之间的消息接口功能；消息中间件RabbitMQ接收制造设备发送的数据，并将数据均衡分配至数据采集平台服务器群，数据采集平台处理后的数据经消息中间件RabbitMQ发送至上层工业应用。

参数管理：根据不同设备种类和需求进行动态调整制造设备的采集数据类型，以及设备采集初始化配置文件，满足在系统现场快速配置需求。

报文管理：根据不同网络协议的报文格式对制造设备上传的数据进行格式化解析。

订阅管理：根据不同用户终端进行分组管理，个性化分发经过数据采集平台处理后的信息。

认证管理：将数据采集平台的信息分发进行分级管理，防止信息泄露，保证数据采集平台与设备、上层工业应用、用户交互时的数据安全性。

步骤3：数据采集平台对设备群传来的消息队列依照配置信息进行边缘计算。

步骤4：数据上传至上层工业PaaS(平台即服务)、工业SaaS(软件即服务)。

步骤5：数据下发至下层制造设备。

步骤6：消息中间件RabbitMQ可对前述上传至上层工业PaaS的数据和前述上传至上层工业PaaS的数据进行数据持久化(数据备份)。

其中，步骤1是前述的数据采集平台进行海量智能制造设备连接时进行动态伸缩的基础。本实施例中，结合图2描述如下：

智能制造设备与数据采集平台通过不同通信方式进行网络传输。所述智能制造设备群将数据发送至消息中间件RabbitMQ，前述的消息中间件RabbitMQ的集群负载均衡器LBS将任务分配至负载较小的消息中间件服务器上，前述LBS分配过程对于智能制造设备是完全无感。智能制造设备数据推送到设备数据上传消息队列，数据采集平台消费设备数据消息队列中的数据。

其中，步骤2是智能制造设备在数据采集平台的配置过程，是整个数据采集平台正常运行的基础。

本实施例中结合图3，所述步骤2的认证管理具体包括以下步骤：

第一步，用户通过上层工业应用登录到数据采集平台时，上层应用会发送此用户的登录令牌，数据采集平台作为消息中间件的消费者接收用户的登录令牌，验证用户信息。

第二步，当上层工业应用中用户信息发生更改时，数据采集平台作为消息中间件的消费者接收更改消息；在数据采集平台数据库完成更改用户配置信息后，数据库向消息中间件生产修改完成消息，上层工业应用消费消息中间件中的修改完成消息。

本实施例中结合图4-5，所述步骤2的参数管理具体包括以下步骤：

第一步，用户在上层工业应用平台上添加并配置智能制造设备；

第二步，在所述数据采集平台接入前述设备时，数据采集平台提供参数配置给接入的制造设备；

第三步，用户在上层工业应用平台修改特定智能制造设备配置时，数据采集平台返回给上层工业应用修改结果。

用户和智能制造设备在进行上述操作之前都要进行认证管理验证通过。

本实施例中结合图6，所述步骤2的报文管理具体包括以下步骤：

第一步，用户在上层工业应用平台上添加并配置智能制造设备；

第二步，上层工业应用向数据采集平台报文管理模块添加智能制造设备配置的报文格式；

第三步，所述数据采集平台采用上述报文格式解析来自智能制造设备的报文信息。

本实施例中，所述步骤2的订阅管理，具体包括以下步骤：

第一步，用户在认证管理下配置订阅种类和形式；

第二步，上层工业应用将用户订阅配置信息下发到数据采集平台的订阅管理模块；

第三步，所述数据采集平台的边缘计算模块处理获得的结果，经过订阅管理处理，确定信息消费者，并将信息推送到消息中间件，并指定消息主题；

第四步，用户通过上层工业应用提供的各种媒介消费信息。

本实施例中，所述步骤3具体包括以下步骤：

第一步，制造设备上传数据到数据采集平台；

第二步，数据采集平台的边缘计算模块获得设备数据；

第三步，上述边缘计算模块按照上述数据采集平台中配置信息的相关程序处理设备数据；

本实施例中，所述步骤4具体包括以下步骤：

第一步，查询变动数据种类归属，将数据推送到中间件RabbitMQ，存储上传消息队列；

第二步，上层工业应用消费消息。

本实施例中，所述步骤5具体包括以下步骤：

第一步，查询变动数据种类归属，将数据推送到中间件RabbitMQ，存储下发消息队列；

第二步，智能制造设备消费消息。

本实施例中，所述步骤6具体包括消息中间件RabbitMQ可对前述上传至上层工业PaaS 的数据和前述上传至上层工业PaaS的数据进行数据持久化(数据备份)。

当数据采集平台来不及处理消息时，可以选择优先级高的消息优先处理。因此，数据采集平台可以实现海量设备接入及消息的处理，提升数据采集平台支持的设备连接数。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于RabbitMQ的海量智能制造设备的数据采集处理方法，其特征在于，所述方法包括以下步骤：

1)智能制造设备与数据采集平台通过不同通信方式进行网络传输，所述智能制造设备上的信号传输模块将数据发送至消息中间件RabbitMQ，所述消息中间件RabbitMQ的集群负载均衡器LBS将任务分配至负载较小的消息中间件服务器上，所述LBS分配过程对于智能制造设备是完全无感，数据采集平台消费中间件接收的所述智能制造设备传来的数据，数据持久化也作为数据采集平台中间件的消费者接收持久化数据；

2)数据采集平台实现参数管理、报文管理、身份认证管理和订阅管理，其中，消息中间件RabbitMQ用于实现智能制造设备和上层工业应用与数据采集平台之间的消息接口功能，消息中间件RabbitMQ接收智能制造设备发送的数据，并将数据均衡分配至数据采集平台服务器群，数据采集平台处理后的数据经消息中间件RabbitMQ发送至上层工业应用，所述参数管理为根据不同设备种类和需求进行动态调整智能制造设备的采集数据类型，以及设备采集初始化配置文件，满足在系统现场快速配置需求，所述报文管理为根据不同网络协议的报文格式对制造设备上传的数据进行格式化解析，所述订阅管理为根据不同用户终端进行分组管理，个性化分发经过数据采集平台处理后的信息，所述认证管理为将数据采集平台的信息分发进行分级管理，防止信息泄露，保证数据采集平台与设备、上层工业应用、用户交互时的数据安全性；

3)数据采集平台对设备群传来的消息队列依照配置信息进行边缘计算；

4)数据上传至上层工业PaaS和工业SaaS；

5)数据下发至下层智能制造设备；

6)消息中间件RabbitMQ对上传至上层工业PaaS的数据和上传至上层工业PaaS的数据进行数据持久化。

2.根据权利要求1所述的方法，其特征在于，步骤1)中，连接数据采集平台包括如下步骤：

智能制造设备上的信号传输模块作为生产者向消息中间件RabbitMQ添加消息；

数据采集平台消费消息中间件RabbitMQ接收的智能制造设备的消息。

3.根据权利要求1所述的方法，其特征在于，步骤2)中的认证管理具体包括以下步骤：

用户通过上层工业应用登录到数据采集平台时，上层应用会发送此用户的登录令牌，数据采集平台作为消息中间件的消费者接收用户的登录令牌，验证用户信息；

当上层工业应用中用户信息发生更改时，数据采集平台作为消息中间件的消费者接收更改消息；

在数据采集平台数据库完成更改用户配置信息后，数据库向消息中间件生产修改完成消息，上层工业应用消费消息中间件中的修改完成消息。

4.根据权利要求1所述的方法，其特征在于，步骤2)中的参数管理具体包括以下步骤：

用户在上层工业应用平台上添加并配置智能制造设备；

在数据采集平台接入智能制造设备时，数据采集平台提供参数配置给接入的智能制造设备；

用户在上层工业应用平台修改特定智能制造设备配置时，数据采集平台返回给上层工业应用修改结果。

5.根据权利要求1所述的方法，其特征在于，步骤2)中的报文管理具体包括以下步骤：

用户在上层工业应用平台上添加并配置智能制造设备；

上层工业应用向数据采集平台报文管理模块添加智能制造设备配置的报文格式；

数据采集平台采用所述配置的报文格式解析来自智能制造设备的报文信息。

6.根据权利要求1所述的方法，其特征在于，步骤2)的订阅管理具体包括以下步骤：

用户在认证管理下配置订阅种类和形式；

上层工业应用将用户订阅配置信息下发到数据采集平台的订阅管理模块；

数据采集平台的边缘计算模块处理获得的结果，经过订阅管理处理，确定信息消费者，并将信息推送到消息中间件，并指定消息主题；

用户通过上层工业应用提供的各种媒介消费信息。

7.根据权利要求1所述的方法，其特征在于，步骤3具体包括以下步骤：

智能制造设备上传数据到数据采集平台；

数据采集平台的边缘计算模块获得设备数据；

上述边缘计算模块按照上述数据采集平台中配置信息的相关程序处理设备数据；

数据下发至下层智能制造设备；

消息中间件RabbitMQ可对上传至上层工业PaaS的数据和上传至上层工业PaaS的数据进行数据持久化。

8.根据权利要求1所述的方法，其特征在于，步骤4具体包括以下步骤：

查询变动数据种类归属，将数据推送到中间件RabbitMQ，存储上传消息队列；

上层工业应用消费消息。

9.根据权利要求1所述的方法，其特征在于，步骤5具体包括以下步骤：

查询变动数据种类归属，将数据推送到中间件RabbitMQ，存储下发消息队列；

智能制造设备消费消息。