CN113900794A - 一种工业数据采集平台及方法 - Google Patents

Abstract

本发明提供一种工业数据采集平台及方法，该平台包括：Ansible控制节点，用于发布数据处理任务，基于SSH协议管理K3s集群所有节点，并实现批量化系统配置、程序部署和命令运行；K3s主服务节点，用于管理、监控、维护和调度K3s工作节点；K3s工作节点，用于执行具体的数据采集、数据处理任务；所述K3s工作节点包括数据采集代理器节点和适配器节点，所述代理器节点部署于边缘网络，所述适配器节点部署于数据采集设备上。通过该方案可以便于硬件资源的接入、部署和管理，提升横向扩展能力，同时，能够动态调节分配计算资源，满足工业数据采集服务。

Description

一种工业数据采集平台及方法

技术领域

本发明属于工业互联网领域，尤其涉及一种工业数据采集平台及方法。

背景技术

在工业智能制造中，会有多种不同功能属性和硬件组成的数据采集源设备需要接入网络，如数控机床、工业机器人、自动搬运车、清洗设备、检测设备、自动化生产线和自动料库等，还包括多个传感器/执行器的控制器等工业附属设备。对于多样的工业生产数据，需要接入互联网进行统一存储分析，以便监测、控制、调整生产过程。

然而，当前对于多源异构的设备数据，会直接将采集数据发送至节点服务器进行存储分析，并通过主服务进行协调管理，结合数据缓存、消息队列等技术实现负载均衡。这种方式能较好的应对海量数据采集任务，但对于多种异构采集设备及采集服务器的扩展接入，服务器及采集设备配置、部署等过程十分繁琐。

发明内容

有鉴于此，本发明实施例提供了一种工业数据采集平台及方法，用于解决现有扩展服务器或采集设备的接入配置等过程较为繁琐的问题。

在本发明实施例的第一方面，提供了一种工业数据采集平台，包括：

Ansible控制节点，用于发布数据处理任务，基于SSH协议管理K3s集群所有节点，并实现批量化系统配置、程序部署和命令运行；

K3s主服务节点，用于管理、监控、维护和调度K3s工作节点；

K3s工作节点，用于执行具体的数据采集、数据处理任务；

其中，所述K3s工作节点包括数据采集代理器节点和适配器节点，所述代理器节点部署于边缘网络，所述适配器节点部署于数据采集设备上。

在本发明实施例的第二方面，提供了一种工业数据采集方法，包括：

基于Ansible控制节点发布数据采集任务，并管理K3s集群；

通过K3s主服务节点管理、监控、维护和调度K3s工作节点，通过K3s工作节点执行具体的数据采集处理任务；

基于适配器节点获取工业设备数据，通过代理器节点进行数据处理。

本发明实施例中，基于容器化的K3s平台，以及工作节点的代理器和适配器，不仅便于各种采集设备、采集服务器的管理、部署和配置，提高采集平台的横向扩展能力，实现“一次开发，多处运行”，而且能够动态调整计算资源，提升采集平台的数据处理能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明一个实施例提供的一种工业数据采集平台的结构示意图；

图2为本发明一个实施例提供的K3s集群高可用服务架构示意图；

图3为本发明一个实施例提供的工业数据采集架构示意图；

图4为本发明一个实施例提供的据采集模型文件配置分发协议通信架构示意图；

图5为本发明一个实施例提供的工业数据采集微服务架构示意图；

图6为本发明的一个实施例提供的K3s容器化平台架构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。

请参阅图1，本发明实施例提供的一种工业数据采集平台的结构示意图，包括：

Ansible控制节点110，用于发布数据处理任务，基于SSH协议管理K3s集群所有节点，并实现批量化系统配置、程序部署和命令运行；

K3s主服务节点120，用于管理、监控、维护和调度K3s工作节点；

K3s工作节点130，用于执行相应具体的数据采集、数据处理任务；

K3s是一个轻量级Kubernetes，其提供“一主多从”的架构模型，主节点(Server)只是整个集群的控制中心，在Kubernetes协议中称作Master节点，即“控制平面”，其从节点是真正的工作负载节点。实际业务应用必须全部部署到从节点上，这样可以利用集群基础架构特点，将控制平面从业务负载中排除，使其工作范围更专一，从而可让整个集群有更高的性能、可用性及稳定性。

K3s从节点(Agents)是对所有工作节点的通称与抽象，在Kubernetes中称为Worker节点，是业务型应用的负载节点。由于每种业务的适用范围、性能要求、软硬件指标等均有差异，故应对从节点进行范围细分，使得各种应用可以有针对性的部署到某一类从节点上，达到对集群节点资源的多粒度控制效果。

如图2所示，在Kubermetes中，不同虚拟机间控制器和服务节点通过Pod进行相应的维护、转发。

K3s主节点中是K3s集群的基础设施框架，主要负责整个K3s集群的管理、监控、维护、调度等基础服务。每个K3s工作节点中，都有k3s－agent集群框架进程，与K3s主节点通信，并代理本节点集群相关的所有基础设施事务。

其中，所述K3s主服务节点中包含有K3s集群的配置信息，所述K3s主服务节点根据工作节点处理任务的不同设置相应的Kubernetes标签与污点。

在一个实施例中，Rancher集群运行于K3s主服务节点，是用于管理整个K3s集群的网页型应用；其中，可以通过Helm将Rancher集群部署于K3s集群中，用于K3s集群管理、应用部署、集群运维、集群监控。基于该网页应用，可以在浏览器中很方便的处理K3s集群的所有事务，监控其运行状态，进行一些临时的测试、参数调整等工作，不再是仅通过控制台kubectl工具来执行相关命令，更直观、高效。

其中，所述K3s工作节点130包括数据采集代理器节点和适配器节点，所述代理器节点部署于边缘网络，所述适配器节点部署于数据采集设备上。

采用软件架构中的适配器－代理器模式来架构工业互联网数据采集应用体系。与底层工业装备直接交互是连接到其数据采集接口的适配器，适配器作为最底层的数据采集应用，可以与多种异构设备连接和通信，如图3所示。

可选的，所述代理器节点包括文件管理模块和文件分发模块，所述文件管理模块通过REST接口实现网站前后端及数据库的数据传输，所述文件分发模块通过gRPC通信协议进行数据库读取和模型文件传输，如图4所示。

所述代理器节点，即数据采集服务器，是代理所负责网络片区中适配器数据流量的网关型应用。由于工业数据采集实际应用环境的复杂，网络架构多种多样，一个代理器负责的子网，可能包括成百上千台适配器。为应对高并发访问需求，可以采用MQTT等消息队列中间件，对适配器和代理器进行解耦，以便于部署多个代理器，在多个代理节点中进行负载均衡。或者，通过增强采集服务器的硬件性能，提高单点处理能力。

其中，采用MQTT订阅－发布型消息队列，作为数据传输中间件服务，可以实现工业互联网边缘数据采集的转发，同时能应对复杂多变的实际需求。为便于部署到K3s集群中，使用开源的Eclipse Mosquitto容器镜像的实现形式，作为MQTT的broker代理服务器。另外，对架构设计进行一定简化，MQTT broker服务与模型配置相关服务集成到了一个节点中。实际应用中，若MQTT流量较大，可以单独设置节点，将其专一化部署，以避免与其他应用争抢资源，形成数据传输的瓶颈。进一步的，我们可以使用HiveMQ这种能分布式多节点部署的MQTT代理器实现，提高MQTT broker服务的横向扩展能力。

在一个实施例中，将Nginx容器镜像作为静态文件服务器，基于React－Admin前端框架，开发一个用于管理适配器节点中模型文件的前端部分，实现前后端分离。模型管理前端静态文件服务同样位于主节点上，开发一个管理所有运行在数据采集适配器模块中的模型文件的后台网站的前端部分。前后端分离，不仅可以将前端用户界面与后端数据服务进行解耦，方便团队任务划分、人力安排，使得网站前后端独立开发、独立测试、独立上线，更是一种微服务设计理念的示范和体现，方便在更多软件开发的领域进一步推广实施。

在一个实施例中，在K3s主节点上，部署针对MQTT协议流量的TCP反向代理服务。K3s集群提供的Ingress功能组件，类似于传统的反向代理，可以将外网流量进行分流、转发，但更适用于HTTP协议的流量，MQTT的TCP数据流量无法简单的使用Ingress做转发。而通过传统的Nginx stream模块，可以方便的配置这种TCP反向代理。

在一个实施例中，为保存NC-Link数据采集适配器所需模型文件的配置，在集群中，部署可持久化数据的MongoDB非关系型文档数据库，可以便于灵活的保存以JSON文本格式定义的模型文件。数据库以容器镜像的形式部署，便于在K3s集群中横向扩展，以应对更高的访问流量。

在一个实施例中，设计一个用于模型配置、分发的微服务模块。所述微服务模块用于读取数据库中模型配置和模型定义信息，并提供面向集群内网的接口，方便需要获取或更新数据模型的NC-Link适配器调用。由此建立了一个模型数据库与模型使用终端之间的桥梁、通道。因其功能与数据库密切相关，为减小网络传输的延迟与开销，可以将该模块与模型数据库集成到了同一个节点中。

在一个实施例中，设计用于后端管理的REST服务，所述REST服务与前端服务模块相对应，并为前端定制各种需求的标准API接口。通过这种前后端分离式设计，可以在网站后端，为前端灵活定制各种所需的标准API接口，对数据库中的目标记录进行增删改查等操作，保证网站基本功能的同时，可通过中间件、路由设计、数据访问互斥锁等方式，实现必需的用户权限管理、数据安全、并发安全等强化服务。

在一个实施例中，适配器节点中包括适配器模块，适配器模块用于对原生数据格式或现有的其他工业互联网数据采集协议，如如OPC－UA、MTConnect等，进行协议解析、数据过滤、NC－Link格式转换操作，由此可以在多种工业互联网边缘设备数据源进行数据采集。集成尽可能多的协议适配接口，能在位于网络最边缘的数据采集节点中，解决不同通信接口、协议带来的复杂度问题，尽早规范所传输数据的格式，避免这些复杂度沿数据传输链往下游模块传递，造成更多的待解决的复杂度。

示例性的，如图5所示，对于K3s主服务节点，其可以包括K3s集群控制平面、Rancher集群后台管理、前端静态文件服务和Nginx MQTT反向代理；对于K3s工作节点可以包括MongoDB数据库、NC－Link模型配置服务、模型管理后端REST服务和MQTT broker服务。

在所有微服务模块开发完成后，可以使用Docker对应用进行构建，最终生成优化过的、体积较小且支持多种CPU架构的容器镜像。基于这些标准镜像，可以继续利用Kubernetes协议框架提供的多种组件，为各类应用编写其适用的YAML定义脚本，最终能准确、可靠的实现K3s集群批量化部署。

同时，基于微服务容器化开发模式，可以实现“一次开发，多处运行，按需扩展”的容器化软件设计理念，有效避免重复开发问题，提高工作效率。同时，像NC－Link适配器这样的通用型模块，最适合以支持多种CPU架构的容器镜像的形式打包、分发，在异构设备上，通过Kubernetes集群批量化部署，方便快捷且不易出现常规开发中难以追踪、排查的兼容性问题。通过各种数据采集微服务模块，可以应用工业互联网标准数据通信协议，如NC－Link，来规范最终传出边缘计算系统的数据组成成分与构造形式，屏蔽底层数据源的不同细节，为后续进一步的数据分析处理提供便利和条件。

可以理解的是，工业互联网K3s容器化平台总体架构如图6所示，对于外部请求访问，NC－Link代理器可以通过gRPC或MQTT形式进行采集任务发送、模型文件分发、数据请求等，NC－Link适配器进行相应的数据采集。其中，K3s主服务节点可以对代理器、适配器进行控制管理。

基于本发明提供的实施例，可以解决工业数据采集系统在非容器化平台中难于部署、维护等缺陷的问题，能够在系统的软硬件资源能力范围内灵活扩展、分配计算资源，按需动态提供智能数据采集服务的需求。在K3s平台上，简单地扩展数据采集的资源，根据需求动态提供计算资源，且更加安全可靠。

在本发明一个实施例中还提供了的一种工业数据采集方法，该方法包括：

基于Ansible控制节点发布数据采集任务，并管理K3s集群；

通过K3s主服务节点管理、监控、维护和调度K3s工作节点，通过K3s工作节点执行具体的数据采集处理任务；

基于适配器节点获取工业设备数据，通过代理器节点进行数据处理。

其中，所述K3s工作节点包括：数据采集业务代理器节点和数据采集业务适配器节点。

所述代理器节点，包括：模型文件数据库、模型文件分发模块、模型文件管理网站后端模块和MQTT代理器模块。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种工业数据采集平台，其特征在于，至少包括：

Ansible控制节点，用于发布工业数据采集任务，基于SSH协议管理K3s集群所有节点，并实现批量化系统配置、程序部署和命令运行；

K3s主服务节点，用于管理、监控、维护和调度K3s工作节点；

K3s工作节点，用于执行相应的数据采集、数据处理任务；

其中，所述K3s工作节点包括数据采集代理器节点和适配器节点，所述代理器节点部署于边缘网络，所述适配器节点部署于数据采集设备上。

2.根据权利要求1所述的平台，其特征在于，所述代理器节点包括文件管理模块和文件分发模块，所述文件管理模块通过REST接口实现网站前后端及数据库的数据传输，所述文件分发模块通过gRPC通信协议进行数据库读取和模型文件传输。

3.根据权利要求1所述的平台，其特征在于，所述K3s主服务节点中包含有K3s集群的配置信息，所述K3s主服务节点根据工作节点处理任务的不同，设置相应的Kubernetes标签与污点。

4.根据权利要求1所述的平台，其特征在于，所述代理器节点包括：

采用MQTT消息队列中间件对适配器和代理器进行解耦，部署一定数量的代理器，在代理器节点中进行负载均衡。

5.根据权利要求1所述的平台，其特征在于，所述K3s主服务节点包括：

Rancher集群运行于K3s主服务节点，用于管理整个K3s集群的网页型应用；

其中，通过Helm将Rancher集群部署于K3s集群中，用于K3s集群管理、应用部署、集群运维和集群监控。

6.根据权利要求1所述的平台，其特征在于，所述K3s主服务节点包括：

将Nginx容器镜像作为静态文件服务器，基于React－Admin前端框架，开发用于管理适配器节点中模型文件的前端部分，实现前后端分离。

7.根据权利要求1所述的平台，其特征在于，所述适配器节点包括：

微服务模块，用于读取数据库中模型配置和模型定义信息，并提供面向K3s集群内网的接口，以便适配器调用相应的数据模型。

8.根据权利要求2所述的平台，其特征在于，所述通过REST接口实现网站前后端及数据库的数据传输包括：

设计用于后端管理的REST服务，所述REST服务与前端服务模块相对应，并为前端定制各种需求的标准API接口。

9.根据权利要求1所述的平台，其特征在于，所述适配器节点包括：

适配器模块，用于对原生数据格式或现有的其他工业互联网数据采集协议，进行协议解析、数据过滤、NC－Link格式转换操作。

10.一种工业数据采集方法，其特征在于，包括：

基于Ansible控制节点发布工业数据采集任务，并监控管理K3s集群；

通过K3s主服务节点管理、监控、维护和调度K3s工作节点，通过K3s工作节点执行相应的数据采集处理任务；

基于适配器节点获取工业设备数据，通过代理器节点进行数据处理。

Images