CN112749153A - 一种工业网络数据管理系统 - Google Patents

Abstract

本发明实施例涉及工业网络数据治理领域，公开了一种工业网络数据管理系统。本发明中，该系统包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，数据采集模块还与数据存储模块相连；数据采集模块基于TCP/IP协议的以太网模式采集第一类数据和第二类数据，并将第一类数据传输至数据存储模块中、将第二类数据上传到数据转换模块中；数据转换模块接收数据、并转换为结构化数据；其中，第一类数据包括：各传感器和SCADA主机产生的实时数据，第二类数据包括：网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。本发明提供的系统，能够对数据源进行全生命周期的汇总采集，以有利于后续决策。

Description

一种工业网络数据管理系统

技术领域

本发明实施例涉及工业网络数据治理领域，特别涉及一种工业网络数据管理系统。

背景技术

随着工业实现自动化的步伐不断迈进和深入，又一轮新兴的工业革命已经大规模的展开。工业互联网产业联盟(AII)在2016年发布的《工业互联网体系架构(1.0)》中将工业互联网的建设重点概括为“网络”、“数据”、“安全”三大领域，而“数据”是推动工业互联网智能化的基础和核心动力。

在工业生产中若能科学合理的利用大数据技术就能有效促进企业信息化发展，提升企业生产运行效率、助力企业升级转型并形成全新的智能制造模式。工业大数据技术的应用，核心的目标是全方位采集各个环节的数据，并将这些数据汇聚起来进行深度分析，利用数据分析结果反过来指导各个环节的控制与管理决策，并通过效果监测的反馈闭环，实现决策控制持续优化。

因此，有必要提供一种系统来进行工业网络数据的管理。

发明内容

本发明实施方式的目的在于提供一种工业网络数据管理系统，能够对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集，从而有利于后续利用该数据做出更优的决策。

为解决上述技术问题，本发明的实施方式提供了一种工业网络数据管理系统，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；所述数据分析模块对输入的数据进行分析和显示；其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。

本发明实施方式相对于现有技术而言，通过所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据，从而实现了对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集；通过所述数据采集模块与数据存储模块、所述数据存储模块相连，所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中进行存储、将第二类数据上传到数据转换模块中进行转换，所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据，从而实现了数据的统一化处理，便于数据分析模块对输入的数据进行分析和显示，从而有利于后续利用该数据做出更优的决策。

另外，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。

另外，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；所述第二采集模组以ELK stack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中。由于ELK栈的Beats全家桶以高性能、低内存占用率著称，部署在网络安全设备、工业防火墙中作为日志探针不影响主体业务的运作且能高效率的采集日志，真正达到了高性能、高可用、可扩展的生产目的。

另外，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；所述Filebeat用于采集系统日志和应用日志；所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。

另外，所述数据转换模块采用ELK stack的Logstash数据处理框架，所述数据转换模块包括：与所述数据采集模块相连的数据接收模组、与数据接收模组相连的所述数据转换模组、以及与所述数据转换模组相连的数据输出模组；所述数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块采集到的数据中的第二类数据；所述数据转换模组用于将第二类数据转换为结构化数据；所述数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。

另外，所述数据转化模组包括：与所述数据接收模组相连的数据清洗组件、与所述数据清洗组件相连的数据解析组件、以及与所述数据解析组件相连的数据转换组件；所述数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除所述第二类数据中的不完整的数据、错误的数据以及重复的数据；所述数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；所述数据转换组件用于将解析后的数据以结构化的形式输出。

另外，所述数据存储模块包括：分别与所述数据转换模块相连的实时数据库、关系型数据库以及NoSQL数据库；所述实时数据库用于存储报警日志、审计数据；所述关系型数据库用于存储系统配置；所述NoSQL数据库用于存储传感器数据。

另外，所述数据分析模块包括：可视化模块；所述可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。

另外，所述数据分析模块还包括：数据挖掘模块；所述数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。

另外，所述数据分析模块还包括：统计分析模块；所述统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。

附图说明

图1是本发明第一实施方式提供的工业网络数据管理系统的结构示意图；

图2是本发明第一实施方式提供的工业网络数据管理系统的整体架构示意图；

图3是本发明第一实施方式提供的数据采集模块的结构示意图；

图4是本发明第一实施方式提供的数数据转换模块的结构示意图；

图5是本发明第一实施方式提供的数据存储模块的结构示意图；

图6是本发明第一实施方式提供的数据分析模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种工业网络数据管理系统，如图1、2所示，包括：依次相连的数据采集模块11、数据转换模块12、数据存储模块13以及数据分析模块14，数据采集模块11还与数据存储模块13相连；数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块13中、将第二类数据上传到数据转换模块12中；数据转换模块12接收数据采集模块11传输的第二类数据，并将接收的第二类数据转换为结构化数据；数据存储模块13接收并存储数据采集模块11传输的第一类数据、以及数据转换模块12传输的结构化后的第二类数据；数据分析模块14对输入的数据进行分析和显示；其中，第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，例如，PLC、DCS或CNC等各种生产设备产生的实时数据，第二类数据包括：工业环境中网络安全设备(例如，工业防火墙)的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。

其中，消息中间件可以为kafka，或者，消息中间件可以为kafka结合远程字典服务(redis)，kafka和redis最大的区别是kafka是磁盘缓存技术，redis是内存缓存技术。

具体的，如图3所示，数据采集模块11包括第一采集模组111和第二采集模组112，第一采集模组111与数据存储模块13相连，第二采集模组112与数据转换模块12相连；第一采集模组111利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议(例如MQTT/AMQP/JMS等)传输至消息中间件中，然后上传至数据存储模块13；第二采集模组112以ELK stack中的Beats系列工具为探针采集器或代理的方式，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到数据转换模块12中。如此设置，避免了高并发引起的数据丢失、保证了数据的完整性。

由于ELK栈的Beats全家桶以高性能、低内存占用率著称，部署在网络安全设备、工业防火墙中作为日志探针不影响主体业务的运作且能高效率的采集日志，真正达到了高性能、高可用、可扩展的生产目的。

其中，探针采集器可以包括Filebeat、Metricbeat和Packetbeat，Filebeat用于采集系统日志和应用日志，Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据，Packetbeat用于采集网络设备的实时流量数据以及服务级别协议(SLA)性能数据中至少一者。采集到的数据通过端口监听方式上传到logstash数据收集引擎中待进一步处理。另外，这类采集器的占系统资源比非常小可以忽略不计。

Kafka是一种分布式的消息队列中间件，它使用发布/订阅的模式来实现数据的流转和轻量级的数据转换，它有如下特点：

1)同时为发布和订阅提供高吞吐量。每秒可以生产约25万消息(50MB)，每秒处理55万消息(110MB)。

2)可进行持久化操作。例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。

3)分布式系统，易于向外扩展。所有的producer、broker和consumer都会有多个，均为分布式的。无需停机即可扩展机器。

4)消息被处理的状态是在consumer端维护，而不是由server端维护。当失败时能自动平衡。

Kafka根据不同业务建立各种Topic供不同的组件消费(Consumer)。我们把已经结构化的数据持久化到数据库中；把非结构化的数据传输到Logstash中继续处理，例如，系统日志、审计日志和应用程序的日志等等。

通过数据采集模块11，能够基于TCP/IP协议的以太网模式和基于工业传输协议对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集。从PLC、DCS已经CNC等生产设备中传输到SCADA主机中的数据可以通过MQTT或者JMS协议传输到Kafka分布式消息中间件中。非生产设备，比如工业防火墙、监控一体机和一些网络安全设备的业务日志和系统性能日志能够通过ELK栈的Beats全家桶采集设备中的结构化和非结构化的数据传输到Logstash的实时数据采集引擎中。Kafka的分布式和高性能特性满足了工业现场可根据生产规模进行可扩展，可收缩的部署日志采集传输服务器。

对于数据转换模块12，采用ELK stack的Logstash数据处理框架，数据转换模块12包括：与数据采集模块11相连的数据接收模组、与数据接收模组相连的数据转换模组、以及与数据转换模组相连的数据输出模组；数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块11采集到的数据中的第二类数据；数据转换模组用于将第二类数据转换为结构化数据；数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。

可选的，数据转化模组可以包括：与数据接收模组相连的数据清洗组件、与数据清洗组件相连的数据解析组件、以及与数据解析组件相连的数据转换组件；数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除第二类数据中的不完整的数据、错误的数据以及重复的数据；数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；数据转换组件用于将解析后的数据以结构化的形式输出。

也就是说，如图4所示，数据转化模块业务上需要做的任务主要有：接收数据、清洗数据、解析数据、转换数据和输出数据。在接收数据步骤中，logstash使用input插件集合可以接收来自不同数据源的各种类型的非结构化数据，例如Beat组件上报的各种系统实时数据、从kafka缓存队列中获取的上位机数据或者是应用服务器的程序日志，等等。在清洗数据步骤中，使用logstash的grok插件并配合正则表达式过滤出想要的数据，针对目前工业数据中的庞、杂、脏的特性产生的，我们需要清洗掉不符合业务要求的数据，比如不完整的数据、错误的数据、重复的数据。在解析数据步骤中，使用logstash的filter插件定义字段名称将解析的内容赋值到字段上，即，从业务角度出发，对清洗后的文本进行字段赋值。在转换数据步骤中，讲将解析完成的数据通过结构化的形式展现出来，例如，json格式或者xml格式。在输出数据步骤中，使用logstash的output插件对完成处理的结构化数据输出到指定存储目标中，例如，Elasticsearch搜索引擎、syslog或者是MySQL数据库库。

通过数据转化模块，能够对从传感器、SCADA、网络安全设备中采集到的数据，经过清洗、检验、转换得到规范化统一的信息持久化到数据仓库中。从生产设备和非生产设备中采集的数据是五花八门，结构各异的，我们通过Kafka和Logstash作为数据传输管道，管道中通过对不同数据分门别类进行清洗、解析和转换形成业务上需要的数据结构的形成再存储到数据库中。达到了数据多源采集，统一化处理的目的。

对于数据存储模块13，如图5所示，其包括：分别与数据转换模块12相连的实时数据库、关系型数据库以及NoSQL数据库；实时数据库用于存储报警日志、审计数据；关系型数据库用于存储系统配置；NoSQL数据库用于存储传感器数据。

其中，实时数据库(Elasticsearch，ES)，它是一个分布式、高扩展、高实时的数据存储与搜索引擎。由于是基于Lucene开发的搜索服务器，因此它使用了倒排索引实现了全文检索功能。意思就是在海量数据(PB级别)环境中，通过任意关键字就能在1秒之内检索出包含关键字的结果。另外，通过分布式部署实现了数据的高可用和高扩展性，不用担心由于硬件损坏而丢失数据的情况。因此，本实施方式中，将报警日志、审计数据应用ES存储和检索。

关系型数据库(MySQL)，以往我们把业务数据和基础都存放在MySQL数据库中，数据量日益庞大的时候，查询性能显著降低，分库分表忙的不亦乐乎。其实，根据MySQL的设计思想是不适合存储数据量庞大，事务要求低，结构复杂的数据的，它适合存储系统配置和事务要求高的类型的数据。因此，本实施方式中，将系统配置这一结构简单、事务要求低的数据存储在MySQL。

NoSQL数据库(Redis)，它是一种key-value形式的内存数据库，具有缓存和消息代理的功能，他支持的数据结构有字符串、哈希、列表和集合等。由于传感器数据是种高频且结构简单的数据，因此，本实施方式中，通过获取上位机中传感器的数据实时的缓存或代理到Redis中，以便后续的展示和分析使用。

通过数据存储模块13，能够根据业务场景不同分别将数据存储于高性能搜索引擎数据库、关系型数据库和NoSQL数据库中，通过API形式对应用层业务提供数据查询、数据分析和数据探索。能够通过海量数据结合数据挖掘技术和统计分析的，最终以可视化的方式为决策者提供科学可靠的判断依据，既提高生产效率，又保障生产安全。

对于数据分析模块14，如图6所示，其可以包括：可视化模块、数据挖掘模块和统计分析模块中任一者或其组合，其中，可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。具体的，可视化模块是一个开源可视化分析框架，与Elasticsearch无缝连接，通过ES或Redis提供的接口可以实时观测生产环境中各个设备的运行情况，操作员可以在web界面中设置业务阈值来或下达对管理设备的操作指令来掌控生产环境的运行状态，还可以通过选择查询条件调用数据库接口生成生产数据表报，以供管理人员进行实时分析，把控工厂的生产状态。

其中，数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。具体的，数据挖掘模块是通过机器学习的方法结合数据仓库中的历时数据拟合计算来推断和预测目标数据的结果值，例如利用历时库中的流量数据结合支持向量机之类的分类算法界定出异常流量和正常流量，反复多次取样、计算、建模，最终得出一个最佳模型，以此来预测新数据的流量是否异常。在实际应用过程中我们需要使用不同算法对同一样本数据进行多次建模分析，以提高预测准确率。

其中，统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。具体的，统计分析模块是使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据多维度结合分析，评估工业系统生产设备等运行状态和健康情况，以可供后续管理人员对现有生产情况作出正确决策和分析。

通过数据分析模块14，能够通过海量数据结合数据挖掘技术和统计分析的，最终以可视化的方式为决策者提供科学可靠的判断依据，既提高生产效率，又保障生产安全。

本发明实施方式相对于现有技术而言，通过数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，其中，第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据，从而实现了对工业现场中相互关联、分布式异构的数据源进行全生命周期的汇总采集；通过数据采集模块11与数据存储模块13、数据存储模块13相连，数据采集模块11基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块13中进行存储、将第二类数据上传到数据转换模块12中进行转换，数据转换模块12接收数据采集模块11传输的第二类数据，并将接收的第二类数据转换为结构化数据，从而实现了数据的统一化处理，便于数据分析模块14对输入的数据进行分析和显示，从而有利于后续利用该数据做出更优的决策。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种工业网络数据管理系统，其特征在于，包括：依次相连的数据采集模块、数据转换模块、数据存储模块以及数据分析模块，所述数据采集模块还与所述数据存储模块相连；

所述数据采集模块基于TCP/IP协议的以太网模式对工业现场中第一类数据和第二类数据进行采集，并将第一类数据经由消息中间件传输至数据存储模块中、将第二类数据上传到数据转换模块中；

所述数据转换模块接收所述数据采集模块传输的所述第二类数据，并将接收的第二类数据转换为结构化数据；

所述数据存储模块接收并存储所述数据采集模块传输的第一类数据、以及所述数据转换模块传输的结构化后的第二类数据；

所述数据分析模块对输入的数据进行分析和显示；

其中，所述第一类数据包括：工业现场中的各传感器和SCADA主机产生的实时数据，所述第二类数据包括：工业环境中网络安全设备的流量数据以及第三方监控设备中应用程序的日志数据和系统日志数据。

2.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述消息中间件为kafka，或者，所述消息中间件为kafka结合远程字典服务。

3.根据权利要求1或2所述的工业网络数据管理系统，其特征在于，所述数据采集模块包括第一采集模组和第二采集模组，所述第一采集模组与所述数据存储模块相连，所述第二采集模组与所述数据转换模块相连；

所述第一采集模组利用OPC-UA协议把第一类数据上传至SCADA主机中，通过抓包方式获取SCADA主机游经工业网关的数据、并通过消息队列协议传输至消息中间件中，然后上传至数据存储模块；

所述第二采集模组以ELK stack中的Beats系列工具为探针采集器，采集第二类数据，并将采集到的第二类数据通过端口监听方式上传到所述数据转换模块中。

4.根据权利要求3所述的工业网络数据管理系统，其特征在于，所述探针采集器包括Filebeat、Metricbeat和Packetbeat；

所述Filebeat用于采集系统日志和应用日志；

所述Metricbeat用于采集系统CPU使用率、内存、磁盘IO中至少一者的统计数据；

所述Packetbeat用于采集网络设备的实时流量数据以及服务级别协议性能数据中至少一者。

5.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据转换模块采用ELK stack的Logstash数据处理框架，所述数据转换模块包括：与所述数据采集模块相连的数据接收模组、与数据接收模组相连的所述数据转换模组、以及与所述数据转换模组相连的数据输出模组；

所述数据接收模组用于使用LogstashD的input插件集合、接收数据采集模块采集到的数据中的第二类数据；

所述数据转换模组用于将第二类数据转换为结构化数据；

所述数据输出模组用于使用logstash的output插件、对数据转换模组完成处理的结构化数据输出到指定存储目标中。

6.根据权利要求5所述的工业网络数据管理系统，其特征在于，所述数据转化模组包括：与所述数据接收模组相连的数据清洗组件、与所述数据清洗组件相连的数据解析组件、以及与所述数据解析组件相连的数据转换组件；

所述数据清洗组件用于使用logstash的grok插件并配合正则表达式、滤除所述第二类数据中的不完整的数据、错误的数据以及重复的数据；

所述数据解析组件用于使用logstash的filter插件、定义字段名称以将第二类数据中滤除后剩余的数据赋值到字段上；

所述数据转换组件用于将解析后的数据以结构化的形式输出。

7.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据存储模块包括：分别与所述数据转换模块相连的实时数据库、关系型数据库以及NoSQL数据库；

所述实时数据库用于存储报警日志、审计数据；

所述关系型数据库用于存储系统配置；

所述NoSQL数据库用于存储传感器数据。

8.根据权利要求1所述的工业网络数据管理系统，其特征在于，所述数据分析模块包括：可视化模块；

所述可视化模块用于使用ELK stack的Kibana框架、实时观测生产环境中各个设备的运行情况、和/或调用数据库接口生成生产数据表报。

9.根据权利要求8所述的工业网络数据管理系统，其特征在于，所述数据分析模块还包括：数据挖掘模块；

所述数据挖掘模块用于利用机器学习结合数据库中的历时数据、拟合计算来推断和预测目标数据的结果值、以确认新数据的流量是否异常。

10.根据权利要求9所述的工业网络数据管理系统，其特征在于，所述数据分析模块还包括：统计分析模块；

所述统计分析模块用于使用生产过程相关的设备物理参数、工作状态数据、性能数据以及传感器数据中至少两者结合分析，评估工业系统生产设备的运行状态。

Images