CN108718345A - 一种数字化车间工业数据网络化传输系统 - Google Patents

Abstract

本发明提供了一种数字化车间工业数据网络化传输系统，属于数据处理领域。本发明基于Lambda流式数据架构、Kafka消息中间件和Hadoop分布式平台构建系统，不仅可对数字化车间数控机床进行实时数据采集传输处理，还可以对数字化车间整体数据进行处理诊断，保证数据采集与传输过程的安全性，实现数字化车间数控机床实际运转时的加工历史数据的充分利用，以此来进行数字化车间数控机床数据实时采集传输处理，还可以对数字化车间整体数据进行处理诊断，实现了兼并数字化车间实时性与整体性的目的。

Description

一种数字化车间工业数据网络化传输系统

技术领域

本发明属于数据处理领域，特别涉及一种数字化车间工业数据网络化传输系统。

背景技术

传统加工过程中对机床的故障处理存在明显不足：首先，工程人员将海量的加工过程数据视为数据垃圾而丢弃，造成严重的数字浪费。其次，传统的数据传输处理不能够对数字化车间的工业数据进行实时同步处理，展示数字化车间的整体健康状况和数控机床的实时状态。如何利用机床自身的数据建立有效的工业数据网络化传输框架是实现传统制造业“互联网+”改造的必经过程。

数字化车间是数字化、网络化技术在生产车间上的综合应用，它将数控设备与工艺设计系统、生产组织系统和其它管理系统的信息进行集成，形成综合信息流自动化的集成制造系统。从整体上改善生产的组织与管理，提高制造系统的柔性，提高数字化设备的效率。数控机床作为制造终端，直接承载着零件加工制造的任务。近年来伴随计算机网络技术的迅猛发展，数控机床的应用方式也逐步发生改变，借助于网络机床间可以实现加工程序的传输与共享，数控机床与企业服务器可以进行重要机床数据的备份，甚至设备运行状态监控、远程故障诊断与维修等工作。一般情况用计算机与数控机床连接进行程序传送和在线加工都为一台计算机和一台数控机床连接，每台数控机床配一台计算机，随着数控机床的不断增加计算机数量也要增加，而且管理散乱。故为使数控机床更高效的运行，有必要将其连入企业主干网络。同时数字化车间数控机床通信平台的实现将为企业拓展信息化提供基础，底层制造数据能与CAD/CAM/CAPP等部门相关信息组成集成化的数据平台，搭建完整的工业数据的网络化传输框架。

数字化车间生产线的网络化传输框架尤为重要。结合自动化车间生产线异构设备的软硬件及现场网络环境分析，开展采集频率自适应的多源异构信息采集技术研究，针对海量数据的数据大、数据结构多样化的特点，开展数据规范及关联分析，进一步搭建高稳定性的数据网络化传输架构，保障数据传输的稳定性及实时性，研究海量数据存储、运维与调用方法，开发多源异构信息采集系统。

数字化车间生产线实时网络化信息采集技术可以获取异构设备的状态数据，进行数据压缩、传输及存储，高稳定性的数据网络化传输可以为后续实时监控技术提供数据支撑，方便对整条生产设备进行远程监控，全方位实时掌握设备运行情况，形成多视角监测的数字化车间。

现阶段一般的车间数据传输基本都是建立在互联网基础上，其数据采集与传输缺乏安全性。再者，其信号采集过程都是以搭建外部传感设备，来实现机床加工过程的数据采集，最后通过设定的阈值来实现机床的故障预警。而针对数控机床运行加工历史数据，没有充分的利用。

发明内容

为了解决现有技术中的问题，本发明提出了一种数字化车间工业数据网络化传输系统，基于Lambda流式数据架构、Kafka消息中间件和Hadoop分布式平台构建的工业数据网络化传输框架，保证数据采集与传输过程的安全性，实现数字化车间数控机床实际运转时的加工历史数据的充分利用，以此来进行数字化车间数控机床数据实时采集传输处理，还可以对数字化车间整体数据进行处理诊断，以此来达到兼并数字化车间实时性与整体性的目的。

一种数字化车间工业数据网络化传输系统，包括以下结构：

数据采集层，所述数据采集层用于实时采集车间的数据信息，并将实时采集数据传输至数据传输处理层；

数据传输处理层，所述数据传输处理层用于处理所述数据采集层的数据并将结果传输至用户终端层；

用户终端层，用于显示所述数据采集层和数据处理层的输出，实时监测车间的实时状态；

所述数据处理层包括数个计算机服务器集群，包括与所述数据采集层连接的Kafka信息中间件集群、运算集群及Web集群，所述运算集群通过Lambda流式数据架构和Hadoop分布式系统实现采集数据的同步实时处理。

进一步地，所述数据采集层和数据传输处理层之间设有至少一个中继节点，对所述实时采集数据进行至少一次转发，使所述实时采集数据要经过多跳才能传输至所述数据传输处理层。

进一步地，所述数据传输处理层由以所述Kafka信息中间件集群为中心的数个集群组成，提供数据分析所需计算资源，通过运算集群完成数据预处理、数据挖掘、数据分析，通过Web服务集群为所述用户终端层实现显示。

进一步地，所述用户终端层用于数据呈现，通过连接所述数据传输处理层的Web服务集群，显示所述数据传输处理层和数据采集层的输出。

进一步地，所述Kafka信息中间件集群包括：

客户端订阅连接模块，包括Topic设计、分区设定、端口分配、安全验证，基于所述Kafka信息中间件集群采用的订阅/发布模型，在客户端充当消息生产者，其他订阅消息的客户端为消费者时，负责对消息进行后处理；

消息持久化模块，用于当客户端对相应的Topic订阅后，所述Kafka信息中间件集群在本地进行持久化持久处理；

数据推送模块，用于当所述Kafka信息中间件集群，对订阅了消息的消费者进行消息推送。

进一步地，所述Lambda流式数据架构包括：

批处理层，用于处理工业数据的分布式处理系统预计算结果，通过在生成视图时处理所有可用数据来保证其准确性；

实时处理层，用于实时处理采集到的数控机床数据流；

服务层，用于储存所述批处理层和实时处理层的输出，通过返回预先计算的视图或从处理的数据构建视图来响应临时查询。

本发明的有益效果：本发明提供了一种数字化车间工业数据网络化传输系统，本发明基于Lambda流式数据架构、Kafka消息中间件和Hadoop分布式平台构建系统，不仅可对数字化车间数控机床进行实时数据采集传输处理，还可以对数字化车间整体数据进行处理诊断，保证数据采集与传输过程的安全性，实现数字化车间数控机床实际运转时的加工历史数据的充分利用，以此来进行数字化车间数控机床数据实时采集传输处理，还可以对数字化车间整体数据进行处理诊断，实现了兼并数字化车间实时性与整体性的目的。

附图说明

图1为本发明实施例的数字化车间工业数据网络化传输系统的结构示意图。

图2为本发明实施例的Lambda流式数据架构图。

图3为本发明实施例的Kafka信息传输架构图。

图4为本发明实施例的基于Kafka的信息中间件软件模块设计图。

图中：10-数字化车间工业数据网络化传输系统；100-数据采集层；200-数据处理层；210-Web服务集群；220-Kafka消息中间件集群；230-运算集群；300-用户终端层；

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

请参阅图1，本发明提出的一种数字化车间工业数据网络化传输系统10，包括以下结构：

数据采集层100、数据传输处理层200、用户终端层300。

工业数据网络化传输系统总体流程为：首先，将机床数据采集层100和Kafka消息中间件集群220连接，并由数据采集层100向Kafka消息中间件集群220传输车间加工过程的实时采集数据。其次，通过Kafka消息中间件集群220向用户终端层300进行数据实时传输。然后，通过数据传输处理层200的Lambda流式数据架构和Kafka消息中间件传输架构实现采集数据的同步实时处理与分析，并向网页显示端传输数据分析处理的结果。最后，通过网页用户端显示数字化车间机床实时数据采集过程的显示，用户可通过数据进行分析检查机床健康状态，以便及时发现故障并解决。

这种设计架构的优点在于，不仅将数字化车间系统在功能逻辑层面进行了划分，方便管理，并且还将系统各个模块隔离开来，保证排查某个模块的问题不用检查整个数字化车间系统。其中，各层的结构原理如下：

数据采集层100，即数据源层，用于数据起点，所有包括各种异构设备状态数据在内的原始数据生成、采集、基本处理均在这一层。将这一层单独划分出来，保证了未来拓展新的数据源时，无需修改顶层结构，直接将数据源加入此层即可。数据采集客户端以及OPC协议与第三方数控集成接口，直接对数控机床加工过程历时数据的实时采集，避免了通过设置外部传感设备采集数控机床运转数据，减少了了通过外部传感设备采集数据和设置阈值来判断机床运行状态与预警带来的误差。通过提供正确的数据源名称，可以找到相应的数据库连接。

本实施例中，若采用华中数控系统，则需对华中数控系统的内部数据接口进行研究。这类方式主要是利用数控系统内部开放的接口，按照数控系统自身的数据交互方式进行数据采集。采集客户端与NCDDE服务器间的数据、文件交互是通过OPC/Sinumerik服务器与NCDDE接口进行通信。采用OPC技术规范，客户端可以遵循OPC规范来获取机床状态数据，通过OPC方式进行数控系统的数据采集，不仅能够减小不必要的硬件添加或改动，而且可以充分利用数控系统的内部数据来辅助机床状态的监控和故障的诊断，同时利用OPC规范进行数据采集的开发在成本支出方面也很经济划算。

对于数控系统内部开放数据接口采集不到的数据，可通过布置传感器的途径，同时利用PLC可实现对数控系统外部关键部位数据的采集，达到全方位监控数据系统的运行情况。对PLC已采集的数据通过工业以太网的TCP/IP协议传输至管控系统。

数据采集层100和数据传输处理层200之间，还有用于数字化车间数据传输的一个或多个中继节点，负责对无线信号进行一次或者多次的转发，即无线信号要经过多跳才能到数据传输处理层200。以较简单的两跳中继为例，就是将一个数据源层—数据传输处理层200链路分割为数据源层—中继站和中继站—数据传输处理层200两个链路，从而有机会将一个质量较差的链路替换为两个质量较好的链路，以获得更高的链路容量及更好的覆盖。在传输过程中，将采集到的数字化车间工业数据汇总，并格式化为消息中间件可以接收的数据格式。

数据传输处理层200，将各车间数控机床的数据进行实时并行处理，进行采集数据的分析处理并将结果存储到数据库，由多个计算机服务器集群组成，提供数据分析所需计算资源并通过数据处理服务器。数据传输处理层包括数个计算机服务器集群，包括Kafka信息中间件集群220、运算集群230及Web集群210，运算集群230通过Lambda流式数据架构和Hadoop分布式系统实现采集数据的同步实时处理。整个数据传输处理层200以Lambda流式数据架构为框架、Kafka消息中间件集群220为中心，为其他集群提供数据支持，借助运算集群230完成数字化车间的工业数据预处理、数据挖掘、数据分析工作，通过网络设计搭建比互联网更为安全的局域网为平台构建整个数字化车间系统，再借助Web服务集群210为用户终端层300提供展示服务。

请参阅图2，Lambda流式数据架构如图所示，Lambda体系结构是一种数据处理体系结构，旨在通过利用批处理和流处理方法来处理大量数据。这种体系结构方法试图通过使用批处理来提供批量数据的全面和准确视图，同时使用实时流处理来提供在线数据视图来平衡延迟，吞吐量和容错。其依赖于数据模型，且该数据模型具有只作为附加的不变数据源，用作记录系统。

Lambda架构的主要思想是将数字化车间大数据系统架构分为多个层次，分别为批处理层(Batchlayer)、实时处理层(Speedlayer)、服务层(Servinglayer)。

批处理层(Batchlayer)使用可处理大量工业数据的分布式处理系统预计算结果。通过在生成视图时能够处理所有可用数据来达到完美的准确性。这意味着它可以通过基于完整数据集的重新计算修复任何错误，然后更新数字化车间机床的现有视图。其中ApacheHadoop是大多数高吞吐量体系结构中使用的事实上的标准批处理系统。

实时处理层(Speedlayer)可实时处理采集到的数控机床数据流，无需修理或完整性要求。该层牺牲吞吐量，因为它旨在通过向最新数据提供实时视图来最大限度地减少延迟，即实时处理增量数据。这一层通常使用的流处理技术包括Apache Storm，SQL stream和Apache Spark。输出通常存储在快速的NoSQL数据库中。

服务层(Servinglayer)储存批处理和速度层的输出，通过返回预先计算的视图或从处理的数据构建视图来响应临时查询。服务层中使用的技术示例包括Druid，它提供了一个集群来处理来自两个层的输出。在服务层中使用的专用存储区包括Apache Cassandra，Apache HBase，MongoDB，用于速度层输出的VoltDB或Elasticsearch，以及用于批量层输出的Elephant DB，Apache Impala或Apache Hive。

本实施例中，Hadoop分布式系统：以传输系统输出的格式化数据作为输入，针对海量数据构建基于Hadoop的分布式存储系统，保障数据存储的高可靠、高可用性。同时，基于Hadoop系统设计数据调用API，使得存储系统中数据可直接被后续应用层调用读取。利用Hadoop分布式系统，并行处理计算，提高数据处理速度，避免数据库崩溃，保证数据处理实时性。

针对工业海量数据特点，构建基于Hadoop的分布式数据存储模块，保障数据的高可靠、高可用性；基于Hadoop文件系统设计数据调用API，使得存储系统中数据可直接被后续应用层调用读取使用。因此模块的实现需要分析工业数据特点，搭建Hadoop分布式数据存储节点集群，开发Hadoop文件系统读取调用API并整合数据传输模块测试验证。

运算集群230通过Lambda流式数据架构和Hadoop分布式系统实现了采集数据的同步实时处理。

请参阅图3，Kafka消息中间件消息传输架构如图所示。对数字化车间机床数据进行采集时，往往不会仅采集单一数据，而是多种、大量数据。但逐条发送信息会导致系统响应缓慢、延迟增大。因此，发送数据前需要对数据进行汇聚，提高发送效率。同时，数据汇聚模块需要对汇聚后的数据进行模板化，以消息中间件可以识别接收的格式进行格式化。其主要作用为将批处理层和实时处理层的数字化车间工业数据进行协调统一，通过分布式协调器使数字化车间数据的批处理视图和实时视图能够实时对应的协调反馈。Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级开源项目。采用该系统可以为实时处理数字化车间工业数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为数字化车间基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出)，并提供了Kafka Streams(一个Java流式处理库)。

请参阅图4，基于Kafka的信息中间件软件模块如图所示，整套系统消息接收、分发的“中间人”，对来自所有数字化车间采集软件的数据，即所有工业数据源，进行汇总后统一分发给消息订阅者，即需要对数据进行后处理的模块。作为整套系统的数据中转中心，要求采集软件必须具备稳定性高、可靠性好、实时性高的特性。对于基于Kafka的消息中间件模块设计主要可分为三个方面，主要包括客户端订阅连接模块、消息持久化模块、数据推送模块，通过这三部分的协调工作，完成整个系统消息的汇聚与分发。

客户端订阅连接模块。基于Kafka的消息中间件采用的是订阅/发布模型。因此，需要设计客户端订阅连接模块，具体包括Topic设计、分区设定、端口分配、安全验证等。并且，为了保障数字化车间数据信息的完整性与安全性，需要设定冗余备份数。此时，客户端充当消息生产者，其他订阅消息的客户端为消费者，负责对消息进行后处理。

消息持久化模块。客户端对相应的Topic订阅后，Kafka会对客户端发布的消息自动进行接收与处理。但为了应对消息量过大或接收到的消息暂时不需要发送这些极端场景时，Kafka消息需要在本地进行持久化持久处理，等待消息被需要时再发送。

数据推送模块。Kafka在接收到消息后，需要对订阅了消息的消费者进行消息推送。消息推送的过程需要保障工业数据时序一致、不重不漏。因此数据推送模块主要涉及Topic分区分配等接口开发。

Kafka存储的消息来自任意多被称为“生产者”的进程。数字化车间的工业数据从而可以被分配到不同的“分区”、不同的“Topic”下。在一个分区内，这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上(Kafka cluster)，并且分区可以跨集群结点分布，即可以将数字化车间的工业数据运行在多台服务器组成的集群上，进行数据的实时性与协调性处理。

Kafka可以高效地处理数字化车间实时流式数据，可以实现与Storm、HBase和Spark的集成。作为集群部署到数字化车间的多台服务器上，Kafka处理数字化车间所有的发布和订阅消息。系统使用了四个API，即生产者API、消费者API、Stream API和ConnectorAPI。它能够传递大规模流式消息，自带容错功能，已经取代了一些传统消息系统，如JMS、AMQP等，可以更好的对数据进行处理。

用户终端层300，接收来自数据传输处理层200的机床加工过程数据，以显示数字化车间的实时加工状态，将各车间数控机床的实时数据进行呈现，将采集的数据实时发送到网页端显示，并实时显示数控机床的数据运转状态，将数据传输处理层200的输出以直观的方式展现给最终用户。用户终端层300，其主要还是基于搭建的安全局域网实现的，这一层通过连接数据传输处理层200的Web服务集群210，通过浏览器获取可视化数据呈现结果，便于用户直接获得数字化车间的信息与状态。同时，此层分为两部分，一部分用于普通用户接入，另一部分用于管理用户接入，实现对数字化车间运行状态的实时监控与预测，以显示数字化车间的实时加工状态，利于及时了解数字化车间的健康状况，进而提高对机床进行检修的效率，有效地控制数控机床受损程度，保证数字化车间正常加工的效率。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种数字化车间工业数据网络化传输系统，其特征在于，包括以下结构：

数据采集层，所述数据采集层用于实时采集车间的数据信息，并将实时采集数据传输至数据处理层；

数据传输处理层，所述数据处理层用于处理所述数据采集层的数据并将结果传输至用户终端层；

用户终端层，用于显示所述数据采集层和数据传输处理层的输出，实时监测车间的实时状态；

所述数据传输处理层包括数个计算机服务器集群，包括与所述数据采集层连接的Kafka信息中间件集群、运算集群及Web集群，所述运算集群通过Lambda流式数据架构和Hadoop分布式系统实现采集数据的同步实时处理。

2.如权利要求1所述的种数字化车间工业数据网络化传输系统，其特征在于，所述数据采集层和数据传输处理层之间设有至少一个中继节点，对所述实时采集数据进行至少一次转发，使所述实时采集数据要经过多跳才能传输至所述数据传输处理层。

3.如权利要求1所述的种数字化车间工业数据网络化传输系统，其特征在于，所述数据传输处理层由以所述Kafka信息中间件集群为中心的数个集群组成，提供数据分析所需计算资源，通过运算集群完成数据预处理、数据挖掘、数据分析，通过Web服务集群为所述用户终端层实现显示。

4.如权利要求3所述的种数字化车间工业数据网络化传输系统，其特征在于，所述用户终端层用于数据呈现，通过连接所述数据传输处理层的Web服务集群，显示所述数据传输处理层和数据采集层的输出。

5.如权利要求3所述的种数字化车间工业数据网络化传输系统，其特征在于，所述Kafka信息中间件集群包括：

客户端订阅连接模块，包括Topic设计、分区设定、端口分配、安全验证，基于所述Kafka信息中间件集群采用的订阅/发布模型，在客户端充当消息生产者，其他订阅消息的客户端为消费者时，负责对消息进行后处理；

消息持久化模块，用于当客户端对相应的Topic订阅后，所述Kafka信息中间件集群在本地进行持久化持久处理；

数据推送模块，用于当所述Kafka信息中间件集群，对订阅了消息的消费者进行消息推送。

6.如权利要求1所述的种数字化车间工业数据网络化传输系统，其特征在于，所述Lambda流式数据架构包括：

批处理层，用于处理工业数据的分布式处理系统预计算结果，通过在生成视图时处理所有可用数据来保证其准确性；

实时处理层，用于实时处理采集到的数控机床数据流；

服务层，用于储存所述批处理层和实时处理层的输出，通过返回预先计算的视图或从处理的数据构建视图来响应临时查询。