CN109739148A - 针对工业加工设备的大数据集成优化处理传递系统及方法 - Google Patents

Abstract

本发明公开了针对工业加工设备的大数据集成优化处理传递系统及方法，该系统输入端与多个采集端相连接，其输出端通过e port Agent协议连接至上位机服务系统。本发明的大数据集成优化处理传递系统包括：配置文件模块，统一接口层模块，实时线程采集模块，数据转化、清洗、标定、归一模块，业务节点数据缓存模块，定时器数据推送模块。本发明在区分数据来源之后，通过统一的、标准的内置校正/标定/归一/合并方法，将各类采集的工业数据进行精简化、合理化、优质化和关联化，向上位系统提供深层次的数据服务。同时，在设备采集层和上位服务系统之间提供通用合理的接入接口，方便数据采集方和上位系统服务方使用的高效通用。

Description

针对工业加工设备的大数据集成优化处理传递系统及方法

技术领域

本发明涉及一种工业加工设备的数据采集，更具体地说，涉及一种针对工业加工设备的大数据集成优化处理传递系统及方法，工业加工设备包括数控机床、喷涂设备、轧机等工业设备。

背景技术

由于工业发展的历史原因，当前相当多的设备信息记录以及停留在纸质记录阶段，同时随着互联网技术的发展，通讯技术已经大量应用于工业体系中，并且诞生了一部分针对性设备数据的采集端，所以从整体来看大工业数据采集方式有如下两种模式：

1.手动纸质记录模式

2.在工业互联网下的硬件采集端/边缘服务器

第一种模式，工作效率缓慢，特别是采集数据的数据都是时间按照ms级/数量按照百G的方式进行传输，特别是所有的设备都会有数据偏移等造成不精准的情况出现，所有在手动统计数据就是一件非常艰难的事情，甚至不是人力可为的；

第二种模式，当前所有的数据采集技术都是将设备的具体信号实时获取，并且推送到上位服务器中，并没有将数据按照统一标准的方式进行去杂/清洗/归一/标定/合并等合理性，专业性处理，这就造成一方面上位服务器接收数据量十分巨大，带了巨大的硬件负担；另一方面，数据的不精准性也会为将来在上位机处理中带了很大的困难，特别是前面提到的，大工业数据量级和采集速度的原因，在最后的应用模块处理中势必难以有效合理利用，另外一个重要原因就是硬件厂商都是着重本体数据采集，并没有将加工工艺、工单等实际的全生命周期制造数据融合起来，功能应用单一。

同时，在市场中流行的各种数据采集类设备，种类多样，使用的数据类型、接口方式也各不相同，在上位应用服务系统与下位设备层数据采集系统间形成一种难以简单互通的交互窒碍，带来不可避免的合作和互换困难。

发明内容

针对现有设备采集端技术中存在的对数控机床、喷涂设备、轧机等工业设备的数据采集需要专用软件，并且在处理标定、某些业务数据清洗、高低频参数时间统一等过程中的一系列问题，本发明的目的是提供一种针对工业加工设备的大数据集成优化处理传递系统及方法，通过合理的服务系统模块资源的整合划分，将海量、ms级传输数据从各类数据采集端接入，经过处理，统一应用于第三方的服务系统中。

为实现上述目的，本发明采用如下技术方案：

一种针对数控机床、喷涂设备、轧机等工业设备的大数据集成优化处理传递系统，其输入端与多个采集端相连接，其输出端通过e port Agent协议连接至上位机服务系统。

其特征在于，所述大数据集成优化处理传递系统包括：统一接口层模块，实时线程采集模块，数据转化、清洗、标定、归一模块，配置文件模块，业务节点数据缓存模块，定时器数据推送模块；所述统一接口层模块的输入端接收所述多个采集端输出的设备信号，其输出端连接至所述实时线程采集模块；所述实时线程采集模块分别连接至所述数据转化、清洗、标定、归一模块和所述配置文件模块；所述数据转化、清洗、标定、归一模块连接至所述业务节点数据缓存模块；所述业务节点数据缓存模块连接至所述定时器数据推送模块。

进一步地，所述采集端包括A类采集端、B类采集端和其余类型采集端；所述A类采集端和B类采集端为数控机床、喷涂设备、轧机等工业设备专用设备采集端，所述其余类型采集端为通用数据采集端。

进一步地，所述大数据集成优化处理传递系统还包括心跳检测模块，所述心跳检测模块检测上位机服务系统与采集端的通信是否异常，并进行数据通道的及时修复。

进一步地，所述数据转化、清洗、标定、归一模块甄别不同的数据类型，对个别特定参数类型进行偏移，并且根据标准标定缺失数据。

进一步地，所述数据转化、清洗、标定、归一模块配置标定参数表，匹配采集参数，并且根据参数表将参数时间归一。

进一步地，所述配置文件模块预置的相关工艺、工单流转信息功能将数据格式和工艺、工单等制造信息融合起来封装成适用于数控机床、喷涂设备、轧机等工业设备的标准模式的通讯协议报文。

进一步地，所述定时器数据推送模块通过实施打包并且传输应答的方式将数据推送到上位机服务系统中。

进一步地，所述实时线程采集模块包括适用于数控机床、喷涂设备、轧机等工业设备的TCP/IP、http、https协议。

为实现上述目的，本发明还采用如下技术方案：

一种针对数控机床、喷涂设备、轧机等工业设备的大数据集成优化处理传递方法，包括以下步骤：从采集端接收多个采集端输出的设备信号；配置标定参数表；甄别不同的数据类型，对个别特定参数类型进行偏移，并且根据标准标定缺失数据；并且根据参数表将参数转化、清洗、归一；预置工单、工艺功能将数据格式封装成适用于数控机床、喷涂设备、轧机等工业设备具体业务的标准模式的通讯协议报文(例如：设备预警，设备及时工单信息，设备历史记录等等)；打包并且传输应答的方式将数据推送到上位机服务系统中。

进一步地，还包括以下步骤：检测上位机服务系统与采集端的通信是否异常，并进行数据通道的及时修复。

在上述技术方案中，本发明在区分数据来源之后，通过统一的、标准的内置校正/标定/归一/合并方法，将各类采集的工业数据进行精简化、合理化、优质化和关联化，向上位系统提供深层次的数据服务。同时，在设备采集层和上位服务系统之间提供通用合理的接入接口，方便数据采集方和上位系统服务方使用的高效通用。

此外，还能将海量、ms级传输数据从数据采集端接入，并且经过合理处理，统一应用于第三方的服务系统中。

附图说明

图1是本发明的系统模块图；

图2是本发明方法的流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

参照图1，本发明应用于数控机床、喷涂设备、轧机等工业设备，本发明的输入端与多个采集端相连接，而本发明的输出端通过e port Agent协议连接至上位机服务系统。在本发明的系统架构下，采集端包括A类采集端、B类采集端和其余类型采集端，其中A类采集端和B类采集端为数控机床、喷涂设备、轧机等工业设备专用设备采集端，其余类型采集端为通用数据采集端。

本发明的系统包括统一接口层模块、心跳检测模块、实时线程采集模块、数据转化/清洗/标定/归一模块、数据缓存模块、定时推送模块以及UI配置模块。具体来说，上述模块主要执行以下操作：

(1)接口层模块：统一处理数据采集层类型甄别/统一接口采集的问题。具体来说，统一处理数据采集层对本服务系统进行配置初始化，因为某些数据本身从采集端上来以后，并不准确，需要标定，所以要配置标定参数表，并且在应对专用数据采集设备(比方：封闭式、离线式工业设备)，需要将设备信号管路进行并轨或者信号分流，这些并不知道设备的具体采集节点，需要初始化配置，等等。

(2)心跳检测模块：解决上位服务系统和底层数据采集端的通讯是否异常/设备是否异常等问题，可以及时的采取断线重连、异常缓存的方式，进行数据通道的及时修复，防止数据丢失。对于任意底层硬件端数据采集盒子，本发明实时运行过程中都会建立是否在线/是否异常等心跳检测诊断，用来检测当前设备是否在正常情况下运转。

(3)实时线程采集模块：解决本服务系统采集自适应、实时启动、减少采集延迟时间等问题。

(4)数据转化/清洗/标定/归一模块：解决数据类型的甄别、个别参数类型偏移、缺失标定标准等问题，并将数据格式封装成适用于数控机床、喷涂设备、轧机等工业设备的具体业务标准模式的通讯协议报文。

(5)业务节点数据缓存模块：解决ms级海量设备数据传输管路阻塞造成无响应、甚至在传输过程中网络异常造成数据丢失、服务器压力过大等问题。由于硬件数据本身属于海量/ms级别，响应量和速度十分惊人，如果直接将参通过通讯协议发送，很容易由于出现丢包、通讯阻塞的情形出现，所以先将数据缓存到redis数据库中，然后通过定时器线程的方式将数据抛出去，直到上位服务系统响应，再将缓存数据删除，既可以做到实时性，同时又可以保证数据传输过程无误。

(6)定时器数据推送模块：通过实施打包，并且传输应答的方式将数据推送到上位机服务系统中，既可以做到减缓上位机实时应答压力，同时又能避免重要数据丢失的问题，同时通过异步传输的方案，在软件开发过程中减少线程等待阻塞的情况。

(7)配置文件模块：通过配置界面/接口，多样化的将本服务系统推广成为标准化的大工业数据处理系统，例如：标定数据表的输入、工艺/工单参数的数据等等，更加扩大了应用功能范围。

(8)同时对外推送数据，遵循本系统独立的e_port_Agent协议，规范数据协议。

如图1所示，本发明应用合理的数据通讯技术，即服务内部集成TCP/IP、http、https等多样化通讯技术，来应对底层数据采集端的多接口性。对外统一使用http通讯协议，并且将数据格式封装成标准模式的通讯协议报文，精确的解释了当前报文的应用条件/应用功能/适用范围/应用标准等。本发明的心跳检测模块系统和底层硬件设备采集端通过指定消息问答来判断实时状态是否异常，缓存模块使用系统内存/redis内存数据库等，并且在核心的数据转化/清洗/标定/归一等技术中，将海量实时的设备数据进行整合同化，有效的服务于上位机服务系统。

进一步的，本发明的系统有两种应用配置模式：

方式一：应对通用型数据采集层，通过UI模块的配置，将处理的设备标定数据缓存在系统中，会对应的上传数据进行相应的分析和整合，并且会过滤去除重复数据、将最终的数据标定提交到上位服务器系统中。

方式二：配备针对特定工业设备的专用采集端(比方：喷涂JP5000，需要将管路改造才能获取内部信号)，无须通过太复杂的配置，会将采集到的数据进行统一处理后，转送到上位机系统中。

参照图2，本发明还公开一种对应于上述系统的大数据集成优化处理传递方法，包括以下步骤：

S1：统一接口层模块从采集端接收多个采集端输出的设备信号；

S2：数据转化、清洗、标定、归一模块配置标定参数表；

S3：数据转化、清洗、标定、归一模块甄别不同的数据类型，对个别特定参数类型进行偏移，并且根据标准标定缺失数据；

S4：对于特定的的封闭式、离线式设备，通过智共荟科技公司自主研发的e_Box接入本服务系统，并且根据参数表将参数转化、清洗、归一；

S5：数据转化、清洗、标定、归一模块后，通过文件配置功能将设备/工艺/工单等数据格式封装成适标准模式的通讯协议报文；

S6：定时器数据推送模块打包并且传输应答的方式将数据推送到上位机服务系统中。

在上述步骤执行的同时，心跳检测模块检测上位机服务系统与采集端的通信是否异常，并进行数据通道的及时修复。

综上所述，本发明综合性地解决了大工业环境下，毫秒级/海量实时设备数据的采集处理，合理化应用的技术方案，对数据标定，清洗，时间归一化处理，对外会采用统一的通讯协议，以及标准的数据格式和内容，方便上位机系统使用。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种针对工业加工设备的大数据集成优化处理传递系统，其输入端与多个采集端相连接，其输出端通过e port Agent协议连接至上位机服务系统，其特征在于，所述大数据集成优化处理传递系统包括：

统一接口层模块，实时线程采集模块，数据转化、清洗、标定、归一模块，配置文件模块，业务节点数据缓存模块，定时器数据推送模块等；

所述配置文件模块统一规范接入本服务系统的采集端类型接口，通讯方式等。

统一接口层模块的输入端接收所述多类型采集端输出的设备信号，其输出端连接至所述数据转化、清洗、标定、归一模块中；

所述数据转化、清洗、标定、归一模块分别连接至所述业务节点缓存中；

所述业务节点数据缓存模块连接至所述定时器数据推送模块。

2.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述采集端包括A类采集端、B类采集端和其余类型采集端；

所述A类采集端和B类采集端为封闭式/离线式专用设备采集端，所述其余类型采集端为通用数据采集端。

3.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述大数据集成优化处理传递系统还包括心跳检测模块，所述心跳检测模块检测上位机服务系统与采集端的通信是否异常，并进行数据通道的及时修复。

4.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述数据转化、清洗、标定、归一模块甄别不同的数据类型，对个别特定参数类型进行偏移，并且根据标准标定缺失数据。

5.如权利要求4所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述数据转化、清洗、标定、归一模块配置标定参数表，对于离线式、封闭式等特别设备需要智共荟科技公司独立研发的e_Box将信号接入，并且根据参数表将参数转化、清洗、归一，对于通用式、准确数据可直接经过本服务系统上传转发。

6.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述文件配置模块将设备/工艺/工单等数据格式封装成适用于标准模式的通讯协议报文。

7.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述定时器数据推送模块通过实施打包并且传输应答的方式将数据推送到上位机服务系统中。

8.如权利要求1所述的针对工业加工设备的大数据集成优化处理传递系统，其特征在于，所述实时线程采集模块包括适用于通用的TCP/IP、http、https协议。

9.一种针对数控机床、喷涂设备、轧机等工业设备的大数据集成优化处理传递针对工业加工设备的大数据集成优化处理传递方法，其特征在于，包括以下步骤：

通过文件配置模块，从采集端接收多个采集端输出的设备信号；

配置标定参数表；

甄别不同的数据类型，对个别特定参数类型进行偏移，并且根据标准标定缺失数据；

并且根据参数表将参数转化、清洗、归一，存放到缓存中；

将设备/工艺/工单等数据格式封装成适用于数控机床、喷涂设备、轧机等工业设备具体业务的标准模式的通讯协议报文；

定时打包并且传输应答/主动发送等方式将数据推送到上位机服务系统中。

10.如权利要求9所述针对工业加工设备的大数据集成优化处理传递方法，其特征在于，还包括以下步骤：

检测上位机服务系统与采集端的通信是否异常，并进行数据通道的及时修复。