CN113204207B - 铝/铜板带材生产全流程数据采集与传输方法 - Google Patents

铝/铜板带材生产全流程数据采集与传输方法 Download PDF

Info

Publication number
CN113204207B
CN113204207B CN202110475255.3A CN202110475255A CN113204207B CN 113204207 B CN113204207 B CN 113204207B CN 202110475255 A CN202110475255 A CN 202110475255A CN 113204207 B CN113204207 B CN 113204207B
Authority
CN
China
Prior art keywords
data
aluminum
copper plate
transmission
plate strip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110475255.3A
Other languages
English (en)
Other versions
CN113204207A (zh
Inventor
刘士新
张景阳
陈大力
温睿
姚明昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202110475255.3A priority Critical patent/CN113204207B/zh
Publication of CN113204207A publication Critical patent/CN113204207A/zh
Application granted granted Critical
Publication of CN113204207B publication Critical patent/CN113204207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output
    • G05B2219/1194—Send dummy, check data to I-O to check correct I-O connection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种铝/铜板带材生产全流程数据采集与传输方法，包括设计针对铝/铜板带材加工特点构建适合在工业现场使用的数据采集器来采集现场的PLC设备数据，并在该环境下进行数据的压缩和标记分类等传输预处理工作；设计针对铝/铜板带材生产全流程不同数据类型的数据接入方案，完成数据传输等步骤。本发明通过从铝/铜板带材的工厂PLC设备及工厂数据库等数据源采集到数据后进行统一编码后传输到工业大数据平台的服务器端，解决了铝/铜板带加工过程中数据多源异构难以进行统一传输的问题，利于后续的数据的存储和分析等工作。

Description

铝/铜板带材生产全流程数据采集与传输方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种铝/铜板带材生产全流程数据采集与传输方法。
背景技术
现有的铝/铜板带材厂设备数据采集系统大部分并没有直接从设备直接采集原生数据，主要以设备事件驱动，对于一些必要的数据也仅仅是分钟级采集频率。这种情况造成数据采集系统丢失了大部分生产信息，尤其对于一些高速生产设备，现有的数据采集系统不能有效地进行数据采集和存储。
而且铝/铜板带材厂企业的生产设备往往来自不同的厂家，使用的设备数据采集系统也不尽相同。目前大部分设备数据都采用各自的数据格式和采集方法，造成大部分数据并不能直接进行统一分析。因此，有必要对数据进行统一处理和数据对齐，以便于后期进行数据处理的需要。
发明内容
针对上述问题，本发明的目的在于提供一种便于数据利用、可以将铝/铜板材生产全流程产生的多源异构数据统一处理的铝/铜板带材生产全流程数据采集与传输方法。
本发明采用的技术方案如下：
本发明所提出的铝/铜板带材生产全流程数据采集与传输方法，包括以下步骤：
S1：数据采集，设计针对铝/铜板带材生产工业现场的设备特性，构建数据采集器来采集加工现场PLC中的数据，并将采集到的PLC数据暂存在采集站中；
S2：数据分类，对所有铝/铜板带加工过程中产生的数据进行统一分类，如加工时PLC上采集的实时数据、设备状态数据等，并按分类方式编码，将编码加入数据字段中，方便之后的查询和分析工作；
S3：数据压缩，将铝/铜板带加工过程中产生的高频实时数据进行压缩处理，使其能够达到可发送标准；
S4：数据传输，将铝/铜板带加工过程中产生的所有类型的数据传输到大数据平台所在服务器集群中的分布式文件系统，不同类型的数据采用不同的传输方式；
S5：数据备份，在采集站备份已发送的数据一段时间，在采集站空间不足或备份过期后删除；
进一步的，所述步骤S1中的采集站由与铝/铜板带材工厂PLC对接的windows服务器构成，采集器的主要功能包括采集PLC中的数据以及IBA文件中的数据。
进一步的，所述步骤S1中采集的数据主要包括铝/铜板带的加工实时数据以及阶段加工完成后的统计信息数据。
进一步的，所述步骤S1中的数据采集方式针对PLC中的数据特点分为周期采集和事件驱动采集两种方式。
进一步的，所述步骤S1中的数据暂存形式为将采集到的PLC数据以XML的形式暂存在采集站中等待传输。
进一步的，所述步骤S3中的数据压缩加密方法包括GZIP压缩算法和Snappy压缩算法。
进一步的，所述步骤S4中的传输方式包括对工厂原生数据库中的数据使用Sqoop中的驱动程序进行大规模数据传输、对PLC中采集的程序使用C#程序与Java程序对接后进行传输、对非结构化数据进行分割传输。
进一步的，所述步骤S4中的分布式文件系统为大数据平台所在的服务器集群中搭建的基于Hadoop的分布式文件系统。
本发明与现有技术相比具有以下有益效果：
本发明可以将不同厂商的PLC数据进行统一采集后，与其他铝/铜板带材加工过程的多元异构数据进行统一编码后，高效传输到大数据平台所在的服务器集群中，解决了铝/铜板带材加工中提高了数据的利用效率，为后续的数据存储和分析提供了极大的便利。
附图说明
图1为本发明铝/铜板带材生产全流程数据采集与传输方法的流程示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
本发明所提出的一种铝/铜板带材生产全流程数据采集与传输方法，如图1所示，具体实施步骤如下：
S1：数据采集，设计针对铝/铜板带材生产工业现场的设备特性，构建数据采集器来采集加工现场PLC中的数据，并将采集到的PLC数据暂存在采集站中；
具体的：采集站由与铝/铜板带材工厂PLC对接的windows服务器构成，PLC与windows服务器之间使用传输距离远、抗干扰能力强的RS485协议进行数据互通。采集器的主要功能包括采集PLC中的数据以及IBA文件中的数据。其中，对于三菱系列PLC，以MX控件为基础进行采集程序编写、西门子系列PLC以S7.NET驱动为基础进行采集程序编写，IBA文件数据则通过IbaFileLite驱动进行数据的读取。
采集方式具体分为周期采集和事件驱动采集两种方式，周期采集为每5分钟执行一次采集任务，主要采集铝/铜板带材加工过程中的实时数据。
事件驱动采集为在每道加工工序完成一次工作后执行采集任务，主要采集的是本次加工的统计信息数据。
采集到的数据在传输前暂存在windows服务器中，以通用性较强的XML格式存储。
S2：数据分类，对所有铝/铜板带加工过程中产生的数据进行统一分类，如加工时PLC上采集的实时数据、设备状态数据等，并按分类方式编码，将分类编码以字节码的形式加入数据字段中，方便之后的查询和分析工作；
具体的：对数据的工序的编码，使用工序的单词首字母进行编码，熔铸(M)，热轧(H)，冷轧(C)和热处理(A)；
针对数据分类的编码，为保证数据分类的简洁高效，采用以单个字母作为基本数据分类的编码。工艺过程数据(P)：主要包括原材料的配料数据，材料的基本性能数据以及各个加工设备的参数设定值等；设备运行数据(E)：主要包括设备健康状态数据，设备能耗数据，设备的各部件运行参数的实时反馈数据等；质量检测数据(Q)：主要包括各个工艺环节的阶段性质检数据和最终质检数据等；自然环境数据(N)：主要包括天气数据，温度数据，气压数据，相对湿度数据等；管理信息数据(M)：主要包括排产计划数据，产品存放调度数据，设备和人员的排班调度数据以及人员职能和工资相关数据等。
进行数据分类后，将分类编码以字节流的方式插入到各字段的字段头中。
S3：数据压缩，将铝/铜板带加工过程中产生的高频实时数据进行压缩处理，使其能够达到可发送标准；
具体的：对于数据量庞大的实时数据以压缩率高的GZIP压缩算法进行压缩，对统计信息等采集频率较低的数据以压缩率稍低但速度快的Snappy压缩算法进行压缩。
S4：数据传输，将铝/铜板带加工过程中产生的所有类型的数据传输到大数据平台所在的分布式服务器集群，不同类型的数据采用不同的传输方式；
具体的：若预传输数据的数据源为铝/铜板带加工工厂中的关系型数据库数据，例如SQL Server与MySQL数据库中的数据，针对这种数据量较大，数据关联性较强，而且数据库接口功能较为齐全的特点，使用Sqoop中的驱动程序进行大规模数据传输；对比现有数据迁移工具的各种性能，Sqoop最能满足铝/铜板带材生产数据的数据量巨大，传输速度快的特点。而且操作相对简单，使用难度较低。
若预传输数据的数据源为从铝/铜板带材加工过程中的PLC采集而来的数据，需要经过采集站的程序进行解析，在解析后使用采集站中的C#发送程序与大数据平台服务器集群中的java程序对接进行传输。因为传输过程涉及到跨语言交互，所以对接过程使用thriftRPC框架进行跨语言的数据转换，最终将数据传递到服务器端。
若预传输数据为非结构化数据，通过java程序以1GB为断点进行分割传输，并在发送完毕后由发送端发出fin信号通知接收端，再由接收端完成数据的拼接。
在传输过程中如果遇到问题无法继续传输任务，则在日志中记录断点，并向工作人员发出警告信息，排除问题后从传输断点续传数据。
S5：数据备份，在采集站备份已发送的数据一段时间，在采集站空间不足或备份过期后删除；
具体的：数据备份为采集站端的常驻进程，在数据传输完毕后将数据转移到备份区，以60天为期限，每天清理传输完毕超过60天的数据。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.铝/铜板带材生产全流程数据采集与传输方法，其特征在于，所述方法包括以下步骤：
S1：数据采集，针对铝/铜板带材生产工业现场的设备特性，构建数据采集器来采集加工现场PLC中的数据，并将采集到的PLC数据暂存在采集站中；
S2：数据分类，对所有铝/铜板带加工过程中产生的数据进行统一分类，包括加工时PLC上采集的实时数据、设备状态数据，并按分类方式编码，将编码加入数据字段中；
S3：数据压缩，将铝/铜板带加工过程中产生的高频实时数据进行压缩处理，使其能够达到可发送标准；
S4：数据传输，将铝/铜板带加工过程中产生的所有类型的数据传输到大数据平台所在服务器集群中的分布式文件系统，不同类型的数据采用不同的传输方式；
S5：数据备份，在采集站备份一段时间已发送的数据，在采集站空间不足或备份过期后删除；
所述步骤S1中的采集站由与铝/铜板带材工厂PLC对接的windows服务器构成，采集器的功能包括采集PLC中的数据以及IBA文件中的数据；
所述步骤S1中采集的数据包括铝/铜板带的加工实时数据以及阶段加工完成后的统计信息数据；
所述步骤S1中的数据采集方式针对PLC中的数据特点分为周期采集和事件驱动采集两种方式；
所述步骤S1中的数据暂存形式为将采集到的PLC数据以XML的形式暂存在采集站中等待传输；
所述步骤S3中的数据压缩加密方法包括GZIP压缩算法和Snappy压缩算法；
所述步骤S4中的传输方式包括对工厂原生数据库中的数据使用Sqoop中的驱动程序进行大规模数据传输、对PLC中采集的程序使用C#程序与Java程序对接后进行传输、对非结构化数据进行分割传输；
所述步骤S4中的分布式文件系统为大数据平台所在的服务器集群中搭建的基于Hadoop的分布式文件系统。
CN202110475255.3A 2021-04-29 2021-04-29 铝/铜板带材生产全流程数据采集与传输方法 Active CN113204207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110475255.3A CN113204207B (zh) 2021-04-29 2021-04-29 铝/铜板带材生产全流程数据采集与传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110475255.3A CN113204207B (zh) 2021-04-29 2021-04-29 铝/铜板带材生产全流程数据采集与传输方法

Publications (2)

Publication Number Publication Date
CN113204207A CN113204207A (zh) 2021-08-03
CN113204207B true CN113204207B (zh) 2022-12-23

Family

ID=77027852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110475255.3A Active CN113204207B (zh) 2021-04-29 2021-04-29 铝/铜板带材生产全流程数据采集与传输方法

Country Status (1)

Country Link
CN (1) CN113204207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668042A (zh) * 2023-07-31 2023-08-29 北京众驰伟业科技发展有限公司 一种d-二聚体和fdp复合质控品生产数据信息传输方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626351A (zh) * 2008-07-09 2010-01-13 青岛高校信息产业有限公司 多协议数据采集网关
CN103838201A (zh) * 2012-11-28 2014-06-04 沈阳铝镁设计研究院有限公司 一种针对电解铝厂的车间级数据集成系统
CN106483860B (zh) * 2015-09-02 2019-06-07 上海宝信软件股份有限公司 针对plc的数据自动采集中间件及其使用方法
JP6860530B2 (ja) * 2018-07-31 2021-04-14 ファナック株式会社 データ管理装置、データ管理方法及びデータ管理プログラム
CN109189788B (zh) * 2018-08-20 2021-04-13 中冶南方工程技术有限公司 用于钢铁过程控制的高速数据存储方法和系统
CN111482465A (zh) * 2020-03-17 2020-08-04 洛阳和远控制系统有限公司 一种板带材的板形控制方法和装置
CN111638689B (zh) * 2020-05-15 2022-03-22 连云港杰瑞自动化有限公司 基于自动化总控系统的生产线数据集中采集与管控系统及方法

Also Published As

Publication number Publication date
CN113204207A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN205679985U (zh) 一种智能产线过程监控系统
CN113204207B (zh) 铝/铜板带材生产全流程数据采集与传输方法
CN101262682A (zh) 一种对基站设备进行监控的批量配置管理方法
CN112506097A (zh) 一种基于工业互联网的胎架远程监测系统及监测方法
CN112462724A (zh) 一种基于工业互联网的数据监控系统
CN111930733A (zh) 基于物联网监测的工业设备大数据存储系统
CN111723145A (zh) 一种基于北斗的大数据应用信息云平台
CN114595967A (zh) 一种基于边缘云架构的数据中心碳排放监管方法及系统
CN106094775A (zh) 一种剪切生产线远程监控系统
CN109561155B (zh) 一种变电站设备远程集中监视与运维方法
CN214067660U (zh) 基于物联网的监测系统
CN101158859B (zh) 缺陷数据实时采集装置及其方法、生产线实时数据采集系统
CN112598142B (zh) 一种风电机组检修工作质量审查辅助方法与系统
CN112255984A (zh) 一种基于分布式工业协议解析技术的多源数据采集系统
CN113487170A (zh) 一种具有分层技术架构的全链路监控系统
WO2021147347A1 (zh) 一种工业大数据的采集网络系统及其应用方法
CN115604013B (zh) 一种工业数据交互平台及交互方法
CN110555067A (zh) 装配质量数据的采集、处理和集成管理方法
CN116149849A (zh) 一种面向智慧水务复杂时间尺度数据融合的边缘计算方法
CN115097797A (zh) 一种基于互联网分布式能源云管控系统
CN111090698B (zh) 一种面向配网1+n系统集中监控的告警同步方法和装置
CN109885556B (zh) 一种设备数据模型的实现方法
CN202257234U (zh) 压机的远程监控与诊断装置
CN114387124B (zh) 一种核电工业互联网平台的时序数据存储方法
CN114338745B (zh) 一种换流站数据汇集与综合分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant