CN111784170A - 一种冶金行业数据管理系统及方法 - Google Patents
一种冶金行业数据管理系统及方法 Download PDFInfo
- Publication number
- CN111784170A CN111784170A CN202010637309.7A CN202010637309A CN111784170A CN 111784170 A CN111784170 A CN 111784170A CN 202010637309 A CN202010637309 A CN 202010637309A CN 111784170 A CN111784170 A CN 111784170A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- module
- metallurgical industry
- production line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013523 data management Methods 0.000 title claims abstract description 27
- 238000004519 manufacturing process Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 24
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 18
- 239000010959 steel Substances 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000013499 data model Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 6
- 230000002776 aggregation Effects 0.000 abstract description 4
- 238000004220 aggregation Methods 0.000 abstract description 4
- 239000006185 dispersion Substances 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000005096 rolling process Methods 0.000 description 18
- 238000007726 management method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000001816 cooling Methods 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 5
- 238000005098 hot rolling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005097 cold rolling Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009749 continuous casting Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Evolutionary Biology (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种冶金行业数据管理系统及方法，系统包括：数据定义模块，定义静态数据和动态数据，同时对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类；数据采集模块，用于采集所述动态数据；数据分发模块，用于将采集的数据进行缓存，并进行数据推送；数据处理模块，所述数据处理模块包括事件触发单元、数据统计单元和用于对数据进行过滤的数据过滤单元；本发明以数据标准化为核心，根据钢铁行业的数据特征，在规范定义的基础上进行数据采集、存储等功能，实现了数据的聚集和共享，避免了数据分散的孤岛现象，使数据资产化变得简单。
Description
技术领域
本发明涉及冶金领域和计算机应用领域，尤其涉及一种冶金行业数据管理系统及方法。
背景技术
钢铁行业工序单元自动化和信息化水平较高，系统构成复杂，其生产过程是典型的大数据生产过程，并且钢铁工业数据蕴含了工艺、控制、经验、供需等巨大隐藏价值，设计和建设统一数据管理平台将产线各系统的数据规范化地聚起来、管起来、用起来是智能制造的基础需求，可据此优化生产操作，加强生产异常分析和解决能力，实现生产效率和质量的提升。
钢铁行业生产过程复杂，数据来源多、格式和协议多、数据需求要求，传统钢铁生产数据规模在快速增长的同时，在数据生产、管理和应用方面存在一系列的严峻问题，具体包括：
1)数据短期存储，大量丢弃
由于传统方式以单台计算机、服务器硬盘介质为主进行数据存储，一方面容量有限，另一方面为保障在线数据的访问效率，数据通常被定期进行备份和转移，导致最终被丢弃或者废弃的现象严重。
2)数据分散，孤岛现象严重
长期以来，上下游产线之间系统独立，数据不共享，甚至同一产线的不同单元之间数据也因分散而难以共享，比如L1的数据文件分散在不同的服务器中。同时不同服务商通常提供不同的数据保存方式，也不愿意对第三方提供接口。
3)缺少数据规范，理解和复用成本高
钢铁产线设计和建设复杂，参与单位较多，各个系统对数据的定义自成一体，新的应用集成和利用已有数据难度极大，寻找和理解数据并二次应用的成本高，导致数据看似存在其实可用性不高。
因此，需要一种新的适用于冶金行业的数据存储方式，可以以数据标准化为核心，在规范定义的基础上进行数据采集、存储等功能，最终实现数据的聚集和共享，让数据资产化变得简单。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种冶金行业数据管理系统及方法，以解决上述技术问题。
本发明提供的冶金行业数据管理系统，包括：数据定义模块，用于定义静态数据和动态数据，同时对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类；数据采集模块，用于采集所述动态数据；
数据分发模块，用于将采集的数据进行缓存，并进行数据推送；
数据处理模块，所述数据处理模块包括事件触发单元、数据统计单元和用于对数据进行过滤的数据过滤单元。
可选的，预先按照工序特征将每条工序生产线划分为不同的区域单元，例如将热轧生产线依次划分为加热炉单元、粗轧单元、精轧单元、层冷单元、卷取单元，并对每个区域单元内的设备进行设备分组；
根据设备种类对设备进行分类；
根据分类后的设备，建立设备数据模型；
根据所有设备的类别、分组情况以及各设备间的引用关系，通过设备数据模型组装形成不同的生产线。
可选的，还包括用于对设备数据模型的生产线中的设备和设备中的数据进行标识的身份识别模块，设备数据模型的每条生产线中的设备和设备中的数据具有唯一的编码。
可选的，还包括数据存储模块，所述数据存储模块包括：
内存数据库，用于存储待快速访问和计算的数据，内存数据库中的数据通过离散点的形式存储；
时序数据库，用于存储周期短的实时性时序数据；
关系数据库存储，用于存储具有明确关系型特征的非实时性数据；
数据仓库，用于通过存储原始数据。
可选的，还包括用于与不同的上位机和/或下位机进行数据交互的外部接口模块，所述外部接口模块与数据采集模块连接，所述预处理模块建立有可扩展的消息队列集群和对外推送队列，通过所述可扩展的消息队列集群对采集的数据进行缓存，通过对外推送队列将数据保持原格式进行数据推送。
可选的，还包括
可视化模块，用于进行人机交互；
数据推送模块，用于进行数据推送和转发；
数据访问接口，用于提高API接口并进行数据查询。
本发明还提供一种冶金行业数据管理方法，包括：
定义静态数据和动态数据，同时对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类
采集所述动态数据；
将采集的数据进行缓存，并进行数据推送；
通过数据处理模块进行事件触发、数据统计和对数据进行过滤，完成对冶金行业的数据管理。
可选的，预先按照工序特征将每条工序生产线划分为不同的区域单元，例如将热轧生产线依次划分为加热炉单元、粗轧单元、精轧单元、层冷单元、卷取单元，并对每个区域单元内的设备进行设备分组；
根据设备种类对设备进行分类；
根据分类后的设备，建立设备数据模型；
根据所有设备的类别、分组情况以及各设备间的引用关系，通过设备数据模型组装形成不同的生产线。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述方法。
本发明的有益效果：本发明中的冶金行业数据管理系统及方法，以数据标准化为核心，根据钢铁行业的数据特征，在规范定义的基础上进行数据采集、存储等功能，实现了数据的聚集和共享，避免了数据分散的孤岛现象，使数据资产化变得简单。
另外，通过本发明可以支持钢铁全流程以人员、设备、物料对象为参照进行面向对象的数据标准化定义，并基于生产工序单元进行二次维度划分；支持钢铁行业使用的主流通信协议，实现可配置的OPC、TCP、UDP、MQTT、HTTP、Modbus、数据库及文件ETL抽取等数据采集协议，并通过页面统一配置、监控和管理，且支持自定义扩展和热加载新的协议；提供全局资产视图，实现数据资产化管理；支持从业务视角(人、机、料)和技术视角管理和查看数据；支持数据质量监控及异常报警；支持数据推送、API访问、数据迁移等数据服务。
附图说明
图1是本发明实施例中冶金行业数据管理系统的结构示意图。
图2是本发明实施例中冶金行业数据管理方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图1所示，本实施例中的冶金行业数据管理系统，包括：数据定义模块，用于对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类；数据采集模块，用于进行动态数据采集；
数据分发模块，用于将采集的数据进行缓存，并进行数据推送；
数据处理模块，所述数据处理模块包括事件触发单元、数据统计单元和用于对数据进行过滤的数据过滤单元。
在本实施例中，首先进行数据定义，本实施例中的钢铁行业中的设备按照机械设备、电气设备、自动化仪表、辅助系统和介质系统等进行分类，定义出每一个设备对象，基于设备建立数据模型，数据包括静态数据(厂家信息等)和动态数据(生产过程中实时产生的数据)。一个设备数据模型可以引用其他数据模型，以表征一个大的设备除了自有数据，还包含其他小的设备。通过利用设备数据模型组装产线，预先按照工序特征将生产线划分为不同的区域单元，本实施例中首先按照高炉、炼钢、连铸、热轧、冷轧等工序特征生产线划分为不同的区域单元，针对其中的某一个特征工序，例如热轧工序，将热轧生产线分为加热炉、粗轧、精轧、层冷、卷取等不同的区域单元；然后每个单元再分设备组，比如粗轧单元包括除磷、粗轧前辊道、轧机等；最后将定义的设备数据模型附着在设备组上。一个数据模型可以被实例化到不同的单元、不同的设备组；设备分组层次可根据需要进行调整。在本实施例中，以“物”为对象建立数据模型，可以根据实际存在的“物”为对象建模，也可以虚拟的“物”为对象进行建模。相应的，每个数据模型包括静态属性(名称、生产厂家、额定功率等)和动态属性(生产中实时产生的数据如电流、压力等)。
在本实施例中，设备数据模型支持最多7个层次的分类，每个层次进行编码规范，分类名称和编码可自定义。可选的，设备数据模型中内置有多个数据模型模板，首先按照钢铁生产工序单元进行分类，在每个单元内部再按照机械设备、电气设备、自动化仪表、辅助系统和介质系统进行分类，用户可直接复用模板并修改。
在本实施例中，通过设备数据模型自定义生产线，按照生产组织架构方式进行产线实例化定义。产线的最小构成(叶子节点)来自于数据模型，即产线架构定义完成后，复用数据模型构建产线的设备实例。可选的，本实施例中的实例化的设备及每个设备的数据具有唯一的编码，产线实例化后，即完成了产线的完整数据定义。
在本实施例中，数据采集模块可以通过可配置网关实时、稳定地采集PLC、传感器以及各种数据库中的数据，网关按需进行分布式部署。预处理模块建立可扩展的消息队列集群，将采集的数据进行缓存。解析/分发服务从队列中捞取数据，按照指定格式进行解析并分发到存储或应用。在本实施例中，还包括管理中心和配置中心，通过管理中心可以对网关、消息队列集群和解析/分发服务进行集中管理，包括网关的配置、连接、数采统计管理，消息队列集群的主题、过期时间管理，解析/分发服务的解析规则管理等，相关配置信息统一存储在配置中心。
在本实施例中，还包括用于与不同的上位机和/或下位机进行数据交互的外部接口模块，所述外部接口模块与数据采集模块连接，所述预处理模块建立有可扩展的消息队列集群和对外推送队列，通过所述可扩展的消息队列集群对采集的数据进行缓存，通过对外推送队列将数据保持原格式进行数据推送，外部接口模块可以内置TCP/IP、OPC、Modbus、MQTT等工业常用数采协议，以及基于Kettle的数据库、文件系统数据迁移协议，且支持基于Jar包的自定义协议扩展。支持分布式部署多个网关采集不同来源(PLC、传感器、数据库、文件、第三方系统)的数据，所有的网关关于加载协议、建立和监控连接、数据电文等通信配置集中管理和维护。进入集群的数据通过解析后分发到存储系统和处理系统，进入推送队列的数据保持消息原格式进行数据推送。
在本实施例中，根据钢铁行业特征，构建处理引擎，可以实现数据缺失值处理(如某期间内数据丢失)、异常值处理(如检测元件由于干扰引起的误信号)、数据有效性判断(如传感器故障，则采集数据无效)、数据抽取与连接(如快速信号重采样变为慢速信号)、数据计算与规范化(如对电流、转速进行归一化处理)等简单计算和处理，也可以通过处理引擎进行时段数据统计分析、趋势分析。
可选的，对采集的数据进行可配置式预处理，方便上层应用根据业务逻辑设计数据的可用性规范，抽象出可复用的数据处理规则。例如可以通过基于Flink内置单个数据、多个数据的多种预处理规则，支持基于Jar包的自定义扩展，主要通过数据处理引擎和数据事件定义来实现。
在本实施例中，处理引擎提供过滤规则和统计规则，过滤规则包括开闭区间取值、变化取值、递增取值等有效性判断；统计规则包括求和、平均、取最大值、标准差、计数等聚合计算。通过引擎处理后的数据过滤掉了高温计、测厚仪等异常无效数据，以及按照模型要求计算出了分段平均数据。数据事件可以提供用户自定义事件触发功能，与数据处理引擎配合使用，例如在实际应用中定义一个咬钢事件，上层应用向平台订阅该事件，当轧制力数据突变到一定范围即触发该事件，平台会将事件及相关数据推送到已订阅的应用，方便各系统的协同管控。
在本实施例中，还包括数据存储模块，数据存储模块包括：内存数据库、时序数据库、关系数据库和数据仓库。通过同时部署内存数据库、时序数据库、关系数据库和数据仓库，按照分层次数据应用的原则，即在原始数据持久保存的基础上按应用需求自定义存储目标，进行高频时序数据、定义性静态数据、实时动态数据的存储，综合采用多种数据存储方式。本实施例中的内存数据库用于存储需要快速访问和计算的数据，例如数据最新值查询、某个时间段内的平均值计算、几个数据的混合运算等。时序数据库用于存储短期实时性要求较高的时序数据，支持实时数据快速写入、查询，以及聚合计算功能。关系数据库存储应用于从L2、MES，及其他管理系统采集的实时性要求不高且关系型特征比较明确的数据。数据仓库采用列式数据存储方式，存储所有较长时间内的原始数据，以便历史数据的访问。内存数据库中的数据以离散点的形式存在，关系数据库中的数据遵循传统的数据组织方式；时序数据库和数据仓库中的数据则是按照标准化定义的数据模型进行数据存储，例如一个电机的生产过程数据电流、功率、温度等数据绑定在一起进行存储。所有数据会强制进入数据仓库和时序数据库，其他存储方式按需进行配置。
在本实施例中，还包括可视化模块，用于进行人机交互；通过可视化模块，可以利用可视化图表控件(表格、直方图、散点图、折线图、柱状图、饼图等)将多维度数据以图形的方式呈现出来，便于以更加直观的方式观察，进而发现数据中隐藏的信息。支持通过拖拽的方式完成个性化报表制作、数字大屏、数据门户生成等工作，以及基于产线抽象三维图形的实时数据展示，建立各工艺单元的抽象三维图形，在图形中动态展示关键数据。在本实施例中，还可以通过配置中心自定义数据模板配置，支持将多个数据组合在一起形成模板，方便一键式快速查阅。
在本实施例中，还包括数据推送模块，用于进行数据推送和转发；对于收到的消息进行实时转发给应用系统，消息可以是原始消息，也可以是按需重新组装后的消息。转发方式包括Socket电文转发、MQTT协议转发、以及消息队列转发等。还包括数据访问接口，用于提高API接口并进行数据查询。可通过调用API接口访问依据标准化定义规则存储在平台中的数据，无需考虑从哪一种存储方式中查询并返回数据。具体包括：(1)通过自定义RestAPI接口按时间段查询数据；(2)通过内存数据库Rest API接口查询数据当前值；(3)通过消息队列订阅和发送预处理结果数据；(4)通过JDBC访问关系数据库中数据
相应的，本实施例还提供一种冶金行业数据管理方法，如图2所示，包括：
S1.定义静态数据和动态数据，对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类；
预先将生产线依次划分为区域单元，比如加热炉单元、粗轧单元、精轧单元、层冷单元、卷取单元，并对每个单元内的设备进行设备分组；
根据设备种类对设备进行分类；
根据分类后的设备，建立设备数据模型；
根据所有设备的类别、分组情况以及各设备间的引用关系，通过设备数据模型组装形成不同的生产线。
S2.采集动态数据；
S3.将采集的数据进行存储，并进行数据推送；
S4.通过数据处理模块进行事件触发、数据统计和对数据进行过滤，完成对冶金行业的数据管理。
在本实施例中，首先进行数据定义，本实施例中的钢铁行业中的设备按照机械设备、电气设备、自动化仪表、辅助系统和介质系统等进行分类，定义出每一个设备对象，基于设备建立数据模型，数据包括静态数据(厂家信息等)和动态数据(生产过程中实时产生的数据)。一个设备数据模型可以引用其他数据模型，以表征一个大的设备除了自有数据，还包含其他小的设备。通过利用设备数据模型组装产线，首先将产线分为加热炉、粗轧、精轧、层冷、卷取单元；然后每个单元再分设备组，比如粗轧单元包括除磷、粗轧前辊道、轧机等；最后将定义的设备数据模型附着在设备组上。一个数据模型可以被实例化到不同的单元、不同的设备组；设备分组层次可根据需要进行调整。在本实施例中，以“物”为对象建立数据模型，可以根据实际存在的“物”为对象建模，也可以虚拟的“物”为对象进行建模。相应的，每个数据模型包括静态属性(名称、生产厂家、额定功率等)和动态属性(生产中实时产生的数据如电流、压力等)。
在本实施例中，首先按照钢铁生产工序单元进行分类，在每个单元内部再按照机械设备、电气设备、自动化仪表、辅助系统和介质系统进行分类，用户可直接复用模板并修改。在本实施例中，按照生产组织架构方式进行产线实例化定义。产线的最小构成(叶子节点)来自于数据模型，即产线架构定义完成后，复用数据模型构建产线的设备实例。可选的，本实施例中的实例化的设备及每个设备的数据具有唯一的编码，产线实例化后，即完成了产线的完整数据定义。
在本实施例中，根据钢铁行业特征，构建处理引擎，可以实现数据缺失值处理(如某期间内数据丢失)、异常值处理(如检测元件由于干扰引起的误信号)、数据有效性判断(如传感器故障，则采集数据无效)、数据抽取与连接(如快速信号重采样变为慢速信号)、数据计算与规范化(如对电流、转速进行归一化处理)等简单计算和处理，也可以通过处理引擎进行时段数据统计分析、趋势分析。
可选的，对采集的数据进行可配置式预处理，方便上层应用根据业务逻辑设计数据的可用性规范，抽象出可复用的数据处理规则。例如可以通过基于Flink内置单个数据、多个数据的多种预处理规则，支持基于Jar包的自定义扩展，主要通过数据处理引擎和数据事件定义来实现。
在本实施例中，处理引擎提供过滤规则和统计规则，过滤规则包括开闭区间取值、变化取值、递增取值等有效性判断；统计规则包括求和、平均、取最大值、标准差、计数等聚合计算。通过引擎处理后的数据过滤掉了高温计、测厚仪等异常无效数据，以及按照模型要求计算出了分段平均数据。数据事件可以提供用户自定义事件触发功能，与数据处理引擎配合使用，例如在实际应用中定义一个咬钢事件，上层应用向平台订阅该事件，当轧制力数据突变到一定范围即触发该事件，平台会将事件及相关数据推送到已订阅的应用，方便各系统的协同管控。
在上述实施例中，说明书对“本实施例”、的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”的多次出现不一定全部都指代相同的实施例。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (12)
1.一种冶金行业数据管理系统，其特征在于，包括：
数据定义模块，用于定义静态数据和动态数据，同时对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类；
数据采集模块，用于采集所述动态数据；
数据分发模块，用于将采集的数据进行缓存，并进行数据推送；
数据处理模块，所述数据处理模块包括事件触发单元、数据统计单元和用于对数据进行过滤的数据过滤单元。
2.根据权利要求1所述的冶金行业数据管理系统，其特征在于，
预先按照工序特征将每条工序生产线划分为不同的区域单元，并对每个区域单元内的设备进行设备分组；
根据设备种类对设备进行分类；
根据分类后的设备，建立设备数据模型；
根据所有设备的类别、分组情况以及各设备间的引用关系，通过设备数据模型组装形成不同的生产线。
3.根据权利要求2所述的冶金行业数据管理系统，其特征在于，还包括用于对设备数据模型的生产线中的设备和设备中的数据进行标识的身份识别模块，设备数据模型的每条生产线中的设备和设备中的数据具有唯一的编码。
4.根据权利要求1所述的冶金行业数据管理系统，其特征在于，还包括数据存储模块，所述数据存储模块包括：
内存数据库，用于存储待快速访问和计算的数据，内存数据库中的数据通过离散点的形式存储；
时序数据库，用于存储周期短的实时性时序数据；
关系数据库存储，用于存储具有明确关系型特征的非实时性数据；
数据仓库，用于通过存储原始数据。
5.根据权利要求1所述的冶金行业数据管理系统，其特征在于，还包括用于与不同的上位机和/或下位机进行数据交互的外部接口模块，所述外部接口模块与数据采集模块连接，所述预处理模块建立有可扩展的消息队列集群和对外推送队列，通过所述可扩展的消息队列集群对采集的数据进行缓存，通过对外推送队列将数据保持原格式进行数据推送。
6.根据权利要求1所述的冶金行业数据管理系统，其特征在于，还包括
可视化模块，用于进行人机交互；
数据推送模块，用于进行数据推送和转发；
数据访问接口，用于提高API接口并进行数据查询。
7.一种冶金行业数据管理方法，其特征在于，包括：
定义静态数据和动态数据，同时对数据进行分类，所述分类包括根据生产线的流程对数据进行初步分类，再根据每个流程按设备类型对初步分类结果进行二次分类
采集所述动态数据；
将采集的数据进行缓存，并进行数据推送；
通过数据处理模块进行事件触发、数据统计和对数据进行过滤，完成对冶金行业的数据管理。
8.根据权利要求7所述的冶金行业数据管理方法，其特征在于，
预先按照工序特征将每条工序生产线划分为不同的区域单元，并对每个区域单元内的设备进行设备分组；
根据设备种类对设备进行分类；
根据分类后的设备，建立设备数据模型；
根据所有设备的类别、分组情况以及各设备间的引用关系，通过设备数据模型组装形成不同的生产线。
9.根据权利要求7所述的冶金行业数据管理方法，其特征在于，根据钢铁行业特征，构建处理引擎，并进行数据处理，所述数据处理包括数据缺失值处理、异常值处理、数据有效性判断、数据抽取与连接、数据计算与规范化处理。
10.根据权利要求9所述的冶金行业数据管理方法，其特征在于，通过事件触发和数据引擎，自定义订阅事件，当出发订阅事件时，根据预设的数据推送规则进行数据推送。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求7至10中任一项所述方法。
12.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求7至10中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010637309.7A CN111784170A (zh) | 2020-07-03 | 2020-07-03 | 一种冶金行业数据管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010637309.7A CN111784170A (zh) | 2020-07-03 | 2020-07-03 | 一种冶金行业数据管理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784170A true CN111784170A (zh) | 2020-10-16 |
Family
ID=72758967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010637309.7A Pending CN111784170A (zh) | 2020-07-03 | 2020-07-03 | 一种冶金行业数据管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784170A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488645A (zh) * | 2020-11-25 | 2021-03-12 | 中冶南方连铸技术工程有限责任公司 | 钢铁生产数据中台及控制方法 |
| CN112529356A (zh) * | 2020-10-30 | 2021-03-19 | 中核核电运行管理有限公司 | 核电厂群堆管理概念模型 |
| CN112732700A (zh) * | 2021-01-25 | 2021-04-30 | 中冶赛迪重庆信息技术有限公司 | 一种轧钢生产数据切片方法、系统、介质及电子终端 |
| CN112769903A (zh) * | 2020-12-24 | 2021-05-07 | 青岛奥利普自动化控制系统有限公司 | 一种设备数采信息实时推送方法、装置及存储介质 |
| CN112866342A (zh) * | 2020-12-31 | 2021-05-28 | 中冶赛迪重庆信息技术有限公司 | 一种面向钢铁行业的分布式数据采集系统及方法 |
| CN112964988A (zh) * | 2021-03-24 | 2021-06-15 | 河南中烟工业有限责任公司 | 电机工况的切分方法及系统 |
| CN113721518A (zh) * | 2021-08-31 | 2021-11-30 | 中冶华天南京工程技术有限公司 | 一种面向钢铁生产的数据采集和存储方法 |
| CN114387124A (zh) * | 2021-12-22 | 2022-04-22 | 中核武汉核电运行技术股份有限公司 | 一种核电工业互联网平台的时序数据存储方法 |
| CN116132317A (zh) * | 2022-12-12 | 2023-05-16 | 南京理工大学 | 工业互联网数据采集分析及可视化一体系统及其部署方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038257A (zh) * | 2017-11-02 | 2018-05-15 | 中车工业研究院有限公司 | 智能工业生产线的模块化建模方法和装置 |
| CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
| CN110619470A (zh) * | 2019-09-19 | 2019-12-27 | 成都飞机工业（集团）有限责任公司 | 一种装配生产线仿真模型及其构建方法 |
-
2020
- 2020-07-03 CN CN202010637309.7A patent/CN111784170A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038257A (zh) * | 2017-11-02 | 2018-05-15 | 中车工业研究院有限公司 | 智能工业生产线的模块化建模方法和装置 |
| CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
| CN110619470A (zh) * | 2019-09-19 | 2019-12-27 | 成都飞机工业（集团）有限责任公司 | 一种装配生产线仿真模型及其构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐安军等: "宝钢炼钢厂生产调度模拟系统的初步探讨", 《炼钢》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529356A (zh) * | 2020-10-30 | 2021-03-19 | 中核核电运行管理有限公司 | 核电厂群堆管理概念模型 |
| CN112488645A (zh) * | 2020-11-25 | 2021-03-12 | 中冶南方连铸技术工程有限责任公司 | 钢铁生产数据中台及控制方法 |
| CN112488645B (zh) * | 2020-11-25 | 2023-09-22 | 中冶南方连铸技术工程有限责任公司 | 钢铁生产数据中台及控制方法 |
| CN112769903A (zh) * | 2020-12-24 | 2021-05-07 | 青岛奥利普自动化控制系统有限公司 | 一种设备数采信息实时推送方法、装置及存储介质 |
| CN112866342A (zh) * | 2020-12-31 | 2021-05-28 | 中冶赛迪重庆信息技术有限公司 | 一种面向钢铁行业的分布式数据采集系统及方法 |
| CN112732700A (zh) * | 2021-01-25 | 2021-04-30 | 中冶赛迪重庆信息技术有限公司 | 一种轧钢生产数据切片方法、系统、介质及电子终端 |
| CN112964988A (zh) * | 2021-03-24 | 2021-06-15 | 河南中烟工业有限责任公司 | 电机工况的切分方法及系统 |
| CN113721518A (zh) * | 2021-08-31 | 2021-11-30 | 中冶华天南京工程技术有限公司 | 一种面向钢铁生产的数据采集和存储方法 |
| CN114387124A (zh) * | 2021-12-22 | 2022-04-22 | 中核武汉核电运行技术股份有限公司 | 一种核电工业互联网平台的时序数据存储方法 |
| CN114387124B (zh) * | 2021-12-22 | 2024-06-07 | 中核武汉核电运行技术股份有限公司 | 一种核电工业互联网平台的时序数据存储方法 |
| CN116132317A (zh) * | 2022-12-12 | 2023-05-16 | 南京理工大学 | 工业互联网数据采集分析及可视化一体系统及其部署方法 |
| CN116132317B (zh) * | 2022-12-12 | 2024-06-07 | 南京理工大学 | 工业互联网数据采集分析及可视化一体系统及其部署方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784170A (zh) | 一种冶金行业数据管理系统及方法 | |
| US11703848B2 (en) | State edge module server system and method | |
| US11860616B2 (en) | Utilization edge module server system and method | |
| CN104769582B (zh) | 针对电网的实时数据管理 | |
| CN107566498A (zh) | 一种基于物联网的数控机床监控方法及系统 | |
| CN111405032A (zh) | 一种工业物联网通用云平台 | |
| CN110348821A (zh) | 一种结合物联网的智能制造管理系统及方法 | |
| CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
| WO2012168319A1 (fr) | Systeme et procede de partage de donnees stockees dans une base de donnees | |
| CN116132317B (zh) | 工业互联网数据采集分析及可视化一体系统及其部署方法 | |
| CN113272774A (zh) | 用于全历史动态网络分析的系统和方法 | |
| CN112052134A (zh) | 一种业务数据的监控方法及装置 | |
| WO2022237506A1 (zh) | 在线问诊业务监控方法、装置、设备及存储介质 | |
| CN114595129A (zh) | 一种可配置的多维度数据监控方法、装置及存储介质 | |
| CN112162896A (zh) | 一种基于InfluxDB的集群数据监控方法 | |
| US20220253412A1 (en) | Dynamic summarization of process data system and method | |
| CN114387124B (zh) | 一种核电工业互联网平台的时序数据存储方法 | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| Jin et al. | Research on Wide-area Distributed Power Quality Data Fusion Technology of Power Grid | |
| CN108664370B (zh) | 分布式工业在线组态监测系统及方法 | |
| CN112261108A (zh) | 一种基于大数据共享服务的集群管理平台 | |
| US7917857B2 (en) | Direct subscription to intelligent I/O module | |
| CN104750072A (zh) | 生产过程的监控方法、系统、监控设备和监控系统 | |
| CN112987652B (zh) | 机床数据采集方法与装置、机床数据共享方法与装置 | |
| CN111179088B (zh) | 一种信息处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd. Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201016 |
|
| RJ01 | Rejection of invention patent application after publication |