CN112231313A - 一种钢厂多源环境数据融合的方法 - Google Patents

一种钢厂多源环境数据融合的方法 Download PDF

Info

Publication number
CN112231313A
CN112231313A CN202011222199.4A CN202011222199A CN112231313A CN 112231313 A CN112231313 A CN 112231313A CN 202011222199 A CN202011222199 A CN 202011222199A CN 112231313 A CN112231313 A CN 112231313A
Authority
CN
China
Prior art keywords
data
steel mill
source
production
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011222199.4A
Other languages
English (en)
Inventor
申培
郝亮
贾永坡
王钊哲
潘志威
安宝
李玉涛
冯兴
邢伟晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hegang Digital Technology Co ltd
Original Assignee
Hegang Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hegang Digital Technology Co ltd filed Critical Hegang Digital Technology Co ltd
Priority to CN202011222199.4A priority Critical patent/CN112231313A/zh
Publication of CN112231313A publication Critical patent/CN112231313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:S1:对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。本发明通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。

Description

一种钢厂多源环境数据融合的方法
技术领域
本发明涉及计算机领域,具体涉及一种钢厂环境数据采集、气象数据采集、物流数据、钢厂生产数据采集与融合的一种方法。
背景技术
随着经济的高速发展及快速的城镇化和工业化,我国空气质量面临严峻挑战,空气污染不仅会危害人的身体健康,也会对社会经济和可持续发展造成严重影响。大型钢厂空气质量影响因素很多,数据来源广泛,有高炉、转炉、轧机等生产设备,焦化、烧结、炼铁、炼钢、连铸、热轧、冷轧等生产过程,铁矿、石灰、废钢、原燃料、铁水、钢水和产品的汽车火车倒运等生产环节。数据类型有厂内焦、铁、钢等生产数据、空气质量站点监测数据、气象数据、物流数据、监控数据以及官方统计等数据,由于这些数据来源广泛,并且数据是异构的,不仅不同的数值存在不同的物理含义,而且数据存在的形式多种不一,包含图像、文本等多种形态。如何把这些复杂的数据融合起来并提取出有效的关键信息,用于指导钢厂生产和预测一小时钢厂及周边城市空气质量状况,是亟待解决的问题。
发明内容
本发明要解决的技术问题是克服现有技术的不足而提供一种钢厂多源环境数据融合的方法,对采集钢厂设备产生的污染数据、生产过程产生的污染数据、生产环节产生的污染数据及厂区内空气质量监测数据,通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。
为解决上述技术问题,本发明所采取的技术方案是:
一种钢厂多源环境数据融合的方法,包括以下步骤:
S1:利用物联网技术和全量抽取、增量抽取的办法,基于时间信息和空间信息对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。
进一步的,所述步骤S1中,所述钢厂生产排放监测数据是利用传感器对钢厂多个生产环节布置监测点位,并对采集到的排放监测数据统一按照监测点位置和监测站点区域ID进行数据存储;所述钢厂生产数据是利用ETL工具从钢厂生产业务系统中抽取的生产数据;所述钢厂当中的物流数据包括火车、汽车转运倒运材料当中产生排放的污染数据。
进一步的,所述步骤S2中,所述数据预处理的具体方法为:S2-1、对采集到的数据,使用贝叶斯方法进行缺失补填;S2-2、采用循环冗余校验码对缺失补填后的数据进行校对,使用的信息字段和校验字段长度可以任意选定;S2-3、对数据进行特征归约处理。
进一步的,所述步骤S2-1中,缺失数据由NA表示,根据业务理解对缺失数据进行处理,分别将缺失的属性作为预测项,对预测项进行预测。
进一步的,对预测项进行预测时,采用对属性值进行重要性排序,把重要的先预测出来,加入新的数据集,再用新的数据集预测第二个重要的属性,一直处理到最后为止。
进一步的,所述步骤S2-2中,数据校对时,在数据发送端对要传送的数据即K位二进制码序列,以一定的规则产生一个校验用的R位监督码,附在数据后面,构成一个新的二进制码序列数,然后发送出去;在接收数据端,根据信息码和循环冗余检查码之间的规则进行校验,来确定传送中是否出错。
进一步的,所述步骤S3中,所述关联矩阵的获得方法为:S3-1:把生产数据的状态与监测到的排放数据进行相关性比对;S3-2:确定相关性准则方法,计算监测点位检测到的数据与车间生产之间的相似性,形成关联矩阵;所述相关性准则方法包含最近邻域滤波方法和动态多音字滤波方法。
进一步的,所述步骤S4中,所述的数据融合方法为:S4-1:构建BP神经网络模型;S4-2:确定权值,完成神经网络的训练;S4-3:借助训练好的模型,进行数据融合的输出。
采用上述技术方案所产生的有益效果在于:
本发明用于钢厂多源环境信息数据融合,融合多源钢铁生产场景大数据和气象等公共大数据,深度耦合利用钢厂不同生产区域之间排放的类型、时间、空间等生产因素和空气质量的关系,除本身价值外,更重要的是可以助力钢厂科学治理污染和员工健康,帮助工厂提前合理安排污染天气下的生产计划,减少因为污染限停带来的经济损失。本发明是对钢厂多源环境数据融合的创新,相对现有的单一空气质量监测数据,能够提供更加完善、准确的数据,可更好的解决钢厂空气质量预测问题。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:
S1:利用物联网技术和全量抽取、增量抽取的办法,基于时间信息和空间信息对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据。
钢厂生产排放监测数据是利用传感器对钢厂多个生产环节布置监测点位,并对采集到的排放监测数据统一按照监测点位置和监测站点区域ID进行数据存储;所述钢厂生产数据是利用ETL工具从钢厂生产业务系统中抽取的生产数据;所述钢厂当中的物流数据包括火车、汽车转运倒运材料当中产生排放的污染数据。
S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类。
数据预处理的具体方法为:S2-1、对采集到的数据,使用贝叶斯方法进行缺失补填;S2-2、采用循环冗余校验码对缺失补填后的数据进行校对,使用的信息字段和校验字段长度可以任意选定;S2-3、对数据进行特征归约处理。
步骤S2-1中,缺失数据由NA表示,根据业务理解对缺失数据进行处理,分别将缺失的属性作为预测项,对预测项进行预测。对预测项进行预测时,采用对属性值进行重要性排序,把重要的先预测出来,加入新的数据集,再用新的数据集预测第二个重要的属性,一直处理到最后为止。
步骤S2-2中,数据校对时,在数据发送端对要传送的数据即K位二进制码序列,以一定的规则产生一个校验用的R位监督码,附在数据后面,构成一个新的二进制码序列数,然后发送出去;在接收数据端,根据信息码和循环冗余检查码之间的规则进行校验,来确定传送中是否出错。
S3:将经过预处理的数据进行关联,得到关联矩阵。
关联矩阵的获得方法为:S3-1:把生产数据的状态与监测到的排放数据进行相关性比对,一般只考虑监测点位与车间方位上相近的数据;S3-2:确定相关性准则方法,计算监测点位检测到的数据与车间生产之间的相似性,形成关联矩阵;相关性准则方法包含最近邻域滤波方法和动态多音字滤波方法,在实际使用当中综合使用,以提高相关成功率。
S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。
数据融合方法为:S4-1:根据钢厂长流程工业特点和数据融合的要求,充分考虑神经元的特点和学习规则,构建合适工厂复杂环境的BP神经网络模型;S4-2:在各个流程当中建立相应的关系,确定权值,完成神经网络的训练;S4-3:借助训练好的模型,进行数据融合的输出。
在钢厂多源环境数据的融合中,本发明将生产数据、物流数据、厂内环境监测数据等利用物联网设备抽取与全量抽取、增量抽取方法抽取数据,在数据抽取完成时候,通过数据清洗降噪、校对匹配和归约技术对数据进行预处理,再通过时空、多模态等融合技术进行钢厂多源环境数据的融合,最终完成钢厂多源环境数据的融合。本发明可以为形成大数据立方体,为以后研究工厂领域的空气质量预测模型提供准确、稳定的数据支撑。能够帮助工厂提前合理安排污染天气下的生产计划,减少因为污染的突然停产限产带来的经济损失。

Claims (8)

1.一种钢厂多源环境数据融合的方法,其特征在于:所述方法包括以下步骤:
S1:利用物联网技术和全量抽取、增量抽取的办法,基于时间信息和空间信息对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;
S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;
S3:将经过预处理的数据进行关联,得到关联矩阵;
S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。
2.根据权利要求1所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S1中,所述钢厂生产排放监测数据是利用传感器对钢厂多个生产环节布置监测点位,并对采集到的排放监测数据统一按照监测点位置和监测站点区域ID进行数据存储;所述钢厂生产数据是利用ETL工具从钢厂生产业务系统中抽取的生产数据;所述钢厂当中的物流数据包括火车、汽车转运倒运材料当中产生排放的污染数据。
3.根据权利要求1所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S2中,所述数据预处理的具体方法为:
S2-1、对采集到的数据,使用贝叶斯方法进行缺失补填;
S2-2、采用循环冗余校验码对缺失补填后的数据进行校对,使用的信息字段和校验字段长度可以任意选定;
S2-3、对数据进行特征归约处理。
4.根据权利要求3所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S2-1中,缺失数据由NA表示,根据业务理解对缺失数据进行处理,分别将缺失的属性作为预测项,对预测项进行预测。
5.根据权利要求4所述的钢厂多源环境数据融合的方法,其特征在于:对预测项进行预测时,采用对属性值进行重要性排序,把重要的先预测出来,加入新的数据集,再用新的数据集预测第二个重要的属性,一直处理到最后为止。
6.根据权利要求3所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S2-2中,数据校对时,在数据发送端对要传送的数据即K位二进制码序列,以一定的规则产生一个校验用的R位监督码,附在数据后面,构成一个新的二进制码序列数,然后发送出去;在接收数据端,根据信息码和循环冗余检查码之间的规则进行校验,来确定传送中是否出错。
7.根据权利要求2所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S3中,所述关联矩阵的获得方法为:
S3-1:把生产数据的状态与监测到的排放数据进行相关性比对;
S3-2:确定相关性准则方法,计算监测点位检测到的数据与车间生产之间的相似性,形成关联矩阵;所述相关性准则方法包含最近邻域滤波方法和动态多音字滤波方法。
8.根据权利要求1所述的钢厂多源环境数据融合的方法,其特征在于:所述步骤S4中,所述的数据融合方法为:
S4-1:构建BP神经网络模型;
S4-2:确定权值,完成神经网络的训练;
S4-3:借助训练好的模型,进行数据融合的输出。
CN202011222199.4A 2020-11-05 2020-11-05 一种钢厂多源环境数据融合的方法 Pending CN112231313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011222199.4A CN112231313A (zh) 2020-11-05 2020-11-05 一种钢厂多源环境数据融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011222199.4A CN112231313A (zh) 2020-11-05 2020-11-05 一种钢厂多源环境数据融合的方法

Publications (1)

Publication Number Publication Date
CN112231313A true CN112231313A (zh) 2021-01-15

Family

ID=74123160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011222199.4A Pending CN112231313A (zh) 2020-11-05 2020-11-05 一种钢厂多源环境数据融合的方法

Country Status (1)

Country Link
CN (1) CN112231313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116300477A (zh) * 2023-05-19 2023-06-23 江西金域医学检验实验室有限公司 封闭空间环境调控方法、系统、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262506A1 (en) * 2016-03-10 2017-09-14 Tata Consultancy Services Limited System and method for visual bayesian data fusion
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN108171422A (zh) * 2017-12-28 2018-06-15 鞍钢集团自动化有限公司 一种钢铁智能工厂的平台构建方法
CN109783552A (zh) * 2018-11-28 2019-05-21 中国电力科学研究院有限公司 一种数据清洗修复方法
CN110209128A (zh) * 2019-04-28 2019-09-06 山东钢铁集团有限公司 一种钢铁制造多业务智能协同管控系统及实现装置
CN111414353A (zh) * 2020-02-29 2020-07-14 平安科技(深圳)有限公司 智能化的缺失数据填充方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262506A1 (en) * 2016-03-10 2017-09-14 Tata Consultancy Services Limited System and method for visual bayesian data fusion
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN108171422A (zh) * 2017-12-28 2018-06-15 鞍钢集团自动化有限公司 一种钢铁智能工厂的平台构建方法
CN109783552A (zh) * 2018-11-28 2019-05-21 中国电力科学研究院有限公司 一种数据清洗修复方法
CN110209128A (zh) * 2019-04-28 2019-09-06 山东钢铁集团有限公司 一种钢铁制造多业务智能协同管控系统及实现装置
CN111414353A (zh) * 2020-02-29 2020-07-14 平安科技(深圳)有限公司 智能化的缺失数据填充方法、装置及计算机可读存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CODING懒懒: "《CSDN博客》", 25 May 2015 *
冀少军: "基于煤矿环境监测的多传感器数据融合算法研究", 《煤矿机械》 *
周炯槃 *
王哲等: "基于关联分析的异常信息属性特征提取仿真", 《计算机仿真》 *
王海颖: "多源数据关联与融合算法研究", 《中国优秀硕士学位论文全文库》 *
石墨: "《知乎》", 6 August 2020 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116300477A (zh) * 2023-05-19 2023-06-23 江西金域医学检验实验室有限公司 封闭空间环境调控方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112085261B (zh) 基于云端融合和数字孪生技术的企业生产现状诊断方法
CN110531029B (zh) 一种基于环保物联网大数据预测空气质量趋势的装置
CN108398934B (zh) 一种用于轨道交通的设备故障监控的系统
CN104267711A (zh) 烟草物流系统运行状态监测及故障诊断方法
WO2004074954A3 (en) Apparatus and method for open network-based data acquisition using xml
CN111339092B (zh) 一种基于深度学习的多尺度空气质量预报方法
CN114862169A (zh) 一种基于bim的隧道工程安全风险监测系统及方法
CN114048952B (zh) 基于边缘物联技术和神经网络的炼铁厂安全态势感知方法
CN112622990A (zh) 城轨地铁车辆智能运维管理系统
CN112231313A (zh) 一种钢厂多源环境数据融合的方法
CN201540486U (zh) 一种冷轧钢卷厚度数据系统
CN204515433U (zh) 职业病健康安全数据实时监测及信息管理系统
CN113762911A (zh) 一种基于分布式架构的综合能源服务平台的制作方法
CN110503209B (zh) 一种基于大数据的钢轨分析预警模型构建方法与系统
CN111985852A (zh) 一种基于工业大数据的多业务协同质量管控系统构架方法
CN108537336A (zh) 一种基于深度神经网络的空气质量预测方法
CN117057668A (zh) 基于深度学习模型的工业污染物排放量预测方法
Han et al. Framework for remaining useful life prediction of casting roller in continuous casting machine based on digital twin
CN114118678B (zh) 一种基于边缘物联网的炼铁厂管理系统及其架构方法
CN111476383B (zh) 一种泵站机组状态检修动态决策方法
CN115660305A (zh) 一种交通基础设施建管养一体化数据管理平台
CN114970348A (zh) 一种基于虚拟运营的燃煤电厂经营智能决策方法及系统
CN114066038A (zh) 一种地铁客流的预测方法及系统
CN112766605A (zh) 一种基于容器云平台的多源客流预测系统及方法
Rongrong et al. Application of intelligent safety supervision based on artificial intelligence technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115