CN111914015A - 一种基于工业协议的多源数据网关数据分析预警系统 - Google Patents

一种基于工业协议的多源数据网关数据分析预警系统 Download PDF

Info

Publication number
CN111914015A
CN111914015A CN202010860975.7A CN202010860975A CN111914015A CN 111914015 A CN111914015 A CN 111914015A CN 202010860975 A CN202010860975 A CN 202010860975A CN 111914015 A CN111914015 A CN 111914015A
Authority
CN
China
Prior art keywords
data
module
processing
unit
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010860975.7A
Other languages
English (en)
Inventor
闫建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Times Electronics Ltd
Original Assignee
Hebei Times Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Times Electronics Ltd filed Critical Hebei Times Electronics Ltd
Priority to CN202010860975.7A priority Critical patent/CN111914015A/zh
Publication of CN111914015A publication Critical patent/CN111914015A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于工业协议的多源数据网关数据分析预警系统，包括主控系统，以及与主控系统相连同时相互连接的数据采集模块、数据处理模块和数据分析模块，数据采集模块用于多源数据的采集，采集包括主动式采集与被动式采集，主动式采集依靠传感器对工业设备运行数据的采集，被动式采集为接收工业设备主动发出的以及第三方发出的多源数据；数据处理模块用于对接收到的多源数据进行处理，由于数据来源不同，通过网关的数据也不相同，因此需要进行统一性处理；数据分析模块用于对统一性处理后的数据进行分析，判断是否正常，正常与否的判断由分析模块将数据与实现设定的阈值进行比对，超出阈值即为不正常，需要进行预警提示，否则即为正常。

Description

一种基于工业协议的多源数据网关数据分析预警系统
技术领域
本发明属于预警技术领域，具体为一种基于工业协议的多源数据网关数据分析预警系统。
背景技术
目前工业生产中每台设备每个仪表都有自己独特的通讯协议，常见的有modbus通讯协议、RS-232通讯协议、RS-485通讯协议、HART通讯协议等等，各协议之间的数据通常不互通，且由于其使用协议不同，数据的格式等也大不相同，直接获取的数据很难直接查看了解，这就限制了对数据的安全性、完整性以及其衍生的设备工作状态的了解，缺乏安全性。因此我们提出一种基于工业协议的多源数据网关数据分析预警系统。
发明内容
本发明的目的在于：为了解决的问题，提供一种基于工业协议的多源数据网关数据分析预警系统。
本发明采用的技术方案如下：
一种基于工业协议的多源数据网关数据分析预警系统，包括主控系统，以及与主控系统相连同时相互连接的数据采集模块、数据处理模块和数据分析模块，数据采集模块用于多源数据的采集，采集包括主动式采集与被动式采集，主动式采集依靠传感器对工业设备运行数据的采集，被动式采集为接收工业设备主动发出的以及第三方发出的多源数据；数据处理模块用于对接收到的多源数据进行处理，由于数据来源不同，通过网关的数据也不相同，因此需要进行统一性处理，形成统一的格式与类型，方便于进行分析；数据分析模块用于对统一性处理后的数据进行分析，判断是否正常，正常与否的判断由分析模块将数据与实现设定的阈值进行比对，超出阈值即为不正常，需要进行预警提示，否则即为正常；以及警示模块、设置模块、储存模块和显示模块；警示模块用于直观的对数据的异常处进行提示提醒；设置模块用于技术人员的设置操作与控制；储存模块用于储存接收到的多源数据以及数据在关键处理环节处理后的数据形态，确保数据不会丢失，同时记录系统工作日志；显示模块用于显示分析结果，配合警示模块快速直观进行警示；以及简易修正模块和错误处理模块，简易修正模块用于对数据的基础格式错误、储存格式错误、类型标注错误相关的低级简单错误进行修正，降低数据处理时的复杂度；错误处理模块用于对错误的数据进行处理，包括类型不对应、有效性缺乏和作废相关的数据进行处理。
其中，所述数据处理模块包括数据预处理模块、数据融合处理模块和关键数据提取模块组成；数据预处理模块用于对数据进行预处理，使其在后续处理环节能够更快速被提取分析；数据融合处理单元用于将多源数据融合成事先设定的固定单一源数据，从而方便进行查看分析；关键数据提取模块用于对处理后的数据内所需的关键数据进行提取，提取通过事先创建的函数进行提取。
其中，所述数据处理模块还包括处理数据校验模块，用于对融合处理完成的数据进行基础校验，来判断数据是否正常及有效。
其中，所述数据预处理模块包括降噪单元、标准格式处理单元、异常数据清理单元和重复数据清理单元组成；降噪单元用于对数据进行降噪处理，使其更清晰；标准格式处理单元用于将来自不同数据源的多种数据格式统一转化成设定的标准格式，使其更规范；异常数据清理单元用于对异常数据进行清理；重复数据清理单元用于对重复的数据进行清理，使得数据精简。
其中，所述数据预处理模块还包括编码单元，用于对预处理完成的数据进行编码保存同时编码发送，确保有序。
其中，所述数据融合处理模块包括统一化处理单元和三级融合单元组成；统一化处理单元用于多源的数据进行统一化处理，统一化处理抛弃各源的格式类型，以设定的格式类型进行统一；三级融合单元根据分布级融合、特征级融合与决策级融合技术进行数据的融合。
其中，所述数据融合处理模块还包括畸变误差配准单元，用于对多源数据中的表示同一信息，但格式、类型或取值方式不同情况进行准值确认，以及来自不同数据源表示同一信息中数据不用的情况进行处理。
其中，所述主控系统还与物联网相连，用于利用物联网的强大数据互通能力，提高数据的采集以及分析能力，进而提升分析预警的准确性。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，通过对多源数据进行统一化处理使其形成统一的格式类型，既方便了人员的直接查看，同时方便了对数据的提取分析，从而找出问题数据，进而发现对应的数据源存在的问题，做到提前预警，确保企业生产。
2、本发明中，在数据进行统一化处理前通过修正与错误处理模块来进行先步处理，减少数据的问题点，从而提升数据处理时的处理速度，有利于提升整体的数据分析效率。
3、本发明中，数据处理完成后经由校验模块对数据进行初步校验，既可以判断处理结果，同时确保预警的精确度。
附图说明
图1为本发明的系统模块化框图；
图2为本发明中数据处理模块的系统模块化框图；
图3为本发明中数据预处理模块的系统模块化框图；
图4为本发明中数据融合处理模块的系统模块化框图。
图中标记：1、主控系统；2、数据采集模块；3、数据处理模块；4、数据分析模块；5、警示模块；6、简易修正模块；7、错误处理模块；8、物联网；9、设置模块；10、储存模块；11、显示模块；30、数据预处理模块；31、数据融合处理模块；32、关键数据提取模块；33、处理数据校验模块；300、降噪单元；301、标准格式处理单元；302、异常数据清理单元；303、重复数据清理单元；304、编码单元；310、统一化处理单元；311、畸变误差配准单元；312、三级融合单元。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1～4，一种基于工业协议的多源数据网关数据分析预警系统，包括主控系统1，以及与主控系统1相连同时相互连接的数据采集模块2、数据处理模块3和数据分析模块4，数据采集模块2用于多源数据的采集，采集包括主动式采集与被动式采集，主动式采集依靠传感器对工业设备运行数据的采集，被动式采集为接收工业设备主动发出的以及第三方发出的多源数据；数据处理模块3用于对接收到的多源数据进行处理，由于数据来源不同，通过网关的数据也不相同，因此需要进行统一性处理，形成统一的格式与类型，方便于进行分析；数据分析模块4用于对统一性处理后的数据进行分析，判断是否正常，正常与否的判断由分析模块将数据与实现设定的阈值进行比对，超出阈值即为不正常，需要进行预警提示，否则即为正常；以及警示模块5、设置模块9、储存模块10和显示模块11；警示模块5用于直观的对数据的异常处进行提示提醒；设置模块9用于技术人员的设置操作与控制；储存模块10用于储存接收到的多源数据以及数据在关键处理环节处理后的数据形态，确保数据不会丢失，同时记录系统工作日志；显示模块11用于显示分析结果，配合警示模块快速直观进行警示；以及简易修正模块6和错误处理模块7，简易修正模块6用于对数据的基础格式错误、储存格式错误、类型标注错误相关的低级简单错误进行修正，降低数据处理时的复杂度；错误处理模块7用于对错误的数据进行处理，包括类型不对应、有效性缺乏和作废相关的数据进行处理；以及物联网8，用于利用物联网的强大数据互通能力，提高数据的采集以及分析能力，进而提升分析预警的准确性；
所述数据处理模块3包括数据预处理模块30、数据融合处理模块31、关键数据提取模块32和处理数据校验模块33组成；数据预处理模块30用于对数据进行预处理，使其在后续处理环节能够更快速被提取分析；数据融合处理单元31用于将多源数据融合成事先设定的固定单一源数据，从而方便进行查看分析；关键数据提取模块32用于对处理后的数据内所需的关键数据进行提取，提取通过事先创建的函数进行提取；处理数据校验模块33用于对融合处理完成的数据进行基础校验，来判断数据是否正常及有效；
所述数据预处理模块30包括降噪单元300、标准格式处理单元301、异常数据清理单元302、重复数据清理单元303和编码单元304组成；降噪单元300用于对数据进行降噪处理，使其更清晰；标准格式处理单元301用于将来自不同数据源的多种数据格式统一转化成设定的标准格式，使其更规范；异常数据清理单元302用于对异常数据进行清理；重复数据清理单元303用于对重复的数据进行清理，使得数据精简；编码单元304用于对预处理完成的数据进行编码保存同时编码发送，确保有序；
所述数据融合处理模块31包括统一化处理单元310、畸变误差配准单元311和三级融合单元312组成；统一化处理单元310用于多源的数据进行统一化处理，统一化处理抛弃各源的格式类型，以设定的格式类型进行统一；畸变误差配准单元311用于对多源数据中的表示同一信息，但格式、类型或取值方式不同情况进行准值确认，以及来自不同数据源表示同一信息中数据不用的情况进行处理；三级融合单元312根据分布级融合、特征级融合与决策级融合技术进行数据的融合。
先由数据采集模块2采集多源数据，然后先由简易修正模块6和错误处理模块7进行处理，处理后的数据由数据处理模块3进行进一步处理，处理完成的数据交由数据分析模块4进行正常与否的分析判断，判断数据不正常时启动警示模块5在显示模块11上进行提醒，由技术人员快速发现并处理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于工业协议的多源数据网关数据分析预警系统，其特征在于,包括主控系统（1），以及与主控系统（1）相连同时相互连接的数据采集模块（2）、数据处理模块（3）和数据分析模块（4），数据采集模块（2）用于多源数据的采集，采集包括主动式采集与被动式采集；数据处理模块（3）用于对接收到的多源数据进行处理；数据分析模块（4）用于对统一性处理后的数据进行分析，判断是否正常；以及警示模块（5）、设置模块（9）、储存模块（10）和显示模块（11）；警示模块（5）用于直观的对数据的异常处进行提示提醒；设置模块（9）用于技术人员的设置操作与控制；储存模块（10）用于储存接收到的多源数据以及数据在关键处理环节处理后的数据形态，同时记录系统工作日志；显示模块（11）用于显示分析结果；以及简易修正模块（6）和错误处理模块（7），简易修正模块（6）用于对数据的低级简单错误进行修正；错误处理模块（7）用于对错误的数据进行处理。
2.如权利要求1所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据处理模块（3）包括数据预处理模块（30）、数据融合处理模块（31）、关键数据提取模块（32）和处理数据校验模块（33）组成；数据预处理模块（30）用于对数据进行预处理，使其在后续处理环节能够更快速被提取分析；数据融合处理单元31用于将多源数据融合成事先设定的固定单一源数据，从而方便进行查看分析；关键数据提取模块（32）用于对处理后的数据内所需的关键数据进行提取，提取通过事先创建的函数进行提取。
3.如权利要求2所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据处理模块（3）还包括处理数据校验模块（33），用于对融合处理完成的数据进行基础校验，来判断数据是否正常及有效。
4.如权利要求1所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据预处理模块（30）包括降噪单元（300）、标准格式处理单元（301）、异常数据清理单元（302）、重复数据清理单元（303）和编码单元（304）组成；降噪单元（300）用于对数据进行降噪处理，使其更清晰；标准格式处理单元（301）用于将来自不同数据源的多种数据格式统一转化成设定的标准格式，使其更规范；异常数据清理单元（302）用于对异常数据进行清理；重复数据清理单元（303）用于对重复的数据进行清理，使得数据精简。
5.如权利要求4所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据预处理模块（30）还包括编码单元（304），用于对预处理完成的数据进行编码保存同时编码发送，确保有序。
6.如权利要求1所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据融合处理模块（31）包括统一化处理单元（310）和三级融合单元（312）组成；统一化处理单元（310）用于多源的数据进行统一化处理，统一化处理抛弃各源的格式类型，以设定的格式类型进行统一；三级融合单元（312）根据分布级融合、特征级融合与决策级融合技术进行数据的融合。
7.如权利要求6所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述数据融合处理模块（31）还包括畸变误差配准单元（311），用于对多源数据中的表示同一信息，但格式、类型或取值方式不同情况进行准值确认，以及来自不同数据源表示同一信息中数据不用的情况进行处理。
8.如权利要求1～7任一所述的一种基于工业协议的多源数据网关数据分析预警系统，其特征在于，所述主控系统（1）还与物联网（8）相连。
CN202010860975.7A 2020-08-25 2020-08-25 一种基于工业协议的多源数据网关数据分析预警系统 Withdrawn CN111914015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010860975.7A CN111914015A (zh) 2020-08-25 2020-08-25 一种基于工业协议的多源数据网关数据分析预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010860975.7A CN111914015A (zh) 2020-08-25 2020-08-25 一种基于工业协议的多源数据网关数据分析预警系统

Publications (1)

Publication Number Publication Date
CN111914015A true CN111914015A (zh) 2020-11-10

Family

ID=73278912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010860975.7A Withdrawn CN111914015A (zh) 2020-08-25 2020-08-25 一种基于工业协议的多源数据网关数据分析预警系统

Country Status (1)

Country Link
CN (1) CN111914015A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510367A (zh) * 2022-01-11 2022-05-17 电子科技大学 一种安全智能的多源异构数据处理系统
CN116614492A (zh) * 2023-05-18 2023-08-18 安徽省江北华衍水务有限公司 基于物联网多样数据源的实验室统一数据采集平台

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023062A1 (en) * 2010-01-15 2012-01-26 Telcordia Technologies, Inc. Robust information fusion methods for decision making for multisource data
CN104462604A (zh) * 2014-12-31 2015-03-25 成都市卓睿科技有限公司 数据加工方法及系统
WO2015131652A1 (zh) * 2014-09-19 2015-09-11 中兴通讯股份有限公司 一种预警信息数据的处理方法和装置
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
WO2017008604A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 数据处理方法、装置和系统
CN107992949A (zh) * 2017-11-09 2018-05-04 北京许继电气有限公司 工业数据分析方法和系统
CN109218277A (zh) * 2017-07-07 2019-01-15 华中科技大学 一种多协议数据采集方法及装置
CN109298670A (zh) * 2018-11-13 2019-02-01 北京四方继保自动化股份有限公司 多源数据融合采集装置及系统
CN109685081A (zh) * 2018-12-27 2019-04-26 中国土地勘测规划院 一种遥感提取撂荒地的联合变化检测方法
CN109862087A (zh) * 2019-01-23 2019-06-07 深圳市康拓普信息技术有限公司 基于边缘计算的工业物联网系统及其数据处理方法
CN110347114A (zh) * 2019-07-23 2019-10-18 清华大学 一种数控机床可靠性数据采集分析系统
CN110691070A (zh) * 2019-09-07 2020-01-14 温州医科大学 一种基于日志分析的网络异常预警方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023062A1 (en) * 2010-01-15 2012-01-26 Telcordia Technologies, Inc. Robust information fusion methods for decision making for multisource data
WO2015131652A1 (zh) * 2014-09-19 2015-09-11 中兴通讯股份有限公司 一种预警信息数据的处理方法和装置
CN104462604A (zh) * 2014-12-31 2015-03-25 成都市卓睿科技有限公司 数据加工方法及系统
WO2017008604A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 数据处理方法、装置和系统
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN109218277A (zh) * 2017-07-07 2019-01-15 华中科技大学 一种多协议数据采集方法及装置
CN107992949A (zh) * 2017-11-09 2018-05-04 北京许继电气有限公司 工业数据分析方法和系统
CN109298670A (zh) * 2018-11-13 2019-02-01 北京四方继保自动化股份有限公司 多源数据融合采集装置及系统
CN109685081A (zh) * 2018-12-27 2019-04-26 中国土地勘测规划院 一种遥感提取撂荒地的联合变化检测方法
CN109862087A (zh) * 2019-01-23 2019-06-07 深圳市康拓普信息技术有限公司 基于边缘计算的工业物联网系统及其数据处理方法
CN110347114A (zh) * 2019-07-23 2019-10-18 清华大学 一种数控机床可靠性数据采集分析系统
CN110691070A (zh) * 2019-09-07 2020-01-14 温州医科大学 一种基于日志分析的网络异常预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冷喜武等: "智能电网监控运行大数据分析系统总体设计", 《电力系统自动化》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510367A (zh) * 2022-01-11 2022-05-17 电子科技大学 一种安全智能的多源异构数据处理系统
CN116614492A (zh) * 2023-05-18 2023-08-18 安徽省江北华衍水务有限公司 基于物联网多样数据源的实验室统一数据采集平台
CN116614492B (zh) * 2023-05-18 2023-10-24 安徽省江北华衍水务有限公司 基于物联网多样数据源的实验室统一数据采集平台

Similar Documents

Publication Publication Date Title
CN111914015A (zh) 一种基于工业协议的多源数据网关数据分析预警系统
CN109102049B (zh) 一种产品信息追溯方法
CN112804336A (zh) 故障检测方法、装置、系统、计算机可读存储介质
CN104751285A (zh) 电网调度自动化前置采集数据准确性判别与告警系统
CN109542984B (zh) 一种面向建筑结构试验的异构数据融合方法
CN114660999A (zh) 基于物联网的工业设备运行状态监控分析终端及分析方法
CN112614331A (zh) 抄读电能表事件的方法与电能表抄读事件系统
CN115473924A (zh) 一种基于物联网区块链的碳排放计量系统
CN114414255A (zh) 基于can报文周期监测的自动驾驶测试方法和系统
CN105787845A (zh) 一种药水追溯系统及其方法
CN117473436A (zh) 一种针对即时数据流的预处理与告警方法及系统
CN114726674B (zh) 一种基于fpga的profibus总线工艺数据提取方法
CN114666424B (zh) 一种可配置的铁路信号通信数据解析方法
CN110957016B (zh) 基于健康云管理平台的体检数据智能识别系统及方法
CN115842861A (zh) 边缘连接设备适配方法、装置及计算机可读存储介质
CN103810085A (zh) 一种通过数据比对进行模块测试的方法及装置
CN112364230A (zh) 基于大数据信息抓取分析系统
CN113239228A (zh) 基于图像识别的商品打标签方法
CN112907111A (zh) 一种基于物联网技术的监控数据智能采集及分析方法
CN103580933A (zh) 环境在线分析仪的故障点识别方法及系统
CN110871314A (zh) 一种爬行弧焊机器人及爬行弧焊机器人的焊接方法、装置
CN112613278B (zh) 市政设备监测信息处理系统及市政设备监测信息处理方法
CN114781378B (zh) 基于区块链的企业数据治理方法及系统
CN114125032B (zh) 一种边缘协议数据处理方法和系统
CN114385836A (zh) 一种物联网数据采集终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201110

WW01 Invention patent application withdrawn after publication