CN104239507A - 实时控制网络中的海量数据处理方法 - Google Patents

实时控制网络中的海量数据处理方法 Download PDF

Info

Publication number
CN104239507A
CN104239507A CN201410466414.3A CN201410466414A CN104239507A CN 104239507 A CN104239507 A CN 104239507A CN 201410466414 A CN201410466414 A CN 201410466414A CN 104239507 A CN104239507 A CN 104239507A
Authority
CN
China
Prior art keywords
network
data
storage unit
mass data
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410466414.3A
Other languages
English (en)
Inventor
章伟杰
郭荣
屠勤
陈蒙
杨景祺
翟淑伟
赵忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Power Equipment Research Institute Co Ltd
Original Assignee
Shanghai Power Equipment Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Power Equipment Research Institute Co Ltd filed Critical Shanghai Power Equipment Research Institute Co Ltd
Priority to CN201410466414.3A priority Critical patent/CN104239507A/zh
Publication of CN104239507A publication Critical patent/CN104239507A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明涉及一种实时控制网络中的海量数据处理方法，其特征在于，包括如下步骤：步骤1、针对工业过程中的实际应用，增加多个种类与该工业过程相对应的快速数据采样输入模块；步骤2、通用数据采样模块通过现场总线采样到数据后存入高速存储单元内，以高速存储单元作为数据预先缓冲存储空间，再由高速存储单元将缓冲的海量数据通过网络通讯接口及网络传输给接入同一网络的海量数据分析诊断工作站。本发明的优点是在过程数据快速采样系统或旋转机械诊断分析系统中既保证了过程控制参数的实时性，又提供海量数据处理方法，减少现场设备和工程工作量。

Description

实时控制网络中的海量数据处理方法
技术领域
本发明涉及一种实时控制网络中的海量数据处理技术，用于解决现场信号在参与工业过程控制时同时进行数据快速采样分析或旋转机械诊断分析等等，属于自动控制仪表技术领域。
背景技术
传统的分散控制系统(DCS)或者现场总线控制系统(FCS)等工业过程控制系统，由于在同一组控制器下真正用于过程控制的实时数据量并不大，考虑到数据通讯的安全可靠性，因此现场总线通讯速率通常为9600bps-10Mbps，但在一些特殊应用中，例如过程数据快速采样分析系统或旋转机械诊断分析系统要求海量的数据传送量进行过程分析和故障诊断(以一组控制器下挂六十块卡，每块卡为8点模拟量输入，每毫秒采样一次为例，最小通讯数据量为卡件数*卡件点数*每个模拟量最少字节数*位数*毫秒数＝60*8*2*8*1000＝7.68Mbps)，考虑到通讯的裕量，如此大的数据传送量是无法在实时控制网络上进行传输的。
通常地，针对过程数据快速采样分析或旋转机械诊断分析这方面应用要求时，会采用单独的第三方产品来完成这项工作，但是却造成现场设备和工程工作量增加。
发明内容
本发明要解决的技术问题是一种实时控制网络中的海量数据处理技术。
为了解决上述技术问题，本发明的技术方案是提供了一种实时控制网络中的海量数据处理方法，其特征在于，包括如下步骤：
步骤1、针对工业过程中的实际应用，增加多个种类与该工业过程相对应的快速数据采样输入模块，每个快速数据采样输入模块至少包括种类与该工业过程相对应的通用数据采样模块、高速存储单元以及附加的网络通讯接口，通用数据采样模块的输入端接入现场总线，通用数据采样模块的输出端连接高速存储单元的输入端，高速存储单元的输出端则连接网络通讯接口，网络通讯接口接入网络；
步骤2、通用数据采样模块通过现场总线采样到数据后存入高速存储单元内，以高速存储单元作为数据预先缓冲存储空间，再由高速存储单元将缓冲的海量数据通过网络通讯接口及网络传输给接入同一网络的海量数据分析诊断工作站。
优选地，仅采用一个所述网络，所有所述输入模块均通过该网络与所述海量数据分析诊断工作站建立数据通讯。
优选地，采用N个所述网络，N≥2，每个所述快速数据采样输入模块均有N个所述网络通讯接口，每个网络通讯接口接入不同的网络，所有网络中的一个网络正常工作，其余网络为冗余网络。
本发明提供了一种实时控制网络中的海量数据处理技术，通过在过程控制系统增加快速数据采样输入模块，一方面保证过程控制中的实时性要求，另一方面完成海量数据的存储、通讯和分析，以满足两方面的需求。
本发明的优点是在过程数据快速采样系统或旋转机械诊断分析系统中既保证了过程控制参数的实时性，又提供海量数据处理方法，减少现场设备和工程工作量。
附图说明
图1为单一网络结构的实时控制网络中的海量数据处理方法示意图；
图2为冗余网络结构的实时控制网络中的海量数据处理方法示意图。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
本发明提供了一种实时控制网络中的海量数据处理方法，该方法中增加的快速数据采样输入模块根据工业过程中的实际应用的不同有不同的种类，例如：快速数据采样热电偶输入模块、快速数据采样热电阻输入模块、快速数据采样模拟量输入模块、旋转机械部件电压信号综合输入模块(包括位移、相对振动、瓦盖振动、偏心、绝对振动和键相)、旋转机械部件脉冲信号综合输入模块(包括电涡流传感器、磁组传感器和键相)等。本实施例在多种类的快速数据采样输入模块中选取快速数据采样热电偶输入模块为例，其步骤为：
步骤1、每个快速数据采样输入模块包括通用热电偶输入模块、高速存储单元以及附加的网络通讯接口，通用数据采样模块的输入端接入现场总线，即现场总线A及现场总线B，通用数据采样模块的输出端连接高速存储单元的输入端，高速存储单元的输出端则连接以太网络通讯接口，以太网络通讯接口接入以太网络。多块快速数据采样热电偶输入模块和海量数据分析诊断工作站通过百兆级的以太网交换机进行联网。
步骤2、通用数据采样模块通过现场总线采样到数据后存入高速存储单元内，以高速存储单元作为数据预先缓冲存储空间，再由高速存储单元将缓冲的海量数据通过网络通讯接口及网络传输给接入同一网络的海量数据分析诊断工作站。高速存储单元的数据量考虑以每毫秒采集一次，总计8分钟的存储量作为一个数据传送包，数据量即分钟数*秒数*毫秒数*卡件点数*每个模拟量最少字节数*位数＝8*60*1000*8*2＝7.68Mbytes，因此选取4片2Mbytes的高速存储单元作为数据预先缓冲存储空间。
实时控制网络中的海量数据处理通道可以是单一网络，也可以是冗余网络。
单一网络由多块快速数据采样热电偶输入模块的单一以太网通讯接口、海量数据分析诊断工作站和单个交换机组成单一网络结构的实时控制网络中的海量数据处理方法，如图1所示。
冗余网络由多块快速数据采样热电偶输入模块的冗余以太网通讯接口、海量数据分析诊断工作站和冗余交换机组成冗余网络结构的实时控制网络中的海量数据处理方法，如图2所示，其采用了以太网A及以太网B。

Claims (3)

1.一种实时控制网络中的海量数据处理方法，其特征在于，包括如下步骤：
步骤1、针对工业过程中的实际应用，增加多个种类与该工业过程相对应的快速数据采样输入模块，每个快速数据采样输入模块至少包括种类与该工业过程相对应的通用数据采样模块、高速存储单元以及附加的网络通讯接口，通用数据采样模块的输入端接入现场总线，通用数据采样模块的输出端连接高速存储单元的输入端，高速存储单元的输出端则连接网络通讯接口，网络通讯接口接入网络；
步骤2、通用数据采样模块通过现场总线采样到数据后存入高速存储单元内，以高速存储单元作为数据预先缓冲存储空间，再由高速存储单元将缓冲的海量数据通过网络通讯接口及网络传输给接入同一网络的海量数据分析诊断工作站。
2.如权利要求1所述的一种实时控制网络中的海量数据处理方法，其特征在于，仅采用一个所述网络，所有所述输入模块均通过该网络与所述海量数据分析诊断工作站建立数据通讯。
3.如权利要求1所述的一种实时控制网络中的海量数据处理方法，其特征在于，采用N个所述网络，N≥2，每个所述快速数据采样输入模块均有N个所述网络通讯接口，每个网络通讯接口接入不同的网络，所有网络中的一个网络正常工作，其余网络为冗余网络。
CN201410466414.3A 2014-09-12 2014-09-12 实时控制网络中的海量数据处理方法 Pending CN104239507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410466414.3A CN104239507A (zh) 2014-09-12 2014-09-12 实时控制网络中的海量数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410466414.3A CN104239507A (zh) 2014-09-12 2014-09-12 实时控制网络中的海量数据处理方法

Publications (1)

Publication Number Publication Date
CN104239507A true CN104239507A (zh) 2014-12-24

Family

ID=52227566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410466414.3A Pending CN104239507A (zh) 2014-09-12 2014-09-12 实时控制网络中的海量数据处理方法

Country Status (1)

Country Link
CN (1) CN104239507A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577183A (zh) * 2017-09-06 2018-01-12 太仓埃特奥数据科技有限公司 一种温室作物实时数据处理分析系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080146455A1 (en) * 2003-09-11 2008-06-19 Hall Thomas A Methods for identification of sepsis-causing bacteria
CN101478643A (zh) * 2009-01-08 2009-07-08 华中科技大学 数据采集的方法及系统
CN202817789U (zh) * 2012-08-28 2013-03-20 华锐风电科技(集团)股份有限公司 发电系统电能质量的云监测系统和电力系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080146455A1 (en) * 2003-09-11 2008-06-19 Hall Thomas A Methods for identification of sepsis-causing bacteria
CN101478643A (zh) * 2009-01-08 2009-07-08 华中科技大学 数据采集的方法及系统
CN202817789U (zh) * 2012-08-28 2013-03-20 华锐风电科技(集团)股份有限公司 发电系统电能质量的云监测系统和电力系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张红林等: "一种基于sFlow的网络流量分析方法", 《计算机工程与科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577183A (zh) * 2017-09-06 2018-01-12 太仓埃特奥数据科技有限公司 一种温室作物实时数据处理分析系统

Similar Documents

Publication Publication Date Title
KR101135274B1 (ko) 플랜트 제어 시스템 및 방법
CN103135536B (zh) 一种dcs系统与计算机生产仿真模型信息处理方法
CN110543142A (zh) 一种数控机床故障诊断与预警系统
US10938967B2 (en) Method and apparatus for communication in a motor drive application
CN106685782B (zh) 一种带有DP总线数据采集功能的Profibus有源终端电阻装置
CN103048951A (zh) 一种用于评估数控系统可靠性的试验方法
CN107105002A (zh) 网络系统和用于在网络系统中传输数据的方法
CN112631196A (zh) 一种基于plc的高速数据采集与控制系统
CN104239507A (zh) 实时控制网络中的海量数据处理方法
CN108696375B (zh) 工业网络信息获取装置、方法、监控系统及存储介质
CN204331726U (zh) 一种实时控制网络中的海量数据处理系统
CN104787634B (zh) 电梯一体机的监控方法、电梯一体机及其监控系统
CN218099992U (zh) 一种基于远程io模块的控制系统
CN104267336B (zh) 一种基于断路器操作机构的故障诊断系统
CN101951407B (zh) 远程传输式智能总线通讯器
CN111596628B (zh) 一种海量工业数据的采集方法和采集系统
Maurer et al. Cloud-based plant and process monitoring based on a modular and scalable data analytics infrastructure
Mendes et al. Fault diagnosis system via internet applied to a gantry robot—A proposal for industry 4.0
Alessandria et al. Performance analysis of ethernet/ip networks
Liu et al. EtherCAT-based functional safety-integrated communication
Xiao et al. Design and application of energy consumption acquisition system based on MtConnect
Zhang et al. Design of CAN bus application layer protocol for aerocraft control system
Li et al. Scada system of cnc system reliability testing and implement loading conditions
Moore et al. Advanced machine service support using Internet-enabled three-dimensional-based virtual engineering
Jiang et al. Design of online machining and monitoring management system based on FANUC machine tools

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141224

RJ01 Rejection of invention patent application after publication