CN107479514A - 一种工业大数据过程控制数据采集和传输系统与实现方法 - Google Patents
一种工业大数据过程控制数据采集和传输系统与实现方法 Download PDFInfo
- Publication number
- CN107479514A CN107479514A CN201710554750.7A CN201710554750A CN107479514A CN 107479514 A CN107479514 A CN 107479514A CN 201710554750 A CN201710554750 A CN 201710554750A CN 107479514 A CN107479514 A CN 107479514A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- message queue
- data acquisition
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 56
- 230000005540 biological transmission Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004886 process control Methods 0.000 title claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000011664 signaling Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31282—Data acquisition, BDE MDE
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明涉及一种工业大数据过程控制数据采集和传输系统与实现方法，属于工业自动化过程控制数据处理技术领域。本发明数据采集端将采集和处理后的数据发送到数据路由端，数据采集端接收数据路由端返回的响应消息；数据路由端接收来自数据采集端发送的信令消息和数据存储端返回的响应消息，向数据存储端发送信令消息，向数据采集端发送响应消息；数据存储端接收来自数据路由端的信令消息，经过数据校验后存入数据库，并向数据路由端返回响应消息；本发明既降低了数据采集的难度，又提高了数据传输的可靠性。本发明部署方便灵活，能够良好的适用于各种复杂恶劣的工业现场环境。
Description
技术领域
本发明涉及一种工业大数据过程控制数据采集和传输系统与实现方法，属于工业自动化过程控制数据处理技术领域。
背景技术
随着大数据技术的发展与进步，大数据分析技术在工业生产过程占有越来越重要的地位，然而如何取得真实可靠的工业生产数据成为当下要面临的重要问题。其困难在于：生产过程通常涉及不同的控制系统，他们能够对各自相关的生产数据进行采集，但是缺乏行之有效的方式将这些生产数据安全可靠的汇集起来。
发明内容
本发明提供了一种工业大数据过程控制数据采集和传输系统与实现方法，以用于克服不同控制系统采集的数据间的兼容性问题。用特定的方式对这些数据进行处理，使其具有相同的结构以方便数据的传输、存储、查询和使用。
本发明的技术方案是：一种工业大数据过程控制数据采集和传输系统，包括数据采集端100、数据路由端200、数据存储端300；
所述数据采集端100与数据存储端300不直接通信，而是通过数据路由端200作为中间件间接通信，其中数据采集端100与数据路由端200通过双绞线连接，数据路由端200与数据存储端300通过串口光纤连接；数据采集端100与数据路由端200、数据路由端200与数据存储端300均采用异步通信方式；
所述数据采集端100与底层控制系统连接，从底层控制系统中提取数据并处理，再将处理后的数据发送到数据路由端200，数据采集端100接收数据路由端200返回的响应消息；
所述数据路由端200接收来自数据采集端100发送的信令消息和数据存储端300返回的响应消息，向数据存储端300发送信令消息，向数据采集端100发送响应消息；其中，数据路由端200与数据存储端300进行数据交换时，需要经过数据校验，只有通过校验的数据才能在两者之间进行交换；
所述数据存储端300接收来自数据路由端200的信令消息，经过数据校验后存入数据库，并向数据路由端200返回响应消息。
所述数据采集端100包含数据采集节点110、数据采集应用软件模块120和消息队列模块Ⅰ130这三个子模块；所述数据采集应用软件模块120分别与数据采集节点110和消息队列模块Ⅰ130相连；其中数据采集节点110为数据源，数据采集应用软件模块120用于数据管理，包括数据的采集与处理以及控制数据的发送，消息队列模块Ⅰ130连接数据路由端200，用于暂存处理后的数据，等待发送到数据路由端200。
所述数据路由端200包含接口管理模块Ⅰ210、消息队列模块Ⅱ220和消息队列管理软件模块230；其中接口管理模块Ⅰ210与消息队列模块Ⅱ220连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列管理软件模块230与消息队列模块Ⅱ220连接，用于对该模块消息队列中的数据进行管理；接口管理模块Ⅰ210连接数据采集端100和数据存储端300。
所述数据存储端300包含接口管理模块Ⅱ310、消息队列模块Ⅲ320、数据库模块330和数据存储应用软件模块340；接口管理模块Ⅱ310与消息队列模块Ⅲ320连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列模块Ⅲ320与数据库模块330连接，用于管理数据的存储；数据存储应用软件模块340与消息队列模块Ⅲ320连接，对该模块消息队列中的数据进行管理。
一种工业大数据过程控制数据采集和传输系统的实现方法，所述方法的具体步骤如下：
Step1：系统初始化，在数据采集端100、数据路由端200、数据存储端300分别部署数据采集应用软件模块120、消息队列管理软件模块230、数据存储应用软件模块340；针对数据采集应用软件模块120、消息队列管理软件模块230、数据存储应用软件模块340分别进行参数设置，具体包括：
步骤S1：针对数据采集应用软件模块120，需要配置数据采集站参数，数据项标记、数据路由端IP地址、同步时钟参数、采集方式和系统日志参数；其中数据采集站参数包括数据采集站IP地址、数据采集站名称和编号，用来定义数据的来源；数据项标记定义数据采集点点位号；数据路由端IP地址定义数据的发送目标；同步时钟参数定义同步时钟服务器IP，用以统一来自不同数据采集站的时间标签；采集方式设定是否采集以及数据采集间隔时间；系统日志参数设定日志保存方式；
步骤S2：针对消息队列管理软件模块230，需要配置数据处理参数、系统通讯参数和系统日志参数；其中数据处理参数用于定义未发送成功数据处理时间；系统通讯参数用于定义与数据存储端通信的波特率和串口号；系统日志参数用于定义日志保存方式；
步骤S3：针对数据存储应用软件模块340，需要配置系统通讯参数、系统日志参数；其中系统通讯参数用于定义与数据路由端200通信的波特率和串口号；系统日志参数用于定义日志保存方式；
前述数据路由端200和数据存储端300所设置的波特率和串口号需保持一致；
Step2：系统初始化设置完毕之后，重启数据采集应用软件模块120开始运行，进行数据采集，具体包括：
步骤T1：到达数据采集时间，数据采集应用软件模块120根据前述步骤S1所配置的数据采集站参数和数据项标记参数，向数据采集节点110发送对应数据采集点的数据请求，数据采集节点110按采集方式向数据采集应用软件模块120返回基于OPC的生产数据；所述数据采集站参数和数据项标记参数来自数据采集节点110控制系统中的设定，控制系统中存在的生产数据基于数据采集应用软件模块120采集出来，用于保证数据采集应用软件模块120能够良好的部署在每个数据采集站上；
步骤T2：数据采集应用软件模块120对上述生产数据进行处理，为该条数据加上数据标记而不改变该条数据的值，形成新的name-value对；数据采集应用软件模块120将处理后的生产数据压入消息队列模块Ⅰ130；所述数据标记包含的信息有数据采集站名称和编号、数据采集点点位号以及基于同步时钟服务器的数据采集时间；
Step3：开始数据传输过程，具体包括：
步骤P1：判断数据采集端100与数据路由端200是否正常连接，若连接正常，则数据路由端200保持对消息队列模块Ⅰ130的监听；一旦消息队列模块Ⅰ130中写入新的数据，立即向该数据路由端200发送包含数据标记在内的生产数据，数据路由端200接收到数据后将其压入消息队列模块Ⅱ220；
步骤P2：判断数据路由端200与数据存储端300是否正常连接，若连接正常，数据存储端300持续监听消息队列模块Ⅱ220，一旦消息队列模块Ⅱ220中压入数据，立即向数据存储端300发送该条数据；等到该条数据通过接口管理模块Ⅱ310的校验后将该条数据压入消息队列模块Ⅲ320，提取该条数据后同步存入数据库模块330；
步骤P3：数据成功存入数据库模块330后，会向消息队列模块Ⅲ320返回一个包含数据标记的响应消息，消息队列模块Ⅲ320向数据路由端200返回这个响应消息，并删除消息队列模块Ⅲ320中与该条数据标记对应的生产数据；
步骤P4：消息队列模块Ⅱ220接收通过接口管理模块Ⅰ210校验后的响应消息，接口管理模块Ⅰ210根据响应消息中的数据标记将该条响应消息发送给数据采集端100中对应IP地址的数据采集站，并根据响应消息中的数据标记删除消息队列模块Ⅱ220中与之对应的生产数据；
步骤P5：消息队列模块Ⅰ130提取响应消息，并根据响应消息中的数据标记删除消息队列模块Ⅰ130中与之对应的生产数据；至此，本条生产数据的采集与传输过程完成。
本发明的有益效果是：
1基于OPC开发的数据采集应用软件模块120部署方便快捷，使用自由灵活，可以适应各种不同的控制系统。克服了不同控制系统下的数据采集困难，为大数据分析提供了真实的数据基础。
2数据采集与数据存储过程均采用同步数据处理方式，有利于提高数据处理效率，即使在数据量剧增的情况下，也不会导致系统超过负荷而崩溃。
3本发明基于消息路由的异步数据传输方法，当某个节点失效时，未被处理的消息被保存在消息队列中，不会因节点失效而丢失。当节点恢复后，可以继续从消息队列提取未被处理的消息，保证了数据的连续性。
4存储在数据存储端的数据可以通过给定的数据接口传递给第三方应用，这些数据真实可靠，实时性强，十分适用于大数据分析，有利于提高企业的生产效率。
附图说明
图1为本发明中的结构框图；
图2为本发明的模块组成结构框图。
图中各标号：100-数据采集端，10-数据采集站a、11-数据采集站b、12-数据采集站c，1n-数据采集站n，110-数据采集节点，120-数据采集应用软件模块，130-消息队列模块Ⅰ，200-数据路由端，210-接口管理模块Ⅰ，220-消息队列模块Ⅱ，230-消息队列管理软件模块，300-数据存储端，310-接口管理模块Ⅱ，320-消息队列模块Ⅲ，330-数据库模块，340-数据存储应用软件模块。
具体实施方式
实施例1：如图1-2所示，一种工业大数据过程控制数据采集和传输系统，包括数据采集端100、数据路由端200、数据存储端300；
所述数据采集端100与数据存储端300不直接通信，而是通过数据路由端200作为中间件间接通信，其中数据采集端100与数据路由端200通过双绞线连接，数据路由端200与数据存储端300通过串口光纤连接；数据采集端100与数据路由端200、数据路由端200与数据存储端300均采用异步通信方式；
数据采集端100包含一个或多个数据采集站，标记为数据采集站a10、数据采集站b11、数据采集站c12及数据采集站n1n，每个采集站对应不同的控制系统；
所述数据采集端100与底层控制系统连接，从底层控制系统中提取数据并处理，处理后形成该数据的独有标记，再将处理后的数据发送到数据路由端200，数据采集端100接收数据路由端200返回的响应消息；
所述数据路由端200接收来自数据采集端100发送的信令消息和数据存储端300返回的响应消息，向数据存储端300发送信令消息，向数据采集端100发送响应消息；其中，数据路由端200与数据存储端300进行数据交换时，需要经过数据校验，只有通过校验的数据才能在两者之间进行交换；
所述数据存储端300接收来自数据路由端200的信令消息，经过数据校验后存入数据库，并向数据路由端200返回响应消息。
作为本发明的进一步方案，所述数据采集端100包含一个或者多个数据采集站，虽然各数据采集站所用的控制系统可能不同，但是都支持国际通用OPC标准接口协议。而本发明在数据采集端采用的数据采集应用软件模块正是基于OPC开发的，因此该数据采集应用软件模块可以适用于不同的控制系统。为了便于说明，在说明过程中将数据采集端简化为一个数据采集点。实际上，当数据采集站增多时，只需在每个数据采集站部署上该数据采集应用软件模块，即可利用相同的原理实现数据的采集与传输。
所述数据采集端100简化为只包含一个数据采集站，以该数据采集站为代表说明数据采集端100组织结构。
作为本发明的进一步方案，图2所示，具体的，所述数据采集端100包含数据采集节点110、数据采集应用软件模块120和消息队列模块Ⅰ130这三个子模块；所述数据采集应用软件模块120分别与数据采集节点110和消息队列模块Ⅰ130相连；其中数据采集节点110为数据源，数据采集应用软件模块120用于数据管理，包括数据的采集与处理以及控制数据的发送，消息队列模块Ⅰ130连接数据路由端200，用于暂存处理后的数据，等待发送到数据路由端200。
作为本发明的进一步方案，所述数据路由端200包含接口管理模块Ⅰ210、消息队列模块Ⅱ220和消息队列管理软件模块230；其中接口管理模块Ⅰ210与消息队列模块Ⅱ220连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列管理软件模块230与消息队列模块Ⅱ220连接，用于对该模块消息队列中的数据进行管理；接口管理模块Ⅰ210连接数据采集端100和数据存储端300。
作为本发明的进一步方案，所述数据存储端300包含接口管理模块Ⅱ310、消息队列模块Ⅲ320、数据库模块330和数据存储应用软件模块340；接口管理模块Ⅱ310与消息队列模块Ⅲ320连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列模块Ⅲ320与数据库模块330连接，用于管理数据的存储；数据存储应用软件模块340与消息队列模块Ⅲ320连接，对该模块消息队列中的数据进行管理。
一种工业大数据过程控制数据采集和传输系统的实现方法，所述方法的具体步骤如下：
Step1：系统初始化，在数据采集端100、数据路由端200、数据存储端300分别部署数据采集应用软件模块120、消息队列管理软件模块230、数据存储应用软件模块340；针对数据采集应用软件模块120、消息队列管理软件模块230、数据存储应用软件模块340分别进行参数设置，具体包括：
步骤S1：针对数据采集应用软件模块120，需要配置数据采集站参数，数据项标记、数据路由端IP地址、同步时钟参数、采集方式和系统日志参数；其中数据采集站参数包括数据采集站IP地址、数据采集站名称和编号，用来定义数据的来源；数据项标记定义数据采集点点位号；数据路由端IP地址定义数据的发送目标；同步时钟参数定义同步时钟服务器IP，用以统一来自不同数据采集站的时间标签；采集方式设定是否采集以及数据采集间隔时间；系统日志参数设定日志保存方式；
步骤S2：针对消息队列管理软件模块230，需要配置数据处理参数、系统通讯参数和系统日志参数；其中数据处理参数用于定义未发送成功数据处理时间；系统通讯参数用于定义与数据存储端通信的波特率和串口号；系统日志参数用于定义日志保存方式；
步骤S3：针对数据存储应用软件模块340，需要配置系统通讯参数、系统日志参数；其中系统通讯参数用于定义与数据路由端200通信的波特率和串口号；系统日志参数用于定义日志保存方式；
前述数据路由端200和数据存储端300所设置的波特率和串口号需保持一致；
Step2：系统初始化设置完毕之后，重启数据采集应用软件模块120开始运行，进行数据采集，具体包括：
步骤T1：到达数据采集时间，数据采集应用软件模块120根据前述步骤S1所配置的数据采集站参数和数据项标记参数，向数据采集节点110发送对应数据采集点的数据请求，数据采集节点110按采集方式向数据采集应用软件模块120返回基于OPC的生产数据；所述数据采集站参数和数据项标记参数来自数据采集节点110控制系统中的设定，控制系统中存在的生产数据基于数据采集应用软件模块120采集出来，用于保证数据采集应用软件模块120能够良好的部署在每个数据采集站上；
步骤T2：数据采集应用软件模块120对上述生产数据进行处理，为该条数据加上数据标记而不改变该条数据的值，形成新的name-value对；数据采集应用软件模块120将处理后的生产数据压入消息队列模块Ⅰ130；所述数据标记包含的信息有数据采集站名称和编号、数据采集点点位号以及基于同步时钟服务器的数据采集时间；因为所有数据的数据标记都是基于此既定规则定义的，所以所有的数据都有相同的结构，当数据存入数据库后，即可基于此对数据进行快速的检索查询。
Step3：开始数据传输过程，具体包括：
步骤P1：判断数据采集端100与数据路由端200是否正常连接，若连接正常，则数据路由端200保持对消息队列模块Ⅰ130的监听；一旦消息队列模块Ⅰ130中写入新的数据，立即向该数据路由端200发送包含数据标记在内的生产数据，数据路由端200接收到数据后将其压入消息队列模块Ⅱ220；
步骤P2：判断数据路由端200与数据存储端300是否正常连接，若连接正常，数据存储端300持续监听消息队列模块Ⅱ220，一旦消息队列模块Ⅱ220中压入数据，立即向数据存储端300发送该条数据；等到该条数据通过接口管理模块Ⅱ310的校验后将该条数据压入消息队列模块Ⅲ320，提取该条数据后同步存入数据库模块330；
步骤P3：数据成功存入数据库模块330后，会向消息队列模块Ⅲ320返回一个包含数据标记的响应消息，消息队列模块Ⅲ320向数据路由端200返回这个响应消息，并删除消息队列模块Ⅲ320中与该条数据标记对应的生产数据；
步骤P4：消息队列模块Ⅱ220接收通过接口管理模块Ⅰ210校验后的响应消息，接口管理模块Ⅰ210根据响应消息中的数据标记将该条响应消息发送给数据采集端100中对应IP地址的数据采集站，并根据响应消息中的数据标记删除消息队列模块Ⅱ220中与之对应的生产数据；
步骤P5：消息队列模块Ⅰ130提取响应消息，并根据响应消息中的数据标记删除消息队列模块Ⅰ130中与之对应的生产数据；至此，本条生产数据的采集与传输过程完成。
另外，数据采集应用软件模块120，消息队列管理软件模块230，数据存储应用软件模块340这三个模块都具有日志功能，若启用日志功能，针对各个模块的每条数据变化都会形成日志，可根据日志追踪数据的动态。
实施例2：一种工业大数据过程控制数据采集和传输系统与实现方法，本实施例与实施例1相同，其中当所述数据采集端100与数据路由端200断开连接，数据路由端200与数据存储端300正常连接。前述Step1，Step2不发生变化，Step3出现变动，具体如下：
Step3：开始数据传输过程，具体包括：
步骤P1：由于数据采集端100与数据路由端200断开连接，数据路由端200失去对消息队列模块Ⅰ130的监听，已经写入消息队列模块Ⅱ220中的数据不会丢失。消息队列模块Ⅰ130中依然可以写入新的数据，但是并不向数据路由端发送生产数据，等待连接恢复再逐条向数据路由端发送生产数据。
步骤P2：由于数据路由端200与数据存储端300正常连接，数据存储端300依旧监听消息队列模块Ⅱ220，消息队列模块Ⅱ220中新压入数据会逐条向数据存储端300发送；等到生产数据通过接口管理模块Ⅱ310的校验后将生产数据压入消息队列模块Ⅲ320，提取该条数据后同步存入数据库模块330。
步骤P3：数据成功存入数据库模块330后，会向消息队列模块Ⅲ320返回一个包含数据标记的响应消息，消息队列模块Ⅲ320向数据路由端200返回这个响应消息，并删除消息队列模块Ⅲ320中与该条数据标记对应的生产数据。
步骤P4：消息队列模块Ⅱ220接收通过接口管理模块Ⅰ210校验后的响应消息，根据响应消息中的数据标记删除消息队列模块Ⅱ220中与之对应的生产数据，由于数据采集端100与数据路由端200断开连接，接口管理模块Ⅰ210不能返回响应消息到数据采集端100，需等待连接恢复才能实现响应消息返回。
步骤P5：等待数据采集端100与数据路由端200恢复连接，消息队列模块Ⅰ130提取响应消息，并根据响应消息中的数据标记删除消息队列模块Ⅰ130中与之对应的生产数据；本条生产数据的采集与传输过程完成。
实施例3：一种工业大数据过程控制数据采集和传输系统与实现方法，本实施例与实施例1相同，其中当所述数据采集端100与数据路由端200正常连接，数据路由端200与数据存储端300正常连接，数据存储端300接收数据失败。前述Step1，Step2不发生变化，Step3出现变动，具体如下：
Step3：开始数据传输过程，具体包括：
步骤P1：数据采集端100与数据路由端200正常连接，数据路由端200保持对消息队列模块Ⅰ130的监听。一旦消息队列模块Ⅰ130中写入新的数据，立即向该数据路由端发送包含数据标记在内的生产数据，数据路由端200接收到数据后将其压入消息队列模块Ⅱ220。
步骤P2：数据路由端200与数据存储端300正常连接，数据存储端300持续监听消息队列模块Ⅱ220，一旦消息队列模块Ⅱ220中压入数据，立即向数据存储端300发送该条数据；如果该条数据通过接口管理模块Ⅱ310校验失败导致将该条数据未能压入消息队列模块Ⅲ320，则无法提取该条数据后同步存入数据库模块330。
步骤P3：数据若未能成功存入数据库模块330，会向消息队列模块Ⅲ320返回一个包含数据标记的错误消息，消息队列模块Ⅲ320向数据路由端200返回这个消息消息，并删除消息队列模块Ⅲ320中与该条数据标记对应的生产数据。
步骤P4：消息队列模块Ⅱ220接收通过接口管理模块Ⅰ210校验后的错误消息，接口管理模块Ⅰ210根据错误消息中的数据标记将该条错误消息发送给数据采集端100中对应IP地址的数据采集站，并根据错误消息中的数据标记删除消息队列模块Ⅱ220中与之对应的生产数据。
步骤P5：消息队列模块Ⅰ130提取错误消息，并根据错误消息中的数据标记删除消息队列模块Ⅰ130中与之对应的生产数据，重复Step2、Step3的流程，直到收到正确的响应为止。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种工业大数据过程控制数据采集和传输系统，其特征在于：包括数据采集端（100）、数据路由端（200）、数据存储端（300）；
所述数据采集端（100）与数据存储端（300）不直接通信，而是通过数据路由端（200）作为中间件间接通信，其中数据采集端（100）与数据路由端（200）通过双绞线连接，数据路由端（200）与数据存储端（300）通过串口光纤连接；数据采集端（100）与数据路由端（200）、数据路由端（200）与数据存储端（300）均采用异步通信方式；
所述数据采集端（100）与底层控制系统连接，从底层控制系统中提取数据并处理，再将处理后的数据发送到数据路由端（200），数据采集端（100）接收数据路由端（200）返回的响应消息；
所述数据路由端（200）接收来自数据采集端（100）发送的信令消息和数据存储端（300）返回的响应消息，向数据存储端（300）发送信令消息，向数据采集端（100）发送响应消息；其中，数据路由端（200）与数据存储端（300）进行数据交换时，需要经过数据校验，只有通过校验的数据才能在两者之间进行交换；
所述数据存储端（300）接收来自数据路由端（200）的信令消息，经过数据校验后存入数据库，并向数据路由端（200）返回响应消息。
2.根据权利要求1所述的工业大数据过程控制数据采集和传输系统，其特征在于：
所述数据采集端（100）包含数据采集节点（110）、数据采集应用软件模块（120）和消息队列模块Ⅰ（130）这三个子模块；所述数据采集应用软件模块（120）分别与数据采集节点（110）和消息队列模块Ⅰ（130）相连；其中数据采集节点（110）为数据源，数据采集应用软件模块（120）用于数据管理，包括数据的采集与处理以及控制数据的发送，消息队列模块Ⅰ（130）连接数据路由端（200），用于暂存处理后的数据，等待发送到数据路由端（200）。
3.根据权利要求1所述的工业大数据过程控制数据采集和传输系统，其特征在于：所述数据路由端（200）包含接口管理模块Ⅰ（210）、消息队列模块Ⅱ（220）和消息队列管理软件模块（230）；其中接口管理模块Ⅰ（210）与消息队列模块Ⅱ（220）连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列管理软件模块（230）与消息队列模块Ⅱ（220）连接，用于对该模块消息队列中的数据进行管理；接口管理模块Ⅰ（210）连接数据采集端（100）和数据存储端（300）。
4.根据权利要求1所述的工业大数据过程控制数据采集和传输系统，其特征在于：所述数据存储端（300）包含接口管理模块Ⅱ（310）、消息队列模块Ⅲ（320）、数据库模块（330）和数据存储应用软件模块（340）；接口管理模块Ⅱ（310）与消息队列模块Ⅲ（320）连接，用于管理数据的发送目标与接收来源以及数据的校验；消息队列模块Ⅲ（320）与数据库模块（330）连接，用于管理数据的存储；数据存储应用软件模块（340）与消息队列模块Ⅲ（320）连接，对该模块消息队列中的数据进行管理。
5.一种工业大数据过程控制数据采集和传输系统的实现方法，其特征在于：所述方法的具体步骤如下：
Step1：系统初始化，在数据采集端（100）、数据路由端（200）、数据存储端（300）分别部署数据采集应用软件模块（120）、消息队列管理软件模块（230）、数据存储应用软件模块（340）；针对数据采集应用软件模块（120）、消息队列管理软件模块（230）、数据存储应用软件模块（340）分别进行参数设置，具体包括：
步骤S1：针对数据采集应用软件模块（120），需要配置数据采集站参数，数据项标记、数据路由端IP地址、同步时钟参数、采集方式和系统日志参数；其中数据采集站参数包括数据采集站IP地址、数据采集站名称和编号，用来定义数据的来源；数据项标记定义数据采集点点位号；数据路由端IP地址定义数据的发送目标；同步时钟参数定义同步时钟服务器IP，用以统一来自不同数据采集站的时间标签；采集方式设定是否采集以及数据采集间隔时间；系统日志参数设定日志保存方式；
步骤S2：针对消息队列管理软件模块（230），需要配置数据处理参数、系统通讯参数和系统日志参数；其中数据处理参数用于定义未发送成功数据处理时间；系统通讯参数用于定义与数据存储端通信的波特率和串口号；系统日志参数用于定义日志保存方式；
步骤S3：针对数据存储应用软件模块（340），需要配置系统通讯参数、系统日志参数；其中系统通讯参数用于定义与数据路由端（200）通信的波特率和串口号；系统日志参数用于定义日志保存方式；
前述数据路由端（200）和数据存储端（300）所设置的波特率和串口号需保持一致；
Step2：系统初始化设置完毕之后，重启数据采集应用软件模块（120）开始运行，进行数据采集，具体包括：
步骤T1：到达数据采集时间，数据采集应用软件模块（120）根据前述步骤S1所配置的数据采集站参数和数据项标记参数，向数据采集节点（110）发送对应数据采集点的数据请求，数据采集节点（110）按采集方式向数据采集应用软件模块（120）返回基于OPC的生产数据；所述数据采集站参数和数据项标记参数来自数据采集节点（110）控制系统中的设定，控制系统中存在的生产数据基于数据采集应用软件模块（120）采集出来，用于保证数据采集应用软件模块（120）能够良好的部署在每个数据采集站上；
步骤T2：数据采集应用软件模块（120）对上述生产数据进行处理，为该条数据加上数据标记而不改变该条数据的值，形成新的name-value对；数据采集应用软件模块（120）将处理后的生产数据压入消息队列模块Ⅰ（130）；所述数据标记包含的信息有数据采集站名称和编号、数据采集点点位号以及基于同步时钟服务器的数据采集时间；
Step3：开始数据传输过程，具体包括：
步骤P1：判断数据采集端（100）与数据路由端（200）是否正常连接，若连接正常，则数据路由端（200）保持对消息队列模块Ⅰ（130）的监听；一旦消息队列模块Ⅰ（130）中写入新的数据，立即向该数据路由端（200）发送包含数据标记在内的生产数据，数据路由端（200）接收到数据后将其压入消息队列模块Ⅱ（220）；
步骤P2：判断数据路由端（200）与数据存储端（300）是否正常连接，若连接正常，数据存储端（300）持续监听消息队列模块Ⅱ（220），一旦消息队列模块Ⅱ（220）中压入数据，立即向数据存储端（300）发送该条数据；等到该条数据通过接口管理模块Ⅱ（310）的校验后将该条数据压入消息队列模块Ⅲ（320），提取该条数据后同步存入数据库模块（330）；
步骤P3：数据成功存入数据库模块（330）后，会向消息队列模块Ⅲ（320）返回一个包含数据标记的响应消息，消息队列模块Ⅲ（320）向数据路由端（200）返回这个响应消息，并删除消息队列模块Ⅲ（320）中与该条数据标记对应的生产数据；
步骤P4：消息队列模块Ⅱ（220）接收通过接口管理模块Ⅰ（210）校验后的响应消息，接口管理模块Ⅰ（210）根据响应消息中的数据标记将该条响应消息发送给数据采集端（100）中对应IP地址的数据采集站，并根据响应消息中的数据标记删除消息队列模块Ⅱ（220）中与之对应的生产数据；
步骤P5：消息队列模块Ⅰ（130）提取响应消息，并根据响应消息中的数据标记删除消息队列模块Ⅰ（130）中与之对应的生产数据；至此，本条生产数据的采集与传输过程完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710554750.7A CN107479514B (zh) | 2017-07-10 | 2017-07-10 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710554750.7A CN107479514B (zh) | 2017-07-10 | 2017-07-10 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107479514A true CN107479514A (zh) | 2017-12-15 |
| CN107479514B CN107479514B (zh) | 2019-12-03 |
Family
ID=60594947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710554750.7A Active CN107479514B (zh) | 2017-07-10 | 2017-07-10 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107479514B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415854A (zh) * | 2018-02-11 | 2018-08-17 | 中国神华能源股份有限公司 | 基于共享缓存的数据采集系统及方法 |
| CN108540304A (zh) * | 2018-02-12 | 2018-09-14 | 中国神华能源股份有限公司 | 基于工业大数据的远程采集监视系统及方法 |
| CN108566369A (zh) * | 2018-02-11 | 2018-09-21 | 中国神华能源股份有限公司 | 基于工业大数据的数据采集系统及方法 |
| CN109656210A (zh) * | 2018-12-20 | 2019-04-19 | 树根互联技术有限公司 | 工业数据采集方法、系统及主系统 |
| CN110502355A (zh) * | 2019-08-30 | 2019-11-26 | 浪潮软件集团有限公司 | 一种基于消息的学生学籍信息采集的方法及系统 |
| CN111047295A (zh) * | 2019-12-13 | 2020-04-21 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制丝加工过程的数据采集方法 |
| CN112069220A (zh) * | 2020-08-04 | 2020-12-11 | 扬州制汇互联信息技术有限公司 | 一种工业大数据平台快速查询方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117491A1 (en) * | 2002-12-11 | 2004-06-17 | Jeyhan Karaoguz | Third-party access and control of media peripherals on a media exchange network |
| CN101764758A (zh) * | 2010-01-30 | 2010-06-30 | 浙江工业大学 | 用于连接以太网与光突发交换网络的边缘节点及实现方法 |
| CN104243595A (zh) * | 2014-09-24 | 2014-12-24 | 国家电网公司 | 一种基于IPv6的用电信息采集系统及其方法 |
| CN105681462A (zh) * | 2016-03-14 | 2016-06-15 | 南京邮电大学 | 一种基于消息路由的集群系统及数据通信中转方法 |
| CN105872458A (zh) * | 2016-03-29 | 2016-08-17 | 上海斐讯数据通信技术有限公司 | 一种视频数据获取系统及方法 |
| US20160371097A1 (en) * | 2015-06-20 | 2016-12-22 | Joshua Clay Magee | Air Gapping / Offboarding of Software |
-
2017
- 2017-07-10 CN CN201710554750.7A patent/CN107479514B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117491A1 (en) * | 2002-12-11 | 2004-06-17 | Jeyhan Karaoguz | Third-party access and control of media peripherals on a media exchange network |
| CN101764758A (zh) * | 2010-01-30 | 2010-06-30 | 浙江工业大学 | 用于连接以太网与光突发交换网络的边缘节点及实现方法 |
| CN104243595A (zh) * | 2014-09-24 | 2014-12-24 | 国家电网公司 | 一种基于IPv6的用电信息采集系统及其方法 |
| US20160371097A1 (en) * | 2015-06-20 | 2016-12-22 | Joshua Clay Magee | Air Gapping / Offboarding of Software |
| CN105681462A (zh) * | 2016-03-14 | 2016-06-15 | 南京邮电大学 | 一种基于消息路由的集群系统及数据通信中转方法 |
| CN105872458A (zh) * | 2016-03-29 | 2016-08-17 | 上海斐讯数据通信技术有限公司 | 一种视频数据获取系统及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415854A (zh) * | 2018-02-11 | 2018-08-17 | 中国神华能源股份有限公司 | 基于共享缓存的数据采集系统及方法 |
| CN108566369A (zh) * | 2018-02-11 | 2018-09-21 | 中国神华能源股份有限公司 | 基于工业大数据的数据采集系统及方法 |
| CN108566369B (zh) * | 2018-02-11 | 2021-05-14 | 中国神华能源股份有限公司 | 基于工业大数据的数据采集系统及方法 |
| CN108540304A (zh) * | 2018-02-12 | 2018-09-14 | 中国神华能源股份有限公司 | 基于工业大数据的远程采集监视系统及方法 |
| CN108540304B (zh) * | 2018-02-12 | 2021-01-08 | 中国神华能源股份有限公司 | 基于工业大数据的远程采集监视系统及方法 |
| CN109656210A (zh) * | 2018-12-20 | 2019-04-19 | 树根互联技术有限公司 | 工业数据采集方法、系统及主系统 |
| CN110502355A (zh) * | 2019-08-30 | 2019-11-26 | 浪潮软件集团有限公司 | 一种基于消息的学生学籍信息采集的方法及系统 |
| CN111047295A (zh) * | 2019-12-13 | 2020-04-21 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制丝加工过程的数据采集方法 |
| CN111047295B (zh) * | 2019-12-13 | 2023-04-07 | 红云红河烟草(集团)有限责任公司 | 一种卷烟制丝加工过程的数据采集方法 |
| CN112069220A (zh) * | 2020-08-04 | 2020-12-11 | 扬州制汇互联信息技术有限公司 | 一种工业大数据平台快速查询方法 |
| CN112069220B (zh) * | 2020-08-04 | 2023-11-10 | 扬州制汇互联信息技术有限公司 | 一种工业大数据平台快速查询方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107479514B (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107479514A (zh) | 一种工业大数据过程控制数据采集和传输系统与实现方法 | |
| CN100512194C (zh) | 链路聚合方法、装置、mac帧收发方法和系统 | |
| CN102890631B (zh) | 基于持久化消息队列传输消息的方法及消息传输装置 | |
| CN106709043A (zh) | 一种基于数据库日志的数据同步加载方法 | |
| CN104092717B (zh) | 消息处理方法及系统、消息目的端设备 | |
| CN105306585B (zh) | 一种多数据中心的数据同步方法 | |
| CN100556037C (zh) | 一种snmp协议下采用确认机制实现告警管理的方法 | |
| CN102857838B (zh) | Olt端对onu端参数配置失败的再配置处理方法 | |
| CN102609479B (zh) | 一种内存数据库节点复制方法 | |
| CN104866528B (zh) | 多平台数据采集方法及系统 | |
| CN102143018B (zh) | 消息循环的检测方法、路由代理设备及组网系统 | |
| CN103441861A (zh) | 一种数据记录生成方法及装置 | |
| CN103516824A (zh) | 基于ip层的网络拓扑识别方法和设备 | |
| CN106789446B (zh) | 一种节点对等的集群分布式测试系统和方法 | |
| CN108512753B (zh) | 一种集群文件系统中消息传输的方法及装置 | |
| CN108512943A (zh) | 基于消息队列的嵌入式设备数据保存系统及保存方法 | |
| CN105812492A (zh) | 一种数据同步方法及系统 | |
| CN102984739A (zh) | 故障信息处理方法及装置 | |
| CN105450432A (zh) | 一种用于定位端口连接错误的方法和相关设备 | |
| CN105630629B (zh) | 数据备份方法和系统 | |
| CN112445809A (zh) | 一种分布式数据库节点存活状态检测模块及方法 | |
| CN104202389A (zh) | 云环境下的存储空间和运行状态的监测方法及云存储系统 | |
| CN102752144A (zh) | 一种软重启不中断业务升级过程中拓扑变化的处理方法及装置 | |
| CN113641765B (zh) | 面向巨量多源遥感数据的统一逻辑模型组织方法及其装置 | |
| CN102447632A (zh) | 一种具有数据容错能力的网络传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220119 Address after: 650000 building B08, Shuxiang Dadi community, Chenggong District, Kunming City, Yunnan Province Patentee after: Kunming Huayu Automation Technology Co.,Ltd. Address before: 650093 No. 253, Xuefu Road, Wuhua District, Yunnan, Kunming Patentee before: Kunming University of Science and Technology |
|
| TR01 | Transfer of patent right |