CN110850824A - 一种将分布式控制系统数据采集至Hadoop平台的实现方法 - Google Patents
一种将分布式控制系统数据采集至Hadoop平台的实现方法 Download PDFInfo
- Publication number
- CN110850824A CN110850824A CN201911101069.2A CN201911101069A CN110850824A CN 110850824 A CN110850824 A CN 110850824A CN 201911101069 A CN201911101069 A CN 201911101069A CN 110850824 A CN110850824 A CN 110850824A
- Authority
- CN
- China
- Prior art keywords
- data
- hadoop platform
- dcs
- data acquisition
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005192 partition Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000007639 printing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 abstract description 6
- 238000009776 industrial production Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41845—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by system universality, reconfigurability, modularity
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33273—DCS distributed, decentralised controlsystem, multiprocessor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种将分布式控制系统数据采集至Hadoop平台的实现方法，首先采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，从DCS采集多个变量数据；在关系型数据库中按日期建立多个分区表，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中。该方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储。
Description
技术领域
本发明涉及分布式控制系统技术领域，尤其涉及一种将分布式控制系统数据采集至Hadoop平台的实现方法。
背景技术
目前，制造业生产现场均使用DCS(Distributed Control System，分布式控制系统)对现场仪器仪表、执行器、生产设备等进行数据集成，实现对生产过程的分散控制集中管理。DCS秒级采集、产生并存储着大量生产过程数据，是获取生产过程数据的重要系统；Hadoop是Apache基金会开发的分布式数据存储与计算框架，基于Hadoop框架部署的平台，可实现对海量数据的分布式存储与计算。企业部署Hadoop平台一般是企业开展大数据业务的标志，Hadoop大数据平台已经广泛应用于金融、医疗、电商等行业，但几乎没有用于制造业的生产过程领域，以致制造业生产过程的大数据分析技术应用不足。
分布式控制系统DCS带有OPC(OLE for Process Control，用于过程控制的OLE)、ModbusTCP/IP、Profinet等工业通讯协议，可以对外系统数据集成接口，目前一些工业数据采集软件可以通过工业通讯协议连接至DCS采集数据，但仅能做协议转换，即将数据转发给支持其他种类工业通讯协议的系统，或转存至关系型数据库，但无法将数据传输给Hadoop平台。由于Hadoop平台是套IT解决方案，不支持工业通讯协议，目前没有较好的手段能将DCS中的各类生产数据直接采集并存储于Hadoop平台，这直接制约了制造业生产过程的大数据分析技术与应用的发展，因此将DCS数据采集至Hadoop平台具有重要的意义。
发明内容
本发明的目的是提供一种将分布式控制系统数据采集至Hadoop平台的实现方法，该方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储，从而解决Hadoop平台无法获取DCS数据的问题。
本发明的目的是通过以下技术方案实现的：
一种将分布式控制系统数据采集至Hadoop平台的实现方法，所述方法包括：
步骤1、采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，按数据采集粒度要求从所述DCS采集多个变量数据；
步骤2、在关系型数据库中按日期建立多个分区表，通过开放数据库连接ODBC连接所述DCS数据采集软件与所述关系型数据库，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；
步骤3、在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中。
由上述本发明提供的技术方案可以看出，上述方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储，从而解决Hadoop平台无法获取DCS数据的问题，为基于Hadoop平台做工业大数据分析做准备。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的将分布式控制系统数据采集至Hadoop平台的实现方法流程示意图；
图2为本发明所举实例实现数据流向示意图；
图3为本发明所举实例中数据库表结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的将分布式控制系统数据采集至Hadoop平台的实现方法流程示意图，所述方法包括：
步骤1、采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，按数据采集粒度要求从所述DCS采集多个变量数据；
在该步骤中，所采集的变量数据包括变量名、值、时间戳、数据质量等。
步骤2、在关系型数据库中按日期建立多个分区表，通过开放数据库连接ODBC(Open Database Connectivity)连接所述DCS数据采集软件与所述关系型数据库，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；
步骤3、在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态的sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)中。
上述Sqoop是为在Hadoop平台和结构化数据存储(如关系型数据库)之间高效传输批量数据而设计的工具。
该步骤的具体过程为：
首先获取当前日期，之后启动Hadoop平台的sqoop进程；
sqoop按当前时间前一天的日期获取所述关系型数据库中对应的分区表，并将该分区表中所有的数据抽取至所述Hadoop平台的分布式文件系统HDFS中，然后打印并存储抽取日志。
另外，在将数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中后，还可以进一步将所述关系型数据库对应的分区表删除，以解决关系型数据库中转过程压力大的问题。
具体实现中，上述采用的数据采集软件可以为KEPServerEX软件(KEPServerEX软件是美国Kepware公司出品的一款工业数据采集软件，支持多种工业通讯协议的通讯及关系型数据库的访问)；采用的工业通讯协议可以为OPC DA(Data Access，数据访问)通讯协议；采用的关系型数据库可以为MySQL社区版(MySQL是美国Orcale公司旗下一款关系型数据库产品)。
值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术，例如除上述数据采集软件外，其他支持主流工业通讯协议和关系数据库连接的软件也是可行的。
下面以具体的实例对上述实现方法进行详细说明，本实例中数据采集软件采用KEPServerEX软件，采用OPC DA通讯协议与DCS建立起连接，关系型数据库采用MySQL社区版，如图2所示为本发明所举实例实现数据流向示意图，参考图2：
第一，采用KEPServerEX软件通过OPC DA通讯协议与DCS建立连接，采集DCS的诸多变量数据，包括变量名、值、时间戳、数据质量。
第二，在MySQL数据库中创建数据分区表，如图3所示为本发明所举实例中数据库表结构图，该格式与OPC DA通讯数据格式一致，KEPServerEX软件传输至MySQL的数据即按此格式插入数据记录。具体实现中，由于DCS传输数据量较大，若存储一张表，存储压力大，影响MySQL性能，故本发明实例按数据采集日期创建多个分区表；再将KEPServerEX软件采集到的数据转存至MySQL的分区表中。
第三，在Hadoop主节点服务上编写Linux时间调度脚本，即创建定时任务，每天00:10触发脚本，首先获取当前日期，之后启动sqoop进程，sqoop按当前时间前一天的日期获取MySQL中对应的分区表，将该分区表中所有数据抽取至Hadoop的HDFS分布式文件系统中，打印并存储日志，最后将被抽取数据的分区表删除。
综上所述，本发明实施例所述方法能将集成至DCS的海量工业生产过程数据传输至Hadoop平台，以实现对这些数据的分布式存储，从而解决Hadoop平台无法获取DCS数据的问题，为基于Hadoop平台做工业大数据分析做准备，能够适应各个行业的DCS数据采集，实现方便、成本低。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种将分布式控制系统数据采集至Hadoop平台的实现方法，其特征在于，所述方法包括：
步骤1、采用支持关系型数据库的分布式控制系统DCS数据采集软件，通过工业通讯协议连接分布式控制系统DCS，按数据采集粒度要求从所述DCS采集多个变量数据；
步骤2、在关系型数据库中按日期建立多个分区表，通过开放数据库连接ODBC连接所述DCS数据采集软件与所述关系型数据库，将所述DCS数据采集软件采集到的数据按日期存储在对应的分区表中；
步骤3、在Hadoop平台的主节点服务器上创建定时任务，基于Hadoop平台生态sqoop中间件，按日期将所述关系型数据库对应分区表中的数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中。
2.根据权利要求1所述将分布式控制系统数据采集至Hadoop平台的实现方法，其特征在于，所述方法还包括：
在将数据完整抽取至所述Hadoop平台的分布式文件系统HDFS中后，进一步将所述关系型数据库对应的分区表删除。
3.根据权利要求1所述将分布式控制系统数据采集至Hadoop平台的实现方法，其特征在于，在步骤1中，所采集的变量数据包括变量名、值、时间戳、数据质量。
4.根据权利要求1所述将分布式控制系统数据采集至Hadoop平台的实现方法，其特征在于，在所述步骤3中，
首先获取当前日期，之后启动Hadoop平台的sqoop进程；
sqoop按当前时间前一天的日期获取所述关系型数据库中对应的分区表，并将该分区表中所有的数据抽取至所述Hadoop平台的分布式文件系统HDFS中，然后打印并存储抽取日志。
5.根据权利要求1所述将分布式控制系统数据采集至Hadoop平台的实现方法，其特征在于，
所采用的数据采集软件为KEPServerEX软件；
所采用的工业通讯协议为OPC DA通讯协议；
所采用的关系型数据库为MySQL社区版。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911101069.2A CN110850824A (zh) | 2019-11-12 | 2019-11-12 | 一种将分布式控制系统数据采集至Hadoop平台的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911101069.2A CN110850824A (zh) | 2019-11-12 | 2019-11-12 | 一种将分布式控制系统数据采集至Hadoop平台的实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110850824A true CN110850824A (zh) | 2020-02-28 |
Family
ID=69600090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911101069.2A Pending CN110850824A (zh) | 2019-11-12 | 2019-11-12 | 一种将分布式控制系统数据采集至Hadoop平台的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110850824A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286882A (zh) * | 2020-10-30 | 2021-01-29 | 山东黄金矿业(莱州)有限公司三山岛金矿 | 一种工业生产现场将异地非结构化数据采集至Hadoop平台的方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102141963A (zh) * | 2010-01-28 | 2011-08-03 | 阿里巴巴集团控股有限公司 | 一种数据分析方法和设备 |
| CN102854870A (zh) * | 2012-05-09 | 2013-01-02 | 上海西门子工业自动化有限公司 | 一种分布式控制系统和数据报表生成方法 |
| CN104123392A (zh) * | 2014-08-11 | 2014-10-29 | 吉林禹硕动漫游戏科技股份有限公司 | 一种关系型数据库迁移到HBase数据库的工具和方法 |
| CN107016501A (zh) * | 2017-03-28 | 2017-08-04 | 浙江力太科技有限公司 | 一种高效的工业大数据多维分析方法 |
| CN107103050A (zh) * | 2017-03-31 | 2017-08-29 | 海通安恒（大连）大数据科技有限公司 | 一种大数据建模平台及方法 |
| CN109189764A (zh) * | 2018-09-20 | 2019-01-11 | 北京桃花岛信息技术有限公司 | 一种基于Hive的高校数据仓库分层设计方法 |
| CN109241184A (zh) * | 2018-08-20 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN109241063A (zh) * | 2018-09-27 | 2019-01-18 | 中国银行股份有限公司 | 一种数据合并方法及系统 |
| CN109408602A (zh) * | 2018-10-16 | 2019-03-01 | 深圳中顺易金融服务有限公司 | 一种大数据综合处理方法及系统 |
| CN109933620A (zh) * | 2019-03-18 | 2019-06-25 | 上海大学 | 基于Spark的火电大数据挖掘方法 |
| CN110168515A (zh) * | 2016-09-15 | 2019-08-23 | 英国天然气控股有限公司 | 用于分析数据关系以支持查询执行的系统 |
| CN111177276A (zh) * | 2020-01-06 | 2020-05-19 | 浙江中烟工业有限责任公司 | 一种基于Spark计算框架的动能数据处理系统及方法 |
-
2019
- 2019-11-12 CN CN201911101069.2A patent/CN110850824A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102141963A (zh) * | 2010-01-28 | 2011-08-03 | 阿里巴巴集团控股有限公司 | 一种数据分析方法和设备 |
| CN102854870A (zh) * | 2012-05-09 | 2013-01-02 | 上海西门子工业自动化有限公司 | 一种分布式控制系统和数据报表生成方法 |
| CN104123392A (zh) * | 2014-08-11 | 2014-10-29 | 吉林禹硕动漫游戏科技股份有限公司 | 一种关系型数据库迁移到HBase数据库的工具和方法 |
| CN110168515A (zh) * | 2016-09-15 | 2019-08-23 | 英国天然气控股有限公司 | 用于分析数据关系以支持查询执行的系统 |
| CN107016501A (zh) * | 2017-03-28 | 2017-08-04 | 浙江力太科技有限公司 | 一种高效的工业大数据多维分析方法 |
| CN107103050A (zh) * | 2017-03-31 | 2017-08-29 | 海通安恒（大连）大数据科技有限公司 | 一种大数据建模平台及方法 |
| CN109241184A (zh) * | 2018-08-20 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN109189764A (zh) * | 2018-09-20 | 2019-01-11 | 北京桃花岛信息技术有限公司 | 一种基于Hive的高校数据仓库分层设计方法 |
| CN109241063A (zh) * | 2018-09-27 | 2019-01-18 | 中国银行股份有限公司 | 一种数据合并方法及系统 |
| CN109408602A (zh) * | 2018-10-16 | 2019-03-01 | 深圳中顺易金融服务有限公司 | 一种大数据综合处理方法及系统 |
| CN109933620A (zh) * | 2019-03-18 | 2019-06-25 | 上海大学 | 基于Spark的火电大数据挖掘方法 |
| CN111177276A (zh) * | 2020-01-06 | 2020-05-19 | 浙江中烟工业有限责任公司 | 一种基于Spark计算框架的动能数据处理系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286882A (zh) * | 2020-10-30 | 2021-01-29 | 山东黄金矿业(莱州)有限公司三山岛金矿 | 一种工业生产现场将异地非结构化数据采集至Hadoop平台的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103942287B (zh) | 海量数据处理方法、数据库服务器及应用服务器 | |
| CN111585344B (zh) | 一种基于全站ied仿真的变电站智能校核方法及装置 | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| CN106599104A (zh) | 一种基于redis集群的海量数据关联方法 | |
| CN102508908A (zh) | 一种下级财政业务数据的采集方法和系统 | |
| CN104468274A (zh) | 一种集群监控管理方法及系统 | |
| CN110995566A (zh) | 一种消息数据推送方法、系统及装置 | |
| CN110196780B (zh) | 确定服务器状态的方法、装置、存储介质和电子装置 | |
| CN114201540A (zh) | 工业多源数据采集及存储系统 | |
| Hongqian et al. | Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms | |
| CN107291938B (zh) | 订单查询系统及方法 | |
| CN110850824A (zh) | 一种将分布式控制系统数据采集至Hadoop平台的实现方法 | |
| CN116628111A (zh) | 数据处理转换方法及装置 | |
| CN105338107A (zh) | 一种据点运营同步管理系统及方法 | |
| CN1971599A (zh) | 一种软件应用错误监控方法及系统 | |
| CN109582659A (zh) | 请求处理环节的记录方法、系统、装置及可读存储介质 | |
| CN109783330A (zh) | 日志处理方法、显示方法和相关装置、系统 | |
| CN117319527A (zh) | 一种基于标识解析网关的时序数据处理方法、设备及介质 | |
| CN114077633A (zh) | 一种基于opc ua的多源异构数控系统监控服务器 | |
| KR101736382B1 (ko) | 이엠에스 서버 및 이의 로그 데이터 관리 방법 | |
| CN107786661B (zh) | 信息同步方法 | |
| CN115208058A (zh) | 一种分散式配电终端即插即用方法及系统 | |
| CN114238024A (zh) | 时序图生成方法与系统 | |
| CN113055490A (zh) | 数据的存储方法及装置 | |
| CN113742393A (zh) | 一种适用于互联网应用的时序数据处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |