CN103902712A - 一种工业实时数据采集系统 - Google Patents
一种工业实时数据采集系统 Download PDFInfo
- Publication number
- CN103902712A CN103902712A CN201410131730.5A CN201410131730A CN103902712A CN 103902712 A CN103902712 A CN 103902712A CN 201410131730 A CN201410131730 A CN 201410131730A CN 103902712 A CN103902712 A CN 103902712A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- real
- time
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种工业实时数据采集系统，由计算机上的采集客户端软件收集工业采集前端的实时采集数据，接下来采用数据筛选软件对存储在一级数据库内的数据进行汇总、筛分后将结果存储至二级数据库内，终端用户随时读取或调用二级数据库中的数据或调用二级数据库存储的采集数据。本发明的有益效果是在数据的存储上采用了多级数据分布存储技术，减少了单一数据存储服务器的压力，数据库不必要再采用昂贵的实时数据库，降低了成本。由于采用分布存储，数据读取时可以从多个服务器同时取数，提高了数据读取的效率。
Description
技术领域
本发明属于工业数据采集技术领域，涉及一种工业实时数据采集系统。
背景技术
随着工业自动化程度的逐步提高，现场的各种数据(温度，流量，开关量等等)成倍级的不断增长，于是对这些离散数据的管理以及统计分析就成为了现场及各相关部门人员最头痛的问题。
使用数据采集将现场有效数据实时传到后台数据库服务器，这就为下一步的管理及统计分析提供了基础。同时由于数据的集中存放对于工艺改进，隐患排查，故障分析等提供了数据基础。
目前类似的采集系统多是只提供采集接口不存储或采用昂贵的实时数据库进行存储，致使用还需要针对接口进行要求很高的二次开发将采集数据存储，成本很高。
发明内容
本发明的目的在于提供一种工业实时数据采集系统，解决了现有的工业数据采集系统只提供采集接口不存储或采用昂贵的实时数据库进行存储，致使用还需要针对接口进行要求很高的二次开发将采集数据存储，成本很高的问题。
本发明所采用的技术方案是由计算机上的采集客户端软件收集工业采集前端的实时采集数据，采集客户端软件分三个线程同时运行，第一个线程负责接收采集数据，并在当前软件分配的缓冲区中缓存数据，第二个线程负责对缓冲区内数据进行验证、预处理和过滤，第三个线程负责将第二个线程处理完的数据存储至采集客户端软件指定的一级数据库内，接下来采用数据筛选软件对存储在一级数据库内的数据进行汇总、筛分后将结果存储至二级数据库内，终端用户随时读取或调用二级数据库中的数据或调用二级数据库存储的采集数据。
本发明的技术特点还在于一级数据库与前端采集安装在同一台电脑上或与二级数据库安装在一台电脑上。二级数据库还依次连接有多级数据库，数据筛选软件依次对每一级数据库的数据进行筛选后存入下一级数据库中。数据库选用Oracle或SQL Server数据库。
本发明的有益效果是在数据的存储上采用了多级数据分布存储技术，减少了单一数据存储服务器的压力，数据库不必要再采用昂贵的实时数据库，降低了成本。由于采用分布存储，数据读取时可以从多个服务器同时取数，提高了数据读取的效率。
附图说明
图1是本发明采集系统结构示意图；
图2是河北普阳钢铁有限公司烧结厂原料配比及消耗类数据采集系统结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明系统如图1所不：
1.前端采集实施：
首先，采集端配备电脑，采集端是指安装有我们采集客户端软件的电脑，其可以一台普通PC机或工业专用PC机等，其通过以太网(TCP)、串口(RS232/RS485)等和现场的PLC或仪表等设备相连接，并通过相应协议从现场设备读取工作时实时数据，并安装采集客户端软件，及其一级存储数据库(可选Oracle或SQL Server)，采集客户端软件共分有3个线程同步工作：
1)第一个线程负责从设备采集原始数据，并在当前软件分配的缓冲区中缓存数据。
2)第二个线程负责对缓冲区内数据进行一系列的验证(如：数据数值是否在有效范围内等)、预处理(如：对数据数值进行范围标定、对于累计类的数值只需要存储其差值等)、过滤(如：对于开关类的数值只需要存储有变化的状态值等)。
验证主要是为了丢弃一些错误、异常数据，比如取某一测量点温度值，我们已知此点温度最高不会超过1000度，但是实际取从现场读出来一个32767的温度值，因为它远远超出其合理的温度值范围，所以认为此时的值是一个异常值，将其丢弃以避免后续环节再对一个无效数据做处理。
预处理主要是为了对一些数据做相应运算，比如数值标定，已知某一测量点的温度值是0-240度，但从现场实际读取是一个从0-32767的模拟量值(就是说0表示0度，32767表示240度)，所以我们需要将0-32767之间的模拟量值转换为0-240之间的温度值。
过滤主要是为了去掉一些多余的数据，比如要记录一个门的状态，其实我们只需要保存一些门变化时的状态就可以，其余时间的状态数据因为没有变化所以没有必要保存其状态值，所以我们将中间的这些没必要的数据丢弃掉
3)第三个线程负责将第二个线程处理完的数据存储至指定的一级数据库内。
2.多级数据筛选实施：
数据筛选是一个服务类软件，其主要负责对存储在一级数据库内的原始数据进行汇总(例如：可以将原始的秒级数据汇总为分钟级的或小时级的数据)、筛分后将结果存储至其后的二级(或三级、四级等等)数据库内，其可以和前端采集安装同一电脑上也可以和其后的二级数据库安装在同一台电脑上，依据情况，我们可以配置多级数据筛选，一级、二级、三级等是为了不同的目的安装了多级筛分，以提高其处理性能，比如一级负责将前端采集的每秒的数据汇总为每分钟的数据，二级负责将每分钟的数据汇总为每小时的数据等。
多级数据分布存储实施(数据库部署)：数据存储主要是指数据库的安装，如：Oracle或SQL Server，其是为了配合多级数据筛选，提高存储和读取性能，分散存储的空间，相应部署多级存储数据库，分别存储不同类的数据(如：有的存储分钟的汇总数据，有的存储小时的汇总，有的存储月的汇总和年的汇总等)，其一般推荐安装在单独的服务器上。
3.配置客户端安装：
配置客户端是安装在个人电脑上的一套客户端软件，其主要功能是方便远程配置采集所需的一些参数，例如：可配置采集的点，采集点是指要从现场(PLC或仪表等)的读取数据点，比如一块仪表，一个温度传感器等都算是一个采集点。采集的通讯方式(TCP或RS232等)，每个点的相应地址信息等，本发明中客户端和采集端一般都不在一台电脑上，采集端一般位于现场，而客户端一般安装在办公室电脑或笔记本电脑上，方便在任何一有网络地方配置采集端。客户端可直接从最后一级数据库中读取数据，进行报表制作、数据展示等功用。
本发明系统可适用于温度，压力，流量，原料消耗等等秒级的被采集系统。本发明适用于多数需要采集实时数据对应设备采用标准协议的工业场合，如：可通过TCP、RS232、RS485等直接采集PLC或各种仪器仪表中的数据。本发明如图1所示，通过多层数据处理技术减少了前端数据采集的压力，多层数据处理就是指图1中的前端、缓冲、验证、预处理、过滤以及后面的多级筛选、汇总。将数据验证、预处理、过滤从前端采集分离出来，并在其中间添加缓冲环节，且这些环节都是同步进行，这样对于前端采集来说压力就减轻了。增强了采集的实时性，多层数据库存储就是多级分布数据存储。同上由于将任务分解给多个环节做，且是同步工作，因此其实时性相应增强
本发明通过多级分布数据存储技术减少后端数据存储服务器的压力，同时也提高了数据报表或展示时数据读取的性能。本发明配有远程配置管理客户端可直接从远程配置管理前端采集的各种参数，方便系统实施和维护。对采集端的配置采用远程管理配置方式，极大的方便操作及管理。由于采用了多层数据处理技术，有效均衡了网络及数据库的负载，实现了使用SQL Server，Oracle等非实时数据库及实现了可满足生产及相关人员需要的数据采集及统计分析，同时也降低了对服务器配置的要求。对数据的存储采用的是多级分布存储，集中管理的方式，极大提高了数据存储和读取的性能。
综上所述，
1.本发明在采集时采用多层数据处理技术，有效减少了无效数据的存储，节省存储空间、提高采集效率、同时也提高了数据分析的性能，而其他多采用的是将前端采集的数据全部进行存储，使用再进行数据筛选过滤。
2.本发明在数据的存储上采用了多级数据分布存储技术，而其他从是采用集中存储的方式，相比：
a)我们减少了单一数据存储服务器的压力，数据库不必要再采用昂贵的实时数据库，降低了成本。
b)由于采用分布存储，数据读取时可以从多个服务器同时取数，提高了数据读取的效率。
3.本发明采用远程配置管理技术，在任何一个有连接网络的地方
即可管理配置所有前端采集端，方便实施和日常维护管理。下面通过具体实施例对本发明进行说明。
实施例1：图2为河北普阳钢铁有限公司烧结厂原料配比及消耗类数据采集系统的框图。采集前端采集265烧结厂上料数据、265烧结厂控制数据、180烧结厂上料数据、180烧结厂控制数据，通过西门子S7-400PLC型号采集前端，将采集到的数据传送给采集端，进行缓冲、验证、预处理与过滤后，存入一级存储数据库内(SQLServer)，对数据进行筛选、汇总，存入二级存储数据库内，再对数据进行筛选、汇总，由客户终端读出应用于数据报表系统。
Claims (4)
1.一种工业实时数据采集系统，其特征在于：由计算机上的采集客户端软件收集工业采集前端的实时采集数据，采集客户端软件分三个线程同时运行，第一个线程负责接收采集数据，并在当前软件分配的缓冲区中缓存数据，第二个线程负责对缓冲区内数据进行验证、预处理和过滤，第三个线程负责将第二个线程处理完的数据存储至采集客户端软件指定的一级数据库内，接下来采用数据筛选软件对存储在一级数据库内的数据进行汇总、筛分后将结果存储至二级数据库内，终端用户随时读取或调用二级数据库中的数据或调用二级数据库存储的采集数据。
2.按照权利要求1所述一种工业实时数据采集系统，其特征在于：所述一级数据库与前端采集安装在同一台电脑上或与二级数据库安装在一台电脑上。
3.按照权利要求1或2所述一种工业实时数据采集系统，其特征在于：所述二级数据库还依次连接有多级数据库，数据筛选软件依次对每一级数据库的数据进行筛选后存入下一级数据库中。
4.按照权利要求1或2所述一种工业实时数据采集系统，其特征在于：所述数据库选用Oracle或SQL Server数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410131730.5A CN103902712A (zh) | 2014-04-03 | 2014-04-03 | 一种工业实时数据采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410131730.5A CN103902712A (zh) | 2014-04-03 | 2014-04-03 | 一种工业实时数据采集系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103902712A true CN103902712A (zh) | 2014-07-02 |
Family
ID=50994034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410131730.5A Pending CN103902712A (zh) | 2014-04-03 | 2014-04-03 | 一种工业实时数据采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103902712A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572975A (zh) * | 2014-12-31 | 2015-04-29 | 中国石油天然气股份有限公司 | 一种实时数据处理分析系统 |
| CN105160477A (zh) * | 2015-09-08 | 2015-12-16 | 杭州爱惠信息技术有限公司 | 基于rfid模拟地理位置定位的方法及利用了该方法的资产设备管理系统 |
| CN106790491A (zh) * | 2016-12-14 | 2017-05-31 | 日照职业技术学院 | 面向数据的物联网可移动终端智能平台的实现方法 |
| CN107742157A (zh) * | 2017-08-25 | 2018-02-27 | 东莞市智物信息科技有限公司 | 一种数据采集系统及方法 |
| CN109582617A (zh) * | 2018-11-05 | 2019-04-05 | 中国航空工业集团公司西安飞机设计研究所 | 一种多级总线数据传输中的数据选择方法 |
| CN111371653A (zh) * | 2020-03-13 | 2020-07-03 | 杭州和利时自动化有限公司 | 一种设备监控数据展示方法及相关装置 |
| CN111586090A (zh) * | 2020-03-25 | 2020-08-25 | 杭州传化智能制造科技有限公司 | 工业数据采集的方法、系统、计算机设备和可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020039903A1 (en) * | 2000-04-13 | 2002-04-04 | Nec Corporation | Data distribution system |
| CN102069094A (zh) * | 2010-11-16 | 2011-05-25 | 北京首钢自动化信息技术有限公司 | 一种基于数据挖掘的板形控制关键工艺参数优化系统 |
| CN102149103A (zh) * | 2011-04-11 | 2011-08-10 | 北京铭润创展科技有限公司 | 网络优化系统及方法 |
-
2014
- 2014-04-03 CN CN201410131730.5A patent/CN103902712A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020039903A1 (en) * | 2000-04-13 | 2002-04-04 | Nec Corporation | Data distribution system |
| CN102069094A (zh) * | 2010-11-16 | 2011-05-25 | 北京首钢自动化信息技术有限公司 | 一种基于数据挖掘的板形控制关键工艺参数优化系统 |
| CN102149103A (zh) * | 2011-04-11 | 2011-08-10 | 北京铭润创展科技有限公司 | 网络优化系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572975A (zh) * | 2014-12-31 | 2015-04-29 | 中国石油天然气股份有限公司 | 一种实时数据处理分析系统 |
| CN104572975B (zh) * | 2014-12-31 | 2018-09-04 | 中国石油天然气股份有限公司 | 一种实时数据处理分析系统 |
| CN105160477A (zh) * | 2015-09-08 | 2015-12-16 | 杭州爱惠信息技术有限公司 | 基于rfid模拟地理位置定位的方法及利用了该方法的资产设备管理系统 |
| CN106790491A (zh) * | 2016-12-14 | 2017-05-31 | 日照职业技术学院 | 面向数据的物联网可移动终端智能平台的实现方法 |
| CN106790491B (zh) * | 2016-12-14 | 2019-10-15 | 日照职业技术学院 | 面向数据的物联网可移动终端智能平台的实现方法 |
| CN107742157A (zh) * | 2017-08-25 | 2018-02-27 | 东莞市智物信息科技有限公司 | 一种数据采集系统及方法 |
| CN109582617A (zh) * | 2018-11-05 | 2019-04-05 | 中国航空工业集团公司西安飞机设计研究所 | 一种多级总线数据传输中的数据选择方法 |
| CN109582617B (zh) * | 2018-11-05 | 2022-06-28 | 中国航空工业集团公司西安飞机设计研究所 | 一种多级总线数据传输中的数据选择方法 |
| CN111371653A (zh) * | 2020-03-13 | 2020-07-03 | 杭州和利时自动化有限公司 | 一种设备监控数据展示方法及相关装置 |
| CN111586090A (zh) * | 2020-03-25 | 2020-08-25 | 杭州传化智能制造科技有限公司 | 工业数据采集的方法、系统、计算机设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103902712A (zh) | 一种工业实时数据采集系统 | |
| CN107733986A (zh) | 支持一体化部署及监控的保护运行大数据支撑平台 | |
| CN102053608B (zh) | 一种生产过程中能耗交互处理方法 | |
| CN107909300A (zh) | 智能工厂管理平台和方法 | |
| CN103034929A (zh) | 用于污水厂的运营管理系统和远程信息化管理系统 | |
| CN106506266B (zh) | 基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法 | |
| CN105046344B (zh) | 面向智能电网调度技术支持系统的主站数据质量优化方法 | |
| CN101251910A (zh) | 远程计算机仓储管理系统 | |
| KR20150112357A (ko) | 센서 데이터 처리 시스템 및 방법 | |
| CN101441733A (zh) | 基于库存数据的企业生产控制系统 | |
| CN105278879A (zh) | 监控数据的处理方法及装置 | |
| CN109507924A (zh) | 用于油田作业设备的远程监控系统 | |
| CN103218680A (zh) | 水务企业的数据分析决策系统 | |
| CN105302697A (zh) | 一种密集数据模型数据库的运行状态监控方法及系统 | |
| CN106597901A (zh) | 基于云服务的分布式综合能耗管理与分析方法及系统 | |
| CN103616883A (zh) | 直饮机远程监控及智能化网络客户管理系统 | |
| CN104391479B (zh) | 基于主轴功率监控的机床工作状态的自动统计方法及系统 | |
| CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
| CN109299919A (zh) | 一种业扩审计管理方法及系统 | |
| CN206505312U (zh) | 一种智能工控系统 | |
| CN113050573B (zh) | 一种基于生产节奏的空压机节能的方法 | |
| CN102622367B (zh) | 流程数据的过滤和压缩方法 | |
| CN101441732A (zh) | 计算机仓储管理系统 | |
| CN101593309A (zh) | 生产性企业的计算机经营管理系统 | |
| CN101251909A (zh) | 基于库存数据的远程企业经营管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140702 |