CN103514273B - 数据采集和监视控制系统及该系统的数据处理方法 - Google Patents

数据采集和监视控制系统及该系统的数据处理方法 Download PDF

Info

Publication number
CN103514273B
CN103514273B CN201310421164.7A CN201310421164A CN103514273B CN 103514273 B CN103514273 B CN 103514273B CN 201310421164 A CN201310421164 A CN 201310421164A CN 103514273 B CN103514273 B CN 103514273B
Authority
CN
China
Prior art keywords
data
relational database
control system
stored
dam control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310421164.7A
Other languages
English (en)
Other versions
CN103514273A (zh
Inventor
陈华
谌志钦
贝毅君
王宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Dongguan Technology Co., Ltd.
Ningbo Donghai Group Corp., Ltd.
Original Assignee
NINGBO DONGGUAN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO DONGGUAN TECHNOLOGY Co Ltd filed Critical NINGBO DONGGUAN TECHNOLOGY Co Ltd
Priority to CN201310421164.7A priority Critical patent/CN103514273B/zh
Publication of CN103514273A publication Critical patent/CN103514273A/zh
Application granted granted Critical
Publication of CN103514273B publication Critical patent/CN103514273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/328—Management therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据采集和监视控制系统，其数据库由Oracle数据库和HBase数据库组成，本发明还公开了一种数据采集和监视控制系统的数据处理方法，它通过将不同种类的数据和不同记录总数的数据分别存储到关系数据库和非关系数据库，并对存储在关系数据库和非关系数据库中的数据根据不同的查询方法查询数据。本发明使得数据存储空间较容易扩展、可以实现对海量数据的高效率存取。

Description

数据采集和监视控制系统及该系统的数据处理方法
技术领域
本发明涉及一种数据采集和监视控制系统及该系统的数据处理方法。
背景技术
数据采集和监视控制系统，即SCADA(Supervisory Control And Data Acquisition)，它是以计算机为基础的生产过程控制与调度自动化系统，它可以对现场的运行设备进行监视和控制，以实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能，它应用领域很广，可以应用于电力、冶金、石油、化工、供水等领域的数据采集与监视控制以及过程控制等。
SCADA系统的主要特征是随着系统的运行，每天都会产生一定量的采集数据，对于一个供水行业中等规模的管网应用SCADA系统，每天的采集数据可能达到千万级。存取记录总数为亿级的表，对于关系数据库而言会因为数据存储量太大而使得查询速度较慢，同时不断增长的采集数据也会面临海量数据存储的问题，关系数据库系统很难通过简单增加更多的硬件和服务节点的方式来扩展数据存取性能和负载能力。
发明内容
本发明所要解决的技术问题是，提供数据存储空间较容易扩展、可以实现对海量数据的高效率存取的数据采集和监视控制系统。
为解决上述技术问题，本发明提供的数据采集和监视控制系统，它包括依次通讯连接的客户端、服务器和关系数据库，它还包括与服务器通讯连接的非关系数据库；
上述数据采集和监视控制系统的数据处理方法包括以下步骤：
(1)、当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数大于等于N时，将该类数据以键值对(Key-Value)的方式存储到非关系数据库；
当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数小于N时，将该类数据存储到关系数据库；
当某类数据为结构化数据时，将该类数据存储到关系数据库；
(2)、对于存储在关系数据库中的数据，将经常作为查询条件的字段建立索引；
对于存储在非关系数据库中的数据，将作为查询条件的字段设置为行键(RowKey)的组成部分；
(3)、查询结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；
查询存储在关系数据库中的非结构化数据和半结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；
查询存储在非关系数据库中的非结构化数据和半结构化数据时，先根据查询条件从关系数据库获取信息来生成所需数据的行键范围，根据该行键范围从非关系数据中获取符合条件的数据。
将非结构化数据和半结构化数据存储到非关系数据库时，存储的步骤是先从关系数据库中获取对应的信息生成该数据的行键，然后将该数据以键值对(Key-Value)的方式保存到非关系数据库。
采用以上系统和方法后，本发明与现有技术相比，具有以下的优点：
存储结构简单、记录总数较多的非结构化数据和半结构化数据时，采用非关系数据库存储；存储结构简单、记录总数较少的非结构化数据和半结构化数据时，采用关系数据库存储；存储结构化数据时，由于结构化数据具有结构复杂、记录总数不多特性，采用关系数据库来存储；非关系数据库对海量数据的高效率的存取，很好地解决了关系数据库海量数据存取效率方面的问题，并且非关系数据库的可扩展性和高可用性的特点，通过简单地增加非关系数据库服务器就能够扩展数据的存储，使得数据存储空间较容易扩展。
附图说明
图1是本发明数据采集和监视控制系统的结构示意图；
其中，1、客户端；2、服务器；3、非关系数据库；4、关系数据库。
具体实施方式
结合某水司的管网供水的SCADA系统的工作原理和过程，对本发明的技术方案进一步说明。
由图1所示，本发明数据采集和监视控制系统，它包括依次通讯连接的客户端1、服务器2和关系数据库4，它还包括与服务器2通讯连接的非关系数据库3，所述的服务器2包括采集服务器和WEB服务器，采集服务器和WEB服务器分别与关系数据库和非关系数据库通讯连接，WEB服务器上部署有WEB程序，采集服务器上部署有通讯程序，Web程序主要为用户操作提供GUI接口，用户可以通过浏览器录入区域、监测点、通讯采集设备资料，查询区域、监测点、通讯采集设备、采集数据等功能。通讯程序主要监听Socket端口，RTU(远程数据单元)通过Socket连接到采集服务器，采集服务器接收RTU发送的采集数据数据。
所述的关系数据库选取的是Oracle数据库，所述的非关系数据库选取的是HBase数据库，Oracle数据库为结构化数据和数据记录总数小于5千万条的非结构化数据或半结构化数据提供存储服务，HBase数据库为数据记录总数大于等于5千万条的非结构化数据或半结构化数据提供存储服务。
本发明数据采集和监视控制系统的数据处理方法，它包括以下步骤：
1)制定数据存储的基本原则，也就是说根据数据的记录总数和数据的结构化程度确定各类数据如何存储，具体原则如下：
当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数大于等于5千万条时，将该类数据以键值对(Key-Value)的方式存储到HBase数据库；
当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数小于N时，将该类数据存储到Oracle数据库；
当某类数据为结构化数据时，将该类数据存储到Oracle数据库；
在具体应用中，区域、监测点、通讯采集设备数据结构复杂，并且这些数据的记录总数不是很多，将它们存储在Oracle数据库中；而监测点采集数据包括监测点ID、采集数据类型、采集数据、采集数据时间，一个监测点采集数据每分钟有6条记录(包括累计流量、瞬时流量、压力、PH值、余氯、浑浊度等)，每年315万条采集数据记录，2000个监测点每年的采集数据总记录数为63亿，采集数据结构简单、数据量巨大，将监测点的采集数据存储在HBase数据库。
2)为SCADA系统的数据设计数据模型。Oracle数据库存储区域、监测点、通讯采集设备等结构化数据。区域表包括：区域ID(主键)、区域名称、上级区域ID(外键，引用区域表)。为区域名称建立索引。监测点表的字段包括：监测点ID(主键)、监测点编号、监测点名称、监测点状态、监测点所属区域ID(外键，引用区域表)、监测点地址。为监测点编号、监测点名称建立索引。通讯采集设备表包括：设备ID(主键)、设备通讯地址、设备的通道号、设备安装地址、设备所属区域ID(外键，引用区域表)、监测点ID(外键，引用监测点表)。为设备通讯地址、设备的通道号建立索引。HBase数据库存储监测点的采集数据，将用作查询条件的字段设置为行键(RowKey)的组成部分，行键由区域ID(Integer,4Bytes)+监测点ID(Integer,4Bytes)+采集数据时间(yymmdd,6Bytes)+测项类型(Short,2Bytes)的组成。
3)当用户检索区域、监测点、通讯采集设备等结构化数据时，Web程序根据用户的查询条件(监测点编号、监测点、所属区域、通讯采集设备通讯地址等)，到Oracle数据库查找符合条件的区域、监测点、通讯采集设备资料。当用户查询监测点的采集数据时，SCADA系统(Web程序)根据用户的查询条件——监测点编号、采集数据类型、采集数据时间范围后，先到Oracle数据库获取监测点资料(包括监测点所属区域ID、监测点ID)，再根据查询采集数据的时间范围，生成一个完整的行键范围，最后在HBase中扫描该行键范围内所有的数据，并通过自定义的RowFilter在HBase服务器端过滤掉不符合条件的采集数据数据。对从HBase获取的数据进行规整、统计返回给Web页面。

Claims (4)

1.一种数据采集和监视控制系统，它包括依次通讯连接的客户端(1)、服务器(2)和关系数据库(4)，其特征在于：它还包括与服务器(2)通讯连接的非关系数据库(3)；
上述数据采集和监视控制系统的数据处理方法包括以下步骤：
(1)、当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数大于等于N时，将该类数据以键值对(Key-Value)的方式存储到非关系数据库；
当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数小于N时，将该类数据存储到关系数据库；
当某类数据为结构化数据时，将该类数据存储到关系数据库；
(2)、对于存储在关系数据库中的数据，将经常作为查询条件的字段建立索引；
对于存储在非关系数据库中的数据，将作为查询条件的字段设置为行键(RowKey)的组成部分；
(3)、查询结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；
查询存储在关系数据库中的非结构化数据和半结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；
查询存储在非关系数据库中的非结构化数据和半结构化数据时，先根据查询条件从关系数据库获取信息来生成所需数据的行键范围，根据该行键范围从非关系数据中获取符合条件的数据。
2.根据权利要求1所述的数据采集和监视控制系统，其特征在于：所述的关系数据库为Oracle数据库。
3.根据权利要求1所述的数据采集和监视控制系统，其特征在于：所述的非关系数据库为HBase数据库。
4.根据权利要求1所述的数据采集和监视控制系统，其特征在于：将非结构化数据和半结构化数据存储到非关系数据库时，存储的步骤是先从关系数据库中获取对应的信息生成该数据的行键，然后将该数据以键值对(Key-Value)的方式保存到非关系数据库。
CN201310421164.7A 2013-09-17 2013-09-17 数据采集和监视控制系统及该系统的数据处理方法 Active CN103514273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310421164.7A CN103514273B (zh) 2013-09-17 2013-09-17 数据采集和监视控制系统及该系统的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310421164.7A CN103514273B (zh) 2013-09-17 2013-09-17 数据采集和监视控制系统及该系统的数据处理方法

Publications (2)

Publication Number Publication Date
CN103514273A CN103514273A (zh) 2014-01-15
CN103514273B true CN103514273B (zh) 2016-08-17

Family

ID=49896997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310421164.7A Active CN103514273B (zh) 2013-09-17 2013-09-17 数据采集和监视控制系统及该系统的数据处理方法

Country Status (1)

Country Link
CN (1) CN103514273B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005572A (zh) * 2014-04-24 2015-10-28 中国移动通信集团云南有限公司 一种数据库映射方法及装置
CN104050271A (zh) * 2014-06-23 2014-09-17 桂林长海科技有限责任公司 一种基于HBase的卡口数据处理方法
CN106294499A (zh) * 2015-06-09 2017-01-04 阿里巴巴集团控股有限公司 一种数据库数据查询方法和设备
CN104991741B (zh) * 2015-06-24 2018-02-02 江苏瑞中数据股份有限公司 一种基于键值模型的情境适配电网大数据存储方法
CN105653573A (zh) * 2015-10-15 2016-06-08 许昌开普电气研究院 一种信息系统服务平台用数据采集系统
KR20170126344A (ko) * 2016-05-09 2017-11-17 엘에스산전 주식회사 로컬 모니터링 데이터 관리 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
CN102354178A (zh) * 2011-08-02 2012-02-15 常州节安得能源科技有限公司 能效监控系统
CN102508989A (zh) * 2011-09-27 2012-06-20 福建省电力有限公司 一种基于虚拟现实的电网全景动态展示系统
CN102915255A (zh) * 2012-09-27 2013-02-06 曙光信息产业(北京)有限公司 用于大规模数据集并行运算的云计算服务系统和方法
CN103034650A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种数据处理系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002250260A1 (en) * 2001-03-08 2002-11-05 Tririga, Inc. Data storage and access system employing clustering of servers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
CN102354178A (zh) * 2011-08-02 2012-02-15 常州节安得能源科技有限公司 能效监控系统
CN102508989A (zh) * 2011-09-27 2012-06-20 福建省电力有限公司 一种基于虚拟现实的电网全景动态展示系统
CN103034650A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种数据处理系统和方法
CN102915255A (zh) * 2012-09-27 2013-02-06 曙光信息产业(北京)有限公司 用于大规模数据集并行运算的云计算服务系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于GIS和SCADA技术的供水管网管理信息系统;陶建科等;《供水技术》;20080410;第2卷(第2期);第29-32页 *
基于HBase的矢量空间数据分布式存储研究;范建永等;《地理与地理信息科学》;20120915;第28卷(第５期);第39-42页 *
基于SCADA系统OPC通信的供水管网实时模拟;常魁等;《哈尔滨工业大学学报》;20111230;第43卷(第12期);第63-67页 *

Also Published As

Publication number Publication date
CN103514273A (zh) 2014-01-15

Similar Documents

Publication Publication Date Title
CN103514273B (zh) 数据采集和监视控制系统及该系统的数据处理方法
CN112180780B (zh) 一种智慧能耗监测管理系统及方法
CN102377790B (zh) 一种推送数据的方法和装置
CN102663616A (zh) 一种基于多触点归因模型的网络广告效果衡量方法和系统
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析系统
CN103744877A (zh) 部署于互联网的舆情监测应用系统及运用方法
CN105446991A (zh) 数据存储方法、查询方法及设备
CN102609533A (zh) 一种基于核方法的协同过滤推荐系统及方法
CN103577605A (zh) 基于数据融合和数据挖掘的数据仓库及其应用方法
CN103092867A (zh) 一种数据管理方法及系统、数据分析装置
CN104486116A (zh) 多维度查询流量数据的方法及系统
CN113272774A (zh) 用于全历史动态网络分析的系统和方法
CN201435005Y (zh) 电量采集系统
CN103440249A (zh) 一种非结构化数据快速检索的系统及方法
CN104978406A (zh) 互联网络平台的用户行为分析方法
Ji et al. Ibdp: An industrial big data ingestion and analysis platform and case studies
CN100573531C (zh) 一种基于关联分析的文献检索方法
CN110636107A (zh) 一种基于5g通信下的电网数据交互系统及其交互方法
CN106777367A (zh) 一种基于大数据挖掘的用户行为分析方法及系统
CN103365960A (zh) 电力多级调度管理结构化数据的离线搜索方法
CN112540987A (zh) 一种基于数据集市的配用电大数据管理系统
CN102662973B (zh) 机械产品设计文档的推荐系统及方法
CN104318501A (zh) 管线网络拓扑关系构建方法、装置及系统
CN111666308A (zh) 一种基于行为分析的大数据智能推荐查询方法和系统
Ren et al. Efficient processing of shortest path queries in evolving graph sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180723

Address after: 315181 Lin village, Haishu District, Ningbo, Zhejiang

Co-patentee after: Ningbo Dongguan Technology Co., Ltd.

Patentee after: Ningbo Donghai Group Corp., Ltd.

Address before: 315105 sun Macun, Zhonghe street, Yinzhou District, Ningbo, Zhejiang

Patentee before: Ningbo Dongguan Technology Co., Ltd.

TR01 Transfer of patent right