CN106855865A - 水利水电大数据架构建设方法 - Google Patents
水利水电大数据架构建设方法 Download PDFInfo
- Publication number
- CN106855865A CN106855865A CN201510904285.6A CN201510904285A CN106855865A CN 106855865 A CN106855865 A CN 106855865A CN 201510904285 A CN201510904285 A CN 201510904285A CN 106855865 A CN106855865 A CN 106855865A
- Authority
- CN
- China
- Prior art keywords
- data
- hydropower
- water conservancy
- big data
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种水利水电大数据架构建设方法,包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统,包括可用数据的采集和存储,水利水电大数据的挖掘,对比数据的提取及水利水电大数据的分析四个步骤。本发明的水利水电大数据架构建设方法相对于传统大数据分析方法,可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据,有利于提高水利水电工程建设绩效和质量管控水平,同时提高了水利水电工程的信息化管理水平。
Description
技术领域
本发明涉及水利水电数据构建技术领域,具体涉及一种水利水电大数据架构建设方法。
背景技术
随着“数字水利”的提出,人们逐步认识到只有借助于信息技术、计算机技术、网络技术才能实现水利水电行业的管理现代化,达到知识经济时代发展的要求。“数字水利”能够为水利水电行业构造一个统一的、立体的、开放式的信息系统,为水利水电部门的决策提供信息支持,实现水利水电可持续发展。同时,加强水利重点工程的信息化管理,将先进的管理思想、方法及信息技术运用到水利水电工程的科学管理中去,建立健全水利水电工程管理机制,推动水利水电管理的精确化、科学化势在必行。因此,作为“水利信息化”的基础支撑技术,水利水电工程水利水电大数据信息化建设己经成为提高水利水电工程建设绩效和质量管控的重要手段。未来大数据发展是各个行业发展方向,但在水利水电行业中并没有形成专有的技术方法,采用传统大数据分析方法无法对水利水电行业数据进行体系化的采集、挖掘、分析和形成指导数据。因此了解大数据发展趋势,建立一种专有的大数据分析方法,在水利水电大数据未来发展中十分重要。
发明内容
本发明的目的在于针对现有水利水电大数据体系建设技术在水利水电行业应用的技术缺陷,提供一种水利水电大数据架构建设方法。
本发明的技术方案是:
一种水利水电大数据架构建设方法,包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统,包括以下几个步骤:
(a)可用数据的采集和存储:水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术,对互联网、水利水电大数据所在内网中的可用数据进行采集,对可用数据进行META数据校验分析,校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储; META数据校验分析包括以下几个步骤:
1)定义提出有效数据检索范围边界条件;
2)制定检索策略,在检索范围内广泛收集;
3)确定纳入和排除标准,剔除不符合要求的文献;
4)数据测试质量评估和特征描述;
5)异质性检验;
6)统计合并效应量并进行统计推断;
7)敏感性分析;
8)作出结论及评价;
(b)水利水电大数据的挖掘:水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据,水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比:将符合特征的数据所在位置索引递交进行数据分析,得到有效数据;数据特性对比包括以下几个步骤:
1) 根据用户定义的关键字条件,明确数据挖掘任务的具体特征,在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取;
2) 对获得数据进行预处理,确定数据挖掘任务所涉及的目标数据,对其进行数据噪声消除、消除冗余数据等处理,然后降维;
3) 对降噪去赘后的数据与用户边界条件进行模糊对比;
(c)对比数据的提取:水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取;
(d)水利水电大数据的分析:水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析,水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述,生成最终可为水利水电行业决策提供数据支撑的趋势数据报表。
优选的,所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在不同的服务器上,采用TCP/IP网络进行互通互联;数据的存储采用Hadoop服务器。
优选的,所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM,统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接,统一数据采集模块实时采集用户边界条件,所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据;数据计算服务器从统一数据采集模块中读取实时采集的数据,再通过在线计算或者离线计算对采集的数据进行处理;大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据;数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据,分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种,或者其它形式的数据。
本发明的有益效果是:
本发明的水利水电大数据架构建设方法相对于传统大数据分析方法,可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据,有利于提高水利水电工程建设绩效和质量管控水平,同时提高了水利水电工程的信息化管理水平。
附图说明
图1为本发明的系统框图;
图2为本发明中水利水电大数据分析系统的运行模式结构框图;
图2中图框1为用户边界条件,图框2为分析结果及支撑数据。
具体实施方式
参见图1-2,一种水利水电大数据架构建设方法,包括水利水电大数据采集系统(SunGather)、水利水电大数据挖掘系统(SunGroove)、水利水电大数据挖掘模型库、水利水电大数据分析系统(Sunalizer)及水利水电大数据分布服务器节点控制系统五部分,包括如下几个步骤:
(a)可用数据的采集和存储:所述水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术(Crawler),对互联网、水利水电大数据采集系统所在内网中的可用数据进行采集,对可用数据进行META数据校验后,交由水利水电大数据分布服务器节点控制系统进行分类存储;META数据校验分析包括以下几个步骤:
1)定义提出有效数据检索范围边界条件;
2)制定检索策略,在检索范围内广泛收集;
3)确定纳入和排除标准,剔除不符合要求的文献;
4)数据测试质量评估和特征描述;
5)异质性检验;
6)统计合并效应量并进行统计推断;
7)敏感性分析;
8)作出结论及评价;
(b)水利水电大数据的挖掘:水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求获取分类存储的数据,水利水电大数据挖掘系统对分类存储的数据进行数据特性对比,将符合特征的数据所在位置索引递交进行数据分析;
1) 根据用户定义的关键字条件(如:拱坝、大体积混凝土、平半钢闸门、农田水利等关键字),明确数据挖掘任务的具体特征,在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取;
2) 对获得数据进行预处理,确定数据挖掘任务所涉及的目标数据,对其进行数据噪声消除、消除冗余数据等处理,然后降维;
3) 对降噪去赘后的数据与用户边界条件进行模糊对比;
(c)对比数据的提取:水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取;
(d)水利水电大数据的分析:水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析,水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述,生成最终可为水利水电行业决策提供数据支撑的趋势数据报表;
水利水电大数据采集系统(SunGather)、水利水电大数据挖掘系统(SunGroove)、水利水电大数据挖掘模型库、水利水电大数据分析系统(Sunalizer)及水利水电大数据分布服务器节点控制系统分别部署在5台不同的服务器上,采用TCP/IP网络进行互通互联;数据的存储采用Hadoop服务器,与水利水电大数据采集、挖掘、分析逻辑分开,随时添加扩展任意数量的存储服务器。
水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM(Scratch Pad Memory 便笺式存贮器高速暂存存贮器),统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接,统一数据采集模块实时的采集用户边界条件,所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据中的一种、多种,或者采集其它需要采集的数据;数据计算服务器从统一数据采集模块中读取实时采集的数据,再通过在线计算或者离线计算对采集的数据进行处理;大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据;数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据,分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种,或者其它形式的数据。
Claims (3)
1.一种水利水电大数据架构建设方法,其特征在于,包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统,包括以下几个步骤:
(a)可用数据的采集和存储:水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术,对互联网、水利水电大数据所在内网中的可用数据进行采集,对可用数据进行META数据校验分析,校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储; META数据校验分析包括以下几个步骤:
1)定义提出有效数据检索范围边界条件;
2)制定检索策略,在检索范围内广泛收集;
3)确定纳入和排除标准,剔除不符合要求的文献;
4)数据测试质量评估和特征描述;
5)异质性检验;
6)统计合并效应量并进行统计推断;
7)敏感性分析;
8)作出结论及评价;
(b)水利水电大数据的挖掘:水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据,水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比:将符合特征的数据所在位置索引递交进行数据分析,得到有效数据;数据特性对比包括以下几个步骤:
1)根据用户定义的关键字条件,明确数据挖掘任务的具体特征,在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取;
2)对获得数据进行预处理,确定数据挖掘任务所涉及的目标数据,对其进行数据噪声消除、消除冗余数据等处理,然后降维;
3)对降噪去赘后的数据与用户边界条件进行模糊对比;
(c)对比数据的提取:水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取;
(d)水利水电大数据的分析:水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析,水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述,生成最终可为水利水电行业决策提供数据支撑的趋势数据报表。
2.根据权利要求1所述的水利水电大数据架构建设方法,其特征在于,所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在不同的服务器上,采用TCP/IP网络进行互通互联;数据的存储采用Hadoop服务器。
3.根据权利要求1或2任一项所述的水利水电大数据架构建设方法,其特征在于,所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM,统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接,统一数据采集模块实时采集用户边界条件,所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据;数据计算服务器从统一数据采集模块中读取实时采集的数据,再通过在线计算或者离线计算对采集的数据进行处理;大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据;数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据,分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510904285.6A CN106855865B (zh) | 2015-12-09 | 2015-12-09 | 水利水电大数据架构建设方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510904285.6A CN106855865B (zh) | 2015-12-09 | 2015-12-09 | 水利水电大数据架构建设方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106855865A true CN106855865A (zh) | 2017-06-16 |
CN106855865B CN106855865B (zh) | 2021-01-22 |
Family
ID=59132004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510904285.6A Active CN106855865B (zh) | 2015-12-09 | 2015-12-09 | 水利水电大数据架构建设方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106855865B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978181A (zh) * | 2017-12-28 | 2018-05-01 | 武汉英思工程科技股份有限公司 | 水利水电工程项目实时演示系统 |
CN110110430A (zh) * | 2019-04-30 | 2019-08-09 | 南方电网调峰调频发电有限公司 | 一种面向水电领域的图形化建模与分析系统及其实现方法 |
CN111665761A (zh) * | 2020-06-23 | 2020-09-15 | 上海一旻成锋电子科技有限公司 | 工业控制系统及控制方法 |
CN115129853A (zh) * | 2022-07-18 | 2022-09-30 | 浪潮卓数大数据产业发展有限公司 | 一种房产交易决策支持装置及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071927A2 (en) * | 2001-03-12 | 2002-09-19 | The Brigham And Women's Hospital, Inc. | Diagnosis and treatment of skeletal degeneration conditions |
US20060156967A1 (en) * | 2004-12-30 | 2006-07-20 | Industrial Technology Research Institute | Alarm analysis methods and systems capable of multi-purpose function |
CN101071482A (zh) * | 2007-06-19 | 2007-11-14 | 广州市煤气公司 | 地下燃气管网安全评估系统 |
CN103281368A (zh) * | 2013-05-22 | 2013-09-04 | 河海大学 | 一种基于云计算的数据共享交换模型及方法 |
CN103856511A (zh) * | 2012-11-30 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 数据包上传方法、客户端、节点、信息服务器及系统 |
CN104063766A (zh) * | 2014-07-03 | 2014-09-24 | 广州智业节能科技有限公司 | 基于云计算和大数据技术的建筑能效管理系统 |
CN104361473A (zh) * | 2014-12-05 | 2015-02-18 | 北京宇图天下软件有限公司 | 一种流域水土保持生态环境综合建设系统 |
CN104636209A (zh) * | 2015-02-15 | 2015-05-20 | 大连云动力科技有限公司 | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 |
CN105046069A (zh) * | 2015-07-06 | 2015-11-11 | 中国水利水电科学研究院 | 一种大型水电站库水温度数值预测方法 |
-
2015
- 2015-12-09 CN CN201510904285.6A patent/CN106855865B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071927A2 (en) * | 2001-03-12 | 2002-09-19 | The Brigham And Women's Hospital, Inc. | Diagnosis and treatment of skeletal degeneration conditions |
US20060156967A1 (en) * | 2004-12-30 | 2006-07-20 | Industrial Technology Research Institute | Alarm analysis methods and systems capable of multi-purpose function |
CN101071482A (zh) * | 2007-06-19 | 2007-11-14 | 广州市煤气公司 | 地下燃气管网安全评估系统 |
CN103856511A (zh) * | 2012-11-30 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 数据包上传方法、客户端、节点、信息服务器及系统 |
CN103281368A (zh) * | 2013-05-22 | 2013-09-04 | 河海大学 | 一种基于云计算的数据共享交换模型及方法 |
CN104063766A (zh) * | 2014-07-03 | 2014-09-24 | 广州智业节能科技有限公司 | 基于云计算和大数据技术的建筑能效管理系统 |
CN104361473A (zh) * | 2014-12-05 | 2015-02-18 | 北京宇图天下软件有限公司 | 一种流域水土保持生态环境综合建设系统 |
CN104636209A (zh) * | 2015-02-15 | 2015-05-20 | 大连云动力科技有限公司 | 基于大数据和云存储系统定向性能优化的资源调度系统和方法 |
CN105046069A (zh) * | 2015-07-06 | 2015-11-11 | 中国水利水电科学研究院 | 一种大型水电站库水温度数值预测方法 |
Non-Patent Citations (2)
Title |
---|
李铁: "面向海量小文件存取的HDFS优化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
樊龙 等: "基于Hadoop云平台的水利普查数据挖掘系统的设计和实现", 《计算机与数字工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107978181A (zh) * | 2017-12-28 | 2018-05-01 | 武汉英思工程科技股份有限公司 | 水利水电工程项目实时演示系统 |
CN110110430A (zh) * | 2019-04-30 | 2019-08-09 | 南方电网调峰调频发电有限公司 | 一种面向水电领域的图形化建模与分析系统及其实现方法 |
CN111665761A (zh) * | 2020-06-23 | 2020-09-15 | 上海一旻成锋电子科技有限公司 | 工业控制系统及控制方法 |
CN115129853A (zh) * | 2022-07-18 | 2022-09-30 | 浪潮卓数大数据产业发展有限公司 | 一种房产交易决策支持装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106855865B (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xing et al. | City-scale hydrodynamic modelling of urban flash floods: the issues of scale and resolution | |
Hou et al. | Rapid forecasting of urban flood inundation using multiple machine learning models | |
CN106855865A (zh) | 水利水电大数据架构建设方法 | |
Lei et al. | Does Urban planning affect urban growth pattern? A case study of Shenzhen, China | |
CN108710625A (zh) | 一种专题知识自动挖掘系统及方法 | |
Shiri et al. | Estimation of daily suspended sediment load by using wavelet conjunction models | |
CN105956770A (zh) | 一种股市风险预测平台及其文本挖掘方法 | |
Qi et al. | Improved strength prediction of cemented paste backfill using a novel model based on adaptive neuro fuzzy inference system and artificial bee colony | |
CN106294715A (zh) | 一种基于属性约简的关联规则挖掘方法及装置 | |
Wang et al. | Evaluation of compaction quality based on SVR with CFA: case study on compaction quality of earth-rock dam | |
Wu et al. | Identification of sensitive parameters of urban flood model based on artificial neural network | |
Tahmasebi Nasab et al. | A new depression‐dominated delineation (D‐cubed) method for improved watershed modelling | |
CN103440328B (zh) | 一种基于鼠标行为的用户分类方法 | |
Mohammad Rezapour Tabari et al. | The integrated approach of simulation and optimization in determining the optimum dimensions of canal for seepage control | |
CN106447077A (zh) | 一种资源评估方法及资源评估系统 | |
CN103458032A (zh) | 一种空间数据访问规律动态统计及信息压缩的方法及系统 | |
Cheng et al. | Structural equation model of the spatial distribution of water engineering facilities along the Beijing-Hangzhou grand canal and its relationship with natural factors | |
Yi et al. | Application of dual-response surface methodology and radial basis function artificial neural network on surrogate model of the groundwater flow numerical simulation | |
Heitzler et al. | Unlocking the geospatial past with deep learning–establishing a hub for historical map data in switzerland | |
CN107204892A (zh) | 电力通信网运行数据处理方法及装置 | |
He et al. | Artificial neural network model in spatial analysis of geographic information system | |
Azare | Risk analysis of urban flood in Bandar Abbas using Machine Learning model and Analytic Hierarchy Process | |
Zahiri et al. | Flow discharge prediction in compound channels by using decision model tree M5 | |
Chakraborty et al. | The application of statistics and fuzzy logic in predicting slope stability | |
Torres et al. | Decision support tools for sustainable urban drainage systems: a systematic quantitative review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |