CN106855865B - 水利水电大数据架构建设方法 - Google Patents

水利水电大数据架构建设方法 Download PDF

Info

Publication number
CN106855865B
CN106855865B CN201510904285.6A CN201510904285A CN106855865B CN 106855865 B CN106855865 B CN 106855865B CN 201510904285 A CN201510904285 A CN 201510904285A CN 106855865 B CN106855865 B CN 106855865B
Authority
CN
China
Prior art keywords
data
hydropower
water conservancy
big data
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510904285.6A
Other languages
English (en)
Other versions
CN106855865A (zh
Inventor
魏鲁双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Shuangjie Science & Technology Co ltd
Original Assignee
Zhengzhou Shuangjie Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Shuangjie Science & Technology Co ltd filed Critical Zhengzhou Shuangjie Science & Technology Co ltd
Priority to CN201510904285.6A priority Critical patent/CN106855865B/zh
Publication of CN106855865A publication Critical patent/CN106855865A/zh
Application granted granted Critical
Publication of CN106855865B publication Critical patent/CN106855865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种水利水电大数据架构建设方法，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括可用数据的采集和存储，水利水电大数据的挖掘，对比数据的提取及水利水电大数据的分析四个步骤。本发明的水利水电大数据架构建设方法相对于传统大数据分析方法，可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据，有利于提高水利水电工程建设绩效和质量管控水平，同时提高了水利水电工程的信息化管理水平。

Description

水利水电大数据架构建设方法
技术领域
本发明涉及水利水电数据构建技术领域，具体涉及一种水利水电大数据架构建设方法。
背景技术
随着“数字水利”的提出，人们逐步认识到只有借助于信息技术、计算机技术、网络技术才能实现水利水电行业的管理现代化，达到知识经济时代发展的要求。“数字水利”能够为水利水电行业构造一个统一的、立体的、开放式的信息系统，为水利水电部门的决策提供信息支持，实现水利水电可持续发展。同时，加强水利重点工程的信息化管理，将先进的管理思想、方法及信息技术运用到水利水电工程的科学管理中去，建立健全水利水电工程管理机制，推动水利水电管理的精确化、科学化势在必行。因此，作为“水利信息化”的基础支撑技术，水利水电工程水利水电大数据信息化建设己经成为提高水利水电工程建设绩效和质量管控的重要手段。未来大数据发展是各个行业发展方向，但在水利水电行业中并没有形成专有的技术方法，采用传统大数据分析方法无法对水利水电行业数据进行体系化的采集、挖掘、分析和形成指导数据。因此了解大数据发展趋势，建立一种专有的大数据分析方法，在水利水电大数据未来发展中十分重要。
发明内容
本发明的目的在于针对现有水利水电大数据体系建设技术在水利水电行业应用的技术缺陷，提供一种水利水电大数据架构建设方法。
本发明的技术方案是：
一种水利水电大数据架构建设方法，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括以下几个步骤：
（a）可用数据的采集和存储：水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术，对互联网、水利水电大数据所在内网中的可用数据进行采集，对可用数据进行META数据校验分析，校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储； META数据校验分析包括以下几个步骤：
1)定义提出有效数据检索范围边界条件；
2)制定检索策略，在检索范围内广泛收集；
3)确定纳入和排除标准，剔除不符合要求的文献；
4)数据测试质量评估和特征描述；
5)异质性检验；
6)统计合并效应量并进行统计推断；
7)敏感性分析；
8)作出结论及评价；
（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据，水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比：将符合特征的数据所在位置索引递交进行数据分析，得到有效数据；数据特性对比包括以下几个步骤：
1) 根据用户定义的关键字条件，明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；
2) 对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据等处理，然后降维；
3) 对降噪去赘后的数据与用户边界条件进行模糊对比；
（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；
（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表。
优选的，所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器。
优选的，所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM，统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种，或者其它形式的数据。
本发明的有益效果是：
本发明的水利水电大数据架构建设方法相对于传统大数据分析方法，可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据，有利于提高水利水电工程建设绩效和质量管控水平，同时提高了水利水电工程的信息化管理水平。
附图说明
图1为本发明的系统框图；
图2为本发明中水利水电大数据分析系统的运行模式结构框图；
图2中图框1为用户边界条件，图框2为分析结果及支撑数据。
具体实施方式
参见图1-2，一种水利水电大数据架构建设方法，包括水利水电大数据采集系统（SunGather）、水利水电大数据挖掘系统（SunGroove）、水利水电大数据挖掘模型库、水利水电大数据分析系统（Sunalizer）及水利水电大数据分布服务器节点控制系统五部分，包括如下几个步骤：
（a）可用数据的采集和存储：所述水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术（Crawler），对互联网、水利水电大数据采集系统所在内网中的可用数据进行采集，对可用数据进行META数据校验后，交由水利水电大数据分布服务器节点控制系统进行分类存储；META数据校验分析包括以下几个步骤：
1)定义提出有效数据检索范围边界条件；
2)制定检索策略，在检索范围内广泛收集；
3)确定纳入和排除标准，剔除不符合要求的文献；
4)数据测试质量评估和特征描述；
5)异质性检验；
6)统计合并效应量并进行统计推断；
7)敏感性分析；
8)作出结论及评价；
（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求获取分类存储的数据，水利水电大数据挖掘系统对分类存储的数据进行数据特性对比，将符合特征的数据所在位置索引递交进行数据分析；
1) 根据用户定义的关键字条件（如：拱坝、大体积混凝土、平半钢闸门、农田水利等关键字），明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；
2) 对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据等处理，然后降维；
3) 对降噪去赘后的数据与用户边界条件进行模糊对比；
（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；
（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表；
水利水电大数据采集系统（SunGather）、水利水电大数据挖掘系统（SunGroove）、水利水电大数据挖掘模型库、水利水电大数据分析系统（Sunalizer）及水利水电大数据分布服务器节点控制系统分别部署在5台不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器，与水利水电大数据采集、挖掘、分析逻辑分开，随时添加扩展任意数量的存储服务器。
水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM（Scratch Pad Memory 便笺式存贮器高速暂存存贮器），统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时的采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据中的一种、多种，或者采集其它需要采集的数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种，或者其它形式的数据。

Claims (2)

1.一种水利水电大数据架构建设方法，其特征在于，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括以下几个步骤：
（a）可用数据的采集和存储：水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术，对互联网、水利水电大数据所在内网中的可用数据进行采集，对可用数据进行META数据校验分析，校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储； META数据校验分析包括以下几个步骤：1 )定义提出有效数据检索范围边界条件；2 )制定检索策略，在检索范围内广泛收集；3 )确定纳入和排除标准，剔除不符合要求的文献；4 )数据测试质量评估和特征描述；5 )异质性检验；6 )统计合并效应量并进行统计推断；7 )敏感性分析；8 )作出结论及评价；
（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据，水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比：将符合特征的数据所在位置索引递交进行数据分析，得到有效数据；数据特性对比包括以下几个步骤：1 )根据用户定义的关键字条件，明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；2 )对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据处理，然后降维；3 )对降噪去赘后的数据与用户边界条件进行模糊对比；
（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；
（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表；
所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在5台不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器，与水利水电大数据采集、挖掘、分析逻辑分开，随时添加扩展任意数量的存储服务器。
2.根据权利要求1所述的水利水电大数据架构建设方法，其特征在于，所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM，统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据。
CN201510904285.6A 2015-12-09 2015-12-09 水利水电大数据架构建设方法 Active CN106855865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510904285.6A CN106855865B (zh) 2015-12-09 2015-12-09 水利水电大数据架构建设方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510904285.6A CN106855865B (zh) 2015-12-09 2015-12-09 水利水电大数据架构建设方法

Publications (2)

Publication Number Publication Date
CN106855865A CN106855865A (zh) 2017-06-16
CN106855865B true CN106855865B (zh) 2021-01-22

Family

ID=59132004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510904285.6A Active CN106855865B (zh) 2015-12-09 2015-12-09 水利水电大数据架构建设方法

Country Status (1)

Country Link
CN (1) CN106855865B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107978181A (zh) * 2017-12-28 2018-05-01 武汉英思工程科技股份有限公司 水利水电工程项目实时演示系统
CN110110430A (zh) * 2019-04-30 2019-08-09 南方电网调峰调频发电有限公司 一种面向水电领域的图形化建模与分析系统及其实现方法
CN111665761B (zh) * 2020-06-23 2023-05-26 上海一旻成锋电子科技有限公司 工业控制系统及控制方法
CN115129853A (zh) * 2022-07-18 2022-09-30 浪潮卓数大数据产业发展有限公司 一种房产交易决策支持装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030166887A1 (en) * 2001-03-12 2003-09-04 Yates Karen E. Diagnosis and treatment of skeletal degeneration conditions
TWI264686B (en) * 2004-12-30 2006-10-21 Ind Tech Res Inst Method and system with multiple purpose and functions for alarm performance assessment
CN101071482A (zh) * 2007-06-19 2007-11-14 广州市煤气公司 地下燃气管网安全评估系统
CN103856511B (zh) * 2012-11-30 2018-07-17 腾讯科技（深圳）有限公司 数据包上传方法、客户端、节点、信息服务器及系统
CN103281368B (zh) * 2013-05-22 2016-08-10 河海大学 一种基于云计算的数据共享交换系统
CN104063766A (zh) * 2014-07-03 2014-09-24 广州智业节能科技有限公司 基于云计算和大数据技术的建筑能效管理系统
CN104361473A (zh) * 2014-12-05 2015-02-18 北京宇图天下软件有限公司 一种流域水土保持生态环境综合建设系统
CN104636209B (zh) * 2015-02-15 2018-08-24 大连云动力科技有限公司 基于大数据和云存储系统定向性能优化的资源调度系统和方法
CN105046069A (zh) * 2015-07-06 2015-11-11 中国水利水电科学研究院 一种大型水电站库水温度数值预测方法

Also Published As

Publication number Publication date
CN106855865A (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN104462190B (zh) 一种基于海量空间轨迹挖掘的在线的位置预测方法
CN106855865B (zh) 水利水电大数据架构建设方法
Lu et al. Intelligent structural design of shear wall residence using physics‐enhanced generative adversarial networks
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN109711099B (zh) 一种基于图像识别机器学习的bim自动建模系统
CN105893208A (zh) 基于隐半马尔可夫模型的云计算平台系统故障预测方法
Chen et al. Digital twin in circular economy: Remanufacturing in construction
CN114360030A (zh) 一种基于卷积神经网络的人脸识别方法
CN113537609A (zh) 一种基于文本智能挖掘的政策热点预测方法
Ye et al. Big data processing framework for manufacturing
CN113609770A (zh) 基于分段线性拟合hi及lstm的滚动轴承rul预测方法
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
Mondal et al. Artificial intelligence in civil infrastructure health monitoring—Historical perspectives, current trends, and future visions
Chen et al. Region proposal mechanism for building element recognition for advanced scan-to-BIM process
CN113487638A (zh) 高精度语义分割算法U2-net的地物边缘检测方法
Lin et al. Integrated circuit board object detection and image augmentation fusion model based on YOLO
CN111160490A (zh) 一种基于多时间序列的深度学习危岩变形预测方法及装置
Li et al. Automatic pavement crack detection based on single stage salient-instance segmentation and concatenated feature pyramid network
CN116756825A (zh) 一种中小跨径桥梁的群结构性能预测系统
CN104636324B (zh) 话题溯源方法和系统
Chen et al. Plane segmentation for a building roof combining deep learning and the RANSAC method from a 3D point cloud
Ito Change beyond building information modeling to a “Digital Twin” in architecture
CN106816871B (zh) 一种电力系统状态相似性分析方法
Gao et al. Estimation methods of construction and demolition waste generation: a review
CN111651930B (zh) 一种基于极限学习机的流场涡区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant