CN207232961U - 一种可实时对水雨情数据进行检验的系统 - Google Patents

一种可实时对水雨情数据进行检验的系统 Download PDF

Info

Publication number
CN207232961U
CN207232961U CN201721112860.XU CN201721112860U CN207232961U CN 207232961 U CN207232961 U CN 207232961U CN 201721112860 U CN201721112860 U CN 201721112860U CN 207232961 U CN207232961 U CN 207232961U
Authority
CN
China
Prior art keywords
data
database server
processor
real time
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201721112860.XU
Other languages
English (en)
Inventor
邱超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hydrology Bureau
Original Assignee
Zhejiang Hydrology Bureau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hydrology Bureau filed Critical Zhejiang Hydrology Bureau
Priority to CN201721112860.XU priority Critical patent/CN207232961U/zh
Application granted granted Critical
Publication of CN207232961U publication Critical patent/CN207232961U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本实用新型公开了一种可实时对水雨情数据进行检验的系统,包括高速待检数据存储系统、交换机和联机分析处理系统,高速待检数据存储系统和联机分析处理系统之间通过交换机相连接,联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器还连接有数据检验模块和输出模块。本实用新型其设计合理,有效解决了现有的水情数据分析方法无法处理复杂的数据结构,数据交换效率不高的缺陷,提供的数据精度更精准,方便用户的使用。

Description

一种可实时对水雨情数据进行检验的系统
技术领域
本实用新型涉及一种水情数据分析方法,具体是一种分析历史水情信息(包括水位、流量、雨量等),为用户提供高质的水情分析结果服务的一种可实时对水雨情数据进行检验的系统,属于涉及公共利益的智能化基础设施领域。
背景技术
水文预报指是指根据前期或现时的水文气象资料,对某一水体、某一地区或某一水文站在未来一定时间内的水文情况作出定性或定量的预测,为防汛抗旱、水库的施工调度、水资源的有效利用等提供依据。水雨情实时预报中,水雨情实时数据的检验是在数据分析与挖掘之前所必须解决的关键性问题,传统的水雨情实时数据的检验只能靠数据库服务器进行单个的处理,对于现有的关于水雨情实时数据的检验结构存在如下的缺陷:第一,其结构较简单,组织结构单一,无法进行多重检验,所以会出现检验不够准确,因而会存在误报情况,一旦正确的信息被误报成错误的或者通过了不合理的数据,会造成水雨情数据分析更大的误差;第二,无应用系统呈现,检验规则与过程不可视化,不便于人们的管理;第三,无法实现海量数据存储与分布式高速运算,从而无法快速检验并且存在误报情况,一旦正确的信息被误报成错误的或通过了不合理的数据,会造成水雨情数据分析更大的误差,且现有的水文预报方式不能够快速校验模型预测准确率,也不能够实现重复调用优化分析结果,解决不了现有的水情数据分析中的水文历史数据和实时数据的联动分析等问题。
实用新型内容
针对现有技术中的不足,本实用新型提供了一种可实时对水雨情数据进行检验的系统和方法,其实现计算能力的提升,深度挖掘数据中存在的价值的功能,使分析尝试更有效率,分析人员可以通过工具快速的以可视化的方式自助实现分析价值的预判,节省时间与学习成本,优化分析结果,这样就可以为用户提供高质的水情分析结果。
为了实现上述目的,本实用新型所采取的技术方案是:
一种可实时对水雨情数据进行检验的系统,包括高速待检数据存储系统、交换机和联机分析处理系统(OLAP),高速待检数据存储系统和联机分析处理系统之间通过交换机相连接,联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器还连接有数据检验模块和输出模块。
所述数据检验模块分为第一检测单元和第二检测单元,第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内;第二检测单元用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律。
所述至少一台分布式运算管理/处理器为三台。
本实用新型的可进行网页应用显示器可对整个运算比对过程呈现在操作者面前,便于管理员的操作,高速待检数据存储系统通过传感器(流量传感器、流速传感器、水位传感器等)汇集大量实时流量、流速、水位等数据,高速待检数据存储系统通过交换机将这些数据分别以最快速度传至联机分析处理系统的分布式运算管理/处理器中,同时通过海量数据存储备份器进行快速备份,由于分布式运算管理/处理器至少一台,通过数据库服务器进行快速传输分配到每台分布式运算管理/处理器中,同时每台分布式运算管理/处理器也会结合历史数据库中不同类别的数据在进行处理数据,且处理完之后的数据回传给数据库服务器,所述数据检验模块分为第一检测单元和第二检测单元,第一检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比,其用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内,第二检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比,其用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律,通过数据检验模块筛选出合理的数据并通过,将明显失真的数据筛除,然后通过数据库服务器传输给输出模块,输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
本实用新型的有益效果:本实用新型提供可实时对水雨情数据进行检验系统,有效解决了现有的水情数据分析方法无法处理复杂的数据结构,数据交换效率不高,历史数据利用率低,系统监控管理能力有待提高等问题,具有能够提高分布式数据源的采集范围及效率,提升对海量历史数据的深度挖掘分析能力,优化分析结果,为用户提供高质的水情分析结果服务。
一种可实时对水雨情数据进行检验的方法,包括以下步骤:
S1,通过高速待检数据存储系统汇集本区域内所有的水文信息,水文信息为河流流量、河流流速和河流水位的数据;
S2,将收集到的水文信息传输给交换机,交换机传输给联机分析处理系统(OLAP),联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器还连接有数据检验模块和输出模块,历史数据库用来存储不同类别的数据,联机分析处理系统中数据库服务器接收到交换机传输过的水文信息,数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理,分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块,可进行网页应用显示器用来对整个信息进行可视化显示(将多维分析的结果以图表形等可视化展示保存发布出来,绘制等值线、台风路径等水文内容展示),输出模块可输出带有图形或表格的形式的运算结果综合评定的信息;
S3,输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
所述步骤S2中含有多维立方体引擎和即席查询引擎,通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理,建立立方体(Cube)模型,钻取(改变维的层次,变换分析的粒度)—切片(在一部分维上选定值后,关心度量数据在剩余维上的分布,如果剩余的维只有两个,则是切片)和切块(在一部分维上选定值后,关心度量数据在剩余维上的分布,如果有三个或以上,则是切块)—旋转(变换维的方向,即在表格中重新安排维的放置(例如行列互换));通过即席查询引擎地选择查询条件,根据用户的选择生成相应的统计报表,由用户自定义查询条件,通过数据仓库建模和立方体抽象后的水文数据由即席查询引擎提供实时互动式访问分析。
所述步骤S2中数据检验模块分为第一检测单元和第二检测单元,第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内;第二检测单元用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律。
所述步骤S2中至少一台分布式运算管理/处理器为三台。
本实用新型中数据库服务器中不同类别的数据通过数据库服务器给分布式运算管理/处理器运算处理,其通过完整的常用的数据挖掘统计算法库,将许多统计算法在水文应用上以配置性的操作快速落地并生成模板实现重复利用。1、将人工神经网络应用于实时中长期水文预报中,实现传统水文统计学方法与非线性科学方法的结合,而且数据分析子系统中融合了数据的准备功能,可将预报中用到的多个数据源数据(比如实时报汛水雨情库和遥测库等)结合起来,能避免数据冗余和不一致,由于水文数据的特殊性,其在时间序列上可能会出现数据的缺失和存在偏差,通过开发定制能够有效的差补和剔除方法,改进数据质量,提高预测预报的精度;2、用机器学习算法库(基础统计算法、机器学习算法、水利专业应用算法等)构建数学模型后以接口形式被预报系统等应用调用来实现预测模型的成果输出,输出模块可输出带有图形或表格的形式的运算结果综合评定的信息,综合评定的信息是经过数据预处理、特征工程、统计计算、机器学习模型训练(线性支持向量机、逻辑回归二分类、GBDT二分类、K近邻、逻辑回归多分类、随机森林、朴素贝叶斯、K均值聚类、线性回归、GBDT回归、协同过滤etrec、混淆矩阵、多分类评估、二分类评估、回归模型评估、预测)、模型效果检验、开放模型接口等处理之后的数据信息。
本实用新型中数据库服务器中不同类别的数据通过数据库服务器给数据检验模块进行运算处理通过特有模糊聚类分析算法和特征加权FCM算法,优化分析结果。第一,通过模糊聚类分析算法运用基于加权的模糊聚类新算法对流域历史洪水进行了模糊c均值聚类分析,分析各维特征对分类的贡献程度,优选和提取洪水影响因子的特征,将历史洪水按照洪水影响因子进行模糊聚类分析,并利用聚类分析结果进行实时预报作业,分析水文信息中洪水影响因子在洪水预报中模糊性和随机性,提高模型预报的精度;第二,通过特征加权FCM算法以流域预报模型的率定机制为基础,对历史洪水整体率定前对洪水样本进行基于加权的FCM新算法分析,将不同类别的洪水分别进行模型参数的率定,提高对率定的精度,分析各影响特征对分类的贡献程度,提高实时作业水文预报精度。
本实用新型的有益效果:本实用新型提供可实时对水雨情数据进行检验方法,有效解决了现有的水情数据分析方法无法处理复杂的数据结构,数据交换效率不高,历史数据利用率低,系统监控管理能力有待提高等问题,具有能够提高分布式数据源的采集范围及效率,提升对海量历史数据的深度挖掘分析能力,优化分析结果,为用户提供高质的水情分析结果服务。
附图说明
图1为本实用新型的系统示意图。
具体实施方式
如图1所示,一种可实时对水雨情数据进行检验的系统,包括高速待检数据存储系统1、交换机2和联机分析处理系统(OLAP)3,高速待检数据存储系统1和联机分析处理系统3之间通过交换机2相连接,联机分析处理系统3包括数据库服务器31、历史数据库32、可进行网页应用显示器33、海量数据存储备份器34和至少一台分布式运算管理/处理器35,数据库服务器31分别连接有历史数据库32、可进行网页应用显示器33、海量数据存储备份器34和至少一台分布式运算管理/处理器35,所述至少一台分布式运算管理/处理器35为三台,数据库服务器31还连接有数据检验模块36和输出模块37,所述数据检验模块36分为第一检测单元361和第二检测单元362,第一检测单元351用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内;第二检测单元362用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律。
本实用新型的可进行网页应用显示器33可对整个运算比对过程呈现在操作者面前,便于管理员的操作,高速待检数据存储系统1通过传感器(流量传感器、流速传感器、水位传感器等)汇集大量实时流量、流速、水位等数据,高速待检数据存储系统1通过交换机2将这些数据分别以最快速度传至联机分析处理系统3的分布式运算管理/处理器35中,同时通过海量数据存储备份器34进行快速备份,由于分布式运算管理/处理器35至少一台,通过数据库服务器31进行快速传输分配到每台分布式运算管理/处理器35中,同时每台分布式运算管理/处理器35也会结合历史数据库32中不同类别的数据在进行处理数据,且处理完之后的数据回传给数据库服务器31,所述数据检验模块36分为第一检测单元361和第二检测单元362,第一检测单元361从数据库服务器31中调取对应的信息与历史数据库32中的信息进行对比,其用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内,第二检测单元362从数据库服务器31中调取对应的信息与历史数据库32中的信息进行对比,其用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律,通过数据检验模块36筛选出合理的数据并通过,将明显失真的数据筛除,然后通过数据库服务器31传输给输出模块37,输出模块37可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
一种可实时对水雨情数据进行检验的方法,包括以下步骤:
S1,通过高速待检数据存储系统汇集本区域内所有的水文信息,水文信息为河流流量、河流流速和河流水位的数据;
S2,将收集到的水文信息传输给交换机,交换机传输给联机分析处理系统(OLAP),联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,所述至少一台分布式运算管理/处理器为三台,数据库服务器还连接有数据检验模块和输出模块,历史数据库用来存储不同类别的数据,联机分析处理系统中数据库服务器接收到交换机传输过的水文信息,数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理,分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块,可进行网页应用显示器用来对整个信息进行可视化显示(将多维分析的结果以图表形等可视化展示保存发布出来,绘制等值线、台风路径等水文内容展示),输出模块可输出带有图形或表格的形式的运算结果综合评定的信息,所述数据检验模块分为第一检测单元和第二检测单元,第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比,比较是否在历史数据区间的阀值内;第二检测单元用来将实时的水文信息与历史数据同期进行对比,寻找数据随月、季、年时间跨度的周期波动规律,联机分析处理系统(OLAP)含有多维立方体引擎和即席查询引擎,通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理,建立立方体(Cube)模型,钻取(改变维的层次,变换分析的粒度)—切片(在一部分维上选定值后,关心度量数据在剩余维上的分布,如果剩余的维只有两个,则是切片)和切块(在一部分维上选定值后,关心度量数据在剩余维上的分布,如果有三个或以上,则是切块)—旋转(变换维的方向,即在表格中重新安排维的放置(例如行列互换));通过即席查询引擎地选择查询条件,根据用户的选择生成相应的统计报表,由用户自定义查询条件,通过数据仓库建模和立方体抽象后的水文数据由即席查询引擎提供实时互动式访问分析;
S3,输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
本实用新型中数据库服务器中不同类别的数据通过数据库服务器给分布式运算管理/处理器运算处理,其通过完整的常用的数据挖掘统计算法库,将许多统计算法在水文应用上以配置性的操作快速落地并生成模板实现重复利用。1、将人工神经网络应用于实时中长期水文预报中,实现传统水文统计学方法与非线性科学方法的结合,而且数据分析子系统中融合了数据的准备功能,可将预报中用到的多个数据源数据(比如实时报汛水雨情库和遥测库等)结合起来,能避免数据冗余和不一致,由于水文数据的特殊性,其在时间序列上可能会出现数据的缺失和存在偏差,通过开发定制能够有效的差补和剔除方法,改进数据质量,提高预测预报的精度;2、用机器学习算法库(基础统计算法、机器学习算法、水利专业应用算法等)构建数学模型后以接口形式被预报系统等应用调用来实现预测模型的成果输出,输出模块可输出带有图形或表格的形式的运算结果综合评定的信息,综合评定的信息是经过数据预处理、特征工程、统计计算、机器学习模型训练(线性支持向量机、逻辑回归二分类、GBDT二分类、K近邻、逻辑回归多分类、随机森林、朴素贝叶斯、K均值聚类、线性回归、GBDT回归、协同过滤etrec、混淆矩阵、多分类评估、二分类评估、回归模型评估、预测)、模型效果检验、开放模型接口等处理之后的数据信息。
本实用新型中数据库服务器中不同类别的数据通过数据库服务器给数据检验模块进行运算处理通过特有模糊聚类分析算法和特征加权FCM算法,优化分析结果。第一,通过模糊聚类分析算法运用基于加权的模糊聚类新算法对流域历史洪水进行了模糊c均值聚类分析,分析各维特征对分类的贡献程度,优选和提取洪水影响因子的特征,将历史洪水按照洪水影响因子进行模糊聚类分析,并利用聚类分析结果进行实时预报作业,分析水文信息中洪水影响因子在洪水预报中模糊性和随机性,提高模型预报的精度;第二,通过特征加权FCM算法以流域预报模型的率定机制为基础,对历史洪水整体率定前对洪水样本进行基于加权的FCM新算法分析,将不同类别的洪水分别进行模型参数的率定,提高对率定的精度,分析各影响特征对分类的贡献程度,提高实时作业水文预报精度。
本实用新型的有益效果:本实用新型提供可实时对水雨情数据进行检验系统和方法,有效解决了现有的水情数据分析方法无法处理复杂的数据结构,数据交换效率不高,历史数据利用率低,系统监控管理能力有待提高等问题,具有能够提高分布式数据源的采集范围及效率,提升对海量历史数据的深度挖掘分析能力,优化分析结果,为用户提供高质的水情分析结果服务。

Claims (3)

1.一种可实时对水雨情数据进行检验的系统,其特征在于,包括高速待检数据存储系统、交换机和联机分析处理系统,高速待检数据存储系统和联机分析处理系统之间通过交换机相连接,联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器,数据库服务器还连接有数据检验模块和输出模块。
2.如权利要求1所述一种可实时对水雨情数据进行检验的系统,其特征在于,所述数据检验模块分为第一检测单元和第二检测单元。
3.如权利要求1所述一种可实时对水雨情数据进行检验的系统,其特征在于,所述至少一台分布式运算管理/处理器为三台。
CN201721112860.XU 2017-09-01 2017-09-01 一种可实时对水雨情数据进行检验的系统 Expired - Fee Related CN207232961U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201721112860.XU CN207232961U (zh) 2017-09-01 2017-09-01 一种可实时对水雨情数据进行检验的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201721112860.XU CN207232961U (zh) 2017-09-01 2017-09-01 一种可实时对水雨情数据进行检验的系统

Publications (1)

Publication Number Publication Date
CN207232961U true CN207232961U (zh) 2018-04-13

Family

ID=61860117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201721112860.XU Expired - Fee Related CN207232961U (zh) 2017-09-01 2017-09-01 一种可实时对水雨情数据进行检验的系统

Country Status (1)

Country Link
CN (1) CN207232961U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357941A (zh) * 2017-09-01 2017-11-17 浙江省水文局 一种可实时对水雨情数据进行检验的系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357941A (zh) * 2017-09-01 2017-11-17 浙江省水文局 一种可实时对水雨情数据进行检验的系统和方法

Similar Documents

Publication Publication Date Title
CN104809188B (zh) 一种企业人才流失的数据挖掘分析方法及装置
CN113360358B (zh) 一种自适应计算it智能运维健康指数的方法及系统
CN107357941A (zh) 一种可实时对水雨情数据进行检验的系统和方法
CN103971023B (zh) 研发过程质量自动评估系统和方法
CN105574593B (zh) 基于云计算和大数据的轨道状态静态检控系统及方法
CN109597968A (zh) 基于smt大数据的锡膏印刷性能影响因素分析方法
CN110162445A (zh) 基于主机日志及性能指标的主机健康评价方法及装置
CN108256022A (zh) 人才评价模型构建方法及人才评价方法及系统
CN106384256A (zh) 基于指标体系动态变化的供电服务满意度动态测评系统
CN109255524A (zh) 一种计量设备数据分析评估方法及系统
CN113362199A (zh) 基于用户采集电量与台区线损相关性的窃电用户核查方法
CN113837578B (zh) 一种电力监理企业网格化监督管理评价方法
CN207232961U (zh) 一种可实时对水雨情数据进行检验的系统
CN107133722A (zh) 基于电力企业大数据技术的配电网差异特征诊断分析方法
CN116932523B (zh) 一种整合和监管第三方环境检测机构的平台
CN117217568A (zh) 一种基于市场主体信息资源库的经济监测方法及系统
CN116433218A (zh) 基于自组织映射聚类的矿井机械设备在线健康评估方法
CN113393169B (zh) 基于大数据技术的金融行业交易系统性能指标分析方法
CN116578436A (zh) 基于异步多元时间序列数据的实时在线检测方法
CN115658772A (zh) 一种无人机光伏巡检数据类资产管理方法及系统
CN115953279A (zh) 基于区块链技术的碳排放管理系统及方法
CN112765553B (zh) 一种基于大数据的工程项目管理系统
CN116502768B (zh) 民航信息岗负荷预警方法、系统及存储介质
Zeng A Composited Framework for High-precision Network Public Opinion Risk Event Prediction
CN117458711B (zh) 一种基于物联网的电网调度工作监测管理系统

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413