CN107357941A - 一种可实时对水雨情数据进行检验的系统和方法 - Google Patents
一种可实时对水雨情数据进行检验的系统和方法 Download PDFInfo
- Publication number
- CN107357941A CN107357941A CN201710777663.8A CN201710777663A CN107357941A CN 107357941 A CN107357941 A CN 107357941A CN 201710777663 A CN201710777663 A CN 201710777663A CN 107357941 A CN107357941 A CN 107357941A
- Authority
- CN
- China
- Prior art keywords
- data
- database server
- information
- detection unit
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007726 management method Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000007621 cluster analysis Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000005303 weighing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012517 data analytics Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000001520 comb Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013433 optimization analysis Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Probability & Statistics with Applications (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种可实时对水雨情数据进行检验的系统和方法，包括高速待检数据存储系统、交换机和联机分析处理系统，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。本发明其设计合理，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高的缺陷，提供的数据精度更精准，方便用户的使用。
Description
技术领域
本发明涉及一种水情数据分析方法，具体是一种分析历史水情信息(包括水位、流量、雨量等)，为用户提供高质的水情分析结果服务的一种提高实时水文预报精度的方法，属于涉及公共利益的智能化基础设施领域。
背景技术
水文预报指是指根据前期或现时的水文气象资料，对某一水体、某一地区或某一水文站在未来一定时间内的水文情况作出定性或定量的预测，为防汛抗旱、水库的施工调度、水资源的有效利用等提供依据。水雨情实时预报中，水雨情实时数据的检验是在数据分析与挖掘之前所必须解决的关键性问题，传统的水雨情实时数据的检验只能靠数据库服务器进行单个的处理，对于现有的关于水雨情实时数据的检验结构存在如下的缺陷：第一，其结构较简单，组织结构单一，无法进行多重检验，所以会出现检验不够准确，因而会存在误报情况，一旦正确的信息被误报成错误的或者通过了不合理的数据，会造成水雨情数据分析更大的误差；第二，无应用系统呈现，检验规则与过程不可视化，不便于人们的管理；第三，无法实现海量数据存储与分布式高速运算，从而无法快速检验并且存在误报情况，一旦正确的信息被误报成错误的或通过了不合理的数据，会造成水雨情数据分析更大的误差，且现有的水文预报方式不能够快速校验模型预测准确率，也不能够实现重复调用优化分析结果，解决不了现有的水情数据分析中的水文历史数据和实时数据的联动分析等问题。
发明内容
针对现有技术中的不足，本发明提供了一种可实时对水雨情数据进行检验的系统和方法，其实现计算能力的提升，深度挖掘数据中存在的价值的功能，使分析尝试更有效率，分析人员可以通过工具快速的以可视化的方式自助实现分析价值的预判，节省时间与学习成本，优化分析结果，这样就可以为用户提供高质的水情分析结果。
为了实现上述目的，本发明所采取的技术方案是：
一种可实时对水雨情数据进行检验的系统，包括高速待检数据存储系统、交换机和联机分析处理系统(OLAP)，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。
所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。
所述至少一台分布式运算管理/处理器为三台。
本发明的可进行网页应用显示器可对整个运算比对过程呈现在操作者面前，便于管理员的操作，高速待检数据存储系统通过传感器(流量传感器、流速传感器、水位传感器等)汇集大量实时流量、流速、水位等数据，高速待检数据存储系统通过交换机将这些数据分别以最快速度传至联机分析处理系统的分布式运算管理/处理器中，同时通过海量数据存储备份器进行快速备份，由于分布式运算管理/处理器至少一台，通过数据库服务器进行快速传输分配到每台分布式运算管理/处理器中，同时每台分布式运算管理/处理器也会结合历史数据库中不同类别的数据在进行处理数据，且处理完之后的数据回传给数据库服务器，所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比，其用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内，第二检测单元从数据库服务器中调取对应的信息与历史数据库中的信息进行对比，其用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律，通过数据检验模块筛选出合理的数据并通过，将明显失真的数据筛除，然后通过数据库服务器传输给输出模块，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
本发明的有益效果：本发明提供可实时对水雨情数据进行检验系统，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高，历史数据利用率低，系统监控管理能力有待提高等问题，具有能够提高分布式数据源的采集范围及效率，提升对海量历史数据的深度挖掘分析能力，优化分析结果，为用户提供高质的水情分析结果服务。
一种可实时对水雨情数据进行检验的方法，包括以下步骤：
S1，通过高速待检数据存储系统汇集本区域内所有的水文信息，水文信息为河流流量、河流流速和河流水位的数据；
S2，将收集到的水文信息传输给交换机，交换机传输给联机分析处理系统(OLAP)，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块，历史数据库用来存储不同类别的数据，联机分析处理系统中数据库服务器接收到交换机传输过的水文信息，数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理，分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块，可进行网页应用显示器用来对整个信息进行可视化显示(将多维分析的结果以图表形等可视化展示保存发布出来，绘制等值线、台风路径等水文内容展示)，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息；
S3，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
所述步骤S2中含有多维立方体引擎和即席查询引擎，通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理，建立立方体(Cube)模型，钻取(改变维的层次，变换分析的粒度)—切片(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果剩余的维只有两个，则是切片)和切块(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果有三个或以上，则是切块)—旋转(变换维的方向，即在表格中重新安排维的放置(例如行列互换))；通过即席查询引擎地选择查询条件，根据用户的选择生成相应的统计报表，由用户自定义查询条件，通过数据仓库建模和立方体抽象后的水文数据由即席查询引擎提供实时互动式访问分析。
所述步骤S2中数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。
所述步骤S2中至少一台分布式运算管理/处理器为三台。
本发明中数据库服务器中不同类别的数据通过数据库服务器给分布式运算管理/处理器运算处理，其通过完整的常用的数据挖掘统计算法库,将许多统计算法在水文应用上以配置性的操作快速落地并生成模板实现重复利用。1、将人工神经网络应用于实时中长期水文预报中，实现传统水文统计学方法与非线性科学方法的结合，而且数据分析子系统中融合了数据的准备功能，可将预报中用到的多个数据源数据(比如实时报汛水雨情库和遥测库等)结合起来，能避免数据冗余和不一致，由于水文数据的特殊性，其在时间序列上可能会出现数据的缺失和存在偏差，通过开发定制能够有效的差补和剔除方法，改进数据质量，提高预测预报的精度；2、用机器学习算法库(基础统计算法、机器学习算法、水利专业应用算法等)构建数学模型后以接口形式被预报系统等应用调用来实现预测模型的成果输出，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息，综合评定的信息是经过数据预处理、特征工程、统计计算、机器学习模型训练(线性支持向量机、逻辑回归二分类、GBDT二分类、K近邻、逻辑回归多分类、随机森林、朴素贝叶斯、K均值聚类、线性回归、GBDT回归、协同过滤etrec、混淆矩阵、多分类评估、二分类评估、回归模型评估、预测)、模型效果检验、开放模型接口等处理之后的数据信息。
本发明中数据库服务器中不同类别的数据通过数据库服务器给数据检验模块进行运算处理通过特有模糊聚类分析算法和特征加权FCM算法，优化分析结果。第一，通过模糊聚类分析算法运用基于加权的模糊聚类新算法对流域历史洪水进行了模糊c均值聚类分析，分析各维特征对分类的贡献程度，优选和提取洪水影响因子的特征，将历史洪水按照洪水影响因子进行模糊聚类分析，并利用聚类分析结果进行实时预报作业，分析水文信息中洪水影响因子在洪水预报中模糊性和随机性，提高模型预报的精度；第二，通过特征加权FCM算法以流域预报模型的率定机制为基础，对历史洪水整体率定前对洪水样本进行基于加权的FCM新算法分析，将不同类别的洪水分别进行模型参数的率定，提高对率定的精度，分析各影响特征对分类的贡献程度，提高实时作业水文预报精度。
本发明的有益效果：本发明提供可实时对水雨情数据进行检验方法，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高，历史数据利用率低，系统监控管理能力有待提高等问题，具有能够提高分布式数据源的采集范围及效率，提升对海量历史数据的深度挖掘分析能力，优化分析结果，为用户提供高质的水情分析结果服务。
附图说明
图1为本发明的系统示意图。
具体实施方式
如图1所示，一种可实时对水雨情数据进行检验的系统，包括高速待检数据存储系统1、交换机2和联机分析处理系统(OLAP)3，高速待检数据存储系统1和联机分析处理系统3之间通过交换机2相连接，联机分析处理系统3包括数据库服务器31、历史数据库32、可进行网页应用显示器33、海量数据存储备份器34和至少一台分布式运算管理/处理器35，数据库服务器31分别连接有历史数据库32、可进行网页应用显示器33、海量数据存储备份器34和至少一台分布式运算管理/处理器35，所述至少一台分布式运算管理/处理器35为三台，数据库服务器31还连接有数据检验模块36和输出模块37，所述数据检验模块36分为第一检测单元361和第二检测单元362，第一检测单元351用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元362用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。
本发明的可进行网页应用显示器33可对整个运算比对过程呈现在操作者面前，便于管理员的操作，高速待检数据存储系统1通过传感器(流量传感器、流速传感器、水位传感器等)汇集大量实时流量、流速、水位等数据，高速待检数据存储系统1通过交换机2将这些数据分别以最快速度传至联机分析处理系统3的分布式运算管理/处理器35中，同时通过海量数据存储备份器34进行快速备份，由于分布式运算管理/处理器35至少一台，通过数据库服务器31进行快速传输分配到每台分布式运算管理/处理器35中，同时每台分布式运算管理/处理器35也会结合历史数据库32中不同类别的数据在进行处理数据，且处理完之后的数据回传给数据库服务器31，所述数据检验模块36分为第一检测单元361和第二检测单元362，第一检测单元361从数据库服务器31中调取对应的信息与历史数据库32中的信息进行对比，其用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内，第二检测单元362从数据库服务器31中调取对应的信息与历史数据库32中的信息进行对比，其用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律，通过数据检验模块36筛选出合理的数据并通过，将明显失真的数据筛除，然后通过数据库服务器31传输给输出模块37，输出模块37可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
一种可实时对水雨情数据进行检验的方法，包括以下步骤：
S1，通过高速待检数据存储系统汇集本区域内所有的水文信息，水文信息为河流流量、河流流速和河流水位的数据；
S2，将收集到的水文信息传输给交换机，交换机传输给联机分析处理系统(OLAP)，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，所述至少一台分布式运算管理/处理器为三台，数据库服务器还连接有数据检验模块和输出模块，历史数据库用来存储不同类别的数据，联机分析处理系统中数据库服务器接收到交换机传输过的水文信息，数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理，分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块，可进行网页应用显示器用来对整个信息进行可视化显示(将多维分析的结果以图表形等可视化展示保存发布出来，绘制等值线、台风路径等水文内容展示)，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息，所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律，联机分析处理系统(OLAP)含有多维立方体引擎和即席查询引擎，通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理，建立立方体(Cube)模型，钻取(改变维的层次，变换分析的粒度)—切片(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果剩余的维只有两个，则是切片)和切块(在一部分维上选定值后，关心度量数据在剩余维上的分布，如果有三个或以上，则是切块)—旋转(变换维的方向，即在表格中重新安排维的放置(例如行列互换))；通过即席查询引擎地选择查询条件，根据用户的选择生成相应的统计报表，由用户自定义查询条件，通过数据仓库建模和立方体抽象后的水文数据由即席查询引擎提供实时互动式访问分析；
S3，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
本发明中数据库服务器中不同类别的数据通过数据库服务器给分布式运算管理/处理器运算处理，其通过完整的常用的数据挖掘统计算法库,将许多统计算法在水文应用上以配置性的操作快速落地并生成模板实现重复利用。1、将人工神经网络应用于实时中长期水文预报中，实现传统水文统计学方法与非线性科学方法的结合，而且数据分析子系统中融合了数据的准备功能，可将预报中用到的多个数据源数据(比如实时报汛水雨情库和遥测库等)结合起来，能避免数据冗余和不一致，由于水文数据的特殊性，其在时间序列上可能会出现数据的缺失和存在偏差，通过开发定制能够有效的差补和剔除方法，改进数据质量，提高预测预报的精度；2、用机器学习算法库(基础统计算法、机器学习算法、水利专业应用算法等)构建数学模型后以接口形式被预报系统等应用调用来实现预测模型的成果输出，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息，综合评定的信息是经过数据预处理、特征工程、统计计算、机器学习模型训练(线性支持向量机、逻辑回归二分类、GBDT二分类、K近邻、逻辑回归多分类、随机森林、朴素贝叶斯、K均值聚类、线性回归、GBDT回归、协同过滤etrec、混淆矩阵、多分类评估、二分类评估、回归模型评估、预测)、模型效果检验、开放模型接口等处理之后的数据信息。
本发明中数据库服务器中不同类别的数据通过数据库服务器给数据检验模块进行运算处理通过特有模糊聚类分析算法和特征加权FCM算法，优化分析结果。第一，通过模糊聚类分析算法运用基于加权的模糊聚类新算法对流域历史洪水进行了模糊c均值聚类分析，分析各维特征对分类的贡献程度，优选和提取洪水影响因子的特征，将历史洪水按照洪水影响因子进行模糊聚类分析，并利用聚类分析结果进行实时预报作业，分析水文信息中洪水影响因子在洪水预报中模糊性和随机性，提高模型预报的精度；第二，通过特征加权FCM算法以流域预报模型的率定机制为基础，对历史洪水整体率定前对洪水样本进行基于加权的FCM新算法分析，将不同类别的洪水分别进行模型参数的率定，提高对率定的精度，分析各影响特征对分类的贡献程度，提高实时作业水文预报精度。
本发明的有益效果：本发明提供可实时对水雨情数据进行检验系统和方法，有效解决了现有的水情数据分析方法无法处理复杂的数据结构，数据交换效率不高，历史数据利用率低，系统监控管理能力有待提高等问题，具有能够提高分布式数据源的采集范围及效率，提升对海量历史数据的深度挖掘分析能力，优化分析结果，为用户提供高质的水情分析结果服务。
Claims (7)
1.一种可实时对水雨情数据进行检验的系统，其特征在于，包括高速待检数据存储系统、交换机和联机分析处理系统，高速待检数据存储系统和联机分析处理系统之间通过交换机相连接，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块。
2.如权利要求1所述一种可实时对水雨情数据进行检验的系统，其特征在于，所述数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。
3.如权利要求1所述一种可实时对水雨情数据进行检验的系统，其特征在于，所述至少一台分布式运算管理/处理器为三台。
4.一种可实时对水雨情数据进行检验的方法，其特征在于，包括以下步骤：
S1，通过高速待检数据存储系统汇集本区域内所有的水文信息，水文信息为河流流量、河流流速和河流水位的数据；
S2，将收集到的水文信息传输给交换机，交换机传输给联机分析处理系统，联机分析处理系统包括数据库服务器、历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器分别连接有历史数据库、可进行网页应用显示器、海量数据存储备份器和至少一台分布式运算管理/处理器，数据库服务器还连接有数据检验模块和输出模块，历史数据库用来存储不同类别的数据，联机分析处理系统中数据库服务器接收到交换机传输过的水文信息，数据库服务器中不同类别的数据通过数据库服务器分别给分布式运算管理/处理器和数据检验模块进行运算处理，分布式运算管理/处理器和数据检验模块进行运算处理之后的水文信息通过数据库服务器分别传输给可进行网页应用显示器和输出模块，可进行网页应用显示器用来对整个信息进行可视化显示，输出模块可输出带有图形或表格的形式的运算结果综合评定的信息；
S3，输出模块可把输出分析信息推送给防汛部门应用端,提供分析防汛信息为部门或社会提供水情分析结果。
5.如权利要求4所述一种可实时对水雨情数据进行检验的方法，其特征在于，所述步骤S2中含有多维立方体引擎和即席查询引擎，通过多维立方体引擎进行多维分析的前提是针对水文信息进行维度梳理，通过即席查询引擎地选择查询条件，根据用户的选择生成相应的统计报表。
6.如权利要求4所述一种可实时对水雨情数据进行检验的方法，其特征在于，所述步骤S2中数据检验模块分为第一检测单元和第二检测单元，第一检测单元用来检测具有相同单位的历史数据与实时的水文信息进行对比，比较是否在历史数据区间的阀值内；第二检测单元用来将实时的水文信息与历史数据同期进行对比，寻找数据随月、季、年时间跨度的周期波动规律。
7.如权利要求4所述一种可实时对水雨情数据进行检验的方法，其特征在于，所述步骤S2中至少一台分布式运算管理/处理器为三台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710777663.8A CN107357941A (zh) | 2017-09-01 | 2017-09-01 | 一种可实时对水雨情数据进行检验的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710777663.8A CN107357941A (zh) | 2017-09-01 | 2017-09-01 | 一种可实时对水雨情数据进行检验的系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107357941A true CN107357941A (zh) | 2017-11-17 |
Family
ID=60289957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710777663.8A Pending CN107357941A (zh) | 2017-09-01 | 2017-09-01 | 一种可实时对水雨情数据进行检验的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107357941A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107831719A (zh) * | 2017-09-28 | 2018-03-23 | 浙江海洋大学 | 一种基于物联网的医疗环境智能诊断和管理系统 |
| CN109857830A (zh) * | 2019-02-18 | 2019-06-07 | 南昌工程学院 | 一种大数据处理系统及大数据处理方法 |
| CN110490366A (zh) * | 2019-07-15 | 2019-11-22 | 西安理工大学 | 基于变分模态分解和迭代决策树的径流量预测方法 |
| CN113515588A (zh) * | 2020-04-10 | 2021-10-19 | 富泰华工业（深圳）有限公司 | 表单数据检测方法、计算机装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101415022A (zh) * | 2008-12-01 | 2009-04-22 | 四川省电力公司 | 一种水情数据自动交换系统 |
| CN103366511A (zh) * | 2013-05-30 | 2013-10-23 | 中国水利水电科学研究院 | 一种山洪预警数据接收汇集的方法 |
| CN204405066U (zh) * | 2015-01-07 | 2015-06-17 | 昆明理工大学 | 一种基于数据融合的水文水情视频监控系统 |
| CN105046321A (zh) * | 2015-06-25 | 2015-11-11 | 河海大学 | 一种基于相似性搜索的组合模型预测水位的方法 |
| CN105843942A (zh) * | 2016-04-01 | 2016-08-10 | 浙江大学城市学院 | 一种基于大数据技术的城市防汛决策支持系统 |
| CN207232961U (zh) * | 2017-09-01 | 2018-04-13 | 浙江省水文局 | 一种可实时对水雨情数据进行检验的系统 |
-
2017
- 2017-09-01 CN CN201710777663.8A patent/CN107357941A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101415022A (zh) * | 2008-12-01 | 2009-04-22 | 四川省电力公司 | 一种水情数据自动交换系统 |
| CN103366511A (zh) * | 2013-05-30 | 2013-10-23 | 中国水利水电科学研究院 | 一种山洪预警数据接收汇集的方法 |
| CN204405066U (zh) * | 2015-01-07 | 2015-06-17 | 昆明理工大学 | 一种基于数据融合的水文水情视频监控系统 |
| CN105046321A (zh) * | 2015-06-25 | 2015-11-11 | 河海大学 | 一种基于相似性搜索的组合模型预测水位的方法 |
| CN105843942A (zh) * | 2016-04-01 | 2016-08-10 | 浙江大学城市学院 | 一种基于大数据技术的城市防汛决策支持系统 |
| CN207232961U (zh) * | 2017-09-01 | 2018-04-13 | 浙江省水文局 | 一种可实时对水雨情数据进行检验的系统 |
Non-Patent Citations (6)
| Title |
|---|
| 周海松等: "联机分析处理在太湖流域水文遥测系统中的应用" * |
| 尹涛;关兴中;万定生;: "数据挖掘技术在水文数据分析中的应用" * |
| 张振洲,司权,孙建奇: "黄河水利委员会公用信息平台和标准体系建设" * |
| 梁立峰;: "数据仓库在防汛决策支持系统的应用分析" * |
| 莫林玉等: "北京市雨水情自动测报系统的设计与研究" * |
| 邱超;: "模糊聚类分析在水文预报中的应用" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107831719A (zh) * | 2017-09-28 | 2018-03-23 | 浙江海洋大学 | 一种基于物联网的医疗环境智能诊断和管理系统 |
| CN109857830A (zh) * | 2019-02-18 | 2019-06-07 | 南昌工程学院 | 一种大数据处理系统及大数据处理方法 |
| CN109857830B (zh) * | 2019-02-18 | 2023-06-23 | 南昌工程学院 | 一种大数据处理系统及大数据处理方法 |
| CN110490366A (zh) * | 2019-07-15 | 2019-11-22 | 西安理工大学 | 基于变分模态分解和迭代决策树的径流量预测方法 |
| CN113515588A (zh) * | 2020-04-10 | 2021-10-19 | 富泰华工业（深圳）有限公司 | 表单数据检测方法、计算机装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021232588A1 (zh) | 食品安全风险评估方法、装置、设备及存储介质 | |
| CN106951984B (zh) | 一种系统健康度动态分析预测方法及装置 | |
| CN107357941A (zh) | 一种可实时对水雨情数据进行检验的系统和方法 | |
| CN107610469A (zh) | 一种考虑多因素影响的日维度区域交通指数预测方法 | |
| CN105868301A (zh) | 一种碳排放检测管理系统及管理方法 | |
| CN105678481A (zh) | 一种基于随机森林模型的管线健康状态评估方法 | |
| CN103971023B (zh) | 研发过程质量自动评估系统和方法 | |
| CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
| CN108761377A (zh) | 一种基于长短时记忆模型的电能计量装置异常检测方法 | |
| CN110069551A (zh) | 基于Spark的医疗设备运维信息挖掘分析系统及其使用方法 | |
| CN107301471A (zh) | 基于大数据的行业趋势精准预测方法及其系统 | |
| CN116932523B (zh) | 一种整合和监管第三方环境检测机构的平台 | |
| CN107169289A (zh) | 一种基于可拓最优组合赋权法的滑坡危险性评价方法 | |
| CN113033110B (zh) | 一种基于交通流模型的重点区域人员应急疏散系统及方法 | |
| CN111027193A (zh) | 一种基于回归模型的短期水位预测方法 | |
| CN107766500A (zh) | 固定资产卡片的审计方法 | |
| CN113362199A (zh) | 基于用户采集电量与台区线损相关性的窃电用户核查方法 | |
| CN102156641A (zh) | 一种软件成本置信区间预测方法及系统 | |
| CN113837578B (zh) | 一种电力监理企业网格化监督管理评价方法 | |
| CN107133722A (zh) | 基于电力企业大数据技术的配电网差异特征诊断分析方法 | |
| CN207232961U (zh) | 一种可实时对水雨情数据进行检验的系统 | |
| CN116433218A (zh) | 基于自组织映射聚类的矿井机械设备在线健康评估方法 | |
| CN113393169B (zh) | 基于大数据技术的金融行业交易系统性能指标分析方法 | |
| CN110533213A (zh) | 基于支持向量机的输电线路缺陷风险建模及其预测方法 | |
| CN112765553B (zh) | 一种基于大数据的工程项目管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171117 |