CN113626648B - 一种水利数据处理系统、方法和存储介质 - Google Patents

Abstract

本发明公开了一种水利数据处理系统、方法和存储介质，所述系统包括水利数据获取平台、水利数据共享交换平台、水利数据资源目录平台、水利数据统一服务平台、水利数据资源运营管理平台、水利数据智能平台、水利数据治理平台，其中，水利数据获取平台获取水利数据后通过水利数据共享交换平台汇聚资源池，水利数据资源目录平台对资源池数据进行编目管理，所述水利数据统一服务平台和水利数据治理平台从资源池中获取所述水利数据并从水利数据智能平台获取算法和模型对水利数据进行处理后供水利数据资源运营管理平台调用。本发明实现了在一个系统和多个平台下共同管理水利数据，解决了水利行业数据质量低、缺乏统一的数据管理和安全的数据环境等问题。

Description

一种水利数据处理系统、方法和存储介质

技术领域

本发明实施例涉及水利领域，特别是涉及一种水利数据处理系统、方法和存储介质。

背景技术

目前，水利行业需要不断推进水利行业业务治理体系的完善和治理能力的提升，并围绕水安全、水资源、水环境、水生态、水工程、水监管、水文化、水行政等应用场景，利用大数据、人工智能、物联网、5G、遥感、边缘计算、移动互联、无人机、无人船等新一代信息技术，基于水利智能监测体系，聚焦水旱灾害防御、水资源开发利用、水资源三条红线管控、河湖长制履职监督、万里碧道建设管理、重大水利工程建设全生命周期管理等水利重点业务场景，打造水利智能高效的决策支持服务，达到“随地调阅、随时分析、随行指挥”的总体目标。相关技术中，水利行业水利数据的采集和处理不统一，已建信息系统繁多、分散构建。具体来说，普遍存在水利数据不能统一采集和处理、缺乏统一的数据管理和安全的数据环境等问题。

因此，相关技术存在的上述技术问题亟待解决。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种水利数据处理方法、平台及系统，以解决当前普遍存在的水利数据质量低、缺乏统一的数据管理和安全的数据环境等问题，包括：

水利数据获取平台，用于获取水利数据；

水利数据共享交换平台，用于通过数据共享交换机制将所述水利数据存储至资源池；

水利数据资源目录平台，用于存储资源池并建立所述水利数据的资源目录；

水利数据统一服务平台，用于根据所述资源目录将所述水利数据设为共享数据，对所述共享数据进行加工处理，所述加工处理包括计算统计级、结构化、指标化的结果数据，并对脱敏数据集进行二次处理分析；

水利数据资源运营管理平台，用于对所述水利数据进行运营管理；

水利数据智能平台，用于存储处理所述水利数据需要的算法和模型；

水利数据治理平台，用于根据所述资源目录，对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源；

其中，所述水利数据获取平台获取所述水利数据后，将所述水利数据通过所述水利数据共享交换平台汇聚到所述水利数据资源目录平台的所述资源池，所述水利数据统一服务平台、所述水利数据治理平台从所述资源池中获取所述水利数据并从所述水利数据智能平台获取算法和模型，根据所述算法和模型对所述水利数据进行处理，将处理后的水利数据存储至所述资源池供所述水利数据资源运营管理平台调用。

在其中一个实施例中，所述水利数据共享交换平台还包括：对所述水利数据排序和编码，提取所述水利数据的特征，对所述水利数据进行关联性分析。

在其中一个实施例中，所述水利数据资源目录平台还包括：根据所述资源目录对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源。

在其中一个实施例中，所述水利数据获取平台还包括：根据水利业务类型、数据类型和应用系统及数据库建设情况，进行数据资源调查，对业务产生和使用的信息进行梳理和清查，根据清查结果生成数据台账；根据所述数据台账，通过水利数据获取接口获取原始水利数据；通过预设的错误处理策略、断点续传和断点续抽对所述原始水利数据进行处理,连接所需多源数据库实时的捕获和保存数据；对处理后的所述水利数据建立不同业务表结构关联、不同系统业务数据间的关联，并将所述水利数据按照数据特性进行结构化存储、半结构化存储、非结构化存储；利用所述水利数据建立数据库。

在其中一个实施例中，所述数据库包括水文水资源数据库、山洪灾害数据库、水利工程数据库、、水生态环境数据库、水行政执法数据库、水文化数据库、地理空间数据库和水利视频数据库。

本发明实施例提供了一种水利数据处理方法，其特征在于，包括：

获取水利数据；

根据所述水利数据建立资源池；

通过算法和模型对所述水利数据进行处理并将处理后的水利数据存储至所述资源池；

根据需求调用所述资源池中的所述处理后的水利数据并输出所述处理后的水利数据。

在其中一个实施例中，所述方法还包括：

对所述水利数据进行关联性分析；

对所述水利数据进行排序和编码；

对所述水利数据进行区分和归类。

在其中一个实施例中，所述对所述水利数据进行排序和编码，所述方法包括：

将所述水利数据根据水利业务需要进行统一编码，所述统一编码包括建立标准分类管理单元、标准创建单元、质量规则设置单元、标准维护单元、标准映射。

在其中一个实施例中，所述根据所述资源池对所述水利数据进行区分和归类，所述方法包括：

确定所述水利数据的范围；

根据水利业务的区别对所述水利数据分类。

本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述实施例中所述的水利数据处理方法。

本发明实施例的有益效果包括：将多平台集成到一个水利数据处理系统中，能够面向不同的用户群体，实现了在一个系统和多个平台下共同管理水利数据，解决了水利行业数据质量低、缺乏统一的数据管理和安全的数据环境等问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种水利数据处理系统示意图；

图2为本发明实施例提供的一种水利数据处理方法流程图；

图3为本发明其中一个实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

目前，水利行业需要不断推进水利行业业务治理体系的完善和治理能力的提升，并围绕水安全、水资源、水环境、水生态、水工程、水监管、水文化、水行政等应用场景，利用大数据、人工智能、物联网、5G、遥感、边缘计算、移动互联、无人机、无人船等新一代信息技术，基于水利智能监测体系，聚焦水旱灾害防御、水资源开发利用、水资源三条红线管控、河湖长制履职监督、万里碧道建设管理、重大水利工程建设全生命周期管理等水利重点业务场景，打造水利智能高效的决策支持服务，达到“随地调阅、随时分析、随行指挥”的总体目标。相关技术中，水利行业水利数据的采集和处理不统一，已建信息系统繁多、分散构建。具体来说，普遍存在水利数据不能统一采集和处理、缺乏统一的数据管理和安全的数据环境等问题。

对此，本发明提出了一种水利数据的处理系统、方法和存储介质。

图1为本发明实施例提供的一种水利数据处理系统示意图。如图1所示，本发明实施例提供的一种水利数据处理系统包括：水利数据获取平台，用于获取水利数据；水利数据共享交换平台，用于通过数据共享交换机制将所述水利数据存储至资源池；水利数据资源目录平台，用于存储资源池并建立所述水利数据的资源目录；水利数据统一服务平台，用于根据所述资源目录将所述水利数据设为共享数据，对所述共享数据进行加工处理，所述加工处理包括计算统计级、结构化、指标化的结果数据，并对脱敏数据集进行二次处理分析；水利数据资源运营管理平台，用于对所述水利数据进行运营管理；水利数据智能平台，用于存储处理所述水利数据需要的算法和模型；水利数据治理平台，用于根据所述资源目录，对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源。其中，所述水利数据获取平台获取所述水利数据后，将所述水利数据通过所述水利数据共享交换平台汇聚到所述水利数据资源目录平台的所述资源池，所述水利数据统一服务平台、所述水利数据治理平台从所述资源池中获取所述水利数据并从所述水利数据智能平台获取算法和模型，根据所述算法和模型对所述水利数据进行处理，将处理后的水利数据存储至所述资源池供所述水利数据资源运营管理平台调用。

需要说明的是，水利数据获取平台主要实现数据资源的采集，包括数据采集、数据梳理、数据融合、数据建库。水利数据共享交换平台主要实现数据资源的共享与交换，包括数据资源申请、数据传输、数据汇聚、数据更新审核、数据融合处理。水利数据资源目录用于实现对水利大数据资源池的相关资源库进行的梳理与配置，资源目录包括数据资源规划、数据资源目录管理、数据资源编目管理。水利数据治理平台包括元数据管理、主数据管理、数据标准管理、数据血缘管理、数据融合处理、数据质量管理、数据审计管理、数据安全管理、数据资产管理。水利数据统一服务平台包括服务发现、服务注册发布、服务申请审核、服务授权、服务监控、数据服务API、配置管理、日志分析管理。水利数据智能平台包括算法超市、数据模型、CIM模型、可视化工具、数据探索、分析报告、知识图谱、任务调度。水利数据资源运营管理平台，用于实现对输入的数据进行集中和统一化管理。包括水利数据资产更新、水利数据资产共享、数据安全保障、数据库安全审计服务、数据质量管理、数据资产运营评估报告。

可选地，所述水利数据获取平台还包括：根据水利业务类型、数据类型和应用系统及数据库建设情况，进行数据资源调查，对业务产生和使用的信息进行梳理和清查，根据清查结果生成数据台账；根据所述数据台账，通过水利数据获取接口获取原始水利数据；通过预设的错误处理策略、断点续传和断点续抽对所述原始水利数据进行处理,连接所需多源数据库实时的捕获和保存数据；对处理后的所述水利数据建立不同业务表结构关联、不同系统业务数据间的关联，并将所述水利数据按照数据特性进行结构化存储、半结构化存储、非结构化存储；利用所述水利数据建立数据库。

在本实施例中，所述数据库包括水文水资源数据库、山洪灾害数据库、水利工程数据库、水生态环境数据库、水行政执法数据库、水文化数据库、地理空间数据库和水利视频数据库。具体为：(1)水文水资源数据库，能够梳理水文、水资源等监测数据，包括监测断面、取水口、排污口、交界断面、水功能区、饮用水水源地、地下水等数据，要素包括降水量、蒸发量、水位、流量、水质等数据。(2)山洪灾害数据库，能够梳理山洪灾害数据，包括实时水雨情数据、历史大洪水数据、历史水文数据、洪水预报数据、实时工情数据、视频监控数据、台风数据、气象数据、抢险救灾数据、国土地质灾害数据、社会经济数据等。(3)水利工程数据库，能够梳理水利工程数据，包括河流、水库、水文控制站、灌区和城市防洪等数据，以及水利工程全生命周期过程管理数据，包括工程项目立项、设计、计划进度、施工、质量、成本、安全、评价、工程档案、移动巡检等数据。(4)水生态环境数据库，能够梳理江河湖泊、河湖履职、岸线管控、智能巡查、水质评价、纳污管控、遥感分析、视频分析等数据。(5)水行政执法数据库，能够梳理水政感知、违法识别、智能告警、执法巡检、执法知识库、应急调度、智能跟踪、水政优化等数据。(6)水文化数据库，能够梳理水政策、公众服务、水知识宣传、水服务评价等数据。(7)地理空间数据库，能够梳理水利厅已有的服务图层，包括应急指挥综合数据库空间数据库、水资源空间数据库、水土保持空间数据库、山洪灾害防治空间数据库。(8)水利视频数据库，能够通过电子政务网整合覆盖全省的江河流域、重点区域(位于江边市、县)、大中型水库、沿海防台风、水政执法、水资源管理等监控点水利视频，并尝试协调接入公安、海事、交通、海洋渔业、气象等部门视频资源，实现对防汛防台风一线情况的实时监控，满足水资源保护与管理、水行政执法管理等工作需要。

需要说明的是，本实施例中的水利视频数据库还包括视频监控提取模块、数据曲线显示模块、目标帧图提取模块、历史数据查询模块和数据显示处理终端、身份认证与权限管理、运维管理服务。

可选地，本申请实施例中水利数据共享交换平台还包括：对所述水利数据排序和编码，提取所述水利数据的特征，对所述水利数据进行关联性分析。其中，水利数据共享交换平台主要用于将各个业务系统的数据通过数据共享交换机制，归集至资源池，按照一定的分类方法进行排序和编码，描述各个信息资源的特征，对信息共享交换与事项进行关联性分析，从而实现数据资源的共享与交换，为数据资产运营提供决策支持。其中，水利数据共享交换平台包括数据资源申请、数据融合处理、数据传输、数据汇聚、数据更新审核等等，实现数据汇集体系的正常运行。

具体的，水利数据共享交换平台的功能包括：数据资源申请：遵循“一数一源”进行水利数据资源的共享交换，实现所提供的水利相关信息资源与本单位所掌握的一致，保障资源的完整性、准确性、时效性和可用性；数据融合处理：用于根据业务需求构建对应的数据模型，以对业务数据进行加工处理。数据融合处理的流程：数据抽取、数据检验、数据清洗、数据转换、数据插补、数据同化、数据审查与加载。其中，数据抽取是从源数据源系统抽取目的数据源系统所需的数据；数据检验是通过比对两次校验值的一致性，确保所抽取数据的完整性；数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、无效数据、缺失数据，纠正存在的错误，并提供数据一致性；数据转换主要实现对相关数据类型，如：类型转换、字段拆分、字段合并、字符串处理、日期转换的多个无关联任务并行执行，并且可以在监控页面统一进行任务运行状态的查看、管理算术运算、码表转换等，同时提供自定义转换接口实现特殊的数据转换处理、自动化异常恢复；数据插补用于对缺失数据进行插补处理，常见的数据插补方法有：(1)个案剔除法，用于缺失值所占比例比较小的情况。(2)均值替换法，用于变量十分重要而所缺失的数据量又较为庞大时进行均值填充。(3)热卡填充法，在数据库中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。(4)回归替换法，首先需要选择若干个预测缺失值的自变量，然后建立回归方程估计缺失值，即用缺失数据的条件期望值对缺失值进行替换。(5)多重替代法，利用多重估算技术将每一个缺失值替换成一系列可能的值，再利用标准的统计分析对多次替换后产生的若干个数据集进行分析统计，得到总体参数的估计值。

可选地，在本实施例中，水利数据共享交换平台完成对数据的处理后，还包括：数据传输，其中，水利数据共享交换平台通过前置采集同步、数据采集桥接进行数据通道管理；数据汇聚，对于历史存量数据中非数字化信息需要按照相关技术标准开展数字化改造，加工成数字化信息，然后进行导入。历史存量的数字化信息，按照汇集计划，由数据汇集工具进行一次性导入，并根据数据规范、数据资源目录，利用数据治理工具进行数据治理后，融合到数据库中，成为可用数据资源，需要说明的是，对于现有应用系统产生的数据，通过数据汇集工具，结合数据整合的紧急程度，分批次汇集，并以数据规范、数据资源目录为依据，利用数据治理工具进行数据治理后，融合到数据库中，成为可用数据资源。

可选地，所述水利数据资源目录平台还包括：根据所述资源目录对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源。其中，水利数据资源目录具体用于实现对水利大数据资源的梳理与配置，资源目录包括但不限于地理空间库、专题库、指标库；实现水利数据资源目录管理，按照数据内容的属性或特征将信息按一定的原则和方法进行区分和归类，并建立起一定的分类系统和排列顺序，便于信息资源的检索、定位于获取的信息资源编目。数据资源目录依据元数据标准建立元数据服务体系，并通过水利大数据资源池的元数据管理能力实现元数据的维护，实现各部门级数据自动更新系统和机制。在通常情况下，分布在各部门的部门级数据由本部门维护，当通过数据质量检查以后，自动更新元数据编目；对于集中存放的数据集在责任部门维护后，自动上传到目标位置，并且自动更新元数据编目，形成完整的数据流，为水利应用系统建立起高性能的数据基础。

可选地，本实施例中水利数据资源目录平台包括数据资源规划、数据资源目录分类、数据资源编目管理。具体为：(1)数据资源规划有以下功能：界定数据资源规划的数据范围：所有水利相关成员单位相关业务数据、部分行政办公数据及一些外部应用的数据；界定数据资源规划的职能域范围：在对数据整体理解的基础上，结合业务需求分析的结果和信息分类与代码标准来确定。包括：水资源、水安全、水环境、水生态、水工程、水行政执法、水文化等业务范围。还包括元数据：自然资源数据元、水利数据元、住房城乡建设数据元、交通数据元、水利数据元、农业数据元、林业数据元、气象数据元等数据元标准、数据元素集；单个职能域按照数据资源规划的方法进行具体的规划：根据个体职能域建立基础主题域、空间主题域、监测主题域等各维度的主题模型，用于定义和揭示各个分析对象所涉及的业务各项数据及数据之间的联系；形成水利数据资源中心的数据元素集：在各职能域数据元素整理的基础上，形成完整的、分类清晰的、不重复的数据元素集。(2)数据资源目录分类有以下分类方式：按组织结构分类，例如可以分为水利部门、自然资源部门、高分中心、水利部门、住房城乡建设部门、交通部门、农业农村部门、林业部门、气象部门、海事部门。此种分类能够方便用户迅速查询到本部门相关的所有信息，能够帮助用户提高工作效率；按水利业务分类，例如江河湖泊、水利工程、监测站(点)、其他管理对象等。(3)数据资源编目管理有以下功能：元数据定义、系统配置、资源标识符管理、编目信息发布、编目信息撤销、编目状态同步、交换互动、统计查询、信息服务、特殊权限审批、前置功能。

可选地，本实施例中水利数据统一服务平台包括服务发现、服务注册发布、服务申请审核、服务授权、服务监控、数据服务、配置管理、日志分析管理，本实施例中水利数据统一服务平台能够利用微服务架构，将数据以服务的方式进行发布和管理。

具体的，上述服务发现、服务注册发布、服务申请审核、服务授权、服务监控、数据服务API、配置管理、日志分析管理具体为：(1)服务发现，根据数据服务目录为各个部门以及各个业务系统提供数据共享服务，提供基于数据资产的运营管理。(2)服务注册发布，将信息发布成服务或将其他系统的服务注册到平台来，根据使用服务的机构名、IP、服务名称等多维度进行统计跟踪。(3)服务申请审核，用户发起服务申请流程，审批通过后，开放服务API调用。(4)服务授权将平台的服务授权给相应的用户使用，在授权时可以按机构选择系统中的所有用户。(5)服务监控，提供本地数据库缓存，基于内存缓存，提供全方位的运行监控，包括数据源状态，服务接口状态、服务调用频率，客户端调用服务的统计等信息，提供多维度细粒度的安全认证，提供接口可见权限控制多源访问。(6)数据服务，提供标准服务接口以满足用户在线获取与应用地理信息，以及快速分布式构建专题系统的需求。(7)配置管理，包括用户管理、权限管理、系统配置、运行管理。(8)日志分析管理，包括系统分析和服务分析。系统分析可查看平台访问人数趋势图、次数趋势图、子系统的访问分布图和访问用户排行榜。服务分析可查看每种服务类型的访问人数趋势图、次数趋势图、子系统的访问分布图和访问用户排行榜。

图2为本发明实施例提供的一种水利数据处理方法流程图。如图2所示，本发明实施例提供的一种水利数据处理方法包括：步骤S201、获取水利数据；步骤S202、根据所述水利数据建立资源池；步骤S203、通过算法和模型对所水利数据进行处理并将处理后的水利数据存储至所述资源池；步骤S204、根据需求调用所述资源池中的所述处理后的水利数据并输出所述处理后的水利数据。

可选地，本发明实施例提供的一种水利数据处理方法还包括：对所述水利数据进行关联性分析；对所述水利数据进行排序和编码；对所述水利数据进行区分和归类。其中，所述对所述水利数据进行排序和编码包括：将所述水利数据根据水利业务需要进行统一编码，所述统一编码包括建立标准分类管理单元、标准创建单元、质量规则设置单元、标准维护单元、标准映射。其中，所述根据所述资源池对所述水利数据进行区分和归类包括：确定所述水利数据的范围；根据水利业务的区别对所述水利数据分类。通过对水利数据进行关联性分析、排序编码以及区分和归类，能够初步完成对水利数据的处理，便于水利数据统一服务等平台。

需要说明的是，本实施例提供的一种水利数据处理方法具体为：通过水利数据获取平台获取水利数据，根据所述水利数据建立资源池，水利数据统一服务平台和水利数据治理平台通过算法和模型对所水利数据进行处理并将处理后的水利数据存储至所述资源池，水利数据资源运营管理平台根据需求调用所述资源池中的所述处理后的水利数据并输出所述处理后的水利数据。

图3为本发明其中一个实施例的流程图，应用于水利数据资源运营管理平台。如图3所示，水利数据资源运营管理分为数据资源申请、数据服务管理和数据运营管理三个部分。水利数据资源运营管理的具体流程为：首先由用户提出数据需求，系统接收用户提出的数据需求后确认数据服务的对接人，对用户提出的数据需求进行分析，其中，系统会前置分析用户提出的数据需求是否已经发布，如果已经发布，则从资源池中调取能够完全匹配用户数据需求的数据，若能够完全匹配，则按照预设的资源申请流程进行发函协调、需求实施等内容，若不能找到完全匹配的数据资源，则记录用户数据需求后进行资源编目更新。提供本实施例提供的水利数据资源运营管理流程，能够使系统有序的处理用户对数据的需求，提高处理数据的效率。

可选地，上述实施例提供的水利数数据资源运营管理平台还包括出具数据资产运营评估报告的功能。具体包括：周期性的水利数据资产运营报告，有助于管理员分析数据资产的整体态势，包括错误数据的分布以及错位数据的修复、更新建议、丢失数据的时间、原因、应对措施等以及僵尸数据与业务应用的关联等；周期性的数据安全报告展示整个数据系统的安全情况，有助于管理员分析系统整体威胁态势，制定针对性的防御措施，同时也能够通过报告的纵向对比，了解新的数据安全措施在实施前后的对比，从而得出安全措施有效性的结论。本实施例提供的数据资产运营报告能够全方位、多维度、周期性地向用户反应数据资产运营管理平台的系统安全。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (7)

1.一种水利数据处理系统，其特征在于，包括：

水利数据获取平台，用于获取水利数据；

水利数据共享交换平台，用于通过数据共享交换机制将所述水利数据存储至资源池；

水利数据资源目录平台，用于存储资源池并建立所述水利数据的资源目录；

水利数据统一服务平台，用于根据所述资源目录将所述水利数据设为共享数据，对所述共享数据进行加工处理，所述加工处理包括计算统计级、结构化、指标化的结果数据，并对脱敏数据集进行二次处理分析；

水利数据资源运营管理平台，用于对所述水利数据进行运营管理；

水利数据智能平台，用于存储处理所述水利数据需要的算法和模型；

水利数据治理平台，用于根据所述资源目录，对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源；

其中，所述水利数据获取平台获取所述水利数据后，将所述水利数据通过所述水利数据共享交换平台汇聚到所述水利数据资源目录平台的所述资源池，所述水利数据统一服务平台、所述水利数据治理平台从所述资源池中获取所述水利数据并从所述水利数据智能平台获取算法和模型，根据所述算法和模型对所述水利数据进行处理，将处理后的水利数据存储至所述资源池供所述水利数据资源运营管理平台调用；

所述水利数据共享交换平台还包括：对所述水利数据排序和编码，提取所述水利数据的特征，对所述水利数据进行关联性分析；

所述水利数据资源目录平台还包括：根据所述资源目录对所述水利数据进行校验，清除所述资源目录中无效数据，定位所述资源目录中缺陷数据的来源；

所述水利数据获取平台还包括：根据水利业务类型、数据类型和应用系统及数据库建设情况，进行数据资源调查，对业务产生和使用的信息进行梳理和清查，根据清查结果生成数据台账；根据所述数据台账，通过水利数据获取接口获取原始水利数据；通过预设的错误处理策略、断点续传和断点续抽对所述原始水利数据进行处理,连接所需多源数据库实时的捕获和保存数据；对处理后的所述水利数据建立不同业务表结构关联、不同系统业务数据间的关联，并将所述水利数据按照数据特性进行结构化存储、半结构化存储、非结构化存储；利用所述水利数据建立数据库。

2.根据权利要求1所述的一种水利数据处理系统，其特征在于，所述数据库包括水文水资源数据库、山洪灾害数据库、水利工程数据库、水生态环境数据库、水行政执法数据库、水文化数据库、地理空间数据库和水利视频数据库。

3.一种水利数据处理方法，用于通过如权利要求1所述的水利数据处理系统执行，其特征在于，包括：

获取水利数据；

根据所述水利数据建立资源池；

通过算法和模型对所水利数据进行处理并将处理后的水利数据存储至所述资源池；

根据需求调用所述资源池中的所述处理后的水利数据并输出所述处理后的水利数据。

4.根据权利要求3所述的一种水利数据处理方法，其特征在于，所述方法还包括：

对所述水利数据进行关联性分析；

对所述水利数据进行排序和编码；

对所述水利数据进行区分和归类。

5.根据权利要求4所述的一种水利数据处理方法，其特征在于，所述对所述水利数据进行排序和编码，所述方法包括：

将所述水利数据根据水利业务需要进行统一编码，所述统一编码包括建立标准分类管理单元、标准创建单元、质量规则设置单元、标准维护单元、标准映射。

6.根据权利要求4所述的一种水利数据处理方法，其特征在于，所述根据所述资源池对所述水利数据进行区分和归类，所述方法包括：

确定所述水利数据的范围；

根据水利业务的区别对所述水利数据分类。

7.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求3-6中任意一项所述的水利数据处理方法。