CN111400386A - 一种水文数据中台构建方法 - Google Patents

Abstract

本发明涉及水文数据信息化技术领域，具体地说是一种水文数据中台构建方法。目前水文行业数据主要以孤岛式信息系统为主，比如，水文遥测系统，水文资料整编系统，水文水情系统等。每种系统主要针对单独需求开发应用，对每种水文应用的管理及算法都内置于自身系统内，对于整个水文信息化应用形成较大壁垒，造成信息数据计算口径不同，结果不同，给科学决策带来很大影响。

Description

一种水文数据中台构建方法

技术领域

本发明涉及水文数据信息化技术领域，具体地说是一种水文数据中台构建方法。

背景技术

随着信息化技术的迅猛发展，越来越多的水利信息化基础设施及应用系统，被应用到水利工程建设与管理、水行政业务处置等领域中。由此产生的数据量指数攀升，引发了水利数据中心建设的热潮。与此同时，随着整个社会(尤其是互联网上)的信息量呈爆炸性增长态势，大数据技术应运而生。大数据技术是一场技术革命，时刻改变着我们的生活、工作和思维方式。将大数据技术引入水利行业，将其作为水利数据中心建设的基础技术，成为一种必然的趋势。

水利信息化涵盖水利工程勘测、规划、设计、施工、运行管理和维护，防洪、水资源管理、水土保持等水行政管理等诸多方面。水利数据形式多样、种类繁多，数据总量庞大且持续高速增长。例如，近年来监测设备种类及数量增多，监测数据跨地区上传频率加快，使得采集监测数据量急剧上升；在防洪管理业务中，应用水文模型预报、推演、调度而产生的数据量也正迅猛增长；视频、图像和文档等非结构化数据大量累计，难以采用关系型数据库存储与管理。在管理和应用层面上，用户已不满足于数据存储和管理碎片化的现状，提出了高效管理和共享的要求。如何存储、传输、处理和应用水利大数据，己成为水利信息化发展必须面对的问题和挑战。

根据水利信息化规划要求，水利数据中心建设的目的是全面整合分散的各类水利信息资源，实现信息共享，并对数据进行深度挖掘，以满足水利业务和事务发展需要。其中解决的主要问题包括：分布各处的水利数据到水利数据中心的实时汇集，海量水利数据的集中存储，结构化数据和非结构化数据的统一管理，以及有效的数据分析和挖掘等。

所以在了解水利大数据特征的基础上，分析以上问题的关键技术，在传统水利数据中心的基础上，利用大数据技术建设现代水利数据中心是十分必要的。

发明内容

本发明中目前水文行业数据主要以孤岛式信息系统为主，比如，水文遥测系统，水文资料整编系统，水文水情系统等。每种系统主要针对单独需求开发应用，对每种水文应用的管理及算法都内置于自身系统内，对于整个水文信息化应用形成较大壁垒，造成信息数据计算口径不同，结果不同，给科学决策带来很大影响。

一种水文数据中台构建方法，水文数据中台构建方法主要分为四部分：水文数据采集，数据存储，数据模型，数据应用。

水文数据采集：主要采集各种类型的水文数据，一般数据包含实时数据，历史数据，基础数据，成果数据几类。数据种类有雨量、水位、潮位、流速、蒸发、水温等。数据来源可以有自动化采集、人工填报等。通过各种水文数据采集方式将数据进行统一的管理，供后端使用。

数据存储：根据数据的不同种类，依据水文数据存储标准进行数据的分类存储。

数据模型：根据水文数据应用的不同需求，构建不同的模型计算方式以及模型参数，对于数据模型模块，实现可扩展管理，实现新增模型、修改模型、删除模型等需求。

数据应用：对后端的数据应用系统提供统一的数据接口，为后端应用提供数据应用。

本发明所带来的有益效果是：

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

数据中台建设的基础还是数据仓库和数据中心，并且在数仓模型的设计上也是一脉传承，之所以现在处处推崇数据中台建设及应用，一个是因为数据中台确实有过人之处，另一个是这套模型体现了巨大的应用价值。

数据中台跟之前大数据平台最大的区别，在于数据中台距离业务更近，能更快速地响应业务和应用开发的需求，可追溯，更精准。

附图说明

以下结合附图对本发明作进一步详细说明。

图1是本发明较佳实施例所提供的一种水文数据中台构建方法的示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步的详述：

作为本发明所述吸头生产装置的实施例，如图1所示，水利数据中心主要采用关系型数据库组织和管理结构化数据；地理空间数据的组织管理亦在关系型数据库的基础上扩展实现；半结构化或非结构化数据采用关系型数据库管理目录加文件存储方式组织管理。对于水利大数据的存储与应用需求，现有架构在数据存储、处理和分析挖掘等方面存在瓶颈。基于大数据的水利数据中心架构，包括数据汇集、数据存储、数据处理分析以及数据应用四个层次。

1，数据汇集

数据汇集层主要是解决目前数据比较分散，数据存储标准及格式不统一的情况。一般汇集的数据有：实时雨水情遥测系统，洪水预报系统，工情数据系统，水库元数据管理，文档等非结构型数据等。这些数据通过数据提取，校验，存储等过程，将离散的数据集合进行统一的，标准的，集中的管理。

2，数据存储分析

数据存储分析层主要是实现数据的标准化存储和数据的特征分析。

1)数据存储。根据水利部关于水利行业数据库标准的规范，建设相应的数据库，从前端数据汇集层输入的数据进行对应存储。结构型数据以关系型数据库形式存储，非结构型数据以信息资源目录形式存储。

2)数据分析。在数据进行标准化存储完成后，经过历年数据累计以及历史数据的标准化录入之后，可以利用这些数据进行特征分析，数据挖掘，历史长数据统计等，数据成果可提供后端应用系统直接使用。另外，对于一些需要统一计算口径的数据也可通过该环节进行计算，将成果进行对外共享。

3，数据应用

1)数据管理。

对于数据汇集产生的数据集，在使用过程中对数据的合理性和准确性进行甄别，异常数据出现时，需要人工介入进行数据处理。处理后的数据将以推送的方式通知后端其他应用系统，使其可以实时修正这些数据。一般数据管理的数据会有：实时遥测数据，基础信息数据，阶段性成果数据等。

2)数据分发。

数据分发主要实现将统一标准化管理之后的数据提供给后端应用系统使用。一般数据接口以API方式进行共享，应用系统不直接接触数据存储层的数据。分发方式可以有轮询或推送等方式，采用的通信协议可以是TCP长连接，Soap协议等方式。

应用系统在应用过程中不直接调用数据存储层数据，根据应用的需求，数据存储层将需要的数据分发到该应用系统的数据库中，使其一对一的访问控制，避免数据访问瓶颈。

以上所述为本发明的较佳工作方式，并非对本发明型作任何限制，其他根据本发明型技术实质进行任何的修改和改进、以及变换等效结构，均属于本发明型技术方案的保护范围之内。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节。

发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种水文数据中台构建方法，其特征在于包括一下步骤：

步骤一：水文数据采集；

步骤二：数据存储；

步骤三：数据模型；

步骤四：数据应用。

2.如权利要求1所述的水文数据中台构建方法，其特征在于水文数据采集主要采集各种类型的水文数据，一般数据包含实时数据，历史数据，基础数据，成果数据几类，数据种类有雨量、水位、潮位、流速、蒸发、水温等。

3.数据来源可以有自动化采集、人工填报等，通过各种水文数据采集方式将数据进行统一的管理，供后端使用。

4.如权利要求1所述的水文数据中台构建方法，其特征在于数据存储根据数据的不同种类，依据水文数据存储标准进行数据的分类存储。

5.如权利要求1所述的水文数据中台构建方法，其特征在于数据模型根据水文数据应用的不同需求，构建不同的模型计算方式以及模型参数，对于数据模型模块，实现可扩展管理，实现新增模型、修改模型、删除模型等需求。

6.如权利要求1所述的水文数据中台构建方法，其特征在于数据应用对后端的数据应用系统提供统一的数据接口，为后端应用提供数据应用。

Images